WO2012029883A1 - 符号化装置および符号化方法、並びに復号装置および復号方法 - Google Patents

符号化装置および符号化方法、並びに復号装置および復号方法 Download PDF

Info

Publication number
WO2012029883A1
WO2012029883A1 PCT/JP2011/069840 JP2011069840W WO2012029883A1 WO 2012029883 A1 WO2012029883 A1 WO 2012029883A1 JP 2011069840 W JP2011069840 W JP 2011069840W WO 2012029883 A1 WO2012029883 A1 WO 2012029883A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
auxiliary
parallax
compatible
Prior art date
Application number
PCT/JP2011/069840
Other languages
English (en)
French (fr)
Inventor
しのぶ 服部
良知 高橋
潤 米満
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CA2806846A priority Critical patent/CA2806846A1/en
Priority to KR1020137004508A priority patent/KR20130108263A/ko
Priority to AU2011296953A priority patent/AU2011296953A1/en
Priority to RU2013108077/08A priority patent/RU2013108077A/ru
Priority to MX2013002136A priority patent/MX2013002136A/es
Priority to US13/816,247 priority patent/US9762884B2/en
Priority to CN2011800407455A priority patent/CN103081479A/zh
Priority to JP2012531950A priority patent/JPWO2012029883A1/ja
Priority to EP11821898.1A priority patent/EP2613537A4/en
Priority to BR112013004454A priority patent/BR112013004454A2/pt
Publication of WO2012029883A1 publication Critical patent/WO2012029883A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Definitions

  • the present technology relates to an encoding device, an encoding method, and a decoding device and a decoding method, and in particular, can encode and decode multi-viewpoint images using a method having compatibility with existing methods.
  • the present invention relates to an encoding apparatus and encoding method, and a decoding apparatus and decoding method.
  • a 3D image viewing method glasses for opening a left-eye shutter when displaying one of two viewpoint images and opening a right-eye shutter when displaying the other image are mounted alternately.
  • a method of viewing a displayed two-viewpoint image (hereinafter referred to as a two-viewpoint method) is common.
  • multi-view method a viewing method that allows viewing 3D images without wearing glasses.
  • multi-viewpoint images are displayed at different angles for each viewpoint, and the viewer wears glasses by viewing each image from any two viewpoints with the left and right eyes. 3D images can be seen without
  • a display device that provides viewing from a multi-viewpoint system generates, for example, a multi-viewpoint image for a multi-viewpoint system from a 2-viewpoint image for a 2-viewpoint system and displays the generated image. Specifically, the display device obtains the parallax (depth) of the two-viewpoint image for the two-viewpoint method using the image parallax estimation technique (Depth Estimation). The display device uses a multi-viewpoint image generation technique (View Generation) and a synthesis technique (View Synthesis) using the parallax of the two-viewpoint image to obtain a viewpoint corresponding to the two-viewpoint image for the two-viewpoint method. A composite image of adjacent multi-viewpoint images is generated and displayed.
  • AVC Advanced Video Coding
  • MVC Multiview Video Coding
  • FIG. 1 is a diagram illustrating an example of an image processing system that encodes and decodes a 2D image using the AVC method.
  • the image processing system 10 in FIG. 1 includes a photographing unit 11, an AVC encoder 12, and an AVC decoder 13.
  • the imaging unit 11 of the image processing system 10 captures an image A at a predetermined viewpoint and supplies it to the AVC encoder 12.
  • the AVC encoder 12 encodes the image A supplied from the photographing unit 11 using the AVC method, and supplies the encoded image A to the AVC decoder 13.
  • the AVC decoder 13 decodes the encoded image A supplied from the AVC encoder 12 by a method corresponding to the AVC method.
  • the AVC decoder 13 outputs and displays an image A obtained as a result of decoding. Thereby, the viewer can see the 2D image.
  • FIG. 2 is a diagram illustrating an example of an image processing system that encodes and decodes two-viewpoint images using the AVC method.
  • the image processing system 20 in FIG. 2 includes a photographing unit 21A, a photographing unit 21B, an AVC encoder 22, and an AVC decoder 23.
  • the imaging unit 21A captures an image A at a predetermined viewpoint, halves the resolution, and supplies the image to the AVC encoder 22 as an image on the left half of the screen. Further, the photographing unit 21B photographs an image B having a viewpoint different from that of the image A, halves the resolution, and supplies the image to the AVC encoder 22 as an image on the right half of the screen.
  • the AVC encoder 22 is composed of an image A (hereinafter referred to as 1/2 resolution image A) whose left half is halved in resolution, and an image B (hereinafter referred to as 1/2 resolution) whose resolution is halved in the right half.
  • An image consisting of image B) is encoded by the AVC method and supplied to the AVC decoder 23.
  • the AVC decoder 23 decodes the encoded image supplied from the AVC encoder 22 by a method corresponding to the AVC method.
  • the AVC decoder 23 outputs an image obtained as a result of decoding, and displays the 1/2 resolution image A and the 1/2 resolution image B alternately.
  • the viewer wears glasses that open the shutter for the left eye when the 1/2 resolution image A is displayed and open the shutter for the right eye when the 1/2 resolution image B is displayed.
  • the half resolution image B is viewed only with the right eye. Thereby, the viewer can see the 3D image.
  • FIG. 3 is a diagram illustrating an example of an image processing system that encodes and decodes two-viewpoint images using the MVC method.
  • 3 includes an imaging unit 31A, an imaging unit 31B, an MVC encoder 32, and an MVC decoder 33.
  • the imaging unit 31A captures an image A at a predetermined viewpoint and supplies it to the MVC encoder 32.
  • the imaging unit 31B captures an image B at a viewpoint different from the image A and supplies the image B to the MVC encoder 32.
  • the MVC encoder 32 encodes the image A supplied from the photographing unit 31A as a base image using the AVC method, and encodes the image B supplied from the photographing unit 31B as a dependent image using the MVC method.
  • the MVC encoder 32 supplies the encoded image A and image B to the MVC decoder 33.
  • the MVC decoder 33 decodes the encoded image A and image B supplied from the MVC encoder 32 by a method corresponding to the MVC method.
  • the MVC decoder 33 outputs the image A and the image B obtained as a result of decoding and displays them alternately.
  • the viewer wears glasses that open the shutter of the left eye when displaying the image A and open the shutter of the right eye when displaying the image B, see the image A only with the left eye, and see the image B with only the right eye. . Thereby, the viewer can see the 3D image.
  • FIG. 4 is a diagram illustrating an example of an image processing system that encodes a two-viewpoint image using the MVC method and generates a multi-viewpoint image by decoding.
  • an imaging unit 31A includes an imaging unit 31A, an imaging unit 31B, an MVC encoder 32, an MVC decoder 33, a parallax detection unit 41, and an image generation unit 42. 4, the same components as those in FIG. 3 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the image A and the image B obtained as a result of decoding by the MVC decoder 33 are supplied to the parallax detection unit 41 of the image processing system 40.
  • the parallax detection unit 41 detects parallax of each pixel of the image A and the image B using the image A and the image B. Then, the parallax detection unit 41 generates a parallax image A ′ representing the parallax of each pixel of the image A and a parallax image B ′ representing the parallax of each pixel of the image B, and supplies them to the image generation unit 42.
  • the image generation unit 42 uses an image A and an image B obtained as a result of decoding by the MVC decoder 33, and a parallax image A ′ and a parallax image B ′ supplied from the image generation unit 42, on a display device (not shown). A multi-view image with the corresponding number of viewpoints is generated. Then, the image generation unit 42 converts the resolution of the generated image of each viewpoint into a resolution of 1 / number of viewpoints, synthesizes it, and outputs and displays it.
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • the present technology has been made in view of such a situation, and enables encoding and decoding of multi-viewpoint images in a method having compatibility with existing methods. is there.
  • the encoding device specifies a compatible image from a multi-viewpoint image, encodes the specified compatible image, and generates a first encoded stream;
  • An image conversion unit that converts the resolution of an auxiliary image used when generating a multi-viewpoint image from the compatible image, and the auxiliary image converted by the image conversion unit is encoded to generate a second encoded stream
  • the encoding method according to the first aspect of the present technology corresponds to the encoding device according to the first aspect of the present technology.
  • a compatible image is specified from a multi-view image, the specified compatible image is encoded to generate a first encoded stream, and the multi-view image is generated from the compatible image.
  • the resolution of the auxiliary image used when generating the image is converted, the auxiliary image whose resolution is converted is encoded, a second encoded stream is generated, and compatible image specifying information for specifying the compatible image is set. Then, the first encoded stream, the second encoded stream, and the compatible image designation information are transmitted.
  • the decoding device When the decoding device according to the second aspect of the present technology generates a multi-view image from a first encoded stream obtained as a result of encoding a compatible image designated from a multi-view image and the compatible image.
  • a receiving unit that receives a second encoded stream obtained as a result of converting and encoding the resolution of the auxiliary image to be used, and compatible image specifying information for specifying the compatible image, and based on the compatible image specifying information,
  • a compatible image decoding unit that identifies the first encoded stream and decodes the first encoded stream, an auxiliary image decoding unit that decodes the second encoded stream, and decoding performed by the auxiliary image decoding unit
  • An image conversion unit that converts the resolution of the auxiliary image obtained by converting the resolution obtained as a result.
  • the decoding method according to the second aspect of the present technology corresponds to the decoding device according to the second aspect of the present technology.
  • a first encoded stream obtained as a result of encoding a compatible image designated from a multi-view image and an auxiliary used for generating a multi-view image from the compatible image A second encoded stream obtained as a result of converting and encoding the resolution of the image and compatible image specifying information specifying the compatible image are received, and the first code is based on the compatible image specifying information.
  • the first encoded stream is decoded, the second encoded stream is decoded, and the resolution of the auxiliary image obtained by converting the resolution obtained as a result of the decoding is converted.
  • the encoding device according to the first aspect and the decoding device according to the second aspect can be realized by causing a computer to execute a program.
  • a program to be executed by a computer is transmitted through a transmission medium or recorded on a recording medium, Can be provided.
  • the first aspect of the present technology it is possible to perform encoding on a multi-viewpoint image by a method having compatibility with an existing method.
  • FIG. 33 is a flowchart for describing decoding processing by the decoding device of FIG. 32.
  • FIG. It is a figure which shows the further another example of description of parallax image information. It is a block diagram which shows the structural example of 5th Embodiment of the encoding apparatus to which this technique is applied. It is a figure which shows the detailed description example of parallax image information.
  • FIG. 36 is a diagram illustrating a configuration example of a decoding device corresponding to the encoding device in FIG. 35.
  • FIG. 41 is a flowchart for describing decoding processing by the decoding device of FIG. 40.
  • FIG. It is a block diagram which shows the structural example of 6th Embodiment of the encoding apparatus to which this technique is applied.
  • 43 is a flowchart for describing an encoding process by the encoding device in FIG.
  • FIG. 43 is a flowchart for describing an encoding process by the encoding device in FIG.
  • FIG. 43 is a diagram illustrating a configuration example of a decoding device corresponding to the encoding device in FIG. 42. It is a flowchart explaining the decoding process by the decoding apparatus of FIG. It is a figure which shows the example of the multiplexing pattern of encoding object. It is a figure which shows the characteristic of the effect by multiplexing. It is a figure which shows the other example of the multiplexing pattern of an encoding target. It is a figure which shows the further another example of the multiplexing pattern of encoding object. It is a block diagram which shows the structural example of 7th Embodiment of the encoding apparatus to which this technique is applied.
  • FIG. 52 is a diagram illustrating a configuration example of a decoding device corresponding to the encoding device in FIG. 51.
  • FIG. 55 is a flowchart for describing decoding processing by the decoding device of FIG. 54.
  • FIG. It is a figure which shows the structural example of a bit stream.
  • FIG. 57 is a diagram illustrating a description example of a 3DV Subset SPS for parallax images in FIG. 56.
  • FIG. 58 is a diagram illustrating a description example of extended information for parallax images in FIG. 57.
  • FIG. 58 is a diagram illustrating a description example of parallax image VUI extension information in FIG. 57. It is a figure which shows the example of description of the NAL header of the coding data of 3DV system.
  • FIG. 61 is a diagram illustrating a description example of the parallax image header extension information of FIG. 60. [Fig. 57]
  • Fig. 57 is a diagram illustrating a description example of the 3DV SEI of Fig. 56. It is a figure which shows the other structural example of a bit stream.
  • FIG. 64 is a diagram illustrating a description example of a 3DV Subset SPS for the image in FIG. 63.
  • FIG. 66 is a diagram illustrating a description example of the SPS in FIG. 65.
  • FIG. 67 is a diagram illustrating a description example of Subset SPS in FIG. 66.
  • FIG. 68 is a diagram illustrating a description example of VUI information of Subset SPS in FIG. 67.
  • FIG. 66 is a diagram illustrating a description example of the SEI of the 3DV method in FIG. 65. It is a figure which shows the structural example of one Embodiment of a computer. It is a figure which shows schematic structure of the television apparatus to which this technique is applied.
  • FIG. 5 is a block diagram illustrating a configuration example of the first embodiment of the encoding device to which the present technology is applied.
  • the 5 includes an imaging unit 51A to 51C, an image conversion unit 52, a parallax image generation unit 53, an image information generation unit 54, a compatible information generation unit 55, an inter-viewpoint distance information generation unit 56, and parallax image information generation.
  • the unit 57, the encoder 58, and the multiplexing unit 59 are included.
  • the encoding device 50 ensures compatibility with an encoding device that encodes an existing 2D image by encoding an image of one viewpoint out of multi-view images as a 2D image by an existing encoding method. To do.
  • an image encoded by an existing encoding method in order to ensure compatibility with an existing encoding device is referred to as a compatible image, and is compatible using a compatible image.
  • An image for generating an image with a viewpoint larger than the number of viewpoints of the image is referred to as an auxiliary image.
  • the imaging unit 51A captures an HD (High Definition) image at a predetermined viewpoint as an image A1, and supplies the image to the image conversion unit 52, the parallax image generation unit 53, and the inter-viewpoint distance information generation unit 56.
  • the imaging unit 51B captures an HD image of a viewpoint different from the image A1 as an image B1 at a position that is separated from the imaging unit 51A in the horizontal direction by a distance ⁇ d1 AB , the image conversion unit 52, the parallax image generation unit 53, and the viewpoint It supplies to the distance information generation part 56.
  • the imaging unit 51C captures, as an image C1, an HD image at a different viewpoint from the images A1 and B1 at a position away from the imaging unit 51A in the horizontal direction opposite to the imaging unit 51B by a distance ⁇ d1 AC. 52, the parallax image generation unit 53, and the inter-viewpoint distance information generation unit 56.
  • the viewpoints corresponding to the images B1 and C1 are the outer viewpoints of the viewpoints of the image that can be perceived as a 3D image.
  • the decoding apparatus corresponding to the encoding apparatus 50 generates a multi-viewpoint image by interpolating the viewpoint images inside the viewpoints of the images B1 and C1 using the images A1 to C1. Can do.
  • the distance ⁇ d1 AB and the distance ⁇ d1 AC may be fixed or may change with time.
  • the image conversion unit 52 determines the image A1 supplied from the imaging unit 51A having the horizontal position on the inner side among the imaging units 51A to 51C as a compatible image.
  • the image conversion unit 52 supplies information specifying the image A1 as a compatible image to the compatible information generation unit 55. Then, the image conversion unit 52 supplies the image A1, which is a compatible image, to the encoder 58 as it is.
  • the image conversion unit 52 uses the images B1 and C1 other than the image A1 as auxiliary images and multiplexes them by a predetermined multiplexing method. Specifically, for example, when the multiplexing method is a side-by-side method, the image conversion unit 52 (image conversion unit) halves the resolution of the image B1 and the image C1. Then, the image conversion unit 52 (multiplexing unit) converts the image B1 with half the resolution (hereinafter referred to as 1/2 resolution image B1) to the left half of the screen and the image C1 with half the resolution ( Hereinafter, the half resolution image B1 and the half resolution image C1 are multiplexed so that the half resolution image C1) is an image on the right half of the screen. The image conversion unit 52 supplies the multiplexed image obtained as a result of the multiplexing to the encoder 58 and supplies information indicating the auxiliary image multiplexing method to the image information generation unit 54.
  • the image conversion unit 52 supplies the multiplexed image obtained as a result of the multiplexing to
  • the parallax image generation unit 53 detects the parallax of each pixel of the images A1 to C1 using the images A1 to C1 supplied from the imaging units 51A to 51C.
  • the parallax image generation unit 53 generates a parallax image A ⁇ b> 1 ′ representing the parallax of each pixel of the image A ⁇ b> 1 that is a compatible image, and supplies the parallax image A ⁇ b> 1 ′ to the encoder 58 as it is.
  • the parallax image generation unit 53 (multiplexing unit) also includes a parallax image B1 ′ representing the parallax of each pixel of the image B1, which is the auxiliary image, and a parallax image C1 ′ representing the parallax of each pixel of the image C1, which is the auxiliary image. Is generated and multiplexed by a predetermined multiplexing method.
  • the parallax image generation unit 53 supplies the multiplexed image obtained as a result to the encoder 58.
  • the parallax image generation unit 53 supplies the parallax image information generation unit 57 with information indicating the method of multiplexing the parallax images of the auxiliary images.
  • the image information generation unit 54 Based on the information supplied from the image conversion unit 52, the image information generation unit 54 generates information indicating the auxiliary image multiplexing method as image information that is information related to the compatible image and the auxiliary image, and sends the information to the encoder 58. Supply.
  • the compatibility information generation unit 55 (setting unit) generates information for specifying a compatible image, a compatibility mode, and the like as compatibility information that is information related to compatibility, and sends the information to the encoder 58. Supply.
  • the compatibility mode is a mode representing a coding method of a compatible image.
  • the compatibility mode represents, for example, a mono mode (mono) representing an encoding method for encoding a single-view compatible image by the AVC method, and an encoding method for multiplexing two-view compatible images and encoding them by the AVC method.
  • the inter-viewpoint distance information generation unit 56 uses the images A1 to C1 supplied from the image capturing units 51A to 51C, and the distance between the viewpoints of the two images A1 to C1. (Hereinafter referred to as “inter-viewpoint distance”). For example, the inter-viewpoint distance information generation unit 56 calculates the horizontal distance ⁇ d1 AB between the photographing unit 51A and the photographing unit 51B and the horizontal distance ⁇ d1 AC between the photographing unit 51A and the photographing unit 51C. Detect as. The inter-viewpoint distance information generation unit 56 generates information indicating the inter-viewpoint distance as the inter-viewpoint distance information that is information related to the inter-viewpoint distance, and supplies the generated information to the encoder 58.
  • the parallax image information generation unit 57 Based on the information supplied from the parallax image generation unit 53, the parallax image information generation unit 57 generates information indicating the parallax image multiplexing method of the auxiliary image as parallax image information that is information about the parallax image, This is supplied to the encoder 58.
  • the encoder 58 includes a compatible encoder 61 and an auxiliary encoder 62.
  • the compatible encoder 61 (compatible image encoding unit) designates an image A1 that is a compatible image from the multiplexed image of the compatible image and the auxiliary image supplied from the image conversion unit 52, and encodes the image A1 using the existing AVC method.
  • Various types of information are added, and the resulting encoded stream is supplied to the multiplexing unit 59 as a compatible stream (first encoded stream).
  • the auxiliary encoder 62 (auxiliary image encoding unit, parallax image encoding unit) includes a multiplexed image of the auxiliary image from the image conversion unit 52, and a parallax image A1 ′ of the compatible image and the auxiliary image from the parallax image generation unit 53.
  • the multiplexed image of the parallax images is encoded by a predetermined method.
  • an encoding method in the auxiliary encoder 62 an AVC method, an MVC method, an MPEG2 (Moving / Pictures / Experts / Group / phase-2) method, or the like can be used.
  • the auxiliary encoder 62 adds the image information from the image information generation unit 54 to the encoded image (second stream, first parallax encoded stream, and second parallax encoded stream) obtained as a result of encoding.
  • the encoded information is generated by adding the compatibility information from the compatibility information generation unit 55, the inter-viewpoint distance information from the inter-viewpoint distance information generation unit 56, the parallax image information from the parallax image information generation unit 57, and the like.
  • the auxiliary encoder 62 supplies the encoded stream to the multiplexing unit 59 as an auxiliary stream.
  • the multiplexing unit 59 generates and multiplexes TS (Transport Stream) from the compatible stream supplied from the compatible encoder 61 and the auxiliary stream supplied from the auxiliary encoder 62, respectively.
  • the multiplexing unit 59 (transmission unit) transmits a multiplexed stream obtained as a result of multiplexing.
  • FIGS. 6 to 8 are diagrams illustrating examples of description of compatible information and parallax image information in the auxiliary stream when the AVC method or the MVC method is used as the encoding method.
  • the compatibility information (3DV_view_structure) and the parallax image information (depth_map_structure) are arranged in SEI (Supplemental Enhancement Information) in the auxiliary stream.
  • the compatible information (3DV_view_structure) As the compatible information (3DV_view_structure), as shown in FIG. 7, the number of viewpoints (num_of_views) of the image to be encoded (num_of_views), compatible mode (compatible mode), information for specifying a compatible image (compatible_view), etc. Is described.
  • parallax image information depth_map_structure
  • the number of parallax images depth_map
  • number_of_depth_map a flag
  • is_frame_packing indicating whether or not parallax images are multiplexed
  • multiplexing of parallax images Information comb_frame_packing_views
  • Multiplexing methods include a side-by-side method (SBS) and a top-and-bottom method (TOB).
  • the top-and-bottom method is a method in which one of two images to be multiplexed is the upper half of the screen and the other image is the lower half of the screen.
  • the image information is the same as the parallax image information except that it is not a parallax image but information about a compatible image and an auxiliary image.
  • FIG. 9 is a diagram illustrating a description example of the inter-viewpoint distance information in the auxiliary stream when the AVC method or the MVC method is used as the encoding method.
  • the inter-viewpoint distance information (3DV_view_info) is arranged in the SEI in the auxiliary stream in the same manner as the compatibility information, the parallax image information, and the image information.
  • the distance information between viewpoints corresponds to the number of viewpoints (num_of_views) of the image to be encoded, the number of detected distances between viewpoints (num_of_view_distance), and the distance between viewpoints.
  • a combination of two images view [0, 1]
  • a distance between viewpoints corresponding to the combination view_distance [view_distance_id]), and the like are described.
  • FIG. 10 and 11 are flowcharts for explaining the encoding process by the encoding device 50 of FIG. This encoding process is started, for example, when the images A1 to C1 are output from the imaging units 51A to 51C.
  • step S11 of FIG. 10 the inter-viewpoint distance information generation unit 56 detects the distance ⁇ d1 AB and the distance ⁇ d1 AC as the inter-viewpoint distance using the images A1 to C1 supplied from the photographing units 51A to 51C. .
  • step S12 the inter-viewpoint distance information generation unit 56 generates information indicating the inter-viewpoint distance detected in step S11 as inter-viewpoint distance information, and inputs the information to the encoder 58.
  • step S13 the image conversion unit 52 determines the image A1 supplied from the imaging unit 51A having the horizontal position on the inner side among the imaging units 51A to 51C as a compatible image, and multiplexes the auxiliary images. To decide.
  • the image conversion unit 52 supplies information specifying the image A1 as a compatible image to the compatible information generation unit 55 and supplies the auxiliary image multiplexing method to the image information generation unit 54.
  • step S14 the compatible information generating unit 55 generates information specifying the image A1 as a compatible image, a mono mode as a compatible mode, and the like as compatible information based on the information supplied from the image converting unit 52, and an encoder 58 To enter.
  • step S ⁇ b> 15 the image information generation unit 54 generates information indicating the auxiliary image multiplexing method as image information based on the information supplied from the image conversion unit 52 and inputs the information to the encoder 58.
  • step S16 the image conversion unit 52 uses the image B1 and the image C1 other than the image A1 as auxiliary images, multiplexes the auxiliary images based on the auxiliary image multiplexing method determined in step S13, and multiplexes the auxiliary images. Get an image.
  • step S ⁇ b> 17 the image conversion unit 52 inputs the image A ⁇ b> 1 that is a compatible image and the multiplexed image of the auxiliary image to the encoder 58.
  • the parallax image generation unit 53 detects the parallax of each pixel of the images A1 to C1 using the images A1 to C1 supplied from the imaging units 51A to 51C, and the parallax image A1. 'To parallax image C1' is generated.
  • step S19 the parallax image generation unit 53 determines the multiplexing method of the parallax image of the auxiliary image, and supplies information indicating the multiplexing method to the parallax image information generation unit 57.
  • step S20 the parallax image information generation unit 57 generates information indicating the parallax image multiplexing method of the auxiliary image as parallax image information based on the information supplied from the parallax image generation unit 53, and the encoder 58 To enter.
  • step S21 the parallax image generation unit 53 multiplexes the parallax images of the auxiliary images based on the multiplexing scheme of the parallax images of the auxiliary images determined in step S19, and obtains a multiplexed image of the parallax images of the auxiliary images.
  • step S22 the parallax image generation unit 53 inputs the multiplexed image of the parallax image A1 ′ of the compatible image and the parallax image of the auxiliary image to the encoder 58.
  • step S23 the compatible encoder 61 of the encoder 58 encodes the image A1, which is a compatible image supplied from the image converting unit 52, using the existing AVC method, and the encoded stream obtained as a result is a multiplexing unit. 59.
  • step S24 the auxiliary encoder 62 predetermines the multiplexed image of the auxiliary image from the image converting unit 52, the parallax image A1 ′ of the compatible image from the parallax image generating unit 53, and the multiplexed image of the parallax image of the auxiliary image. It encodes with the method of.
  • step S25 the auxiliary encoder 62 adds, to the encoded image obtained as a result of the encoding in step S24, image information from the image information generation unit 54, compatibility information from the compatibility information generation unit 55, and distance information between viewpoints.
  • the encoded stream is generated by adding the distance information between viewpoints from the generation unit 56 and the parallax image information from the parallax image information generation unit 57.
  • the auxiliary encoder 62 supplies the encoded stream to the multiplexing unit 59 as an auxiliary stream.
  • step S26 the multiplexing unit 59 generates a TS from the compatible stream supplied from the compatible encoder 61 and the auxiliary stream supplied from the auxiliary encoder 62, and multiplexes and transmits the TS. Then, the process ends.
  • the encoding device 50 uses one viewpoint image among the multi-viewpoint images as a compatible image and encodes it with an existing encoding method, the encoding device 50 encodes an existing 2D image. Compatibility can be ensured. That is, the encoding apparatus 50 can encode multi-viewpoint images using a method having compatibility with an existing encoding method.
  • the decoding device 50 since the encoding device 50 encodes the three-view images A1 to C1, the decoding device corresponding to the encoding device 50 can generate a multi-view image from the three-view images A1 to C1. .
  • the decoding device is not limited to the viewpoints of images that can be generated as compared with the case of generating from images of two viewpoints, and can generate a multi-viewpoint image with higher accuracy.
  • the processing cost of the encoding process and the decoding process can be reduced as compared with the case of encoding without reducing the resolution. it can.
  • the processing costs of encoding processing and decoding processing are equivalent to the processing costs of encoding processing and decoding processing for two HD images.
  • the processing cost of the encoding process for the two-view auxiliary image by the encoding device 50 is equivalent to the processing cost of the encoding process and the decoding process for one HD image. As a result, it is possible to prevent the performance of the decoding process in the decoding device from greatly affecting the image quality of multi-viewpoint images.
  • the decoding device corresponding to the encoding device 50 reduces the resolution to a reciprocal of the number of viewpoints of the multi-viewpoint image when synthesizing the multi-viewpoint image.
  • the reduction in the resolution of the auxiliary image by means of does not affect the image quality of the multi-viewpoint image after synthesis.
  • the encoding device 50 encodes the auxiliary image with half the resolution, and encodes the auxiliary image with the parallax image being halved, the amount of information to be encoded is equivalent to 4HD images (1080ix4) in the AVC method. Can be about.
  • the display device that displays the current multi-viewpoint image and the accompanying processing speed, processing performance for power consumption, transmission data rate, transmission bandwidth, memory bandwidth, memory access speed, etc.
  • an appropriate value as the amount of information that can be processed by the decoding device is about twice that of the HD image in the current MVC system, that is, about 4 HD images in the AVC system. Therefore, a decoding device (decoding method) corresponding to the encoding device 50 in which the amount of information to be encoded is about 4HD images (1080ix4) in the AVC format can be realized with a reasonable processing cost and a reasonable approach. it can.
  • the encoding device 50 since the encoding device 50 reduces the amount of information to be encoded to about 4HD images (1080ix4) in the AVC format, it can be easily handled by a BD or broadcast application with a limited usable bandwidth. it can.
  • the decoding device corresponding to the encoding device 50 needs to generate a parallax image in order to generate a multi-viewpoint image. Therefore, the processing load of the decoding device can be reduced. As a result, the cost of the decoding device can be reduced. In addition, it is possible to prevent the parallax detection performance of the decoding apparatus from significantly affecting the image quality of multi-viewpoint images.
  • this technology effectively utilizes various types of information such as compatibility information on the assumption of reasonable processing costs and reasonable implementation methods. Therefore, the main focus is on efficiently generating multi-viewpoint images with high image quality while ensuring compatibility with existing formats.
  • FIG. 12 is a diagram illustrating a configuration example of a decoding device that decodes a multiplexed stream transmitted from the encoding device 50 in FIG. 5.
  • the decoding device 120 decodes the multiplexed stream transmitted from the encoding device 50, generates a one-view image or a multi-view image, and displays the image on a display device (not shown).
  • the separation unit 121 (reception unit) of the decoding device 120 receives the multiplexed stream transmitted from the encoding device 50 and separates it for each TS.
  • the separation unit 121 extracts a compatible stream and an auxiliary stream from the separated TS and supplies them to the decoder 122.
  • the decoder 122 includes a compatible decoder 131 and an auxiliary decoder 132. Based on the information for specifying the compatible stream supplied from the auxiliary decoder 132, the compatible decoder 131 (compatible image decoding unit) of the decoder 122, among the compatible stream and auxiliary stream supplied from the separation unit 121, Identify compatible streams.
  • the compatible decoder 131 decodes the encoded compatible image included in the compatible stream by a method corresponding to the AVC method, and supplies the image A1 obtained as a result to the image generation unit 127.
  • the auxiliary decoder 132 supplies information for identifying the compatible stream to the compatible decoder 131 based on the compatible information included in the auxiliary stream supplied from the separation unit 121.
  • the auxiliary decoder 132 identifies an auxiliary stream among the compatible stream and the auxiliary stream supplied from the separation unit 121 based on the compatibility information.
  • the auxiliary decoder 132 (auxiliary image decoding unit) includes the multiplexed image of the encoded auxiliary image, the parallax image A1 ′ of the compatible image, and the parallax image of the auxiliary image included in the auxiliary stream supplied from the separation unit 121.
  • the multiplexed image is decoded by a method corresponding to the auxiliary encoder 62 in FIG.
  • the auxiliary decoder 132 supplies the multiplexed image of the auxiliary image obtained as a result of decoding, the parallax image A1 ′ of the compatible image, and the multiplexed image of the parallax image of the auxiliary image to the image generation unit 127.
  • the auxiliary decoder 132 supplies the image information included in the auxiliary stream to the image information acquisition unit 123 and supplies the inter-viewpoint distance information to the inter-viewpoint distance information acquisition unit 124.
  • the auxiliary decoder 132 supplies the parallax image information included in the auxiliary stream to the parallax image information acquisition unit 125 and supplies the compatibility information to the compatibility information acquisition unit 126.
  • the image information acquisition unit 123 acquires the image information supplied from the auxiliary decoder 132 and supplies it to the image generation unit 127.
  • the inter-viewpoint distance information acquisition unit 124 acquires the inter-viewpoint distance information supplied from the auxiliary decoder 132 and supplies it to the image generation unit 127.
  • the parallax image information acquisition unit 125 acquires the parallax image information supplied from the auxiliary decoder 132 and supplies the parallax image information to the image generation unit 127.
  • the compatibility information acquisition unit 126 acquires the compatibility information supplied from the auxiliary decoder 132 and supplies it to the image generation unit 127.
  • the image generation unit 127 outputs an image in response to a display command from the viewer and displays the image on a display device (not shown). Specifically, the image generation unit 127 (generation unit) receives the image information from the image information acquisition unit 123 and the inter-viewpoint distance information acquisition unit 124 in response to a display instruction for a 3D image of the multi-viewpoint method from the viewer. On the basis of the inter-viewpoint distance information, the parallax image information from the parallax image information acquisition unit 125, the compatibility information from the compatibility information acquisition unit 126, and the like. Using the multiplexed image of the parallax images of the image, an image having a resolution equal to half of the resolution of the compatible image or the auxiliary image and the number of viewpoints corresponding to a display device (not shown) is generated.
  • the image generation unit 127 (separation unit) performs the parallax image of the auxiliary image based on information indicating the multiplexing method of the parallax image of the auxiliary image included in the parallax image information from the parallax image information acquisition unit 125.
  • the parallax images of the auxiliary images are separated from the multiplexed images.
  • the image generation unit 127 separates each auxiliary image from the multiplexed image of the auxiliary image based on the information indicating the auxiliary image multiplexing method included in the image information from the image information acquisition unit 123.
  • the image generation unit 127 determines the position of each viewpoint of the generated multi-viewpoint image based on the inter-viewpoint distance information and the number of viewpoints corresponding to the display device (not shown). Then, the image generation unit 127 generates an image of each viewpoint whose position is determined using the compatible image, each auxiliary image, the parallax image of the compatible image, and the parallax image of each auxiliary image. Then, the image generation unit 127 converts the resolution of the generated image of each viewpoint into a resolution of 1 / the number of viewpoints of the resolution of the compatible image or the auxiliary image, and displays it on a display device (not shown).
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • the image generation unit 127 outputs an image A1 that is a compatible image supplied from the compatible decoder 131 of the decoder 122 in response to a 2D image display command from the viewer, and displays the image A1 on a display device (not shown). Let Thereby, the viewer can see the 2D image.
  • FIG. 13 is a flowchart illustrating a decoding process performed by the decoding device 120 in FIG. This decoding process is started when, for example, a multiplexed stream transmitted from the encoding device 50 in FIG.
  • the separation unit 121 of the decoding device 120 receives the multiplexed stream transmitted from the encoding device 50 and separates it for each TS.
  • the separation unit 121 extracts a compatible stream and an auxiliary stream from the separated TS and supplies them to the decoder 122.
  • the auxiliary decoder 132 of the decoder 122 supplies information for specifying the compatible stream to the compatible decoder 131 based on the compatible information included in the auxiliary stream supplied from the separation unit 121.
  • step S32 the compatible decoder 131 identifies a compatible stream among the compatible stream and the auxiliary stream supplied from the separation unit 121 based on the information for specifying the compatible stream supplied from the auxiliary decoder 132. .
  • step S33 the compatible decoder 131 decodes the compatible image included in the compatible stream by a method corresponding to the AVC method, and supplies the image A1 obtained as a result to the image generation unit 127.
  • step S34 the image generation unit 127 determines whether a 2D image display is instructed by the viewer. If it is determined in step S34 that display of 2D images is not instructed by the viewer, that is, if display of multi-viewpoint 3D images is instructed by the viewer, the auxiliary decoder 132 is based on the compatibility information. The auxiliary stream of the compatible stream and auxiliary stream supplied from the separation unit 121 is identified.
  • the auxiliary decoder 132 converts the encoded auxiliary image multiplexed image, the compatible image parallax image A1 ′, and the auxiliary image parallax image multiplexed image included in the auxiliary stream into FIG.
  • the decoding is performed by a method corresponding to the auxiliary encoder 62.
  • the auxiliary decoder 132 supplies the image generation unit 127 with the multiplexed image of the auxiliary image, the parallax image A1 ′ of the compatible image, and the multiplexed image of the parallax image of the auxiliary image obtained as a result of the decoding.
  • the auxiliary decoder 132 supplies the image information included in the auxiliary stream to the image information acquisition unit 123 and supplies the inter-viewpoint distance information to the inter-viewpoint distance information acquisition unit 124. Further, the auxiliary decoder 132 supplies the parallax image information included in the auxiliary stream to the parallax image information acquisition unit 125 and supplies the compatibility information to the compatibility information acquisition unit 126.
  • step S36 the image information acquisition unit 123 acquires the image information supplied from the auxiliary decoder 132 and inputs the acquired image information to the image generation unit 127.
  • step S ⁇ b> 37 the inter-viewpoint distance information acquisition unit 124 acquires the inter-viewpoint distance information supplied from the auxiliary decoder 132 and inputs it to the image generation unit 127.
  • step S38 the parallax image information acquisition unit 125 acquires the parallax image information supplied from the auxiliary decoder 132 and inputs the parallax image information to the image generation unit 127.
  • step S ⁇ b> 39 the compatibility information acquisition unit 126 acquires the compatibility information supplied from the auxiliary decoder 132 and inputs it to the image generation unit 127.
  • step S40 the image generation unit 127 determines the position of each viewpoint of the multi-viewpoint image to be generated based on the inter-viewpoint distance information from the inter-viewpoint distance information acquisition unit 124 and the number of viewpoints corresponding to the display device (not shown). To decide. For example, when the inter-viewpoint distance included in the inter-viewpoint distance information is narrow, the image generation unit 127 also generates the positions of the viewpoints outside the viewpoints of the images B1 and C1, and the viewpoint positions of the multi-viewpoint 3D image to be generated. To decide.
  • the image generating unit 127 when the inter-viewpoint distance included in the inter-viewpoint distance information is large, the image generating unit 127 generates only the position of the viewpoint inside the viewpoints of the images B1 and C1 and generates the viewpoints of the multi-viewpoint 3D image to be generated. Determine as position.
  • step S ⁇ b> 41 the image generation unit 127 determines the position of each viewpoint determined in step S ⁇ b> 40, the image information from the image information acquisition unit 123, the parallax image information from the parallax image information acquisition unit 125, and the compatibility information acquisition unit 126. Based on compatibility information, etc., using compatible images, multiplexed images of auxiliary images, parallax images of compatible images, and multiplexed images of parallax images of auxiliary images, half the resolution of compatible images and auxiliary images for each viewpoint Generate an image of
  • step S42 the image generation unit 127 converts the resolution of each viewpoint image generated in step S41 to 1 / the number of viewpoints of the resolution of the compatible image or the auxiliary image, and converts the converted image of each viewpoint. Compositing based on the viewpoint position.
  • step S43 the image generation unit 127 outputs the combined multi-viewpoint image obtained by the processing in step S42 to a display device (not shown), and displays the viewable angle different for each viewpoint. Then, the process ends.
  • step S44 the image generation unit 127 displays an image A1 that is a compatible image supplied from the compatible decoder 131, not shown. Output to the device and display. Then, the process ends.
  • the decoding device 120 can decode the compatible stream and the auxiliary stream encoded by the encoding device 50 in a method having compatibility with the existing method.
  • the decoding device 120 since the decoding device 120 generates a multi-view image using the one-view compatible image and the two-view auxiliary image, the encoding device 50 is an existing imaging unit for generating a multi-view image.
  • the image capturing unit 51A that captures a compatible image of one viewpoint, only the two image capturing units 51B and the image capturing unit 51C need be prepared. Therefore, it is possible to easily and inexpensively install a photographing unit for generating a multi-viewpoint image.
  • FIG. 14 is a block diagram illustrating a configuration example of the second embodiment of the encoding device to which the present technology is applied.
  • the configuration of the encoding device 140 in FIG. 14 mainly includes the imaging units 51A to 51C, the image conversion unit 52, the parallax image generating unit 53, the inter-viewpoint distance information generating unit 56, and the encoder 58 instead of the imaging units 141A to 141A.
  • 5 is different from the configuration of FIG. 5 in that an imaging unit 141D, an image conversion unit 142, a parallax image generation unit 143, an inter-viewpoint distance information generation unit 144, and an encoder 145 are provided.
  • the encoding device 140 is compatible with an encoding device that encodes an existing 2-viewpoint 3D image by encoding two-viewpoint images out of multi-viewpoint images as a compatible image using the AVC method. Secure.
  • the imaging unit 141A of the encoding device 140 captures an HD image at a predetermined viewpoint as an image A2, and supplies the image to the image conversion unit 142, the parallax image generation unit 143, and the inter-viewpoint distance information generation unit 144.
  • the imaging unit 141B captures, as an image B2, an HD image having a viewpoint different from that of the image A2 at a position apart from the imaging unit 141A in the horizontal direction by a distance ⁇ d2 AB , the image conversion unit 142, the parallax image generation unit 143, and the viewpoint It supplies to the distance information generation part 144.
  • the photographing unit 141C shoots an HD image at a viewpoint different from the images A2 and B2 as an image C2 at a position separated from the photographing unit 141B by a distance ⁇ d2 BC in the horizontal direction opposite to the photographing unit 141A.
  • the photographing unit 141D shoots an HD image at a viewpoint different from the images A2 to C2 at a position separated from the photographing unit 141A by a distance ⁇ d2 AD in the horizontal direction opposite to the photographing unit 141B as an image D2.
  • the parallax image generation unit 143, and the inter-viewpoint distance information generation unit 144 shoots an HD image at a viewpoint different from the images A2 and B2 as an image C2 at a position separated from the photographing unit 141B by a distance ⁇ d2 AD in the horizontal direction opposite to the photographing unit 141B as an image D2.
  • the viewpoints corresponding to the images C2 and D2 are the viewpoints on the outer side among the viewpoints of the image that can be perceived as a 3D image.
  • the decoding apparatus corresponding to the encoding apparatus 140 generates a multi-viewpoint image by interpolating images of viewpoints inside the viewpoints of the images C2 and D2 using the images A2 to D2. Can do.
  • the distance ⁇ d2 AB , the distance ⁇ d2 BC , and the distance ⁇ d2 AD may be fixed or may change with time.
  • the image conversion unit 142 determines the image A2 supplied from the imaging unit 141A having the horizontal position on the inner side among the imaging units 141A to 141D and the image B2 supplied from the imaging unit 141B as compatible images. Then, the image conversion unit 142 multiplexes the images A2 and B2 that are compatible images by a predetermined multiplexing method, and supplies the multiplexed image to the encoder 145. In addition, the image conversion unit 142 supplies information specifying the images A2 and B2 as compatible images to the compatible information generation unit 55.
  • the image conversion unit 142 uses the image C2 and the image D2 other than the image A2 and the image B2 as auxiliary images, and multiplexes them with a predetermined multiplexing method.
  • the image conversion unit 142 supplies a multiplexed image obtained as a result of multiplexing to the encoder 145.
  • the image converting unit 142 supplies information indicating the multiplexing method of the compatible image and the auxiliary image to the image information generating unit 54.
  • the parallax image generation unit 143 detects the parallax of each pixel of the images A2 to D2 using the images A2 to D2 supplied from the imaging units 141A to 141D.
  • the parallax image generation unit 143 generates a parallax image A2 ′ representing the parallax of each pixel of the image A2, which is a compatible image, and a parallax image B2 ′ representing the parallax of each pixel of the image B2, and multiplexed by a predetermined multiplexing method Turn into.
  • the parallax image generation unit 143 supplies the multiplexed image obtained as a result to the encoder 145.
  • the parallax image generation unit 143 generates a parallax image C2 ′ that represents the parallax of each pixel of the image C2 that is the auxiliary image, and a parallax image D2 ′ that represents the parallax of each pixel of the image D2 that is the auxiliary image. Multiplexing is performed using the multiplexing method.
  • the parallax image generation unit 143 supplies the multiplexed image obtained as a result to the encoder 145.
  • the parallax image generation unit 143 supplies the parallax image information generation unit 57 with information indicating the method of multiplexing the parallax images of the compatible image and the auxiliary image.
  • the inter-viewpoint distance information generation unit 144 detects the inter-viewpoint distances of the images A2 to D2 using the images A2 to D2 supplied from the shooting units 141A to 141D.
  • the inter-viewpoint distance information generation unit 144 includes the horizontal distance ⁇ d2 AB between the photographing unit 141A and the photographing unit 141B, the horizontal distance ⁇ d2 BC between the photographing unit 141B and the photographing unit 141C, and the photographing unit 141A and the photographing unit 141A.
  • the horizontal distance ⁇ d2 AD between the units 141D is detected as the inter-viewpoint distance.
  • the inter-viewpoint distance information generation unit 144 generates information indicating the inter-viewpoint distance as the inter-viewpoint distance information and supplies the information to the encoder 145.
  • the encoder 145 includes a compatible encoder 151 and an auxiliary encoder 152.
  • the compatible encoder 151 designates a multiplexed image of a compatible image from the multiplexed image of the compatible image and the multiplexed image of the auxiliary image supplied from the image conversion unit 142, and encodes various information by encoding with the existing AVC method.
  • the encoded stream obtained as a result is supplied to the multiplexing unit 59 as a compatible stream.
  • the auxiliary encoder 152 uses a predetermined method for the multiplexed image of the auxiliary image from the image converting unit 142, the multiplexed image of the parallax image of the compatible image from the parallax image generating unit 143, and the multiplexed image of the parallax image of the auxiliary image. Encode with As an encoding method in the auxiliary encoder 152, for example, an AVC method, an MVC method, or the like can be used.
  • the auxiliary encoder 152 adds the image information obtained as a result of the encoding to the image information from the image information generation unit 54, the compatibility information from the compatibility information generation unit 55, and the distance between the viewpoints from the inter-viewpoint distance information generation unit 144.
  • the encoded stream is generated by adding the distance information, the parallax image information from the parallax image information generation unit 57, and the like.
  • the auxiliary encoder 152 supplies the encoded stream to the multiplexing unit 59 as an auxiliary stream.
  • FIG. 15 and 16 are flowcharts for explaining the encoding process by the encoding device 140 of FIG. This encoding process is started when, for example, the images A2 to D2 are output from the imaging units 141A to 141D.
  • the inter-viewpoint distance information generation unit 144 uses the images A2 to D2 supplied from the imaging units 141A to 141D to set the distance ⁇ d2 AB , the distance ⁇ d2 BC , and the distance ⁇ d2 AD between the viewpoints. Detect as distance.
  • step S52 the inter-viewpoint distance information generation unit 144 generates information indicating the inter-viewpoint distance detected in step S51 as inter-viewpoint distance information, and inputs the information to the encoder 145.
  • step S53 the image conversion unit 142 interchanges the image A2 supplied from the shooting unit 141A with the horizontal position on the inner side among the shooting units 141A to 141D and the image B2 supplied from the shooting unit 141B.
  • An image is determined, and a multiplexing method of a compatible image and an auxiliary image is determined.
  • the image conversion unit 142 supplies information specifying the images A2 and B2 as compatible images to the compatible information generation unit 55, and supplies the image information generation unit 54 with a multiplexing method of compatible images and auxiliary images.
  • step S54 the compatibility information generation unit 55 generates information specifying the images A2 and B2 as compatible images, a frame packing mode as a compatibility mode, and the like as compatibility information based on the information supplied from the image conversion unit 142. And input to the encoder 145.
  • step S55 the image conversion unit 142 multiplexes the images A2 and B2, which are compatible images, based on the compatible image multiplexing method determined in step S53, and supplies the multiplexed images to the encoder 145.
  • step S56 the image information generation unit 54 generates information indicating the multiplexing method of the compatible image and the auxiliary image as image information based on the information supplied from the image conversion unit 142, and inputs the image information to the encoder 145.
  • step S57 the image conversion unit 142 uses the image C2 and the image D2 other than the image A2 and the image B2 as auxiliary images and multiplexes the auxiliary images based on the auxiliary image multiplexing method determined in step S53. Multiplexed images of are obtained.
  • step S58 the image conversion unit 142 inputs the multiplexed image of the compatible image and the multiplexed image of the auxiliary image to the encoder 145.
  • the parallax image generation unit 143 detects the parallax of each pixel of the images A2 to D2 using the images A2 to D2 supplied from the imaging units 141A to 141D, and the parallax image A2 'To parallax image D2' is generated.
  • step S60 the parallax image generation unit 143 determines the multiplexing method of the parallax image of the compatible image and the parallax image of the auxiliary image, and supplies information indicating the multiplexing method to the parallax image information generation unit 57.
  • step S ⁇ b> 61 the parallax image information generation unit 57 displays the information indicating the multiplexing method of the parallax image of the compatible image and the parallax image of the auxiliary image based on the information supplied from the parallax image generation unit 143. And input to the encoder 145.
  • step S62 the parallax image generation unit 143 multiplexes the parallax image A2 ′ and the parallax image B2 ′ of the compatible image based on the multiplexing scheme of the parallax image of the compatible image determined in step S60, and the parallax of the auxiliary image
  • the parallax image C2 ′ and the parallax image D2 ′ of the auxiliary image are multiplexed based on the image multiplexing method.
  • step S63 the parallax image generation unit 143 inputs the multiplexed image of the parallax image of the compatible image and the multiplexed image of the parallax image of the auxiliary image obtained as a result of the multiplexing in step S62 to the encoder 145.
  • step S64 the compatible encoder 151 of the encoder 145 encodes the multiplexed image of the compatible image supplied from the image conversion unit 142 using the existing AVC method, and the encoded stream obtained as a result is the multiplexing unit. 59.
  • step S65 the auxiliary encoder 152 multiplexes the multiplexed image of the auxiliary image from the image conversion unit 142, the multiplexed image of the parallax image of the compatible image from the parallax image generating unit 53, and the parallax image of the auxiliary image.
  • the encoded image is encoded by a predetermined method. Then, the process proceeds to step S66.
  • the encoding device 140 since the encoding device 140 uses the two-viewpoint images among the multi-viewpoint images as the compatible images and encodes them using the existing encoding scheme, the encoding device 140 encodes the existing two-viewpoint 3D images. Compatibility with the encoding device can be ensured.
  • the decoding device corresponding to the encoding device 140 can generate a multi-view image from the four-view images A2 to D2.
  • the decoding device is not limited to the viewpoints of images that can be generated as compared with the case of generating from images of two viewpoints, and can generate a multi-viewpoint image with higher accuracy.
  • FIG. 17 is a diagram illustrating a configuration example of a decoding device that decodes a multiplexed stream transmitted from the encoding device 140 of FIG.
  • the configuration of the decoding device 170 in FIG. 17 is different from the configuration in FIG. 12 mainly in that an image generation unit 171 is provided instead of the image generation unit 127.
  • the decoding apparatus 170 decodes the multiplexed stream transmitted from the encoding apparatus 140, generates a 2-viewpoint image or a multi-viewpoint image, and displays the image on a display device (not shown).
  • the image generation unit 171 of the decoding device 170 outputs an image and displays it on a display device (not shown) in response to a display command from the viewer.
  • the image generation unit 171 receives the image information from the image information acquisition unit 123 and the inter-viewpoint distance information from the inter-viewpoint distance information acquisition unit 124 in response to a display instruction of a multi-viewpoint 3D image from the viewer.
  • a multiplexed image of compatible images Based on the parallax image information from the parallax image information acquisition unit 125, the compatibility information from the compatibility information acquisition unit 126, and the like, a multiplexed image of compatible images, a multiplexed image of auxiliary images, and a multiplexed image of parallax images of compatible images. Then, using the multiplexed image of the parallax images of the auxiliary image, a compatible image or an image with half the resolution of the auxiliary image corresponding to a display device (not shown) is generated.
  • the image generation unit 171 multiplexes the parallax image of the auxiliary image based on the information indicating the multiplexing method of the parallax image of the auxiliary image included in the parallax image information from the parallax image information acquisition unit 125. From this, the parallax images of each auxiliary image are separated. Further, the image generation unit 171 separates the parallax images of the compatible images from the multiplexed images of the parallax images of the compatible images based on the information indicating the multiplexing scheme of the parallax images of the compatible images included in the parallax image information. .
  • the image generation unit 171 separates each auxiliary image from the multiplexed image of the auxiliary image based on the information indicating the auxiliary image multiplexing method included in the image information from the image information acquisition unit 123. Also, the image generation unit 171 separates each compatible image from the multiplexed image of the compatible image based on information indicating the compatible image multiplexing method included in the image information.
  • the image generation unit 171 determines the position of each viewpoint of the generated multi-viewpoint image based on the inter-viewpoint distance information and the number of viewpoints corresponding to the display device (not shown). Then, the image generation unit 171 generates an image of each viewpoint whose position is determined using each compatible image, each auxiliary image, the parallax image of each compatible image, and the parallax image of each auxiliary image. Then, the image generation unit 171 converts the resolution of the generated multi-viewpoint image into a resolution of 1 / the number of viewpoints of the resolution of the compatible image or the auxiliary image, and displays it on a display device (not shown).
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • the image generation unit 171 multiplexes the compatible images supplied from the decoder 122 based on the image information from the image information acquisition unit 123 in response to the display command of the 2-viewpoint 3D image from the viewer. Are separated into an image A2 and an image B2 having half the resolution of the compatible image. Then, the image generation unit 171 alternately outputs the images A2 and B2 having half the resolution of the separated compatible image, and displays them on a display device (not shown). At this time, the viewer wears glasses that open either the left-eye shutter or the right-eye shutter when displaying the image A2 and open the other when displaying the image B2, and alternately display the images A2 on the display device. By viewing the image B2, the 3D image can be viewed.
  • FIG. 18 is a flowchart for explaining a decoding process by the decoding device 170 of FIG. This decoding process is started, for example, when a multiplexed stream transmitted from the encoding device 140 in FIG. 14 is input to the decoding device 170.
  • step S84 the image generation unit 171 determines whether or not the viewer has instructed display of the 3D image of the 2-viewpoint method. If it is determined in step S84 that the viewer has not commanded the display of the 2-viewpoint 3D image, that is, if the display of the multi-viewpoint 3D image is commanded, the process proceeds to step S85.
  • the processing in steps S85 to S93 is the same as the processing in steps S35 to S43 in FIG.
  • step S84 if it is determined in step S84 that the viewer has instructed display of the 3D image of the two-viewpoint method, the process proceeds to step S94.
  • step S ⁇ b> 94 the image generation unit 171 determines the compatible image obtained as a result of decoding by the compatible decoder 131 based on the information indicating the compatible image multiplexing method included in the image information supplied from the image information acquisition unit 123. Separate multiplexed images.
  • step S95 the image generation unit 171 alternately outputs the image A2 and the image B2, which are compatible images having half the resolution of the separated compatible image, to a display device (not shown) for display. Then, the process ends.
  • step S94 the multiplexed images of the compatible images are separated based on the predetermined compatible image multiplexing method, not the compatible image multiplexing method included in the image information.
  • the decoding device 170 can decode the compatible stream and the auxiliary stream encoded by the encoding device 140 in a method having compatibility with the existing method.
  • the decoding device 170 since the decoding device 170 generates a multi-view image using the two-view compatible image and the two-view auxiliary image, the encoding device 140 is an existing imaging unit for generating a multi-view image.
  • the photographing unit 141A and the photographing unit 141B for photographing the two viewpoint compatible images only the two photographing units 141C and the photographing unit 141D need be prepared. Therefore, it is possible to easily and inexpensively install a photographing unit for generating a multi-viewpoint image.
  • FIG. 19 is a block diagram illustrating a configuration example of the third embodiment of the encoding device to which the present technology is applied.
  • the encoding device 180 is compatible with an existing encoding device that encodes a 3D image of a two-viewpoint method by encoding a two-viewpoint image out of multi-viewpoint images as a compatible image using the MVC method. Ensure sex.
  • the image conversion unit 181 of the encoding device 180 is supplied from the image capturing unit 141A having the horizontal position on the inner side among the image capturing units 141A to 141D, similarly to the image conversion unit 142 in FIG.
  • the image A2 to be processed and the image B2 supplied from the photographing unit 141B are determined as compatible images.
  • the image conversion unit 181 supplies the images A2 and B2 that are compatible images to the encoder 182 as they are.
  • the image conversion unit 181 supplies information specifying the images A2 and B2 as compatible images to the compatible information generation unit 55.
  • the image conversion unit 181 uses the images C2 and D2 other than the image A2 and the image B2 as auxiliary images and multiplexes them by a predetermined multiplexing method.
  • the image conversion unit 181 supplies the multiplexed image obtained as a result of the multiplexing to the encoder 182 and supplies information indicating the auxiliary image multiplexing method to the image information generation unit 54.
  • the encoder 182 includes a compatible encoder 191 and an auxiliary encoder 152.
  • the compatible encoder 191 of the encoder 182 specifies a compatible image from the multiplexed image of the compatible image and the auxiliary image supplied from the image conversion unit 181, and encodes the image A2 of the compatible images using the existing AVC method as a base image.
  • the image B2 is encoded as a dependent image by the existing MVC method.
  • the compatible encoder 191 adds various information to the encoded image obtained as a result, generates an encoded stream, and supplies the encoded stream to the multiplexing unit 59 as a compatible stream.
  • FIG. 20 and 21 are flowcharts for explaining the encoding process by the encoding device 180 of FIG. This encoding process is started when, for example, the images A2 to D2 are output from the imaging units 141A to 141D.
  • step S113 the image conversion unit 181 supplies the image A2 supplied from the imaging unit 141A having the horizontal position on the inner side among the imaging units 141A to 141D, and supplied from the imaging unit 141B.
  • the image B2 to be processed is determined as a compatible image, and the auxiliary image multiplexing method is determined.
  • the image conversion unit 181 supplies information specifying the images A2 and B2 as compatible images to the compatible information generation unit 55 and supplies the auxiliary image multiplexing method to the image information generation unit 54. Then, the process proceeds to step S114.
  • steps S114 to S117 Since the processing of steps S114 to S117 is the same as the processing of steps S14 to S17 in FIG.
  • the processing in steps S118 to S122 is the same as the processing in steps S59 to S63 in FIG.
  • step S123 the compatible encoder 191 of the encoder 182 encodes the image A2 of the compatible images supplied from the image conversion unit 181 using the existing AVC method as a base image, and the image B2 is dependent.
  • the image is encoded by the existing MVC method.
  • the compatible encoder 191 adds various information to the encoded image obtained as a result, generates an encoded stream, and supplies the encoded stream to the multiplexing unit 59 as a compatible stream. Then, the process proceeds to step S124.
  • steps S124 to S126 Since the processing of steps S124 to S126 is the same as the processing of steps S65 to S67 of FIG.
  • the encoding device 180 uses the two-viewpoint images of the multi-viewpoint images as compatible images and encodes them using the existing encoding method, and therefore encodes the existing two-viewpoint 3D images. Compatibility with the encoding device can be ensured.
  • FIG. 22 is a diagram illustrating a configuration example of a decoding device that decodes a multiplexed stream transmitted from the encoding device 180 of FIG.
  • the configuration of the decoding device 200 in FIG. 22 is mainly different from the configuration in FIG. 12 in that a decoder 201 and an image generation unit 202 are provided instead of the decoder 122 and the image generation unit 127.
  • the decoding apparatus 200 decodes the multiplexed stream transmitted from the encoding apparatus 180, generates a two-viewpoint image or a multi-viewpoint image, and displays the image on a display device (not shown).
  • the decoder 201 of the decoding device 200 includes a compatible decoder 211 and an auxiliary decoder 132.
  • the compatibility decoder 211 of the decoder 201 is similar to the compatibility decoder 131 of FIG. 12, based on the information for specifying the compatible stream supplied from the auxiliary decoder 132, Identify compatible streams of auxiliary streams.
  • the compatible decoder 211 decodes the encoded compatible image included in the compatible stream by a method corresponding to the MVC method, and supplies the image A2 and the image B2 obtained as a result to the image generation unit 202.
  • the image generation unit 202 outputs an image in accordance with a display command from the viewer, and displays the image on a display device (not shown). Specifically, the image generation unit 202 receives the image information from the image information acquisition unit 123 and the inter-viewpoint distance information from the inter-viewpoint distance information acquisition unit 124 in response to a multi-viewpoint 3D image display command from the viewer.
  • the compatible image Based on the parallax image information from the parallax image information acquisition unit 125, the compatibility information from the compatibility information acquisition unit 126, and the like, the compatible image, the multiplexed image of the auxiliary image, the multiplexed image of the parallax image of the compatible image, and the auxiliary image Using the multiplexed image of the parallax images, an image having a resolution that is half the resolution of the compatible image and the auxiliary image and having three or more viewpoints corresponding to a display device (not shown) is generated.
  • the image generation unit 202 multiplexes the parallax images of the auxiliary images based on information indicating the multiplexing method of the parallax images of the auxiliary images included in the parallax image information from the parallax image information acquisition unit 125. From this, the parallax images of each auxiliary image are separated. Further, the image generation unit 202 separates the parallax images of the compatible images from the multiplexed images of the parallax images of the compatible images based on the information indicating the multiplexing method of the parallax images of the compatible images included in the parallax image information. .
  • the image generation unit 202 separates each auxiliary image from the multiplexed image of the auxiliary image based on the information indicating the auxiliary image multiplexing method included in the image information from the image information acquisition unit 123. Further, the image generation unit 202 determines the position of each viewpoint of the generated multi-viewpoint image based on the inter-viewpoint distance information and the number of viewpoints corresponding to a display device (not shown). Then, the image generation unit 202 generates an image of each viewpoint whose position is determined using each compatible image, each auxiliary image, the parallax image of each compatible image, and the parallax image of each auxiliary image.
  • the image generation unit 202 converts the resolution of the generated multi-viewpoint image into a resolution of 1 / number of viewpoints of the resolution of the compatible image or the auxiliary image, and synthesizes it. Display on the display device.
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • the image generation unit 202 alternately outputs the image A2 and the image B2 as compatible images supplied from the decoder 122 in response to the display command of the two-viewpoint 3D image from the viewer, not shown. Display on the display device. At this time, the viewer wears glasses that open either the left-eye shutter or the right-eye shutter when displaying the image A2 and open the other when displaying the image B2, and alternately display the images A2 on the display device. By viewing the image B2, the 3D image can be viewed.
  • FIG. 23 is a flowchart for explaining a decoding process by the decoding device 200 of FIG. This decoding process is started, for example, when a multiplexed stream transmitted from the encoding device 180 in FIG. 19 is input to the decoding device 200.
  • step S144 If it is determined in step S144 that the viewer has instructed to display a 3D image of the two-viewpoint method, the process proceeds to step S154.
  • step S154 the image generation unit 202 alternately outputs the images A2 and B2, which are compatible images obtained as a result of decoding by the compatible decoder 211, to a display device (not shown) for display. Then, the process ends.
  • the decoding device 200 can decode the compatible stream and the auxiliary stream encoded by the encoding device 180 in a method having compatibility with the existing method.
  • the auxiliary stream includes compatibility information, parallax image information, image information, and inter-viewpoint distance information, but may be included in TS.
  • compatibility information, parallax image information, image information, and inter-viewpoint distance information are described in descriptors of PMT (Program Map Table) and SIT (Selection Information Table) in TS packets of the auxiliary stream.
  • 24 to 26 are diagrams illustrating a description example of the compatibility information and the parallax image information when the compatibility information, the parallax image information, the image information, and the inter-viewpoint distance information are described in the descriptor of the PMT.
  • a descriptor (3DV_view_structure_descriptor) in which the compatibility information is arranged, and a descriptor (depth_map_structure_descriptor) in which the parallax image information is arranged Is provided.
  • descriptor 3DV_view_structure_descriptor As shown in FIG. 25, following the descriptor tag (descriptor_tag) and descriptor length (descriptor_length), as compatibility information, the number of viewpoints (num_of_views) of the image to be encoded, The compatibility mode (compatible mode), information specifying compatible images (compatible_view), etc. are described.
  • the descriptor depth_map_structure_descriptor
  • the number of parallax images (num_of_depth_map) and a flag indicating whether or not parallax images are multiplexed as parallax image information.
  • frame_packing a parallax image multiplexing method
  • comb_frame_packing_views information specifying a multiplexed parallax image
  • the image information is the same as the parallax image information except that it is not a parallax image but information about a compatible image and an auxiliary image.
  • FIG. 27 is a diagram illustrating a description example of the inter-viewpoint distance information when the compatible information, the parallax image information, the image information, and the inter-viewpoint distance information are described in the PMT descriptor.
  • a descriptor (3DV_view_info_descriptor) in which the inter-view distance information is arranged is provided as the PMT descriptor.
  • the descriptor tag and descriptor length are followed by the number of viewpoints of the image to be encoded (num_of_views) and the number of detected viewpoint distances (num_of_view_distance) as the distance information between viewpoints.
  • number of viewpoints of the image to be encoded number of viewpoints of the image to be encoded
  • number of detected viewpoint distances number_of_view_distance
  • the decoding device of the present technology can be applied to, for example, a display device such as a television receiver and a playback device.
  • the decoding apparatus selects a compatible decoder according to the compatibility mode included in the compatibility information.
  • the resolution of the auxiliary image and the parallax image is reduced and multiplexed.
  • the resolution may be reduced and may not be multiplexed.
  • the resolution of the parallax image may not be reduced.
  • the image information, the inter-view distance information, the parallax image information, and the compatibility information may be transmitted in a system different from the encoded stream without being encoded. Further, the image information, the inter-viewpoint distance information, the parallax image information, and the compatibility information may be encoded and transmitted by a system different from the encoded stream.
  • the image information, the inter-view distance information, the parallax image information, and the compatibility information can be described in a region (header, user data, etc.) other than the above in the encoded stream without being encoded, It may be encoded and described in a predetermined area of the encoded stream. Furthermore, the image information, the inter-viewpoint distance information, the parallax image information, and the compatibility information can be transmitted as auxiliary information different from the encoded stream.
  • FIG. 28 is a block diagram illustrating a configuration example of the fourth embodiment of the encoding device to which the present technology is applied.
  • the 28 mainly includes an image conversion unit 301, a parallax image generation unit 302 instead of the image conversion unit 52, the parallax image generation unit 53, the image information generation unit 54, and the parallax image information generation unit 57.
  • 5 is different from the configuration of FIG. 5 in that an image information generation unit 303 and a parallax image information generation unit 304 are provided.
  • the encoding apparatus 300 transmits the image information and the parallax image information including not the information related to multiplexing but the information related to the reduction in resolution.
  • the image conversion unit 301 of the encoding device 300 determines the image A1 supplied from the photographing unit 51A as a compatible image, similarly to the image conversion unit 52 of FIG. Similar to the image conversion unit 52, the image conversion unit 301 supplies information specifying the image A ⁇ b> 1 as a compatible image to the compatible information generation unit 55. The image conversion unit 301 supplies the image A ⁇ b> 1 that is a compatible image to the encoder 58 as it is, like the image conversion unit 52.
  • the image conversion unit 301 obtains a multiplexed image having the same resolution as the compatible image by using the image B1 and the image C1 other than the image A1 as auxiliary images, reducing the resolution in the horizontal 1/2 method, and multiplexing the images. .
  • the horizontal 1/2 method is a method in which the horizontal resolution is half that of the compatible image.
  • the image conversion unit 301 supplies the multiplexed image of the auxiliary image to the encoder 58, and supplies information indicating the resolution conversion method of the auxiliary image to the image information generation unit 303.
  • the parallax image generation unit 302 uses the images A1 to C1 supplied from the imaging units 51A to 51C to calculate the parallax of each pixel of the images A1 to C1. To detect. Similar to the parallax image generation unit 53, the parallax image generation unit 302 generates a parallax image A ⁇ b> 1 ′ and supplies it to the encoder 58 as it is. Also, the parallax image generation unit 302 generates a parallax image B1 'and a parallax image C1', and lowers the resolution using the horizontal 1/2 method.
  • the parallax image generation unit 302 multiplexes the parallax image B ⁇ b> 1 ′ and the parallax image C ⁇ b> 1 ′ whose resolution has been reduced to obtain a multiplexed image having the same resolution as the compatible image.
  • the parallax image generation unit 302 supplies the multiplexed image obtained as a result to the encoder 58, and supplies information indicating the resolution conversion method of the parallax image of the auxiliary image to the parallax image information generation unit 304.
  • the image information generation unit 303 generates information indicating the resolution conversion method of the auxiliary image as image information based on the information supplied from the image conversion unit 301.
  • the image information generation unit 303 supplies the image information to the encoder 58.
  • the parallax image information generation unit 304 generates information indicating the resolution conversion method of the parallax image of the auxiliary image as the parallax image information based on the information supplied from the parallax image generation unit 302.
  • the parallax image information generation unit 304 supplies the parallax image information to the encoder 58.
  • FIG. 29 is a diagram illustrating a description example of the parallax image information in the auxiliary stream in the case where a method according to the AVC method or the MVC method is used as the encoding method in the encoding device 300 in FIG. 28.
  • parallax image information depth_map_structure
  • number of parallax images number_of_depth_map
  • a low resolution flag is a flag indicating whether or not the parallax image is reduced in resolution
  • a resolution conversion method decimation_mode (conversion method information)
  • conversion method information conversion method information
  • information comb_ decimated_views for specifying a parallax image whose resolution is reduced, and the like are described.
  • Resolution conversion methods include the horizontal 1/2 method, the vertical 1/2 method that halves the vertical resolution, and the horizontal vertical 1/4 method that halves the horizontal and vertical resolutions. .
  • the image information in the encoding device 300 is the same as the parallax image information except that the image information is not a parallax image but information about a compatible image and an auxiliary image, and thus illustration is omitted.
  • FIG. 30 and 31 are flowcharts for explaining the encoding process by the encoding device 300 of FIG. This encoding process is started, for example, when the images A1 to C1 are output from the imaging units 51A to 51C.
  • the processing in steps S211 and S212 in FIG. 30 is the same as the processing in steps S11 and S12 in FIG. 10, and in step S213, the image conversion unit 301 receives the image A1 supplied from the photographing unit 51A.
  • a compatible image is determined, and a resolution conversion method for the auxiliary image is determined.
  • the image conversion unit 301 supplies information specifying the image A1 as a compatible image to the compatible information generation unit 55, and supplies a resolution conversion method for the auxiliary image to the image information generation unit 303.
  • step S216 the image conversion unit 301 uses the image B1 and the image C1 other than the image A1 as auxiliary images, and performs step S213.
  • the auxiliary image is reduced in resolution and multiplexed based on the resolution conversion method of the auxiliary image determined in (1).
  • step S217 and step S218 are the same as the processing of step S17 and step S18 (FIG. 11).
  • the parallax image generation unit 302 converts the resolution of the parallax image of the auxiliary image. And information indicating the conversion method is supplied to the parallax image information generation unit 304.
  • step S220 is the same as the process of step S20 of FIG. 11.
  • the parallax image generation unit 302 performs auxiliary processing based on the resolution conversion method of the parallax image of the auxiliary image determined in step S219.
  • the parallax image of the image is reduced in resolution and multiplexed.
  • steps S222 through S226 is the same as the processing in steps S22 through S26 in FIG.
  • the encoding device 300 reduces the resolution of the auxiliary image and the parallax image, the information amount of the encoding result can be suppressed without increasing the compression rate of the compatible image. As a result, it is possible to prevent the influence of compression distortion on the compatible image from increasing due to an increase in the compression rate, and to maintain the image quality of the compatible image with high image quality.
  • the encoding device 50, the encoding device 140, and the encoding device 180 the same applies to the encoding device 50, the encoding device 140, and the encoding device 180.
  • FIG. 32 is a diagram illustrating a configuration example of a decoding device that decodes a multiplexed stream transmitted from the coding device 300 of FIG.
  • the decoding device 320 decodes the multiplexed stream transmitted from the encoding device 300, generates a one-view image or a multi-view image, and displays the image on a display device (not shown).
  • the image generation unit 321 of the decoding device 320 outputs an image and displays it on a display device (not shown) in response to a display command from the viewer.
  • the image generation unit 321 receives the image information from the image information acquisition unit 123 and the inter-viewpoint distance from the inter-viewpoint distance information acquisition unit 124 in response to a display instruction of a multi-viewpoint 3D image from the viewer.
  • the parallax image information from the parallax image information acquisition unit 125 the compatibility information from the compatibility information acquisition unit 126, and the like, a compatible image, a multiplexed image of the auxiliary image, a parallax image of the compatible image, and a parallax image of the auxiliary image Is used to generate an image having the same resolution as that of the compatible image or the auxiliary image and having three or more viewpoints corresponding to a display device (not shown).
  • the image generation unit 321 (separation unit, image conversion unit) multiplexes the parallax images of the auxiliary images based on the resolution conversion method included in the parallax image information from the parallax image information acquisition unit 125.
  • the parallax images of each auxiliary image are separated from each other to increase the resolution.
  • the image generation unit 321 obtains a parallax image of each auxiliary image having the same resolution as the compatible image.
  • the image generation unit 321 separates each auxiliary image from the multiplexed image of the auxiliary image based on the resolution conversion method included in the image information from the image information acquisition unit 123, increases the resolution, and creates a compatible image.
  • Each auxiliary image having the same resolution is obtained.
  • the image generation unit 321 determines the position of each viewpoint of the generated multi-viewpoint image based on the inter-viewpoint distance information and the number of viewpoints corresponding to the display device (not shown). Then, the image generation unit 321 uses the compatible image, each auxiliary image having the same resolution as the compatible image, the parallax image of the compatible image, and the image of each viewpoint whose position is determined using the parallax image of each auxiliary image. Is generated. Then, the image generation unit 321 converts the resolution of the generated image of each viewpoint into a resolution of 1 / the number of viewpoints of the resolution of the compatible image or the auxiliary image, and displays it on a display device (not shown).
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • the image generation unit 321 outputs an image A1 that is a compatible image supplied from the compatible decoder 131 of the decoder 122 in response to a 2D image display command from the viewer, and displays the image A1 on a display device (not shown). Let Thereby, the viewer can see the 2D image.
  • FIG. 33 is a flowchart for explaining the decoding process by the decoding device 320 of FIG. This decoding process is started, for example, when a multiplexed stream transmitted from the encoding device 300 in FIG. 28 is input to the decoding device 320.
  • step S240 the image generation unit 321 converts the image information from the image information acquisition unit 123 into the image information. Based on the resolution conversion method included, the multiplexed image of the auxiliary image is separated to increase the resolution. Thereby, the image generation unit 321 obtains an image B1 and an image C1 which are auxiliary images having the same resolution as the compatible image.
  • step S241 the image generation unit 321 separates the multiplexed image of the parallax image of the auxiliary image based on the resolution conversion method included in the parallax image information from the parallax image information acquisition unit 125, and increases the resolution. Thereby, the image generation unit 321 obtains the parallax image B1 'and the parallax image C1' of the auxiliary image having the same resolution as the compatible image.
  • step S242 is the same as the process in step S40 in FIG. 13.
  • the image generation unit 321 uses the position of each viewpoint determined in step S242, the compatibility information from the compatibility information acquisition unit 126, and the like. Based on the compatible image, and the auxiliary image having the same resolution as the compatible image, the parallax image of the compatible image, and the parallax image of the auxiliary image, the compatible image and the image of the same resolution of the auxiliary image of each viewpoint are obtained. Generate.
  • steps S244 through S246 is the same as the processing in steps S42 through S44 in FIG.
  • the decoding device 320 can decode the compatible stream and the auxiliary stream encoded by the encoding device 300 in a method having compatibility with the existing method.
  • the auxiliary information includes the compatibility information, the parallax image information, the image information, and the inter-viewpoint distance information.
  • TS May be included.
  • compatibility information, parallax image information, image information, and inter-viewpoint distance information are described in the PMT and SIT descriptors in the TS packet of the auxiliary stream.
  • FIG. 34 is a diagram illustrating a description example of a descriptor (depth_map_structure_descriptor) in which disparity image information is arranged when compatibility information, disparity image information, image information, and inter-viewpoint distance information are described in the descriptor of the PMT.
  • depth_map_structure_descriptor depth_map_structure_descriptor
  • the descriptor depth_map_structure_descriptor
  • the number of parallax images number_of_depth_map
  • the resolution reduction flag is_decimated
  • conversion of the resolution of the parallax images are added as the parallax image information following the descriptor tag and descriptor length.
  • a method decimation_mode
  • information comb_ decimated_views
  • the image information and the parallax image information in the first embodiment include not information related to multiplexing but information related to low resolution.
  • the image information and the parallax image information in the form can include information related to low resolution, not information related to multiplexing.
  • FIG. 35 is a block diagram illustrating a configuration example of the fifth embodiment of the encoding device to which the present technology is applied.
  • the encoding device 440 does not multiplex the parallax images of compatible images in the spatial direction, but multiplexes and encodes them in the time direction.
  • the parallax image generation unit 441 of the encoding device 440 detects the parallax of each pixel of the images A2 to D2 using the images A2 to D2 supplied from the imaging units 141A to 141D. . Based on the detection result, the parallax image generation unit 441 generates a parallax image A2 ′ and a parallax image B2 ′ of the image A2 that are compatible images, and a parallax image C2 ′ and an image D2 of the image C2 that are auxiliary images. A parallax image D2 ′ is generated.
  • the parallax image generation unit 441 multiplexes the parallax image C2 'and the parallax image D2' in the spatial direction by a predetermined multiplexing method, similarly to the parallax image generation unit 143 of FIG. Further, the parallax image generation unit 441 (multiplexing unit) multiplexes the parallax image A2 ', the parallax image B2', and the multiplexed parallax image of the auxiliary image in the time direction.
  • the parallax image generation unit 441 obtains a multiplexed image in which a multiplexed image of a parallax image A2 ′, a parallax image B2 ′, and a parallax image of an auxiliary image obtained as a result within one frame time is obtained as a result. This is supplied to the encoder 442 as a multiplexed image.
  • the parallax image generation unit 441 includes a method for multiplexing parallax images of auxiliary images, a method of multiplexing in the time direction as a method of multiplexing parallax images of compatible images and auxiliary images (hereinafter referred to as a frame sequential method), and Is supplied to the parallax image information generation unit 57.
  • the encoder 442 includes a compatible encoder 151 and an auxiliary encoder 451.
  • the auxiliary encoder 451 of the encoder 442 encodes the multiplexed image of the auxiliary image from the image conversion unit 142 and the time-multiplexed image from the parallax image generation unit 441 by the 3DV method.
  • the 3DV format is a format for encoding an image for display in a multi-viewpoint format that conforms to the AVC format or the MVC format.
  • the auxiliary encoder 451 supplies the encoded stream obtained as a result to the multiplexing unit 443 as an auxiliary stream.
  • the multiplexing unit 443 includes a compatible stream from the compatible encoder 151, an auxiliary stream from the auxiliary encoder 451, image information from the image information generation unit 54, compatibility information from the compatibility information generation unit 55, and inter-viewpoint distance information generation unit.
  • the TS is generated using the inter-view distance information from 56, the parallax image information from the parallax image information generation unit 57, and the like.
  • the multiplexing unit 443 multiplexes the generated TS and transmits a multiplexed stream obtained as a result.
  • auxiliary information image information, compatibility information, inter-viewpoint distance information, and parallax image information are collectively referred to as auxiliary information.
  • FIG. 36 is a diagram illustrating a description example of parallax image information in the encoding device 440 of FIG. 35 when the auxiliary information is described in the descriptor of the PMT.
  • the parallax image information is described following the descriptor tag (descriptor_tag) and descriptor length (descriptor_length) as in the case of FIG.
  • the parallax image information as in the case of FIG. 25, the number of parallax images (num_of_depth_map), a flag indicating whether the parallax images are multiplexed (is_frame_packing), a parallax image multiplexing method (frame_packing_mode), Information for specifying multiplexed parallax images (comb_frame_packing_views) and the like are described.
  • a parallax image multiplexing method not only a side-by-side method (SBS) and a top-and-bottom method (TOB) but also a frame sequential method is described.
  • auxiliary information is included in the TS, but the auxiliary information may be included in the auxiliary stream.
  • FIG. 37 is a diagram illustrating a description example of parallax image information in the auxiliary stream when the auxiliary information is included in the auxiliary stream.
  • the parallax image information (depth_map_structure) is, for example, arranged in the SEI in the auxiliary stream.
  • parallax image information depth_map_structure
  • depthmapmap number of parallax images
  • number_of_depth_map a flag indicating whether or not the parallax images are multiplexed
  • comb_frame_packing_views multiplexing of parallax images Information
  • the parallax image multiplexing method not only the side-by-side method (SBS) and the top-and-bottom method (TOB) but also the frame sequential method is described as in the case of FIG.
  • image information is the same as that of parallax image information except that it is not a parallax image but information about a compatible image and an auxiliary image.
  • FIG. 38 and 39 are flowcharts for explaining the encoding process by the encoding device 440 of FIG. This encoding process is started when, for example, the images A2 to D2 are output from the imaging units 141A to 141D.
  • step S ⁇ b> 456 the image information generation unit 54 generates information indicating the multiplexing method of the compatible image and the auxiliary image as image information based on the information supplied from the image conversion unit 142 and inputs the information to the multiplexing unit 443. To do. Then, the process proceeds to step S457.
  • steps S457 to S459 Since the processing of steps S457 to S459 is the same as the processing of steps S57 to S59 of FIGS. 15 and 16, description thereof will be omitted.
  • the parallax image generation unit 441 determines the multiplexing method of the parallax image of the auxiliary image and the multiplexing method of the parallax image of the compatible image and the multiplexed image of the parallax image of the auxiliary image.
  • Information indicating the conversion method is supplied to the parallax image information generation unit 57.
  • step S461 the parallax image information generation unit 57, based on the information supplied from the parallax image generation unit 441, multiplexes the parallax image of the auxiliary image, the parallax image of the compatible image, and the parallax image of the auxiliary image.
  • Information indicating the multiplexed method of the multiplexed image is generated as parallax image information and input to the multiplexing unit 443.
  • step S462 the parallax image generation unit 441 multiplexes the parallax image C2 ′ and the parallax image D2 ′ of the auxiliary image in the spatial direction based on the multiplexing method determined in step S460, and the parallax image A2 ′ of the compatible image.
  • the multiplexed image of the parallax image B2 ′ and the parallax image of the auxiliary image is multiplexed in the time direction.
  • step S463 the parallax image generation unit 441 inputs the time-multiplexed image obtained as a result of the multiplexing in step S462 to the encoder 442.
  • step S464 the compatible encoder 151 of the encoder 442 encodes the multiplexed image of the compatible image supplied from the image conversion unit 142 using the existing AVC method, and the encoded unit obtained as a result is a multiplexing unit. 443.
  • step S465 the auxiliary encoder 451 encodes the multiplexed image of the auxiliary image from the image conversion unit 142 and the time-multiplexed image from the parallax image generation unit 441 by the 3DV method.
  • the auxiliary encoder 451 supplies the encoded stream obtained as a result of encoding to the multiplexing unit 443 as an auxiliary stream.
  • step S466 the multiplexing unit 443 generates and multiplexes TS from the compatible stream supplied from the compatible encoder 151, the auxiliary stream supplied from the auxiliary encoder 451, and auxiliary information, and the resulting multiplexing is obtained.
  • This multiplexed stream is recorded on, for example, a BD or transmitted as a broadcast stream. Then, the process ends.
  • FIG. 40 is a diagram illustrating a configuration example of a decoding device that decodes a multiplexed stream transmitted from the encoding device 440 of FIG.
  • the configuration of the decoding device 460 in FIG. 40 is mainly that a separation unit 461, a decoder 462, and an image generation unit 463 are provided instead of the separation unit 121, the decoder 122, and the image generation unit 171. And different.
  • the decoding device 460 decodes the multiplexed stream transmitted from the encoding device 440, generates a two-view image or a multi-view image, and displays the image on a display device (not shown).
  • the demultiplexing unit 461 of the decoding device 460 receives the multiplexed stream transmitted from the encoding device 440 and separates each TS.
  • the separation unit 461 extracts a compatible stream and an auxiliary stream from the separated TS and supplies them to the decoder 462.
  • the separation unit 461 extracts auxiliary information included in the TS, supplies image information of the auxiliary information to the image information acquisition unit 123, and supplies viewpoint distance information to the inter-viewpoint distance information acquisition unit 124.
  • the separation unit 461 supplies the parallax image information of the auxiliary information to the parallax image information acquisition unit 125 and supplies the compatibility information to the compatibility information acquisition unit 126 and the decoder 462.
  • the decoder 462 includes a compatible decoder 471 and an auxiliary decoder 472.
  • the compatibility decoder 471 of the decoder 462 identifies a compatible stream among the compatible stream and the auxiliary stream supplied from the separation unit 461 based on the compatibility information supplied from the separation unit 461.
  • the compatible decoder 471 decodes the encoded compatible image included in the compatible stream by a method corresponding to the AVC method, and supplies a multiplexed image of the compatible image obtained as a result to the image generation unit 463.
  • the auxiliary decoder 472 identifies the auxiliary stream among the compatible stream and auxiliary stream supplied from the separation unit 461 based on the compatibility information supplied from the separation unit 461.
  • the auxiliary decoder 472 decodes the multiplexed image and the time-multiplexed image of the encoded auxiliary image included in the auxiliary stream supplied from the separation unit 461 by a method corresponding to the auxiliary encoder 451 in FIG.
  • the auxiliary decoder 472 supplies the multiplexed image and the time-multiplexed image of the auxiliary image obtained as a result of the decoding to the image generation unit 463.
  • the image generation unit 463 outputs an image in response to a display command from the viewer and displays the image on a display device (not shown). Specifically, the image generation unit 463 receives the image information from the image information acquisition unit 123 and the inter-viewpoint distance information from the inter-viewpoint distance information acquisition unit 124 in response to a display instruction of a multi-viewpoint 3D image from the viewer.
  • An image having a resolution that is half the resolution of the compatible image or the auxiliary image and having three or more viewpoints corresponding to a display device (not shown) is generated.
  • the image generation unit 463 uses a frame as a multiplexing method of the multiplexed image of the parallax image of the compatible image and the parallax image of the auxiliary image included in the parallax image information from the parallax image information acquisition unit 125. Based on the information indicating the sequential method, the parallax image A2 ′ and the parallax image B2 ′, which are parallax images of the compatible image, and the multiplexed image of the parallax image of the auxiliary image are separated from the time-multiplexed image.
  • the image generation unit 463 separates the parallax image C2 ′ and the parallax image D2 ′ from the multiplexed image of the parallax images of the auxiliary images based on the multiplexing scheme of the parallax images of the auxiliary images included in the parallax image information. .
  • the image generation unit 463 multiplexes the auxiliary image based on the information indicating the auxiliary image multiplexing method included in the image information from the image information acquisition unit 123. From each auxiliary image. Similarly to the image generation unit 171, the image generation unit 463 separates each compatible image from the multiplexed image of the compatible image based on information indicating the compatible image multiplexing method included in the image information.
  • the image generation unit 463 determines the position of each viewpoint of the multi-viewpoint image to be generated based on the inter-viewpoint distance information and the number of viewpoints corresponding to the display device (not shown). Then, similarly to the image generation unit 171, the image generation unit 463 uses each compatible image, each auxiliary image, the parallax image of each compatible image, and the parallax image of each auxiliary image, for each viewpoint whose position is determined. Generate an image. Then, as with the image generation unit 171, the image generation unit 463 converts the resolution of the generated multi-viewpoint image into a resolution of 1 / number of viewpoints of the resolution of the compatible image or the auxiliary image, and combines them. Display on the display device.
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • the image generation unit 463 is supplied from the decoder 462 based on the image information from the image information acquisition unit 123 in response to the display command of the 2-viewpoint 3D image from the viewer.
  • the multiplexed image of the compatible images is separated into an image A2 and an image B2 having half the resolution of the compatible image.
  • the image generation unit 463 alternately outputs the image A2 and the image B2 having half the resolution of the separated compatible image, and displays them on a display device (not shown).
  • the viewer wears glasses that open either the left-eye shutter or the right-eye shutter when displaying the image A2 and open the other when displaying the image B2, and alternately display the images A2 on the display device.
  • the 3D image can be viewed.
  • FIG. 41 is a flowchart for explaining the decoding processing by the decoding device 460 of FIG. This decoding process is started, for example, when a multiplexed stream transmitted from the encoding device 440 in FIG. 35 is input to the decoding device 460.
  • the separation unit 461 of the decoding device 460 receives the multiplexed stream transmitted from the encoding device 50, and separates it for each TS. Then, the separation unit 461 supplies the compatible stream and the auxiliary stream included in the separated TS to the decoder 462. In addition, the separation unit 461 extracts auxiliary information included in the TS, supplies image information of the auxiliary information to the image information acquisition unit 123, and supplies viewpoint distance information to the inter-viewpoint distance information acquisition unit 124. Further, the separation unit 461 supplies the parallax image information of the auxiliary information to the parallax image information acquisition unit 125 and supplies the compatibility information to the compatibility information acquisition unit 126 and the decoder 462.
  • step S472 the compatibility decoder 471 identifies a compatible stream among the compatible stream and the auxiliary stream supplied from the separation unit 461 based on the compatibility information supplied from the separation unit 461.
  • step S473 the compatible decoder 471 decodes the compatible image included in the compatible stream by a method corresponding to the AVC method, and supplies a multiplexed image of the compatible image obtained as a result to the image generation unit 463.
  • step S474 the image generation unit 463 determines whether or not the viewer has instructed to display a 2D viewpoint 3D image. If it is determined in step S474 that the viewer has not commanded the display of the 2-viewpoint 3D image, that is, if the viewer has commanded the display of the multi-viewpoint 3D image, the auxiliary decoder 472 is compatible. Based on the information, the auxiliary stream of the compatible stream and the auxiliary stream supplied from the separation unit 461 is identified.
  • step S475 the auxiliary decoder 472 extracts a multiplexed image and a time-multiplexed image of the auxiliary image encoded from the auxiliary stream, and decodes them using a method corresponding to the auxiliary encoder 62 in FIG.
  • the auxiliary decoder 472 supplies the multiplexed image and the time multiplexed image of the auxiliary image obtained as a result of the decoding to the image generation unit 127, and the process proceeds to step S476.
  • step S476 the image information acquisition unit 123 acquires the image information supplied from the separation unit 461 and inputs the image information to the image generation unit 463.
  • step S477 the inter-viewpoint distance information acquisition unit 124 acquires the inter-viewpoint distance information supplied from the separation unit 461 and inputs the information to the image generation unit 463.
  • step S478 the parallax image information acquisition unit 125 acquires the parallax image information supplied from the separation unit 461 and inputs the parallax image information to the image generation unit 463.
  • step S479 the compatibility information acquisition unit 126 acquires the compatibility information supplied from the separation unit 461 and inputs it to the image generation unit 463.
  • step S480 the image generation unit 463 determines the position of each viewpoint of the multi-viewpoint image to be generated based on the inter-viewpoint distance information from the inter-viewpoint distance information acquisition unit 124 and the number of viewpoints corresponding to the display device (not shown). To decide.
  • step S481 the image generation unit 463 determines the position of each viewpoint determined in step S480, the image information from the image information acquisition unit 123, the parallax image information from the parallax image information acquisition unit 125, and the compatibility information acquisition unit 126. Based on the compatibility information and the like, a compatible image and a half-resolution image of the auxiliary image are generated for each viewpoint using the multiplexed image of the compatible image, the multiplexed image of the auxiliary image, and the time-multiplexed image.
  • Steps S482 and S483 are the same as steps S92 and S93 in FIG.
  • step S484 the image information acquisition unit 123 acquires the image information supplied from the separation unit 461, and the image generation unit 463.
  • steps S485 and S486 are the same as the processes in steps S94 and S95 in FIG.
  • step S484 the multiplexed images of the compatible images are separated based on a predetermined multiplexing method.
  • FIG. 42 is a block diagram illustrating a configuration example of the sixth embodiment of the encoding device to which the present technology is applied.
  • the encoding device 480 encodes a common parallax image representing a parallax value common to compatible images and a common parallax image of an auxiliary image.
  • the parallax image generation unit 481 of the encoding device 480 uses the images A2 to D2 supplied from the imaging units 141A to 141D to calculate the parallax of each pixel between the image A2 and the image B2. Then, the parallax of each pixel between the image C2 and the image D2 is detected.
  • the parallax image generation unit 481 generates a parallax image composed of parallax values representing the parallax of each pixel between the image A2 and the image B2 as a common parallax image AB2 'of a compatible image, and supplies this to the encoder 482.
  • the parallax image generation unit 481 generates a parallax image including a parallax value representing the parallax of each pixel between the image C2 and the image D2 as a common parallax image CD2 'of the auxiliary image, and supplies this to the encoder 482.
  • the parallax image generation unit 481 supplies information indicating that the parallax images of the compatible image and the auxiliary image are common parallax images to the parallax image information generation unit 483.
  • the encoder 482 includes a compatible encoder 151 and an auxiliary encoder 491.
  • the auxiliary encoder 491 encodes the multiplexed image of the auxiliary image from the image conversion unit 142, the common parallax image AB2 ′ of the compatible image from the parallax image generation unit 481, and the common parallax image CD2 ′ of the auxiliary image in a 3DV format. To do.
  • the auxiliary encoder 491 supplies the encoded stream obtained as a result to the multiplexing unit 443 as an auxiliary stream.
  • the parallax image information generation unit 483 Based on the information supplied from the parallax image generation unit 53, the parallax image information generation unit 483 generates, as parallax image information, information indicating that the parallax images of the compatible image and the auxiliary image are common parallax images, This is supplied to the multiplexing unit 443.
  • FIG. 43 and 44 are flowcharts for explaining the encoding process by the encoding device 480 of FIG. This encoding process is started when, for example, the images A2 to D2 are output from the imaging units 141A to 141D.
  • the parallax image generation unit 481 uses the images A2 to D2 supplied from the imaging units 141A to 141D, and the parallax of each pixel between the image A2 and the image B2, and the image C2. The parallax of each pixel of the image D2 is detected. Then, the parallax image generation unit 481 has a common parallax image AB2 ′ composed of parallax values representing the parallax of each pixel between the image A2 and the image B2, and a parallax value representing the parallax of each pixel between the image C2 and the image D2. A common parallax image CD2 ′ is generated.
  • step S ⁇ b> 500 the parallax image information generation unit 483 displays information indicating that the parallax images of the compatible image and the auxiliary image are common parallax images based on the information supplied from the parallax image generation unit 481. And input to the multiplexing unit 443.
  • step S501 the parallax image generation unit 481 inputs the common parallax image CD2 'of the auxiliary image generated in step S499 and the common parallax image AB2' of the compatible image to the encoder 482.
  • step S502 the compatible encoder 151 of the encoder 482 encodes the multiplexed image of the compatible image supplied from the image conversion unit 142 using the existing AVC method, and the encoded stream obtained as a result is the multiplexing unit. 443.
  • the auxiliary encoder 491 outputs the multiplexed image of the auxiliary image from the image conversion unit 142, the common parallax image of the compatible image from the parallax image generation unit 481, and the common parallax image of the auxiliary image in a 3DV format. Encode.
  • the auxiliary encoder 491 supplies the encoded stream obtained as a result of encoding to the multiplexing unit 443 as an auxiliary stream.
  • step S504 the multiplexing unit 443 generates and multiplexes TS from the compatible stream supplied from the compatible encoder 151, the auxiliary stream supplied from the auxiliary encoder 491, and auxiliary information, and the resulting multiplexing is obtained.
  • This multiplexed stream is recorded on, for example, a BD or transmitted as a broadcast stream. Then, the process ends.
  • FIG. 45 is a diagram illustrating a configuration example of a decoding device that decodes a multiplexed stream transmitted from the coding device 480 of FIG.
  • the decoding device 500 decodes the multiplexed stream transmitted from the encoding device 480, generates a 2-viewpoint image or a multi-viewpoint image, and displays the image on a display device (not shown).
  • the decoder 501 of the decoding device 500 includes a compatible decoder 471 and an auxiliary decoder 511.
  • the auxiliary decoder 511 of the decoder 501 identifies a compatible stream among the compatible stream and auxiliary stream supplied from the separation unit 461 based on the compatibility information supplied from the separation unit 461. Further, the auxiliary decoder 511 converts the multiplexed image of the encoded auxiliary image included in the auxiliary stream, the common parallax image AB2 ′ of the compatible image, and the common parallax image CD2 ′ of the auxiliary image into the auxiliary encoder of FIG. Decoding is performed using a method corresponding to 491.
  • the auxiliary decoder 511 supplies the multiplexed image of the auxiliary image, the common parallax image AB ⁇ b> 2 ′, and the common parallax image CD ⁇ b> 2 ′ obtained as a result of decoding to the image generation unit 502.
  • the image generation unit 502 outputs an image in response to a display command from the viewer and displays the image on a display device (not shown). Specifically, the image generation unit 502 receives image information from the image information acquisition unit 123 and distance information between viewpoints from the inter-viewpoint distance information acquisition unit 124 in response to a display instruction of a multi-viewpoint 3D image from the viewer.
  • the multiplexed image of the compatible image is generated.
  • the multiplexed image of the auxiliary image is generated.
  • the common parallax image AB2 ′ is generated.
  • the image generation unit 502 uses the common parallax image based on information indicating that the compatible image and the parallax image of the auxiliary image included in the parallax image information from the parallax image information acquisition unit 125 are common parallax images.
  • AB2 ′ and the common parallax image CD2 ′ are left as they are.
  • the image generation unit 502 multiplexes the auxiliary image based on the information indicating the auxiliary image multiplexing method included in the image information from the image information acquisition unit 123. From each auxiliary image. Further, similar to the image generation unit 171, the image generation unit 502 separates each compatible image from the multiplexed image of compatible images based on information indicating the compatible image multiplexing method included in the image information.
  • the image generation unit 502 determines the position of each viewpoint of the multi-viewpoint image to be generated based on the inter-viewpoint distance information and the number of viewpoints corresponding to the display device (not shown). Then, the image generation unit 502 generates an image of each viewpoint whose position is determined using each compatible image, each auxiliary image, common parallax image AB2 ', and common parallax image CD2'. Similar to the image generation unit 171, the image generation unit 502 converts the resolution of the generated multi-viewpoint image into a 1 / viewpoint resolution of the resolution of the compatible image or the auxiliary image, and synthesizes it. Display on the display device. *
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • the image generation unit 502 supplies the image data from the decoder 501 based on the image information from the image information acquisition unit 123 in response to the display command of the 2-viewpoint 3D image from the viewer.
  • the multiplexed image of the compatible images is separated into an image A2 and an image B2 having half the resolution of the compatible image.
  • the image generation unit 502 alternately outputs the image A2 and the image B2 having half the resolution of the separated compatible image, and displays them on a display device (not shown).
  • the viewer wears glasses that open either the left-eye shutter or the right-eye shutter when displaying the image A2 and open the other when displaying the image B2, and alternately display the images A2 on the display device.
  • the 3D image can be viewed.
  • FIG. 46 is a flowchart for explaining decoding processing by the decoding device 500 of FIG. This decoding process is started, for example, when a multiplexed stream transmitted from the encoding device 480 in FIG. 42 is input to the decoding device 500.
  • steps S511 to S514 in FIG. 46 is the same as the processing in steps S471 to S474 in FIG.
  • step S515 the auxiliary decoder 511 extracts the multiplexed image of the auxiliary image encoded from the auxiliary stream, the common parallax image AB2 ′ of the compatible image, and the common parallax image CD2 ′ of the auxiliary image, and adds the auxiliary image of FIG. It decodes by the system corresponding to the encoding system in the encoder 491.
  • the auxiliary decoder 511 supplies the multiplexed image of the auxiliary image, the common parallax image AB ⁇ b> 2 ′, and the common parallax image CD ⁇ b> 2 ′ obtained as a result of decoding to the image generation unit 502.
  • steps S516 to S520 is the same as the processing of steps S476 to S480 in FIG. 41, description thereof is omitted.
  • step S521 the image generation unit 502 determines the position of each viewpoint determined in step S519, the image information from the image information acquisition unit 123, the parallax image information from the parallax image information acquisition unit 125, the compatibility Based on the compatibility information from the information acquisition unit 126 and the like, using the compatible image, the multiplexed image of the auxiliary image, the common parallax image AB2 ′, and the common parallax image CD2 ′, half of the compatible image and auxiliary image of each viewpoint An image with a resolution of
  • steps S522 to S526 is the same as the processing of steps S482 to S486 in FIG. 41, the description thereof is omitted.
  • the encoding device 440 and the encoding device 480 multiplex and encode the two-view compatible images in the same manner as the encoding device 140, but the two-view compatible images in the same manner as the encoding device 180 in FIG. You may make it encode, without multiplexing. Further, the encoding device 440 and the encoding device 480 may encode a compatible image of one viewpoint, similarly to the encoding device 50 of FIG.
  • the encoding device 140 and the encoding device 180 may encode the compatible image and the parallax image of the auxiliary image without multiplexing. Further, the encoding device 50 may encode the parallax image of the auxiliary image without multiplexing.
  • FIG. 47 is a diagram illustrating an example of a multiplexing pattern to be encoded when the number of viewpoints of the compatible image is 2 and the number of viewpoints of the auxiliary image is 2.
  • the encoding device 140 in FIG. 14 multiplexes images A2 and B2 which are compatible images in the spatial direction, and encodes them using the AVC method. Also, the encoding device 140 performs parallax images C2 and D2 which are auxiliary images, parallax images A2 ′ and B2 ′ which are parallax images of compatible images, and parallax images C2 ′ and parallax images which are parallax images of auxiliary images.
  • the images D2 ′ are multiplexed in the spatial direction, respectively, and encoded by the 3DV method according to the MVC method.
  • the encoding device 140 may encode the 3DV format in accordance with the MVC format without multiplexing the parallax images A2 'to D2'.
  • the encoding device 480 of FIG. 42 encodes the common parallax image AB2 ′ instead of the parallax image A2 ′ and the parallax image B2 ′ that are the parallax images of the compatible images.
  • the common parallax image CD2 ′ is encoded.
  • the encoding device 440 of FIG. 35 does not multiplex the parallax image A2 ′ and the parallax image B2 ′ that are parallax images of the compatible images in the spatial direction, and does not multiplex the parallax image A2 ',
  • the parallax image B2', and the multiplexed image of the parallax images of the auxiliary image are multiplexed by the frame sequential method and encoded by the 3DV method according to the MVC method.
  • the encoding device 180 of FIG. 19 encodes the image A2 by the AVC method without multiplexing the images A2 and B2, which are compatible images, and converts the image B2 into the image B2. Then, encoding is performed by the MVC method using the image A2 as a base view. Also, the encoding device 180 performs parallax images C2 and D2 which are auxiliary images, parallax images A2 ′ and B2 ′ which are parallax images of compatible images, and parallax images C2 ′ and parallax images which are parallax images of auxiliary images.
  • the images D2 ′ are multiplexed in the spatial direction, respectively, and encoded by the 3DV method according to the MVC method.
  • the encoding device 180 may encode the 3DV method according to the MVC method without multiplexing the parallax images A2 'to D2' as shown in (6) of FIG.
  • the encoding device 180 encodes the common parallax image AB2 ′ instead of the parallax image A2 ′ and the parallax image B2 ′, as in the encoding device 480, and generates the parallax image.
  • the common parallax image CD2 ′ may be encoded instead of C2 ′ and the parallax image D2 ′.
  • the encoding device 180 does not multiplex the parallax image A2 ′ and the parallax image B2 ′ in the spatial direction as in the encoding device 440, and does not multiplex the parallax image A2 ′,
  • the parallax image B2 ′ and the multiplexed image of the parallax images of the auxiliary image can be multiplexed by the frame sequential method and encoded by the 3DV method according to the MVC method.
  • the multiplexing pattern is not limited to the example of FIG.
  • the multiplexed image of the auxiliary image, the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image may be further multiplexed by a frame sequential method.
  • FIG. 48 is a diagram showing the characteristics of the effect of multiplexing with the multiplexing pattern shown in (1) to (8) of FIG.
  • the multiplexing method and encoding method of compatible images are the same as the existing method, and compatibility is ensured.
  • the parallax images are multiplexed in the spatial direction in the same manner as the compatible images, for example, the parallax images can be separated using a separation unit that separates the compatible images prepared on the decoding device side. Therefore, it is guaranteed that the parallax image can be separated on the decoding device side. Therefore, in this case, there is a remarkable effect in compatibility, and a double circle is described corresponding to the item “compatibility” in FIG.
  • the multiplexing method and encoding method of compatible images are the same as the existing method, and compatibility is ensured. Also, since the resolution of the parallax image is the same as that of the image before multiplexing, the accuracy is high. As a result, in the decoding device, the accuracy of the image of the predetermined viewpoint generated using the parallax image is improved. Therefore, in this case, there is an effect on the compatibility and the image quality of the image generated using the parallax image, and circles are described corresponding to the items “compatibility” and “image quality” in FIG.
  • the encoding method and the multiplexing method of the compatible image are the same as the existing method, and compatibility is ensured. Further, the data amount of the parallax image of the compatible image and the auxiliary image having the same resolution as that of the image before multiplexing is reduced to the data amount of the parallax image for two viewpoints. Therefore, in this case, compatibility and data amount are effective, and circles are described corresponding to the items “compatibility” and “data amount” in FIG.
  • the compatibility image encoding method and multiplexing method are the same as the existing method, and compatibility is ensured.
  • the data amount of the parallax images at each time is further reduced as compared with the case of (3) in FIG. 47, and the amount of data that can be transmitted increases. Therefore, a parallax image having the same resolution as the image before multiplexing can be transmitted even in a situation where there is not enough room in the transmission band so that a parallax image having the same resolution as the image before multiplexing can be transmitted.
  • the accuracy of the image of the predetermined viewpoint generated using the parallax image is improved. Therefore, in this case, there is an effect on the compatibility and the image quality of the image generated using the parallax image, and there is a significant effect on the data amount. Therefore, a circle is described corresponding to the items “compatibility” and “image quality” in FIG. 48, and a double circle is described corresponding to “data amount”.
  • Multiplexing with the multiplexing patterns shown in (1) to (4) of FIG. 47 is, for example, broadcasting, broadcasting fused with IP (Internet Protocol) conforming to the ATSC (Advanced Television Systems Systems Committee) 2.0 standard or the like. This is performed when an image for a next-generation broadcast or Internet distribution application is to be encoded.
  • IP Internet Protocol
  • the compatibility image encoding method and multiplexing method are the same as the existing method, and compatibility is ensured. Further, since the resolution of each parallax image is half of the resolution of the image, the data amount of the parallax image of the compatible image and the auxiliary image is reduced to the data amount of the parallax image for two viewpoints. Therefore, in this case, compatibility and data amount are effective, and circles are described corresponding to the items “compatibility” and “data amount” in FIG.
  • multiplexing with the multiplexing patterns shown in (5), (7), and (8) of FIG. 47 encodes an image for an application such as BD, broadcasting, next-generation broadcasting, or Internet distribution, for example. This is done when targeting. Furthermore, multiplexing with the multiplexing pattern shown in (6) of FIG. 47 is performed when, for example, an image for BD, next-generation broadcasting, or Internet distribution application is to be encoded.
  • FIG. 49 is a diagram illustrating an example of a multiplexing pattern to be encoded when the number of viewpoints of the compatible image is 1 and the number of viewpoints of the auxiliary image is 2.
  • the encoding device 50 of FIG. 5 encodes the image A1, which is a compatible image, by the AVC method. Also, the encoding device 50 multiplexes the image B1 and the image C1, which are auxiliary images, and the parallax image B1 'and the parallax image C1', which are parallax images of the auxiliary image, in the time direction. Then, the encoding device 50 encodes the parallax image A1 ′, which is a parallax image of the compatible image, the multiplexed image of the auxiliary image, and the multiplexed image of the parallax image of the auxiliary image, in a 3DV format according to the MVC format.
  • the encoding device 50 may encode the parallax images A1 'to C1' in a 3DV format according to the MVC format without multiplexing the parallax images A1 'to C1' as shown in (2) of FIG. Further, as illustrated in (3) of FIG. 49, the encoding device 50, like the encoding device 480, uses the images B and C that are auxiliary images instead of the multiplexed images of the parallax images of the auxiliary images. It is also possible to encode the common parallax image BC1 ′.
  • the encoding device 50 does not multiplex the parallax image B1 ′ and the parallax image C1 ′ in the spatial direction as in the case of the encoding device 440, and performs parallax images A1 ′ to A1 ′. It is also possible to multiplex the parallax image C1 ′ by the frame sequential method and encode it by the 3DV method according to the MVC method.
  • FIG. 50 is a diagram illustrating an example of a multiplexing pattern to be encoded when the number of viewpoints of the compatible image is 2 and the number of viewpoints of the auxiliary image is 0.
  • the parallax image A2 'and the parallax image B2' which are parallax images of compatible images, are multiplexed in the spatial direction and encoded by a 3DV format that conforms to the AVC format.
  • the parallax image A2 'and the parallax image B2' may not be multiplexed, and may be encoded by a 3DV format that conforms to the MVC format.
  • the common parallax image AB2 ′ may be encoded instead of the parallax image A2 ′ and the parallax image B2 ′. it can.
  • the parallax image A2 ′ and the parallax image B2 ′ are not multiplexed in the time direction, but are multiplexed in a frame sequential manner. And can be encoded.
  • the image A2 and the image B2 which are compatible images, are not multiplexed and the image A2 is encoded by the AVC method.
  • the image B2 may be encoded by the MVC method using the image A2 as a base view.
  • the parallax image is encoded without being multiplexed, as shown in (2) of FIG. 50, or as shown in (7) of FIG.
  • the common parallax image AB2 ′ may be encoded.
  • the parallax images of compatible images can be multiplexed and encoded by the frame sequential method.
  • the resolution of the parallax image multiplexed by the frame sequential method is the same as that of the image before multiplexing, but may be lower than the resolution of the image before multiplexing.
  • the auxiliary image may be multiplexed by a frame sequential method similarly to the parallax image.
  • the information indicating the image multiplexing method and the information indicating the parallax image multiplexing method are transmitted in the encoding apparatus.
  • the multiplexing shown in FIGS. 47, 49, and 50 is performed.
  • Information for identifying the pattern may be transmitted.
  • the encoding device may transmit a flag for identifying an application corresponding to an image to be encoded.
  • FIG. 51 is a block diagram illustrating a configuration example of the seventh embodiment of the encoding device to which the present technology is applied.
  • 51 mainly includes an encoder 523 and a transmission unit 524 instead of the encoder 145 and the multiplexing unit 443, and the multiplexing unit 521 and the multiplexed information generation unit 522. Is different from the configuration of FIG.
  • the encoding device 520 multiplexes a multiplexed image of a compatible image, a multiplexed image of an auxiliary image, a multiplexed image of a parallax image of a compatible image, and a multiplexed image of a parallax image of an auxiliary image by a frame sequential method, and encodes them. To do.
  • the multiplexing unit 521 of the encoding device 520 obtains the multiplexed image of the compatible image and the auxiliary image obtained as a result of multiplexing by the image converting unit 142 and the result of multiplexing by the parallax image generating unit 143.
  • Multiplexed images of the compatible image and the parallax image of the auxiliary image are multiplexed by a frame sequential method.
  • the multiplexing unit 521 obtains a multiplexed image of compatible images, a multiplexed image of parallax images of compatible images, a multiplexed image of auxiliary images, and a parallax of auxiliary images within one frame time obtained as a result of multiplexing.
  • a multiplexed image in which multiplexed images of images are present in order is supplied to the encoder 523 as a time-direction multiplexed image.
  • the multiplexing unit 521 determines that the multiplexed image of the compatible image and the auxiliary image, and the multiplexed image of the parallax image of the compatible image and the auxiliary image are multiplexed by the frame sequential method.
  • Information indicating the arrangement order of the images is supplied to the multiplexed information generation unit 522 and the encoder 523.
  • the multiplexing information generation unit 522 Based on the information supplied from the multiplexing unit 521, the multiplexing information generation unit 522 converts the information and the like into the compatible image and the auxiliary image, and the entire multiplexing information regarding the multiplexing of the compatible image and the parallax image of the auxiliary image. And supplied to the transmission unit 524.
  • the encoder 523 includes a compatible encoder 531 and an auxiliary encoder 532. Based on the information supplied from the multiplexing unit 521, the encoder 523 specifies a multiplexed image of compatible images among the time-multiplexed images supplied from the multiplexing unit 521, and makes the multiplexed images of compatible images compatible. To the encoder 531. Further, the encoder 523 converts the multiplexed image of the auxiliary image and the multiplexed image of the compatible image and the parallax image of the auxiliary image out of the time multiplexed images based on the information supplied from the multiplexing unit 521. 532.
  • the compatible encoder 531 of the encoder 523 encodes the multiplexed image of the compatible images among the time-multiplexed images using the existing AVC method.
  • the auxiliary encoder 532 encodes the multiplexed image of the auxiliary image and the multiplexed image of the compatible image and the parallax image of the auxiliary image among the time multiplexed images by the 3DV method.
  • the multiplexed image of the auxiliary image is encoded with reference to the multiplexed image of the compatible image
  • the multiplexed image of the parallax image of the auxiliary image is encoded with reference to the multiplexed image of the parallax image of the compatible image. It becomes.
  • the encoder 523 supplies a bit stream composed of encoded data of a time-multiplexed image obtained as a result of encoding by the compatible encoder 531 or the auxiliary encoder 532 to the transmission unit 524.
  • the transmission unit 524 includes the bit stream supplied from the encoder 523, the image information from the image information generation unit 54, the compatibility information from the compatibility information generation unit 55, the inter-view distance information from the inter-view distance information generation unit 144, and the parallax image.
  • a TS is generated using the parallax image information from the information generation unit 57, the entire multiplexing information from the multiplexing information generation unit 522, and the like.
  • the multiplexing unit 443 transmits the generated TS.
  • FIG. 52 and 53 are flowcharts for explaining the encoding processing by the encoding device 520 in FIG. This encoding process is started when, for example, the images A2 to D2 are output from the imaging units 141A to 141D.
  • step S538 the image conversion unit 142 inputs the multiplexed image of the compatible image and the multiplexed image of the auxiliary image to the multiplexing unit 521, and the process proceeds to step S539 in FIG.
  • step S544 the multiplexing unit 521 obtains the multiplexed image of the compatible image and the auxiliary image obtained as a result of multiplexing by the image converting unit 142, and the result of multiplexing by the parallax image generating unit 143. Multiplexed images of the compatible image and the parallax image of the auxiliary image are multiplexed by a frame sequential method. The multiplexing unit 521 supplies the multiplexed image obtained as a result of multiplexing to the encoder 523 as a time direction multiplexed image.
  • the multiplexing unit 521 is information indicating that the multiplexed image of the compatible image and the auxiliary image and the multiplexed image of the parallax image are multiplexed by the frame sequential method, the arrangement order of the images in the time multiplexed image, and the like. Is supplied to the multiplexed information generating unit 522 and the encoder 523.
  • step S545 the multiplexing information generation unit 522 generates the information as overall multiplexing information based on the information supplied from the multiplexing unit 521, and inputs the generated information to the transmission unit 524.
  • step S546 the compatible encoder 531 encodes the multiplexed image of the compatible images among the time-multiplexed images input by the encoder 523 based on the information from the multiplexing unit 521 using the existing AVC method.
  • step S547 the auxiliary encoder 532 is input based on the information from the multiplexing unit 521 by the encoder 523, and the multiplexed image of the auxiliary image and the multiplexed image of the parallax image of the compatible image among the time multiplexed images. And the multiplexed image of the parallax image of the auxiliary image is encoded by the 3DV method.
  • the encoder 523 supplies the transmission unit 524 with a bit stream composed of encoded data of the time-multiplexed image obtained as a result of the encoding in steps S546 and S547.
  • step S548 the transmission unit 524 generates and transmits a TS from the bit stream from the encoder 523, the auxiliary information, and the entire multiplexed information from the multiplexed information generating unit 522.
  • This TS is recorded on, for example, a BD or transmitted as a broadcast stream. Then, the process ends.
  • the encoding device 520 uses the encoded data of the multiplexed image of the compatible image, the multiplexed image of the auxiliary image, the multiplexed image of the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image.
  • One bit stream is generated. Therefore, in a decoding device having a decoder capable of decoding only one bit stream, the bit stream generated by the encoding device 520 can be decoded.
  • the parallax image of the compatible image, the auxiliary image, and the parallax image of the auxiliary image are encoded by the 3DV method according to the encoding method of the compatible image. It may be encoded by MPEG2 (MovingMoPicture Experts Group phase 2) method or the like that does not conform to the above.
  • FIG. 54 is a diagram illustrating a configuration example of a decoding device that decodes a TS transmitted from the coding device 520 of FIG.
  • the decoding device 540 decodes the bit stream of the time-multiplexed image included in the TS transmitted from the encoding device 520, generates a two-view image or a multi-view image, and displays it on a display device (not shown). .
  • the receiving unit 541 of the decoding device 540 receives the TS transmitted from the encoding device 520.
  • the receiving unit 541 extracts the bit stream of the time multiplexed image included in the TS and supplies the bit stream to the decoder 542.
  • the reception unit 541 extracts auxiliary information included in the TS, supplies image information of the auxiliary information to the image information acquisition unit 123, and supplies viewpoint distance information to the inter-viewpoint distance information acquisition unit 124.
  • the reception unit 541 supplies the parallax image information of the auxiliary information to the parallax image information acquisition unit 125 and supplies the compatibility information to the compatibility information acquisition unit 126 and the decoder 501.
  • the receiving unit 541 extracts the entire multiplexed information included in the TS and supplies it to the multiplexed information acquiring unit 543.
  • the decoder 542 includes a compatible decoder 551 and an auxiliary decoder 552.
  • the compatibility decoder 551 of the decoder 542 extracts the encoded data of the multiplexed image of the compatible image from the bit stream supplied from the reception unit 541 based on the compatibility information supplied from the separation unit 461.
  • the compatible decoder 551 decodes the encoded data of the multiplexed image of the extracted compatible image using a method corresponding to the AVC method, and supplies the decoded data to the image generation unit 544.
  • the auxiliary decoder 552 based on the compatibility information supplied from the separation unit 461, from the bit stream supplied from the reception unit 541, a multiplexed image of auxiliary images, a multiplexed image of parallax images of compatible images, and an auxiliary image Extract encoded data of a multiplexed image of parallax images.
  • the auxiliary decoder 552 outputs the extracted multiplexed image of the auxiliary image, the multiplexed image of the parallax image of the compatible image, and the encoded data of the multiplexed image of the parallax image of the auxiliary image in the auxiliary encoder 532 of FIG.
  • the image is decoded by a method corresponding to the encoding method and supplied to the image generation unit 544.
  • the multiplexing information acquisition unit 543 acquires the entire multiplexing information supplied from the reception unit 541 and supplies it to the image generation unit 544.
  • the image generation unit 544 outputs an image in response to a display command from the viewer and displays the image on a display device (not shown). Specifically, the image generation unit 544 receives the image information from the image information acquisition unit 123 and the inter-viewpoint distance from the inter-viewpoint distance information acquisition unit 124 in response to a display instruction of a multi-viewpoint 3D image from the viewer. Based on the information, the parallax image information from the parallax image information acquisition unit 125, the compatibility information from the compatibility information acquisition unit 126, the overall multiplexing information from the multiplexing information acquisition unit 543, and the like.
  • the multiplexed image of the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image the compatible image or auxiliary image of the number of viewpoints corresponding to a display device (not shown) of 3 or more. Generate an image with half the resolution.
  • the image generation unit 544 multiplexes the multiplexed image of the auxiliary image and the parallax image of the compatible image supplied from the auxiliary decoder 552 based on the entire multiplexing information from the multiplexing information acquisition unit 543.
  • a multiplexed image of the image and the parallax image of the auxiliary image is identified.
  • the image generation unit 544 like the image generation unit 171 in FIG. 17, assists based on information indicating the parallax image multiplexing method of the auxiliary image included in the parallax image information from the parallax image information acquisition unit 125.
  • a parallax image of each auxiliary image is separated from the multiplexed image of the parallax images of the images.
  • the image generation unit 544 uses the information indicating the multiplexing method of the parallax image of the compatible image included in the parallax image information, from each of the multiplexed images of the parallax images of the compatible image. Separate parallax images of compatible images.
  • the image generation unit 544 generates each auxiliary image from the multiplexed image based on the information indicating the auxiliary image multiplexing method included in the image information from the image information acquisition unit 123. Separate auxiliary images. Similarly to the image generation unit 171, the image generation unit 544 separates each compatible image from the multiplexed image of the compatible image based on information indicating the compatible image multiplexing method included in the image information.
  • the image generation unit 544 determines the position of each viewpoint of the multi-viewpoint image to be generated based on the distance information between viewpoints and the number of viewpoints corresponding to a display device (not shown). Then, similarly to the image generation unit 171, the image generation unit 544 uses each compatible image, each auxiliary image, the parallax image of each compatible image, and the parallax image of each auxiliary image, for each viewpoint whose position is determined. Generate an image. Then, the image generation unit 544 converts the resolution of the generated multi-viewpoint image into a resolution of 1 / the number of viewpoints of the resolution of the compatible image or the auxiliary image, and displays it on a display device (not shown).
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • the image generation unit 544 is supplied from the decoder 542 based on the image information from the image information acquisition unit 123 in response to the display command of the 2-viewpoint 3D image from the viewer.
  • the multiplexed image of the compatible images is separated into an image A2 and an image B2 having half the resolution of the compatible image.
  • the image generation unit 544 alternately outputs the image A2 and the image B2 having half the resolution of the separated compatible image and displays them on a display device (not shown).
  • the viewer wears glasses that open either the left-eye shutter or the right-eye shutter when displaying the image A2 and open the other when displaying the image B2, and alternately display the images A2 on the display device.
  • the 3D image can be viewed.
  • FIG. 55 is a flowchart for explaining decoding processing by the decoding device 540 of FIG. This decoding process is started, for example, when a TS transmitted from the encoding device 520 in FIG. 51 is input to the decoding device 540.
  • step S551 in FIG. 55 the reception unit 541 of the decoding device 540 receives the TS transmitted from the encoding device 520.
  • the receiving unit 541 extracts the bit stream included in the TS and supplies the bit stream to the decoder 542.
  • the reception unit 541 extracts auxiliary information included in the TS, supplies image information of the auxiliary information to the image information acquisition unit 123, and supplies viewpoint distance information to the inter-viewpoint distance information acquisition unit 124.
  • the reception unit 541 supplies the parallax image information of the auxiliary information to the parallax image information acquisition unit 125 and supplies the compatibility information to the compatibility information acquisition unit 126.
  • the receiving unit 541 extracts the entire multiplexed information included in the TS and supplies it to the multiplexed information acquiring unit 543.
  • step S552 the image generation unit 544 determines whether or not the viewer is instructed to display a two-viewpoint 3D image, similarly to the process in step S474 of FIG. If it is determined in step S552 that display of a 2-viewpoint 3D image is not instructed by the viewer, that is, if display of a multi-viewpoint 3D image is instructed, the process proceeds to step S553.
  • step S553 the compatibility decoder 551 of the decoder 542 extracts the encoded data of the multiplexed image of the compatible image from the bit stream based on the compatibility information supplied from the reception unit 541, and uses a method corresponding to the AVC method. Decrypt. Then, the compatible decoder 551 supplies a multiplexed image of compatible images obtained as a result of decoding to the image generation unit 544.
  • step S554 the auxiliary decoder 552, based on the compatibility information supplied from the reception unit 541, extracts the multiplexed image of the auxiliary image, the multiplexed image of the parallax image of the compatible image, and the parallax image of the auxiliary image from the bitstream.
  • the encoded data of the multiplexed image is extracted and decoded by a method corresponding to the auxiliary encoder 532 in FIG.
  • the auxiliary decoder 552 supplies the multiplexed image of the auxiliary image, the multiplexed image of the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image obtained as a result of the decoding to the image generation unit 544, and performs the process. Proceed to S555.
  • steps S555 to S558 is the same as the processing of steps S476 to S479 in FIG.
  • the multiplexing information acquisition unit 543 acquires the entire multiplexing information supplied from the reception unit 541 and inputs the entire multiplexing information to the image generation unit 544.
  • step S560 the image generation unit 544, like the processing in step S480 of FIG. 41, based on the inter-viewpoint distance information from the inter-viewpoint distance information acquisition unit 124 and the number of viewpoints corresponding to a display device (not shown), The position of each viewpoint of the multi-viewpoint image to be generated is determined.
  • step S561 the image generation unit 544 determines the position of each viewpoint determined in step S560, the image information from the image information acquisition unit 123, the parallax image information from the parallax image information acquisition unit 125, and the compatibility information acquisition unit 126. Based on the compatible information, the entire multiplexed information from the multiplexed information acquisition unit 543, etc., the multiplexed image of the compatible image, the multiplexed image of the auxiliary image, the multiplexed image of the parallax image of the compatible image, and the parallax image of the auxiliary image Is used to generate an image having a resolution half that of the compatible image and the auxiliary image for each viewpoint. Then, the process proceeds to step S562.
  • steps S562 and S563 Since the processing of steps S562 and S563 is the same as the processing of steps S482 and S483 of FIG. 41, the description thereof is omitted.
  • step S564 the compatibility decoder 551 performs compatibility from the bitstream based on the compatibility information supplied from the reception unit 541.
  • the encoded data of the multiplexed image of the image is extracted and decoded by a method corresponding to the AVC method.
  • the compatible decoder 551 supplies a multiplexed image of compatible images obtained as a result of decoding to the image generation unit 544.
  • steps S565 to S567 is the same as the processing of steps S484 to S486 in FIG. 41, description thereof is omitted.
  • step S566 the multiplexed images of compatible images are separated based on a predetermined multiplexing method.
  • the decoding device 540 generates the encoded image from the multiplexed image of the compatible image, the multiplexed image of the auxiliary image, the multiplexed image of the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image. It is possible to decode the single bit stream.
  • FIG. 56 is a diagram illustrating a configuration example of a bit stream (encoded stream) in units of access units generated in the present embodiment.
  • the compatible image is an L image and an R image having 1920 ⁇ 1080 pixels
  • the auxiliary image is an O image having 1920 ⁇ 1080 pixels.
  • the size of the L parallax image, the R parallax image, and the O parallax image is 960 ⁇ 1080 pixels.
  • the L image is encoded by the AVC method
  • the R image is encoded by the MVC method
  • the O image, the L parallax image, the R parallax image, and the O parallax image are encoded by the 3DV method.
  • the view IDs of the L image, R image, O image, L parallax image, R parallax image, and O parallax image are 0, 1, 2, 3, 4, and 5, respectively.
  • the view ID is an ID unique to each viewpoint image and parallax image.
  • an access unit delimiter (AUD), an SPS (Sequence Parameter Set), an MVC Subset image SPS (SubsetSPS1), and a parallax image are sequentially included in the bit stream in units of access units.
  • 3DV format Subset SPS (Subset SPS2), PPS (Picture Parameter Set), AVC SEI, MVC SEI, 3DV SEI, and NAL (Network Abstraction Layer) unit of encoded data are arranged.
  • the NAL unit of the access unit delimiter is a NAL unit that represents the boundary of the access unit.
  • the SPS NAL unit is an SPS NAL unit including profile_idc (100 in the example of FIG. 56) representing the profile of the L image among the profiles defined by the AVC method.
  • the Subset ⁇ ⁇ ⁇ ⁇ SPS NAL unit for images is a Subset SPS NAL unit including profile_idc (128 in the example of FIG. 56) representing the profile of the R image and the O image among the profiles defined by the MVC method.
  • the NAL unit of Subset SPS for parallax images is a profile_idc (example in FIG. 56) that represents the profiles of L parallax images, R parallax images, and O parallax images among the profiles defined as parallax image profiles in the 3DV format. Then, Subset SPS NAL unit including 138).
  • the AVC-type SEI NAL unit is an L-image SEI NAL unit.
  • the MVC SEI NAL unit is an SEI NAL unit for L and R images.
  • the 3DV SEI NAL unit is an LEI, R image, O image, L parallax image, R parallax image, and O parallax image SEI NAL unit.
  • the NAL unit including 1 or 5 indicating that it is an AVC picture as the type of the NAL unit is added to the NAL unit of the encoded data of the L image.
  • the NAL unit of the delimiter (MVC DD) is a NAL unit that represents the head of encoded data in the MVC system.
  • a NAL header including 20 representing MVC encoded data is added as a NAL unit type to the NAL unit of the R image encoded data.
  • the NAL unit of the delimiter (3DV DD) is a NAL unit that represents the head of encoded data of the 3DV system.
  • a NAL header including 21 representing 3DV encoded data is added to the NAL unit of the encoded data of the O image, the L parallax image, the R parallax image, and the O parallax image.
  • FIG. 57 is a diagram illustrating a description example of the 3DV Subset SPS for the parallax image of FIG.
  • the 3DV SubsetSubSPS for parallax images includes SPS (seq_parameter_set_data) including profile_idc (138 in the example of FIG. 57) representing profiles of L parallax images, R parallax images, and O parallax images. And information for each profile_idc defined in the 3DV format.
  • the 3DV SubsetSubSPS for parallax images includes parallax image extension information (seq_parameter_set_depth_extension) and parallax image VUI extension information as information when profile_idc is 138.
  • An image VUI information flag (depth_vui_parameters_present_flag) and the like are described.
  • the parallax image VUI information flag indicates that the parallax image VUI extension information is included, the parallax image VUI extension information (depth_vui_parameters__extension) is also described.
  • the reference image is reset in the same manner as when decoding IDR pictures. Is done.
  • FIG. 58 is a diagram showing a description example of the parallax image extension information of FIG.
  • the parallax image extension information includes information described in the same manner as the extension information (seq_parameter_set_mvc_extension) in the MVC Subset ⁇ SPS and the view ID (ref_view_id) of the image corresponding to each parallax image. Become.
  • the view ID (view_id) of each parallax image and the view ID of the image corresponding to each parallax image can be described together for each parallax image. That is, it is possible to describe information (num_views_minus1) indicating the number of parallax images and to read the view ID of the parallax image and the view ID of the image corresponding to the parallax image by that number.
  • the number of parallax images is set in addition to the extended information for parallax images. It is necessary to describe the information to be expressed, and to perform the description for reading the view ID of the image corresponding to the parallax image by the number. As a result, the description of information indicating the number of parallax images overlaps with the description of reading information by that number.
  • FIG. 59 is a diagram showing a description example of the parallax image VUI extension information in FIG.
  • the VUI extension information for parallax images is described in the same manner as the MUI VUI extension information (mvc_vui_parameters__extension) except for the following points. That is, the position type flag (depth_loc_info_present_flag) indicating whether or not the position type indicating the position type of each pixel of the parallax image on the image corresponding to the parallax image is included in the VUI information for the parallax image and the resolution conversion before conversion A pre-conversion size information flag (video_src_info_present_flag) indicating whether pre-conversion size information indicating the size of the parallax image is included is included.
  • the position type flag depth_loc_info_present_flag
  • video_src_info_present_flag indicating whether pre-conversion size information indicating the size of the parallax image is included is included.
  • the disparity image VUI information also includes the position type
  • the pre-conversion size information flag indicates that the pre-conversion size information is included
  • the disparity The image VUI information includes pre-conversion size information
  • the position type is composed of a top field position type (depth_sample_loc_type_top_field) and a bottom field position type (depth_sample_loc_type_bottom_field).
  • the position type of the top field and the bottom field is described in the same manner as the position type of the top field (chroma_sample_loc_type_top_field) and the position type of the bottom field (chroma_sample_loc_type_bottom_field) included in the VUI extension information of the MVC scheme.
  • the pre-conversion size information includes information indicating the number of macroblocks in the horizontal direction (pic_width_in_mbs_minus1), information indicating the number of macroblocks in the vertical direction (pic_height_in_mbs_minus1), and aspect information indicating the aspect ratio. Or an aspect ratio flag (aspect_ratio_info_present_flag) indicating whether or not. When the aspect ratio flag indicates that aspect information is included, the pre-conversion size information includes aspect information.
  • the aspect information includes an aspect ratio ID (aspect_ratio_idc) that is an ID unique to the aspect ratio.
  • the aspect ratio ID is assigned to a pre-defined aspect ratio, and is also assigned to the entire aspect ratio that is not defined.
  • the aspect ratio ID included in the aspect information is an aspect ratio ID (Extended_SAR) assigned to the entire undefined aspect ratio
  • the aspect information includes the aspect ratio of the parallax image before resolution conversion.
  • a horizontal value (sar_width) and a vertical value (sar_height) are also included.
  • FIG. 60 is a diagram illustrating a description example of the NAL header of the NAL unit of 3DV encoded data including 21 as the NAL unit type.
  • parallax image header extension information indicating whether or not the NAL header of 3DV encoded data includes parallax image header extension information as information when the NAL unit type is 21.
  • a flag depth_extension_flag
  • the parallax image header extension information is described in the NAL header of the encoded data of the 3DV parallax image.
  • the parallax image header extension information flag indicates that the parallax image header extension information is included
  • the parallax image header extension information (nal_unit_header_depth_extension) is also described in the NAL header of the 3DV encoded data.
  • the header extension information flag for the parallax image indicates that the header extension information for the parallax image is not included
  • the header extension information for the MVC scheme (nal_unit_header_mvc_extension) is also described in the NAL header of the encoded data of the 3DV format Is done.
  • FIG. 61 is a diagram illustrating a description example of the parallax image header extension information of FIG.
  • the parallax image header extension information is configured in the same manner as the MVC header extension information except that it includes a view ID (ref_view_id) of an image corresponding to the parallax image.
  • FIG. 62 is a diagram showing a description example of the 3DV SEI in FIG.
  • the 3DV SEI describes the SEI message in the same manner as the MVC SEI.
  • an operation point flag (operation_point_flag) indicating whether or not to specify an operation point is described.
  • operation point flag indicates that no operation point is specified, all images in the access unit are displayed.
  • all component flags (all_view_components_in_au_flag) indicating whether to apply the SEI message to the parallax image are described.
  • the number of images to which the SEI message is applied and the number of view IDs (num_view_components_minus1) and the view ID (sei_view_id) are Described.
  • the view ID (sei_op_view_id) of the image to be applied and the parallax image among the operation points to which the SEI message is applied, and the operation point number (sei_op_temporal_id) ) Is described.
  • an SEI message (sei_rbsp) is described.
  • 3DV SEI it is possible to describe a plurality of SEI messages.
  • the profile of the R image and the O image are the same, but may be different.
  • FIG. 63 is a diagram showing a configuration example of a bit stream in units of access units when the profiles of the R image and the O image are different in FIG.
  • the bit stream configuration of FIG. 63 is that the bit in FIG. 56 is arranged in addition to the MVC Subset SPS for images and the 3DV Subset SPS for parallax images, as well as the 3DV Subset SPS for images. It is different from the stream structure.
  • An MVC Subset SPS NAL unit for images (Subset SPS1) is a Subset SPS NAL unit including profile_idc (128 in the example of FIG. 63) representing the profile of the R image among the profiles defined in the MVC method. is there.
  • the NAL unit of 3DV format Subset SPS (Subset SPS2) for images includes a profile_idc (148 in the example of FIG. 63) that represents a profile of an O image among profiles defined as image profiles in the 3DV format. SPS NAL unit.
  • the NAL unit of Subset SPS (Subset SPS3) for parallax images is a profile_idc (profile that represents the profiles of L parallax images, R parallax images, and O parallax images among the profiles defined as profiles for parallax images in the 3DV format.
  • profile_idc profile that represents the profiles of L parallax images, R parallax images, and O parallax images among the profiles defined as profiles for parallax images in the 3DV format.
  • it is a Subset SPS NAL unit including 138).
  • FIG. 64 is a diagram illustrating a description example of the 3DV format Subset SPS for the image in FIG. 63.
  • the 3DV format Subset SPS for an image includes SPS (seq_parameter_set_data) including profile_idc (148 in the example of FIG. 64) representing the profile of the image O and each profile_idc defined in the 3DV format. Information.
  • the MVC extended information (seq_parameter_set_mvc_extension) and the MVC VUI extended information are the same as the MVC Subset SPS.
  • MVC VUI information flag (mvc_vui_parameters_present_flag) indicating whether or not is included is described. Also, when the MVC VUI information flag indicates that MVC VUI extension information is included, MVC VUI extension information (mvc_vui_parameters_extension) is also described. Further, as the information when profile_idc is 138, the same information as in FIG. 57 is described.
  • the 3DV format may be a format for encoding an image for display in a multi-viewpoint format according to the HEVC (High Efficiency Video Coding) format, not the AVC format or the MVC format.
  • the bit stream in this case will be described below.
  • the HEVC format is HEVC Working Draft: Thomas Wiegand, Woo-jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivian, WD3: Working Draft3 of High-Efficiency Video Coding ”, JCTVc -E603_d5 (version5), based on the description on May 20, 2011.
  • FIG. 65 is a diagram illustrating a configuration example of a bit stream in units of access units when the 3DV method is a method according to the HEVC method.
  • the same L viewpoint image, R viewpoint image, and O viewpoint image as those in the example of FIG. 56 are to be encoded, the L image is encoded by the AVC method, and the L parallax image and the R viewpoint image are encoded.
  • the image and the O viewpoint image are encoded by the 3DV method.
  • the bitstream of FIG. 65 can describe 3DV format Subset SPS (SubsetSPS1) for images and 3DV format Subset SPS (Subset SPS2) for parallax images in SPS, HEVC SEI and 3DV
  • the SEI NAL unit is different from the bit stream of FIG. 56 in that a NAL header including a different NAL unit type is added.
  • 3DV format Subset SPS for images and 3DV format Subset SPS for parallax images are described only in the SPS, described separately from the SPS, or described in the SPS. It can be described separately. Note that the 3DV format SubsetSSPS for images and the 3DV format Subset ⁇ SPS for parallax images are described separately from the SPS, in accordance with the BD standard, encoded data in the HEVC format and 3DV format It is suitable when data is generated as another ES (Elementary Stream).
  • the HEVC SEI or 3DV system is used at the time of decoding.
  • the SEI NAL unit can be easily extracted.
  • FIG. 66 is a diagram showing a description example of the SPS in FIG.
  • the description of the SPS in FIG. 66 indicates that a SubsetSubSPS information flag (subset_seq_present_flag) indicating whether SubsetSubSPS information is included, and that the Subset SPS information flag indicates that Subset SPS information is included.
  • the description is the same as the description of the HEVC SPS except that Subset SPS information is described in
  • the Subset SPS information includes the number of Subset SPS (num_subset_seq) and a Subset SPS flag (subset_seq_info_present_flag) indicating whether or not Subset SPS is included. Further, when the Subset SPS flag indicates that SubsetSSPS is included, the Subset (SPS information also includes Subset SPS (subset_seq_parameter_set_data).
  • Subset SPS As described above, since the number of Subset SPS is described as Subset SPS information, it is possible to recognize whether Subset SPS exists by simply reading the SPS description at the time of decoding. Also, since the Subset SPS flag is described, Subset SPS can be described separately from the SPS without being described in the SPS, and duplication of the description of Subset SPS can be prevented.
  • FIG. 67 is a diagram illustrating a description example of the Subset SPS in FIG.
  • Subset SPS in FIG. 67 includes the number of view IDs of images and parallax images to which Subset SPS is adapted (num_subset_seq_views), a flag for parallax images (depth_extension_flag) indicating whether the adaptation target of Subset SPS is a parallax image, This is the same as the description of the SPS in the HEVC method except that an invalid flag (seq_param_override_flag) indicating whether or not to invalidate the SPS when Subset SPS is applied is described.
  • VUI information flags subset_seq_vui_parameters_present_flag
  • Example of Subset SPS VUI information is a diagram showing a description example of the VUI information of the Subset SPS in FIG.
  • VUI information of Subset SPS in FIG. 68 is the VUI information of HEVC SPS except that a pre-conversion size information flag (video_src_info_present_flag) indicating whether or not pre-conversion size information to be applied is included is described. It is the same as the description of
  • the pre-conversion size information flag indicates that pre-conversion size information to be applied is included
  • the pre-conversion size information is described in the VUI information in FIG. That is, information indicating the number of macroblocks in the horizontal direction to be applied (src_pic_width_in_mbs_minus1), information indicating the number of macroblocks in the vertical direction (src_pic_height_in_mbs_minus1), and aspect ratio indicating whether aspect information indicating the aspect ratio is included before resolution conversion A flag (src_aspect_ratio_info_present_flag) or the like is described.
  • the pre-conversion size information includes aspect information including an aspect ratio ID (src_aspect_ratio_idc) and the like.
  • the aspect ratio ID included in the aspect information is an aspect ratio ID (Extended_SAR) given to the entire undefined aspect ratio
  • the aspect information includes the aspect ratio to be applied before resolution conversion.
  • a horizontal value (sar_width) and a vertical value (sar_height) are also included.
  • VUI information of Subset SPS in FIG. 68 may be described only in the points different from the VUI information of SPS.
  • the information included in the VPS information of the SPS is applied to information that is not described in the VUI information of the Subset SPS.
  • FIG. 69 is a diagram illustrating a description example of the 3DV SEI in FIG.
  • the 3DV SEI description in FIG. 69 is the same as the SEI message type description except that the SEI message type (nesting_type), all component flags (all_view_components_in_au_flag), and the like are described.
  • the types of SEI messages include MVC SEI messages, 3DV SEI messages, and user-defined SEI messages.
  • MVC SEI messages MVC SEI messages
  • 3DV SEI messages 3DV SEI messages
  • user-defined SEI messages user-defined SEI messages.
  • FIG. 70 shows a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance in a storage unit 808 or a ROM (Read Only Memory) 802 as a recording medium built in the computer.
  • ROM Read Only Memory
  • the program can be stored (recorded) in the removable medium 811.
  • a removable medium 811 can be provided as so-called package software.
  • the removable media 811 includes, for example, a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, a semiconductor memory, and the like.
  • the program can be installed on the computer from the removable medium 811 as described above via the drive 810, or can be downloaded to the computer via a communication network or a broadcast network, and installed in the built-in storage unit 808. That is, the program is transferred from a download site to a computer wirelessly via a digital satellite broadcasting artificial satellite, or wired to a computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer incorporates a CPU (Central Processing Unit) 801, and an input / output interface 805 is connected to the CPU 801 via a bus 804.
  • a CPU Central Processing Unit
  • an input / output interface 805 is connected to the CPU 801 via a bus 804.
  • the CPU 801 executes a program stored in the ROM 802 according to an instruction input by the user operating the input unit 806 via the input / output interface 805. Alternatively, the CPU 801 loads a program stored in the storage unit 808 to a RAM (Random Access Memory) 803 and executes it.
  • a RAM Random Access Memory
  • the CPU 801 performs processing according to the flowchart described above or processing performed by the configuration of the block diagram described above. Then, for example, the CPU 801 outputs the processing result from the output unit 807 via the input / output interface 805, transmits it from the communication unit 809, or records it in the storage unit 808 as necessary.
  • the input unit 806 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 807 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor), or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the present technology processes when receiving via network media such as satellite broadcasting, cable TV (television), the Internet, and mobile phones, or on storage media such as optical, magnetic disk, and flash memory.
  • the present invention can be applied to an encoding device and a decoding device used at the time.
  • the above-described encoding device and decoding device can be applied to any electronic device. Examples thereof will be described below.
  • FIG. 71 illustrates a schematic configuration of a television apparatus to which the present technology is applied.
  • the television apparatus 900 includes an antenna 901, a tuner 902, a demultiplexer 903, a decoder 904, a video signal processing unit 905, a display unit 906, an audio signal processing unit 907, a speaker 908, and an external interface unit 909. Furthermore, the television apparatus 900 includes a control unit 910, a user interface unit 911, and the like.
  • the tuner 902 selects a desired channel from the broadcast wave signal received by the antenna 901, demodulates it, and outputs the obtained encoded bit stream to the demultiplexer 903.
  • the demultiplexer 903 extracts video and audio packets of the program to be viewed from the encoded bit stream, and outputs the extracted packet data to the decoder 904. Further, the demultiplexer 903 supplies a packet of data such as EPG (Electronic Program Guide) to the control unit 910. If scrambling is being performed, descrambling is performed by a demultiplexer or the like.
  • EPG Electronic Program Guide
  • the decoder 904 performs packet decoding processing, and outputs video data generated by the decoding processing to the video signal processing unit 905 and audio data to the audio signal processing unit 907.
  • the video signal processing unit 905 performs noise removal, video processing according to user settings, and the like on the video data.
  • the video signal processing unit 905 generates video data of a program to be displayed on the display unit 906, image data by processing based on an application supplied via a network, and the like.
  • the video signal processing unit 905 generates video data for displaying a menu screen for selecting an item and the like, and superimposes the video data on the video data of the program.
  • the video signal processing unit 905 generates a drive signal based on the video data generated in this way, and drives the display unit 906.
  • the display unit 906 drives a display device (for example, a liquid crystal display element or the like) based on a drive signal from the video signal processing unit 905 to display a program video or the like.
  • a display device for example, a liquid crystal display element or the like
  • the audio signal processing unit 907 performs predetermined processing such as noise removal on the audio data, performs D / A conversion processing and amplification processing on the processed audio data, and outputs the audio data to the speaker 908.
  • the external interface unit 909 is an interface for connecting to an external device or a network, and transmits and receives data such as video data and audio data.
  • a user interface unit 911 is connected to the control unit 910.
  • the user interface unit 911 includes an operation switch, a remote control signal receiving unit, and the like, and supplies an operation signal corresponding to a user operation to the control unit 910.
  • the control unit 910 is configured using a CPU (Central Processing Unit), a memory, and the like.
  • the memory stores a program executed by the CPU, various data necessary for the CPU to perform processing, EPG data, data acquired via a network, and the like.
  • the program stored in the memory is read and executed by the CPU at a predetermined timing such as when the television device 900 is activated.
  • the CPU executes the program to control each unit so that the television apparatus 900 performs an operation according to the user operation.
  • the television device 900 is provided with a bus 912 for connecting the tuner 902, the demultiplexer 903, the video signal processing unit 905, the audio signal processing unit 907, the external interface unit 909, and the control unit 910.
  • the decoder 904 is provided with the function of the decoding device (decoding method) of the present application. For this reason, it is possible to decode a multi-viewpoint image by a method having compatibility with an existing method.
  • FIG. 72 illustrates a schematic configuration of a mobile phone to which the present technology is applied.
  • the cellular phone 920 includes a communication unit 922, an audio codec 923, a camera unit 926, an image processing unit 927, a demultiplexing unit 928, a recording / reproducing unit 929, a display unit 930, and a control unit 931. These are connected to each other via a bus 933.
  • an antenna 921 is connected to the communication unit 922, and a speaker 924 and a microphone 925 are connected to the audio codec 923. Further, an operation unit 932 is connected to the control unit 931.
  • the mobile phone 920 performs various operations such as transmission / reception of voice signals, transmission / reception of e-mail and image data, image shooting, and data recording in various modes such as a voice call mode and a data communication mode.
  • the voice signal generated by the microphone 925 is converted into voice data and compressed by the voice codec 923 and supplied to the communication unit 922.
  • the communication unit 922 performs audio data modulation processing, frequency conversion processing, and the like to generate a transmission signal.
  • the communication unit 922 supplies a transmission signal to the antenna 921 and transmits it to a base station (not shown).
  • the communication unit 922 performs amplification, frequency conversion processing, demodulation processing, and the like of the reception signal received by the antenna 921, and supplies the obtained audio data to the audio codec 923.
  • the audio codec 923 performs data expansion of the audio data and conversion to an analog audio signal and outputs the result to the speaker 924.
  • the control unit 931 receives character data input by operating the operation unit 932 and displays the input characters on the display unit 930.
  • the control unit 931 generates mail data based on a user instruction or the like in the operation unit 932 and supplies the mail data to the communication unit 922.
  • the communication unit 922 performs mail data modulation processing, frequency conversion processing, and the like, and transmits the obtained transmission signal from the antenna 921.
  • the communication unit 922 performs amplification, frequency conversion processing, demodulation processing, and the like of the reception signal received by the antenna 921, and restores mail data. This mail data is supplied to the display unit 930 to display the mail contents.
  • the mobile phone 920 can also store the received mail data in a storage medium by the recording / playback unit 929.
  • the storage medium is any rewritable storage medium.
  • the storage medium is a removable medium such as a semiconductor memory such as a RAM or a built-in flash memory, a hard disk, a magnetic disk, a magneto-optical disk, an optical disk, a USB memory, or a memory card.
  • the image data generated by the camera unit 926 is supplied to the image processing unit 927.
  • the image processing unit 927 performs encoding processing of image data and generates encoded data.
  • the demultiplexing unit 928 multiplexes the encoded data generated by the image processing unit 927 and the audio data supplied from the audio codec 923 by a predetermined method, and supplies the multiplexed data to the communication unit 922.
  • the communication unit 922 performs modulation processing and frequency conversion processing of multiplexed data, and transmits the obtained transmission signal from the antenna 921.
  • the communication unit 922 performs amplification, frequency conversion processing, demodulation processing, and the like of the reception signal received by the antenna 921, and restores multiplexed data. This multiplexed data is supplied to the demultiplexing unit 928.
  • the demultiplexing unit 928 performs demultiplexing of the multiplexed data, and supplies the encoded data to the image processing unit 927 and the audio data to the audio codec 923.
  • the image processing unit 927 performs a decoding process on the encoded data to generate image data.
  • the image data is supplied to the display unit 930 and the received image is displayed.
  • the audio codec 923 converts the audio data into an analog audio signal, supplies the analog audio signal to the speaker 924, and outputs the received audio.
  • the image processing unit 927 is provided with the function of the decoding device (decoding method) of the present application. Therefore, when decoding encoded streams and generating decoded image data in image data communication, multi-viewpoint images can be decoded by a method having compatibility with existing methods.
  • FIG. 73 illustrates a schematic configuration of a recording / reproducing apparatus to which the present technology is applied.
  • the recording / reproducing apparatus 940 records, for example, audio data and video data of a received broadcast program on a recording medium, and provides the recorded data to the user at a timing according to a user instruction.
  • the recording / reproducing device 940 can also acquire audio data and video data from another device, for example, and record them on a recording medium. Further, the recording / reproducing apparatus 940 decodes and outputs the audio data and video data recorded on the recording medium, thereby enabling image display and audio output on the monitor apparatus or the like.
  • the recording / reproducing apparatus 940 includes a tuner 941, an external interface unit 942, an encoder 943, an HDD (Hard Disk Drive) unit 944, a disk drive 945, a selector 946, a decoder 947, an OSD (On-Screen Display) unit 948, a control unit 949, A user interface unit 950 is included.
  • Tuner 941 selects a desired channel from a broadcast signal received by an antenna (not shown).
  • the tuner 941 outputs an encoded bit stream obtained by demodulating the received signal of a desired channel to the selector 946.
  • the external interface unit 942 includes at least one of an IEEE 1394 interface, a network interface unit, a USB interface, a flash memory interface, and the like.
  • the external interface unit 942 is an interface for connecting to an external device, a network, a memory card, and the like, and receives data such as video data and audio data to be recorded.
  • the encoder 943 performs encoding by a predetermined method when the video data and audio data supplied from the external interface unit 942 are not encoded, and outputs the encoded bit stream to the selector 946.
  • the HDD unit 944 records content data such as video and audio, various programs, and other data on a built-in hard disk, and reads them from the hard disk during playback.
  • the disk drive 945 records and reproduces signals with respect to the mounted optical disk.
  • An optical disk such as a DVD disk (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + RW, etc.), Blu-ray disk, or the like.
  • the selector 946 selects one of the encoded bit streams from the tuner 941 or the encoder 943 and supplies it to either the HDD unit 944 or the disk drive 945 when recording video or audio. Further, the selector 946 supplies the encoded bit stream output from the HDD unit 944 or the disk drive 945 to the decoder 947 at the time of reproduction of video and audio.
  • the decoder 947 performs a decoding process on the encoded bit stream.
  • the decoder 947 supplies the video data generated by performing the decoding process to the OSD unit 948.
  • the decoder 947 outputs audio data generated by performing the decoding process.
  • the OSD unit 948 generates video data for displaying a menu screen for selecting an item and the like, and superimposes it on the video data output from the decoder 947 and outputs the video data.
  • a user interface unit 950 is connected to the control unit 949.
  • the user interface unit 950 includes an operation switch, a remote control signal receiving unit, and the like, and supplies an operation signal corresponding to a user operation to the control unit 949.
  • the control unit 949 is configured using a CPU, a memory, and the like.
  • the memory stores programs executed by the CPU and various data necessary for the CPU to perform processing.
  • the program stored in the memory is read and executed by the CPU at a predetermined timing such as when the recording / reproducing apparatus 940 is activated.
  • the CPU executes the program to control each unit so that the recording / reproducing device 940 operates according to the user operation.
  • the encoder 943 is provided with the function of the encoding apparatus (encoding method) of the present application. For this reason, when decoding a coding stream and producing
  • FIG. 74 illustrates a schematic configuration of an imaging apparatus to which the present technology is applied.
  • the imaging device 960 images a subject, displays an image of the subject on a display unit, and records it on a recording medium as image data.
  • the imaging device 960 includes an optical block 961, an imaging unit 962, a camera signal processing unit 963, an image data processing unit 964, a display unit 965, an external interface unit 966, a memory unit 967, a media drive 968, an OSD unit 969, and a control unit 970. Have. In addition, a user interface unit 971 is connected to the control unit 970. Furthermore, the image data processing unit 964, the external interface unit 966, the memory unit 967, the media drive 968, the OSD unit 969, the control unit 970, and the like are connected via a bus 972.
  • the optical block 961 is configured using a focus lens, a diaphragm mechanism, and the like.
  • the optical block 961 forms an optical image of the subject on the imaging surface of the imaging unit 962.
  • the imaging unit 962 is configured using a CCD or CMOS image sensor, generates an electrical signal corresponding to the optical image by photoelectric conversion, and supplies the electrical signal to the camera signal processing unit 963.
  • the camera signal processing unit 963 performs various camera signal processing such as knee correction, gamma correction, and color correction on the electrical signal supplied from the imaging unit 962.
  • the camera signal processing unit 963 supplies the image data after the camera signal processing to the image data processing unit 964.
  • the image data processing unit 964 performs an encoding process on the image data supplied from the camera signal processing unit 963.
  • the image data processing unit 964 supplies the encoded data generated by performing the encoding process to the external interface unit 966 and the media drive 968. Further, the image data processing unit 964 performs a decoding process on the encoded data supplied from the external interface unit 966 and the media drive 968.
  • the image data processing unit 964 supplies the image data generated by performing the decoding process to the display unit 965. Further, the image data processing unit 964 superimposes the processing for supplying the image data supplied from the camera signal processing unit 963 to the display unit 965 and the display data acquired from the OSD unit 969 on the image data. To supply.
  • the OSD unit 969 generates display data such as a menu screen and icons made up of symbols, characters, or figures and outputs them to the image data processing unit 964.
  • the external interface unit 966 includes, for example, a USB input / output terminal, and is connected to a printer when printing an image.
  • a drive is connected to the external interface unit 966 as necessary, a removable medium such as a magnetic disk or an optical disk is appropriately mounted, and a computer program read from them is installed as necessary.
  • the external interface unit 966 has a network interface connected to a predetermined network such as a LAN or the Internet.
  • the control unit 970 reads the encoded data from the memory unit 967 in accordance with an instruction from the user interface unit 971, and supplies the encoded data to the other device connected via the network from the external interface unit 966. it can.
  • the control unit 970 may acquire encoded data and image data supplied from another device via the network via the external interface unit 966 and supply the acquired data to the image data processing unit 964. it can.
  • any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory is used.
  • the recording medium may be any type of removable medium, and may be a tape device, a disk, or a memory card. Of course, a non-contact IC card or the like may be used.
  • media drive 968 and the recording medium may be integrated and configured by a non-portable storage medium such as a built-in hard disk drive or an SSD (Solid State Drive).
  • a non-portable storage medium such as a built-in hard disk drive or an SSD (Solid State Drive).
  • the control unit 970 is configured using a CPU, a memory, and the like.
  • the memory stores programs executed by the CPU, various data necessary for the CPU to perform processing, and the like.
  • the program stored in the memory is read and executed by the CPU at a predetermined timing such as when the imaging device 960 is activated.
  • the CPU executes the program to control each unit so that the imaging device 960 operates according to the user operation.
  • the image data processing unit 964 is provided with the function of the decoding apparatus (decoding method) of the present application. For this reason, when decoding the encoded data recorded in the memory unit 967 or the recording medium to generate decoded image data, the multi-viewpoint image is decoded by a method compatible with the existing method. It can be carried out.

Abstract

本技術は、多視点の画像に対して、既存の方式との互換性を有する方式で符号化や復号を行うことができるようにする符号化装置および符号化方法、並びに復号装置および復号方法に関する。 互換用エンコーダは、互換画像である画像Ａ１を符号化して、互換ストリームを生成する。画像変換部は、補助画像である画像Ｂ１と画像Ｃ１の解像度を変換する。補助用エンコーダは、解像度が変換された補助画像を符号化して、補助画像の符号化ストリームを生成する。互換情報生成部は、互換画像として画像Ａ１を指定する情報を互換情報として生成する。多重化部は、互換ストリームと、補助画像の符号化ストリームと、互換情報とを伝送する。本技術は、例えば、多視点方式の３Ｄ画像を符号化する符号化装置に適用することができる。

Description

符号化装置および符号化方法、並びに復号装置および復号方法
　本技術は、符号化装置および符号化方法、並びに復号装置および復号方法に関し、特に、多視点の画像に対して、既存の方式との互換性を有する方式で符号化や復号を行うことができるようにした符号化装置および符号化方法、並びに復号装置および復号方法に関する。
　現在、３Ｄ画像の視聴方式としては、２視点の画像のうちの一方の画像の表示時に左目用のシャッタが開き、他方の画像の表示時に右目用のシャッタが開くメガネを装着して、交互に表示される２視点の画像を見る方式（以下、２視点方式という）が一般的である。
　しかしながら、このような２視点方式では、視聴者は、３Ｄ画像の表示装置とは別にメガネを購入する必要があり、視聴者の購買意欲は低下する。また、視聴者は、視聴時にメガネを装着する必要があるため、煩わしい。従って、メガネを装着せずに３Ｄ画像を視聴可能な視聴方式（以下、多視点方式という）の需要が高まっている。
　多視点方式では、多視点の画像が、視点ごとに視認可能な角度が異なるように表示され、視聴者が、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　多視点方式の視聴を提供する表示装置は、例えば、２視点方式用の２視点の画像から多視点方式用の多視点の画像を生成し、表示する。具体的には、表示装置は、画像の視差推定技術(Depth Estimation)を用いて、２視点方式用の２視点の画像の視差(depth)を求める。そして、表示装置は、２視点の画像の視差を利用した多視点画像の生成技術（View Generation)および合成技術(View Synthesis)を用いて、２視点方式用の２視点の画像に対応する視点に隣接する多視点の画像の合成画像を生成し、表示する。
　ところで、既存の符号化方式としては、AVC（Advanced Video Coding）やMVC（Multiview Video Coding）方式がある。
　図１は、２Ｄ画像をAVC方式で符号化し、復号する画像処理システムの一例を示す図である。
　図１の画像処理システム１０は、撮影部１１、AVCエンコーダ１２、およびAVCデコーダ１３により構成される。
　画像処理システム１０の撮影部１１は、所定の視点の画像Ａを撮影し、AVCエンコーダ１２に供給する。AVCエンコーダ１２は、撮影部１１から供給される画像ＡをAVC方式で符号化し、AVCデコーダ１３に供給する。AVCデコーダ１３は、AVCエンコーダ１２から供給される符号化後の画像Ａを、AVC方式に対応する方式で復号する。AVCデコーダ１３は、復号の結果得られる画像Ａを出力して表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。
　図２は、２視点の画像をAVC方式で符号化し、復号する画像処理システムの一例を示す図である。
　図２の画像処理システム２０は、撮影部２１Ａ、撮影部２１Ｂ、AVCエンコーダ２２、およびAVCデコーダ２３により構成される。
　撮影部２１Ａは、所定の視点の画像Ａを撮影して解像度を半分にし、画面の左半分の画像としてAVCエンコーダ２２に供給する。また、撮影部２１Ｂは、画像Ａとは異なる視点の画像Ｂを撮影して解像度を半分にし、画面の右半分の画像としてAVCエンコーダ２２に供給する。AVCエンコーダ２２は、左半分が、解像度が半分にされた画像Ａ（以下、1/2解像度画像Ａという）からなり、右半分が、解像度が半分にされた画像Ｂ（以下、1/2解像度画像Ｂという）からなる画像を、AVC方式で符号化し、AVCデコーダ２３に供給する。
　AVCデコーダ２３は、AVCエンコーダ２２から供給される符号化後の画像を、AVC方式に対応する方式で復号する。AVCデコーダ２３は、復号の結果得られる画像を出力し、1/2解像度画像Ａと1/2解像度画像Ｂを交互に表示させる。このとき、視聴者は、例えば1/2解像度画像Ａの表示時に左目用のシャッタが開き、1/2解像度画像Ｂの表示時に右目用のシャッタが開くメガネを装着し、1/2解像度画像Ａを左目だけで見て、1/2解像度画像Ｂを右目だけで見る。これにより、視聴者は、３Ｄ画像を見ることができる。
　図３は、２視点の画像をMVC方式で符号化し、復号する画像処理システムの一例を示す図である。
　図３の画像処理システム３０は、撮影部３１Ａ、撮影部３１Ｂ、MVCエンコーダ３２、およびMVCデコーダ３３により構成される。
　撮影部３１Ａは、所定の視点の画像Ａを撮影してMVCエンコーダ３２に供給する。また、撮影部３１Ｂは、画像Ａとは異なる視点の画像Ｂを撮影してMVCエンコーダ３２に供給する。MVCエンコーダ３２は、撮影部３１Ａから供給される画像Ａをベース画像としてAVC方式で符号化し、撮影部３１Ｂから供給される画像Ｂをディペンデント画像としてMVC方式で符号化する。MVCエンコーダ３２は、符号化後の画像Ａおよび画像ＢをMVCデコーダ３３に供給する。
　MVCデコーダ３３は、MVCエンコーダ３２から供給される符号化後の画像Ａおよび画像Ｂを、MVC方式に対応する方式で復号する。MVCデコーダ３３は、復号の結果得られる画像Ａと画像Ｂを出力して交互に表示させる。このとき、視聴者は、例えば画像Ａの表示時に左目のシャッタが開き、画像Ｂの表示時に右目のシャッタが開くメガネを装着し、画像Ａを左目だけで見て、画像Ｂを右目だけで見る。これにより、視聴者は、３Ｄ画像を見ることができる。
　図４は、２視点の画像をMVC方式で符号化し、復号して多視点の画像を生成する画像処理システムの一例を示す図である。
　図４の画像処理システム４０は、撮影部３１Ａ、撮影部３１Ｂ、MVCエンコーダ３２、MVCデコーダ３３、視差検出部４１、および画像生成部４２により構成される。なお、図４において、図３と同一のものには同一の符号を付してあり、説明は適宜省略する。
　画像処理システム４０の視差検出部４１には、MVCデコーダ３３による復号の結果得られる画像Ａおよび画像Ｂが供給される。視差検出部４１は、その画像Ａおよび画像Ｂを用いて、画像Ａおよび画像Ｂの各画素の視差を検出する。そして、視差検出部４１は、画像Ａの各画素の視差を表す視差画像Ａ’と、画像Ｂの各画素の視差を表す視差画像Ｂ’を生成し、画像生成部４２に供給する。画像生成部４２は、MVCデコーダ３３による復号の結果得られる画像Ａおよび画像Ｂ、並びに、画像生成部４２から供給される視差画像Ａ’および視差画像Ｂ’を用いて、図示せぬ表示装置に対応する視点数の多視点の画像を生成する。そして、画像生成部４２は、生成された各視点の画像の解像度を1/視点数の解像度に変換して合成し、出力して表示させる。
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　一方、多視点の画像を符号化する方式も考案されている（例えば、特許文献１参照）。
特開２００８－１８２６６９号公報
　しかしながら、多視点の画像を符号化する方式であって、既存の２視点以下の画像の符号化方式との互換性を有する方式はなかった。
　本技術は、このような状況に鑑みてなされたものであり、多視点の画像に対して、既存の方式との互換性を有する方式で符号化や復号を行うことができるようにするものである。
　本技術の第１の側面の符号化装置は、多視点の画像から互換画像を指定し、指定した前記互換画像を符号化して、第１の符号化ストリームを生成する互換画像符号化部と、前記互換画像から多視点画像を生成する際に用いる補助画像の解像度を変換する画像変換部と、前記画像変換部により変換された前記補助画像を符号化して、第２の符号化ストリームを生成する補助画像符号化部と、前記互換画像を指定する互換画像指定情報を設定する設定部と、前記互換画像符号化部により生成された前記第１の符号化ストリームと、前記補助画像符号化部により生成された前記第２の符号化ストリームと、前記設定部により設定された前記互換画像指定情報とを伝送する伝送部とを備える符号化装置である。
　本技術の第１の側面の符号化方法は、本技術の第１の側面の符号化装置に対応する。
　本技術の第１の側面においては、多視点の画像から互換画像が指定され、指定された前記互換画像が符号化されて、第１の符号化ストリームが生成され、前記互換画像から多視点画像を生成する際に用いる補助画像の解像度が変換され、解像度が変換された前記補助画像が符号化されて、第２の符号化ストリームが生成され、前記互換画像を指定する互換画像指定情報が設定され、前記第１の符号化ストリームと前記第２の符号化ストリームと前記互換画像指定情報とが伝送される。
　本技術の第２の側面の復号装置は、多視点の画像から指定された互換画像が符号化された結果得られる第１の符号化ストリームと、前記互換画像から多視点画像を生成する際に用いる補助画像の解像度が変換され、符号化された結果得られる第２の符号化ストリームと、前記互換画像を指定する互換画像指定情報とを受け取る受け取り部と、前記互換画像指定情報に基づいて前記第１の符号化ストリームを識別し、前記第１の符号化ストリームを復号する互換画像復号部と、前記第２の符号化ストリームを復号する補助画像復号部と、前記補助画像復号部による復号の結果得られる解像度が変換された前記補助画像の解像度を変換する画像変換部とを備える復号装置である。
　本技術の第２の側面の復号方法は、本技術の第２の側面の復号装置に対応する。
　本技術の第２の側面においては、多視点の画像から指定された互換画像が符号化された結果得られる第１の符号化ストリームと、前記互換画像から多視点画像を生成する際に用いる補助画像の解像度が変換され、符号化された結果得られる第２の符号化ストリームと、前記互換画像を指定する互換画像指定情報とが受け取られ、前記互換画像指定情報に基づいて前記第１の符号化ストリームが識別されて、前記第１の符号化ストリームが復号され、前記第２の符号化ストリームが復号され、復号の結果得られる解像度が変換された前記補助画像の解像度が変換される。
　なお、第１の側面の符号化装置および第２の側面の復号装置は、コンピュータにプログラムを実行させることにより実現することができる。
　また、第１の側面の符号化装置および第２の側面の復号装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本技術の第１の側面によれば、多視点の画像に対して、既存の方式との互換性を有する方式で符号化を行うことができる。
　また、本技術の第２の側面によれば、多視点の画像に対して、既存の方式との互換性を有する方式で復号を行うことができる。
２Ｄ画像をAVC方式で符号化し、復号する画像処理システムの一例を示す図である。 ２視点の画像をAVC方式で符号化し、復号する画像処理システムの一例を示す図である。 ２視点の画像をMVC方式で符号化し、復号する画像処理システムの一例を示す図である。 ２視点の画像をMVC方式で符号化し、復号して多視点の画像を生成する画像処理システムの一例を示す図である。 本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。 互換情報と視差画像情報の記述例を示す図である。 互換情報の詳細記述例を示す図である。 視差画像情報の詳細記述例を示す図である。 視点間距離情報の記述例を示す図である。 図５の符号化装置による符号化処理を説明するフローチャートである。 図５の符号化装置による符号化処理を説明するフローチャートである。 図５の符号化装置に対応する復号装置の構成例を示す図である。 図１２の復号装置による復号処理を説明するフローチャートである。 本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。 図１４の符号化装置による符号化処理を説明するフローチャートである。 図１４の符号化装置による符号化処理を説明するフローチャートである。 図１４の符号化装置に対応する復号装置の構成例を示す図である。 図１７の復号装置による復号処理を説明するフローチャートである。 本技術を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。 図１９の符号化装置による符号化処理を説明するフローチャートである。 図１９の符号化装置による符号化処理を説明するフローチャートである。 図１９の符号化装置に対応する復号装置の構成例を示す図である。 図２２の復号装置による復号処理を説明するフローチャートである。 互換情報および視差画像情報の他の記述例を示す図である。 互換情報の他の詳細記述例を示す図である。 視差画像情報の他の詳細記述例を示す図である。 視点間距離情報の他の記述例を示す図である。 本技術を適用した符号化装置の第４実施の形態の構成例を示すブロック図である。 視差画像情報のさらに他の記述例を示す図である。 図２８の符号化装置による符号化処理を説明するフローチャートである。 図２８の符号化装置による符号化処理を説明するフローチャートである。 図２８の符号化装置に対応する復号装置の構成例を示す図である。 図３２の復号装置による復号処理を説明するフローチャートである。 視差画像情報のさらに他の記述例を示す図である。 本技術を適用した符号化装置の第５実施の形態の構成例を示すブロック図である。 視差画像情報の詳細記述例を示す図である。 視差画像情報の詳細記述例を示す図である。 図３５の符号化装置による符号化処理を説明するフローチャートである。 図３５の符号化装置による符号化処理を説明するフローチャートである。 図３５の符号化装置に対応する復号装置の構成例を示す図である。 図４０の復号装置による復号処理を説明するフローチャートである。 本技術を適用した符号化装置の第６実施の形態の構成例を示すブロック図である。 図４２の符号化装置による符号化処理を説明するフローチャートである。 図４２の符号化装置による符号化処理を説明するフローチャートである。 図４２の符号化装置に対応する復号装置の構成例を示す図である。 図４５の復号装置による復号処理を説明するフローチャートである。 符号化対象の多重化パターンの例を示す図である。 多重化による効果の特徴を示す図である。 符号化対象の多重化パターンの他の例を示す図である。 符号化対象の多重化パターンのさらに他の例を示す図である。 本技術を適用した符号化装置の第７実施の形態の構成例を示すブロック図である。 図５１の符号化装置による符号化処理を説明するフローチャートである。 図５１の符号化装置による符号化処理を説明するフローチャートである。 図５１の符号化装置に対応する復号装置の構成例を示す図である。 図５４の復号装置による復号処理を説明するフローチャートである。 ビットストリームの構成例を示す図である。 図５６の視差画像用の3DV方式のSubset SPSの記述例を示す図である。 図５７の視差画像用拡張情報の記述例を示す図である。 図５７の視差画像用VUI拡張情報の記述例を示す図である。 3DV方式の符号化データのNALヘッダの記述例を示す図である。 図６０の視差画像用ヘッダ拡張情報の記述例を示す図である。 図５６の3DV方式のSEIの記述例を示す図である。 ビットストリームの他の構成例を示す図である。 図６３の画像用の3DV方式のSubset SPSの記述例を示す図である。 3DV方式がHEVC方式に準じた方式である場合のビットストリームの構成例を示す図である。 図６５のSPSの記述例を示す図である。 図６６のSubset SPSの記述例を示す図である。 図６７のSubset SPSのVUI情報の記述例を示す図である。 図６５の3DV方式のSEIの記述例を示す図である。 コンピュータの一実施の形態の構成例を示す図である。 本技術を適用したテレビジョン装置の概略構成を示す図である。 本技術を適用した携帯電話機の概略構成を示す図である。 本技術を適用した記録再生装置の概略構成を示す図である。 本技術を適用した撮像装置の概略構成を示す図である。
　＜第１実施の形態＞
　［符号化装置の第１実施の形態の構成例］
　図５は、本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。
　図５の符号化装置５０は、撮影部５１Ａ乃至５１Ｃ、画像変換部５２、視差画像生成部５３、画像情報生成部５４、互換情報生成部５５、視点間距離情報生成部５６、視差画像情報生成部５７、エンコーダ５８、および多重化部５９により構成される。
　符号化装置５０は、多視点の画像のうちの１視点の画像を２Ｄ画像として既存の符号化方式で符号化することにより、既存の２Ｄ画像を符号化する符号化装置との互換性を確保する。
　なお、以下では、多視点の画像のうちの、既存の符号化装置との互換性を確保するために既存の符号化方式で符号化される画像を互換画像といい、互換画像を用いて互換画像の視点数より多い視点の画像を生成するための画像を補助画像という。
　符号化装置５０において、撮影部５１Ａは、所定の視点のHD（High Definition）画像を画像Ａ１として撮影し、画像変換部５２、視差画像生成部５３、および視点間距離情報生成部５６に供給する。撮影部５１Ｂは、撮影部５１Ａから距離Δｄ１ＡＢだけ水平方向に離れた位置で、画像Ａ１とは異なる視点のHD画像を画像Ｂ１として撮影し、画像変換部５２、視差画像生成部５３、および視点間距離情報生成部５６に供給する。撮影部５１Ｃは、撮影部５１Ａから距離Δｄ１ＡＣだけ撮影部５１Ｂとは反対の水平方向に離れた位置で、画像Ａ１および画像Ｂ１とは異なる視点のHD画像を画像Ｃ１として撮影し、画像変換部５２、視差画像生成部５３、および視点間距離情報生成部５６に供給する。
　なお、画像Ｂ１と画像Ｃ１に対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置５０に対応する復号装置は、画像Ａ１乃至画像Ｃ１を用いて、画像Ｂ１および画像Ｃ１の視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。距離Δｄ１ＡＢと距離Δｄ１ＡＣは、固定であってもよいし、時間ごとに変化するようにしてもよい。
　画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される画像Ａ１を互換画像に決定する。画像変換部５２は、互換画像として画像Ａ１を指定する情報を互換情報生成部５５に供給する。そして、画像変換部５２は、互換画像である画像Ａ１をそのままエンコーダ５８に供給する。
　また、画像変換部５２は、画像Ａ１以外の画像Ｂ１および画像Ｃ１を補助画像とし、所定の多重化方式で多重化する。具体的には、例えば多重化方式がサイドバイサイド方式である場合、画像変換部５２（画像変換部）は、画像Ｂ１および画像Ｃ１の解像度を半分にする。そして、画像変換部５２（多重化部）は、解像度が半分にされた画像Ｂ１（以下、1/2解像度画像Ｂ１という）が画面の左半分の画像となり、解像度が半分にされた画像Ｃ１（以下、1/2解像度画像Ｃ１という）が画面の右半分の画像となるように、1/2解像度画像Ｂ１および1/2解像度画像Ｃ１を多重化する。画像変換部５２は、多重化の結果得られる多重化画像をエンコーダ５８に供給し、補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
　視差画像生成部５３は、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて、画像Ａ１乃至画像Ｃ１の各画素の視差を検出する。視差画像生成部５３は、互換画像である画像Ａ１の各画素の視差を表す視差画像Ａ１’を生成し、そのままエンコーダ５８に供給する。また、視差画像生成部５３（多重化部）は、補助画像である画像Ｂ１の各画素の視差を表す視差画像Ｂ１’と、補助画像である画像Ｃ１の各画素の視差を表す視差画像Ｃ１’を生成し、所定の多重化方式で多重化する。視差画像生成部５３は、その結果得られる多重化画像をエンコーダ５８に供給する。視差画像生成部５３は、補助画像の視差画像の多重化方式を示す情報を視差画像情報生成部５７に供給する。
　画像情報生成部５４は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを、互換画像および補助画像に関する情報である画像情報として生成し、エンコーダ５８に供給する。
　互換情報生成部５５（設定部）は、画像変換部５２から供給される情報に基づいて、互換画像を指定する情報、互換モードなどを、互換に関する情報である互換情報として生成し、エンコーダ５８に供給する。
　なお、互換モードとは、互換画像の符号化方法を表すモードである。互換モードとしては、例えば、１視点の互換画像をAVC方式で符号化する符号化方法を表すモノモード(mono)、２視点の互換画像を多重化し、AVC方式で符号化する符号化方法を表すフレームパッキングモード(frame packing)、２視点の互換画像をMVC方式で符号化する符号化方法を表すステレオモード(stereo)などがある。
　視点間距離情報生成部５６（設定部）は、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて、画像Ａ１乃至画像Ｃ１のうちの２枚の画像の視点間の距離（以下、視点間距離という）を検出する。例えば、視点間距離情報生成部５６は、撮影部５１Ａと撮影部５１Ｂの間の水平方向の距離Δｄ１ＡＢ、および、撮影部５１Ａと撮影部５１Ｃの間の水平方向の距離Δｄ１ＡＣを視点間距離として検出する。視点間距離情報生成部５６は、視点間距離を表す情報などを、視点間距離に関する情報である視点間距離情報として生成し、エンコーダ５８に供給する。
　視差画像情報生成部５７は、視差画像生成部５３から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などを、視差画像に関する情報である視差画像情報として生成し、エンコーダ５８に供給する。
　エンコーダ５８は、互換用エンコーダ６１と補助用エンコーダ６２により構成される。互換用エンコーダ６１（互換画像符号化部）は、画像変換部５２から供給される互換画像と補助画像の多重化画像から互換画像である画像Ａ１を指定し、画像Ａ１を既存のAVC方式で符号化して各種の情報を付加し、その結果得られる符号化ストリームを互換ストリーム（第１の符号化ストリーム）として多重化部５９に供給する。
　補助用エンコーダ６２（補助画像符号化部、視差画像符号化部）は、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。なお、補助用エンコーダ６２における符号化方式としては、AVC方式、MVC方式、MPEG2（Moving Picture Experts Group phase 2）方式などを用いることができる。
　また、補助用エンコーダ６２は、符号化の結果得られる符号化画像（第２のストリーム、第１の視差符号化ストリーム、第２の視差符号化ストリーム）に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部５６からの視点間距離情報、および視差画像情報生成部５７からの視差画像情報などを付加して、符号化ストリームを生成する。補助用エンコーダ６２は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
　多重化部５９は、互換用エンコーダ６１から供給される互換ストリームと補助用エンコーダ６２から供給される補助ストリームから、それぞれＴＳ（Transport Stream）を生成し、多重化する。多重化部５９（伝送部）は、多重化の結果得られる多重化ストリームを送信する。
［補助ストリーム内の情報の記述例］
　図６乃至図８は、符号化方式としてAVC方式またはMVC方式が用いられた場合の補助ストリーム内の互換情報と視差画像情報の記述例を示す図である。
　図６に示すように、互換情報（3DV_view_structure）と視差画像情報(depth_map_structure)は、補助ストリーム内のSEI（Supplemental Enhancement Information）に配置される。
　互換情報（3DV_view_structure）としては、図７に示すように、符号化の対象となる画像の視点（view）の数(num_of_views)、互換モード(compatible mode)、互換画像を指定する情報(compatible_view)などが記述される。
　また、視差画像情報(depth_map_structure)としては、図８に示すように、視差画像（depth map）の数(num_of_depth_map)、視差画像が多重化されているかどうかを表すフラグ(is_frame_packing)、視差画像の多重化方式(frame_packing_mode)、多重化されている視差画像を指定する情報(comb_frame_packing_views)などが記述される。多重化方式としては、サイドバイサイド方式（SBS）、トップアンドボトム方式（TOB）などがある。トップアンドボトム方式とは、多重化される２枚の画像のうちの一方の画像が画面の上半分の画像とされ、他方の画像が画面の下半分の画像とされる方式である。
　なお、画像情報は、視差画像ではなく、互換画像および補助画像についての情報であること以外視差画像情報と同様であるので、図示は省略する。
　図９は、符号化方式としてAVC方式またはMVC方式が用いられた場合の補助ストリーム内の視点間距離情報の記述例を示す図である。
　図９に示すように、視点間距離情報（3DV_view_info）は、互換情報、視差画像情報、および画像情報と同様に、補助ストリーム内のSEIに配置される。
　視点間距離情報（3DV_view_info）としては、図９に示すように、符号化の対象となる画像の視点の数(num_of_views)、検出された視点間距離の数(num_of_view_distance)、視点間距離に対応する２枚の画像の組み合わせ(view[0,1])、その組み合わせに対応する視点間距離(view_distance[view_distance_id])などが記述される。
　［符号化装置の処理の説明］
　図１０および図１１は、図５の符号化装置５０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部５１Ａ乃至撮影部５１Ｃから画像Ａ１乃至画像Ｃ１が出力されたとき開始される。
　図１０のステップＳ１１において、視点間距離情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて、距離Δｄ１ＡＢと距離Δｄ１ＡＣを視点間距離として検出する。
　ステップＳ１２において、視点間距離情報生成部５６は、ステップＳ１１で検出された視点間距離を表す情報などを視点間距離情報として生成し、エンコーダ５８に入力する。
　ステップＳ１３において、画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される画像Ａ１を互換画像に決定し、補助画像の多重化方式を決定する。画像変換部５２は、互換画像として画像Ａ１を指定する情報を互換情報生成部５５に供給し、補助画像の多重化方式を画像情報生成部５４に供給する。
　ステップＳ１４において、互換情報生成部５５は、画像変換部５２から供給される情報に基づいて、互換画像として画像Ａ１を指定する情報、互換モードとしてのモノモードなどを互換情報として生成し、エンコーダ５８に入力する。
　ステップＳ１５において、画像情報生成部５４は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを画像情報として生成し、エンコーダ５８に入力する。
　ステップＳ１６において、画像変換部５２は、画像Ａ１以外の画像Ｂ１および画像Ｃ１を補助画像として、ステップＳ１３で決定された補助画像の多重化方式に基づいて補助画像を多重化し、補助画像の多重化画像を得る。
　ステップＳ１７において、画像変換部５２は、互換画像である画像Ａ１と補助画像の多重化画像をエンコーダ５８に入力する。
　図１１のステップＳ１８において、視差画像生成部５３は、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて画像Ａ１乃至画像Ｃ１の各画素の視差を検出し、視差画像Ａ１’乃至視差画像Ｃ１’を生成する。
　ステップＳ１９において、視差画像生成部５３は、補助画像の視差画像の多重化方式を決定し、その多重化方式を示す情報を視差画像情報生成部５７に供給する。
　ステップＳ２０において、視差画像情報生成部５７は、視差画像生成部５３から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などを、視差画像情報として生成し、エンコーダ５８に入力する。
　ステップＳ２１において、視差画像生成部５３は、ステップＳ１９で決定された補助画像の視差画像の多重化方式に基づいて、補助画像の視差画像を多重化し、補助画像の視差画像の多重化画像を得る。
　ステップＳ２２において、視差画像生成部５３は、互換画像の視差画像Ａ１'と補助画像の視差画像の多重化画像をエンコーダ５８に入力する。
　ステップＳ２３において、エンコーダ５８の互換用エンコーダ６１は、画像変換部５２から供給される互換画像である画像Ａ１を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
　ステップＳ２４において、補助用エンコーダ６２は、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。
　ステップＳ２５において、補助用エンコーダ６２は、ステップＳ２４の処理による符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部５６からの視点間距離情報、および視差画像情報生成部５７からの視差画像情報などを付加して、符号化ストリームを生成する。補助用エンコーダ６２は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
　ステップＳ２６において、多重化部５９は、互換用エンコーダ６１から供給される互換ストリームと、補助用エンコーダ６２から供給される補助ストリームから、それぞれＴＳを生成し、多重化して送信する。そして、処理は終了する。
　以上のように、符号化装置５０は、多視点の画像のうちの１視点の画像を互換画像とし、既存の符号化方式で符号化するので、既存の２Ｄ画像を符号化する符号化装置との互換性を確保することができる。即ち、符号化装置５０は、多視点の画像に対して、既存の符号化方式との互換性を有する方式で符号化を行うことができる。
　また、符号化装置５０は、３視点の画像Ａ１乃至Ｃ１を符号化するので、符号化装置５０に対応する復号装置は、３視点の画像Ａ１乃至Ｃ１から多視点の画像を生成することができる。これにより、復号装置は、２視点の画像から生成する場合に比べて、生成可能な画像の視点が限られず、また、より精度の高い多視点の画像を生成することができる。
　さらに、符号化装置５０は、補助画像の解像度を低解像度化して符号化するので、低解像度化せずに符号化する場合に比べて、符号化処理および復号処理の処理コストを軽減することができる。例えば、２視点の補助画像が低解像度化されずに符号化される場合、符号化処理や復号処理の処理コストは、２枚のＨＤ画像に対する符号化処理や復号処理の処理コストと等価であるが、符号化装置５０による２視点の補助画像に対する符号化処理の処理コストは、１枚のＨＤ画像に対する符号化処理や復号処理の処理コストと等価になる。その結果、復号装置における復号処理の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。
　なお、符号化装置５０に対応する復号装置は、後述するように、多視点の画像を合成する際、その多視点の画像の視点数の逆数倍に解像度を低下させるため、符号化装置５０による補助画像の低解像度化は、合成後の多視点の画像の画質に影響を与えない。
　また、符号化装置５０は、補助画像の解像度を半分にして符号化し、補助画像の視差画像を半分にして符号化するので、符号化対象の情報量は、AVC方式における4HD画像分（1080ix4)程度にすることができる。
　ここで、現在の多視点の画像を表示する表示装置と、それに伴う復号装置の処理速度、消費電力に対する処理パフォーマンス、伝送データレート、伝送帯域幅、メモリのバンド幅、メモリのアクセス速度などを総合的に鑑みると、復号装置で処理可能な情報量として妥当な値は、現状のMVC方式におけるHD画像分の2倍程度、即ちAVC方式における4HD画像分程度であると考えられる。従って、符号化対象の情報量がAVC方式における4HD画像分（1080ix4)程度である符号化装置５０に対応する復号装置（復号方法）は、妥当な処理コスト、合理的なアプローチで実現することができる。
　また、符号化装置５０では、符号化対象の情報量がAVC方式における4HD画像分（1080ix4)程度に削減されるので、使用可能な帯域に制限のあるBDや放送のアプリケーションで容易に扱うことができる。
　さらに、符号化装置５０は、視差画像を生成し、符号化ストリームに含めて送信するので、符号化装置５０に対応する復号装置は、多視点の画像を生成するために視差画像を生成する必要がなく、復号装置の処理の負荷を軽減することができる。その結果、復号装置のコストを低減することができる。また、復号装置の視差検出の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。
　本技術は、上述したような表示装置や復号装置の状況を鑑みて、妥当な処理コスト・合理的な実現手法を考慮した制約を前提にして、互換情報等の各種の情報を有効活用することにより、既存フォーマットとの互換性を確保しつつ、多視点画像の生成を効率的・高画質に実現することに主眼を置いている。
　［復号装置の構成例］
　図１２は、図５の符号化装置５０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
　図１２の復号装置１２０は、分離部１２１、デコーダ１２２、画像情報取得部１２３、視点間距離情報取得部１２４、視差画像情報取得部１２５、互換情報取得部１２６、および画像生成部１２７により構成される。復号装置１２０は、符号化装置５０から送信される多重化ストリームを復号して、１視点の画像または多視点の画像を生成し、図示せぬ表示装置に表示させる。
　具体的には、復号装置１２０の分離部１２１（受け取り部）は、符号化装置５０から送信されてくる多重化ストリームを受信し、ＴＳごとに分離する。分離部１２１は、分離されたＴＳから互換ストリームと補助ストリームを抽出し、デコーダ１２２に供給する。
　デコーダ１２２は、互換用デコーダ１３１と補助用デコーダ１３２により構成される。デコーダ１２２の互換用デコーダ１３１（互換画像復号部）は、補助用デコーダ１３２から供給される互換ストリームを特定するための情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。互換用デコーダ１３１は、互換ストリームに含まれる符号化された互換画像をAVC方式に対応する方式で復号し、その結果得られる画像Ａ１を画像生成部１２７に供給する。
　補助用デコーダ１３２は、分離部１２１から供給される補助ストリームに含まれる互換情報に基づいて、互換ストリームを特定するための情報を互換用デコーダ１３１に供給する。補助用デコーダ１３２は、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ１３２（補助画像復号部）は、分離部１２１から供給される補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を、図５の補助用エンコーダ６２に対応する方式で復号する。
　補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を画像生成部１２７に供給する。また、補助用デコーダ１３２は、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、視点間距離情報を視点間距離情報取得部１２４に供給する。さらに、補助用デコーダ１３２は、補助ストリームに含まれる視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
　画像情報取得部１２３は、補助用デコーダ１３２から供給される画像情報を取得し、画像生成部１２７に供給する。視点間距離情報取得部１２４は、補助用デコーダ１３２から供給される視点間距離情報を取得し、画像生成部１２７に供給する。
　視差画像情報取得部１２５は、補助用デコーダ１３２から供給される視差画像情報を取得し、画像生成部１２７に供給する。互換情報取得部１２６は、補助用デコーダ１３２から供給される互換情報を取得し、画像生成部１２７に供給する。
　画像生成部１２７は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。具体的には、画像生成部１２７（生成部）は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
　より詳細には、画像生成部１２７（分離部）は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。また、画像生成部１２７は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。
　さらに、画像生成部１２７は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部１２７は、互換画像、各補助画像、互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部１２７は、生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　また、画像生成部１２７は、視聴者からの２Ｄ画像の表示指令に応じて、デコーダ１２２の互換用デコーダ１３１から供給される互換画像である画像Ａ１を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。
　［復号装置の処理の説明］
　図１３は、図１２の復号装置１２０による復号処理を説明するフローチャートである。この復号処理は、例えば、図５の符号化装置５０から送信される多重化ストリームが復号装置１２０に入力されたとき、開始される。
　図１３のステップＳ３１において、復号装置１２０の分離部１２１は、符号化装置５０から送信されてくる多重化ストリームを受信し、ＴＳごとに分離する。分離部１２１は、分離されたＴＳから互換ストリームと補助ストリームを抽出し、デコーダ１２２に供給する。デコーダ１２２の補助用デコーダ１３２は、分離部１２１から供給される補助ストリームに含まれる互換情報に基づいて、互換ストリームを特定するための情報を互換用デコーダ１３１に供給する。
　ステップＳ３２において、互換用デコーダ１３１は、補助用デコーダ１３２から供給される互換ストリームを特定するための情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。
　ステップＳ３３において、互換用デコーダ１３１は、互換ストリームに含まれる互換画像をAVC方式に対応する方式で復号し、その結果得られる画像Ａ１を画像生成部１２７に供給する。
　ステップＳ３４において、画像生成部１２７は、視聴者から２Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ３４で視聴者から２Ｄ画像の表示が指令されていないと判定された場合、即ち視聴者から多視点方式の３Ｄ画像の表示が指令された場合、補助用デコーダ１３２は、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうちの補助ストリームを識別する。
　そして、ステップＳ３５において、補助用デコーダ１３２は、補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を、図５の補助用エンコーダ６２に対応する方式で復号する。補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を画像生成部１２７に供給する。また、補助用デコーダ１３２は、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、視点間距離情報を視点間距離情報取得部１２４に供給する。さらに、補助用デコーダ１３２は、補助ストリームに含まれる視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
　ステップＳ３６において、画像情報取得部１２３は、補助用デコーダ１３２から供給される画像情報を取得し、画像生成部１２７に入力する。ステップＳ３７において、視点間距離情報取得部１２４は、補助用デコーダ１３２から供給される視点間距離情報を取得し、画像生成部１２７に入力する。
　ステップＳ３８において、視差画像情報取得部１２５は、補助用デコーダ１３２から供給される視差画像情報を取得し、画像生成部１２７に入力する。ステップＳ３９において、互換情報取得部１２６は、補助用デコーダ１３２から供給される互換情報を取得し、画像生成部１２７に入力する。
　ステップＳ４０において、画像生成部１２７は、視点間距離情報取得部１２４からの視点間距離情報と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。例えば、視点間距離情報に含まれる視点間距離が狭い場合には、画像生成部１２７は、画像Ｂ１と画像Ｃ１の視点より外側の視点の位置も、生成する多視点の３Ｄ画像の視点の位置に決定する。一方、視点間距離情報に含まれる視点間距離が広い場合には、画像生成部１２７は、画像Ｂ１と画像Ｃ１の視点より内側の視点の位置のみを、生成する多視点の３Ｄ画像の視点の位置として決定する。
　ステップＳ４１において、画像生成部１２７は、ステップＳ４０で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。
　ステップＳ４２において、画像生成部１２７は、ステップＳ４１で生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換し、変換後の各視点の画像を視点の位置に基づいて合成する。
　ステップＳ４３において、画像生成部１２７は、ステップＳ４２の処理により得られる合成後の多視点の画像を図示せぬ表示装置に出力し、視点ごとに視認可能な角度が異なるように表示させる。そして、処理は終了する。
　一方、ステップＳ３４で視聴者から２Ｄ画像の表示が指令されたと判定された場合、ステップＳ４４において、画像生成部１２７は、互換用デコーダ１３１から供給される互換画像である画像Ａ１を図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
　なお、復号装置１２０との互換性を有する互換ストリームのみを復号可能な復号装置では、補助ストリームのＴＳは無視され、ステップＳ３３およびＳ４４の処理のみが行われる。
　以上のように、復号装置１２０は、符号化装置５０により既存の方式との互換性を有する方式で符号化された互換ストリームと補助ストリームを復号することができる。
　また、復号装置１２０は、１視点の互換画像と２視点の補助画像を用いて多視点の画像を生成するので、符号化装置５０は、多視点の画像を生成するための撮影部として、既存の１視点の互換画像を撮影する撮影部５１Ａのほかに、２台の撮影部５１Ｂと撮影部５１Ｃのみを用意するだけでよい。従って、多視点の画像を生成するための撮影部の設置を容易に、かつ、低コストで行うことができる。
　＜第２実施の形態＞
　［符号化装置の第２実施の形態の構成例］
　図１４は、本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。
　図１４に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１４の符号化装置１４０の構成は、主に、撮影部５１Ａ乃至撮影部５１Ｃ、画像変換部５２、視差画像生成部５３、視点間距離情報生成部５６、エンコーダ５８の代わりに撮影部１４１Ａ乃至撮影部１４１Ｄ、画像変換部１４２、視差画像生成部１４３、視点間距離情報生成部１４４、エンコーダ１４５が設けられている点が図５の構成と異なる。
　符号化装置１４０は、多視点の画像のうちの２視点の画像を互換画像としてAVC方式で符号化を行うことにより、既存の２視点方式の３Ｄ画像を符号化する符号化装置との互換性を確保する。
　具体的には、符号化装置１４０の撮影部１４１Ａは、所定の視点のHD画像を画像Ａ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。撮影部１４１Ｂは、撮影部１４１Ａから距離Δｄ２ＡＢだけ水平方向に離れた位置で、画像Ａ２とは異なる視点のHD画像を画像Ｂ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。
　撮影部１４１Ｃは、撮影部１４１Ｂから距離Δｄ２ＢＣだけ撮影部１４１Ａとは反対の水平方向に離れた位置で、画像Ａ２および画像Ｂ２とは異なる視点のHD画像を画像Ｃ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。撮影部１４１Ｄは、撮影部１４１Ａから距離Δｄ２ＡＤだけ撮影部１４１Ｂとは反対の水平方向に離れた位置で、画像Ａ２乃至画像Ｃ２とは異なる視点のHD画像を画像Ｄ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。
　なお、画像Ｃ２と画像Ｄ２に対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置１４０に対応する復号装置は、画像Ａ２乃至画像Ｄ２を用いて、画像Ｃ２および画像Ｄ２の視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。距離Δｄ２ＡＢ、距離Δｄ２ＢＣ、および距離Δｄ２ＡＤは、固定であってもよいし、時間ごとに変化するようにしてもよい。
　画像変換部１４２は、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定する。そして、画像変換部１４２は、互換画像である画像Ａ２および画像Ｂ２を所定の多重化方式で多重化し、エンコーダ１４５に供給する。また、画像変換部１４２は、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給する。
　また、画像変換部１４２は、画像Ａ２および画像Ｂ２以外の画像Ｃ２および画像Ｄ２を補助画像とし、所定の多重化方式で多重化する。画像変換部１４２は、多重化の結果得られる多重化画像をエンコーダ１４５に供給する。画像変換部１４２は、互換画像と補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
　視差画像生成部１４３は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２乃至画像Ｄ２の各画素の視差を検出する。視差画像生成部１４３は、互換画像である画像Ａ２の各画素の視差を表す視差画像Ａ２’と、画像Ｂ２の各画素の視差を表す視差画像Ｂ２’を生成し、所定の多重化方式で多重化する。視差画像生成部１４３は、その結果得られる多重化画像をエンコーダ１４５に供給する。
　また、視差画像生成部１４３は、補助画像である画像Ｃ２の各画素の視差を表す視差画像Ｃ２’と、補助画像である画像Ｄ２の各画素の視差を表す視差画像Ｄ２’を生成し、所定の多重化方式で多重化する。視差画像生成部１４３は、その結果得られる多重化画像をエンコーダ１４５に供給する。視差画像生成部１４３は、互換画像および補助画像の視差画像の多重化方式を示す情報を視差画像情報生成部５７に供給する。
　視点間距離情報生成部１４４は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２乃至画像Ｄ２の視点間距離を検出する。例えば、視点間距離情報生成部１４４は、撮影部１４１Ａと撮影部１４１Ｂの間の水平方向の距離Δｄ２ＡＢ、撮影部１４１Ｂと撮影部１４１Ｃの間の水平方向の距離Δｄ２ＢＣ、撮影部１４１Ａと撮影部１４１Ｄの間の水平方向の距離Δｄ２ＡＤを視点間距離として検出する。視点間距離情報生成部１４４は、視点間距離を表す情報などを視点間距離情報として生成し、エンコーダ１４５に供給する。
　エンコーダ１４５は、互換用エンコーダ１５１と補助用エンコーダ１５２により構成される。互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像と補助画像の多重化画像から互換画像の多重化画像を指定し、既存のAVC方式で符号化して各種の情報を付加し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
　補助用エンコーダ１５２は、画像変換部１４２からの補助画像の多重化画像、並びに視差画像生成部１４３からの互換画像の視差画像の多重化画像および補助画像の視差画像の多重化画像を所定の方式で符号化する。なお、補助用エンコーダ１５２における符号化方式としては、例えば、AVC方式、MVC方式などを用いることができる。
　また、補助用エンコーダ１５２は、符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部１４４からの視点間距離情報、および視差画像情報生成部５７からの視差画像情報などを付加して、符号化ストリームを生成する。補助用エンコーダ１５２は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
　［符号化装置の処理の説明］
　図１５および図１６は、図１４の符号化装置１４０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
　図１５のステップＳ５１において、視点間距離情報生成部１４４は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、距離Δｄ２ＡＢ、距離Δｄ２ＢＣ、距離Δｄ２ＡＤを視点間距離として検出する。
　ステップＳ５２において、視点間距離情報生成部１４４は、ステップＳ５１で検出された視点間距離を表す情報などを視点間距離情報として生成し、エンコーダ１４５に入力する。
　ステップＳ５３において、画像変換部１４２は、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と、撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定し、互換画像および補助画像の多重化方式を決定する。画像変換部１４２は、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給し、互換画像および補助画像の多重化方式を画像情報生成部５４に供給する。
　ステップＳ５４において、互換情報生成部５５は、画像変換部１４２から供給される情報に基づいて、互換画像として画像Ａ２および画像Ｂ２を指定する情報、互換モードとしてのフレームパッキングモードなどを互換情報として生成し、エンコーダ１４５に入力する。
　ステップＳ５５において、画像変換部１４２は、ステップＳ５３で決定された互換画像の多重化方式に基づいて互換画像である画像Ａ２と画像Ｂ２を多重化し、エンコーダ１４５に供給する。
　ステップＳ５６において、画像情報生成部５４は、画像変換部１４２から供給される情報に基づいて、互換画像および補助画像の多重化方式を示す情報などを画像情報として生成し、エンコーダ１４５に入力する。
　ステップＳ５７において、画像変換部１４２は、画像Ａ２および画像Ｂ２以外の画像Ｃ２および画像Ｄ２を補助画像として、ステップＳ５３で決定された補助画像の多重化方式に基づいて補助画像を多重化し、補助画像の多重化画像を得る。
　ステップＳ５８において、画像変換部１４２は、互換画像の多重化画像と補助画像の多重化画像をエンコーダ１４５に入力する。
　図１６のステップＳ５９において、視差画像生成部１４３は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて画像Ａ２乃至画像Ｄ２の各画素の視差を検出し、視差画像Ａ２’乃至視差画像Ｄ２’を生成する。
　ステップＳ６０において、視差画像生成部１４３は、互換画像の視差画像と補助画像の視差画像の多重化方式を決定し、その多重化方式を示す情報を視差画像情報生成部５７に供給する。
　ステップＳ６１において、視差画像情報生成部５７は、視差画像生成部１４３から供給される情報に基づいて、互換画像の視差画像と補助画像の視差画像の多重化方式を示す情報などを、視差画像情報として生成し、エンコーダ１４５に入力する。
　ステップＳ６２において、視差画像生成部１４３は、ステップＳ６０で決定された互換画像の視差画像の多重化方式に基づいて、互換画像の視差画像Ａ２’と視差画像Ｂ２’を多重化し、補助画像の視差画像の多重化方式に基づいて補助画像の視差画像Ｃ２’と視差画像Ｄ２’を多重化する。
　ステップＳ６３において、視差画像生成部１４３は、ステップＳ６２の多重化の結果得られる互換画像の視差画像の多重化画像と補助画像の視差画像の多重化画像をエンコーダ１４５に入力する。
　ステップＳ６４において、エンコーダ１４５の互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
　ステップＳ６５において、補助用エンコーダ１５２は、画像変換部１４２からの補助画像の多重化画像、並びに、視差画像生成部５３からの互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を所定の方式で符号化する。そして、処理はステップＳ６６に進む。
　ステップＳ６６およびＳ６７の処理は、図１１のステップＳ２５およびＳ２６の処理と同様であるので、説明は省略する。
　以上のように、符号化装置１４０は、多視点の画像のうちの２視点の画像を互換画像とし、既存の符号化方式で符号化するので、既存の２視点方式の３Ｄ画像を符号化する符号化装置との互換性を確保することができる。
　また、符号化装置１４０は、４視点の画像Ａ２乃至Ｄ２を符号化するので、符号化装置１４０に対応する復号装置は、４視点の画像Ａ２乃至Ｄ２から多視点の画像を生成することができる。これにより、復号装置は、２視点の画像から生成する場合に比べて、生成可能な画像の視点が限られず、また、より精度の高い多視点の画像を生成することができる。
　［復号装置の構成例］　図１７は、図１４の符号化装置１４０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
　図１７に示す構成のうち、図１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１７の復号装置１７０の構成は、主に、画像生成部１２７の代わりに画像生成部１７１が設けられている点が図１２の構成と異なる。復号装置１７０は、符号化装置１４０から送信される多重化ストリームを復号して、２視点の画像または多視点の画像を生成し、図示せぬ表示装置に表示させる。
　具体的には、復号装置１７０の画像生成部１７１は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部１７１は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
　より詳細には、画像生成部１７１は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。また、画像生成部１７１は、視差画像情報に含まれる互換画像の視差画像の多重化方式を示す情報に基づいて、互換画像の視差画像の多重化画像から、各互換画像の視差画像を分離する。
　さらに、画像生成部１７１は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。また、画像生成部１７１は、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
　また、画像生成部１７１は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部１７１は、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部１７１は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　また、画像生成部１７１は、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ１２２から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部１７１は、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
　［復号装置の処理の説明］
　図１８は、図１７の復号装置１７０による復号処理を説明するフローチャートである。この復号処理は、例えば、図１４の符号化装置１４０から送信される多重化ストリームが復号装置１７０に入力されたとき、開始される。
　図１８のステップＳ８１乃至Ｓ８３の処理は、図１３のステップＳ３１乃至Ｓ３３の処理と同様であるので、説明は省略する。
　ステップＳ８３の処理後、ステップＳ８４において、画像生成部１７１は、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ８４で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ８５に進む。ステップＳ８５乃至Ｓ９３の処理は、図１３のステップＳ３５乃至Ｓ４３の処理と同様であり、説明は省略する。
　一方、ステップＳ８４で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、処理はステップＳ９４に進む。
　ステップＳ９４において、画像生成部１７１は、画像情報取得部１２３から供給される画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換用デコーダ１３１による復号の結果得られる互換画像の多重化画像を分離する。
　ステップＳ９５において、画像生成部１７１は、分離された互換画像の解像度の半分の解像度の互換画像である画像Ａ２および画像Ｂ２を、交互に図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
　なお、復号装置１７０との互換性を有する互換ストリームのみを復号可能な復号装置では、補助ストリームのＴＳは無視され、ステップＳ８３，Ｓ９４、およびＳ９５の処理のみが行われる。但し、この場合、ステップＳ９４の処理では、画像情報に含まれる互換画像の多重化方式ではなく、予め決められた互換画像の多重化方式に基づいて互換画像の多重化画像が分離される。
　以上のように、復号装置１７０は、符号化装置１４０により既存の方式との互換性を有する方式で符号化された互換ストリームと補助ストリームを復号することができる。
　また、復号装置１７０は、２視点の互換画像と２視点の補助画像を用いて多視点の画像を生成するので、符号化装置１４０は、多視点の画像を生成するための撮影部として、既存の２視点の互換画像を撮影する撮影部１４１Ａおよび撮影部１４１Ｂのほかに、２台の撮影部１４１Ｃと撮影部１４１Ｄのみを用意するだけでよい。従って、多視点の画像を生成するための撮影部の設置を容易に、かつ、低コストで行うことができる。
　＜第３実施の形態＞
　［符号化装置の第３実施の形態の構成例］
　図１９は、本技術を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。
　図１９に示す構成のうち、図５や図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１９の符号化装置１８０の構成は、主に、画像変換部１４２、エンコーダ１４５の代わりに画像変換部１８１、エンコーダ１８２が設けられている点が図１４の構成と異なる。符号化装置１８０は、多視点の画像のうちの２視点の画像を互換画像として、MVC方式で符号化を行うことにより、既存の２視点方式の３Ｄ画像を符号化する符号化装置との互換性を確保する。
　具体的には、符号化装置１８０の画像変換部１８１は、図１４の画像変換部１４２と同様に、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定する。そして、画像変換部１８１は、互換画像である画像Ａ２および画像Ｂ２を、そのままエンコーダ１８２に供給する。また、画像変換部１８１は、画像変換部１４２と同様に、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給する。
　また、画像変換部１８１は、画像変換部１４２と同様に、画像Ａ２および画像Ｂ２以外の画像Ｃ２および画像Ｄ２を補助画像とし、所定の多重化方式で多重化する。画像変換部１８１は、多重化の結果得られる多重化画像をエンコーダ１８２に供給し、補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
　エンコーダ１８２は、互換用エンコーダ１９１と補助用エンコーダ１５２により構成される。エンコーダ１８２の互換用エンコーダ１９１は、画像変換部１８１から供給される互換画像と補助画像の多重化画像から互換画像を指定し、互換画像のうちの画像Ａ２をベース画像として既存のAVC方式で符号化し、画像Ｂ２をディペンデント画像として既存のMVC方式で符号化する。互換用エンコーダ１９１は、その結果得られる符号化画像に各種の情報を付加して符号化ストリームを生成し、その符号化ストリームを互換ストリームとして多重化部５９に供給する。
　［符号化装置の処理の説明］
　図２０および図２１は、図１９の符号化装置１８０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
　図２０のステップＳ１１１およびＳ１１２の処理は、図１５のステップＳ５１およびＳ５２の処理と同様であるので、説明は省略する。
　ステップＳ１１２の処理後、ステップＳ１１３において、画像変換部１８１は、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と、撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定し、補助画像の多重化方式を決定する。画像変換部１８１は、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給し、補助画像の多重化方式を画像情報生成部５４に供給する。そして、処理はステップＳ１１４に進む。
　ステップＳ１１４乃至Ｓ１１７の処理は、図１０のステップＳ１４乃至Ｓ１７の処理と同様であるので、説明は省略する。ステップＳ１１８乃至Ｓ１２２の処理は、図１６のステップＳ５９乃至Ｓ６３の処理と同様であるので、説明は省略する。
　ステップＳ１２２の処理後、ステップＳ１２３において、エンコーダ１８２の互換用エンコーダ１９１は、画像変換部１８１から供給される互換画像のうちの画像Ａ２をベース画像として既存のAVC方式で符号化し、画像Ｂ２をディペンデント画像として既存のMVC方式で符号化する。互換用エンコーダ１９１は、その結果得られる符号化画像に各種の情報を付加して符号化ストリームを生成し、その符号化ストリームを互換ストリームとして多重化部５９に供給する。そして、処理はステップＳ１２４に進む。
　ステップＳ１２４乃至Ｓ１２６の処理は、図１６のステップＳ６５乃至Ｓ６７の処理と同様であるので、説明は省略する。
　以上のように、符号化装置１８０は、多視点の画像のうちの２視点の画像を互換画像とし、既存の符号化方式で符号化するので、既存の２視点方式の３Ｄ画像を符号化する符号化装置との互換性を確保することができる。
　［復号装置の構成例］
　図２２は、図１９の符号化装置１８０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
　図２２に示す構成のうち、図１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２２の復号装置２００の構成は、主に、デコーダ１２２、画像生成部１２７の代わりにデコーダ２０１、画像生成部２０２が設けられている点が図１２の構成と異なる。復号装置２００は、符号化装置１８０から送信される多重化ストリームを復号して、２視点の画像または多視点の画像を生成し、図示せぬ表示装置に表示させる。
　具体的には、復号装置２００のデコーダ２０１は、互換用デコーダ２１１と補助用デコーダ１３２により構成される。デコーダ２０１の互換用デコーダ２１１は、図１２の互換用デコーダ１３１と同様に、補助用デコーダ１３２から供給される互換ストリームを特定するための情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうちの互換ストリームを識別する。互換用デコーダ２１１は、互換ストリームに含まれる符号化された互換画像をMVC方式に対応する方式で復号し、その結果得られる画像Ａ２と画像Ｂ２を画像生成部２０２に供給する。
　画像生成部２０２は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部２０２は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
　より詳細には、画像生成部２０２は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。また、画像生成部２０２は、視差画像情報に含まれる互換画像の視差画像の多重化方式を示す情報に基づいて、互換画像の視差画像の多重化画像から、各互換画像の視差画像を分離する。
　さらに、画像生成部２０２は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。また、画像生成部２０２は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部２０２は、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部２０２は、画像生成部１２７と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　また、画像生成部２０２は、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、デコーダ１２２から供給される互換画像としての画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
　［復号装置の処理の説明］
　図２３は、図２２の復号装置２００による復号処理を説明するフローチャートである。この復号処理は、例えば、図１９の符号化装置１８０から送信される多重化ストリームが復号装置２００に入力されたとき、開始される。
　図２３のステップＳ１４１乃至Ｓ１５３の処理は、図１８のステップＳ８１乃至Ｓ９３の処理と同様であるので説明は省略する。
　ステップＳ１４４で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、処理はステップＳ１５４に進む。ステップＳ１５４において、画像生成部２０２は、互換用デコーダ２１１による復号の結果得られる互換画像である画像Ａ２および画像Ｂ２を、交互に図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
　なお、復号装置２００との互換性を有する互換ストリームのみを復号可能な復号装置では、補助ストリームのＴＳは無視され、ステップＳ１４３およびＳ１５４の処理のみが行われる。
　以上のように、復号装置２００は、符号化装置１８０により既存の方式との互換性を有する方式で符号化された互換ストリームと補助ストリームを復号することができる。
＜互換情報、視差画像情報、画像情報、および視点間距離情報の他の配置例＞
　上述した説明では、補助ストリームに、互換情報、視差画像情報、画像情報、および視点間距離情報が含まれたが、ＴＳに含まれるようにしてもよい。この場合、例えば、補助ストリームのＴＳのパケット内のPMT(Program Map Table)やSIT（Selection Information Table）のディスクリプタに互換情報、視差画像情報、画像情報、および視点間距離情報が記述される。
　図２４乃至図２６は、互換情報、視差画像情報、画像情報、および視点間距離情報がPMTのディスクリプタに記述される場合の互換情報および視差画像情報の記述例を示す図である。
　図２４に示すように、互換情報および視差画像情報がPMTのディスクリプタに記述される場合、PMTのディスクリプタとして、互換情報が配置されるディスクリプタ（3DV_view_structure_descriptor）、視差画像情報が配置されるディスクリプタ（depth_map_structure_descriptor）が設けられる。
　そして、ディスクリプタ（3DV_view_structure_descriptor）には、図２５に示すように、ディスクリプタタグ(descriptor_tag)、ディスクリプタ長(descriptor_length)に続いて、互換情報として、符号化の対象となる画像の視点の数(num_of_views)、互換モード(compatible mode)、互換画像を指定する情報(compatible_view)などが記述される。
　また、ディスクリプタ（depth_map_structure_descriptor）には、図２６に示すように、ディスクリプタタグ、ディスクリプタ長に続いて、視差画像情報として、視差画像の数(num_of_depth_map)、視差画像が多重化されているかどうかを表すフラグ(is_frame_packing)、視差画像の多重化方式(frame_packing_mode)、多重化されている視差画像を指定する情報(comb_frame_packing_views)などが記述される。
　なお、画像情報は、視差画像ではなく、互換画像および補助画像についての情報であること以外視差画像情報と同様であるので、図示は省略する。
　図２７は、互換情報、視差画像情報、画像情報、および視点間距離情報がPMTのディスクリプタに記述される場合の視点間距離情報の記述例を示す図である。
　図２７に示すように、視点間距離情報がPMTのディスクリプタに記述される場合、PMTのディスクリプタとして、視点間距離情報が配置されるディスクリプタ（3DV_view_info_descriptor）が設けられる。
　そして、ディスクリプタ（3DV_view_info_descriptor）には、ディスクリプタタグ、ディスクリプタ長に続いて、視点間距離情報として、符号化の対象となる画像の視点の数(num_of_views)、検出された視点間距離の数(num_of_view_distance)、視点間距離に対応する２枚の画像の組み合わせ(view[0,1])、その組み合わせに対応する視点間距離(view_distance[view_distance_id])などが記述される。
　本技術の復号装置は、例えば、テレビジョン受像機などの表示装置や再生装置に適用することができる。
　なお、符号化装置や復号装置の第１乃至第３実施の形態は組み合わせられてもよい。この場合、復号装置は、互換情報に含まれる互換モードによって、互換用デコーダを選択する。
　また、第１乃至第３実施の形態では、補助画像および視差画像の解像度が低解像度化され、多重化されたが、低解像度化されるだけで、多重化されなくてもよい。また、視差画像の解像度は低解像度化されなくてもよい。
　なお、画像情報、視点間距離情報、視差画像情報、および互換情報は、符号化されずに、符号化ストリームとは別系統で伝送されるようにしてもよい。また、画像情報、視点間距離情報、視差画像情報、および互換情報は、符号化されて、符号化ストリームとは別系統で伝送されるようにしてもよい。
　また、画像情報、視点間距離情報、視差画像情報、および互換情報は、符号化されずに、符号化ストリームの上述した以外の領域(ヘッダ、ユーザデータ等)に記述されることもできるし、符号化されて符号化ストリームの所定の領域に記述されることもできる。さらに、画像情報、視点間距離情報、視差画像情報、および互換情報は、符号化ストリームとは別の補助情報として伝送することもできる。
　＜第４実施の形態＞
　［符号化装置の第４実施の形態の構成例］
　図２８は、本技術を適用した符号化装置の第４実施の形態の構成例を示すブロック図である。
　図２８に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２８の符号化装置３００の構成は、主に、画像変換部５２、視差画像生成部５３、画像情報生成部５４、視差画像情報生成部５７の代わりに画像変換部３０１、視差画像生成部３０２、画像情報生成部３０３、視差画像情報生成部３０４が設けられている点が図５の構成と異なる。
　符号化装置３００は、画像情報および視差画像情報に、多重化に関する情報ではなく、低解像度化に関する情報を含めて伝送する。
　具体的には、符号化装置３００の画像変換部３０１は、図５の画像変換部５２と同様に、撮影部５１Ａから供給される画像Ａ１を互換画像に決定する。画像変換部３０１は、画像変換部５２と同様に、互換画像として画像Ａ１を指定する情報を互換情報生成部５５に供給する。そして、画像変換部３０１は、画像変換部５２と同様に、互換画像である画像Ａ１をそのままエンコーダ５８に供給する。
　また、画像変換部３０１は、画像Ａ１以外の画像Ｂ１および画像Ｃ１を補助画像とし、水平1/2方式で低解像度化し、多重化することにより、互換画像と同一の解像度の多重化画像を得る。なお、水平1/2方式とは、水平方向の解像度を互換画像の半分にする方式である。画像変換部３０１は、補助画像の多重化画像をエンコーダ５８に供給し、補助画像の解像度の変換方式を示す情報を、画像情報生成部３０３に供給する。
　視差画像生成部３０２は、図５の視差画像生成部５３と同様に、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて、画像Ａ１乃至画像Ｃ１の各画素の視差を検出する。視差画像生成部３０２は、視差画像生成部５３と同様に、視差画像Ａ１’を生成し、そのままエンコーダ５８に供給する。また、視差画像生成部３０２は、視差画像Ｂ１’と視差画像Ｃ１’を生成し、水平1/2方式で低解像度化する。そして、視差画像生成部３０２は、低解像度化された視差画像Ｂ１’と視差画像Ｃ１’を多重化し、互換画像と同一の解像度の多重化画像を得る。視差画像生成部３０２は、その結果得られる多重化画像をエンコーダ５８に供給し、補助画像の視差画像の解像度の変換方式を示す情報を、視差画像情報生成部３０４に供給する。
　画像情報生成部３０３は、画像変換部３０１から供給される情報に基づいて、補助画像の解像度の変換方式を示す情報などを画像情報として生成する。画像情報生成部３０３は、その画像情報をエンコーダ５８に供給する。
　視差画像情報生成部３０４は、視差画像生成部３０２から供給される情報に基づいて、補助画像の視差画像の解像度の変換方式を示す情報などを視差画像情報として生成する。視差画像情報生成部３０４は、その視差画像情報をエンコーダ５８に供給する。
　［視差画像情報の記述例］
　図２９は、図２８の符号化装置３００における、符号化方式としてAVC方式またはMVC方式に準じた方式が用いられた場合の補助ストリーム内の視差画像情報の記述例を示す図である。
　図２９に示すように、視差画像情報(depth_map_structure)としては、視差画像の数(num_of_depth_map)、視差画像が低解像度化されているかどうかを表すフラグである低解像度化フラグ(is_decimated)、視差画像の解像度の変換方式(decimation_mode)（変換方式情報）、低解像度化されている視差画像を指定する情報(comb_ decimated_views)などが記述される。解像度の変換方式としては、水平1/2方式のほか、垂直方向の解像度を半分にする垂直1/2方式、水平方向および垂直方向の解像度をそれぞれ半分にする水平垂直1/4方式などがある。
　なお、符号化装置３００における画像情報は、視差画像ではなく、互換画像および補助画像についての情報であること以外視差画像情報と同様であるので、図示は省略する。
　[符号化装置の処理の説明]
　図３０および図３１は、図２８の符号化装置３００による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部５１Ａ乃至撮影部５１Ｃから画像Ａ１乃至画像Ｃ１が出力されたとき開始される。
　図３０および図３１の符号化処理は、多重化方式の代わりに解像度の変換方式が決定され、その変換方式を含む低解像度化に関する情報が画像情報および視差画像情報に含まれる点を除いて、図１０および図１１の符号化処理と同一である。
　具体的には、図３０のステップＳ２１１およびＳ２１２の処理は、図１０のステップＳ１１およびＳ１２の処理と同様であり、ステップＳ２１３において、画像変換部３０１は、撮影部５１Ａから供給される画像Ａ１を互換画像に決定し、補助画像の解像度の変換方式を決定する。画像変換部３０１は、互換画像として画像Ａ１を指定する情報を互換情報生成部５５に供給し、補助画像の解像度の変換方式を画像情報生成部３０３に供給する。
　そして、ステップＳ２１４およびＳ２１５の処理は、図１０のステップＳ１４およびＳ１５の処理と同様であり、ステップＳ２１６において、画像変換部３０１は、画像Ａ１以外の画像Ｂ１および画像Ｃ１を補助画像として、ステップＳ２１３で決定された補助画像の解像度の変換方式に基づいて補助画像を低解像度化し、多重化する。
　ステップＳ２１７およびステップＳ２１８（図３１）の処理は、ステップＳ１７およびステップＳ１８（図１１）の処理と同様であり、ステップＳ２１９において、視差画像生成部３０２は、補助画像の視差画像の解像度の変換方式を決定し、その変換方式を示す情報を視差画像情報生成部３０４に供給する。
　ステップＳ２２０の処理は、図１１のステップＳ２０の処理と同様であり、ステップＳ２２１において、視差画像生成部３０２は、ステップＳ２１９で決定された補助画像の視差画像の解像度の変換方式に基づいて、補助画像の視差画像を低解像度化し、多重化する。
　ステップＳ２２２乃至Ｓ２２６の処理は、図１１のステップＳ２２乃至Ｓ２６の処理と同様である。
　以上のように、符号化装置３００は、補助画像や視差画像を低解像度化するので、互換画像の圧縮レートを上げずに、符号化結果の情報量を抑制することができる。その結果、圧縮レートの上昇により互換画像への圧縮歪みの影響が増大することを防止し、互換画像の画質を高画質に保つことができる。このことは、符号化装置５０、符号化装置１４０、および符号化装置１８０についても同様である。
　［復号装置の構成例］
　図３２は、図２８の符号化装置３００から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
　図３２に示す構成のうち、図１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図３２の復号装置３２０の構成は、主に、画像生成部１２７の代わりに画像生成部３２１が設けられている点が図１２の構成と異なる。復号装置３２０は、符号化装置３００から送信される多重化ストリームを復号して、１視点の画像または多視点の画像を生成し、図示せぬ表示装置に表示させる。
　具体的には、復号装置３２０の画像生成部３２１は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。具体的には、画像生成部３２１は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度と同一の解像度の画像を生成する。
　より詳細には、画像生成部３２１（分離部、画像変換部）は、視差画像情報取得部１２５からの視差画像情報に含まれる解像度の変換方式に基づいて、補助画像の視差画像の多重化画像から各補助画像の視差画像を分離し、高解像度化する。その結果、画像生成部３２１は、互換画像と同一の解像度の各補助画像の視差画像を得る。また、画像生成部３２１は、画像情報取得部１２３からの画像情報に含まれる解像度の変換方式に基づいて、補助画像の多重化画像から各補助画像を分離し、高解像度化して、互換画像と同一の解像度の各補助画像を得る。
　さらに、画像生成部３２１は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部３２１は、互換画像、並びに、互換画像と同一の解像度の各補助画像、互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部３２１は、生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　また、画像生成部３２１は、視聴者からの２Ｄ画像の表示指令に応じて、デコーダ１２２の互換用デコーダ１３１から供給される互換画像である画像Ａ１を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。
　［復号装置の処理の説明］
　図３３は、図３２の復号装置３２０による復号処理を説明するフローチャートである。この復号処理は、例えば、図２８の符号化装置３００から送信される多重化ストリームが復号装置３２０に入力されたとき、開始される。
　図３３の復号処理は、補助ストリームに含まれる画像情報と視差画像情報に基づいて、補助画像および補助画像の視差画像を高解像度化する点を除いて、図１３の復号処理と同一である。
　具体的には、図３３のステップＳ２３１乃至Ｓ２３９の処理は、図１３のステップＳ３１乃至Ｓ３９の処理と同様であり、ステップＳ２４０において、画像生成部３２１は、画像情報取得部１２３からの画像情報に含まれる解像度の変換方式に基づいて、補助画像の多重化画像を分離し、高解像度化する。これにより、画像生成部３２１は、互換画像と同一の解像度の補助画像である画像Ｂ１および画像Ｃ１を得る。
　ステップＳ２４１において、画像生成部３２１は、視差画像情報取得部１２５からの視差画像情報に含まれる解像度の変換方式に基づいて、補助画像の視差画像の多重化画像を分離し、高解像度化する。これにより、画像生成部３２１は、互換画像と同一の解像度の補助画像の視差画像Ｂ１’および視差画像Ｃ１’を得る。
　ステップＳ２４２の処理は、図１３のステップＳ４０の処理と同様であり、ステップＳ２４３において、画像生成部３２１は、ステップＳ２４２で決定された各視点の位置、互換情報取得部１２６からの互換情報等に基づいて、互換画像、並びに、互換画像と同一の解像度の補助画像、互換画像の視差画像、および補助画像の視差画像を用いて、各視点の、互換画像や補助画像の同一の解像度の画像を生成する。
　ステップＳ２４４乃至Ｓ２４６の処理は、図１３のステップＳ４２乃至Ｓ４４の処理と同様である。
　なお、復号装置３２０との互換性を有する互換ストリームのみを復号可能な復号装置では、補助ストリームのＴＳは無視され、ステップＳ２３３およびＳ２４６の処理のみが行われる。
　以上のように、復号装置３２０は、符号化装置３００により既存の方式との互換性を有する方式で符号化された互換ストリームと補助ストリームを復号することができる。
　[視差画像情報の他の配置例]
　上述した説明では、第４実施の形態において、補助ストリームに、互換情報、視差画像情報、画像情報、および視点間距離情報が含まれたが、第１乃至第３実施の形態と同様に、ＴＳに含まれるようにしてもよい。この場合、例えば、補助ストリームのＴＳのパケット内のPMTやSITのディスクリプタに互換情報、視差画像情報、画像情報、および視点間距離情報が記述される。
　図３４は、互換情報、視差画像情報、画像情報、および視点間距離情報がPMTのディスクリプタに記述される場合の視差画像情報が配置されるディスクリプタ（depth_map_structure_descriptor）の記述例を示す図である。
　図３４に示すように、ディスクリプタ（depth_map_structure_descriptor）には、ディスクリプタタグ、ディスクリプタ長に続いて、視差画像情報として、視差画像の数(num_of_depth_map)、低解像度化フラグ(is_decimated)、視差画像の解像度の変換方式(decimation_mode)、低解像度化されている視差画像を指定する情報(comb_ decimated_views)などが記述される。
　なお、第４実施の形態は、第１実施の形態における画像情報および視差画像情報に、多重化に関する情報ではなく、低解像度化に関する情報が含まれるものであったが、第２および第３実施の形態における画像情報および視差画像情報にも同様に、多重化に関する情報ではなく、低解像度化に関する情報を含めることができる。
　＜第５実施の形態＞
　［符号化装置の第５実施の形態の構成例］
　図３５は、本技術を適用した符号化装置の第５実施の形態の構成例を示すブロック図である。
　図３５に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図３５の符号化装置４４０の構成は、主に、視差画像生成部１４３、エンコーダ１４５の代わりに、視差画像生成部４４１、エンコーダ４４２が設けられている点が図１４の構成と異なる。符号化装置４４０は、互換画像の視差画像を空間方向に多重化するのではなく、時間方向に多重化して符号化する。
　具体的には、符号化装置４４０の視差画像生成部４４１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２乃至画像Ｄ２の各画素の視差を検出する。視差画像生成部４４１は、検出結果に基づいて、互換画像である画像Ａ２の視差画像Ａ２’および画像Ｂ２の視差画像Ｂ２’、並びに、補助画像である画像Ｃ２の視差画像Ｃ２’および画像Ｄ２の視差画像Ｄ２’を生成する。
　また、視差画像生成部４４１は、図１４の視差画像生成部１４３と同様に、視差画像Ｃ２’と視差画像Ｄ２’を、所定の多重化方式で空間方向に多重化する。さらに、視差画像生成部４４１（多重化部）は、視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像を、時間方向に多重化する。視差画像生成部４４１は、その結果得られる、１フレーム時間内に１フレーム分の視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像が存在する多重化画像を、時間多重化画像としてエンコーダ４４２に供給する。
　また、視差画像生成部４４１は、補助画像の視差画像の多重化方式と、互換画像および補助画像の視差画像の多重化方式としての時間方向に多重化する方式（以下、フレームシーケンシャル方式という）とを示す情報を、視差画像情報生成部５７に供給する。
　エンコーダ４４２は、互換用エンコーダ１５１と補助用エンコーダ４５１により構成される。エンコーダ４４２の補助用エンコーダ４５１は、画像変換部１４２からの補助画像の多重化画像と視差画像生成部４４１からの時間多重化画像を3DV方式で符号化する。なお、3DV方式とは、AVC方式やMVC方式に準じた多視点方式での表示用の画像を符号化するための方式である。補助用エンコーダ４５１は、その結果得られる符号化ストリームを補助ストリームとして多重化部４４３に供給する。
　多重化部４４３は、互換用エンコーダ１５１からの互換ストリーム、補助用エンコーダ４５１からの補助ストリーム、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部５６からの視点間距離情報、および視差画像情報生成部５７からの視差画像情報などを用いて、ＴＳを生成する。多重化部４４３は、生成されたＴＳを多重化し、その結果得られる多重化ストリームを送信する。
　なお、以下では、画像情報、互換情報、視点間距離情報、および視差画像情報をまとめて補助情報という。
　［視差画像情報の記述例］
　図３６は、補助情報がPMTのディスクリプタに記述される場合の、図３５の符号化装置４４０における視差画像情報の記述例を示す図である。
　図３６に示すように、視差画像情報が配置されるディスクリプタ（depth_map_structure_descriptor）には、図２５の場合と同様に、ディスクリプタタグ(descriptor_tag)、ディスクリプタ長(descriptor_length)に続いて、視差画像情報が記述される。また、視差画像情報としては、図２５の場合と同様に、視差画像の数(num_of_depth_map)、視差画像が多重化されているかどうかを表すフラグ(is_frame_packing)、視差画像の多重化方式(frame_packing_mode)、多重化されている視差画像を指定する情報(comb_frame_packing_views)などが記述される。但し、視差画像の多重化方式としては、サイドバイサイド方式（SBS）やトップアンドボトム方式（TOB）だけでなく、フレームシーケンシャル方式も記述される。
　なお、図３５の符号化装置４４０では、補助情報がＴＳに含まれるものとするが、補助情報は補助ストリームに含まれるようにしてもよい。
　図３７は、補助情報が補助ストリームに含まれる場合の、補助ストリーム内の視差画像情報の記述例を示す図である。
　この場合、図６に示したように、視差画像情報(depth_map_structure)は、例えば、補助ストリーム内のSEIに配置される。
　また、視差画像情報(depth_map_structure)としては、図３７に示すように、視差画像（depth map）の数(num_of_depth_map)、視差画像が多重化されているかどうかを表すフラグ(is_frame_packing)、視差画像の多重化方式(frame_packing_mode)、多重化されている視差画像を指定する情報(comb_frame_packing_views)などが記述される。但し、視差画像の多重化方式としては、図３６の場合と同様に、サイドバイサイド方式（SBS）やトップアンドボトム方式（TOB）だけでなく、フレームシーケンシャル方式も記述される。
　なお、図示は省略するが、画像情報は、視差画像ではなく、互換画像および補助画像についての情報であること以外視差画像情報と同様である。
　［符号化装置の処理の説明］
　図３８および図３９は、図３５の符号化装置４４０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
　図３８および図３９のステップＳ４５１乃至Ｓ４５５の処理は、図１５および図１６のステップＳ５１乃至Ｓ５５の処理と同様であるので、説明は省略する。
　ステップＳ４５６において、画像情報生成部５４は、画像変換部１４２から供給される情報に基づいて、互換画像および補助画像の多重化方式を示す情報などを画像情報として生成し、多重化部４４３に入力する。そして、処理は、ステップＳ４５７に進む。
　ステップＳ４５７乃至Ｓ４５９の処理は、図１５および図１６のステップＳ５７乃至Ｓ５９の処理と同様であるので、説明は省略する。
　図３９のステップＳ４６０において、視差画像生成部４４１は、補助画像の視差画像の多重化方式と、互換画像の視差画像および補助画像の視差画像の多重化画像の多重化方式を決定し、その多重化方式を示す情報を視差画像情報生成部５７に供給する。
　ステップＳ４６１において、視差画像情報生成部５７は、視差画像生成部４４１から供給される情報に基づいて、補助画像の視差画像の多重化方式と、互換画像の視差画像および補助画像の視差画像の多重化画像の多重化方式を示す情報などを、視差画像情報として生成し、多重化部４４３に入力する。
　ステップＳ４６２において、視差画像生成部４４１は、ステップＳ４６０で決定された多重化方式に基づいて、補助画像の視差画像Ｃ２’と視差画像Ｄ２’を空間方向に多重化し、互換画像の視差画像Ａ２’および視差画像Ｂ２’と補助画像の視差画像の多重化画像を時間方向に多重化する。
　ステップＳ４６３において、視差画像生成部４４１は、ステップＳ４６２の多重化の結果得られる時間多重化画像をエンコーダ４４２に入力する。
　ステップＳ４６４において、エンコーダ４４２の互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部４４３に供給する。
　ステップＳ４６５において、補助用エンコーダ４５１は、画像変換部１４２からの補助画像の多重化画像と視差画像生成部４４１からの時間多重化画像を、3DV方式で符号化する。補助用エンコーダ４５１は、符号化の結果得られる符号化ストリームを補助用ストリームとして多重化部４４３に供給する。
　ステップＳ４６６において、多重化部４４３は、互換用エンコーダ１５１から供給される互換ストリーム、補助用エンコーダ４５１から供給される補助ストリーム、および補助情報からＴＳを生成して、多重化し、その結果得られる多重化ストリームを送信する。この多重化ストリームは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
　［復号装置の構成例］
　図４０は、図３５の符号化装置４４０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
　図４０に示す構成のうち、図１７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図４０の復号装置４６０の構成は、主に、分離部１２１、デコーダ１２２、画像生成部１７１の代わりに、分離部４６１、デコーダ４６２、画像生成部４６３が設けられている点が図１７の構成と異なる。復号装置４６０は、符号化装置４４０から送信される多重化ストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
　具体的には、復号装置４６０の分離部４６１は、符号化装置４４０から送信されてくる多重化ストリームを受信し、ＴＳごとに分離する。分離部４６１は、分離されたＴＳから互換ストリームと補助ストリームを抽出し、デコーダ４６２に供給する。また、分離部４６１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、分離部４６１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６とデコーダ４６２に供給する。
　デコーダ４６２は、互換用デコーダ４７１と補助用デコーダ４７２により構成される。デコーダ４６２の互換用デコーダ４７１は、分離部４６１から供給される互換情報に基づいて、分離部４６１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。互換用デコーダ４７１は、互換ストリームに含まれる符号化された互換画像をAVC方式に対応する方式で復号し、その結果得られる互換画像の多重化画像を画像生成部４６３に供給する。
　補助用デコーダ４７２は、分離部４６１から供給される互換情報に基づいて、分離部４６１から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ４７２は、分離部４６１から供給される補助ストリームに含まれる符号化された補助画像の多重化画像と時間多重化画像を、図３５の補助用エンコーダ４５１に対応する方式で復号する。補助用デコーダ４７２は、復号の結果得られる補助画像の多重化画像と時間多重化画像を画像生成部４６３に供給する。
　画像生成部４６３は、視聴者からの表示指令に応じて画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部４６３は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、および時間多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
　より詳細には、画像生成部４６３（分離部）は、視差画像情報取得部１２５からの視差画像情報に含まれる互換画像の視差画像と補助画像の視差画像の多重化画像の多重化方式としてフレームシーケンシャル方式を示す情報に基づいて、時間多重化画像から、互換画像の視差画像である視差画像Ａ２’および視差画像Ｂ２’、並びに、補助画像の視差画像の多重化画像を分離する。そして、画像生成部４６３は、視差画像情報に含まれる補助画像の視差画像の多重化方式に基づいて、補助画像の視差画像の多重化画像から、視差画像Ｃ２’と視差画像Ｄ２’を分離する。
　さらに、画像生成部４６３は、図１７の画像生成部１７１と同様に、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。また、画像生成部４６３は、画像生成部１７１と同様に、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
　また、画像生成部４６３は、画像生成部１７１と同様に、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部４６３は、画像生成部１７１と同様に、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部４６３は、画像生成部１７１と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　また、画像生成部４６３は、画像生成部１７１と同様に、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ４６２から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部４６３は、画像生成部１７１と同様に、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
　［復号処理の説明］
　図４１は、図４０の復号装置４６０による復号処理を説明するフローチャートである。この復号処理は、例えば、図３５の符号化装置４４０から送信される多重化ストリームが復号装置４６０に入力されたとき、開始される。
　図４１のステップＳ４７１において、復号装置４６０の分離部４６１は、符号化装置５０から送信されてくる多重化ストリームを受信し、ＴＳごとに分離する。そして、分離部４６１は、分離されたＴＳに含まれる互換ストリームと補助ストリームをデコーダ４６２に供給する。また、分離部４６１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、分離部４６１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６とデコーダ４６２に供給する。
　ステップＳ４７２において、互換用デコーダ４７１は、分離部４６１から供給される互換情報に基づいて、分離部４６１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。
　ステップＳ４７３において、互換用デコーダ４７１は、互換ストリームに含まれる互換画像をAVC方式に対応する方式で復号し、その結果得られる互換画像の多重化画像を画像生成部４６３に供給する。
　ステップＳ４７４において、画像生成部４６３は、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ４７４で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち視聴者から多視点方式の３Ｄ画像の表示が指令された場合、補助用デコーダ４７２は、互換情報に基づいて、分離部４６１から供給される互換ストリームと補助ストリームのうちの補助ストリームを識別する。
　そして、ステップＳ４７５において、補助用デコーダ４７２は、補助ストリームから符号化された補助画像の多重化画像と時間多重化画像を抽出し、図２の補助用エンコーダ６２に対応する方式で復号する。補助用デコーダ４７２は、復号の結果得られる補助画像の多重化画像と時間多重化画像を画像生成部１２７に供給し、処理をステップＳ４７６に進める。
　ステップＳ４７６において、画像情報取得部１２３は、分離部４６１から供給される画像情報を取得し、画像生成部４６３に入力する。ステップＳ４７７において、視点間距離情報取得部１２４は、分離部４６１から供給される視点間距離情報を取得し、画像生成部４６３に入力する。
　ステップＳ４７８において、視差画像情報取得部１２５は、分離部４６１から供給される視差画像情報を取得し、画像生成部４６３に入力する。ステップＳ４７９において、互換情報取得部１２６は、分離部４６１から供給される互換情報を取得し、画像生成部４６３に入力する。
　ステップＳ４８０において、画像生成部４６３は、視点間距離情報取得部１２４からの視点間距離情報と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。
　ステップＳ４８１において、画像生成部４６３は、ステップＳ４８０で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、および時間多重化画像を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。
　ステップＳ４８２およびＳ４８３は、図１８のステップＳ９２およびＳ９３と同様であるので、説明は省略する。
　ステップＳ４７４で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、ステップＳ４８４において、画像情報取得部１２３は、分離部４６１から供給される画像情報を取得し、画像生成部４６３に入力する。
　ステップＳ４８５およびステップＳ４８６の処理は、図１８のステップＳ９４およびＳ９５の処理と同様であるので、説明は省略する。
　なお、復号装置４６０との互換性を有する互換ストリームのみを復号可能な復号装置では、補助ストリームは無視され、ステップＳ４７３，Ｓ４８４、およびＳ４８５の処理のみが行われる。但し、この場合、ステップＳ４８４の処理では、予め決められた多重化方式に基づいて、互換画像の多重化画像が分離される。
　＜第６実施の形態＞
　［符号化装置の第６実施の形態の構成例］
　図４２は、本技術を適用した符号化装置の第６実施の形態の構成例を示すブロック図である。
　図４２に示す構成のうち、図３５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図４２の符号化装置４８０の構成は、主に、視差画像生成部１４３、エンコーダ１４５、視差画像情報生成部５７の代わりに視差画像生成部４８１、エンコーダ４８２、視差画像情報生成部４８３が設けられている点が図３５の構成と異なる。符号化装置４８０は、互換画像に共通の視差値を表す共通視差画像と補助画像の共通視差画像を符号化する。
　具体的には、符号化装置４８０の視差画像生成部４８１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２と画像Ｂ２の間の各画素の視差を検出し、画像Ｃ２と画像Ｄ２の間の各画素の視差を検出する。視差画像生成部４８１は、画像Ａ２と画像Ｂ２の間の各画素の視差を表す視差値からなる視差画像を、互換画像の共通視差画像ＡＢ２’として生成し、エンコーダ４８２に供給する。また、視差画像生成部４８１は、画像Ｃ２と画像Ｄ２の間の各画素の視差を表す視差値からなる視差画像を、補助画像の共通視差画像ＣＤ２’として生成し、エンコーダ４８２に供給する。
　また、視差画像生成部４８１は、互換画像および補助画像の視差画像が共通視差画像であることを示す情報を視差画像情報生成部４８３に供給する。
　エンコーダ４８２は、互換用エンコーダ１５１と補助用エンコーダ４９１により構成される。補助用エンコーダ４９１は、画像変換部１４２からの補助画像の多重化画像、並びに視差画像生成部４８１からの互換画像の共通視差画像ＡＢ２’および補助画像の共通視差画像ＣＤ２’を3DV方式で符号化する。補助用エンコーダ４９１は、その結果得られる符号化ストリームを補助ストリームとして多重化部４４３に供給する。
　視差画像情報生成部４８３は、視差画像生成部５３から供給される情報に基づいて、互換画像と補助画像の視差画像が共通視差画像であることを示す情報などを、視差画像情報として生成し、多重化部４４３に供給する。
　［符号化装置の処理の説明］
　図４３および図４４は、図４２の符号化装置４８０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
　図４３のステップＳ４９１乃至Ｓ４９８の処理は、図３８のステップＳ４５１乃至Ｓ４５８の処理と同様であるので、説明は省略する。
　図４４のステップＳ４９９において、視差画像生成部４８１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２と画像Ｂ２間の各画素の視差と、画像Ｃ２と画像Ｄ２の各画素の視差を検出する。そして、視差画像生成部４８１は、画像Ａ２と画像Ｂ２の間の各画素の視差を表す視差値からなる共通視差画像ＡＢ２’と、画像Ｃ２と画像Ｄ２の間の各画素の視差を表す視差値からなる共通視差画像ＣＤ２’を生成する。
　ステップＳ５００において、視差画像情報生成部４８３は、視差画像生成部４８１から供給される情報に基づいて、互換画像と補助画像の視差画像が共通視差画像であることを示す情報などを、視差画像情報として生成し、多重化部４４３に入力する。
　ステップＳ５０１において、視差画像生成部４８１は、ステップＳ４９９で生成された補助画像の共通視差画像ＣＤ２’と互換画像の共通視差画像ＡＢ２’をエンコーダ４８２に入力する。
　ステップＳ５０２において、エンコーダ４８２の互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部４４３に供給する。
　ステップＳ５０３において、補助用エンコーダ４９１は、画像変換部１４２からの補助画像の多重化画像、並びに、視差画像生成部４８１からの互換画像の共通視差画像、および補助画像の共通視差画像を3DV方式で符号化する。補助用エンコーダ４９１は、符号化の結果得られる符号化ストリームを補助用ストリームとして多重化部４４３に供給する。
　ステップＳ５０４において、多重化部４４３は、互換用エンコーダ１５１から供給される互換ストリーム、補助用エンコーダ４９１から供給される補助ストリーム、および補助情報からＴＳを生成して、多重化し、その結果得られる多重化ストリームを送信する。この多重化ストリームは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
　［復号装置の構成例］
　図４５は、図４２の符号化装置４８０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
　図４５に示す構成のうち、図４０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図４５の復号装置５００の構成は、主に、デコーダ１２２、画像生成部１７１の代わりに、デコーダ５０１、画像生成部５０２が設けられている点が図４０の構成と異なる。復号装置５００は、符号化装置４８０から送信される多重化ストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
　具体的には、復号装置５００のデコーダ５０１は、互換用デコーダ４７１と補助用デコーダ５１１により構成される。デコーダ５０１の補助用デコーダ５１１は、分離部４６１から供給される互換情報に基づいて、分離部４６１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。また、補助用デコーダ５１１は、補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の共通視差画像ＡＢ２’、および補助画像の共通視差画像ＣＤ２’を、図４２の補助用エンコーダ４９１に対応する方式で復号する。補助用デコーダ５１１は、復号の結果得られる補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を画像生成部５０２に供給する。
　画像生成部５０２は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部５０２は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
　より詳細には、画像生成部５０２は、視差画像情報取得部１２５からの視差画像情報に含まれる互換画像と補助画像の視差画像が共通視差画像であることを示す情報に基づいて、共通視差画像ＡＢ２’と共通視差画像ＣＤ２’をそのままにする。
　また、画像生成部５０２は、図１７の画像生成部１７１と同様に、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。さらに、画像生成部５０２は、画像生成部１７１と同様に、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
　また、画像生成部５０２は、画像生成部１７１と同様に、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部５０２は、各互換画像、各補助画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部５０２は、画像生成部１７１と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。　
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　また、画像生成部５０２は、画像生成部１７１と同様に、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ５０１から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部５０２は、画像生成部１７１と同様に、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
　［復号装置の処理の説明］
　図４６は、図４５の復号装置５００による復号処理を説明するフローチャートである。この復号処理は、例えば、図４２の符号化装置４８０から送信される多重化ストリームが復号装置５００に入力されたとき、開始される。
　図４６のステップＳ５１１乃至Ｓ５１４の処理は、図４１のステップＳ４７１乃至Ｓ４７４の処理と同様であるので、説明は省略する。
　ステップＳ５１５において、補助用デコーダ５１１は、補助ストリームから符号化された補助画像の多重化画像、互換画像の共通視差画像ＡＢ２’、および補助画像の共通視差画像ＣＤ２’を抽出し、図４２の補助用エンコーダ４９１における符号化方式に対応する方式で復号する。補助用デコーダ５１１は、復号の結果得られる補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を画像生成部５０２に供給する。
　ステップＳ５１６乃至Ｓ５２０の処理は、図４１のステップＳ４７６乃至Ｓ４８０の処理と同様であるので、説明は省略する。
　ステップＳ５２０の処理後、ステップＳ５２１において、画像生成部５０２は、ステップＳ５１９で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２'を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。
　ステップＳ５２２乃至Ｓ５２６の処理は、図４１のステップＳ４８２乃至Ｓ４８６の処理と同様であるので、説明は省略する。
　なお、符号化装置４４０および符号化装置４８０は、符号化装置１４０と同様に２視点の互換画像を多重化して符号化したが、図１９の符号化装置１８０と同様に２視点の互換画像を多重化せずに符号化するようにしてもよい。また、符号化装置４４０および符号化装置４８０は、図５の符号化装置５０と同様に、１視点の互換画像を符号化するようにしてもよい。
　また、符号化装置１４０と符号化装置１８０は、互換画像と補助画像の視差画像を多重化せずに符号化するようにしてもよい。さらに、符号化装置５０は、補助画像の視差画像を多重化せずに符号化するようにしてもよい。
　＜符号化対象の多重化パターンの例＞
　図４７は、互換画像の視点数が２であり、補助画像の視点数が２である場合の、符号化対象の多重化パターンの例を示す図である。
　図４７の（１）に示すように、図１４の符号化装置１４０は、互換画像である画像Ａ２と画像Ｂ２を空間方向に多重化し、AVC方式で符号化する。また、符号化装置１４０は、補助画像である画像Ｃ２と画像Ｄ２、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’、並びに、補助画像の視差画像である視差画像Ｃ２’と視差画像Ｄ２’をそれぞれ空間方向に多重化して、MVC方式に準ずる3DV方式で符号化する。
　なお、符号化装置１４０は、図４７の（２）に示すように、視差画像Ａ２’乃至Ｄ２’を多重化せず、MVC方式に準ずる3DV方式で符号化するようにしてもよい。さらに、図４７の（３）に示すように、図４２の符号化装置４８０は、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’の代わりに、共通視差画像ＡＢ２’を符号化し、補助画像の視差画像である視差画像Ｃ２’と視差画像Ｄ２’の代わりに、共通視差画像ＣＤ２’を符号化する。
　また、図４７の（４）に示すように、図３５の符号化装置４４０は、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’を空間方向に多重化せず、視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像をフレームシーケンシャル方式で多重化し、MVC方式に準ずる3DV方式で符号化する。
　さらに、図４７の（５）に示すように、図１９の符号化装置１８０は、互換画像である画像Ａ２と画像Ｂ２を多重化せずに、画像Ａ２をAVC方式で符号化し、画像Ｂ２を、画像Ａ２をベースビューとしたMVC方式で符号化する。また、符号化装置１８０は、補助画像である画像Ｃ２と画像Ｄ２、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’、並びに、補助画像の視差画像である視差画像Ｃ２’と視差画像Ｄ２’をそれぞれ空間方向に多重化し、MVC方式に準ずる3DV方式で符号化する。
　なお、符号化装置１８０は、図４７の（６）に示すように、視差画像Ａ２’乃至Ｄ２’を多重化せず、MVC方式に準ずる3DV方式で符号化するようにしてもよい。また、符号化装置１８０は、図４７の（７）に示すように、符号化装置４８０と同様に、視差画像Ａ２’と視差画像Ｂ２’の代わりに共通視差画像ＡＢ２’を符号化し、視差画像Ｃ２’と視差画像Ｄ２’の代わりに共通視差画像ＣＤ２’を符号化するようにしてもよい。
　さらに、符号化装置１８０は、図４７の（８）に示すように、符号化装置４４０と同様に、視差画像Ａ２’と視差画像Ｂ２’を空間方向に多重化せず、視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像をフレームシーケンシャル方式で多重化し、MVC方式に準ずる3DV方式で符号化するようにすることもできる。
　なお、多重化パターンは、図４７の例に限定されない。例えば、補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像が、さらにフレームシーケンシャル方式で多重化されるようにしてもよい。
　図４８は、図４７の（１）乃至（８）に示した多重化パターンでの多重化による効果の特徴を示す図である。
　図４８の表では、効果の項目「互換性」、「画質」、および「データ量」が設けられ、図４７の（１）乃至（８）に示した多重化パターンにおける各項目の効果の度合が表されている。なお、図４８の表において、丸は、効果があることを表し、二重丸は、顕著な効果があることを表す。
　図４７の（１）に示した多重化パターンで多重化が行われる場合、互換画像の多重化方式および符号化方式が既存の方式と同一となり、互換性が確保される。また、視差画像が、互換画像と同様に空間方向に多重化されるので、例えば、復号装置側に用意されている互換画像を分離する分離部を用いて視差画像を分離することができる。従って、復号装置側で視差画像を分離できることが保証される。よって、この場合、互換性において顕著な効果があり、図４８の項目「互換性」に対応して二重丸が記述されている。
　また、図４７の（２）に示した多重化パターンで多重化が行われる場合、互換画像の多重化方式および符号化方式が既存の方式と同一となり、互換性が確保される。また、視差画像の解像度が多重化前の画像と同一の解像度であるので精度が高い。その結果、復号装置において、視差画像を用いて生成される所定の視点の画像の精度が向上する。従って、この場合、互換性と、視差画像を用いて生成される画像の画質とにおいて効果があり、図４８の項目「互換性」と「画質」に対応して丸が記述されている。
　さらに、図４７の（３）に示した多重化パターンで多重化が行われる場合、互換画像の符号化方式および多重化方式が既存の方式と同一となり、互換性が確保される。また、多重化前の画像と同一の解像度の互換画像および補助画像の視差画像のデータ量が、2視点分の視差画像のデータ量に削減される。従って、この場合、互換性とデータ量において効果があり、図４８の項目「互換性」と「データ量」に対応して丸が記述されている。
　また、図４７の（４）に示した多重化パターンで多重化が行われる場合、互換画像の符号化方式および多重化方式が既存の方式と同一となり、互換性が確保される。また、視差画像が時間方向に多重化されるので、各時刻における視差画像のデータ量が、図４７の（３）の場合に比べてより削減され、伝送可能なデータ量が増加する。従って、多重化前の画像と同一の解像度の視差画像を伝送可能なほど伝送帯域に余裕がない状況であっても、多重化前の画像と同一の解像度の視差画像を伝送することができるので、復号装置において、視差画像を用いて生成される所定の視点の画像の精度が向上する。よって、この場合、互換性と視差画像を用いて生成される画像の画質に効果があり、データ量において顕著な効果がある。従って、図４８の項目「互換性」と「画質」に対応して丸が記述され、「データ量」に対応して二重丸が記述されている。
　図４７の（１）乃至（４）に示した多重化パターンでの多重化は、例えば、放送、ATSC（Advanced Television Systems Committee）2.0規格等に準拠したＩＰ（Internet Protocol）と融合した放送である次世代放送、またはインターネット配信のアプリケーション用の画像を符号化対象とするときに行われる。
　さらに、図４７の（５）に示した多重化パターンで多重化が行われる場合、互換画像の符号化方式および多重化方式が既存の方式と同一となり、互換性が確保される。また、各視差画像の解像度が画像の解像度の半分であるので、互換画像および補助画像の視差画像のデータ量が、2視点分の視差画像のデータ量に削減される。従って、この場合、互換性とデータ量に効果があり、図４８の項目「互換性」と「データ量」に対応して丸が記述されている。
　また、図４７の（６）に示した多重化パターンで多重化が行われる場合、図４７の（２）と同様に、互換性が確保されるとともに、復号装置において視差画像を用いて生成される所定の視点の画像の精度が向上する。従って、この場合、互換性と視差画像を用いて生成される画像の画質に効果があり、図４８の項目「互換性」と「画質」に対応して丸が記述されている。
　また、図４７の（７）に示した多重化パターンで多重化が行われる場合、図４７の（３）と同様に、互換性が確保されるとともに、視差画像のデータ量が削減される。従って、この場合、互換性とデータ量に効果があり、図４８の項目「互換性」と「データ量」に対応して丸が記述されている。
　図４７の（８）に示した多重化パターンで多重化が行われる場合、図４７の（４）と同様に、互換性が確保される。また、図４７の（４）と同様に、各時刻における視差画像のデータ量が、図４７の（７）の場合に比べてより削減され、その結果、復号装置において視差画像を用いて生成される所定の視点の画像の精度が向上する。従って、この場合、互換性と視差画像を用いて生成される画像の画質に効果があり、データ量において顕著な効果がある。よって、図４８の項目「互換性」と「画質」に対応して丸が記述され、「データ量」に対応して二重丸が記述されている。
　また、図４７の（５）、（７）、および（８）に示した多重化パターンでの多重化は、例えば、ＢＤ、放送、次世代放送、またはインターネット配信のアプリケーション用の画像を符号化対象とするときに行われる。さらに、図４７の（６）に示した多重化パターンでの多重化は、例えば、ＢＤ、次世代放送、またはインターネット配信のアプリケーション用の画像を符号化対象とするときに行われる。
　図４９は、互換画像の視点数が１であり、補助画像の視点数が２である場合の、符号化対象の多重化パターンの例を示す図である。
　図４９の（１）に示すように、図５の符号化装置５０は、互換画像である画像Ａ１をAVC方式で符号化する。また、符号化装置５０は、補助画像である画像Ｂ１と画像Ｃ１、および、補助画像の視差画像である視差画像Ｂ１’と視差画像Ｃ１’をそれぞれ時間方向に多重化する。そして、符号化装置５０は、互換画像の視差画像である視差画像Ａ１’、補助画像の多重化画像、および補助画像の視差画像の多重化画像を、MVC方式に準ずる3DV方式で符号化する。
　なお、符号化装置５０は、図４９の（２）に示すように、視差画像Ａ１’乃至Ｃ１’を多重化せず、MVC方式に準ずる3DV方式で符号化するようにしてもよい。また、図４９の（３）に示すように、符号化装置５０は、符号化装置４８０と同様に、補助画像の視差画像の多重化画像の代わりに、補助画像である画像Ｂと画像Ｃの共通視差画像ＢＣ１’を符号化するようにすることもできる。
　さらに、図４９の（４）に示すように、符号化装置５０は、符号化装置４４０と同様に、視差画像Ｂ１’と視差画像Ｃ１’を空間方向に多重化せず、視差画像Ａ１’乃至視差画像Ｃ１’をフレームシーケンシャル方式で多重化し、MVC方式に準ずる3DV方式で符号化するようにすることもできる。
　なお、図４９の（１）乃至（４）に示した多重化パターンでの多重化による効果、および、その多重化パターンでの多重化を行うときの符号化対象は、それぞれ、図４７の（５）乃至（８）に示した多重化パターンでの多重化による効果および符号化対象と同様である。但し、図４９の（１）に示した多重化パターンでの多重化では、互換画像の視差画像の解像度は互換画像と同一であるので、この多重化による効果としての視差画像のデータ量の削減は、補助画像の視差画像についてのみの効果である。
　図５０は、互換画像の視点数が２であり、補助画像の視点数が０である場合の、符号化対象の多重化パターンの例を示す図である。
　互換画像の視点数が２であり、補助画像の視点数が０である場合、図５０の（１）に示すように、図１４の符号化装置１４０の場合と同様に、互換画像である画像Ａ２と画像Ｂ２が空間方向に多重化されて、AVC方式で符号化される。また、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’が空間方向に多重化されて、AVC方式に準ずる3DV方式で符号化される。
　なお、図５０の（２）に示すように、視差画像Ａ２’と視差画像Ｂ２’は多重化されず、MVC方式に準ずる3DV方式で符号化されるようにしてもよい。また、図５０の（３）に示すように、符号化装置４８０の場合と同様に、視差画像Ａ２’と視差画像Ｂ２’の代わりに共通視差画像ＡＢ２’が符号化されるようにすることもできる。
　また、図５０の（４）に示すように、符号化装置４４０の場合と同様に、視差画像Ａ２’と視差画像Ｂ２’が、時間方向に多重化されるのではなく、フレームシーケンシャル方式で多重化され、符号化されるようにすることもできる。
　さらに、図５０の（５）に示すように、符号化装置１８０の場合と同様に、互換画像である画像Ａ２と画像Ｂ２が多重化されずに、画像Ａ２がAVC方式で符号化されるとともに、画像Ｂ２が、画像Ａ２をベースビューとしたMVC方式で符号化されるようにすることもできる。
　また、この場合、図５０の（６）に示すように、図５０の（２）と同様に、視差画像が多重化されずに符号化されたり、図５０の（７）に示すように、図５０の（３）と同様に、共通視差画像ＡＢ２’が符号化されたりするようにすることもできる。また、図５０の（８）に示すように、図５０の（４）と同様に、互換画像の視差画像がフレームシーケンシャル方式で多重化され、符号化されるようにすることもできる。
　なお、図４９の（１）乃至（８）に示した多重化パターンでの多重化による効果、および、その多重化パターンでの多重化を行うときの符号化対象は、それぞれ、図４７の（１）乃至（８）に示した多重化パターンでの多重化による効果および符号化対象と同一である。
　また、上述した説明では、フレームシーケンシャル方式で多重化される視差画像の解像度は、多重化前の画像と同一の解像度であったが、多重化前の画像の解像度より低下させるようにしてもよい。また、補助画像も、視差画像と同様にフレームシーケンシャル方式で多重化されるようにしてもよい。
　さらに、上述した説明では、符号化装置において、画像の多重化方式を示す情報と視差画像の多重化方式を示す情報が伝送されたが、図４７、図４９、および図５０に示した多重化パターンを識別する情報を伝送するようにしてもよい。
　また、符号化装置は、符号化対象の画像に対応するアプリケーションを識別するフラグを伝送するようにしてもよい。
　＜第７実施の形態＞
　［符号化装置の第７実施の形態の構成例］
　図５１は、本技術を適用した符号化装置の第７実施の形態の構成例を示すブロック図である。
　図５１に示す構成のうち、図３５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図５１の符号化装置５２０の構成は、主に、エンコーダ１４５、多重化部４４３の代わりにエンコーダ５２３、伝送部５２４が設けられている点、および、多重化部５２１と多重化情報生成部５２２が新たに設けられている点が図３５の構成と異なる。
　符号化装置５２０は、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像をフレームシーケンシャル方式で多重化し、符号化する。
　具体的には、符号化装置５２０の多重化部５２１は、画像変換部１４２による多重化の結果得られる互換画像および補助画像の多重化画像、並びに、視差画像生成部１４３による多重化の結果得られる互換画像および補助画像の視差画像の多重化画像を、フレームシーケンシャル方式で多重化する。
　そして、多重化部５２１は、多重化の結果得られる、１フレーム時間内に、互換画像の多重化画像、互換画像の視差画像の多重化画像、補助画像の多重化画像、および補助画像の視差画像の多重化画像が順に存在する多重化画像を、時間方向多重化画像としてエンコーダ５２３に供給する。
　また、多重化部５２１は、互換画像および補助画像の多重化画像、並びに、互換画像および補助画像の視差画像の多重化画像が、フレームシーケンシャル方式で多重化されていること、時間多重化画像内の画像の配置順等を示す情報を、多重化情報生成部５２２およびエンコーダ５２３に供給する。
　多重化情報生成部５２２は、多重化部５２１から供給される情報に基づいて、その情報などを、互換画像および補助画像、並びに、互換画像および補助画像の視差画像の多重化に関する全体多重化情報として生成し、伝送部５２４に供給する。
　エンコーダ５２３は、互換用エンコーダ５３１と補助用エンコーダ５３２により構成される。エンコーダ５２３は、多重化部５２１から供給される情報に基づいて、多重化部５２１から供給される時間多重化画像のうちの互換画像の多重化画像を指定し、互換画像の多重化画像を互換用エンコーダ５３１に供給する。また、エンコーダ５２３は、多重化部５２１から供給される情報に基づいて、時間多重化画像のうちの補助画像の多重化画像並びに互換画像および補助画像の視差画像の多重化画像を、補助用エンコーダ５３２に供給する。
　エンコーダ５２３の互換用エンコーダ５３１は、時間多重化画像のうちの、互換画像の多重化画像を既存のAVC方式で符号化する。補助用エンコーダ５３２は、時間多重化画像のうちの補助画像の多重化画像並びに互換画像および補助画像の視差画像の多重化画像を、3DV方式で符号化する。このとき、補助画像の多重化画像は、互換画像の多重化画像を参照して符号化され、補助画像の視差画像の多重化画像は、互換画像の視差画像の多重化画像を参照して符号化される。
　エンコーダ５２３は、互換用エンコーダ５３１または補助用エンコーダ５３２で符号化された結果得られる時間多重化画像の符号化データからなるビットストリームを伝送部５２４に供給する。
　伝送部５２４は、エンコーダ５２３から供給されるビットストリーム、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部１４４からの視点間距離情報、視差画像情報生成部５７からの視差画像情報、多重化情報生成部５２２からの全体多重化情報などを用いて、ＴＳを生成する。多重化部４４３は、生成されたＴＳを送信する。
　［符号化装置の処理の説明］
　図５２および図５３は、図５１の符号化装置５２０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
　図５２のステップＳ５３１乃至Ｓ５３７の処理は、図３８のステップＳ４５１乃至Ｓ４５７の処理と同様であるので、説明は省略する。
　ステップＳ５３７の処理後、ステップＳ５３８において、画像変換部１４２は、互換画像の多重化画像と補助画像の多重化画像を多重化部５２１に入力し、処理を図５３のステップＳ５３９に進める。
　図５３のステップＳ５３９乃至Ｓ５４２の処理は、図３９のステップＳ４５９乃至Ｓ４６２の処理と同様であるので、説明は省略する。
　ステップＳ５４３の処理後、ステップＳ５４４において、多重化部５２１は、画像変換部１４２による多重化の結果得られる互換画像および補助画像の多重化画像、並びに、視差画像生成部１４３による多重化の結果得られる互換画像および補助画像の視差画像の多重化画像を、フレームシーケンシャル方式で多重化する。多重化部５２１は、多重化の結果得られる多重化画像を、時間方向多重化画像としてエンコーダ５２３に供給する。
　また、多重化部５２１は、互換画像および補助画像の多重化画像並びに視差画像の多重化画像がフレームシーケンシャル方式で多重化されていること、時間多重化画像内の画像の配置順等を示す情報を、多重化情報生成部５２２およびエンコーダ５２３に供給する。
　ステップＳ５４５において、多重化情報生成部５２２は、多重化部５２１から供給される情報に基づいて、その情報などを全体多重化情報として生成し、伝送部５２４に入力する。
　ステップＳ５４６において、互換用エンコーダ５３１は、エンコーダ５２３によって多重化部５２１からの情報に基づいて入力される、時間多重化画像のうちの互換画像の多重化画像を既存のAVC方式で符号化する。
　ステップＳ５４７において、補助用エンコーダ５３２は、エンコーダ５２３によって多重化部５２１からの情報に基づいて入力される、時間多重化画像のうちの補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を、3DV方式で符号化する。エンコーダ５２３は、ステップＳ５４６およびＳ５４７の符号化の結果得られる時間多重化画像の符号化データからなるビットストリームを伝送部５２４に供給する。
　ステップＳ５４８において、伝送部５２４は、エンコーダ５２３からのビットストリーム、補助情報、および多重化情報生成部５２２からの全体多重化情報からＴＳを生成し、送信する。このＴＳは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
　以上のように、符号化装置５２０は、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データから１本のビットストリームを生成する。従って、1本のビットストリームのみを復号可能なデコーダを有する復号装置において、符号化装置５２０により生成されたビットストリームを復号することができる。
　なお、上述した説明では、互換画像の視差画像、補助画像、および補助画像の視差画像が、互換画像の符号化方式に準ずる3DV方式で符号化されるものとしたが、互換画像の符号化方式に準じないMPEG2（Moving Picture Experts Group phase 2）方式等で符号化されるようにしてもよい。
　［復号装置の構成例］
　図５４は、図５１の符号化装置５２０から送信されるＴＳを復号する復号装置の構成例を示す図である。
　図５４に示す構成のうち、図４０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図５４の復号装置５４０の構成は、主に、分離部１２１、デコーダ１２２、画像生成部１７１の代わりに受信部５４１、デコーダ５４２、画像生成部５４４が設けられている点、および、多重化情報取得部５４３が新たに設けられている点が図４０の構成と異なる。復号装置５４０は、符号化装置５２０から送信されるＴＳに含まれる時間多重化画像のビットストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
　具体的には、復号装置５４０の受信部５４１は、符号化装置５２０から送信されてくるＴＳを受信する。受信部５４１は、ＴＳに含まれる時間多重化画像のビットストリームを抽出し、デコーダ５４２に供給する。また、受信部５４１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、受信部５４１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６とデコーダ５０１に供給する。また、受信部５４１は、ＴＳに含まれる全体多重化情報を抽出し、多重化情報取得部５４３に供給する。
　デコーダ５４２は、互換用デコーダ５５１と補助用デコーダ５５２により構成される。デコーダ５４２の互換用デコーダ５５１は、分離部４６１から供給される互換情報に基づいて、受信部５４１から供給されるビットストリームから互換画像の多重化画像の符号化データを抽出する。互換用デコーダ５５１は、抽出された互換画像の多重化画像の符号化データをAVC方式に対応する方式で復号し、画像生成部５４４に供給する。
　補助用デコーダ５５２は、分離部４６１から供給される互換情報に基づいて、受信部５４１から供給されるビットストリームから補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データを抽出する。補助用デコーダ５５２は、抽出された補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データを、図５１の補助用エンコーダ５３２における符号化方式に対応する方式で復号し、画像生成部５４４に供給する。
　多重化情報取得部５４３は、受信部５４１から供給される全体多重化情報を取得し、画像生成部５４４に供給する。
　画像生成部５４４は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。具体的には、画像生成部５４４は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報、多重化情報取得部５４３からの全体多重化情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
　より詳細には、画像生成部５４４は、多重化情報取得部５４３からの全体多重化情報に基づいて、補助用デコーダ５５２から供給される補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を識別する。また、画像生成部５４４は、図１７の画像生成部１７１と同様に、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。また、画像生成部５４４は、画像生成部１７１と同様に、視差画像情報に含まれる互換画像の視差画像の多重化方式を示す情報に基づいて、互換画像の視差画像の多重化画像から、各互換画像の視差画像を分離する。
　さらに、画像生成部５４４は、画像生成部１７１と同様に、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。また、画像生成部５４４は、画像生成部１７１と同様に、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
　また、画像生成部５４４は、画像生成部１７１と同様に、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部５４４は、画像生成部１７１と同様に、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部５４４は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　また、画像生成部５４４は、画像生成部１７１と同様に、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ５４２から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部５４４は、画像生成部１７１と同様に、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
　［復号装置の処理の説明］
　図５５は、図５４の復号装置５４０による復号処理を説明するフローチャートである。この復号処理は、例えば、図５１の符号化装置５２０から送信されるＴＳが復号装置５４０に入力されたとき、開始される。
　図５５のステップＳ５５１において、復号装置５４０の受信部５４１は、符号化装置５２０から送信されてくるＴＳを受信する。受信部５４１は、ＴＳに含まれるビットストリームを抽出し、デコーダ５４２に供給する。また、受信部５４１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、受信部５４１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。また、受信部５４１は、ＴＳに含まれる全体多重化情報を抽出し、多重化情報取得部５４３に供給する。
　ステップＳ５５２において、画像生成部５４４は、図４１のステップＳ４７４の処理と同様に、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ５５２で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ５５３に進む。
　ステップＳ５５３において、デコーダ５４２の互換用デコーダ５５１は、受信部５４１から供給される互換情報に基づいて、ビットストリームから互換画像の多重化画像の符号化データを抽出し、AVC方式に対応する方式で復号する。そして、互換用デコーダ５５１は、復号の結果得られる互換画像の多重化画像を画像生成部５４４に供給する。　
　ステップＳ５５４において、補助用デコーダ５５２は、受信部５４１から供給される互換情報に基づいて、ビットストリームから補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データを抽出し、図５１の補助用エンコーダ５３２に対応する方式で復号する。補助用デコーダ５５２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を画像生成部５４４に供給し、処理をステップＳ５５５に進める。
　ステップＳ５５５乃至Ｓ５５８の処理は、図４１のステップＳ４７６乃至Ｓ４７９の処理と同様であるので、説明は省略する。
　ステップＳ５５８の処理後、ステップＳ５５９において、多重化情報取得部５４３は、受信部５４１から供給される全体多重化情報を取得し、画像生成部５４４に入力する。
　ステップＳ５６０において、画像生成部５４４は、図４１のステップＳ４８０の処理と同様に、視点間距離情報取得部１２４からの視点間距離情報と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。
　ステップＳ５６１において、画像生成部５４４は、ステップＳ５６０で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報、多重化情報取得部５４３からの全体多重化情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。そして、処理はステップＳ５６２に進む。
　ステップＳ５６２およびＳ５６３の処理は、図４１のステップＳ４８２およびＳ４８３の処理と同様であるので、説明は省略する。
　ステップＳ５５２で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、ステップＳ５６４において、互換用デコーダ５５１は、受信部５４１から供給される互換情報に基づいて、ビットストリームから互換画像の多重化画像の符号化データを抽出し、AVC方式に対応する方式で復号する。そして、互換用デコーダ５５１は、復号の結果得られる互換画像の多重化画像を画像生成部５４４に供給する。
　ステップＳ５６５乃至Ｓ５６７の処理は、図４１のステップＳ４８４乃至Ｓ４８６の処理と同様であるので、説明は省略する。
　なお、復号装置５４０との互換性を有する互換画像のみを復号可能な復号装置では、処理可能な互換画像の符号化データ以外の符号化データが無視され、ステップＳ５６４，Ｓ５６６、およびＳ５６７の処理が行われる。但し、この場合、ステップＳ５６６の処理では、予め決められた多重化方式に基づいて、互換画像の多重化画像が分離される。
　以上のように、復号装置５４０は、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データから生成された１本のビットストリームを復号することができる。
　＜本実施の形態におけるビットストリーム＞
　［ビットストリームの構成例］
　図５６は、本実施の形態で生成されるアクセスユニット単位のビットストリーム（符号化ストリーム）の構成例を示す図である。
　なお、図５６の例では、互換画像が1920×1080画素のＬ画像とＲ画像であり、補助画像が1920×1080画素のＯ画像である。また、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のサイズは、960×1080画素である。さらに、Ｌ画像はAVC方式で符号化され、Ｒ画像はMVC方式で符号化され、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像は3DV方式で符号化される。また、Ｌ画像、Ｒ画像、Ｏ画像、Ｌ視差画像、Ｒ視差画像、Ｏ視差画像のビューＩＤは、それぞれ、0,1,2,3,4,5である。なお、ビューＩＤとは、各視点の画像および視差画像に固有のＩＤである。
　図５６に示すように、アクセスユニット単位のビットストリームには、例えば、先頭から順に、アクセスユニットデリミタ(AUD)，SPS（Sequence Parameter Set）、画像用のMVC方式のSubset SPS（SubsetSPS1）、視差画像用の3DV方式のSubset SPS（Subset SPS2）,PPS（Picture Parameter Set）,AVC方式のSEI,MVC方式のSEI,3DV方式のSEI、符号化データのNAL(Network Abstraction Layer)ユニットが配置される。
　アクセスユニットデリミタのNALユニットは、アクセスユニットの境界を表すNALユニットである。SPSのNALユニットは、AVC方式で定義されるプロファイルのうちのＬ画像のプロファイルを表すprofile_idc（図５６の例では100）を含むSPSのNALユニットである。画像用のSubset SPSのNALユニットは、MVC方式で定義されるプロファイルのうちのＲ画像およびＯ画像のプロファイルを表すprofile_idc（図５６の例では128）を含むSubset SPSのNALユニットである。視差画像用のSubset SPSのNALユニットは、3DV方式で視差画像用のプロファイルとして定義されるプロファイルのうちの、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のプロファイルを表すprofile_idc（図５６の例では138）を含むSubset SPSのNALユニットである。
　AVC方式のSEIのNALユニットは、Ｌ画像のSEIのNALユニットである。MVC方式のSEIのNALユニットは、Ｌ画像とR画像のSEIのNALユニットである。3DV方式のSEIのNALユニットは、Ｌ画像、Ｒ画像、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のSEIのNALユニットである。
　符号化データのNALユニットとしては、先頭から順に、Ｌ画像の符号化データ、デリミタ（MVC DD）、Ｒ画像の符号化データ、デリミタ（3DV DD）、O画像の符号化データ、デリミタ（3DV DD）、Ｌ視差画像の符号化データ、デリミタ（3DV DD）、Ｒ視差画像の符号化データ、デリミタ（3DV DD）、Ｏ視差画像の符号化データのNALユニットが配置される。
　Ｌ画像の符号化データのNALユニットには、NALユニットのタイプとしてAVC方式のピクチャであることを表す1または5を含むNALヘッダが付加される。また、デリミタ（MVC DD）のNALユニットは、MVC方式の符号化データの先頭を表すNALユニットである。Ｒ画像の符号化データのNALユニットには、NALユニットのタイプとしてMVC方式の符号化データを表す20を含むNALヘッダが付加される。また、デリミタ（3DV DD）のNALユニットは、3DV方式の符号化データの先頭を表すNALユニットである。また、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像の符号化データのNALユニットには、NALユニットのタイプとして3DV方式の符号化データを表す21を含むNALヘッダが付加される。
　［視差画像用の3DV方式のSubset SPSの記述例］
　図５７は、図５６の視差画像用の3DV方式のSubset SPSの記述例を示す図である。
　図５７に示すように、視差画像用の3DV方式のSubset SPSには、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のプロファイルを表すprofile_idc（図５７の例では138）を含むSPS（seq_parameter_set_data）と、3DV方式で定義されているprofile_idcごとの情報とが記述されている。
　具体的には、視差画像用の3DV方式のSubset SPSには、profile_idcが138であるときの情報として、視差画像用拡張情報（seq_parameter_set_depth_extension）、視差画像用VUI拡張情報が含まれるかどうかを表す視差画像用VUI情報フラグ（depth_vui_parameters_present_flag）等が記述される。また、視差画像用VUI情報フラグが、視差画像用VUI拡張情報が含まれることを表す場合には、視差画像用VUI拡張情報（depth_vui_parameters__extension）も記述される。
　なお、視差画像用の3DV方式のSubset SPSを復号時に参照する場合、即ち、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像を復号する場合、IDRピクチャの復号時と同様に、参照画像はリセットされる。
　図５８は、図５７の視差画像用拡張情報の記述例を示す図である。
　図５８に示すように、視差画像用拡張情報は、MVC方式のSubset SPS内の拡張情報（seq_parameter_set_mvc_extension）と同様に記述される情報と、各視差画像に対応する画像のビューＩＤ（ref_view_id）とからなる。
　なお、図５８では、MVC方式のSubset SPS内の拡張情報と同様に記述される情報は展開されて視差画像用拡張情報に含められる。従って、各視差画像のビューＩＤ（view_id）と、各視差画像に対応する画像のビューＩＤとを、視差画像ごとにまとめて記述することができる。即ち、視差画像の数を表す情報（num_views_minus1）を記述し、その数だけ、視差画像のビューＩＤと、その視差画像に対応する画像のビューＩＤを読み出させる記述を行うことができる。
　これに対して、MVC方式のSubset SPS内の拡張情報と同様に記述される情報が展開されずに視差画像用拡張情報に含められる場合、視差画像用拡張情報のほかに、視差画像の数を表す情報を記述し、その数だけ、視差画像に対応する画像のビューＩＤを読み出させる記述を行う必要がある。その結果、視差画像の数を表す情報の記述と、その数だけ情報を読み出させる記述が重複する。
　従って、図５８に示すように、MVC方式のSubset SPS内の拡張情報と同様に記述される情報が展開されて視差画像用拡張情報に含められる場合、その情報が展開されずに視差画像用拡張情報に含められる場合に比べて、視差画像用拡張情報のデータ量を削減することができる。
　図５９は、図５７の視差画像用VUI拡張情報の記述例を示す図である。
　図５９に示すように、視差画像用VUI拡張情報は、以下の点を除いて、MVC方式のVUI拡張情報（mvc_vui_parameters__extension）と同様に記述される。即ち、視差画像用VUI情報には、視差画像の各画素の、その視差画像に対応する画像上の位置のタイプを表す位置タイプが含まれるかどうかを表す位置タイプフラグ(depth_loc_info_present_flag)と解像度変換前の視差画像のサイズを表す変換前サイズ情報が含まれるかどうかを表す変換前サイズ情報フラグ(video_src_info_present_flag)が含まれる。また、位置タイプフラグが、位置タイプが含まれることを表す場合、視差画像用VUI情報には位置タイプも含まれ、変換前サイズ情報フラグが、変換前サイズ情報が含まれることを表す場合、視差画像用VUI情報には変換前サイズ情報も含まれる。
　位置タイプは、トップフィールドの位置タイプ(depth_sample_loc_type_top_field)とボトムフィールドの位置タイプ(depth_sample_loc_type_bottom_field)からなる。トップフィールドおよびボトムフィールドの位置タイプは、それぞれ、MVC方式のVUI拡張情報に含まれるトップフィールドの位置タイプ(chroma_sample_loc_type_top_field)やボトムフィールドの位置タイプ(chroma_sample_loc_type_bottom_field)と同様に記述される。
　また、変換前サイズ情報は、解像度変換前の視差画像の横方向のマクロブロック数を表す情報（pic_width_in_mbs_minus1）および縦方向のマクロブロック数を表す情報（pic_height_in_mbs_minus1）、アスペクト比を表すアスペクト情報が含まれるかどうかを表すアスペクト比フラグ(aspect_ratio_info_present_flag)等により構成される。なお、アスペクト比フラグが、アスペクト情報が含まれることを表す場合、変換前サイズ情報にはアスペクト情報も含まれる。
　アスペクト情報は、アスペクト比に固有のＩＤであるアスペクト比ＩＤ（aspect_ratio_idc）等からなる。なお、このアスペクト比ＩＤは、予め定義されているアスペクト比に付与されるほか、定義されていないアスペクト比全体に対しても付与される。そして、アスペクト情報に含まれるアスペクト比ＩＤが、定義されていないアスペクト比全体に対して付与されたアスペクト比ＩＤ（Extended_SAR）である場合、アスペクト情報には、解像度変換前の視差画像のアスペクト比における横方向の値（sar_width）と縦方向の値(sar_height)も含まれる。
　［3DV方式の符号化データのNALヘッダの記述例］
　図６０は、NALユニットタイプとして21を含む、3DV方式の符号化データのNALユニットのNALヘッダの記述例を示す図である。
　図６０に示すように、3DV方式の符号化データのNALヘッダには、NALユニットタイプが21であるときの情報として、視差画像用ヘッダ拡張情報が含まれているかどうかを表す視差画像用ヘッダ拡張情報フラグ（depth_extension_flag）等が記述される。ここで、視差画像用ヘッダ拡張情報は、3DV方式の視差画像の符号化データのNALヘッダに記述されるものである。
　視差画像用ヘッダ拡張情報フラグが、視差画像用ヘッダ拡張情報が含まれていることを表す場合、3DV方式の符号化データのNALヘッダには、視差画像用ヘッダ拡張情報（nal_unit_header_depth_extension）も記述される。一方、視差画像用ヘッダ拡張情報フラグが、視差画像用ヘッダ拡張情報が含まれていないことを表す場合、3DV方式の符号化データのNALヘッダには、MVC方式用ヘッダ拡張情報（nal_unit_header_mvc_extension）も記述される。
　図６１は、図６０の視差画像用ヘッダ拡張情報の記述例を示す図である。
　図６１に示すように、視差画像用ヘッダ拡張情報は、視差画像に対応する画像のビューＩＤ（ref_view_id）を含む点を除いて、MVC方式用ヘッダ拡張情報と同様に構成される。
　［3DV方式のSEIの記述例］
　図６２は、図５６の3DV方式のSEIの記述例を示す図である。
　図６２に示すように、3DV方式のSEIは、MVC方式のSEIと同様に、SEIのメッセージが記述される。
　即ち、3DV方式のSEIには、オペレーションポイントを指定するかどうかを表すオペレーションポイントフラグ（operation_point_flag）が記述され、オペレーションポイントフラグが、オペレーションポイントを指定しないことを表す場合、アクセスユニット内の全ての画像および視差画像にSEIのメッセージを適応するかどうかを表す全コンポーネントフラグ（all_view_components_in_au_flag）が記述される。また、全コンポーネントフラグが、アクセスユニット内の全ての画像および視差画像に適応しないことを表す場合、SEIのメッセージを適応する画像および視差画像のビューＩＤの数（num_view_components_minus1）とビューＩＤ(sei_view_id)が記述される。
　一方、オペレーションポイントフラグが、オペレーションポイントを指定することを表す場合、SEIのメッセージを適応するオペレーションポイントのうちの適応対象の画像および視差画像のビューＩＤ(sei_op_view_id)と、そのオペレーションポイントの番号(sei_op_temporal_id)とが記述される。そして、SEIのメッセージ(sei_rbsp)が記述される。なお、3DV方式のSEIでは、複数のSEIのメッセージを記述することが可能である。
　なお、図５６の例では、Ｒ画像とＯ画像のプロファイルが同一であるものとしたが、異なるようにすることもできる。
　[ビットストリームの他の構成例]
　図６３は、図５６においてＲ画像とＯ画像のプロファイルが異なる場合のアクセスユニット単位のビットストリームの構成例を示す図である。
　図６３のビットストリームの構成は、画像用のMVC方式のSubset SPSと視差画像用の3DV方式のSubset SPSのほかに、画像用の3DV方式のSubset SPSが配置される点が、図５６のビットストリームの構成と異なっている。
　画像用のMVC方式のSubset SPSのNALユニット（Subset SPS1）は、MVC方式で定義されるプロファイルのうちのＲ画像のプロファイルを表すprofile_idc（図６３の例では128）を含むSubset SPSのNALユニットである。画像用の3DV方式のSubset SPS（Subset SPS2）のNALユニットは、3DV方式で画像用のプロファイルとして定義されるプロファイルのうちのＯ画像のプロファイルを表すprofile_idc（図６３の例では148）を含むSubset SPSのNALユニットである。視差画像用のSubset SPS（Subset SPS3）のNALユニットは、3DV方式で視差画像用のプロファイルとして定義されるプロファイルのうちの、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のプロファイルを表すprofile_idc（図６３の例では138）を含むSubset SPSのNALユニットである。
　[画像用の3DV方式のSubset SPSの記述例]
　図６４は、図６３の画像用の3DV方式のSubset SPSの記述例を示す図である。
　図６４に示すように、画像用の3DV方式のSubset SPSは、画像Ｏのプロファイルを表すprofile_idc（図６４の例では148）を含むSPS（seq_parameter_set_data）と、3DV方式で定義されているprofile_idcごとの情報とが記述されている。
　具体的には、画像用の3DV方式のSubset SPSには、profile_idcが148であるときの情報として、MVC方式のSubset SPSと同様に、MVC方式の拡張情報（seq_parameter_set_mvc_extension）、MVC方式のVUI拡張情報が含まれるかどうかを表すMVC方式VUI情報フラグ（mvc_vui_parameters_present_flag）等が記述される。また、MVC方式VUI情報フラグが、MVC方式のVUI拡張情報が含まれることを表す場合には、MVC方式のVUI拡張情報（mvc_vui_parameters_extension）も記述される。また、profile_idcが138であるときの情報としては、図５７と同様の情報が記述される。
　なお、3DV方式は、AVC方式やMVC方式ではなく、HEVC（High Efficiency Video Coding）方式に準じた多視点方式での表示用の画像を符号化するための方式であるようにしてもよい。この場合のビットストリームについて以下に説明する。なお、本明細書では、HEVC方式が、HEVC Working Draft:Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J. Sullivian,“WD3:Working Draft3 of High-Efficiency Video Coding”,JCTVc-E603_d5(version5),2011年5月20日の記載に基づくものであるとする。
　＜3DV方式がHEVC方式に準じた方式である場合のビットストリーム＞
　[ビットストリームの構成例]
　図６５は、3DV方式がHEVC方式に準じた方式である場合のアクセスユニット単位のビットストリームの構成例を示す図である。
　なお、図６５の例では、図５６の例と同様のＬ視点画像、Ｒ視点画像、およびＯ視点画像が符号化対象とされ、Ｌ画像がAVC方式で符号化され、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像が3DV方式で符号化される。
　図６５のビットストリームは、画像用の3DV方式のSubset SPS（SubsetSPS1）と視差画像用の3DV方式のSubset SPS（Subset SPS2）をSPS内に記述可能である点、HEVC方式のSEIと3DV方式のSEIのNALユニットに、それぞれ別のNALユニットのタイプを含むNALヘッダが付加される点が、図５６のビットストリームと異なっている。
　図６５のビットストリームでは、画像用の3DV方式のSubset SPSと視差画像用の3DV方式のSubset SPSをSPS内にのみ記述させたり、SPSとは別に記述させたり、SPSに記述させるとともにSPSとは別に記述させたりすることができる。なお、画像用の3DV方式のSubset SPSと視差画像用の3DV方式のSubset SPSが、SPSと別に記述されることは、BD規格に準拠して、HEVC方式の符号化データと3DV方式の符号化データを別のES（Elementary Stream）として生成する場合に好適である。
　また、図６５のビットストリームでは、HEVC方式のSEIのNALユニットと3DV方式のSEIのNALユニットに付加されるNALヘッダに含まれるNALユニットのタイプが異なるため、復号時にHEVC方式のSEIや3DV方式のSEIのNALユニットを容易に抽出することができる。
　[SPSの記述例]
　図６６は、図６５のSPSの記述例を示す図である。
　図６６のSPSの記述は、Subset SPSの情報が含まれるかどうかを表すSubset SPS情報フラグ（subset_seq_present_flag）が記述される点、および、Subset SPS情報フラグがSubset SPSの情報が含まれることを表す場合にSubset SPSの情報が記述される点を除いて、HEVC方式のSPSの記述と同様である。
　図６６に示すように、Subset SPSの情報は、Subset SPSの数(num_subset_seq)と、Subset SPSを含むかどうかを表すSubset SPSフラグ(subset_seq_info_present_flag)を含む。また、Subset SPSフラグが、Subset SPSを含むことを表す場合、Subset SPSの情報には、Subset SPS(subset_seq_parameter_set_data)も含まれる。
　以上のように、Subset SPSの情報としてSubset SPSの数が記述されるので、復号時にSPSの記述を読み出すだけで、Subset SPSが存在するかどうかを認識することができる。また、Subset SPSフラグが記述されるので、Subset SPSをSPS内に記述せずにSPSとは別に記述することができ、Subset SPSの記述の重複を防止することができる。
　[Subset SPSの記述例]
　図６７は、図６６のSubset SPSの記述例を示す図である。
　図６７のSubset SPSの記述は、Subset SPSを適応する画像および視差画像のビューＩＤの数（num_subset_seq_views）、Subset SPSの適応対象が視差画像であるかどうかを表す視差画像用フラグ（depth_extension_flag）、およびSubset SPSの適応時にSPSを無効にするかどうかを表す無効フラグ（seq_param_override_flag）が記述される点を除いて、HEVC方式のSPSの記述と同様である。
　視差画像用フラグが、Subset SPSの適応対象が視差画像であることを表す場合、Subset SPSには、適応対象の視差画像に対応する画像のビューＩＤ（ref_view_id）が記述される。また、無効フラグが、Subset SPSの適応時にSPSを無効にすることを表す場合、Subset SPSには、SPSと同様に、プロファイルを表す情報(subset_seq_profile_idc)等が記述される。
　また、Subset SPSの記述のうちのSPSの記述と同様の記述としては、例えば、適応する画像および視差画像がクロッピングされているかどうかを表す情報（subset_seq_frame_cropping_flag）、VUI情報（subset_seq_vui_parameters）を含むかどうかを表すVUI情報フラグ（subset_seq_vui_parameters_present_flag）等がある。VUI情報フラグがVUI情報を含むことを表す場合、SPSと同様にVUI情報も記述される。一方、VUI情報フラグがVUI情報を含まないことを表す場合、SPSと同様にVUI情報が記述されない。この場合、VUI情報としてはSPSのVUI情報が適応される。
　[Subset SPSのVUI情報の記述例]
　図６８は、図６７のSubset SPSのVUI情報の記述例を示す図である。
　図６８のSubset SPSのVUI情報の記述は、適応対象の変換前サイズ情報が含まれるかどうかを表す変換前サイズ情報フラグ(video_src_info_present_flag)が記述される点を除いて、HEVC方式のSPSのVUI情報の記述と同様である。
　なお、変換前サイズ情報フラグが適応対象の変換前サイズ情報が含まれることを表す場合、図６８のVUI情報には、変換前サイズ情報が記述される。即ち、解像度変換前の適応対象の横方向のマクロブロック数を表す情報（src_pic_width_in_mbs_minus1）および縦方向のマクロブロック数を表す情報（src_pic_height_in_mbs_minus1）、アスペクト比を表すアスペクト情報が含まれるかどうかを表すアスペクト比フラグ(src_aspect_ratio_info_present_flag)等が記述される。
　そして、アスペクト比フラグが、アスペクト情報が含まれることを表す場合、変換前サイズ情報には、アスペクト比ＩＤ（src_aspect_ratio_idc）等からなるアスペクト情報も含まれる。そして、アスペクト情報に含まれるアスペクト比ＩＤが、定義されていないアスペクト比全体に対して付与されたアスペクト比ＩＤ（Extended_SAR）である場合、アスペクト情報には、解像度変換前の適応対象のアスペクト比における横方向の値（sar_width）と縦方向の値(sar_height)も含まれる。
　なお、図６８のSubset SPSのVUI情報は、SPSのVUI情報と異なる点だけ記述されるようにしてもよい。この場合、Subset SPSのVUI情報のうちの記述されない情報については、SPSのVUI情報に含まれる情報が適用される。
　[SEIの記述例]
　図６９は、図６５の3DV方式のSEIの記述例を示す図である。
　図６９の3DV方式のSEIの記述は、SEIメッセージのタイプ（nesting_type）、全コンポーネントフラグ（all_view_components_in_au_flag）等が記述される点を除いて、SEIメッセージのタイプのSEIメッセージの記述と同様である。
　SEIメッセージのタイプとしては、MVC方式のSEIメッセージ、3DV方式のSEIメッセージ、ユーザにより定義されたSEIメッセージなどがある。また、全コンポーネントフラグが、アクセスユニット内の全ての画像および視差画像に適応しないことを表す場合、3DV方式のSEIには、SEIのメッセージを適応する画像および視差画像のビューＩＤの数（num_view_components_minus1）と、その数だけのビューＩＤ(nesting_sei_view_id)も記述される。
　＜第８実施の形態＞
　[本技術を適用したコンピュータの説明]
　次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　そこで、図７０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
　プログラムは、コンピュータに内蔵されている記録媒体としての記憶部８０８やROM（Read Only Memory）８０２に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブルメディア８１１に格納（記録）しておくことができる。このようなリムーバブルメディア８１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア８１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブルメディア８１１からドライブ８１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部８０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)８０１を内蔵しており、CPU８０１には、バス８０４を介して、入出力インタフェース８０５が接続されている。
　CPU８０１は、入出力インタフェース８０５を介して、ユーザによって、入力部８０６が操作等されることにより指令が入力されると、それに従って、ROM８０２に格納されているプログラムを実行する。あるいは、CPU８０１は、記憶部８０８に格納されたプログラムを、RAM(Random Access Memory)８０３にロードして実行する。
　これにより、CPU８０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース８０５を介して、出力部８０７から出力、あるいは、通信部８０９から送信、さらには、記憶部８０８に記録等させる。
　なお、入力部８０６は、キーボードや、マウス、マイク等で構成される。また、出力部８０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　本技術は、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置および復号装置に適用することができる。
　また、上述した符号化装置および復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。
　＜第９実施の形態＞
　［テレビジョン装置の構成例］
　図７１は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
　チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
　デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
　デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
　映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
　表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
　音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
　外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
　制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
　制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
　なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
　このように構成されたテレビジョン装置では、デコーダ９０４に本願の復号装置（復号方法）の機能が設けられる。このため、多視点の画像に対して、既存の方式との互換性を有する方式で復号を行うことができる。
　＜第１０実施の形態＞
　［携帯電話機の構成例］
　図７２は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
　また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
　携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
　音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
　また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
　なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
　データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
　多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
　このように構成された携帯電話装置では、画像処理部９２７に本願の復号装置（復号方法）の機能が設けられる。このため、画像データの通信において、符号化ストリームを復号化して復号画像データを生成するとき、多視点の画像に対して、既存の方式との互換性を有する方式で復号を行うことができる。
　＜第１１実施の形態＞
　［記録再生装置の構成例］
　図７３は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
　記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
　チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
　外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
　エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
　ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
　ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ－Ｖｉｄｅｏ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ－ｒａｙディスク等である。
　セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
　デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
　ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
　制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
　制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
　このように構成された記録再生装置では、エンコーダ９４３に本願の符号化装置（符号化方法）の機能が設けられる。このため、符号化ストリームを復号化して復号画像データを生成するとき、多視点の画像に対して、既存の方式との互換性を有する方式で符号化を行うことができる。
　＜第１２実施の形態＞
　［撮像装置の構成例］
　図７４は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
　撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
　光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
　カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
　画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
　ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
　外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
　メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
　また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
　制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された撮像装置では、画像データ処理部９６４に本願の復号装置（復号方法）の機能が設けられる。このため、メモリ部９６７や記録メディア等に記録された符号化データを復号化して復号画像データを生成するとき、多視点の画像に対して、既存の方式との互換性を有する方式で復号を行うことができる。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　５０　符号化装置，　５２　画像変換部，　５３　視差画像生成部，　５５　互換情報生成部，　５６　視点間距離情報生成部，　５９　多重化部，　６１　互換用エンコーダ，　６２　補助用エンコーダ，　１２０　復号装置，　１２１　分離部，　１２７　画像生成部，　１３１　互換用デコーダ，　１３２　補助用デコーダ，　１４０　符号化装置，　１４２　画像変換部，　１４３　視差画像生成部，　１４４　視点間距離情報生成部，　１５１　互換用エンコーダ，　１５２　補助用エンコーダ，　１７０　復号装置，　１７１　画像生成部，　１８０　符号化装置，　１８１　画像変換部，　１９１　互換用エンコーダ，　２００　復号装置，　２０２　画像生成部，　２１１　互換用デコーダ

Claims (26)

  1. 　多視点の画像から互換画像を指定し、指定した前記互換画像を符号化して、第１の符号化ストリームを生成する互換画像符号化部と、
    　前記互換画像から多視点画像を生成する際に用いる補助画像の解像度を変換する画像変換部と、
    　前記画像変換部により変換された前記補助画像を符号化して、第２の符号化ストリームを生成する補助画像符号化部と、
    　前記互換画像を指定する互換画像指定情報を設定する設定部と、
    　前記互換画像符号化部により生成された前記第１の符号化ストリームと、前記補助画像符号化部により生成された前記第２の符号化ストリームと、前記設定部により設定された前記互換画像指定情報とを伝送する伝送部と
    　を備える符号化装置。
  2. 　

    前記互換画像の視差画像である互換視差画像を符号化して、第１の視差符号化ストリームを生成し、前記補助画像の視差画像である補助視差画像を符号化して、第２の視差符号化ストリームを生成する視差画像符号化部
    　をさらに備え、
    　前記伝送部は、前記視差画像符号化部により生成された前記第１の視差符号化ストリームと前記第２の視差符号化ストリームとを伝送する
    　請求項１に記載の符号化装置。
  3. 　前記画像変換部は、前記補助視差画像の解像度を変換し、
    　前記視差画像符号化部は、前記画像変換部により解像度が変換された前記補助視差画像を符号化する
    　請求項２に記載の符号化装置。
  4. 　前記画像変換部により解像度が変換された前記補助視差画像を多重化する多重化部
    　をさらに備え、
    　前記設定部は、前記補助視差画像の多重化方式を示す多重化方式情報を設定し、
    　前記視差画像符号化部は、前記多重化部により多重化された前記補助視差画像を符号化し、
    　前記伝送部は、前記設定部により設定された前記多重化方式情報を伝送する
    　請求項３に記載の符号化装置。
  5. 　前記設定部は、前記補助視差画像の解像度の変換方式を示す変換方式情報を設定し、
    　前記伝送部は、前記設定部により設定された前記変換方式情報を伝送する
    　請求項３に記載の符号化装置。
  6. 　前記互換視差画像を時間方向に多重化する多重化部
    　をさらに備え、
    　前記設定部は、前記互換視差画像の多重化方式を示す多重化方式情報を設定し、
    　前記視差画像符号化部は、前記多重化部により時間方向に多重化された前記互換視差画像を符号化し、
    　前記伝送部は、前記設定部により設定された前記多重化方式情報を伝送する
    　請求項３に記載の符号化装置。
  7. 　前記多重化部は、前記補助視差画像を空間方向に多重化し、
    　前記設定部は、前記互換視差画像と前記補助視差画像の前記多重化方式情報を設定し、
    　前記視差画像符号化部は、前記多重化部により時間方向に多重化された前記互換視差画像と空間方向に多重化された前記補助視差画像とを符号化し、
    　前記伝送部は、前記設定部により設定された前記多重化方式情報を伝送する
    　請求項６に記載の符号化装置。
  8. 　前記互換視差画像は、前記互換画像に共通の視差画像である
    　請求項２に記載の符号化装置。
  9. 　前記補助画像と前記互換視差画像とを時間方向に多重化する多重化部
    　をさらに備え、
    　前記設定部は、前記多重化部における多重化方式を示す多重化方式情報を設定し、
    　前記補助画像符号化部は、前記多重化部により多重化された前記補助画像を符号化し、
    　前記視差画像符号化部は、前記多重化部により多重化された前記互換視差画像を符号化し、
    　前記伝送部は、前記設定部により設定された前記多重化方式情報を伝送する
    　請求項２に記載の符号化装置。
  10. 　前記設定部は、前記互換画像と前記補助画像の視点間の距離を表す距離情報を設定し、
    　前記伝送部は、前記設定部により設定された前記距離情報を伝送する
    　請求項１に記載の符号化装置。
  11. 　前記画像変換部は、解像度が変換された前記補助画像を多重化し、
    　前記設定部は、前記補助画像の多重化方式を示す補助画像多重化方式情報を設定し、
    　前記補助画像符号化部は、前記画像変換部により多重化された前記補助画像を符号化し、
    　前記伝送部は、前記設定部により設定された前記補助画像多重化方式情報を伝送する
    　請求項１に記載の符号化装置。
  12. 　前記設定部は、前記補助画像の解像度の変換方式を示す補助画像解像度変換方式情報を設定し
    　前記伝送部は、前記設定部により設定された前記補助画像解像度変換方式情報を伝送する
    　請求項１１に記載の符号化装置。
  13. 　符号化装置が、
    　多視点の画像から互換画像を指定し、指定した前記互換画像を符号化して、第１の符号化ストリームを生成する互換画像符号化ステップと、
    　前記互換画像から多視点画像を生成する際に用いる補助画像の解像度を変換する画像変換ステップと、
    　前記画像変換ステップの処理により変換された前記補助画像を符号化して、第２の符号化ストリームを生成する補助画像符号化ステップと、
    　前記互換画像を指定する互換画像指定情報を設定する設定ステップと、
    　前記互換画像符号化ステップの処理により生成された前記第１の符号化ストリームと、前記補助画像符号化ステップの処理により生成された前記第２の符号化ストリームと、前記設定ステップの処理により設定された前記互換画像指定情報とを伝送する伝送ステップと
    　を含む符号化方法。
  14. 　多視点の画像から指定された互換画像が符号化された結果得られる第１の符号化ストリームと、前記互換画像から多視点画像を生成する際に用いる補助画像の解像度が変換され、符号化された結果得られる第２の符号化ストリームと、前記互換画像を指定する互換画像指定情報とを受け取る受け取り部と、
    　前記互換画像指定情報に基づいて前記第１の符号化ストリームを識別し、前記第１の符号化ストリームを復号する互換画像復号部と、
    　前記第２の符号化ストリームを復号する補助画像復号部と、
    　前記補助画像復号部による復号の結果得られる解像度が変換された前記補助画像の解像度を変換する画像変換部と
    　を備える復号装置。
  15. 　前記互換画像の視差画像である互換視差画像が符号化された結果得られる第１の視差符号化ストリームと、前記補助画像の視差画像である補助視差画像が符号化された結果得られる第２の視差符号化ストリームとを復号する視差画像復号部
    　をさらに備え、
    　前記受け取り部は、前記第１の視差符号化ストリームと前記第２の視差符号化ストリームとを受け取る
    　請求項１４に記載の復号装置。
  16. 　前記第２の視差符号化ストリームは、解像度が変換された前記補助視差画像が符号化された結果得られ、
    　前記画像変換部は、前記視差画像復号部による復号の結果得られる解像度が変換された前記補助視差画像の解像度を変換する
    　請求項１５に記載の復号装置。
  17. 　多重化された前記補助視差画像を分離する分離部
    　をさらに備え、
    　前記第２の視差符号化ストリームは、解像度が変換され、多重化された前記補助視差画像が符号化された結果得られ、
    　前記受け取り部は、前記補助視差画像の多重化方式を示す多重化方式情報を受け取り、
    　前記分離部は、前記受け取り部により受け取られた前記多重化方式情報に基づいて、前記視差画像復号部による復号の結果得られる、解像度が変換され、多重化された前記補助視差画像を分離し、
    　前記画像変換部は、前記分離部による分離の結果得られる解像度が変換された前記補助視差画像の解像度を変換する
    　請求項１６に記載の復号装置。
  18. 　前記受け取り部は、前記補助視差画像の解像度の変換方式を示す変換方式情報を受け取り、
    　前記画像変換部は、前記受け取り部により受け取られた前記変換方式情報に基づいて、解像度が変換された前記補助視差画像の解像度を変換する
    　請求項１６に記載の復号装置。
  19. 　時間方向に多重化された前記互換視差画像を分離する分離部
    　をさらに備え、
    　前記第１の視差符号化ストリームは、時間方向に多重化された前記互換視差画像が符号化された結果得られ、
    　前記受け取り部は、前記互換視差画像の多重化方式を示す多重化方式情報を受け取り、
    　前記分離部は、前記受け取り部により受け取られた前記多重化方式情報に基づいて、前記視差画像復号部による復号の結果得られる時間方向に多重化された前記互換視差画像を分離する
    　請求項１６に記載の復号装置。
  20. 　前記第２の視差符号化ストリームは、解像度が変換され、空間方向に多重化された前記補助視差画像が符号化された結果得られ、
    　前記受け取り部は、前記互換視差画像と前記補助視差画像の前記多重化方式情報を受け取り、
    　前記分離部は、前記受け取り部により受け取られた前記互換視差画像の前記多重化方式情報に基づいて、前記視差画像復号部による復号の結果得られる時間方向に多重化された前記互換視差画像を分離し、前記受け取り部により受け取られた前記補助視差画像の前記多重化方式情報に基づいて、前記視差画像復号部による復号の結果得られる、解像度が変換され、空間方向に多重化された前記補助視差画像を分離し、
    　前記画像変換部は、前記分離部により分離された、解像度が変換された前記補助視差画像の解像度を変換する
    　請求項１９に記載の復号装置。
  21. 　前記互換視差画像は、前記互換画像に共通の視差画像である
    　請求項１５に記載の復号装置。
  22. 　時間方向に多重化された前記補助画像と前記互換視差画像とを分離する分離部
    　をさらに備え、
    　前記第２の符号化ストリームは、解像度が変換され、時間方向に多重化された前記補助画像が符号化された結果得られ、
    　前記第１の視差符号化ストリームは、時間方向に多重化された前記互換視差画像が符号化された結果得られ、
    　前記受け取り部は、前記補助画像と前記互換視差画像の多重化方式を示す多重化方式情報を受け取り、
    　前記分離部は、前記多重化方式情報に基づいて、前記補助画像復号部による復号の結果得られる解像度が変換され、時間方向に多重化された前記補助画像を分離し、前記視差画像復号部による復号の結果得られる時間方向に多重化された前記互換視差画像を分離し、
    　前記画像変換部は、前記分離部により分離された、解像度が変換された前記補助画像の解像度を変換する
    　請求項１５に記載の復号装置。
  23. 　前記互換画像復号部による復号の結果得られる前記互換画像と、前記画像変換部により解像度が変換された前記補助画像とを用いて、前記多視点画像を生成する生成部
    　をさらに備え、
    　前記受け取り部は、前記互換画像と前記補助画像の視点間の距離を表す距離情報を受け取り、
    　前記生成部は、前記互換画像と、前記補助画像と、前記受け取り部により受け取られた前記距離情報とを用いて、前記多視点画像を生成する
    　請求項１４に記載の復号装置。
  24. 　多重化された前記補助画像を分離する分離部
    　をさらに備え、
    　前記第２の符号化ストリームは、解像度が変換され、多重化された前記補助画像が符号化された結果得られ、
    　前記受け取り部は、前記補助画像の多重化方式を示す補助画像多重化方式情報を受け取り、
    　前記分離部は、前記受け取り部により受け取られた前記補助画像多重化方式情報に基づいて、前記補助画像復号部による復号の結果得られる、解像度が変換され、多重化された前記補助画像を分離し、
    　前記画像変換部は、前記分離部により分離された、解像度が変換された前記補助画像の解像度を変換する
    　請求項１４に記載の復号装置。
  25. 　前記受け取り部は、前記補助画像の解像度の変換方式を示す補助画像解像度変換方式情報を受け取り、
    　前記画像変換部は、前記受け取り部により受け取られた前記補助画像解像度変換方式情報に基づいて、解像度が変換された前記補助画像の解像度を変換する
    　請求項２４に記載の復号装置。
  26. 　復号装置が、
    　多視点の画像から指定された互換画像が符号化された結果得られる第１の符号化ストリームと、前記互換画像から多視点画像を生成する際に用いる補助画像の解像度が変換され、符号化された結果得られる第２の符号化ストリームと、前記互換画像を指定する互換画像指定情報とを受け取る受け取りステップと、
    　前記互換画像指定情報に基づいて前記第１の符号化ストリームを識別し、前記第１の符号化ストリームを復号する互換画像復号ステップと、
    　前記第２の符号化ストリームを復号する補助画像復号ステップと、
    　前記補助画像復号ステップの処理による復号の結果得られる解像度が変換された前記補助画像の解像度を変換する画像変換ステップと
    　を含む復号方法。
PCT/JP2011/069840 2010-09-03 2011-08-31 符号化装置および符号化方法、並びに復号装置および復号方法 WO2012029883A1 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CA2806846A CA2806846A1 (en) 2010-09-03 2011-08-31 Encoding device, encoding method, decoding device, and decoding method
KR1020137004508A KR20130108263A (ko) 2010-09-03 2011-08-31 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법
AU2011296953A AU2011296953A1 (en) 2010-09-03 2011-08-31 Encoding device, encoding method, decoding device, and decoding method
RU2013108077/08A RU2013108077A (ru) 2010-09-03 2011-08-31 Устройство кодирования, способ кодирования, устройство декодирования и способ декодирования
MX2013002136A MX2013002136A (es) 2010-09-03 2011-08-31 Dispositivo de codificacion, metodo de codificacion, dispositivo de decodificacion y metodo de decodificacion.
US13/816,247 US9762884B2 (en) 2010-09-03 2011-08-31 Encoding device, encoding method, decoding device, and decoding method for encoding multiple viewpoints for compatibility with existing mode allowing fewer viewpoints
CN2011800407455A CN103081479A (zh) 2010-09-03 2011-08-31 编码装置、编码方法、解码装置和解码方法
JP2012531950A JPWO2012029883A1 (ja) 2010-09-03 2011-08-31 符号化装置および符号化方法、並びに復号装置および復号方法
EP11821898.1A EP2613537A4 (en) 2010-09-03 2011-08-31 DEVICE AND ENCODING METHOD, AND DEVICE, AND DECODING METHOD
BR112013004454A BR112013004454A2 (pt) 2010-09-03 2011-08-31 dispositivos e métodos de codificação e de decodificação

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2010198350 2010-09-03
JP2010-198350 2010-09-03
JP2010-228276 2010-10-08
JP2010228276 2010-10-08
JP2011-131676 2011-06-13
JP2011131676 2011-06-13

Publications (1)

Publication Number Publication Date
WO2012029883A1 true WO2012029883A1 (ja) 2012-03-08

Family

ID=45772960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/069840 WO2012029883A1 (ja) 2010-09-03 2011-08-31 符号化装置および符号化方法、並びに復号装置および復号方法

Country Status (11)

Country Link
US (1) US9762884B2 (ja)
EP (1) EP2613537A4 (ja)
JP (1) JPWO2012029883A1 (ja)
KR (1) KR20130108263A (ja)
CN (1) CN103081479A (ja)
AU (1) AU2011296953A1 (ja)
BR (1) BR112013004454A2 (ja)
CA (1) CA2806846A1 (ja)
MX (1) MX2013002136A (ja)
RU (1) RU2013108077A (ja)
WO (1) WO2012029883A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014107092A1 (ko) * 2013-01-07 2014-07-10 삼성전자 주식회사 영상을 멀티 코덱에 호환 가능하도록 부호화/복호화하는 방법 및 장치
EP2843942A4 (en) * 2012-04-25 2015-05-27 Univ Zhejiang METHOD AND DEVICE FOR ENCODING AND DECODING AUXILIARY DATA OF A THREE-DIMENSIONAL VIDEO SEQUENCE

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010009737A1 (de) * 2010-03-01 2011-09-01 Institut für Rundfunktechnik GmbH Verfahren und Anordnung zur Wiedergabe von 3D-Bildinhalten
US10447990B2 (en) 2012-02-28 2019-10-15 Qualcomm Incorporated Network abstraction layer (NAL) unit header design for three-dimensional video coding
EP2833634A4 (en) * 2012-03-30 2015-11-04 Sony Corp IMAGE PROCESSING DEVICE AND METHOD, AND RECORDING MEDIUM
JP6181848B2 (ja) * 2014-02-21 2017-08-16 エルジー エレクトロニクス インコーポレイティド ３ｄ放送信号を処理する方法及び装置
US9948952B2 (en) 2014-02-21 2018-04-17 Lg Electronics Inc. Broadcast signal transmitting device and broadcast signal receiving device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0870473A (ja) * 1994-08-29 1996-03-12 Nippon Telegr & Teleph Corp <Ntt> 距離情報を用いた立体画像の通信方式
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
JP2008182669A (ja) 2006-10-13 2008-08-07 Victor Co Of Japan Ltd 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
JP2010508752A (ja) * 2006-11-01 2010-03-18 韓國電子通信研究院 立体映像コンテンツ再生に利用されるメタデータの復号化方法及び装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100977193B1 (ko) * 2002-04-25 2010-08-20 샤프 가부시키가이샤 화상 데이터 생성 장치, 화상 데이터 재생 장치, 및 화상데이터 기록 매체
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
KR101199498B1 (ko) * 2005-03-31 2012-11-09 삼성전자주식회사 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR100827242B1 (ko) * 2006-06-26 2008-05-07 삼성전기주식회사 이미지 복원 방법 및 장치
CN101491079A (zh) * 2006-07-11 2009-07-22 汤姆逊许可证公司 用在多视角视频编码中的方法和装置
WO2008054100A1 (en) * 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
EP2135454A4 (en) * 2007-03-02 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
US20100266042A1 (en) * 2007-03-02 2010-10-21 Han Suh Koo Method and an apparatus for decoding/encoding a video signal
EP2130374A4 (en) * 2007-03-23 2011-03-02 Lg Electronics Inc METHOD AND ARRANGEMENT FOR DECODING / CODING A VIDEO SIGNAL
KR20100014553A (ko) * 2007-04-25 2010-02-10 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
US10313702B2 (en) * 2007-04-25 2019-06-04 Interdigital Madison Patent Holdings Inter-view prediction
US20080317124A1 (en) * 2007-06-25 2008-12-25 Sukhee Cho Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
KR100918862B1 (ko) 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
KR101260613B1 (ko) * 2008-12-26 2013-05-03 닛뽕빅터 가부시키가이샤 화상 부호화 장치, 화상 부호화 방법 및 그 프로그램 및 화상 복호화 장치, 화상 복호화 방법 및 그 프로그램
CN104702960B (zh) * 2009-01-26 2018-01-02 汤姆森特许公司 用于视频解码的装置
JP4984184B2 (ja) 2009-04-08 2012-07-25 ソニー株式会社 再生装置および再生方法
US8368696B2 (en) * 2009-06-19 2013-02-05 Sharp Laboratories Of America, Inc. Temporal parallax induced display
US9025933B2 (en) 2010-02-12 2015-05-05 Sony Corporation Information processing device, information processing method, playback device, playback method, program and recording medium
HUE026534T2 (en) * 2010-07-15 2016-06-28 Ge Video Compression Llc Hybrid video encoding to support intermediate view synthesis
CN105847780B (zh) * 2010-07-21 2018-01-09 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
KR20130108260A (ko) * 2010-09-03 2013-10-02 소니 주식회사 화상 처리 장치 및 방법
MX2013002135A (es) * 2010-09-03 2013-04-03 Sony Corp Dispositivo de codificacion y metodo de codificacion, asi como dispositivo de decodificacion y metodo de decodificacion.
EP2613531A4 (en) * 2010-09-03 2014-08-06 Sony Corp DEVICE AND ENCODING METHOD, AND DEVICE, AND DECODING METHOD
US20120169845A1 (en) * 2010-12-30 2012-07-05 General Instrument Corporation Method and apparatus for adaptive sampling video content
RU2013137458A (ru) * 2011-02-18 2015-02-20 Сони Корпорейшн Устройство обработки изображения и способ обработки изображения
JP2012186781A (ja) * 2011-02-18 2012-09-27 Sony Corp 画像処理装置および画像処理方法
CN103354997A (zh) * 2011-02-18 2013-10-16 索尼公司 图像处理设备和图像处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0870473A (ja) * 1994-08-29 1996-03-12 Nippon Telegr & Teleph Corp <Ntt> 距離情報を用いた立体画像の通信方式
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
JP2008182669A (ja) 2006-10-13 2008-08-07 Victor Co Of Japan Ltd 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
JP2010508752A (ja) * 2006-11-01 2010-03-18 韓國電子通信研究院 立体映像コンテンツ再生に利用されるメタデータの復号化方法及び装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP2613537A4 *
THOMAS WIEGAND; WOO-JIN HAN; BENJAMIN BROSS; JENS-RAINER OHM; GARY J. SULLIVIAN: "WD3: Working Draft3 of High-Efficiency Video Coding", JCTVC-E603 D5, 20 May 2011 (2011-05-20)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2843942A4 (en) * 2012-04-25 2015-05-27 Univ Zhejiang METHOD AND DEVICE FOR ENCODING AND DECODING AUXILIARY DATA OF A THREE-DIMENSIONAL VIDEO SEQUENCE
US10033982B2 (en) 2012-04-25 2018-07-24 Zte Corporation Method and device for decoding and encoding supplemental auxiliary information of three-dimensional video sequence
WO2014107092A1 (ko) * 2013-01-07 2014-07-10 삼성전자 주식회사 영상을 멀티 코덱에 호환 가능하도록 부호화/복호화하는 방법 및 장치

Also Published As

Publication number Publication date
JPWO2012029883A1 (ja) 2013-10-31
US20130142247A1 (en) 2013-06-06
MX2013002136A (es) 2013-04-03
US9762884B2 (en) 2017-09-12
BR112013004454A2 (pt) 2016-06-07
RU2013108077A (ru) 2014-08-27
KR20130108263A (ko) 2013-10-02
AU2011296953A2 (en) 2013-04-04
AU2011296953A1 (en) 2013-03-14
CA2806846A1 (en) 2012-03-08
EP2613537A1 (en) 2013-07-10
EP2613537A4 (en) 2014-08-06
CN103081479A (zh) 2013-05-01

Similar Documents

Publication Publication Date Title
WO2012029886A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
WO2012111756A1 (ja) 画像処理装置および画像処理方法
US9667941B2 (en) Encoding device, encoding method, decoding device, and decoding method
WO2012111757A1 (ja) 画像処理装置および画像処理方法
WO2012029883A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
WO2012070500A1 (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
JP6206559B2 (ja) 復号装置、復号方法、プログラム、および記録媒体
WO2012029885A1 (ja) 画像処理装置および方法
WO2012111755A1 (ja) 画像処理装置および画像処理方法
WO2012114975A1 (ja) 画像処理装置および画像処理方法
WO2012128069A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180040745.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11821898

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012531950

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 2806846

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 13816247

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011821898

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20137004508

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2013/002136

Country of ref document: MX

Ref document number: 2013108077

Country of ref document: RU

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2011296953

Country of ref document: AU

Date of ref document: 20110831

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013004454

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013004454

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20130225