WO2012029884A1 - 符号化装置および符号化方法、並びに復号装置および復号方法 - Google Patents

符号化装置および符号化方法、並びに復号装置および復号方法 Download PDF

Info

Publication number
WO2012029884A1
WO2012029884A1 PCT/JP2011/069841 JP2011069841W WO2012029884A1 WO 2012029884 A1 WO2012029884 A1 WO 2012029884A1 JP 2011069841 W JP2011069841 W JP 2011069841W WO 2012029884 A1 WO2012029884 A1 WO 2012029884A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
parallax
information
auxiliary
Prior art date
Application number
PCT/JP2011/069841
Other languages
English (en)
French (fr)
Inventor
しのぶ 服部
良知 高橋
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CA2806857A priority Critical patent/CA2806857A1/en
Priority to BR112013004450A priority patent/BR112013004450A2/pt
Priority to CN201180040905.6A priority patent/CN103098465B/zh
Priority to JP2012531951A priority patent/JPWO2012029884A1/ja
Priority to US13/818,506 priority patent/US9667941B2/en
Priority to RU2013108079/08A priority patent/RU2013108079A/ru
Priority to MX2013002138A priority patent/MX338309B/es
Priority to EP11821899.9A priority patent/EP2613531A4/en
Priority to KR1020137004236A priority patent/KR20130105814A/ko
Priority to AU2011296954A priority patent/AU2011296954B2/en
Publication of WO2012029884A1 publication Critical patent/WO2012029884A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Definitions

  • the present technology relates to an encoding device and an encoding method, and a decoding device and a decoding method, and in particular, can encode and decode a multi-viewpoint image by a method having compatibility with an existing method.
  • the present invention relates to an encoding apparatus and encoding method, and a decoding apparatus and decoding method.
  • a 3D image viewing method glasses for opening a left-eye shutter when displaying one of two viewpoint images and opening a right-eye shutter when displaying the other image are mounted alternately.
  • a method of viewing a displayed two-viewpoint image (hereinafter referred to as a two-viewpoint method) is common.
  • multi-view method a viewing method that allows viewing 3D images without wearing glasses.
  • multi-viewpoint images are displayed at different angles for each viewpoint, and the viewer wears glasses by viewing each image from any two viewpoints with the left and right eyes. 3D images can be seen without
  • a display device that provides viewing from a multi-viewpoint system generates, for example, a multi-viewpoint image for a multi-viewpoint system from a 2-viewpoint image for a 2-viewpoint system and displays the generated image. Specifically, the display device obtains the parallax (depth) of the two-viewpoint image for the two-viewpoint method using the image parallax estimation technique (Depth Estimation). The display device uses a multi-viewpoint image generation technique (View Generation) and a synthesis technique (View Synthesis) using the parallax of the two-viewpoint image to obtain a viewpoint corresponding to the two-viewpoint image for the two-viewpoint method. A composite image of adjacent multi-viewpoint images is generated and displayed.
  • AVC Advanced Video Coding
  • MVC Multiview Video Coding
  • FIG. 1 is a diagram illustrating an example of an encoding device that encodes and multiplexes images of two viewpoints using the MVC method.
  • 1 includes an imaging unit 11A, an imaging unit 11B, an MVC encoder 12, and a multiplexing unit 13.
  • the imaging unit 11A captures an image A at a predetermined viewpoint and supplies it to the MVC encoder 12.
  • the imaging unit 11B captures an image B at a viewpoint different from the image A and supplies the image B to the MVC encoder 12.
  • the MVC encoder 12 encodes the image A supplied from the photographing unit 11A as a base image and the image B supplied from the photographing unit 11B as a dependent image by the MVC method.
  • the MVC encoder 12 supplies the encoded image A and image B to the multiplexing unit 13.
  • the multiplexing unit 13 generates a first TS (Transport Stream) (hereinafter referred to as TS1) from the encoded image A, and generates a second TS (hereinafter referred to as TS2) from the encoded image B. Then, TS1 and TS2 are multiplexed.
  • TS1 and TS2 are multiplexed.
  • the multiplexed TS1 and TS2 are separated by the decoding device, and the encoded image A and image B are decoded by a method corresponding to the MVC method. Then, images A and B obtained as a result of decoding are alternately displayed.
  • the viewer wears glasses that open the shutter for the left eye when displaying the image A, open the shutter for the right eye when displaying the image B, see the image A with only the left eye, and view only the image B with the right eye. Look at. Thereby, the viewer can see the 3D image.
  • the viewer wants to see the 2D image only the image A is displayed.
  • the present technology has been made in view of such a situation, and enables a multi-viewpoint image to be encoded and decoded by a method having compatibility with an existing method. is there.
  • the encoding apparatus specifies a compatible image from multi-view images, encodes the specified compatible image in units of access units, and generates a first encoded stream.
  • An auxiliary image encoding unit that encodes an auxiliary image used when generating a multi-viewpoint image from the compatible image in units of access units and generates a second encoded stream, and a boundary indicating a unit boundary
  • a transmission unit that transmits the second encoded stream.
  • the encoding method according to the first aspect of the present technology corresponds to the encoding device according to the first aspect of the present technology.
  • a compatible image is specified from a multi-viewpoint image, the specified compatible image is encoded in units of access units, a first encoded stream is generated, and the compatible image is generated.
  • the auxiliary image used when generating a multi-viewpoint image from is encoded in units of access units, a second encoded stream is generated, boundary information indicating unit boundaries is set, and the first encoded stream is set. And the boundary information and the second encoded stream are transmitted.
  • the decoding device includes a first encoded stream obtained as a result of encoding compatible images designated from multi-viewpoint images in units of access units, boundary information indicating unit boundaries, and , Receiving a second encoded stream obtained as a result of encoding an auxiliary image used for generating a multi-viewpoint image from the compatible image in units of access units, and based on the boundary information, the first code A separating unit that separates the encoded stream and the second encoded stream, a compatible image decoding unit that decodes the first encoded stream separated by the separating unit, and the second separated by the separating unit It is a decoding apparatus provided with the auxiliary
  • the decoding method according to the second aspect of the present technology corresponds to the decoding device according to the second aspect of the present technology.
  • a stream and the second encoded stream are separated, the separated first encoded stream is decoded, and the separated second encoded stream is decoded.
  • the encoding device according to the first aspect and the decoding device according to the second aspect can be realized by causing a computer to execute a program.
  • a program to be executed by a computer is transmitted through a transmission medium or recorded on a recording medium, Can be provided.
  • the first aspect of the present technology it is possible to perform encoding on a multi-viewpoint image by a method having compatibility with an existing method.
  • FIG. 3 is a flowchart for explaining an encoding process by the encoding device in FIG. 2.
  • 3 is a flowchart for explaining an encoding process by the encoding device in FIG. 2.
  • FIG. 3 is a diagram illustrating a configuration example of a decoding device corresponding to the encoding device in FIG.
  • FIG. 29 is a diagram illustrating an example of a multiplexing method of TS1 to TS3 of FIG. It is a flowchart explaining the 2nd decoding process by the decoding apparatus of FIG. FIG.
  • FIG. 23 is a diagram illustrating a third configuration example of a TS generated by the multiplexing unit in FIG. 22. It is a flowchart explaining the 3rd decoding process by the decoding apparatus 200 of FIG. It is a block diagram which shows the structural example of 4th Embodiment of the encoding apparatus to which this technique is applied. It is a figure which shows the structural example of TS produced
  • FIG. 38 is a block diagram illustrating a configuration example of an AVC decoding apparatus corresponding to the encoding apparatus of FIG. 37.
  • 47 is a flowchart for describing a decoding process of the decoding device in FIG. 46.
  • FIG. 38 is a block diagram illustrating a configuration example of an MVC decoding device corresponding to the encoding device in FIG. 37.
  • Fig. 49 is a flowchart for describing decoding processing of the decoding device of Fig. 48.
  • FIG. 38 is a block diagram illustrating a configuration example of a 3DV decoding device corresponding to the encoding device in FIG. 37. It is a flowchart explaining the decoding process of the decoding apparatus 360 of FIG. It is a figure explaining the coding data used as decoding object.
  • FIG. 54 is a block diagram illustrating a configuration example of an encoding processing unit in FIG. 53. It is a figure which shows the structural example of a NAL unit. It is a figure which shows the structural example of a bit stream. It is a flowchart explaining the multiview encoding process of the encoding apparatus of FIG. 58 is a flowchart for describing details of the encoding processing in step S369 of FIG. 57.
  • FIG. 54 is a block diagram illustrating a configuration example of a 3DV decoding device corresponding to the encoding device of FIG. 53. Fig.
  • FIG. 60 is a flowchart describing a decoding process of the decoding device of Fig. 59. It is a figure which shows the example of description of parallax information. It is a block diagram which shows the structural example of 7th Embodiment of the encoding apparatus to which this technique is applied. It is a figure which shows the example of a description of compatibility information and parallax image information.
  • FIG. 64 is a diagram illustrating a detailed description example of parallax image information in FIG. 63. It is a figure which shows the example of a description of the compatibility information and parallax image information in an auxiliary
  • FIG. 66 is a diagram illustrating a detailed description example of parallax image information of FIG. 65.
  • FIG. 63 is a flowchart for describing an encoding process by the encoding device in FIG. 62.
  • 63 is a flowchart for describing an encoding process by the encoding device in FIG. 62.
  • FIG. 63 is a diagram illustrating a configuration example of a decoding device corresponding to the coding device in FIG. 62.
  • 70 is a flowchart for explaining a decoding process by the decoding device of FIG. 69. It is a block diagram which shows the structural example of 8th Embodiment of the encoding apparatus to which this technique is applied.
  • FIG. 72 is a flowchart for describing an encoding process by the encoding device of FIG. 71.
  • FIG. 72 is a flowchart for describing an encoding process by the encoding device of FIG. 71.
  • FIG. FIG. 72 is a diagram illustrating a configuration example of a decoding device corresponding to the encoding device in FIG. 71.
  • FIG. 75 is a flowchart for describing decoding processing by the decoding device of FIG. 74.
  • FIG. It is a figure which shows the example of the multiplexing pattern of encoding object. It is a figure which shows the characteristic of the effect by multiplexing. It is a figure which shows the other example of the multiplexing pattern of an encoding target. It is a figure which shows the further another example of the multiplexing pattern of encoding object.
  • FIG. 86 is a diagram illustrating a description example of a 3DV Subset SPS for parallax images in FIG. 85.
  • FIG. 86 is a diagram illustrating a description example of a 3DV Subset SPS for parallax images in FIG. 85.
  • FIG. 87 is a diagram illustrating a description example of parallax image extended information in FIG. 86.
  • 87 is a diagram illustrating a description example of parallax image VUI extension information in FIG. 86.
  • FIG. 90 is a diagram illustrating a description example of the parallax image header extension information in FIG. 89.
  • FIG. 86 is a diagram illustrating a description example of the SEI of the 3DV method in FIG. 85. It is a figure which shows the further another structural example of a bit stream.
  • FIG. 93 is a diagram illustrating a description example of a 3DV Subset SPS for the image in FIG. 92.
  • FIG. 95 is a diagram illustrating a description example of the SPS in FIG. 94.
  • FIG. 96 is a diagram illustrating a description example of Subset SPS in FIG. 95.
  • FIG. 97 is a diagram illustrating a description example of VUI information of Subset SPS in FIG. 96.
  • FIG. 95 is a diagram illustrating a description example of the 3DV SEI in FIG. 94. It is a figure which shows the structural example of one Embodiment of a computer. It is a figure which shows schematic structure of the television apparatus to which this technique is applied.
  • FIG. 2 is a block diagram illustrating a configuration example of the first embodiment of an encoding device to which the present technology is applied.
  • the 2 includes an imaging unit 51A to 51C, an image conversion unit 52, a parallax image generation unit 53, an image information generation unit 54, a compatible information generation unit 55, an inter-viewpoint distance information generation unit 56, and parallax image information generation.
  • the unit 57, the encoder 58, and the multiplexing unit 59 are included.
  • the encoding device 50 encodes an existing 2D image by encoding one viewpoint image of multi-view images as a 2D image by an existing encoding method and generating a TS alone. To ensure compatibility.
  • an image encoded by an existing encoding method in order to ensure compatibility with an existing encoding device is referred to as a compatible image, and is compatible using a compatible image.
  • An image for generating an image with a viewpoint larger than the number of viewpoints of the image is referred to as an auxiliary image.
  • the imaging unit 51A captures an HD (High Definition) image at a predetermined viewpoint as an image A1, and supplies the image to the image conversion unit 52, the parallax image generation unit 53, and the inter-viewpoint distance information generation unit 56.
  • the imaging unit 51B captures an HD image of a viewpoint different from that of the image A1 as an image B1 at a position apart from the imaging unit 51A in the horizontal direction where the distance in the depth direction from the subject is the same by a distance ⁇ d1 AB.
  • the data is supplied to the conversion unit 52, the parallax image generation unit 53, and the inter-viewpoint distance information generation unit 56.
  • the imaging unit 51C captures, as an image C1, an HD image at a different viewpoint from the images A1 and B1 at a position away from the imaging unit 51A in the horizontal direction opposite to the imaging unit 51B by a distance ⁇ d1 AC. 52, the parallax image generation unit 53, and the inter-viewpoint distance information generation unit 56.
  • the viewpoints corresponding to the images B1 and C1 are the outer viewpoints of the viewpoints of the image that can be perceived as a 3D image.
  • the decoding apparatus corresponding to the encoding apparatus 50 generates a multi-viewpoint image by interpolating the viewpoint images inside the viewpoints of the images B1 and C1 using the images A1 to C1. Can do.
  • the distance ⁇ d1 AB and the distance ⁇ d1 AC may be fixed or may change with time.
  • the image conversion unit 52 determines the image A1 supplied from the imaging unit 51A having the horizontal position on the inner side among the imaging units 51A to 51C as a compatible image.
  • the image conversion unit 52 supplies information specifying the image A1 as a compatible image to the compatible information generation unit 55. Then, the image conversion unit 52 supplies the image A1, which is a compatible image, to the encoder 58 as it is.
  • the image conversion unit 52 uses the images B1 and C1 other than the image A1 as auxiliary images and multiplexes them by a predetermined multiplexing method. Specifically, for example, when the multiplexing method is a side-by-side method, the image conversion unit 52 halves the resolution of the image B1 and the image C1. The image conversion unit 52 then converts the image B1 with half the resolution (hereinafter referred to as 1/2 resolution image B1) to the left half of the screen and the image C1 with half resolution (hereinafter 1/2). The 1/2 resolution image B1 and the 1/2 resolution image C1 are multiplexed so that the resolution image C1) is an image on the right half of the screen. The image conversion unit 52 supplies the multiplexed image obtained as a result of the multiplexing to the encoder 58 and supplies information indicating the auxiliary image multiplexing method to the image information generation unit 54.
  • the image conversion unit 52 supplies the multiplexed image obtained as a result of the multiplexing to the encoder 58 and supplies information indicating the auxiliary image
  • the parallax image generation unit 53 detects the parallax of each pixel of the images A1 to C1 using the images A1 to C1 supplied from the imaging units 51A to 51C.
  • the parallax image generation unit 53 generates a parallax image A ⁇ b> 1 ′ representing the parallax of each pixel of the image A ⁇ b> 1 that is a compatible image, and supplies the parallax image A ⁇ b> 1 ′ to the encoder 58 as it is.
  • the parallax image generation unit 53 generates a parallax image B1 ′ that represents the parallax of each pixel of the image B1 that is the auxiliary image, and a parallax image C1 ′ that represents the parallax of each pixel of the image C1 that is the auxiliary image. Multiplexing is performed using the multiplexing method.
  • the parallax image generation unit 53 supplies the multiplexed image obtained as a result to the encoder 58.
  • the parallax image generation unit 53 supplies the parallax image information generation unit 57 with information indicating the method of multiplexing the parallax images of the auxiliary images.
  • the image information generation unit 54 Based on the information supplied from the image conversion unit 52, the image information generation unit 54 generates information indicating the auxiliary image multiplexing method as image information that is information related to the compatible image and the auxiliary image. 59.
  • the compatibility information generation unit 55 Based on the information supplied from the image conversion unit 52, the compatibility information generation unit 55 generates information for specifying a compatible image, a compatibility mode, and the like as compatibility information that is information related to compatibility, and supplies the information to the multiplexing unit 59. .
  • the compatibility mode is a mode representing a coding method of a compatible image.
  • the compatibility mode represents, for example, a mono mode (mono) representing an encoding method for encoding a single-view compatible image by the AVC method, and an encoding method for multiplexing two-view compatible images and encoding them by the AVC method.
  • the inter-viewpoint distance information generation unit 56 uses the images A1 to C1 supplied from the photographing units 51A to 51C to determine the distance between the viewpoints of the two images A1 to C1 (hereinafter referred to as the viewpoint). Is detected). For example, the inter-viewpoint distance information generation unit 56 calculates the horizontal distance ⁇ d1 AB between the photographing unit 51A and the photographing unit 51B and the horizontal distance ⁇ d1 AC between the photographing unit 51A and the photographing unit 51C. Detect as. The inter-viewpoint distance information generating unit 56 generates information representing the inter-viewpoint distance as inter-viewpoint distance information that is information related to the inter-viewpoint distance, and supplies the information to the multiplexing unit 59.
  • the parallax image information generation unit 57 Based on the information supplied from the parallax image generation unit 53, the parallax image information generation unit 57 generates information indicating the parallax image multiplexing method of the auxiliary image as parallax image information that is information about the parallax image, The data is supplied to the multiplexing unit 59.
  • the encoder 58 includes a compatible encoder 61 and an auxiliary encoder 62.
  • the compatible encoder 61 (compatible image encoding unit) designates the image A1 which is a compatible image from the multiplexed image of the compatible image and the auxiliary image supplied from the image conversion unit 52, and an existing AVC method for the image A1.
  • the encoding is performed in units of access units.
  • the compatible encoder 61 supplies the encoded stream obtained as a result to the multiplexing unit 59 as a compatible stream (first encoded stream).
  • the auxiliary encoder 62 (auxiliary image encoding unit) multiplexes the multiplexed image of the auxiliary image from the image converting unit 52 and the parallax image A1 ′ of the compatible image and the parallax image of the auxiliary image from the parallax image generating unit 53.
  • the image is encoded in units of access units by a predetermined method.
  • the auxiliary encoder 62 supplies the encoded stream (second encoded stream, first parallax encoded stream, and second parallax encoded stream) obtained as a result to the multiplexing unit 59 as an auxiliary stream.
  • an AVC method, an MVC method, an MPEG2 (Moving / Pictures / Experts / Group / phase-2) method, or the like can be used.
  • the multiplexing unit 59 (setting unit and transmission unit) includes a compatible stream supplied from the compatible encoder 61, an auxiliary stream supplied from the auxiliary encoder 62, image information from the image information generating unit 54, and a compatible information generating unit 55.
  • TS is generated using the compatibility information from, the inter-view distance information from the inter-view distance information generation unit 56, the parallax image information from the parallax image information generation unit 57, and the like.
  • the multiplexing unit 59 multiplexes the generated TS and transmits a multiplexed stream obtained as a result.
  • auxiliary information image information, compatibility information, inter-viewpoint distance information, and parallax image information are collectively referred to as auxiliary information.
  • FIG. 3 is a diagram illustrating a configuration example of a TS generated by the multiplexing unit 59 of FIG.
  • the multiplexing unit 59 generates TS1 from the compatible stream.
  • TS2 is generated from the auxiliary stream and auxiliary information including the encoded auxiliary image multiplexed image, the compatible image parallax image A ', and the auxiliary image parallax image multiplexed image.
  • the image quality of the compatible image can be made equal to the image quality of the 2D image encoded by the existing AVC method.
  • FIG. 4 is a diagram showing a detailed configuration example of TS2 in FIG.
  • data is arranged in units of units in TS2 of FIG. 3, and at the head of each unit is a delimiter (Del) (boundary) indicating a unit break (boundary). Information) is inserted.
  • Del delimiter
  • boundary boundary
  • Information is inserted.
  • each unit includes a multiplexed image (B1 + C1) of an auxiliary image encoded in units of access units, which are decoding units, and auxiliary information (AuxAInf) of the multiplexed image of an auxiliary image,
  • the auxiliary information of the multiplexed image is arranged as data.
  • the decoding apparatus that receives TS2 extracts data in units, thereby multiplexing multiplexed images of auxiliary images encoded in units of access units, parallax images of compatible images, and parallax images of auxiliary images.
  • the converted images can be extracted independently.
  • the decoding device when the decoding device generates a multi-view image using only the compatible image and the parallax image of the compatible image, the image used for generating the multi-view image can be easily extracted.
  • each image of the multiplexed image of the auxiliary image, the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image and the auxiliary information of the image are arranged in the same unit. Images can be easily processed independently.
  • each unit includes a multiplexed image of an auxiliary image encoded in units of access units, a parallax image of a compatible image, a multiplexed image of a parallax image of an auxiliary image, and auxiliary information.
  • the decoding apparatus that receives TS2 extracts data in units, thereby multiplexing multiplexed images of auxiliary images encoded in units of access units, parallax images of compatible images, and parallax images of auxiliary images.
  • the converted image and the auxiliary information can be extracted together.
  • each unit includes, in each unit, a multiplexed image of an auxiliary image that is encoded in units of access units and auxiliary information of the multiplexed image of the auxiliary image, or a parallax image and an auxiliary image of an encoded compatible image.
  • Multiplexed images of parallax images of images, and parallax images of compatible images and auxiliary information of parallax images of auxiliary images are arranged.
  • the decoding apparatus that receives TS2 extracts data in units, thereby multiplexing multiplexed images of auxiliary images encoded in units of access units, parallax images of compatible images and parallax images of auxiliary images.
  • the converted image can be extracted independently.
  • an image decoder and a parallax image decoder are separately prepared in the decoding device, data can be efficiently supplied to the respective decoders.
  • the image and the parallax image can be processed easily and independently.
  • FIG. 5 is a diagram for explaining an example of a multiplexing method of TS1 and TS2.
  • TS1 and TS2 are multiplexed by being arranged from the top in the order of TS2 and TS1 in units of access units.
  • 3DV Representation Delimiter (boundary information) indicating that it is the head of the TS including information other than the compatible stream is set and added to the head of TS2. That is, 3DV Representation Delimiter is arranged at the boundary between TS2 of a certain access unit and TS1 of the previous access unit. Therefore, the decoding apparatus corresponding to the encoding apparatus 50 easily recognizes the compatible stream, the auxiliary stream and the auxiliary image synchronized with the compatible stream by extracting the data from one 3DV Representation Delimiter to the next 3DV Representation Delimiter. can do.
  • FIG. 6 and 7 are flowcharts for explaining the encoding process by the encoding device 50 of FIG. This encoding process is started, for example, when the images A1 to C1 are output from the imaging units 51A to 51C.
  • step S11 of FIG. 6 the inter-viewpoint distance information generation unit 56 detects the distance ⁇ d1 AB and the distance ⁇ d1 AC as the inter-viewpoint distance using the images A1 to C1 supplied from the photographing units 51A to 51C. .
  • step S12 the inter-viewpoint distance information generation unit 56 generates information indicating the inter-viewpoint distance detected in step S11 as inter-viewpoint distance information and inputs the information to the multiplexing unit 59.
  • step S13 the image conversion unit 52 determines the image A1 supplied from the imaging unit 51A having the horizontal position on the inner side among the imaging units 51A to 51C as a compatible image, and multiplexes the auxiliary images. To decide.
  • the image conversion unit 52 supplies information specifying the image A1 as a compatible image to the compatible information generation unit 55 and supplies the auxiliary image multiplexing method to the image information generation unit 54.
  • step S14 the compatible information generation unit 55 generates information for specifying the image A1 as a compatible image, a mono mode as a compatible mode, and the like as the compatible information based on the information supplied from the image conversion unit 52, and multiplexes them. Input to section 59.
  • step S 15 the image information generation unit 54 generates information indicating the multiplexing method of the auxiliary image as image information based on the information supplied from the image conversion unit 52, and inputs it to the multiplexing unit 59.
  • step S16 the image conversion unit 52 uses the image B1 and the image C1 other than the image A1 as auxiliary images, multiplexes the auxiliary images based on the auxiliary image multiplexing method determined in step S13, and multiplexes the auxiliary images. Get an image.
  • step S ⁇ b> 17 the image conversion unit 52 inputs the image A ⁇ b> 1 that is a compatible image and the multiplexed image of the auxiliary image to the encoder 58.
  • step S18 of FIG. 7 the parallax image generation unit 53 detects the parallax of each pixel of the images A1 to C1 using the images A1 to C1 supplied from the imaging units 51A to 51C, and the parallax image A1. 'To parallax image C1' is generated.
  • step S19 the parallax image generation unit 53 determines the multiplexing method of the parallax image of the auxiliary image, and supplies information indicating the multiplexing method to the parallax image information generation unit 57.
  • step S20 the parallax image information generation unit 57 generates, as parallax image information, information indicating the multiplexing method of the parallax image of the auxiliary image based on the information supplied from the parallax image generation unit 53, and multiplexes the information. Input to section 59.
  • step S21 the parallax image generation unit 53 multiplexes the parallax images of the auxiliary images based on the multiplexing scheme of the parallax images of the auxiliary images determined in step S19, and obtains a multiplexed image of the parallax images of the auxiliary images.
  • step S22 the parallax image generation unit 53 inputs the multiplexed image of the parallax image A1 ′ of the compatible image and the parallax image of the auxiliary image to the encoder 58.
  • step S23 the compatible encoder 61 of the encoder 58 encodes the image A1, which is a compatible image supplied from the image converting unit 52, using the existing AVC method, and the encoded stream obtained as a result is a multiplexing unit. 59.
  • the auxiliary encoder 62 predetermines the multiplexed image of the auxiliary image from the image converting unit 52, the parallax image A1 ′ of the compatible image from the parallax image generating unit 53, and the multiplexed image of the parallax image of the auxiliary image. It encodes with the method of.
  • the auxiliary encoder 62 supplies the encoded stream obtained as a result of the encoding to the multiplexing unit 59 as an auxiliary stream.
  • step S25 the multiplexing unit 59 generates TS1 from the compatible stream supplied from the compatible encoder 61, generates TS2 from the auxiliary stream and auxiliary information supplied from the auxiliary encoder 62, and multiplexes them. Send the resulting multiplexed stream.
  • This multiplexed stream is recorded, for example, on a BD (Blu-Ray (registered trademark) Disc) or transmitted as a broadcast stream. Then, the process ends.
  • BD Blu-Ray (registered trademark) Disc
  • the encoding device 50 since the encoding device 50 stores the compatible stream, the auxiliary stream, and the auxiliary information in different TSs and performs multiplexing, the encoding device 50 encodes an existing 2D image in multiplexing. Compatibility can be ensured. That is, the encoding device 50 can multiplex multi-viewpoint images using a method having compatibility with existing methods.
  • the encoding device 50 since the encoding device 50 uses one viewpoint image among the multi-viewpoint images as a compatible image and encodes it with an existing encoding method, the encoding device 50 encodes an existing 2D image in encoding. Compatibility can be ensured. That is, the encoding apparatus 50 can encode multi-viewpoint images using a method having compatibility with an existing encoding method.
  • the decoding device 50 since the encoding device 50 encodes the three-view images A1 to C1, the decoding device corresponding to the encoding device 50 can generate a multi-view image from the three-view images A1 to C1. .
  • the decoding device is not limited to the viewpoints of images that can be generated as compared with the case of generating from images of two viewpoints, and can generate a multi-viewpoint image with higher accuracy.
  • the processing cost of the encoding process and the decoding process can be reduced as compared with the case of encoding without reducing the resolution. it can.
  • the processing costs of encoding processing and decoding processing are equivalent to the processing costs of encoding processing and decoding processing for two HD images.
  • the processing cost of the encoding process for the two-view auxiliary image by the encoding device 50 is equivalent to the processing cost of the encoding process and the decoding process for one HD image. As a result, it is possible to prevent the performance of the decoding process in the decoding device from greatly affecting the image quality of multi-viewpoint images.
  • the decoding device corresponding to the encoding device 50 reduces the resolution to a reciprocal of the number of viewpoints of the multi-viewpoint image when synthesizing the multi-viewpoint image.
  • the reduction in the resolution of the auxiliary image by means of does not affect the image quality of the multi-viewpoint image after synthesis.
  • the encoding device 50 encodes the auxiliary image with half the resolution, and encodes the auxiliary image with the parallax image being halved, the amount of information to be encoded is equivalent to 4HD images (1080ix4) in the AVC method. Can be about.
  • the display device that displays the current multi-viewpoint image and the accompanying processing speed, processing performance for power consumption, transmission data rate, transmission bandwidth, memory bandwidth, memory access speed, etc.
  • an appropriate value as the amount of information that can be processed by the decoding device is about twice that of the HD image in the current MVC system, that is, about 4 HD images in the AVC system. Therefore, a decoding device (decoding method) corresponding to the encoding device 50 in which the amount of information to be encoded is about 4HD images (1080ix4) in the AVC format can be realized with a reasonable processing cost and a reasonable approach. it can.
  • the encoding device 50 since the encoding device 50 reduces the amount of information to be encoded to about 4HD images (1080ix4) in the AVC format, it can be easily handled by a BD or broadcast application with a limited usable bandwidth. it can.
  • the decoding device corresponding to the encoding device 50 needs to generate a parallax image in order to generate a multi-viewpoint image. Therefore, the processing load of the decoding device can be reduced. As a result, the manufacturing cost of the decoding device can be reduced. In addition, it is possible to prevent the parallax detection performance of the decoding apparatus from significantly affecting the image quality of multi-viewpoint images.
  • FIG. 8 is a diagram illustrating a configuration example of a decoding device that decodes a multiplexed stream transmitted from the encoding device 50 of FIG.
  • the decoding device 120 separates and decodes the multiplexed stream transmitted from the encoding device 50, generates a one-view image or a multi-view image, and displays the generated image on a display device (not shown).
  • the separation unit 121 (separation unit) of the decoding device 120 receives the multiplexed stream transmitted from the encoding device 50 and separates the TS for each TS.
  • the separation unit 121 extracts compatible streams included in the TS and auxiliary streams included in the TS, and supplies the extracted streams to the decoder 122.
  • the separation unit 121 extracts auxiliary information included in the TS, supplies image information of the auxiliary information to the image information acquisition unit 123, and supplies viewpoint distance information to the inter-viewpoint distance information acquisition unit 124.
  • the separation unit 121 supplies the parallax image information of the auxiliary information to the parallax image information acquisition unit 125 and supplies the compatibility information to the compatibility information acquisition unit 126.
  • the decoder 122 includes a compatible decoder 131 and an auxiliary decoder 132.
  • the compatible decoder 131 (compatible image decoding unit) of the decoder 122 decodes the encoded compatible image included in the compatible stream supplied from the separation unit 121 by a method corresponding to the AVC method, and supplies the decoded image to the image generation unit 127. To do.
  • the auxiliary decoder 132 (auxiliary image decoding unit) displays the multiplexed image of the auxiliary image, the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image included in the auxiliary stream supplied from the separation unit 121. Decoding is performed in a manner corresponding to the second auxiliary encoder 62.
  • the auxiliary decoder 132 supplies the image generation unit 127 with the multiplexed image of the auxiliary image, the parallax image A ′ of the compatible image, and the multiplexed image of the parallax image of the auxiliary image obtained as a result of the decoding.
  • the image information acquisition unit 123 acquires the image information supplied from the separation unit 121 and supplies it to the image generation unit 127.
  • the inter-viewpoint distance information acquisition unit 124 acquires the inter-viewpoint distance information supplied from the separation unit 121 and supplies it to the image generation unit 127.
  • the parallax image information acquisition unit 125 acquires the parallax image information supplied from the separation unit 121 and supplies it to the image generation unit 127.
  • the compatibility information acquisition unit 126 acquires the compatibility information supplied from the separation unit 121 and supplies it to the image generation unit 127.
  • the image generation unit 127 outputs an image in response to a display command from the viewer and displays the image on a display device (not shown). Specifically, the image generation unit 127 (generation unit) receives the image information from the image information acquisition unit 123 and the inter-viewpoint distance information acquisition unit 124 in response to a display instruction for a 3D image of the multi-viewpoint method from the viewer. On the basis of the inter-viewpoint distance information, the parallax image information from the parallax image information acquisition unit 125, the compatibility information from the compatibility information acquisition unit 126, and the like. Using the multiplexed image of the parallax images of the image, an image having a resolution equal to half of the resolution of the compatible image or the auxiliary image and the number of viewpoints corresponding to a display device (not shown) is generated.
  • the image generation unit 127 multiplexes the parallax image of the auxiliary image based on the information indicating the multiplexing method of the parallax image of the auxiliary image included in the parallax image information from the parallax image information acquisition unit 125. From this, the parallax images of each auxiliary image are separated. In addition, the image generation unit 127 separates each auxiliary image from the multiplexed image of the auxiliary image based on the information indicating the auxiliary image multiplexing method included in the image information from the image information acquisition unit 123.
  • the image generation unit 127 determines the position of each viewpoint of the generated multi-viewpoint image based on the inter-viewpoint distance information and the number of viewpoints corresponding to the display device (not shown). Then, the image generation unit 127 generates an image of each viewpoint whose position is determined using the compatible image, each auxiliary image, the parallax image of the compatible image, and the parallax image of each auxiliary image. Then, the image generation unit 127 converts the resolution of the generated image of each viewpoint into a resolution of 1 / the number of viewpoints of the resolution of the compatible image or the auxiliary image, and displays it on a display device (not shown).
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • the image generation unit 127 outputs an image A1 that is a compatible image supplied from the compatible decoder 131 of the decoder 122 in response to a 2D image display command from the viewer, and displays the image A1 on a display device (not shown). Let Thereby, the viewer can see the 2D image.
  • FIG. 9 is a flowchart for explaining a decoding process by the decoding device 120 of FIG. This decoding process is started, for example, when a multiplexed stream transmitted from the encoding device 50 in FIG. 2 is input to the decoding device 120.
  • step S31 of FIG. 9 the image generation unit 127 of the decoding device 120 determines whether or not the viewer has instructed display of the 2D image. If it is determined in step S31 that display of a 2D image is not instructed by the viewer, that is, if display of a multi-viewpoint 3D image is instructed by the viewer, the process proceeds to step S32.
  • the separation unit 121 receives the multiplexed stream transmitted from the encoding device 50, and separates TS1 and TS2 from the multiplexed stream.
  • the demultiplexing unit 121 refers to a delimiter or the like, extracts a compatible stream included in TS1 and an auxiliary stream included in TS2, and supplies it to the decoder 122.
  • the separation unit 121 refers to a delimiter or the like, extracts auxiliary information included in TS2, supplies image information of the auxiliary information to the image information acquisition unit 123, and acquires viewpoint distance information as inter-viewpoint distance information.
  • the separation unit 121 supplies the parallax image information of the auxiliary information to the parallax image information acquisition unit 125 and supplies the compatibility information to the compatibility information acquisition unit 126.
  • step S33 the compatible decoder 131 of the decoder 122 extracts a compatible image encoded from the compatible stream supplied from the separation unit 121, and decodes the compatible image by a method corresponding to the AVC method. Then, the compatible decoder 131 supplies an image A1 obtained as a result of decoding to the image generation unit 127.
  • step S34 the auxiliary decoder 132 extracts the multiplexed image of the auxiliary image encoded from the auxiliary stream, the parallax image A ′ of the compatible image, and the multiplexed image of the parallax image of the auxiliary image, and the auxiliary image of FIG. Decoding is performed by a method corresponding to the encoder 62 for use.
  • the auxiliary decoder 132 supplies the image generation unit 127 with the multiplexed image of the auxiliary image, the parallax image A ′ of the compatible image, and the multiplexed image of the parallax image of the auxiliary image obtained as a result of the decoding.
  • step S35 the image information acquisition unit 123 acquires the image information supplied from the separation unit 121 and inputs the acquired image information to the image generation unit 127.
  • step S ⁇ b> 36 the inter-viewpoint distance information acquisition unit 124 acquires the inter-viewpoint distance information supplied from the separation unit 121 and inputs the information to the image generation unit 127.
  • step S37 the parallax image information acquisition unit 125 acquires parallax image information supplied from the separation unit 121 and inputs the parallax image information to the image generation unit 127.
  • step S ⁇ b> 38 the compatibility information acquisition unit 126 acquires the compatibility information supplied from the separation unit 121 and supplies it to the image generation unit 127.
  • step S39 the image generation unit 127 determines the position of each viewpoint of the multi-viewpoint image to be generated based on the inter-viewpoint distance information from the inter-viewpoint distance information acquisition unit 124 and the number of viewpoints corresponding to the display device (not shown). To decide. For example, when the inter-viewpoint distance included in the inter-viewpoint distance information is narrow, the image generation unit 127 also generates the positions of the viewpoints outside the viewpoints of the images B1 and C1, and the viewpoint positions of the multi-viewpoint 3D image to be generated. To decide.
  • the image generating unit 127 when the inter-viewpoint distance included in the inter-viewpoint distance information is large, the image generating unit 127 generates only the position of the viewpoint inside the viewpoints of the images B1 and C1 and generates the viewpoints of the multi-viewpoint 3D image to be generated. Determine as position.
  • step S40 the image generation unit 127 receives the position of each viewpoint determined in step S39, the image information from the image information acquisition unit 123, the parallax image information from the parallax image information acquisition unit 125, and the compatibility information acquisition unit 126. Based on compatibility information, etc., using compatible images, multiplexed images of auxiliary images, parallax images of compatible images, and multiplexed images of parallax images of auxiliary images, half the resolution of compatible images and auxiliary images for each viewpoint Generate an image of
  • step S41 the image generation unit 127 converts the resolution of each viewpoint image generated in step S40 to 1 / the number of viewpoints of the resolution of the compatible image or the auxiliary image, and converts the converted image of each viewpoint. Compositing based on the viewpoint position.
  • step S42 the image generation unit 127 outputs the combined multi-viewpoint image obtained by the process of step S41 to a display device (not shown), and displays the viewable angle different for each viewpoint. Then, the process ends.
  • the separation unit 121 separates TS1 from the multiplexed stream. Specifically, the demultiplexing unit 121 acquires TS1 other than TS2 to which 3DVpresentRepresentation Delimiter NAL unit is added in the multiplexed stream. Then, the separation unit 121 extracts a compatible stream included in TS1 with reference to a delimiter or the like, and supplies the extracted compatible stream to the decoder 122.
  • step S44 the compatible decoder 131 of the decoder 122 extracts a compatible image encoded from the compatible stream supplied from the separation unit 121, and decodes it in a method corresponding to the AVC method.
  • the compatible decoder 131 supplies the image generation unit 127 with the image A, which is a compatible image obtained as a result of decoding.
  • step S45 the image generation unit 127 outputs the image A1, which is a compatible image supplied from the compatible decoder 131, to a display device (not shown) and displays it. Then, the process ends.
  • the decoding device 120 can separate the multiplexed stream multiplexed by the encoding device 50 in a method having compatibility with the existing method.
  • the decoding device 120 is compatible with the existing method by the encoding device 50, and can decode the compatible stream and the auxiliary stream encoded by the method with relatively low processing cost.
  • the decoding device 120 since the decoding device 120 generates a multi-view image using the compatible image of one viewpoint and the auxiliary image of two views, the encoding device 50 is an existing photographing unit for generating a multi-view image.
  • the image capturing unit 51A that captures a compatible image of one viewpoint, only the two image capturing units 51B and the image capturing unit 51C need be prepared. Therefore, it is possible to easily and inexpensively install a photographing unit for generating a multi-viewpoint image.
  • FIG. 10 is a diagram illustrating another configuration example of the TS generated by the multiplexing unit 59 of FIG.
  • the multiplexing unit 59 generates three TSs, and the auxiliary stream and the auxiliary information are included in different TSs. Specifically, TS1 is generated from the compatible stream, TS2 is generated from the auxiliary stream, and TS3 is generated from the auxiliary information.
  • a single TS3 is generated only from auxiliary information with a relatively small amount of information. Therefore, for example, a decoding device that executes an application with a limited number of TSs that can be processed at the same time, such as a BD application, pre-loads TS3 with a relatively small amount of information, thereby reproducing TS1 and TS2 synchronously. It becomes possible to do.
  • the 3DV Representation Delimiter shown in FIG. 5 is arranged at the head of TS2 composed of the auxiliary stream and TS3 composed of the auxiliary information, as in the case where the auxiliary stream and the auxiliary information are included in the same TS.
  • FIG. 11 is a diagram showing a detailed configuration example of TS2 of FIG.
  • data is arranged in units of units in TS2 of FIG. 10, and a delimiter representing a unit break is inserted at the head of each unit.
  • each unit is multiplexed with a multiplexed image (B + C) of an auxiliary image encoded in units of access units, a parallax image (A ′) of a compatible image, or a parallax image of an auxiliary image.
  • the converted image (B ′ + C ′) is arranged as data.
  • the decoding apparatus that receives TS2 extracts data in units, thereby multiplexing multiplexed images of auxiliary images encoded in units of access units, parallax images of compatible images, and parallax images of auxiliary images.
  • the converted images can be extracted independently.
  • the decoding device when the decoding device generates a multi-view image using only the compatible image and the parallax image of the compatible image, the image used for generating the multi-view image can be easily extracted.
  • the multiplexed image of the auxiliary image encoded in units of access units, the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image are arranged together in each unit.
  • the decoding apparatus that receives TS2 extracts data in units, thereby multiplexing multiplexed images of auxiliary images encoded in units of access units, parallax images of compatible images, and parallax images of auxiliary images.
  • the digitized images can be extracted together.
  • each unit includes a multiplexed image of an auxiliary image that is encoded in units of access units, or a multiplexed image of a parallax image of an encoded compatible image and a parallax image of an auxiliary image. They are arranged together.
  • the decoding apparatus that receives TS2 extracts data in units, thereby multiplexing multiplexed images of auxiliary images encoded in units of access units, parallax images of compatible images and parallax images of auxiliary images.
  • the converted image can be extracted independently.
  • an image decoder and a parallax image decoder are separately prepared in the decoding device, data can be efficiently supplied to the respective decoders.
  • the image and the parallax image can be processed easily and independently.
  • FIG. 12 is a diagram illustrating a detailed configuration example of TS3 of FIG.
  • data is arranged in units of units in TS3 of FIG. 10, and a delimiter representing a unit break is inserted at the head of each unit.
  • auxiliary information (Aux
  • auxiliary information (Aux Info (B ′ + C ′)) of the multiplexed image of the parallax image of the auxiliary image is arranged as data.
  • the decoding apparatus that receives TS2 extracts data in units of units, thereby obtaining auxiliary information of multiplexed images of auxiliary images in units of access units, auxiliary information of parallax images of compatible images, and parallax images of auxiliary images.
  • the auxiliary information of the multiplexed images can be extracted independently.
  • the multiplexed image of the auxiliary image encoded in units of access units, the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image can be easily processed independently.
  • each unit includes, in each unit, an auxiliary image multiplexed image, a compatible image parallax image, and an auxiliary image parallax image multiplexed image auxiliary information (Aux Info (B + C, A ′, B ′ + C ′)) are arranged together.
  • the decoding device that receives TS2 extracts the data in units, thereby assisting the multiplexed image of the auxiliary image, the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image in units of access units. Information can be extracted together.
  • the auxiliary information (Aux Info (B + C)) of the auxiliary image multiplexed image for each access unit or the parallax image of the compatible image and the parallax image of the auxiliary image are multiplexed in each unit.
  • the auxiliary information (Aux Info (A ′, B ′ + C ′)) of the digitized image is arranged.
  • the decoding device that receives TS3 extracts the auxiliary information of the multiplexed image of the auxiliary image in units of access units, the parallax image of the compatible image, and the parallax image of the auxiliary image by extracting data in units.
  • the auxiliary information of the image can be extracted independently.
  • auxiliary information can be efficiently supplied in synchronization with the decoding result.
  • the auxiliary information (AuxAInfo (All B + C)) of the auxiliary image of the auxiliary image for a predetermined time (for example, two hours) and the parallax image of the compatible image are included in each unit.
  • Auxiliary information (Aux Info (All B ′ + C ′)) and auxiliary information (Aux Info (All B ′ + C ′)) of the parallax image of the auxiliary image are arranged.
  • the decoding apparatus that receives TS3 pre-loads auxiliary information, it extracts data in units of auxiliary information, and auxiliary information of a multiplexed image of auxiliary images for a predetermined time and auxiliary of parallax images of compatible images.
  • the information and the auxiliary information of the multiplexed image of the parallax image of the auxiliary image can be extracted and held together.
  • FIG. 13 is a flowchart for explaining the decoding process by the decoding device 120 in FIG. 8 when the structure of the TS multiplexed in the multiplexed stream is the structure described in FIGS. 10 to 12.
  • This decoding process is started, for example, when a multiplexed stream transmitted from the encoding device 50 in FIG. 2 is input to the decoding device 120.
  • step S51 of FIG. 13 the image generation unit 127 of the decoding device 120 determines whether or not a 2D image display is instructed by the viewer. If it is determined in step S31 that display of 2D images is not instructed by the viewer, that is, if display of multi-viewpoint 3D images is instructed by the viewer, the process proceeds to step S52.
  • step S52 the separation unit 121 acquires the multiplexed stream transmitted from the encoding device 50, and separates TS3 from the multiplexed stream. Then, the separation unit 121 refers to a delimiter or the like, extracts auxiliary information included in TS3, supplies the image information of the auxiliary information to the image information acquisition unit 123, holds the information, and stores the viewpoint distance information between the viewpoints. The distance information acquisition unit 124 is supplied and held. Further, the separation unit 121 supplies the parallax image information of the auxiliary information to the parallax image information acquisition unit 125 and holds it, and supplies the compatibility information to the compatibility information acquisition unit 126 to hold it. Then, the process proceeds to step S53.
  • steps S53 to S66 Since the processing of steps S53 to S66 is the same as the processing of steps S32 to S45 of FIG.
  • FIG. 14 is a block diagram illustrating a configuration example of the second embodiment of the encoding device to which the present technology is applied.
  • the configuration of the encoding device 140 in FIG. 14 mainly includes the imaging units 51A to 51C, the image conversion unit 52, the parallax image generating unit 53, the inter-viewpoint distance information generating unit 56, and the encoder 58 instead of the imaging units 141A to 141A.
  • 2 is different from the configuration of FIG. 2 in that an imaging unit 141D, an image conversion unit 142, a parallax image generation unit 143, an inter-viewpoint distance information generation unit 144, and an encoder 145 are provided.
  • the encoding device 140 encodes two-viewpoint images of multi-viewpoint images as compatible images by the AVC method, and independently generates 3D images by the AVC method by generating a TS alone. To ensure compatibility with the encoding device.
  • the imaging unit 141A of the encoding device 140 captures an HD image at a predetermined viewpoint as an image A2, and supplies the image to the image conversion unit 142, the parallax image generation unit 143, and the inter-viewpoint distance information generation unit 144.
  • the imaging unit 141B captures, as an image B2, an HD image having a viewpoint different from that of the image A2 at a position apart from the imaging unit 141A in the horizontal direction by a distance ⁇ d2 AB , the image conversion unit 142, the parallax image generation unit 143, and the viewpoint It supplies to the distance information generation part 144.
  • the photographing unit 141C shoots an HD image at a viewpoint different from the images A2 and B2 as an image C2 at a position separated from the photographing unit 141B by a distance ⁇ d2 BC in the horizontal direction opposite to the photographing unit 141A.
  • the photographing unit 141D shoots an HD image at a viewpoint different from the images A2 to C2 at a position separated from the photographing unit 141A by a distance ⁇ d2 AD in the horizontal direction opposite to the photographing unit 141B as an image D2.
  • the parallax image generation unit 143, and the inter-viewpoint distance information generation unit 144 shoots an HD image at a viewpoint different from the images A2 and B2 as an image C2 at a position separated from the photographing unit 141B by a distance ⁇ d2 AD in the horizontal direction opposite to the photographing unit 141B as an image D2.
  • the viewpoints corresponding to the images C2 and D2 are the viewpoints on the outer side among the viewpoints of the image that can be perceived as a 3D image.
  • the decoding apparatus corresponding to the encoding apparatus 140 generates a multi-viewpoint image by interpolating images of viewpoints inside the viewpoints of the images C2 and D2 using the images A2 to D2. Can do.
  • the distance ⁇ d2 AB , the distance ⁇ d2 BC , and the distance ⁇ d2 AD may be fixed or may change with time.
  • the image conversion unit 142 determines the image A2 supplied from the imaging unit 141A having the horizontal position on the inner side among the imaging units 141A to 141D and the image B2 supplied from the imaging unit 141B as compatible images. Then, the image conversion unit 142 multiplexes the images A2 and B2 that are compatible images by a predetermined multiplexing method, and supplies the multiplexed image to the encoder 145. In addition, the image conversion unit 142 supplies information specifying the images A2 and B2 as compatible images to the compatible information generation unit 55.
  • the image conversion unit 142 uses the image C2 and the image D2 other than the image A2 and the image B2 as auxiliary images, and multiplexes them with a predetermined multiplexing method.
  • the image conversion unit 142 supplies a multiplexed image obtained as a result of multiplexing to the encoder 145.
  • the image converting unit 142 supplies information indicating the multiplexing method of the compatible image and the auxiliary image to the image information generating unit 54.
  • the parallax image generation unit 143 detects the parallax of each pixel of the images A2 to D2 using the images A2 to D2 supplied from the imaging units 141A to 141D.
  • the parallax image generation unit 143 generates a parallax image A2 ′ representing the parallax of each pixel of the image A2, which is a compatible image, and a parallax image B2 ′ representing the parallax of each pixel of the image B2, and multiplexed by a predetermined multiplexing method Turn into.
  • the parallax image generation unit 143 supplies the multiplexed image obtained as a result to the encoder 145.
  • the parallax image generation unit 143 generates a parallax image C2 ′ that represents the parallax of each pixel of the image C2 that is the auxiliary image, and a parallax image D2 ′ that represents the parallax of each pixel of the image D2 that is the auxiliary image. Multiplexing is performed using the multiplexing method.
  • the parallax image generation unit 143 supplies the multiplexed image obtained as a result to the encoder 145.
  • the parallax image generation unit 143 supplies the parallax image information generation unit 57 with information indicating the method of multiplexing the parallax images of the compatible image and the auxiliary image.
  • the inter-viewpoint distance information generation unit 144 detects the inter-viewpoint distances of the images A2 to D2 using the images A2 to D2 supplied from the shooting units 141A to 141D.
  • the inter-viewpoint distance information generation unit 144 includes the horizontal distance ⁇ d2 AB between the photographing unit 141A and the photographing unit 141B, the horizontal distance ⁇ d2 BC between the photographing unit 141B and the photographing unit 141C, and the photographing unit 141A and the photographing unit 141A.
  • the horizontal distance ⁇ d2 AD between the units 141D is detected as the inter-viewpoint distance.
  • the inter-viewpoint distance information generation unit 144 generates information indicating the inter-viewpoint distance as the inter-viewpoint distance information and supplies the information to the multiplexing unit 59.
  • the encoder 145 includes a compatible encoder 151 and an auxiliary encoder 152.
  • the compatible encoder 151 designates a multiplexed image of the compatible image from the multiplexed image of the compatible image and the multiplexed image of the auxiliary image supplied from the image conversion unit 142, and an existing AVC for the multiplexed image of the compatible image. Encoding is performed in units of access units.
  • the encoder 145 supplies the encoded stream obtained as a result to the multiplexing unit 59 as a compatible stream.
  • the auxiliary encoder 152 performs predetermined processing on the multiplexed image of the auxiliary image from the image conversion unit 142 and the multiplexed image of the parallax image of the compatible image and the multiplexed image of the parallax image of the auxiliary image from the parallax image generation unit 143. In this way, encoding is performed in units of access units.
  • the auxiliary encoder 152 supplies the encoded stream obtained as a result to the multiplexing unit 59 as an auxiliary stream.
  • an encoding method in the auxiliary encoder 152 for example, an AVC method, an MVC method, or the like can be used.
  • FIG. 15 is a diagram illustrating a configuration example of a TS generated by the multiplexing unit 59 of FIG.
  • TS1 is generated from the compatible stream
  • TS2 is generated from the auxiliary stream and the auxiliary information.
  • TS2 in FIG. 15 is the same as the configuration described in FIG. 4 except that a multiplexed image of the parallax image of the compatible image is arranged instead of the parallax image of the compatible image. is there.
  • FIG. 16 and 17 are flowcharts for explaining the encoding process by the encoding device 140 of FIG. This encoding process is started when, for example, the images A2 to D2 are output from the imaging units 141A to 141D.
  • the inter-viewpoint distance information generation unit 144 uses the images A2 to D2 supplied from the imaging units 141A to 141D to set the distance ⁇ d2 AB , the distance ⁇ d2 BC , and the distance ⁇ d2 AD between the viewpoints. Detect as distance.
  • step S72 the inter-viewpoint distance information generation unit 144 generates information indicating the inter-viewpoint distance detected in step S71 as inter-viewpoint distance information, and inputs the information to the multiplexing unit 59.
  • step S73 the image conversion unit 142 is compatible with the image A2 supplied from the shooting unit 141A whose horizontal position is on the inner side of the shooting units 141A to 141D and the image B2 supplied from the shooting unit 141B.
  • An image is determined, and a multiplexing method of a compatible image and an auxiliary image is determined.
  • the image conversion unit 142 supplies information specifying the images A2 and B2 as compatible images to the compatible information generation unit 55, and supplies the image information generation unit 54 with a multiplexing method of compatible images and auxiliary images.
  • step S74 the compatibility information generation unit 55 generates, as the compatibility information, information for designating the images A2 and B2 as compatible images, the frame packing mode as the compatibility mode, and the like based on the information supplied from the image conversion unit 142. And input to the multiplexing unit 59.
  • step S75 the image conversion unit 142 multiplexes the images A2 and B2, which are compatible images, based on the compatible image multiplexing method determined in step S73, and supplies the multiplexed images to the encoder 145.
  • step S ⁇ b> 76 the image information generation unit 54 generates information indicating the multiplexing method of the compatible image and the auxiliary image as image information based on the information supplied from the image conversion unit 142, and inputs the information to the multiplexing unit 59. To do.
  • step S77 the image conversion unit 142 uses the image C2 and the image D2 other than the image A2 and the image B2 as auxiliary images, multiplexes the auxiliary images based on the auxiliary image multiplexing method determined in step S73, and outputs the auxiliary images. Multiplexed images of are obtained.
  • step S78 the image conversion unit 142 inputs the multiplexed image of the compatible image and the multiplexed image of the auxiliary image to the encoder 145.
  • step S79 of FIG. 17 the parallax image generation unit 143 detects the parallax of each pixel of the images A2 to D2 using the images A2 to D2 supplied from the imaging units 141A to 141D, and the parallax image A2 'To parallax image D2' is generated.
  • step S80 the parallax image generation unit 143 determines the multiplexing method of the parallax image of the compatible image and the parallax image of the auxiliary image, and supplies information indicating the multiplexing method to the parallax image information generation unit 57.
  • step S ⁇ b> 81 the parallax image information generation unit 57 displays information indicating the multiplexing method of the parallax image of the compatible image and the parallax image of the auxiliary image based on the information supplied from the parallax image generation unit 143. And input to the multiplexing unit 59.
  • step S82 the parallax image generation unit 143 multiplexes the parallax image A2 ′ and the parallax image B2 ′ of the compatible image based on the multiplexing scheme of the parallax image of the compatible image determined in step S80, and the parallax of the auxiliary image
  • the parallax image C2 ′ and the parallax image D2 ′ of the auxiliary image are multiplexed based on the image multiplexing method.
  • step S83 the parallax image generation unit 143 inputs the multiplexed image of the parallax image of the compatible image and the multiplexed image of the parallax image of the auxiliary image obtained as a result of the multiplexing in step S82 to the encoder 145.
  • step S84 the compatible encoder 151 of the encoder 145 encodes the multiplexed image of the compatible image supplied from the image conversion unit 142 using the existing AVC method, and the encoded stream obtained as a result is the multiplexing unit. 59.
  • the auxiliary encoder 152 multiplexes the multiplexed image of the auxiliary image from the image conversion unit 142, the multiplexed image of the parallax image of the compatible image from the parallax image generation unit 143, and the parallax image of the auxiliary image.
  • the encoded image is encoded by a predetermined method.
  • the auxiliary encoder 152 supplies the encoded stream obtained as a result of encoding to the multiplexing unit 59 as an auxiliary stream.
  • step S86 the multiplexing unit 59 generates TS1 from the compatible stream supplied from the compatible encoder 151, generates TS2 from the auxiliary stream and auxiliary information supplied from the auxiliary encoder 152, multiplexes them, Send the resulting multiplexed stream.
  • This multiplexed stream is recorded on, for example, a BD or transmitted as a broadcast stream. Then, the process ends.
  • the encoding device 140 since the encoding device 140 performs multiplexing by storing the compatible stream, the auxiliary stream, and the auxiliary information in different TSs, the existing two-viewpoint 3D image in the AVC method is used for multiplexing. Compatibility with an encoding apparatus for encoding can be ensured. That is, the encoding device 140 can multiplex a multi-viewpoint image by a method having compatibility with an existing method.
  • the encoding device 140 since the encoding device 140 uses two viewpoint images among the multi-view images as compatible images and encodes them using the existing encoding method, the encoding device 140 encodes an existing two-view method 3D image in encoding. Compatibility with the encoding device can be ensured.
  • the decoding device corresponding to the encoding device 140 can generate a multi-view image from the four-view images A2 to D2.
  • the decoding device is not limited to the viewpoints of images that can be generated as compared with the case of generating from images of two viewpoints, and can generate a multi-viewpoint image with higher accuracy.
  • FIG. 18 is a diagram illustrating a configuration example of a decoding device that decodes a multiplexed stream transmitted from the encoding device 140 of FIG.
  • the decoding device 170 decodes the multiplexed stream transmitted from the encoding device 140, generates a 2-viewpoint image or a multi-viewpoint image, and displays the image on a display device (not shown).
  • the image generation unit 171 of the decoding device 170 outputs an image and displays it on a display device (not shown) in response to a display command from the viewer.
  • the image generation unit 171 receives the image information from the image information acquisition unit 123 and the inter-viewpoint distance information from the inter-viewpoint distance information acquisition unit 124 in response to a display instruction of a multi-viewpoint 3D image from the viewer.
  • a multiplexed image of compatible images Based on the parallax image information from the parallax image information acquisition unit 125, the compatibility information from the compatibility information acquisition unit 126, and the like, a multiplexed image of compatible images, a multiplexed image of auxiliary images, and a multiplexed image of parallax images of compatible images. Then, using the multiplexed image of the parallax images of the auxiliary image, a compatible image or an image with half the resolution of the auxiliary image corresponding to a display device (not shown) is generated.
  • the image generation unit 171 multiplexes the parallax image of the auxiliary image based on the information indicating the multiplexing method of the parallax image of the auxiliary image included in the parallax image information from the parallax image information acquisition unit 125. From this, the parallax images of each auxiliary image are separated. Further, the image generation unit 171 separates the parallax images of the compatible images from the multiplexed images of the parallax images of the compatible images based on the information indicating the multiplexing scheme of the parallax images of the compatible images included in the parallax image information. .
  • the image generation unit 171 separates each auxiliary image from the multiplexed image of the auxiliary image based on the information indicating the auxiliary image multiplexing method included in the image information from the image information acquisition unit 123. Also, the image generation unit 171 separates each compatible image from the multiplexed image of the compatible image based on information indicating the compatible image multiplexing method included in the image information.
  • the image generation unit 171 determines the position of each viewpoint of the generated multi-viewpoint image based on the inter-viewpoint distance information and the number of viewpoints corresponding to the display device (not shown). Then, the image generation unit 171 generates an image of each viewpoint whose position is determined using each compatible image, each auxiliary image, the parallax image of each compatible image, and the parallax image of each auxiliary image. Then, the image generation unit 171 converts the resolution of the generated multi-viewpoint image into a resolution of 1 / the number of viewpoints of the resolution of the compatible image or the auxiliary image, and displays it on a display device (not shown).
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • the image generation unit 171 multiplexes the compatible images supplied from the decoder 122 based on the image information from the image information acquisition unit 123 in response to the display command of the 2-viewpoint 3D image from the viewer. Are separated into an image A2 and an image B2 having half the resolution of the compatible image. Then, the image generation unit 171 alternately outputs the images A2 and B2 having half the resolution of the separated compatible image, and displays them on a display device (not shown). At this time, the viewer wears glasses that open either the left-eye shutter or the right-eye shutter when displaying the image A2 and open the other when displaying the image B2, and alternately display the images A2 on the display device. By viewing the image B2, the 3D image can be viewed.
  • FIG. 19 is a flowchart for explaining the decoding process by the decoding device 170 of FIG. This decoding process is started, for example, when a multiplexed stream transmitted from the encoding device 140 in FIG. 14 is input to the decoding device 170.
  • the separation unit 121 of the decoding apparatus 170 acquires the multiplexed stream transmitted from the encoding apparatus 50, and separates TS1 and TS2 from the multiplexed stream.
  • the demultiplexing unit 121 refers to a delimiter or the like, extracts a compatible stream included in TS1 and an auxiliary stream included in TS2, and supplies it to the decoder 122.
  • the separation unit 121 refers to a delimiter or the like, extracts auxiliary information included in TS2, supplies image information of the auxiliary information to the image information acquisition unit 123, and acquires viewpoint distance information as inter-viewpoint distance information.
  • the separation unit 121 supplies the parallax image information of the auxiliary information to the parallax image information acquisition unit 125 and supplies the compatibility information to the compatibility information acquisition unit 126.
  • step S92 the image generation unit 171 determines whether or not the viewer has instructed the display of the 3D image of the 2-viewpoint method. If it is determined in step S92 that the viewer has not commanded the display of the 2-viewpoint 3D image, that is, if the display of the multi-viewpoint 3D image is commanded, the process proceeds to step S93.
  • steps S93 to S102 are performed in steps S33 to S42 in FIG. 9 except that the compatible image is a multiplexed image of compatible images and the parallax image of the compatible image is a multiplexed image of parallax images of the compatible image. Since it is the same as the process, the description is omitted.
  • step S92 determines whether the viewer has instructed the display of the 3D image of the two-viewpoint method. If it is determined in step S92 that the viewer has instructed the display of the 3D image of the two-viewpoint method, the process proceeds to step S103.
  • step S103 the compatible decoder 131 of the decoder 122 extracts the multiplexed image of the compatible image encoded from the compatible stream supplied from the separation unit 121, and decodes it by a method corresponding to the AVC method.
  • the compatible decoder 131 supplies a multiplexed image of compatible images obtained as a result of decoding to the image generation unit 171.
  • step S104 the image information acquisition unit 123 inputs the image information supplied from the separation unit 121 to the image generation unit 171.
  • step S ⁇ b> 105 the image generation unit 171 determines the compatible image obtained as a result of decoding by the compatible decoder 131 based on the information indicating the compatible image multiplexing method included in the image information supplied from the image information acquisition unit 123. Separate multiplexed images.
  • step S106 the image generation unit 171 alternately outputs the image A2 and the image B2, which are compatible images having half the resolution of the separated compatible image, to a display device (not shown) for display. Then, the process ends.
  • step S105 multiplexed images of compatible images are separated based on a predetermined multiplexing method.
  • the decoding device 170 can separate the multiplexed stream multiplexed by the encoding device 140 in a method having compatibility with the existing method.
  • the decoding device 170 is compatible with the existing method by the encoding device 140, and can decode the compatible stream and the auxiliary stream encoded by the method with relatively low processing cost.
  • the decoding device 170 since the decoding device 170 generates a multi-view image using the two-view compatible image and the two-view auxiliary image, the encoding device 140 is an existing photographing unit for generating a multi-view image.
  • the photographing unit 141A and the photographing unit 141B for photographing the two viewpoint compatible images only the two photographing units 141C and the photographing unit 141D need be prepared. Therefore, it is possible to easily and inexpensively install a photographing unit for generating a multi-viewpoint image.
  • FIG. 20 is a diagram illustrating another configuration example of the TS generated by the multiplexing unit 59 of FIG.
  • the multiplexing unit 59 generates three TSs, and the auxiliary stream and the auxiliary information are included in different TSs. Specifically, TS1 is generated from the compatible stream, TS2 is generated from the auxiliary stream, and TS3 is generated from the auxiliary information.
  • a single TS3 is generated only from auxiliary information with a relatively small amount of information. Therefore, for example, a decoding device that executes an application with a limited number of TSs that can be processed simultaneously, such as a BD application, reproduces TS1 and TS2 in synchronization by preloading TS3 with a relatively small amount of information. It becomes possible to do.
  • the configuration of TS2 in FIG. 20 is the same as the configuration described in FIG. 11 except that the multiplexed image of the parallax image of the compatible image is arranged instead of the parallax image of the compatible image. is there.
  • the configuration of TS3 is the same as the configuration described in FIG. 12 except that an auxiliary image of a multiplexed image of a compatible parallax image is arranged instead of an auxiliary image of a parallax image of a compatible image.
  • TS1 is generated from the compatible stream
  • TS2 is generated from the auxiliary stream
  • TS3 is generated from the auxiliary information. Is the same as the encoding process of FIG. 16 and FIG.
  • FIG. 21 is a flowchart for explaining the decoding process by the decoding device 170 in FIG. 18 when the configuration of TS multiplexed in the multiplexed stream is the configuration described in FIG. This decoding process is started, for example, when a multiplexed stream transmitted from the encoding device 140 in FIG. 14 is input to the decoding device 170.
  • step S111 in FIG. 21 the separation unit 121 of the decoding device 120 acquires the multiplexed stream transmitted from the encoding device 50, and separates TS3 from the multiplexed stream. Then, the separation unit 121 extracts auxiliary information included in the TS 3 with reference to a delimiter or the like.
  • the separation unit 121 supplies and holds the image information of the auxiliary information to the image information acquisition unit 123 and supplies the viewpoint distance information to the inter-viewpoint distance information acquisition unit 124 to hold it. Further, the separation unit 121 supplies the parallax image information of the auxiliary information to the parallax image information acquisition unit 125 and holds it, and supplies the compatibility information to the compatibility information acquisition unit 126 to hold it. Then, the process proceeds to step S112.
  • step S ⁇ b> 112 the image generation unit 127 determines whether or not the viewer has instructed the display of the 2D viewpoint 3D image. If it is determined in step S112 that the viewer has not instructed the display of the 2-viewpoint 3D image, that is, if the display of the multi-viewpoint 3D image is instructed, the process proceeds to step S113.
  • step S113 the separation unit 121 separates TS1 and TS2 from the multiplexed stream.
  • the demultiplexing unit 121 refers to a delimiter or the like, extracts a compatible stream included in TS1 and an auxiliary stream included in TS2, and supplies it to the decoder 122. Then, the process proceeds to step S114.
  • steps S114 to S123 is the same as the processing in steps S93 to S102 in FIG.
  • step S124 the separation unit 121 separates TS1 from the multiplexed stream. Then, the separation unit 121 refers to a delimiter or the like, supplies the compatible stream included in TS1 to the decoder 122, and advances the process to step S125.
  • steps S125 to S128 Since the processing of steps S125 to S128 is the same as the processing of steps S103 to S106 in FIG. 19, description thereof will be omitted.
  • FIG. 22 is a block diagram illustrating a configuration example of the third embodiment of the encoding device to which the present technology is applied.
  • the encoding device 180 encodes two viewpoint images out of multi-viewpoint images as compatible images by the MVC method and stores them together in one TS, or stores each viewpoint in another TS. In addition, compatibility with an encoding apparatus that encodes an existing two-viewpoint 3D image using the MVC method is ensured.
  • the image conversion unit 181 of the encoding device 180 is supplied from the image capturing unit 141A having the horizontal position on the inner side among the image capturing units 141A to 141D, similarly to the image conversion unit 142 in FIG.
  • the image A2 to be processed and the image B2 supplied from the photographing unit 141B are determined as compatible images.
  • the image conversion unit 181 supplies the images A2 and B2 that are compatible images to the encoder 182 as they are.
  • the image conversion unit 181 supplies information specifying the images A2 and B2 as compatible images to the compatible information generation unit 55.
  • the image conversion unit 181 uses the images C2 and D2 other than the image A2 and the image B2 as auxiliary images and multiplexes them by a predetermined multiplexing method.
  • the image conversion unit 181 supplies the multiplexed image obtained as a result of the multiplexing to the encoder 182 and supplies information indicating the auxiliary image multiplexing method to the image information generation unit 54.
  • the encoder 182 includes a compatible encoder 191 and an auxiliary encoder 152.
  • the compatible encoder 191 of the encoder 182 specifies a compatible image from the multiplexed image of the compatible image and the auxiliary image supplied from the image conversion unit 181 and accesses the image A2 of the compatible images using the existing AVC method as a base image. Encoding is performed in units, and encoding is performed in units of access units using the existing MVC method with the image B2 as a dependent image.
  • the compatible encoder 191 supplies the encoded stream obtained as a result to the multiplexing unit 59 as a compatible stream.
  • FIG. 23 is a diagram illustrating a first configuration example of a TS generated by the multiplexing unit 59 of FIG.
  • TS1 is generated from the encoded image A2 of the compatible streams
  • TS2 is generated from the encoded image B2, the auxiliary stream, and the auxiliary information.
  • FIG. 24 and 25 are flowcharts for explaining the encoding process by the encoding device 180 of FIG. This encoding process is started when, for example, the images A2 to D2 are output from the imaging units 141A to 141D.
  • steps S131 and S132 in FIG. 24 is the same as the processing in steps S71 and S72 in FIG.
  • step S133 the image conversion unit 181 supplies the image A2 supplied from the imaging unit 141A having the horizontal position inside among the imaging units 141A to 141D, and supplied from the imaging unit 141B.
  • the image B2 to be processed is determined as a compatible image, and the auxiliary image multiplexing method is determined.
  • the image conversion unit 181 supplies information specifying the images A2 and B2 as compatible images to the compatible information generation unit 55 and supplies the auxiliary image multiplexing method to the image information generation unit 54. Then, the process proceeds to step S134.
  • steps S134 to S137 Since the processing of steps S134 to S137 is the same as the processing of steps S14 to S17 in FIG.
  • the processing in steps S138 to S142 is the same as the processing in steps S79 to S83 in FIG.
  • step S143 the compatible encoder 191 of the encoder 182 encodes the image A2 of the compatible images supplied from the image conversion unit 181 using the existing AVC method as a base image, and the image B2 is dependent.
  • the image is encoded by the existing MVC method.
  • the compatible encoder 191 supplies the encoded stream obtained as a result to the multiplexing unit 59 as a compatible stream.
  • step S144 the auxiliary encoder 152 multiplexes the multiplexed image of the auxiliary image from the image converting unit 142, the multiplexed image of the parallax image of the compatible image from the parallax image generating unit 53, and the parallax image of the auxiliary image.
  • the encoded image is encoded by a predetermined method.
  • the auxiliary encoder 152 supplies the encoded stream obtained as a result of encoding to the multiplexing unit 59 as an auxiliary stream.
  • step S145 the multiplexing unit 59 generates TS1 from the encoded image A of the compatible streams, generates TS2 from the encoded image B, the auxiliary stream, and the auxiliary information, and multiplexes them.
  • the resulting multiplexed stream is transmitted.
  • This multiplexed stream is recorded on, for example, a BD or transmitted as a broadcast stream. Then, the process ends.
  • the encoding device 180 since the encoding device 180 performs multiplexing by storing one of the encoded compatible images and the other in another TS, the existing two-viewpoint 3D image is converted into an MVC in the multiplexing. It is possible to ensure compatibility with an encoding device that is encoded by the method and stored in two TSs.
  • the encoding device 180 since the encoding device 180 uses two viewpoint images among multi-viewpoint images as compatible images and encodes them using an existing encoding method, the encoding device 180 encodes an existing two-viewpoint 3D image in encoding. Compatibility with the encoding device can be ensured.
  • FIG. 26 is a diagram illustrating a configuration example of a decoding device that decodes a multiplexed stream transmitted from the encoding device 180 of FIG.
  • the decoding apparatus 200 decodes the multiplexed stream transmitted from the encoding apparatus 180, generates a one-viewpoint image, a two-viewpoint image, or a multi-viewpoint image, and displays the generated image on a display device (not shown).
  • the decoder 201 of the decoding device 200 includes a compatible decoder 211 and an auxiliary decoder 132.
  • the compatible decoder 211 of the decoder 201 decodes the encoded compatible image included in the compatible stream supplied from the separation unit 121 by a method corresponding to the MVC method, and supplies the decoded image to the image generation unit 202.
  • the image generation unit 202 outputs an image in accordance with a display command from the viewer, and displays the image on a display device (not shown). Specifically, the image generation unit 202 determines the image information from the image information acquisition unit 123 and the inter-viewpoint distance from the inter-viewpoint distance information acquisition unit 124 in response to a display instruction of a multi-viewpoint 3D image from the viewer.
  • the parallax image information from the parallax image information acquisition unit 125 the compatibility information from the compatibility information acquisition unit 126, and the like, the compatible image, the multiplexed image of the auxiliary image, the multiplexed image of the parallax image of the compatible image, and the auxiliary
  • the multiplexed image of the parallax images of the image an image having a resolution equal to half of the resolution of the compatible image or the auxiliary image and the number of viewpoints corresponding to a display device (not shown) is generated.
  • the image generation unit 202 multiplexes the parallax images of the auxiliary images based on information indicating the multiplexing method of the parallax images of the auxiliary images included in the parallax image information from the parallax image information acquisition unit 125. From this, the parallax images of each auxiliary image are separated. Further, the image generation unit 202 separates the parallax images of the compatible images from the multiplexed images of the parallax images of the compatible images based on the information indicating the multiplexing method of the parallax images of the compatible images included in the parallax image information. .
  • the image generation unit 202 separates each auxiliary image from the multiplexed image of the auxiliary image based on the information indicating the auxiliary image multiplexing method included in the image information from the image information acquisition unit 123. Further, the image generation unit 202 determines the position of each viewpoint of the generated multi-viewpoint image based on the inter-viewpoint distance information and the number of viewpoints corresponding to a display device (not shown). Then, the image generation unit 202 generates an image of each viewpoint whose position is determined using each compatible image, each auxiliary image, the parallax image of each compatible image, and the parallax image of each auxiliary image.
  • the image generation unit 202 converts the resolution of the generated multi-viewpoint image into a resolution of 1 / number of viewpoints of the resolution of the compatible image or the auxiliary image, and synthesizes it. Display on the display device.
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • the image generation unit 202 alternately outputs the image A2 and the image B2 as compatible images supplied from the decoder 122 in response to the display command of the two-viewpoint 3D image from the viewer, not shown. Display on the display device. At this time, the viewer wears glasses that open either the left-eye shutter or the right-eye shutter when displaying the image A2 and open the other when displaying the image B2, and alternately display the images A2 on the display device. By viewing the image B2, the 3D image can be viewed.
  • the image generation unit 202 outputs the image A2 of the compatible images supplied from the decoder 122 in accordance with a 2D image display command from the viewer, and displays the image A2 on a display device (not shown). Thereby, the viewer can see the 2D image.
  • FIG. 27 is a flowchart for explaining the decoding process by the decoding device 200 of FIG. This decoding process is started, for example, when a multiplexed stream transmitted from the encoding device 180 of FIG. 22 is input to the decoding device 200.
  • step S151 of FIG. 27 the image generation unit 202 of the decoding device 200 determines whether or not a 2D image display is instructed by the viewer. If it is determined in step S151 that display of a 2D image has been commanded by the viewer, the process proceeds to step S152.
  • step S152 the separation unit 121 receives the multiplexed stream transmitted from the encoding device 180, and separates TS1 from the multiplexed stream. Then, the separation unit 121 refers to a delimiter or the like, extracts a part of the compatible stream included in TS1, and supplies it to the decoder 201.
  • step S153 the compatible decoder 211 of the decoder 201 extracts the image A2 that is the base image from the compatible images encoded from a part of the compatible stream supplied from the separation unit 121, and supports the AVC method. Decrypt by method.
  • the compatible decoder 211 supplies the image A2 obtained as a result of the decoding to the image generation unit 202.
  • step S154 the image generation unit 202 outputs the image A2 supplied from the compatible decoder 211 to a display device (not shown) and displays it. Then, the process ends.
  • the separation unit 121 separates TS1 and TS2 from the multiplexed stream. Then, the separation unit 121 refers to a delimiter or the like, extracts a part of the compatible stream included in TS1, and supplies it to the decoder 122. In addition, the separation unit 121 refers to a delimiter or the like, extracts another part of the compatible stream included in TS2 and the auxiliary stream, and supplies the extracted part to the decoder 122.
  • the separation unit 121 refers to a delimiter or the like, extracts auxiliary information included in TS2, supplies image information of the auxiliary information to the image information acquisition unit 123, and acquires viewpoint distance information as inter-viewpoint distance information. To the unit 124. Further, the separation unit 121 supplies the parallax image information of the auxiliary information to the parallax image information acquisition unit 125 and supplies the compatibility information to the compatibility information acquisition unit 126.
  • step S156 the image generation unit 202 determines whether or not the viewer has instructed the display of the 3D image of the two viewpoint method. If it is determined in step S156 that the viewer has instructed display of the 3D image of the 2-viewpoint method, the process proceeds to step S157.
  • the compatible decoder 211 of the decoder 122 extracts and decodes the encoded compatible image from the compatible stream supplied from the separation unit 121. Specifically, the compatible decoder 211 extracts the encoded image A from a part of the compatible stream supplied from the separation unit 121 and extracts the encoded image B from the other part of the compatible stream. To do.
  • the compatible decoder 211 decodes the encoded image A as an encoded base image by a method corresponding to the AVC method, and converts the encoded image B as an encoded dependent image into the MVC method. Decrypt with the corresponding method.
  • the compatible decoder 211 supplies the image generation unit 202 with images A and B, which are compatible images obtained as a result of decoding.
  • step S158 the image generation unit 202 alternately outputs the images A1 and B1 of the compatible images supplied from the compatible decoder 211, and displays them on a display device (not shown). Then, the process ends.
  • step S156 determines whether the viewer has not commanded the display of the 2-viewpoint 3D image, that is, if the viewer has commanded the display of the multi-viewpoint 3D image. If it is determined in step S156 that the viewer has not commanded the display of the 2-viewpoint 3D image, that is, if the viewer has commanded the display of the multi-viewpoint 3D image, the process proceeds to step S159. move on.
  • step S159 the compatible decoder 211 extracts a compatible image encoded from the compatible stream supplied from the separation unit 121 and decodes it in a method corresponding to the MVC method, similarly to the processing in step S157.
  • the compatible decoder 211 supplies the image generation unit 202 with images A and B, which are compatible images obtained as a result of decoding.
  • step S160 the auxiliary decoder 132 extracts the multiplexed image of the auxiliary image encoded from the auxiliary stream, the multiplexed image of the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image, and FIG. Is decoded by a method corresponding to the auxiliary encoder 152.
  • the auxiliary decoder 132 supplies the image generation unit 202 with the multiplexed image of the auxiliary image, the multiplexed image of the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image obtained as a result of the decoding.
  • the processing in steps S161 to S168 is the same as the processing in steps S35 to S42 in FIG. 9 except that the parallax image of the compatible image is a multiplexed image of the parallax image of the compatible image, and thus description thereof is omitted.
  • the auxiliary stream and auxiliary information of TS2 are ignored, and the processes of steps S151 to S155, S157, and S158 are performed.
  • the decoding device 200 can separate the multiplexed stream multiplexed by the encoding device 180 in a method having compatibility with the existing method. Also, the decoding device 200 is compatible with the existing method by the encoding device 180, and can decode the compatible stream and the auxiliary stream encoded by the method with relatively low processing cost.
  • FIG. 28 is a diagram illustrating a second configuration example of the TS generated by the multiplexing unit 59 of FIG.
  • the multiplexing unit 59 generates three TSs, the image B2 that is one of the encoded compatible images of the compatible streams, and the auxiliary stream and auxiliary information in different TSs. included. Specifically, TS1 is generated from image A2 that is one of the encoded compatible images of the compatible stream, TS2 is generated from image B2 that is the other, and TS3 is generated from the auxiliary stream and auxiliary information. .
  • the encoded image A1 and the image B2 of the compatible stream are individually stored in the TS, so there is no need to reduce the information amount of the compatible stream. Therefore, the image quality of the compatible image can be made equal to the image quality of the two viewpoint images encoded by the existing MVC method.
  • FIG. 29 is a diagram for explaining an example of the multiplexing method of TS1 to TS3 of FIG.
  • TS1 to TS3 are multiplexed by being arranged from the top in the order of TS3, TS1, and TS2 in units of access units.
  • 3DV Representation Delimiter is added to the head of TS3, which indicates the head of the TS including information other than the compatible stream. That is, 3DV Representation Delimiter is arranged at the boundary between TS3 of a certain access unit and TS2 of the previous access unit. Therefore, the decoding apparatus 200 can easily recognize the compatible stream, the auxiliary stream and the auxiliary image synchronized with the compatible stream by extracting data from a certain 3DV Representation Delimiter to the next 3DV Representation Delimiter.
  • FIG. 30 is a flowchart illustrating a decoding process performed by the decoding device 200 in FIG. 26 when the configuration of the TS multiplexed in the multiplexed stream is the configuration described in FIG. This decoding process is started, for example, when a multiplexed stream transmitted from the encoding device 180 of FIG. 22 is input to the decoding device 200.
  • step S185 the image generation unit 202 performs the 3D 3D method from the viewer in the same manner as in step S156 of FIG. It is determined whether display of an image has been commanded. If it is determined in step S185 that display of a 2-viewpoint 3D image is instructed by the viewer, the process proceeds to step S186.
  • step S186 the separation unit 121 separates TS1 and TS2 from the multiplexed stream in the same manner as in step S155 of FIG. Then, the separation unit 121 extracts a part of the compatible stream included in TS1 and the other part of the compatible stream included in TS2 with reference to a delimiter or the like, and supplies the extracted part to the decoder 122. Then, the process proceeds to step S187.
  • steps S187 and S188 Since the processing of steps S187 and S188 is the same as the processing of steps S157 and S158 of FIG. 27, the description thereof is omitted.
  • step S185 determines whether the viewer has not commanded the display of the 2-viewpoint 3D image, that is, if the viewer has commanded the display of the multi-viewpoint 3D image. If it is determined in step S185 that the viewer has not commanded the display of the 2-viewpoint 3D image, that is, if the viewer has commanded the display of the multi-viewpoint 3D image, the process proceeds to step S189. move on.
  • the separation unit 121 separates TS3 from the multiplexed stream. Then, the separation unit 121 refers to a delimiter or the like, extracts auxiliary information included in TS3, supplies the image information of the auxiliary information to the image information acquisition unit 123, holds the information, and stores the viewpoint distance information between the viewpoints. The distance information acquisition unit 124 is supplied and held. Further, the separation unit 121 supplies the parallax image information of the auxiliary information to the parallax image information acquisition unit 125 and holds it, and supplies the compatibility information to the compatibility information acquisition unit 126 to hold it. In addition, the separation unit 121 refers to a delimiter or the like, extracts an auxiliary stream included in TS3, and supplies the extracted auxiliary stream to the decoder 122.
  • step S190 the separation unit 121 separates TS1 and TS2 from the multiplexed stream, similarly to the process in step S186. Then, the separation unit 121 extracts a part of the compatible stream included in TS1 and the other part of the compatible stream included in TS2, and supplies the extracted part to the decoder 122.
  • steps S191 to S200 Since the processing of steps S191 to S200 is the same as the processing of steps S159 to S168 in FIG. 27, the description thereof is omitted.
  • the decoding device 200 can separate the multiplexed stream multiplexed by the encoding device 180 in a method having compatibility with the existing method.
  • FIG. 31 is a diagram illustrating a third configuration example of the TS generated by the multiplexing unit 59 in FIG.
  • the multiplexing unit 59 generates three TSs, and the compatible stream, auxiliary stream, and auxiliary information are included in different TSs. Specifically, TS1 is generated from the compatible stream, TS2 is generated from the auxiliary stream, and TS3 is generated from the auxiliary information.
  • a single TS3 is generated only from auxiliary information with a relatively small amount of information. Therefore, for example, a decoding device that executes an application with a limited number of TSs that can be processed at the same time, such as a BD application, pre-loads TS3 with a relatively small amount of information, thereby reproducing TS1 and TS2 synchronously. It becomes possible to do.
  • the encoding device downloads the auxiliary stream and the auxiliary information from another device after generating the compatible stream. Etc., and a multiplexed stream can be generated.
  • the encoding device 180 encodes an existing 2-viewpoint 3D image in the MVC method in multiplexing, and stores it in one TS. Compatibility can be ensured.
  • FIG. 32 is a flowchart illustrating a decoding process performed by decoding apparatus 200 in FIG. 26 when the configuration of TS multiplexed in the multiplexed stream is the configuration described in FIG. This decoding process is started, for example, when a multiplexed stream transmitted from the encoding device 180 of FIG. 22 is input to the decoding device 200.
  • step S211 the image generation unit 202 of the decoding device 200 determines whether a 2D image display is instructed by the viewer, as in the process of step S151 of FIG. If it is determined in step S211 that the viewer has instructed display of the 2D image, the process proceeds to step S212.
  • step S212 the separation unit 121 receives the multiplexed stream transmitted from the encoding device 180, and separates TS1 from the multiplexed stream. Then, the separation unit 121 extracts the compatible stream included in TS1 and supplies it to the decoder 201.
  • step S213 the compatible decoder 211 of the decoder 201 extracts a compatible image encoded from the compatible stream supplied from the separation unit 121, and decodes it with a method corresponding to the MVC method.
  • the compatible decoder 211 supplies the image A2 obtained as a result of the decoding to the image generation unit 202.
  • step S214 the image generation unit 202 outputs the image A2 supplied from the compatible decoder 211 to a display device (not shown) and displays the same as in the process of step S154 in FIG. Then, the process ends.
  • step S215 the image generation unit 202 determines whether or not the viewer has instructed display of the 3D image of the two-viewpoint method. judge. If it is determined in step S215 that the viewer has instructed display of the 3D image of the two viewpoint method, the process proceeds to step S216.
  • step S216 the separation unit 121 separates TS1 from the multiplexed stream. Then, the separation unit 121 extracts the compatible stream included in TS1 and supplies it to the decoder 122.
  • step S217 the compatible decoder 211 of the decoder 122 extracts a compatible image encoded from the compatible stream supplied from the separation unit 121, and decodes it with a method corresponding to the MVC method.
  • the compatible decoder 211 supplies the image generation unit 202 with images A and B, which are compatible images obtained as a result of decoding.
  • step S218 the image generation unit 202 alternately outputs the images A1 and B1 of the compatible images supplied from the compatible decoder 211, and displays them on a display device (not shown). Then, the process ends.
  • step S215 determines whether the viewer has instructed the display of the 2-viewpoint 3D image, that is, if the viewer has instructed the display of the multi-viewpoint 3D image. If it is determined in step S215 that the viewer has instructed the display of the 2-viewpoint 3D image, that is, if the viewer has instructed the display of the multi-viewpoint 3D image, the process proceeds to step S219.
  • step S219 the separation unit 121 separates TS3 from the multiplexed stream output from the encoding device 180. Then, the separation unit 121 refers to a delimiter or the like, extracts auxiliary information included in TS3, supplies the image information of the auxiliary information to the image information acquisition unit 123, holds the information, and stores the viewpoint distance information between the viewpoints. The distance information acquisition unit 124 is supplied and held. Further, the separation unit 121 supplies the parallax image information of the auxiliary information to the parallax image information acquisition unit 125 and holds it, and supplies the compatibility information to the compatibility information acquisition unit 126 to hold it.
  • step S220 the separation unit 121 separates TS1 and TS2 from the multiplexed stream output from the encoding device 180. Then, the separation unit 121 supplies the compatible stream included in TS1 and the auxiliary stream included in TS2 to the decoder 122.
  • step S221 the compatible decoder 211 of the decoder 122 extracts a compatible image encoded from the compatible stream supplied from the separation unit 121, and decodes it with a method corresponding to the MVC method.
  • the compatible decoder 211 supplies the image generation unit 202 with images A and B, which are compatible images obtained as a result of decoding. Then, the process proceeds to step S222.
  • steps S222 to S230 Since the processing of steps S222 to S230 is the same as the processing of steps S192 to S200 of FIG. 30, description thereof will be omitted.
  • the decoding device separates the TS by the delimiter.
  • the TS may be separated by the PID.
  • the decoding device that can decode only the compatible stream does not recognize the PID other than the TS including the compatible stream, it ignores other than the TS.
  • auxiliary information may be encoded.
  • FIG. 33 is a block diagram illustrating a configuration example of the fourth embodiment of the encoding device to which the present technology is applied.
  • the configuration of the encoding device 230 in FIG. 33 mainly includes imaging units 231-1 to 231-1 instead of the imaging unit 51B and the imaging unit 51C, the image conversion unit 52, the parallax image generation unit 53, and the inter-viewpoint distance information generation unit 56.
  • 2 is different from the configuration of FIG. 2 in that an image conversion unit 232, a parallax image generation unit 233, and an inter-viewpoint distance information generation unit 234 are provided.
  • the encoding device 230 encodes one viewpoint image among the multi-viewpoint images as a compatible image, and encodes the remaining N viewpoint images as auxiliary images.
  • the imaging units 231-1 to 231-N are sequentially arranged in the horizontal direction with the imaging unit 51A as the center.
  • the distance between the image capturing unit 231-1 and the image capturing unit 231-2, the image capturing unit 231-2 and the image capturing unit 231-3,..., And the image capturing unit 231- (N-1) and the image capturing unit 231-N are distances. ⁇ d1 1 , ⁇ d1 2 ,..., ⁇ d1 N ⁇ 1 .
  • the imaging units 231-1 to 231-N respectively capture HD images of viewpoints different from the image A1 as the images P1 to PN, and the image conversion unit 232, the parallax image generation unit 233, and the inter-viewpoint distance information generation unit 234. To supply.
  • the photographing unit 231. when it is not necessary to distinguish each of the photographing units 231-1 to 231-N, they are collectively referred to as the photographing unit 231.
  • the images P1 to PN are referred to as images P.
  • the viewpoint corresponding to the image P is an outer viewpoint from among viewpoints of an image that can be perceived as a 3D image.
  • the decoding apparatus corresponding to the encoding apparatus 230 can generate a multi-viewpoint image by interpolating an image of a viewpoint inside the viewpoint of the image P using the image A1 and the image P.
  • the distances ⁇ d1 1 to ⁇ d1 N ⁇ 1 may be fixed or may change with time.
  • the image conversion unit 232 determines the image A1 supplied from the imaging unit 51A having the horizontal position inside the imaging unit 51A and the imaging unit 231 as a compatible image.
  • the image conversion unit 232 supplies information specifying the image A1 as a compatible image to the compatible information generation unit 55. Then, the image conversion unit 232 supplies the image A1 that is a compatible image to the encoder 58 as it is.
  • the image conversion unit 232 uses the image P other than the image A1 as an auxiliary image, and multiplexes the image P by a predetermined multiplexing method. Specifically, for example, when the multiplexing method is a side-by-side method, the image conversion unit 232 halves the resolution of the image P. Then, the image conversion unit 232 converts the images P1, P3,..., P (N-1) (hereinafter referred to as half-resolution odd-numbered images) whose resolutions are halved into images on the left half of the screen. , Half-resolution images P2, P4,..., PN (hereinafter referred to as half-resolution even images) become half-resolution odd images and half-resolution even images. Multiplex images. The image conversion unit 232 supplies a multiplexed image obtained as a result of the multiplexing to the encoder 58 and supplies information indicating the auxiliary image multiplexing method to the image information generation unit 54.
  • the image conversion unit 232 supplies a multiplexed image obtained
  • the parallax image generation unit 233 detects the parallax between each pixel of the image A1 and the image P using the image A1 from the imaging unit 51A and the image P from the imaging unit 231.
  • the parallax image generation unit 233 generates a parallax image A1 ′ of the image A1 that is a compatible image, and supplies the parallax image A1 ′ to the encoder 58 as it is.
  • the parallax image generation unit 233 generates parallax images P1 ′ to PN ′ of the images P1 to PN that are auxiliary images, and multiplexes them by a predetermined multiplexing method in the same manner as the image conversion unit 232.
  • the parallax image generation unit 233 supplies the multiplexed image obtained as a result to the encoder 58.
  • the parallax image generation unit 233 supplies the parallax image information generation unit 57 with information indicating the method of multiplexing the parallax images of the auxiliary images.
  • parallax image P ' when it is not necessary to particularly distinguish the parallax images P1 'to PN', they are collectively referred to as a parallax image P '.
  • the inter-viewpoint distance information generation unit 234 detects the inter-viewpoint distance between the image A1 and the image P using the image A1 from the image capturing unit 51A and the image P from the image capturing unit 231.
  • the inter-viewpoint distance information generation unit 234 includes the horizontal distance ⁇ d1 1 ,... Between the photographing unit 231-1 and the photographing unit 231-2, and the photographing unit 231- (N ⁇ 1) and the photographing unit.
  • the horizontal distance ⁇ d1 N ⁇ 1 between 231 -N is detected as the inter - viewpoint distance.
  • the inter-viewpoint distance information generation unit 234 generates information indicating the inter-viewpoint distance as the inter-viewpoint distance information and supplies the information to the multiplexing unit 59.
  • FIG. 34 is a diagram illustrating a configuration example of a TS generated by the multiplexing unit 59 of FIG.
  • the multiplexing unit 59 generates TS1 from the compatible stream. Also, TS2 is generated from the auxiliary stream and auxiliary information including the multiplexed image of the encoded auxiliary image P, the parallax image A ′ of the compatible image, and the multiplexed image of the parallax image P ′ of the auxiliary image. .
  • the image quality of the compatible image can be made equal to the image quality of the 2D image encoded by the existing AVC method.
  • FIG. 35 is a diagram illustrating a detailed configuration example of TS2 of FIG.
  • data is arranged in units of units in TS2 of FIG. 34, and a delimiter (Del) is inserted at the head of each unit.
  • Del delimiter
  • each unit includes a multiplexed image (P1 + P2,..., P (N-1) + PN) of an auxiliary image encoded in units of access units and a multiplexed image of the auxiliary image.
  • Auxiliary information (Aux Inf)
  • parallax image of the encoded compatible image (A1 ′) and auxiliary information of the parallax image of the compatible image
  • a multiplexed image of the parallax image of the encoded auxiliary image P1 ′ + P2) ', ..., P (N-1)' + PN '
  • auxiliary information of a multiplexed image of parallax images of auxiliary images are arranged as data.
  • the decoding device that receives TS2 extracts data in units of units, so that multiplexed images of encoded auxiliary images in units of access units and disparity of compatible images are obtained. Multiple images of images and parallax images of auxiliary images can be extracted independently. As a result, for example, when the decoding device generates a multi-view image using only the compatible image and the parallax image of the compatible image, the image used for generating the multi-view image can be easily extracted.
  • each image of the multiplexed image of the auxiliary image, the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image and the auxiliary information of the image are arranged in the same unit. Images can be easily processed independently.
  • each unit includes a multiplexed image of an auxiliary image encoded in units of access units, a parallax image of a compatible image, a multiplexed image of a parallax image of an auxiliary image, and auxiliary information.
  • the decoding device that receives TS2 extracts data in units of units, and thereby, the multiplexed images of the auxiliary images encoded in units of access units and the parallax of compatible images
  • Images, multiplexed images of parallax images of auxiliary images, and auxiliary information can be extracted together.
  • each unit includes, in each access unit, encoded auxiliary image multiplexed images and auxiliary information of auxiliary image multiplexed images, or encoded compatible image parallax images and auxiliary images. Multiplexed images of parallax images of images, and parallax images of compatible images and auxiliary information of parallax images of auxiliary images are arranged.
  • the decoding device that receives TS2 extracts data in units of units, so that the multiplexed images of the auxiliary images encoded in units of access units and the compatible images are extracted.
  • the parallax image and the multiplexed image of the parallax image of the auxiliary image can be extracted independently.
  • data can be efficiently supplied to the respective decoders.
  • the image and the parallax image can be processed easily and independently.
  • the encoding process of the encoding device 230 in FIG. 33 is the same as the encoding process in FIGS. 6 and 7 except that the number of viewpoints of the auxiliary image is not two viewpoints but N viewpoints. Description is omitted.
  • the encoding device 230 performs multiplexing by storing the compatible stream, the auxiliary stream, and the auxiliary information in different TSs. Therefore, the encoding device 230 encodes an existing 2D image in multiplexing. Compatibility can be ensured.
  • the encoding device 230 uses one viewpoint image among the multi-viewpoint images as a compatible image and encodes it with an existing encoding method, the encoding device 230 encodes an existing 2D image in encoding. Compatibility can be ensured. That is, the encoding device 230 can perform encoding on multi-viewpoint images using a method having compatibility with existing encoding methods.
  • the decoding device corresponding to the encoding device 230 since the encoding device 230 encodes the N + 1 viewpoint image A1 and the image P, the decoding device corresponding to the encoding device 230 generates a multi-viewpoint image from the N + 1 viewpoint image A1 and the image P. Can do.
  • the decoding device is not limited to the viewpoints of images that can be generated as compared with the case of generating from images of two viewpoints, and can generate a multi-viewpoint image with higher accuracy.
  • the encoding device 230 performs encoding by reducing the resolution of the auxiliary image, the processing cost of the encoding process and the decoding process can be reduced as compared with the case of encoding without reducing the resolution. it can.
  • FIG. 36 is a diagram illustrating a configuration example of a decoding device that decodes a multiplexed stream transmitted from the coding device 230 of FIG.
  • the decoding device 120 separates and decodes the multiplexed stream transmitted from the encoding device 230, generates a one-view image or a multi-view image, and displays the image on a display device (not shown).
  • the decoder 261 of the decoding device 260 in FIG. 36 includes a compatible decoder 131 and an auxiliary decoder 271.
  • the auxiliary decoder 271 (auxiliary image decoding unit) of the decoder 261 includes a multiplexed image of auxiliary images, a parallax image of compatible images, and a multiplexed image of parallax images of auxiliary images included in the auxiliary stream supplied from the separation unit 121.
  • the auxiliary decoder 271 generates a multiplexed image of an image P that is an auxiliary image obtained as a result of decoding, a parallax image A ′ of a compatible image, and a multiplexed image of a parallax image P ′ that is a parallax image of the auxiliary image. 262.
  • the image generation unit 262 outputs an image in response to a display command from the viewer and displays the image on a display device (not shown). Specifically, the image generation unit 262 (generation unit) receives the image information from the image information acquisition unit 123 and the inter-viewpoint distance information acquisition unit 124 in response to a display instruction for a 3D image of the multi-viewpoint method from the viewer.
  • the parallax image information from the parallax image information acquisition unit 125 Based on the inter-viewpoint distance information, the parallax image information from the parallax image information acquisition unit 125, the compatibility information from the compatibility information acquisition unit 126, and the like, a multiplexed image of the image A that is a compatible image and the image P that is an auxiliary image, Using a multiplexed image of the parallax image A ′ of the compatible image and the parallax image P ′ of the auxiliary image, the resolution of half the resolution of the compatible image and auxiliary image corresponding to a display device (not shown) is 3 or more.
  • the image generation unit 262 multiplexes the parallax image P1 ′ of the auxiliary image based on the information indicating the multiplexing method of the parallax image of the auxiliary image included in the parallax image information from the parallax image information acquisition unit 125.
  • the parallax image P ′ of each auxiliary image is separated from the converted image.
  • the image generation unit 262 separates each image P from the multiplexed image of the image P, which is an auxiliary image, based on the information indicating the auxiliary image multiplexing method included in the image information from the image information acquisition unit 123. To do.
  • the image generation unit 262 determines the position of each viewpoint of the generated multi-viewpoint image based on the inter-viewpoint distance information and the number of viewpoints corresponding to the display device (not shown). Then, the image generation unit 262 generates an image of each viewpoint whose position is determined using the compatible image, each auxiliary image, the parallax image of the compatible image, and the parallax image of each auxiliary image. Then, the image generation unit 262 converts the resolution of the generated image of each viewpoint into a resolution of 1 / the number of viewpoints of the resolution of the compatible image or the auxiliary image, and displays it on a display device (not shown).
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • the image generation unit 262 outputs an image A1 which is a compatible image supplied from the compatible decoder 131 of the decoder 261 in response to a 2D image display command from the viewer, and displays it on a display device (not shown). Let Thereby, the viewer can see the 2D image.
  • the decoding process of the decoding device 260 in FIG. 36 is the same as the decoding process in FIG. 9 except that the auxiliary image is an N-viewpoint image P, and thus the description thereof is omitted.
  • the decoding device 260 can separate the multiplexed stream multiplexed by the encoding device 230 in a method having compatibility with the existing method.
  • the decoding device 260 is compatible with the existing method by the encoding device 230, and can decode the compatible stream and the auxiliary stream encoded by the method with relatively low processing cost.
  • FIG. 37 is a block diagram illustrating a configuration example of the fifth embodiment of the encoding device to which the present technology is applied.
  • the encoding device 290 encodes one of the two-view compatible images using the AVC method and the other using the MVC method, and converts the one-view auxiliary image, the compatible-image parallax image, and the auxiliary-image parallax image to 3DV. Encode using the method.
  • the 3DV format is a format for encoding an image for display in a multi-viewpoint format that conforms to the AVC format or the MVC format.
  • the encoding device 290 includes an L image that is an image for the left eye in a two-view method as a one-view compatible image, and an L image that is a parallax image (hereinafter referred to as an L parallax image).
  • a viewpoint image is input.
  • the encoding apparatus 290 also includes an R viewpoint that includes an R image that is an image for the right eye in a two-viewpoint system as another compatible image of one viewpoint, and a parallax image of the R image (hereinafter referred to as an R parallax image). An image is input.
  • an O viewpoint image including an O image as an auxiliary image and a parallax image of the O image (hereinafter referred to as an O parallax image) is input to the encoding device 290.
  • an O parallax image is input to the encoding device 290.
  • the resolutions of the L viewpoint image, the R viewpoint image, and the O viewpoint image are all the same.
  • the image conversion processing unit 291 of the encoding device 290 performs a resolution reduction process such as filter processing on the O image and the O parallax image constituting the O viewpoint image input to the encoding device 290, respectively. , Reduce the resolution.
  • the image conversion processing unit 291 supplies the O viewpoint image after the resolution reduction processing to the encoding processing unit 293. Further, the image conversion processing unit 291 generates information representing the type of filter in the resolution reduction processing as auxiliary image low resolution conversion information that is information related to the resolution reduction processing of the auxiliary image, and supplies the information to the transmission unit 294. .
  • the parallax information generation unit 292 (setting unit) is a parallax that is information on the parallax images of the L parallax image, the R parallax image, and the O parallax image based on information at the time of shooting the L image, the R image, and the O image. Information is generated and supplied to the encoding processing unit 293.
  • the encoding processing unit 293 encodes the L image of the L viewpoint images input to the encoding device 290 using the AVC method. Also, the encoding processing unit 293 encodes the R image of the R viewpoint images using the MVC method with the L image as a base view (base image) and the R image as a non-base view (dependent image).
  • the encoding processing unit 293 encodes the L parallax image, the R viewpoint image, and the O viewpoint image after the resolution reduction processing supplied from the image conversion processing unit 291 in the 3DV format.
  • the encoding processing unit 293 performs a resolution reduction process such as a filter process on the L viewpoint image or the R viewpoint image to be referred to, and An L viewpoint image or an R viewpoint image having the same resolution as the resolution of the O viewpoint image obtained as a result is used as a reference image.
  • the encoding processing unit 293 generates a bitstream from the encoded data of the L viewpoint image, the R viewpoint image, and the O viewpoint image obtained as a result of encoding, and the disparity information supplied from the disparity information generation unit 292, The bit stream is supplied to the transmission unit 294.
  • the encoding processing unit 293 converts the information indicating the type of filter in the resolution reduction processing when generating the reference image of the O viewpoint image into the reference image low resolution conversion that is information related to the resolution reduction processing of the reference image. Information is generated and supplied to the transmission unit 294.
  • the transmission unit 294 generates a TS from the auxiliary image low resolution conversion information supplied from the image conversion processing unit 291 and the bit stream and reference image low resolution conversion information supplied from the encoding processing unit 293, and transmits the TS.
  • FIG. 38 is a diagram illustrating a configuration example of the encoding processing unit 293 of FIG.
  • 38 includes an encoding unit 301, an additional information generation unit 302, an addition unit 303, and a bit stream generation unit 304.
  • the encoding unit 301 of the encoding processing unit 293 includes a compatible encoding unit 311 and an auxiliary encoding unit 312.
  • the compatible encoding unit 311 of the encoding unit 301 encodes the L image that is a compatible image and the L image of the R images by the AVC method.
  • the compatible encoding unit 311 encodes the R image using the MVC method with the L image as a base view and the R image as a non-base view.
  • the compatible encoding unit 311 supplies encoded data of the L image and the R image obtained as a result of encoding to the adding unit 303.
  • the auxiliary encoding unit 312 encodes an L parallax image and an R parallax image that are parallax images of compatible images, an O image that is an auxiliary image, and an O parallax image that is a parallax image of the auxiliary image in a 3DV format. Specifically, the auxiliary encoding unit 312 encodes the O image by the 3DV method using the L image or the R image as a reference image. At this time, the auxiliary encoding unit 312 performs a resolution reduction process on the referenced L image or R image, and reduces the resolution of the L image or R image to the same resolution as that of the O image. Then, the auxiliary encoding unit 312 encodes the O image with reference to the L image and the R image after the resolution reduction processing.
  • the auxiliary encoding unit 312 encodes the L parallax image in the 3DV format without referring to the parallax images other than the same viewpoint, and encodes the R parallax image in the 3DV format with reference to the L parallax image.
  • the auxiliary encoding unit 312 encodes the O-parallax image after the resolution reduction processing by the 3DV method with reference to the L-parallax image and the R-parallax image. At this time, the auxiliary encoding unit 312 reduces the resolution of the referenced L parallax image or R parallax image to the same resolution as the O parallax image by the resolution reduction process, Refer to the R parallax image.
  • the auxiliary encoding unit 312 supplies the encoding data of the L parallax image, the R parallax image, and the O viewpoint image obtained as a result of the encoding to the adding unit 303. Also, the auxiliary encoding unit 312 generates information indicating the type of filter in the low resolution processing when generating the reference image of the O viewpoint image as reference image low resolution conversion information, and transmits the transmission unit 294 in FIG. To supply.
  • the additional information generating unit 302 generates SPS (Sequence Parameter Set) of the L image, and Subset SPS information of the L parallax image, the R viewpoint image, and the O viewpoint image. Further, the additional information generation unit 302 generates SEI (Supplemental / Enhancement / Information) information of the L image, the R image, and the O image. Furthermore, the additional information generation unit 302 receives the SEI information of the L parallax image including the parallax information of the L parallax image supplied from the parallax information generation unit 292 of FIG. 37 and the SEI of the R parallax image including the parallax information of the R parallax image.
  • SPS Sequence Parameter Set
  • SEI Supplemental / Enhancement / Information
  • the additional information generation unit 302 supplies the SPS and SEI information of the L image and the Sub-
  • the adding unit 303 adds a NAL header including information indicating the type of the AVC picture as the type of the NAL (Network Abstraction Layer) unit to the encoded data of the L image supplied from the compatible encoding unit 311. Generate a NAL unit. Further, the adding unit 303 adds a NAL header including information indicating MVC encoded data as the NAL unit type to the encoded R image data supplied from the compatible encoding unit 311, and adds the NAL unit. Generate.
  • the adding unit 303 includes, in the encoded data of the O image supplied from the auxiliary encoding unit 312, information indicating 3DV format encoded data as the NAL unit type, and a disparity flag indicating that it is not a disparity image Add a NAL header containing, and generate a NAL unit. Further, the adding unit 303 includes information indicating 3DV encoded data as the NAL unit type in the encoded data of the L parallax image, the R parallax image, and the O parallax image supplied from the auxiliary encoding unit 312. And a NAL header including a parallax flag (parallax identification information) indicating that the image is a parallax image, information on a corresponding image, and the like are added to generate a NAL unit.
  • a parallax flag parllax identification information
  • the adding unit 303 adds the SPS and SEI information of the L image supplied from the additional information generating unit 302, and the Subset SPS and SEI information of the L parallax image, the R viewpoint image, and the O viewpoint image, respectively.
  • a NAL unit type a NAL header representing each information is added to generate a NAL unit.
  • the adding unit 303 supplies the NAL unit generated as described above to the bit stream generating unit 304.
  • the bit stream generation unit 304 generates a bit stream by arranging the NAL units supplied from the addition unit 303 in a predetermined order, and supplies the bit stream to the transmission unit 294 in FIG.
  • FIG. 39 is a diagram illustrating a reference relationship in encoding by the encoding unit 301 in FIG.
  • the compatible encoding unit 311 encodes the L image by the AVC method.
  • the compatible encoding unit 311 encodes the R image using the MVC method with the L image as a base view and the R image as a non-base view.
  • the auxiliary encoding unit 312 encodes the O image after the resolution reduction process by the 3DV method with reference to the L image and the R image after the resolution reduction process.
  • the auxiliary encoding unit 312 encodes the L parallax image in 3DV format without referring to other than the parallax image of the same viewpoint, and refers to the L parallax image to convert the R parallax image to 3DV. Encode using the method. Further, the auxiliary encoding unit 312 encodes the O-parallax image after the resolution reduction process by the 3DV method with reference to the L-parallax image and the R-parallax image after the resolution reduction process.
  • FIG. 40 is a diagram illustrating a configuration example of the NAL unit of the encoded data of the L viewpoint image, the R viewpoint image, and the O viewpoint image in the bit stream generated by the encoding processing unit 293 of FIG.
  • the NAL unit of the encoded data of the L image includes a NAL header including information indicating the type of the AVC picture of the L image and the encoded data of the L image as the type of the NAL unit.
  • each of the NAL units of the encoded data of the R image, the O image, the L parallax image, the R parallax image, and the O parallax image indicates information indicating the MVC encoded data as the type of the NAL unit (NAL unit type). It includes a NAL header that includes the encoded data. Therefore, the NAL header of the NAL unit of the encoded data of the R image, the O image, the L parallax image, the R parallax image, and the O parallax image encoded by the MVC method is the same.
  • the existing MVC decoding device cannot extract and decode only the necessary NAL unit of the R image, and performs a useless decoding process.
  • the NAL unit is included in the NAL header of the NAL unit of the O image, the L parallax image, the R parallax image, and the O parallax image.
  • information representing 3DV encoded data is included, and a disparity flag (is_depth) is included as extension information (nal_unit_header_3dv_extension).
  • the NAL header of the NAL unit of the O image includes a parallax flag that is 0 indicating that it is not a parallax image.
  • the O image can be identified in the decoding device.
  • the NAL header of the NAL unit of the L parallax image, the R parallax image, and the O parallax image includes a parallax flag that is 1 representing a parallax image. Accordingly, the L parallax image, the R parallax image, and the O parallax image can be identified in the decoding device.
  • the NAL header of the NAL unit of the L parallax image, the R parallax image, and the O parallax image includes information on the corresponding image (compatible image, auxiliary image) as the extension information.
  • information on the corresponding image there are the number of viewpoints (num_cor_view_id) of the corresponding image and information (cor_view_id) (compatible image identification information, auxiliary image identification information) for specifying the viewpoint of the corresponding image.
  • the L parallax image is a parallax image of an L image of one viewpoint
  • the R parallax image is a parallax image of an R image of one viewpoint
  • the O parallax image is a parallax image of an O image of one viewpoint.
  • the information specifying the viewpoint of the L image is 0, the information specifying the viewpoint of the R image is 1, and the information specifying the viewpoint of the O image is 2.
  • the information on the corresponding image included in the NAL header of the NAL unit of the L parallax image is 1 as the number of viewpoints of the corresponding image and 0 as information specifying the viewpoint of the corresponding image.
  • the information regarding the corresponding image included in the NAL header of the NAL unit of the R parallax image is 1 as the number of viewpoints of the corresponding image and 1 as information specifying the viewpoint of the corresponding image.
  • the information regarding the corresponding image included in the NAL header of the NAL unit of the O-parallax image is 1 as the number of viewpoints of the corresponding image and 2 as the information specifying the viewpoint of the corresponding image.
  • the information on the corresponding image is included as the extended information, so that the L parallax image, the R parallax image, and the O parallax image can be identified.
  • the information for identifying the image corresponding to the parallax image which indicates the correspondence between the parallax image and the image, is included in the NAL header of the parallax image instead of the NAL header of the image, the compatibility of the NAL unit of the compatible image is improved. Can keep.
  • the NAL unit type of the L image which is a compatible image
  • the NAL unit type of the R image is information indicating encoded data of the MVC method. Therefore, it can be said that the type of NAL unit representing 3DV encoded data is information representing the head of information other than the compatible image, that is, boundary information representing the boundary of information other than the compatible image.
  • FIG. 41 is a diagram illustrating a configuration example of a bit stream generated by the bit stream generation unit 304 of FIG.
  • an L-picture bit stream encoded in the AVC format includes an ALC-type SPS information NAL unit of an L-picture, an L-picture AVC-type SEI information NAL unit, and It is composed of NAL units of encoded data (L color) of L images.
  • the bit stream of the R image encoded by the MVC method includes the NAL unit of the RVC MVC Subset SPS information, the NAL of the MVC SEI information of the R image.
  • the O image bit stream encoded in the 3DV format includes a 3DV format Subset SPS information NAL unit of the O image, a 3DV format SEI information NAL unit of the O image, And NAL units of encoded data (O color) of O images.
  • the bit stream of the L parallax image encoded in the 3DV format includes the NAL unit of the 3DV format Subset SPS information of the L parallax image, and the parallax information (3DV_view_synthesis_info) of the L parallax image It is composed of a 3DV SEI information NAL unit and an LAL parallax image encoded data (L Depth) NAL unit.
  • the bit stream of the R parallax image encoded in the 3DV format is a 3DV format Subset SPS information NAL unit of the R parallax image, and a 3DV format parallax information including the parallax information of the R parallax image It is composed of a NAL unit for SEI information and a NAL unit for encoded data (R Depth) of an R parallax image.
  • bit stream of the O parallax image encoded in the 3DV format is similar to the bit stream of the R parallax image. It is composed of a NAL unit of 3DV SEI information including image parallax information and a NAL unit of encoded data of an O parallax image.
  • disparity information is included in the 3DV SEI, there is no need to process disparity information wastefully in a decoding device that does not support the 3DV method.
  • FIG. 42 is a diagram illustrating a configuration example of 3DV SEI.
  • the 3DV SEI includes disparity information (3DV_view_synthesis_info).
  • FIG. 43 is a diagram illustrating a description example of disparity information (3DV_view_synthesis_info).
  • parallax information whether each pixel value of the parallax image is a parallax value (Disparity) representing the parallax itself or a depth value representing the depth (Depth) of the subject corresponding to the parallax. Describes the parallax type (depth_type).
  • a normalization flag (is_normalized) (normalized identification information) indicating whether each pixel value of the parallax image is normalized within a predetermined range (for example, a range from 0 to 255) is provided. Described.
  • each pixel value of the parallax image is a depth value
  • the maximum value (z_near) of the depth value common to all viewpoints and the minimum value (z_far) of the depth value are described as the parallax information.
  • the maximum parallax value (max_disp) and the minimum parallax value (min_disp) for each viewpoint are described.
  • a shooting mode (camera_mode) of a camera that shoots an image corresponding to the parallax image is described.
  • the shooting modes include a parallel shooting mode (1D parallel mode) for shooting in such a way that the distance between the camera and the subject in the depth direction is the same, and a shooting mode with radiation for shooting by placing each camera in the radiation direction from the subject ( General mode).
  • parallax information correspondence information (interval_view_id) representing the parallax represented by the parallax image and the image corresponding to the parallax image and which image is further described. Furthermore, as the parallax information, the number of viewpoints (num_cor_view_id) of the image corresponding to the parallax image and information (cor_vie_id) specifying the image are described.
  • the camera parameters are composed of internal parameters and external parameters.
  • the internal parameters are composed of the focal length in the horizontal direction of the camera common to all viewpoints and the horizontal position of the principal point that is the center of the image, that is, the optical center of the lens. Note that the position of the principal point in the horizontal direction may vary from viewpoint to viewpoint.
  • the external parameter is a parameter that defines the position of the camera in the horizontal direction.
  • FIG. 44 is a flowchart for describing the multi-viewpoint encoding process of the encoding device 290 of FIG. This multi-view image encoding process is started when, for example, an L viewpoint image, an R viewpoint image, and an O viewpoint image are input to the encoding device 290 as encoding targets.
  • the encoding processing unit 293 of the encoding device 290 acquires the L viewpoint image input to the encoding device 290.
  • the encoding processing unit 293 acquires the R viewpoint image input to the encoding device 290.
  • the image conversion processing unit 291 acquires the O viewpoint image input to the encoding device 290.
  • step S254 the image conversion processing unit 291 performs a resolution reduction process on each of the O image and the O parallax image of the O viewpoint images.
  • the image conversion processing unit 291 supplies the O viewpoint image after the resolution reduction processing to the encoding processing unit 293.
  • step S255 the image conversion processing unit 291 generates information representing the filter type in the resolution reduction processing in step S254 as auxiliary image low resolution conversion information, and supplies it to the transmission unit 294.
  • step S256 the parallax information generation unit 292 generates parallax information of the L parallax image, the R parallax image, and the O parallax image based on information at the time of shooting the L image, the R image, and the O image. To the processing unit 293.
  • step S257 the encoding processing unit 293 performs an encoding process for encoding the L viewpoint image and the R viewpoint image, and the O viewpoint image after the resolution reduction processing supplied from the image conversion processing unit 291. Details of this encoding process will be described with reference to FIG.
  • step S258 the transmission unit 294 generates a TS from the auxiliary image low resolution conversion information supplied from the image conversion processing unit 291 and the reference image low resolution conversion information and bit stream supplied from the encoding processing unit 293. To transmit. Then, the process ends.
  • FIG. 45 is a flowchart for explaining the details of the encoding process in step S257 of FIG.
  • the encoding unit 301 (FIG. 38) of the encoding processing unit 293 encodes the L viewpoint image, the R viewpoint image, and the O viewpoint image after the resolution reduction processing.
  • the compatible encoding unit 311 of the encoding unit 301 encodes the L image using the AVC method and encodes the R image using the MVC method.
  • the auxiliary encoding unit 312 encodes the L parallax image, the R parallax image, and the O viewpoint image after the resolution reduction processing in the 3DV format.
  • the encoding unit 301 supplies encoded data of the L viewpoint image, the R viewpoint image, and the O viewpoint image obtained as a result of the encoding to the adding unit 303.
  • step S271 the auxiliary encoding unit 312 generates reference image low resolution conversion information and supplies the reference image low resolution conversion information to the transmission unit 294 in FIG.
  • step S272 the additional information generation unit 302 uses the disparity information supplied from the disparity information generation unit 292 in FIG. 37, the LPS SPS and SEI information, the L disparity image, the R viewpoint image, and the O image. Information on Subset SPS and SEI of the viewpoint image is generated and supplied to the adding unit 303.
  • step S273 the adding unit 303 adds the NAL header including the type of the NAL unit representing the type of the AVC picture to the encoded data of the L image supplied from the compatible encoding unit 311 to generate the NAL unit. To do.
  • the adding unit 303 supplies the generated NAL unit of the encoded data of the L image to the bit stream generating unit 304.
  • step S274 the addition unit 303 adds the NAL header including the type of the NAL unit representing the MVC encoded data to the encoded R image data supplied from the compatible encoding unit 311 to generate the NAL unit. To do.
  • the adding unit 303 supplies the generated NAL unit of the encoded data of the R image to the bit stream generating unit 304.
  • step S275 the adding unit 303 adds, to the encoded data of the O image supplied from the auxiliary encoding unit 312, a type of NAL unit representing 3DV encoded data and a disparity flag indicating that it is not a disparity image. Add a NAL header that contains the NAL unit.
  • the adding unit 303 supplies the generated NAL unit of the encoded data of the O image to the bit stream generating unit 304.
  • step S276 the adding unit 303 adds NAL unit types representing encoded data of the 3DV format to the encoded data of the L parallax image, the R parallax image, and the O parallax image supplied from the auxiliary encoding unit 312.
  • a NAL header including a parallax flag indicating that the image is a parallax image and information on the corresponding image is added to generate a NAL unit.
  • the adding unit 303 supplies the generated NAL unit of the encoded data of the L parallax image, the R parallax image, and the O parallax image to the bit stream generation unit 304.
  • step S277 the adding unit 303 adds the SPS and SEI information of the L image supplied from the additional information generating unit 302, and the Subset SPS and SEI information of the L parallax image, the R viewpoint image, and the O viewpoint image.
  • a NAL header including the type of NAL unit representing each information is added to generate a NAL unit.
  • the adding unit 303 supplies the generated SPS and SEI information of the L image, and the NAL unit of the Sub-SPS and SEI information of the L parallax image, the R viewpoint image, and the O viewpoint image to the bitstream generation unit 304 To do.
  • step S278 the bit stream generation unit 304 generates a bit stream by arranging the NAL units supplied from the addition unit 303 in a predetermined order, and supplies the bit stream to the transmission unit 294 in FIG. Then, the process returns to step S257 in FIG. 44, and the process proceeds to step S258.
  • the encoding apparatus 290 encodes a compatible image using an existing encoding method, and includes NAL unit types that include 3DV encoded data in the encoded data of an O image that is an auxiliary image. Add a header.
  • the decoding device that supports only the existing coding method can extract only the encoded data of the compatible image that can be decoded based on the NAL header, and can decode the data using a method that corresponds to the existing coding method. Therefore, it can be said that the encoding device 290 performs encoding by a method having compatibility with an existing method.
  • application data corresponding to each of the AVC, MVC, and 3DV formats can be collectively encoded and broadcast.
  • FIG. 46 is a block diagram illustrating a configuration example of an AVC decoding apparatus that decodes a bitstream transmitted by the encoding apparatus 290 in FIG.
  • the 46 includes a reception unit 321, a separation unit 322, and an AVC decoding unit 323, and decodes encoded data of an L image included in a bit stream transmitted by the encoding device 290.
  • the receiving unit 321 of the decoding device 320 receives the TS transmitted by the encoding device 290 in FIG. 37 and supplies the bit stream included in the TS to the separating unit 322.
  • the demultiplexing unit 322 demultiplexes the bit stream supplied from the receiving unit 321 into the SPS and SEI of the L image and the NAL unit of the encoded data and NAL units other than the NAL unit based on the NAL header.
  • the separation unit 322 includes, from the bitstream, a NAL unit of encoded data of an L image that includes a NAL unit type indicating the type of an AVC picture in a NAL header, and a NAL unit that represents an AVC SPS.
  • the SPS NAL unit of the L image including the type in the NAL header and the NAL unit of the SEI of the L image including the type of the NAL unit representing the AVC-type SEI in the NAL header are extracted.
  • the separation unit 322 includes the SPS information, the SEI information, and the encoded data of the L image that is the data included in the separated NAL unit, and the data includes the SPS information, the SEI information, and the encoded data.
  • the information is supplied to the AVC decoding unit 323 together with the type information indicating which one is.
  • the type information is generated based on the type of the corresponding NAL unit.
  • the AVC decoding unit 323 holds the SPS and SEI information supplied corresponding to the type information representing the SPS information and the SEI information based on the type information supplied from the separation unit 322.
  • the AVC decoding unit 323 decodes the encoded data of the L image supplied together with the type information representing the encoded data from the separation unit 322 based on the stored SPS and SEI information in a method corresponding to the AVC method To do.
  • the AVC decoding unit 323 outputs the L image obtained as a result of the decoding to a display device (not shown) and displays it. Thereby, the viewer can see the 2D image.
  • FIG. 47 is a flowchart for explaining the decoding process of the decoding device 320 of FIG. This decoding process is started, for example, when a TS is transmitted from the encoding device 290 in FIG.
  • the reception unit 321 of the decoding device 320 receives the TS transmitted from the encoding device 290.
  • the reception unit 321 supplies the bit stream included in the TS to the separation unit 322. Note that the subsequent processing in steps S292 to S297 is performed for each NAL unit constituting the bitstream.
  • step S292 the separation unit 322 determines whether the type of the NAL unit included in the NAL header of the NAL unit is an AVC type. That is, the separation unit 322 determines whether the type of the NAL unit is information indicating the type of AVC picture, SPS, or SEI.
  • step S292 If it is determined in step S292 that the NAL unit type is the AVC type, the process proceeds to step S293.
  • the separation unit 322 inputs the L image data included in the NAL unit, that is, the SPS information, the SEI information, or the encoded data of the L image, together with the type information, to the AVC decoding unit 323.
  • step S294 the AVC decoding unit 323 determines whether the data is encoded data of the L image based on the type information corresponding to the L image data supplied from the separation unit 322. If it is determined in step S294 that the encoded data is an L image, in step S295, the AVC decoding unit 323 determines that the encoded image data of the L image is based on the stored SPS and SEI information. Decodes using a method corresponding to.
  • step S296 the AVC decoding unit 323 outputs the L image obtained as a result of the decoding to a display device (not shown) and displays it. Then, the process ends.
  • step S294 determines whether the data is not encoded data of the L image, that is, if the L image data supplied from the separation unit 322 is SPS or SEI information of the L image. If it is determined in step S294 that the data is not encoded data of the L image, that is, if the L image data supplied from the separation unit 322 is SPS or SEI information of the L image, the process proceeds to step S297. move on.
  • step S297 the AVC decoding unit 323 holds the SEI or SPS information of the L image supplied from the separation unit 322, and ends the process.
  • step S292 If it is determined in step S292 that the NAL unit type is not an AVC type, the NAL unit is not supplied to the AVC decoding unit 323, and the process ends.
  • the decoding device 320 based on the NAL header, the SPS and SEI of the L image, which is a compatible image that can be decoded by the decoding device 320, and the NAL unit of the encoded data, and the NAL unit Are separated into other NAL units, and only encoded data included in the separated NAL units is decoded by a method corresponding to the existing AVC method. Accordingly, the decoding device 320 can decode the bitstream obtained as a result of encoding by the encoding device 290 using a method compatible with the existing method.
  • FIG. 48 is a block diagram illustrating a configuration example of an MVC decoding apparatus that decodes a bitstream transmitted by the encoding apparatus 290 of FIG.
  • the configuration of the decoding device 320 in FIG. 48 is mainly different from the configuration in FIG. 46 in that a separating unit 341 and an MVC decoding unit 342 are provided instead of the separating unit 322 and the AVC decoding unit 323.
  • the decoding device 320 decodes the encoded data of the L image and the R image included in the bit stream transmitted from the encoding device 290.
  • the separation unit 341 of the decoding device 320 converts the bit stream supplied from the reception unit 321 from the SPS of the L image, the Subset SPS of the R image, and the L image and the R image based on the NAL header. Separated into NAL units for SEI and encoded data, and NAL units other than the NAL unit.
  • the separation unit 341 extracts the encoded data of the L image, the SPS, and the NEI unit of the SEI from the bit stream, similarly to the separation unit 322 of FIG.
  • the separation unit 341 determines, from the bit stream, the NAL unit type representing the MVC encoded data in the NAL header and the NAL unit type representing the MVC Subset SPS.
  • the NAL unit of the Sub-set SPS of the R image included in the NAL header and the NAL unit of the SEI of the R image including the type of the NAL unit representing the MVC SEI in the NAL header are extracted.
  • the separation unit 341 performs MVC decoding on the SPS of the L image and the Subset SPS of the R image, which are data included in the separated NAL unit, and the SEI and encoded data of the L image and the R image together with the type information of the data. To the unit 342.
  • the MVC decoding unit 342 holds information on the SEI of the L image and the R image, the SPS of the L image, and the Sub-set SPS of the R image based on the type information supplied from the separation unit 341. Similar to the AVC decoding unit 323 in FIG. 46, the MVC decoding unit 342 converts the encoded image data of the L image supplied from the separation unit 341 into the AVC method based on the stored SEI and SPS information of the L image. Decodes using a method corresponding to.
  • the MVC decoding unit 342 stores the encoded data of the R image supplied together with the type information representing the encoded data of the R image from the separating unit 341 based on the stored SEI and Subset SPS information of the R image.
  • the L image is used as a base view and the R image is used as a non-base view, and decoding is performed using a method corresponding to the MVC method.
  • the MVC decoding unit 342 alternately outputs the L image and the R image obtained as a result of the decoding to a display device (not shown) and displays them.
  • the viewer wears glasses that open the left-eye shutter when displaying the L image and open the right-eye shutter when displaying the R image, and display the L image and the R image displayed alternately on the display device.
  • a 3D image can be viewed.
  • FIG. 49 is a flowchart for explaining the decoding process of the decoding device 340 of FIG. This decoding process is started, for example, when a TS is transmitted from the encoding device 290 in FIG.
  • the reception unit 321 of the decoding device 340 receives the TS transmitted from the encoding device 290.
  • the reception unit 321 supplies the bit stream included in the TS to the separation unit 341. Note that the processes in subsequent steps S312 to S317 are performed for each NAL unit constituting the bitstream.
  • the separation unit 341 determines whether the type of the NAL unit included in the NAL header of the NAL unit is an AVC type or an MVC type. That is, the separation unit 341 determines whether the type of the NAL unit is information indicating the type of AVC picture, SPS, or SEI, or encoded data of MVC, Subset ⁇ SPS, or SEI.
  • step S312 If it is determined in step S312 that the NAL unit type is the AVC type or the MVC type, the process proceeds to step S313.
  • the separation unit 341 includes L image or R image data included in the NAL unit, that is, L image SPS information, SEI information, or encoded data, or R image Subset SPS information, The SEI information or the encoded data is input to the MVC decoding unit 342 together with the type information.
  • step S314 the MVC decoding unit 342 determines whether the data supplied from the separation unit 341 is L image or R image encoded data based on the type information. If it is determined in step S314 that the encoded data is an L image or an R image, in step S315, the MVC decoding unit 342 stores the encoded data of the L image or the R image in the SPS or Subset SPS that is held. And decoding based on SEI information.
  • step S316 the MVC decoding unit 342 outputs the L image or the R image obtained as a result of the decoding to a display device (not shown) to be displayed, and ends the process.
  • step S314 if it is determined in step S314 that the data is not encoded data of the L image or the R image, that is, the data from the separation unit 341 is SPS or SEI information of the L image, or Subset SPS or SEI of the R image. If it is information, the process proceeds to step S317.
  • step S317 the MVC decoding unit 342 holds the SPS or SEI information of the L image or the Subset SPS or SEI information of the R image supplied from the separation unit 341, and ends the processing.
  • step S312 If it is determined in step S312 that the NAL unit type is not the AVC type or the MVC type, the NAL unit is not supplied to the MVC decoding unit 342, and the process ends.
  • the decoding device 340 converts the bit stream into the SPS and SEI of the L image, which is a compatible image that can be decoded by the decoding device 340, and the encoded data, and the Subset SPS of the R image. , SEI and encoded data NAL units and NAL units other than the NAL unit are separated, and only the encoded data contained in the separated NAL units is decoded by a method corresponding to the existing AVC method or MVC method . Accordingly, the decoding device 340 can decode the bitstream obtained as a result of encoding by the encoding device 290 using a method compatible with the existing method.
  • FIG. 50 is a block diagram illustrating a configuration example of a 3DV format decoding apparatus that decodes a bitstream transmitted by the encoding apparatus 290 of FIG.
  • the decoding device 360 decodes the encoded data of the L viewpoint image, the R viewpoint image, and the O viewpoint image included in the bit stream transmitted by the encoding device 290.
  • the receiving unit 361 of the decoding device 360 receives the TS transmitted by the encoding device 290 of FIG.
  • the reception unit 361 supplies the bit stream included in the TS to the separation unit 362, supplies the reference image low resolution conversion information to the 3DV decoding unit 363, and supplies the auxiliary image low resolution conversion information to the low resolution image inverse conversion processing unit 364. Supply.
  • the separation unit 362 separates the bit stream supplied from the reception unit 361 into each NAL unit based on the NAL header. More specifically, the separation unit 362 extracts the encoded data of the L image, the SPS, and the NEI unit of the SEI from the bit stream, similarly to the separation unit 341 of FIG. Similarly to the separation unit 341, the separation unit 362 extracts the encoded data of the R image, the Subset SPS, and the NEI unit of SEI from the bit stream.
  • the separation unit 362 extracts the NAL unit of the encoded data of the L parallax image, the R parallax image, and the O viewpoint image including the type of the NAL unit representing the 3DV encoded data in the NAL header.
  • the separation unit 362 includes, in the NAL header, the types of NAL units representing 3DV SubsetSubSPS and SEI in the NAL header.
  • the SEI NAL unit of the O viewpoint image is the types of NAL units representing 3DV SubsetSubSPS and SEI in the NAL header.
  • the separation unit 362 further separates the NAL header of the encoded data of the L parallax image, the R parallax image, and the O viewpoint image based on the extension information included in the NAL header. Specifically, the separation unit 362 extracts a NAL unit, which is a parallax flag indicating that the extension information is not a parallax image, as a NAL unit of encoded data of an O parallax image. In addition, the separation unit 362 specifies the parallax flag indicating that the extension information is a parallax image, 1 as the number of viewpoints of the corresponding image, and L information as information for specifying the viewpoint of the corresponding image. Are extracted as NAL units of encoded data of L parallax images. Similarly, the separation unit 362 extracts the NAL unit of the encoded data of the R parallax image and the NAL unit of the encoded data of the O parallax image.
  • the separation unit 362 includes information about the SPS of the L image, which is data included in the separated NAL unit, information about the L parallax image, the R viewpoint image, and the Subset SPS of the O viewpoint image, and the L viewpoint image and the R viewpoint image. And the SEI information and the encoded data of the O viewpoint image are supplied to the 3DV decoding unit 363 together with the type information of the data.
  • the 3DV decoding unit 363 Based on the type information supplied from the separation unit 362, the 3DV decoding unit 363 obtains the SPS and SEI information of the L image, and the Sub-
  • the 3DV decoding unit 363 converts the encoded R image data supplied from the separation unit 362 into the MVC format based on the stored SEI and Subset ⁇ SPS information of the R image. Decodes using a method corresponding to.
  • the 3DV decoding unit 363 stores the encoded data of the O image supplied together with the type information representing the encoded data of the O image from the separation unit 362 based on the stored SEI information and Subset ⁇ SPS information. Referring to the L image and the R image, decoding is performed by a method corresponding to the 3DV method. At this time, the 3DV decoding unit 363 performs a resolution reduction process on the L image or the R image to be referred to based on the reference image low resolution conversion information supplied from the reception unit 361, and the LD after the resolution reduction process. Refer to images and R images.
  • the 3DV decoding unit 363 encodes the code of the L parallax image supplied together with the type information representing the encoded data of the L parallax image from the separation unit 362 based on the held SEI and Subset SPS information of the L parallax image.
  • the decoded data is decoded by a method corresponding to the 3DV method without referring to a parallax image other than the same viewpoint.
  • the 3DV decoding unit 363 encodes the code of the R parallax image supplied together with the type information representing the encoded data of the R parallax image from the separation unit 362 based on the stored SEI and Subset SPS information of the R parallax image.
  • the decoded data is decoded by a method corresponding to the 3DV method with reference to the L parallax image.
  • the 3DV decoding unit 363 encodes the O-parallax image code supplied together with the type information representing the encoded data of the O-parallax image from the separation unit 362 based on the held SEI and Subset SPS information of the O-parallax image.
  • the decoded data is decoded by a method corresponding to the 3DV method with reference to the L parallax image and the R parallax image.
  • the 3DV decoding unit 363 performs a resolution reduction process on the L parallax image or the R parallax image to be referred to based on the reference image low resolution conversion information supplied from the reception unit 361, and after the resolution reduction process
  • the L parallax image and the R parallax image are referred to.
  • the 3DV decoding unit 363 supplies the L viewpoint image and the R viewpoint image obtained as a result of decoding to the image generation unit 365. Further, the 3DV decoding unit 363 supplies the O viewpoint image obtained as a result of the decoding to the low resolution image inverse transform processing unit 364. Further, the 3DV decoding unit 363 supplies the parallax information included in the SEI of the held L parallax image, R parallax image, and O parallax image to the image generation unit 365.
  • the low resolution image inverse conversion processing unit 364 Based on the auxiliary image low resolution conversion information from the reception unit 361, the low resolution image inverse conversion processing unit 364 performs the process for each of the O image and the O parallax image that constitute the O viewpoint image from the 3DV decoding unit 363.
  • the high-resolution processing such as filter processing corresponding to the low-resolution processing in the 37 image conversion processing units 291 is performed. Thereby, the resolution of the O viewpoint image becomes the same as the resolution of the L viewpoint image and the R viewpoint image.
  • the low resolution image inverse transform processing unit 364 supplies the O viewpoint image after the high resolution processing to the image generation unit 365.
  • the image generation unit 365 performs conversion on the L parallax image supplied from the 3DV decoding unit 363 as necessary based on the parallax information of the L parallax image supplied from the 3DV decoding unit 363.
  • the image generation unit 365 indicates that the parallax type included in the parallax information of the L parallax image indicates that each pixel value of the parallax image is a depth value, and the value indicating the parallax that can be processed by the image generation unit 365 is parallax. If it is a value, each pixel value of the L parallax image is converted into a parallax value.
  • the image generation unit 365 is a value indicating that the normalization flag included in the parallax information of the L parallax image is not normalized, and the value indicating the parallax that can be processed by the image generation unit 365 is In the case of the value, each pixel value of the L parallax image is normalized and converted to a normalized value.
  • the image generation unit 365 is a parallax image of an image in which the shooting mode included in the parallax information of the L parallax image is a shooting mode with radiation and the parallax image that can be processed by the image generation unit 365 is shot in the parallel shooting mode.
  • the L parallax image is converted into an L parallax image shot in the parallel shooting mode.
  • the image generation unit 365 converts the R parallax image based on the parallax information of the R parallax image and converts the O parallax image based on the parallax information of the O parallax image as necessary.
  • the image generation unit 365 converts the L parallax image, the R parallax image, the O parallax image, the L image, the R image, and the O image after conversion, and the maximum value and the minimum value or the parallax of the depth value included in the parallax information. Based on the maximum and minimum values and the correspondence information, an image having three or more viewpoints corresponding to a display device (not shown) is generated. Then, the image generation unit 365 converts the resolution of the generated image of each viewpoint into a resolution of 1 / the number of viewpoints of the resolution of the compatible image or the auxiliary image, and outputs the synthesized image to a display device (not shown) for display.
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • FIG. 51 is a flowchart for explaining the decoding process of the decoding device 360 of FIG. This decoding process is started, for example, when a TS is transmitted from the encoding device 290 in FIG.
  • the receiving unit 361 of the decoding device 340 receives the TS transmitted from the encoding device 290.
  • the reception unit 361 supplies the bit stream included in the TS to the separation unit 362, supplies the reference image low resolution conversion information to the 3DV decoding unit 363, and supplies the auxiliary image low resolution conversion information to the low resolution image inverse conversion processing unit 364. Supply. Note that the processing in subsequent steps S332 to S342 is performed for each NAL unit constituting the bitstream.
  • step S332 the separation unit 362 separates each NAL unit based on the NAL header of the NAL unit, and the L viewpoint image, the R viewpoint image, or the O viewpoint image after the resolution reduction processing included in the NAL unit.
  • the data is supplied to the 3DV decoding unit 363 together with the type information.
  • step S333 based on the type information, the 3DV decoding unit 363 encodes the L viewpoint image, the R viewpoint image, or the O viewpoint image that has undergone the resolution reduction processing as the data supplied from the separation unit 362 together with the type information. Determine if it is data. If it is determined in step S333 that the encoded data is an L viewpoint image, an R viewpoint image, or an O viewpoint image, the process proceeds to step S334.
  • step S334 the 3DV decoding unit 363 decodes the encoded data of the L viewpoint image, the R viewpoint image, or the O viewpoint image after the resolution reduction processing based on the retained SPS or Subset SPS and SEI information. To do.
  • step S335 the 3DV decoding unit 363 determines whether the image obtained as a result of decoding is an O image or an O parallax image after the resolution reduction processing based on the type information.
  • the 3DV decoding unit 363 performs low resolution image inverse conversion processing on the O image or O parallax image. To the unit 364.
  • step S ⁇ b> 336 the low resolution image inverse transform processing unit 364 performs the O image or O parallax after the resolution reduction processing supplied from the 3DV decoding unit 363 based on the auxiliary image low resolution conversion information supplied from the reception unit 361. High resolution processing is performed on the image. Thereby, the resolution of the O image or the O parallax image becomes the same resolution as the L viewpoint image and the R viewpoint image.
  • step S337 the low-resolution image inverse transformation processing unit 364 outputs the O image or the O-parallax image after the high-resolution processing to the image generation unit 365, and ends the processing.
  • step S335 determines whether the image obtained as a result of decoding is an O image or O parallax image after the resolution reduction processing, that is, the image obtained as a result of decoding is an L image, an L parallax image, or an R image. If the image is an R parallax image, the process proceeds to step S338.
  • step S3308 the 3DV decoding unit 363 outputs the L image, the L parallax image, the R image, or the R parallax image obtained as a result of the decoding to the image generation unit 365, and ends the process.
  • step S333 If it is determined in step S333 that the encoded data is not the L viewpoint image, the R viewpoint image, or the O viewpoint image, that is, the data supplied from the separation unit 362 is SPS, Subset SPS, or SEI information. If there is, the process proceeds to step S339.
  • step S339 the 3DV decoding unit 363 holds the SPS, Subset SPS, or SEI information supplied from the separation unit 362.
  • step S340 the 3DV decoding unit 363 determines whether the data held in step S339 is SEI information. If it is determined that the data held in step S340 is SEI information, the process proceeds to step S341.
  • step S341 the 3DV decoding unit 363 determines whether there is disparity information in the SEI information held in step S339. When it is determined in step S341 that there is disparity information, in step S342, the 3DV decoding unit 363 extracts the disparity information from the SEI information, outputs the information to the image generation unit 365, and ends the process.
  • step S340 if it is determined that the data held in step S340 is not SEI information, or if it is determined in step S341 that there is no parallax information, the process ends.
  • the decoding device 360 separates the bit stream into each NAL unit based on the NAL header. Then, the decoding device 360 decodes the encoded data of the compatible image included in the separated NAL unit by a method corresponding to the existing AVC method or the MVC method, and converts the encoded data of the auxiliary image and the parallax image into the 3DV method. Decrypt with the corresponding method. Accordingly, the decoding device 340 can decode the bitstream obtained as a result of encoding by the encoding device 290 using a method compatible with the existing method.
  • FIG. 52 is a diagram for describing encoded data to be decoded in the decoding device 320 in FIG. 46, the decoding device 340 in FIG. 48, and the decoding device 360 in FIG.
  • the decoding device 320 uses the NAL unit type (nal_unit_type) as the NAL of the L image whose information indicates the type of AVC picture (1 or 5 in the example of FIG. 52). Only the encoded data (Coded slice) included in the unit is decoded by a method corresponding to the AVC method.
  • the decoding device 340 decodes the encoded data including the NAL unit of the L image by a method corresponding to the AVC method, similarly to the decoding device 320.
  • the decoding device 340 uses the L image as the base view for the encoded data included in the NAL unit of the R image, which is information (20 in the example of FIG. 52) indicating the encoded data of the MVC format. Then, the R image is decoded as a non-base view by a method corresponding to the MVC method.
  • the decoding device 360 decodes the encoded data including the NAL unit of the L image by a method corresponding to the AVC method, similarly to the decoding device 320 and the decoding device 340. Similarly to the decoding device 340, the decoding device 360 decodes the encoded data included in the NAL unit of the R image in a method corresponding to the MVC method using the L image as a base view and the R image as a non-base view. To do.
  • the decoding device 360 is information indicating encoded data of a 3DV type NAL unit, and the extended information is a parallax flag indicating that it is a parallax image, and an R image as information specifying a corresponding image
  • the decoding device 360 is information indicating encoded data of a 3DV type NAL unit, and the extended information is a parallax flag indicating that it is a parallax image, and an O image as information for specifying a corresponding image.
  • FIG. 53 is a block diagram illustrating a configuration example of the sixth embodiment of the encoding device to which the present technology is applied.
  • the 53 includes a multiplexing processing unit 381, a multiplexing processing unit 382, a disparity information generating unit 383, an encoding processing unit 384, and a transmission unit 385.
  • the compatible images are the L image and the R image
  • the auxiliary images are the O1 image to the ON image of N (N is a multiple of 2) viewpoints.
  • the encoding device 380 multiplexes and encodes the parallax images of the compatible images, the auxiliary images of the two viewpoints, and the parallax images of the auxiliary images.
  • the multiplexing processing unit 381 of the encoding device 380 receives an L parallax image of the L viewpoint images input to the encoding device 380 and also receives an R parallax image of the R viewpoint images. Entered.
  • the multiplexing processing unit 381 multiplexes the L parallax image and the R parallax image by a predetermined multiplexing method.
  • the multiplexing processing unit 381 halves the resolution of the L parallax image and the R parallax image.
  • the multiplexing processing unit 381 sets the resolution so that the L parallax image with half the resolution becomes the left half image and the R parallax image with the half resolution becomes the right half image.
  • the L parallax image and the R parallax image that have been halved are multiplexed.
  • the multiplexing processing unit 381 causes the L parallax image with half the resolution to be the upper half image and the R parallax image with the half resolution to be displayed.
  • the L parallax image and the R parallax image whose resolution is halved are multiplexed so that the lower half image of the screen is obtained.
  • the multiplexing processing unit 381 supplies the multiplexed image obtained as a result of multiplexing to the encoding processing unit 384 as a compatible parallax image. Also, the multiplexing processing unit 381 generates compatible multiplexing information that is information indicating a multiplexing method of the L parallax image and the R parallax image that are parallax images of the compatible image, and supplies the generated information to the transmission unit 385.
  • the multiplexing processing unit 382 inputs to the encoding device 380 an O1 viewpoint image composed of an O1 image and an O1 parallax image that is a parallax image of the O1 image,..., And a parallax image of an ON image and an ON image An ON viewpoint image including the ON parallax image is input.
  • the multiplexing processing unit 382 multiplexes the O1 image and the O2 image, the O3 image and the O4 image,..., The O (N ⁇ 1) image and the ON image by a predetermined multiplexing method. Then, the multiplexing processing unit 382 supplies the multiplexed image obtained as a result of the multiplexing to the encoding processing unit 384 as an auxiliary multiplexed image.
  • the multiplexing processing unit 382 performs predetermined multiplexing schemes for the O1 parallax image and the O2 parallax image, the O3 parallax image and the O4 parallax image,..., The O (N ⁇ 1) parallax image and the ON parallax image, respectively. Multiplex with.
  • the multiplexing processing unit 382 supplies the multiplexed image obtained as a result of the multiplexing to the encoding processing unit 384 as an auxiliary parallax multiplexed image.
  • auxiliary multiplexing information that is information indicating a multiplexing method of the O1 image or ON image that is the auxiliary image and the O1 parallax image or ON parallax image that is the parallax image of the auxiliary image is generated and supplied to the transmission unit 385.
  • O multi-viewpoint image when it is not necessary to distinguish the O1 viewpoint image or the ON viewpoint image from each other, they are collectively referred to as an O multi-viewpoint image. Similarly, an O multi-image and an O multi-parallax image are referred to.
  • the parallax information generation unit 383 generates parallax information of the L parallax image, the R parallax image, and the O multi parallax image based on information at the time of shooting the L image, the R image, and the O multi image, and performs encoding processing. To the unit 384.
  • the encoding processing unit 384 encodes the L image of the L viewpoint images input to the encoding device 380 using the AVC method, similarly to the encoding processing unit 293 of FIG. Similarly to the encoding processing unit 293, the encoding processing unit 384 uses the R image of the R viewpoint images input to the encoding device 380 as an L image as a base view and an R image as a non-base view. Encode using MVC.
  • the encoding processing unit 384 encodes the auxiliary multiplexed image supplied from the multiplexing processing unit 382 with the 3DV method with reference to the L image and the R image. At this time, the encoding processing unit 384 duplicates the referenced L image or R image, multiplexes the same multiplexed method as the auxiliary multiplexed image, and refers to the resulting multiplexed image.
  • the encoding processing unit 384 encodes the compatible multiplexed image supplied from the multiplexing processing unit 381 in the 3DV format without referring to other than the compatible multiplexed image of the same viewpoint. Further, the encoding processing unit 384 encodes the auxiliary parallax multiplexed image supplied from the multiplexing processing unit 382 in the 3DV format.
  • the encoding processing unit 384 is supplied from the encoded image data of the L image, R image, compatible multiplexed image, auxiliary multiplexed image, and auxiliary parallax multiplexed image obtained as a result of encoding, and the parallax information generating unit 383.
  • a bit stream is generated from the disparity information, and the bit stream is supplied to the transmission unit 385.
  • the encoding processing unit 384 generates reference image multiplexing information that is information indicating a multiplexing method when generating a reference image of a compatible multiplexed image, and supplies the reference image multiplexing information to the transmission unit 385.
  • the transmission unit 385 includes the compatible multiplexing information supplied from the multiplexing processing unit 381, the auxiliary multiplexing information supplied from the multiplexing processing unit 382, and the bit stream and reference image multiplexing supplied from the encoding processing unit 384.
  • a TS is generated from the conversion information and transmitted.
  • FIG. 54 is a block diagram illustrating a configuration example of the encoding processing unit 384 of FIG.
  • the configuration of the encoding processing unit 384 in FIG. 54 is mainly provided with an encoding unit 401, an additional information generating unit 402, and an adding unit 403 instead of the encoding unit 301, the additional information generating unit 302, and the adding unit 303. This is different from the configuration of FIG.
  • the encoding unit 401 of the encoding processing unit 384 includes a compatible encoding unit 311 and an auxiliary encoding unit 411.
  • the auxiliary encoding unit 411 of the encoding unit 401 encodes the compatible multiplexed image, the auxiliary multiplexed image, and the auxiliary parallax multiplexed image by the 3DV method.
  • the auxiliary encoding unit 411 supplies the encoded data of the compatible multiplexed image, the auxiliary multiplexed image, and the auxiliary parallax multiplexed image obtained as a result of the encoding to the adding unit 403.
  • the encoding unit 401 generates reference image multiplexing information and supplies it to the transmission unit 385 in FIG.
  • the additional information generation unit 402 generates information on the SPS of the L image, and information on the Sub image SPS of the R image, the compatible multiplexed image, the auxiliary multiplexed image, and the auxiliary parallax multiplexed image. In addition, the additional information generation unit 402 generates SEI information of the L image, the R image, and the auxiliary multiplexed image. Further, the additional information generation unit 402 generates SEI information of the compatible multiplexed image including the parallax information of the L parallax image and the R parallax image supplied from the parallax information generation unit 383 of FIG.
  • the additional information generation unit 402 includes the SEI information of the auxiliary parallax multiplexed image including the parallax information of the two-viewpoint O multi-parallax images included in the auxiliary parallax multiplexed image supplied from the parallax information generation unit 383. Generate.
  • the additional information generating unit 402 includes SPS information of the L image, R image, compatible multiplexed image, auxiliary multiplexed image, and Subset SPS information of the auxiliary parallax multiplexed image, and L image, R image, compatible multiplexing. SEI information of the image, the auxiliary multiplexed image, and the auxiliary parallax multiplexed image is supplied to the adding unit 403.
  • the adding unit 403 includes information indicating the type of AVC picture as the NAL unit type in the encoded data of the L image obtained as a result of encoding by the compatible encoding unit 311. Add a NAL header containing, and generate a NAL unit. Similarly to the adding unit 303, the adding unit 403 adds, to the encoded data of the R image obtained as a result of the encoding by the compatible encoding unit 311, information indicating the MVC encoded data as the NAL unit type. Add a NAL header that contains the NAL unit.
  • the adding unit 403 includes information indicating 3DV encoded data as the NAL unit type in the encoded data of the auxiliary multiplexed image supplied from the auxiliary encoding unit 411, and represents that the encoded data is not a parallax image.
  • a NAL header including a parallax flag is added to generate a NAL unit.
  • the adding unit 403 includes information representing 3DV encoded data as the NAL unit type in the encoded data of the compatible multiplexed image and the auxiliary parallax multiplexed image supplied from the auxiliary encoding unit 411, respectively.
  • a NAL header including a parallax flag indicating that the image is a parallax image and information related to the corresponding image is added to generate a NAL unit.
  • the adding unit 403 includes information on the SPS of the L image, the R image, the compatible multiplexed image, the auxiliary multiplexed image, and the information on the Sub-set SPS of the auxiliary parallax multiplexed image supplied from the additional information generating unit 402, and
  • the NAL header representing each information is added as the NAL unit type to the SEI information of the L image, R image, compatible multiplexed image, auxiliary multiplexed image, and auxiliary parallax multiplexed image, respectively.
  • the adding unit 403 supplies the NAL unit generated as described above to the bit stream generating unit 304.
  • Example of NAL unit configuration shows the NAL of the encoded data of the L image, the R image, the auxiliary multiplexed image, the compatible multiplexed image, and the auxiliary parallax multiplexed image in the bitstream generated by the encoding processing unit 384 of FIG. It is a figure which shows the structural example of a unit.
  • the NAL header of the NAL unit of the auxiliary multiplexed image includes information representing 3DV encoded data as the NAL unit type, and extended.
  • the information includes a parallax flag that is 0 indicating that it is not a parallax image.
  • the auxiliary multiplexed image can be identified in the decoding device.
  • the NAL header of the NAL unit of the compatible multiplexed image and each auxiliary parallax multiplexed image includes a parallax flag that is 1 representing a parallax image. Accordingly, the compatible multiplexed image and the auxiliary parallax multiplexed image can be identified in the decoding device.
  • the NAL header of the NAL unit of the compatible multiplexed image and each auxiliary parallax multiplexed image includes information about the corresponding image as extended information.
  • the compatible multiplexed image is a parallax image of an L image and an R image of two viewpoints
  • each auxiliary parallax multiplexed image is a parallax image of an O multi-image of two viewpoints.
  • the information regarding the corresponding image included in the NAL header of the NAL unit of the compatible multiplexed image is 2 as the number of viewpoints of the corresponding image, and 0 and 1 as information specifying the viewpoint of the corresponding image. Further, the information regarding the corresponding image included in the NAL header of the NAL unit of the auxiliary parallax multiplexed image is 2 as the number of viewpoints of the corresponding image and 2 and 3 as information specifying the viewpoint of the corresponding image. .
  • the information about the corresponding image is included as the extended information, so that the compatible multiplexed image and each auxiliary parallax multiplexed image can be identified.
  • FIG. 56 is a diagram illustrating a configuration example of a bit stream generated by the bit stream generation unit 304 of FIG.
  • bit stream of the L image shown in A of FIG. 56 and the bit stream of the R image shown in B of FIG. 56 are respectively the bit stream of the L image of A of FIG. 41 and the bit stream of the R image of B of FIG. Since it is the same, description is abbreviate
  • the bit stream of the auxiliary multiplexed image encoded in the 3DV format includes the 3DV Subset SPS information NAL unit of the auxiliary multiplexed image and the 3DV SEI of the auxiliary multiplexed image.
  • the NAL unit of the information and the NAL unit of the encoded data of the auxiliary multiplexed image are included in the 3DV format.
  • the bit stream of the compatible multiplexed image encoded by the 3DV format includes the NAL unit of the 3DV format Subset SPS information of the compatible multiplexed image and the disparity information of the compatible multiplexed image. It consists of a NAL unit for 3DV SEI information and a NAL unit for encoded data of compatible multiplexed images.
  • the bit stream of the auxiliary parallax multiplexed image encoded by the 3DV format is the NAL unit of the information of the 3DV format Subset SPS of the auxiliary parallax multiplexed image, the auxiliary parallax multiplexed image.
  • disparity information is included in the 3DV SEI, there is no need to process disparity information wastefully in a decoding device that does not support the 3DV method.
  • FIG. 57 is a flowchart for describing multi-viewpoint encoding processing of the encoding device 380 of FIG.
  • This multi-view image encoding process is started when, for example, an L viewpoint image, an R viewpoint image, and an O multi-view image are input to the encoding device 380 as encoding targets.
  • step S361 of FIG. 57 the encoding processing unit 384 of the encoding device 380 acquires the L image of the L viewpoint images input to the encoding device 380, and the multiplexing processing unit 382 acquires the L parallax image. get.
  • step S362 the encoding processing unit 384 acquires an R image of the R viewpoint images input to the encoding device 380, and the multiplexing processing unit 382 acquires an R parallax image.
  • step S363 the multiplexing processing unit 382 acquires the O multi-viewpoint image input to the encoding device 380.
  • step S364 the multiplexing processing unit 381 multiplexes the L parallax image acquired in step S361 and the R parallax image acquired in step S362 by a predetermined multiplexing method, and a multiplexed image obtained as a result of multiplexing. Is supplied to the encoding processing unit 384 as a compatible parallax image.
  • step S365 the multiplexing processing unit 381 generates compatible multiplexing information and supplies it to the transmission unit 385.
  • step S366 the multiplexing processing unit 382 multiplexes the O multi-image and the O multi-parallax image forming the O multi-view image by a predetermined multiplexing method every two viewpoints.
  • the multiplexing processing unit 382 uses the multiplexed image of the O multi-image obtained as a result of the multiplexing as an auxiliary multiplexed image, and the multiplexed image of the O multi-parallax image as an auxiliary parallax multiplexed image to the encoding processing unit 384. Supply.
  • step S367 the multiplexing processing unit 382 generates auxiliary multiplexing information and supplies it to the transmission unit 385.
  • step S368 the parallax information generation unit 383 generates parallax information of the L parallax image, the R parallax image, and the O multi parallax image based on information at the time of shooting the L image, the R image, and the O multi parallax. To the encoding processing unit 384.
  • step S369 the encoding processing unit 384 performs the L image, the R image, the compatible multiplexed image supplied from the multiplexing processing unit 381, and the auxiliary multiplexed image and auxiliary parallax multiplexing supplied from the multiplexing processing unit 382.
  • An encoding process for encoding the encoded image is performed. Details of this encoding process will be described with reference to FIG.
  • step S370 the transmission unit 385, the compatible multiplexing information from the multiplexing processing unit 381, the auxiliary multiplexing information from the multiplexing processing unit 382, the reference image multiplexing information and the bit stream from the encoding processing unit 384, TS is generated and transmitted. Then, the process ends.
  • FIG. 58 is a flowchart for explaining the details of the encoding process in step S369 of FIG.
  • the encoding unit 401 (FIG. 54) of the encoding processing unit 384 encodes the L image, the R image, the compatible multiplexed image, the auxiliary multiplexed image, and the auxiliary parallax multiplexed image.
  • the compatible encoding unit 311 of the encoding unit 401 encodes the L image using the AVC method, and encodes the R image using the MVC method.
  • the auxiliary encoding unit 411 encodes the compatible multiplexed image, the auxiliary multiplexed image, and the auxiliary parallax multiplexed image by the 3DV method.
  • the encoding unit 401 supplies encoded data of the L image, the R image, the compatible multiplexed image, the auxiliary multiplexed image, and the auxiliary parallax multiplexed image obtained as a result of the encoding to the adding unit 403.
  • step S391 the auxiliary encoding unit 411 generates reference image multiplexing information and supplies it to the transmission unit 385 of FIG.
  • step S392 the additional information generation unit 402 uses the disparity information supplied from the disparity information generation unit 383 in FIG. 53, and information on the SPS and SEI of the L image, the R image, the compatible multiplexed image, and the auxiliary multiplexing. Information and Subset SPS and SEI information of the auxiliary parallax multiplexed image are generated and supplied to the adding unit 303.
  • steps S393 and S394 are the same as the processes of steps S273 and S274 of FIG. 45, the description thereof is omitted.
  • step S395 the adding unit 403 adds the NAL unit type representing the 3DV format encoded data and the parallax image to the encoded data of the auxiliary multiplexed image supplied from the auxiliary encoding unit 411.
  • a NAL header including a disparity flag indicating that it is not is added to generate a NAL unit.
  • the adding unit 403 supplies the NAL unit of the generated encoded data of the auxiliary multiplexed image to the bit stream generating unit 304.
  • step S396 the adding unit 403 adds, to the encoded data of the compatible multiplexed image and the auxiliary parallax multiplexed image supplied from the auxiliary encoding unit 411, the type of NAL unit representing the encoded data of the 3DV format, and the parallax, respectively.
  • a parallax flag representing an image and a NAL header including information on the corresponding image are added to generate a NAL unit.
  • the adding unit 403 supplies the generated NAL unit of the encoded data of the compatible multiplexed image and the auxiliary parallax multiplexed image to the bit stream generating unit 304.
  • step S397 the adding unit 403 adds the SPS and SEI information of the L image supplied from the additional information generating unit 402, and the Subset of the R image, the compatible multiplexed image, the auxiliary multiplexed image, and the auxiliary parallax multiplexed image.
  • a NAL header including the type of the NAL unit representing each information is added to the SPS and SEI information to generate a NAL unit.
  • the addition unit 403 generates the SPS and SEI of the generated L image and the NAL unit of Subset SPS and SEI of the R image, the compatible multiplexed image, the auxiliary multiplexed image, and the auxiliary parallax multiplexed image as a bit stream generating unit. 304 is supplied.
  • step S398 the bit stream generation unit 304 generates a bit stream by arranging the NAL units supplied from the addition unit 403 in a predetermined order, similarly to the process in step S278 of FIG. Then, the bit stream generation unit 304 supplies the bit stream to the transmission unit 385 in FIG. 53, and returns the processing to step S369 in FIG. Thereby, the process proceeds to step S370.
  • the encoding device 380 encodes a compatible image using an existing encoding method, and includes the type of the NAL unit representing the encoded data of the 3DV method in the encoded data of the O multi-image that is the auxiliary image. Add a NAL header.
  • the decoding device that supports only the existing coding method can extract only the encoded data of the compatible image that can be decoded based on the NAL header, and can decode the data using a method that corresponds to the existing coding method. Therefore, it can be said that the encoding device 380 performs encoding by a method having compatibility with the existing method.
  • the encoding device 290 and the encoding device 380 described above encode the disparity image of the compatible image without referring to other than the disparity image of the same viewpoint, but also encode with reference to the image of the same viewpoint. You may make it do.
  • the encoding device 380 encodes the compatible image as it is, the encoding device 380 may multiplex and encode the compatible image.
  • FIG. 59 is a block diagram illustrating a configuration example of a 3DV format decoding apparatus that decodes the bitstream transmitted by the encoding apparatus 380 of FIG.
  • the decoding device 420 decodes encoded data of the L image, the R image, the auxiliary multiplexed image, the compatible multiplexed image, and the auxiliary parallax multiplexed image included in the bit stream transmitted by the encoding device 380.
  • the receiving unit 421 of the decoding device 420 receives the TS transmitted by the encoding device 380 of FIG.
  • the reception unit 421 supplies the bit stream included in the TS to the separation unit 422, and supplies the reference image multiplexing information to the 3DV decoding unit 423.
  • the reception unit 421 supplies compatible multiplexing information included in the TS to the separation unit 424 and supplies auxiliary multiplexing information to the separation unit 425.
  • the separation unit 422 separates the bit stream supplied from the reception unit 421 into each NAL unit based on the NAL header. More specifically, the separation unit 422 extracts the encoded data of the L image, the SPS, and the NEI unit of the SEI from the bit stream, similarly to the separation unit 362 of FIG. Similarly to the separation unit 362, the separation unit 422 extracts the encoded data of the R image, the Subset SPS, and the NEI unit of SEI from the bit stream.
  • the separation unit 422 extracts the NAL unit of the encoded data of the compatible multiplexed image, the auxiliary multiplexed image, and the auxiliary parallax multiplexed image including the type of the NAL unit representing the encoded data of the 3DV system in the NAL header.
  • the separation unit 422 includes a NAL unit type representing 3DV Subset SPS, SEI in the NAL header, and includes a compatible multiplexed image, an auxiliary multiplexed image, and an auxiliary parallax multiplexed image Subset SSP, and compatible multiplexing.
  • the SEI NAL unit of the image, the auxiliary multiplexed image, and the auxiliary parallax multiplexed image is extracted.
  • the separation unit 422 further separates the NAL header of the encoded data of the auxiliary multiplexed image, the compatible multiplexed image, and the auxiliary parallax multiplexed image based on the extension information included in the NAL header. Specifically, the separation unit 422 extracts a NAL unit that is a parallax flag indicating that the extension information is not a parallax image as a NAL unit of encoded data of the auxiliary multiplexed image. The separation unit 422 also includes a parallax flag indicating that the extension information is a parallax image, 2 as the number of viewpoints of the corresponding image, and an L image and an R image as information for specifying the viewpoint of the corresponding image.
  • the NAL unit of the encoded data of the compatible multiplexed image is extracted from the NAL unit that is information to be specified.
  • the separation unit 422 extracts the NAL unit of the encoded data of the auxiliary parallax multiplexed image.
  • the separation unit 422 includes information on the SPS of the L image, which is data included in the separated NAL unit, information on the R image, the compatible multiplexed image, the auxiliary multiplexed image, and the Subset SPS of the auxiliary parallax multiplexed image, and SEI information and encoded data of the L image, R image, auxiliary multiplexed image, compatible multiplexed image, and auxiliary parallax multiplexed image are supplied to the 3DV decoding unit 423 together with the data type information.
  • the 3DV decoding unit 423 Based on the type information supplied from the separation unit 422, the 3DV decoding unit 423 performs the LPS SPS, R image, compatible multiplexed image, auxiliary multiplexed image, and auxiliary parallax multiplexed image Subset SPS, and L SEI information of an image, an R image, an auxiliary multiplexed image, a compatible multiplexed image, and an auxiliary parallax multiplexed image is held.
  • the 3DV decoding unit 423 converts the encoded data of the L image supplied from the separation unit 422 to the AVC based on the stored SEI and SPS information of the L image. Decrypt with the corresponding method.
  • the 3DV decoding unit 423 converts the encoded R image data supplied from the separation unit 422 from the MVC format based on the stored SEI and Subset SPS information of the R image. Decodes using a method corresponding to.
  • the 3DV decoding unit 423 also supplies auxiliary multiplexing supplied from the separation unit 422 together with the type information representing the encoded data of the auxiliary multiplexed image, based on the stored SEI and Subset SPS information of the auxiliary multiplexed image.
  • the encoded data of the image is decoded by a method corresponding to the 3DV method with reference to the L image and the R image.
  • the 3DV decoding unit 423 duplicates and multiplexes the referenced L image or R image based on the reference image multiplexing information supplied from the receiving unit 421, and refers to the multiplexed image obtained as a result.
  • the 3DV decoding unit 423 is provided with compatible multiplexing supplied from the separation unit 422 together with the type information representing the encoded data of the compatible multiplexed image, based on the SEI and Subset SPS information of the compatible multiplexed image that is held.
  • the encoded data of the image is decoded by a method corresponding to the 3DV method without referring to a parallax image other than the same viewpoint.
  • the 3DV decoding unit 423 also supplies auxiliary information supplied from the separation unit 422 together with the type information representing the encoded data of the auxiliary parallax multiplexed image based on the stored SEI and Subset SPS information of the auxiliary parallax multiplexed image.
  • the encoded data of the parallax multiplexed image is decoded by a method corresponding to the 3DV method with reference to the compatible multiplexed image.
  • the 3DV decoding unit 423 supplies an L image and an R image obtained as a result of decoding to the image generation unit 426, supplies a compatible multiplexed image to the separation unit 424, and separates the auxiliary multiplexed image and the auxiliary parallax multiplexed image from the separation unit 425. Also, the 3DV decoding unit 423 supplies the image generation unit 426 with the disparity information included in the SEI of the compatible multiplexed image and the auxiliary disparity multiplexed image that are held.
  • the separating unit 424 Based on the compatible multiplexing information supplied from the receiving unit 421, the separating unit 424 converts the compatible multiplexed image supplied from the 3DV decoding unit 423 into an L parallax image and an R parallax having the same resolution as the L image and the R image. Separate into images. Specifically, the separation unit 424 separates an L-parallax image and an R-parallax image whose resolutions are halved from the compatible multiplexed image, and performs a resolution enhancement process on the L-parallax image and the R-parallax image. Thus, an L parallax image and an R parallax image having the same resolution as the L image and the R image are obtained. The separation unit 424 supplies the L parallax image and the R parallax image to the image generation unit 426.
  • the separating unit 425 Based on the auxiliary image multiplexing information supplied from the receiving unit 421, the separating unit 425 separates the O multi-image from the auxiliary multiplexed image supplied from the 3DV decoding unit 423 based on the auxiliary image multiplexing information supplied from the receiving unit 421, and performs auxiliary parallax. Separate the O multi-parallax image from the multiplexed image.
  • the separation unit 425 supplies the O multi-viewpoint image obtained as a result to the image generation unit 426.
  • the image generation unit 426 performs the L parallax image and the R parallax image from the separation unit 424 and the parallax information supplied from the 3DV decoding unit 423 as necessary.
  • the O multi-parallax image from the separation unit 425 is converted.
  • the image generation unit 426 converts the L parallax image, the R parallax image, the O multi parallax image, the L image, the R image, the O multi parallax, and the maximum and minimum depth values included in the parallax information.
  • an image having three or more viewpoints corresponding to a display device (not shown) is generated based on the maximum and minimum values of the parallax value and the correspondence information.
  • the image generation unit 426 converts the resolution of the generated viewpoint image into a resolution of 1 / number of viewpoints of the resolution of the compatible image or the auxiliary image, and outputs it to a display device (not shown) for display.
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • FIG. 60 is a flowchart for explaining the decoding process of the decoding device 420 of FIG. This decoding process is started, for example, when a TS is transmitted from the encoding device 380 in FIG.
  • the receiving unit 421 of the decoding device 340 receives the TS transmitted from the encoding device 380.
  • the reception unit 421 supplies the bit stream included in the TS to the separation unit 422, and supplies the reference image multiplexing information to the 3DV decoding unit 423.
  • the reception unit 421 supplies compatible multiplexing information included in the TS to the separation unit 424 and supplies auxiliary multiplexing information to the separation unit 425. Note that the subsequent processing in steps S412 to S428 is performed for each NAL unit constituting the bitstream.
  • the separation unit 422 separates each NAL unit based on the NAL header of the NAL unit, and includes an L image, an R image, an auxiliary multiplexed image, a compatible multiplexed image, or an auxiliary parallax included in the NAL unit.
  • the multiplexed image data is input to the 3DV decoding unit 423 together with the type information.
  • step S413 based on the type information supplied from the separation unit 422, the 3DV decoding unit 423 determines that data input together with the type information is an L image, an R image, an auxiliary multiplexed image, a compatible multiplexed image, or an auxiliary It is determined whether the encoded data is a parallax multiplexed image. If it is determined in step S413 that the encoded data is an L image, an R image, an auxiliary multiplexed image, a compatible multiplexed image, or an auxiliary parallax multiplexed image, the process proceeds to step S414.
  • step S414 the 3DV decoding unit 423 holds the encoded data of the L image, the R image, the auxiliary multiplexed image, the compatible multiplexed image, or the auxiliary parallax multiplexed image, and information on SPS or Subset SPS and SEI. Decode based on
  • step S415 the 3DV decoding unit 423 determines whether the image obtained as a result of decoding is a compatible multiplexed image based on the type information. When it is determined in step S415 that the image obtained as a result of decoding is a compatible multiplexed image, the 3DV decoding unit 423 supplies the compatible multiplexed image to the separation unit 424.
  • step S416 the separation unit 424 converts the compatible multiplexed image supplied from the 3DV decoding unit 423 to an L image or an L parallax image having the same resolution as the R image based on the compatible multiplexing information from the reception unit 421. Separate into R parallax images. The separation unit 424 supplies the L parallax image and the R parallax image to the image generation unit 426.
  • step S417 the separation unit 424 outputs the L parallax image and the R parallax image to the image generation unit 426, and ends the process.
  • step S415 if it is determined in step S415 that the image obtained as a result of decoding is not a compatible multiplexed image, in step S418, the 3DV decoding unit 423 determines that the image obtained as a result of decoding is auxiliary multiplexed based on the type information. Determine if it is an image.
  • step S418 When it is determined in step S418 that the image obtained as a result of decoding is an auxiliary multiplexed image, the 3DV decoding unit 423 supplies the auxiliary multiplexed image to the separation unit 425, and the process proceeds to step S419.
  • step S419 the separation unit 425 converts the auxiliary multiplexed image supplied from the 3DV decoding unit 423 based on the auxiliary multiplexing information from the receiving unit 421 into a two-viewpoint O image having the same resolution as the L image and the R image. Separate into multiple images.
  • the separation unit 425 supplies the O viewpoint image of the two viewpoints to the image generation unit 426.
  • step S420 the separation unit 425 outputs the 2-viewpoint O-multiple image to the image generation unit 426, and ends the process.
  • step S421 the 3DV decoding unit 423 determines that the image obtained as a result of decoding is an auxiliary parallax multiplexed image based on the type information. It is determined whether or not.
  • step S421 When it is determined in step S421 that the image obtained as a result of decoding is an auxiliary parallax multiplexed image, the 3DV decoding unit 423 supplies the auxiliary parallax multiplexed image to the separation unit 425, and the process proceeds to step S422.
  • step S422 the separation unit 425 converts the auxiliary parallax multiplexed image supplied from the 3DV decoding unit 423 into a two-viewpoint O multi-parallax image having the same resolution as the L image and the R image based on the auxiliary multiplexing information. To separate. The separation unit 425 supplies the O viewpoints of the two viewpoints to the image generation unit 426.
  • step S423 the separation unit 424 outputs the 2-viewpoint O multi-parallax image to the image generation unit 426, and ends the process.
  • step S421 if it is determined in step S421 that the image obtained as a result of decoding is not an auxiliary parallax multiplexed image, that is, if the image obtained as a result of decoding is an L image or an R image, the process proceeds to step S424.
  • step S424 the 3DV decoding unit 423 outputs the L image or the R image obtained as a result of the decoding to the image generation unit 426, and ends the process.
  • step S413 If it is determined in step S413 that the encoded data is not an L image, an R image, an auxiliary multiplexed image, a compatible multiplexed image, or an auxiliary parallax multiplexed image, that is, the data supplied from the separation unit 422 is If it is SPS, Subset SPS, or SEI information, the process proceeds to step S425.
  • steps S425 to S428 Since the processing of steps S425 to S428 is the same as the processing of steps S339 to S342 in FIG. 51, description thereof is omitted.
  • the decoding device 420 separates the bit stream into each NAL unit based on the NAL header. Then, the decoding device 420 decodes the encoded data of the compatible image included in the separated NAL unit by a method corresponding to the existing AVC method or the MVC method, and converts the encoded data of the auxiliary image and the parallax image into the 3DV method. Decrypt with the corresponding method. Accordingly, the decoding device 420 can decode the bitstream obtained as a result of encoding by the encoding device 380 using a method compatible with the existing method.
  • the AVC decoding apparatus and the MVC decoding apparatus for decoding the bitstream generated by the encoding apparatus 380 in FIG. 53 are the decoding apparatus 320 in FIG. 46 and the decoding apparatus in FIG. 48, respectively. Similar to device 340.
  • disparity information is included in SEI, but it may be included in TS.
  • disparity information is described in descriptors of PMT (Program Map Table) and SIT (Selection Information Table) in TS.
  • FIG. 61 is a diagram illustrating a description example of disparity information in a case where disparity information is described in a PMT descriptor.
  • a descriptor (3DV_view_synthesis_descriptor) in which disparity information is arranged is provided as a PMT descriptor.
  • the disparity information (3DV_view_synthesis_info) shown in FIG. 43 is described.
  • disparity information may be included in both the SEI and the PMT and SIT in the TS. Further, the extension information may be described not in the NAL header but in PMT, SIT, SEI, etc. in the TS.
  • auxiliary image low resolution conversion information may be included in the SEI and transmitted.
  • the extension information is added to the encoded data.
  • the extension information may be transmitted (recorded) separately from the image data (or bit stream). Further, the extension information may be connected to the image data (or bit stream).
  • “concatenation” is defined as follows.
  • “Linked” refers to a state in which image data (or a bit stream) and extended information are linked to each other.
  • the image data to be connected and the extension information may be transmitted through different transmission paths. Further, the image data (or bit stream) to be linked and the extension information may be recorded on different recording media (or different recording areas in the same recording medium).
  • the unit for linking the image data (or bit stream) and the extended information can be, for example, an encoding processing unit (one frame, a plurality of frames, etc.).
  • the encoding device 290 and the encoding device 380 generate one TS
  • the auxiliary information is replaced with the auxiliary image low resolution conversion information and the reference image low resolution conversion information.
  • a plurality of TSs may be generated in the same manner as the apparatus 50, the encoding apparatus 140 in FIG. 14, the encoding apparatus 180 in FIG. 22, and the encoding apparatus 230 in FIG.
  • FIG. 62 is a block diagram illustrating a configuration example of the seventh embodiment of an encoding device to which the present technology is applied.
  • the encoding device 440 does not multiplex the parallax images of compatible images in the spatial direction, but multiplexes and encodes them in the time direction.
  • the parallax image generation unit 441 of the encoding device 440 detects the parallax of each pixel of the images A2 to D2 using the images A2 to D2 supplied from the imaging units 141A to 141D. . Based on the detection result, the parallax image generation unit 441 generates a parallax image A2 ′ and a parallax image B2 ′ of the image A2 that are compatible images, and a parallax image C2 ′ and an image D2 of the image C2 that are auxiliary images. A parallax image D2 ′ is generated.
  • the parallax image generation unit 441 multiplexes the parallax image C2 'and the parallax image D2' in the spatial direction by a predetermined multiplexing method, similarly to the parallax image generation unit 143 of FIG. Furthermore, the parallax image generation unit 441 multiplexes the parallax image A2 ', the parallax image B2', and the multiplexed image of the parallax images of the auxiliary image in the time direction.
  • the parallax image generation unit 441 obtains a multiplexed image in which a multiplexed image of a parallax image A2 ′, a parallax image B2 ′, and a parallax image of an auxiliary image obtained as a result within one frame time is obtained as a result. This is supplied to the encoder 442 as a multiplexed image.
  • the parallax image generation unit 441 includes a method for multiplexing parallax images of auxiliary images, a method of multiplexing in the time direction as a method of multiplexing parallax images of compatible images and auxiliary images (hereinafter referred to as a frame sequential method), and Is supplied to the parallax image information generation unit 57.
  • the encoder 442 includes a compatible encoder 151 and an auxiliary encoder 451.
  • the auxiliary encoder 451 of the encoder 442 encodes the auxiliary image multiplexed image from the image converting unit 142 and the time multiplexed image from the parallax image generating unit 441 in units of access units in the 3DV format.
  • the auxiliary encoder 451 supplies the encoded stream obtained as a result to the multiplexing unit 59 as an auxiliary stream.
  • FIG. 63 is a diagram illustrating a description example of the compatibility information and the parallax image information when the auxiliary information is described in the descriptor of the PMT.
  • a descriptor (3DV_view_structure_descriptor) in which compatibility information is arranged, a descriptor (depth_map_structure_descriptor) in which parallax image information is arranged, etc. are provided as PMT descriptors. .
  • the descriptor (depth_map_structure_descriptor) is multiplexed with the number of parallax images (num_of_depth_map) and parallax images as parallax image information following the descriptor tag (descriptor_tag) and descriptor length (descriptor_length).
  • a flag (is_frame_packing) indicating whether or not the image is included, a parallax image multiplexing method (frame_packing_mode), information specifying the multiplexed parallax image (comb_frame_packing_views), and the like are described.
  • SBS side-by-side method
  • TOB top-and-bottom method
  • frame sequential method a frame sequential method
  • auxiliary information is included in TS, but auxiliary information may be included in auxiliary stream.
  • 65 and 66 are diagrams illustrating a description example of the compatibility information and the parallax image information in the auxiliary stream when the auxiliary information is included in the auxiliary stream.
  • the compatibility information (3DV_view_structure) and the parallax image information (depth_map_structure) are arranged, for example, in SEI (Supplemental Enhancement Information) in the auxiliary stream.
  • parallax image information depth_map_structure
  • depth_map the number of parallax images (depth_map) (num_of_depth_map), a flag (is_frame_packing) indicating whether or not the parallax images are multiplexed
  • frame_packing_mode a parallax image multiplexing method
  • comb_frame_packing_views information specifying a multiplexed parallax image
  • image information is the same as that of parallax image information except that it is not a parallax image but information about a compatible image and an auxiliary image.
  • FIG. 67 and 68 are flowcharts for explaining the encoding process by the encoding device 440 of FIG. This encoding process is started when, for example, the images A2 to D2 are output from the imaging units 141A to 141D.
  • step S460 of FIG. 68 the parallax image generation unit 441 determines the multiplexing method of the parallax image of the auxiliary image and the multiplexing method of the parallax image of the compatible image and the multiplexed image of the parallax image of the auxiliary image.
  • Information indicating the conversion method is supplied to the parallax image information generation unit 57.
  • step S461 the parallax image information generation unit 57, based on the information supplied from the parallax image generation unit 441, multiplexes the parallax image of the auxiliary image, the parallax image of the compatible image, and the parallax image of the auxiliary image.
  • Information indicating the multiplexed method of the multiplexed image is generated as parallax image information and input to the multiplexing unit 59.
  • step S462 the parallax image generation unit 441 multiplexes the parallax image C2 ′ and the parallax image D2 ′ of the auxiliary image in the spatial direction based on the multiplexing method determined in step S460, and the parallax image A2 ′ of the compatible image.
  • the multiplexed image of the parallax image B2 ′ and the parallax image of the auxiliary image is multiplexed in the time direction.
  • step S463 the parallax image generation unit 441 inputs the time-multiplexed image obtained as a result of the multiplexing in step S462 to the encoder 442.
  • step S464 the compatible encoder 151 of the encoder 442 encodes the multiplexed image of the compatible image supplied from the image conversion unit 142 using the existing AVC method, and the encoded stream obtained as a result is a multiplexing unit. 59.
  • step S465 the auxiliary encoder 451 encodes the multiplexed image of the auxiliary image from the image conversion unit 142 and the time-multiplexed image from the parallax image generation unit 441 by the 3DV method.
  • the auxiliary encoder 451 supplies the encoded stream obtained as a result of the encoding to the multiplexing unit 59 as an auxiliary stream.
  • step S466 the multiplexing unit 59 generates TS1 from the compatible stream supplied from the compatible encoder 151 and the auxiliary stream and auxiliary information supplied from the auxiliary encoder 451 in the same manner as in step S86 of FIG. TS2 is generated and multiplexed, and the resulting multiplexed stream is transmitted.
  • This multiplexed stream is recorded on, for example, a BD or transmitted as a broadcast stream. Then, the process ends.
  • FIG. 69 is a diagram illustrating a configuration example of a decoding device that decodes a multiplexed stream transmitted from the coding device 440 of FIG.
  • the decoding device 460 decodes the multiplexed stream transmitted from the encoding device 440, generates a two-view image or a multi-view image, and displays the image on a display device (not shown).
  • the decoder 461 of the decoding device 460 includes a compatible decoder 131 and an auxiliary decoder 471.
  • the auxiliary decoder 471 of the decoder 461 decodes the multiplexed image and the time-multiplexed image included in the auxiliary stream supplied from the separation unit 121 by a method corresponding to the auxiliary encoder 451 in FIG.
  • the auxiliary decoder 471 supplies the multiplexed image of the auxiliary image and the time-multiplexed image obtained as a result of the decoding to the image generation unit 462.
  • the image generation unit 462 outputs an image in response to a display command from the viewer and displays the image on a display device (not shown). Specifically, the image generation unit 462 receives the image information from the image information acquisition unit 123 and the inter-viewpoint distance information from the inter-viewpoint distance information acquisition unit 124 in response to a multi-viewpoint 3D image display command from the viewer.
  • An image having a resolution that is half the resolution of the compatible image or the auxiliary image and having three or more viewpoints corresponding to a display device (not shown) is generated.
  • the image generation unit 462 shows a frame sequential method as a multiplexing method of a multiplexed image of a compatible image parallax image and an auxiliary image parallax image included in the parallax image information from the parallax image information acquisition unit 125.
  • the parallax image A2 ′ and the parallax image B2 ′ which are the parallax images of the compatible image, and the multiplexed image of the parallax image of the auxiliary image are separated from the time-multiplexed image.
  • the image generation unit 462 separates the parallax image C2 ′ and the parallax image D2 ′ from the multiplexed image of the parallax images of the auxiliary image based on the multiplexing scheme of the parallax images of the auxiliary image included in the parallax image information. .
  • the image generation unit 462 generates a multiplexed image of the auxiliary image based on information indicating the auxiliary image multiplexing method included in the image information from the image information acquisition unit 123. From each auxiliary image. Similarly to the image generation unit 171, the image generation unit 462 separates each compatible image from the multiplexed image of compatible images based on information indicating the compatible image multiplexing method included in the image information.
  • the image generation unit 462 determines the position of each viewpoint of the multi-viewpoint image to be generated based on the inter-viewpoint distance information and the number of viewpoints corresponding to the display device (not shown). Then, similarly to the image generation unit 171, the image generation unit 462 uses each compatible image, each auxiliary image, the parallax image of each compatible image, and the parallax image of each auxiliary image, for each viewpoint whose position is determined. Generate an image. Then, as with the image generation unit 171, the image generation unit 462 converts the resolution of the generated multi-viewpoint image into a resolution of 1 / number of viewpoints of the resolution of the compatible image or the auxiliary image, and combines them. Display on the display device.
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • the image generation unit 462 is supplied from the decoder 461 based on the image information from the image information acquisition unit 123 in response to a 2-viewpoint 3D image display command from the viewer.
  • the multiplexed image of the compatible images is separated into an image A2 and an image B2 having half the resolution of the compatible image.
  • the image generation unit 462 alternately outputs the images A2 and B2 having half the resolution of the separated compatible image, and displays them on a display device (not shown).
  • the viewer wears glasses that open either the left-eye shutter or the right-eye shutter when displaying the image A2 and open the other when displaying the image B2, and alternately display the images A2 on the display device.
  • the 3D image can be viewed.
  • FIG. 70 is a flowchart for explaining the decoding processing by the decoding device 460 of FIG. This decoding process is started, for example, when a multiplexed stream transmitted from the encoding device 440 in FIG. 62 is input to the decoding device 460.
  • step S474 the auxiliary decoder 471 extracts a multiplexed image and a time-multiplexed image of the auxiliary image encoded from the auxiliary stream, and decodes them using a method corresponding to the auxiliary encoder 62 in FIG.
  • the auxiliary decoder 471 supplies the multiplexed image and the time-multiplexed image of the auxiliary image obtained as a result of the decoding to the image generation unit 127, and the process proceeds to step S475.
  • steps S475 to S479 Since the processing of steps S475 to S479 is the same as the processing of steps S95 to S99 in FIG. 19, description thereof will be omitted.
  • step S480 the image generation unit 462 determines the position of each viewpoint determined in step S479, the image information from the image information acquisition unit 123, the parallax image information from the parallax image information acquisition unit 125, and the compatibility information acquisition unit 126. Based on the compatibility information and the like, a compatible image and a half-resolution image of the auxiliary image are generated for each viewpoint using the multiplexed image of the compatible image, the multiplexed image of the auxiliary image, and the time-multiplexed image.
  • steps S481 to S486 is the same as the processing of steps S101 to S106 in FIG.
  • step S485 multiplexed images of compatible images are separated based on a predetermined multiplexing method.
  • FIG. 71 is a block diagram illustrating a configuration example of the eighth embodiment of the encoding device to which the present technology is applied.
  • the encoding device 480 encodes a common parallax image representing a parallax value common to compatible images and a common parallax image of an auxiliary image.
  • the parallax image generation unit 481 of the encoding device 480 uses the images A2 to D2 supplied from the imaging units 141A to 141D to calculate the parallax of each pixel between the image A2 and the image B2. Then, the parallax of each pixel between the image C2 and the image D2 is detected.
  • the parallax image generation unit 481 generates a parallax image composed of parallax values representing the parallax of each pixel between the image A2 and the image B2 as a common parallax image AB2 'of a compatible image, and supplies this to the encoder 482.
  • the parallax image generation unit 481 generates a parallax image including a parallax value representing the parallax of each pixel between the image C2 and the image D2 as a common parallax image CD2 'of the auxiliary image, and supplies this to the encoder 482.
  • the parallax image generation unit 481 supplies information indicating that the parallax images of the compatible image and the auxiliary image are common parallax images to the parallax image information generation unit 483.
  • the encoder 482 includes a compatible encoder 151 and an auxiliary encoder 491.
  • the auxiliary encoder 491 applies the 3DV method to the multiplexed image of the auxiliary image from the image conversion unit 142, the common parallax image AB2 ′ of the compatible image from the parallax image generation unit 481, and the common parallax image CD2 ′ of the auxiliary image.
  • the encoding is performed in units of access units.
  • the auxiliary encoder 491 supplies the encoded stream obtained as a result to the multiplexing unit 59 as an auxiliary stream.
  • the parallax image information generation unit 483 Based on the information supplied from the parallax image generation unit 53, the parallax image information generation unit 483 generates, as parallax image information, information indicating that the parallax images of the compatible image and the auxiliary image are common parallax images, The data is supplied to the multiplexing unit 59.
  • FIG. 72 and 73 are flowcharts for explaining the encoding processing by the encoding device 480 of FIG. This encoding process is started when, for example, the images A2 to D2 are output from the imaging units 141A to 141D.
  • the parallax image generation unit 481 uses the images A2 to D2 supplied from the imaging units 141A to 141D, and the parallax of each pixel between the image A2 and the image B2, and the image C2. The parallax of each pixel of the image D2 is detected. Then, the parallax image generation unit 481 has a common parallax image AB2 ′ composed of parallax values representing the parallax of each pixel between the image A2 and the image B2, and a parallax value representing the parallax of each pixel between the image C2 and the image D2. A common parallax image CD2 ′ is generated.
  • step S ⁇ b> 500 the parallax image information generation unit 483 displays information indicating that the parallax images of the compatible image and the auxiliary image are common parallax images based on the information supplied from the parallax image generation unit 481. And input to the multiplexing unit 59.
  • step S501 the parallax image generation unit 481 inputs the common parallax image CD2 'of the auxiliary image generated in step S499 and the common parallax image AB2' of the compatible image to the encoder 482.
  • step S502 the compatible encoder 151 of the encoder 482 encodes the multiplexed image of the compatible image supplied from the image conversion unit 142 using the existing AVC method, and the encoded stream obtained as a result is the multiplexing unit. 59.
  • the auxiliary encoder 491 outputs the multiplexed image of the auxiliary image from the image conversion unit 142, the common parallax image of the compatible image from the parallax image generation unit 481, and the common parallax image of the auxiliary image in a 3DV format. Encode.
  • the auxiliary encoder 491 supplies the encoded stream obtained as a result of encoding to the multiplexing unit 59 as an auxiliary stream.
  • step S504 the multiplexing unit 59 generates TS1 from the compatible stream supplied from the compatible encoder 151, generates TS2 from the auxiliary stream and auxiliary information supplied from the auxiliary encoder 491, and multiplexes them. Send the resulting multiplexed stream.
  • This multiplexed stream is recorded on, for example, a BD or transmitted as a broadcast stream. Then, the process ends.
  • [Configuration Example of Decoding Device] 74 is a diagram illustrating a configuration example of a decoding device that decodes a multiplexed stream transmitted from the encoding device 480 of FIG. 71.
  • the decoding device 500 decodes the multiplexed stream transmitted from the encoding device 480, generates a 2-viewpoint image or a multi-viewpoint image, and displays the image on a display device (not shown).
  • the decoder 501 of the decoding device 500 includes a compatible decoder 131 and an auxiliary decoder 511.
  • the auxiliary decoder 511 of the decoder 501 generates a multiplexed image of auxiliary images, a common parallax image AB2 ′ of compatible images, and a common parallax image CD2 ′ of auxiliary images included in the auxiliary stream supplied from the separation unit 121, as shown in FIG. Is decoded by a method corresponding to the auxiliary encoder 491.
  • the auxiliary decoder 511 supplies the multiplexed image of the auxiliary image, the common parallax image AB ⁇ b> 2 ′, and the common parallax image CD ⁇ b> 2 ′ obtained as a result of decoding to the image generation unit 502.
  • the image generation unit 502 outputs an image in response to a display command from the viewer and displays the image on a display device (not shown). Specifically, the image generation unit 502 receives image information from the image information acquisition unit 123 and distance information between viewpoints from the inter-viewpoint distance information acquisition unit 124 in response to a display instruction of a multi-viewpoint 3D image from the viewer.
  • the multiplexed image of the compatible image is generated.
  • the multiplexed image of the auxiliary image is generated.
  • the common parallax image AB2 ′ is generated.
  • the image generation unit 502 uses the common parallax image based on information indicating that the compatible image and the parallax image of the auxiliary image included in the parallax image information from the parallax image information acquisition unit 125 are common parallax images.
  • AB2 ′ and the common parallax image CD2 ′ are left as they are.
  • the image generation unit 502 multiplexes the auxiliary image based on the information indicating the auxiliary image multiplexing method included in the image information from the image information acquisition unit 123. From each auxiliary image. Further, similar to the image generation unit 171, the image generation unit 502 separates each compatible image from the multiplexed image of compatible images based on information indicating the compatible image multiplexing method included in the image information.
  • the image generation unit 502 determines the position of each viewpoint of the multi-viewpoint image to be generated based on the inter-viewpoint distance information and the number of viewpoints corresponding to the display device (not shown). Then, the image generation unit 502 generates an image of each viewpoint whose position is determined using each compatible image, each auxiliary image, common parallax image AB2 ', and common parallax image CD2'. Similar to the image generation unit 171, the image generation unit 502 converts the resolution of the generated multi-viewpoint image into a 1 / viewpoint resolution of the resolution of the compatible image or the auxiliary image, and synthesizes it. Display on the display device.
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • the image generation unit 502 supplies the image data from the decoder 501 based on the image information from the image information acquisition unit 123 in response to the display command of the 2-viewpoint 3D image from the viewer.
  • the multiplexed image of the compatible images is separated into an image A2 and an image B2 having half the resolution of the compatible image.
  • the image generation unit 502 alternately outputs the image A2 and the image B2 having half the resolution of the separated compatible image, and displays them on a display device (not shown).
  • the viewer wears glasses that open either the left-eye shutter or the right-eye shutter when displaying the image A2 and open the other when displaying the image B2, and alternately display the images A2 on the display device.
  • the 3D image can be viewed.
  • FIG. 75 is a flowchart for explaining decoding processing by the decoding device 500 of FIG. This decoding process is started, for example, when a multiplexed stream transmitted from the encoding device 480 in FIG. 71 is input to the decoding device 500.
  • step S514 the auxiliary decoder 511 extracts the multiplexed image of the auxiliary image encoded from the auxiliary stream, the common parallax image AB2 ′ of the compatible image, and the common parallax image CD2 ′ of the auxiliary image, and adds the auxiliary image of FIG. It decodes by the system corresponding to the encoding system in the encoder 491.
  • the auxiliary decoder 511 supplies the multiplexed image of the auxiliary image, the common parallax image AB ⁇ b> 2 ′, and the common parallax image CD ⁇ b> 2 ′ obtained as a result of decoding to the image generation unit 502.
  • steps S515 to S519 Since the processing of steps S515 to S519 is the same as the processing of steps S95 to S99 in FIG. 19, description thereof will be omitted.
  • step S520 the image generation unit 502 determines the position of each viewpoint determined in step S519, the image information from the image information acquisition unit 123, the parallax image information from the parallax image information acquisition unit 125, the compatibility Based on the compatibility information from the information acquisition unit 126 and the like, using the compatible image, the multiplexed image of the auxiliary image, the common parallax image AB2 ′, and the common parallax image CD2 ′, half of the compatible image and auxiliary image of each viewpoint An image with a resolution of
  • steps S521 to S526 is the same as the processing of steps S101 to S106 in FIG.
  • the encoding device 440 and the encoding device 480 multiplexed and encoded the two-view compatible images in the same manner as the encoding device 140, but the two-view compatible images in the same manner as the encoding device 180 in FIG. You may make it encode, without multiplexing. Also, the encoding device 440 and the encoding device 480 may encode a one-view compatible image, similarly to the encoding device 50 of FIG.
  • the encoding device 140 and the encoding device 180 may encode the compatible image and the parallax image of the auxiliary image without multiplexing. Further, the encoding device 50 may encode the parallax image of the auxiliary image without multiplexing.
  • FIG. 76 is a diagram illustrating an example of a multiplexing pattern to be encoded when the number of viewpoints of the compatible image is 2 and the number of viewpoints of the auxiliary image is 2.
  • the encoding device 140 of FIG. 14 multiplexes the images A2 and B2, which are compatible images, in the spatial direction and encodes them using the AVC method. Also, the encoding device 140 performs parallax images C2 and D2 which are auxiliary images, parallax images A2 ′ and B2 ′ which are parallax images of compatible images, and parallax images C2 ′ and parallax images which are parallax images of auxiliary images.
  • the images D2 ′ are multiplexed in the spatial direction, respectively, and encoded by the 3DV method according to the MVC method.
  • the encoding device 140 may encode the 3DV method according to the MVC method without multiplexing the parallax images A2 'to D2' as shown in (2) of FIG. Further, as illustrated in (3) of FIG. 76, the encoding device 480 of FIG. 71 encodes the common parallax image AB2 ′ instead of the parallax image A2 ′ and the parallax image B2 ′ that are the parallax images of the compatible images. Instead of the parallax image C2 ′ and the parallax image D2 ′ that are parallax images of the auxiliary image, the common parallax image CD2 ′ is encoded.
  • the encoding device 440 of FIG. 62 does not multiplex the parallax image A2 ′ and the parallax image B2 ′, which are parallax images of compatible images, in the spatial direction, and the parallax image A2 ',
  • the parallax image B2', and the multiplexed image of the parallax images of the auxiliary image are multiplexed by the frame sequential method and encoded by the 3DV method according to the MVC method.
  • the encoding device 180 of FIG. 22 encodes the image A2 by the AVC method without multiplexing the images A2 and B2, which are compatible images, and converts the image B2 into the image B2. Then, encoding is performed by the MVC method using the image A2 as a base view. Also, the encoding device 180 performs parallax images C2 and D2 which are auxiliary images, parallax images A2 ′ and B2 ′ which are parallax images of compatible images, and parallax images C2 ′ and parallax images which are parallax images of auxiliary images.
  • the images D2 ′ are multiplexed in the spatial direction, respectively, and encoded by the 3DV method according to the MVC method.
  • the encoding device 180 may encode the 3DV method according to the MVC method without multiplexing the parallax images A2 'to D2' as shown in (6) of FIG. Also, the encoding device 180 encodes the common parallax image AB2 ′ instead of the parallax image A2 ′ and the parallax image B2 ′, as shown in (7) of FIG.
  • the common parallax image CD2 ′ may be encoded instead of C2 ′ and the parallax image D2 ′.
  • the encoding device 180 does not multiplex the parallax image A2 ′ and the parallax image B2 ′ in the spatial direction as in the encoding device 440, and does not multiplex the parallax image A2 ′,
  • the parallax image B2 ′ and the multiplexed image of the parallax images of the auxiliary image can be multiplexed by the frame sequential method and encoded by the 3DV method according to the MVC method.
  • FIG. 77 is a diagram showing the characteristics of the effect of multiplexing with the multiplexing patterns shown in (1) to (8) of FIG.
  • the compatibility image multiplexing method and encoding method are the same as the existing method, and compatibility is ensured.
  • the parallax images are multiplexed in the spatial direction in the same manner as the compatible images, for example, the parallax images can be separated using a separation unit that separates the compatible images prepared on the decoding device side. Therefore, it is guaranteed that the parallax image can be separated on the decoding device side. Therefore, in this case, there is a remarkable effect in compatibility, and a double circle is described corresponding to the item “compatibility” in FIG.
  • the multiplexing method and encoding method of compatible images are the same as the existing method, and compatibility is ensured. Also, since the resolution of the parallax image is the same as that of the image before multiplexing, the accuracy is high. As a result, in the decoding device, the accuracy of the image of the predetermined viewpoint generated using the parallax image is improved. Therefore, in this case, there is an effect in compatibility and the image quality of an image generated using a parallax image, and circles are described corresponding to the items “compatibility” and “image quality” in FIG.
  • the compatibility image encoding method and multiplexing method are the same as the existing method, and compatibility is ensured. Further, the data amount of the parallax image of the compatible image and the auxiliary image having the same resolution as that of the image before multiplexing is reduced to the data amount of the parallax image for two viewpoints. Therefore, in this case, compatibility and data amount are effective, and circles are described corresponding to the items “compatibility” and “data amount” in FIG.
  • the compatible image encoding method and multiplexing method are the same as the existing method, and compatibility is ensured.
  • the data amount of the parallax images at each time is further reduced as compared with the case of (3) in FIG. 76, and the amount of data that can be transmitted is increased. Therefore, a parallax image having the same resolution as the image before multiplexing can be transmitted even in a situation where there is not enough room in the transmission band so that a parallax image having the same resolution as the image before multiplexing can be transmitted.
  • the accuracy of the image of the predetermined viewpoint generated using the parallax image is improved. Therefore, in this case, there is an effect on the compatibility and the image quality of the image generated using the parallax image, and there is a significant effect on the data amount. Therefore, a circle is described corresponding to the items “compatibility” and “image quality” in FIG. 77, and a double circle is described corresponding to the “data amount”.
  • Multiplexing using the multiplexing patterns shown in (1) to (4) of FIG. 76 is, for example, broadcasting, broadcasting fused with IP (Internet Protocol) conforming to the ATSC (Advanced Television Systems Committee) 2.0 standard or the like. This is performed when an image for a next-generation broadcast or Internet distribution application is to be encoded.
  • IP Internet Protocol
  • the compatibility image encoding method and multiplexing method are the same as the existing method, and compatibility is ensured. Further, since the resolution of each parallax image is half of the resolution of the image, the data amount of the parallax image of the compatible image and the auxiliary image is reduced to the data amount of the parallax image for two viewpoints. Therefore, in this case, compatibility and data amount are effective, and circles are described corresponding to the items “compatibility” and “data amount” in FIG.
  • multiplexing with the multiplexing patterns shown in (5), (7), and (8) of FIG. 76 is performed by, for example, encoding an image for a BD, broadcast, next-generation broadcast, or Internet distribution application. This is done when targeting.
  • multiplexing with the multiplexing pattern shown in (6) of FIG. 76 is performed when, for example, an image for BD, next-generation broadcasting, or Internet distribution application is to be encoded.
  • FIG. 78 is a diagram illustrating an example of a multiplexing pattern to be encoded when the number of viewpoints of the compatible image is 1 and the number of viewpoints of the auxiliary image is 2.
  • the encoding device 50 of FIG. 2 encodes the image A1, which is a compatible image, by the AVC method. Also, the encoding device 50 multiplexes the image B1 and the image C1, which are auxiliary images, and the parallax image B1 'and the parallax image C1', which are parallax images of the auxiliary image, in the time direction. Then, the encoding device 50 encodes the parallax image A1 ′, which is a parallax image of the compatible image, the multiplexed image of the auxiliary image, and the multiplexed image of the parallax image of the auxiliary image, in a 3DV format according to the MVC format.
  • the encoding device 50 may encode the parallax images A1 'to C1' in the 3DV format according to the MVC format without multiplexing the parallax images A1 'to C1', as shown in (2) of Fig. 78. Also, as illustrated in (3) of FIG. 78, the encoding device 50, like the encoding device 480, replaces the image B and the image C that are auxiliary images instead of the multiplexed image of the parallax images of the auxiliary image. It is also possible to encode the common parallax image BC1 ′.
  • the encoding device 50 does not multiplex the parallax image B1 ′ and the parallax image C1 ′ in the spatial direction as in the case of the encoding device 440, and does not multiplex the parallax images A1 ′ to It is also possible to multiplex the parallax image C1 ′ by the frame sequential method and encode it by the 3DV method according to the MVC method.
  • FIG. 79 is a diagram illustrating an example of a multiplexing pattern to be encoded when the number of viewpoints of the compatible image is 2 and the number of viewpoints of the auxiliary image is 0.
  • the parallax image A2 'and the parallax image B2' may not be multiplexed, and may be encoded by a 3DV format that conforms to the MVC format.
  • the common parallax image AB2 ′ may be encoded instead of the parallax image A2 ′ and the parallax image B2 ′. it can.
  • the parallax image A2 ′ and the parallax image B2 ′ are not multiplexed in the time direction, but are multiplexed in a frame sequential manner. And can be encoded.
  • the images A2 and B2 which are compatible images are not multiplexed and the image A2 is encoded by the AVC method.
  • the image B2 may be encoded by the MVC method using the image A2 as a base view.
  • the parallax image is encoded without being multiplexed, as shown in (2) of FIG. 79, or as shown in (7) of FIG. 79, Similarly to (3) in FIG. 79, the common parallax image AB2 ′ may be encoded. Further, as shown in (8) of FIG. 79, similarly to (4) of FIG. 79, the parallax images of compatible images can be multiplexed and encoded by the frame sequential method.
  • the resolution of the parallax image multiplexed by the frame sequential method is the same as that of the image before multiplexing, but may be lower than the resolution of the image before multiplexing.
  • the auxiliary image may be multiplexed by a frame sequential method similarly to the parallax image.
  • the information indicating the image multiplexing method and the information indicating the parallax image multiplexing method are transmitted in the encoding device, but the multiplexing shown in FIGS. 76, 78, and 79 is performed. Information for identifying the pattern may be transmitted.
  • the encoding device may transmit a flag for identifying an application corresponding to an image to be encoded.
  • FIG. 80 is a block diagram illustrating a configuration example of the ninth embodiment of the encoding device to which the present technology is applied.
  • the 80 mainly includes an encoder 523 and a transmission unit 524 instead of the encoder 145 and the multiplexing unit 59, and the multiplexing unit 521 and the multiplexed information generation unit 522. Is different from the configuration of FIG.
  • the encoding device 520 multiplexes a multiplexed image of a compatible image, a multiplexed image of an auxiliary image, a multiplexed image of a parallax image of a compatible image, and a multiplexed image of a parallax image of an auxiliary image by a frame sequential method, and encodes them. To do.
  • the multiplexing unit 521 of the encoding device 520 obtains the multiplexed image of the compatible image and the auxiliary image obtained as a result of multiplexing by the image converting unit 142 and the result of multiplexing by the parallax image generating unit 143.
  • Multiplexed images of the compatible image and the parallax image of the auxiliary image are multiplexed by a frame sequential method.
  • the multiplexing unit 521 obtains a multiplexed image of compatible images, a multiplexed image of parallax images of compatible images, a multiplexed image of auxiliary images, and a parallax of auxiliary images within one frame time obtained as a result of multiplexing.
  • a multiplexed image in which multiplexed images of images are present in order is supplied to the encoder 523 as a time-direction multiplexed image.
  • the multiplexing unit 521 determines that the multiplexed image of the compatible image and the auxiliary image, and the multiplexed image of the parallax image of the compatible image and the auxiliary image are multiplexed by the frame sequential method.
  • Information indicating the arrangement order of the images is supplied to the multiplexed information generation unit 522 and the encoder 523.
  • the multiplexing information generation unit 522 Based on the information supplied from the multiplexing unit 521, the multiplexing information generation unit 522 converts the information and the like into the compatible image and the auxiliary image, and the entire multiplexing information regarding the multiplexing of the compatible image and the parallax image of the auxiliary image. And supplied to the transmission unit 524.
  • the encoder 523 includes a compatible encoder 531 and an auxiliary encoder 532. Based on the information supplied from the multiplexing unit 521, the encoder 523 specifies a multiplexed image of compatible images among the time-multiplexed images supplied from the multiplexing unit 521, and makes the multiplexed images of compatible images compatible. To the encoder 531. Further, the encoder 523 converts the multiplexed image of the auxiliary image and the multiplexed image of the compatible image and the parallax image of the auxiliary image out of the time multiplexed images based on the information supplied from the multiplexing unit 521. 532.
  • the compatible encoder 531 of the encoder 523 performs encoding for each access unit in the existing AVC method on the multiplexed image of the compatible images among the time multiplexed images.
  • the auxiliary encoder 532 performs coding in units of access units in the 3DV system on the multiplexed image of the auxiliary image and the multiplexed image of the compatible image and the parallax image of the auxiliary image among the time multiplexed images.
  • the multiplexed image of the auxiliary image is encoded with reference to the multiplexed image of the compatible image
  • the multiplexed image of the parallax image of the auxiliary image is encoded with reference to the multiplexed image of the parallax image of the compatible image. It becomes.
  • the encoder 523 supplies a bit stream composed of encoded data of a time-multiplexed image obtained as a result of encoding by the compatible encoder 531 or the auxiliary encoder 532 to the transmission unit 524.
  • the transmission unit 524 includes the bit stream supplied from the encoder 523, the image information from the image information generation unit 54, the compatibility information from the compatibility information generation unit 55, the inter-view distance information from the inter-view distance information generation unit 144, and the parallax image.
  • a TS is generated using the parallax image information from the information generation unit 57, the entire multiplexing information from the multiplexing information generation unit 522, and the like.
  • the multiplexing unit 59 transmits the generated TS.
  • FIG. 81 and 82 are flowcharts for explaining the encoding process by the encoding device 520 in FIG. This encoding process is started when, for example, the images A2 to D2 are output from the imaging units 141A to 141D.
  • steps S531 to S537 in FIG. 81 is the same as the processing in steps S71 to S77 in FIG.
  • step S538 the image conversion unit 142 inputs the multiplexed image of the compatible image and the multiplexed image of the auxiliary image to the multiplexing unit 521, and the process proceeds to step S539 in FIG.
  • step S544 the multiplexing unit 521 obtains the multiplexed image of the compatible image and the auxiliary image obtained as a result of multiplexing by the image converting unit 142, and the result of multiplexing by the parallax image generating unit 143. Multiplexed images of the compatible image and the parallax image of the auxiliary image are multiplexed by a frame sequential method. The multiplexing unit 521 supplies the multiplexed image obtained as a result of multiplexing to the encoder 523 as a time direction multiplexed image.
  • the multiplexing unit 521 is information indicating that the multiplexed image of the compatible image and the auxiliary image and the multiplexed image of the parallax image are multiplexed by the frame sequential method, the arrangement order of the images in the time multiplexed image, and the like. Is supplied to the multiplexed information generating unit 522 and the encoder 523.
  • step S545 the multiplexing information generation unit 522 generates the information as overall multiplexing information based on the information supplied from the multiplexing unit 521, and inputs the generated information to the transmission unit 524.
  • step S546 the compatible encoder 531 encodes the multiplexed image of the compatible images among the time-multiplexed images input by the encoder 523 based on the information from the multiplexing unit 521 using the existing AVC method.
  • step S547 the auxiliary encoder 532 is input based on the information from the multiplexing unit 521 by the encoder 523, and the multiplexed image of the auxiliary image and the multiplexed image of the parallax image of the compatible image among the time multiplexed images. And the multiplexed image of the parallax image of the auxiliary image is encoded by the 3DV method.
  • the encoder 523 supplies the transmission unit 524 with a bit stream composed of encoded data of the time-multiplexed image obtained as a result of the encoding in steps S546 and S547.
  • step S548 the transmission unit 524 generates and transmits a TS from the bit stream from the encoder 523, the auxiliary information, and the entire multiplexed information from the multiplexed information generating unit 522.
  • This TS is recorded on, for example, a BD or transmitted as a broadcast stream. Then, the process ends.
  • the encoding device 520 uses the encoded data of the multiplexed image of the compatible image, the multiplexed image of the auxiliary image, the multiplexed image of the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image.
  • One bit stream is generated. Therefore, in a decoding device having a decoder capable of decoding only one bit stream, the bit stream generated by the encoding device 520 can be decoded.
  • the parallax image of the compatible image, the auxiliary image, and the parallax image of the auxiliary image are encoded by the 3DV method according to the encoding method of the compatible image. It may be encoded by MPEG2 (MovingMoPicture Experts Group phase 2) method or the like that does not conform to the above.
  • FIG. 83 is a diagram illustrating a configuration example of a decoding device that decodes a TS transmitted from the coding device 520 of FIG.
  • the 83 mainly includes a receiving unit 541, a decoder 542, and an image generating unit 544 instead of the separating unit 121, the decoder 122, and the image generating unit 171, and multiplexed information.
  • 18 is different from the configuration of FIG. 18 in that an acquisition unit 543 is newly provided.
  • the decoding device 540 decodes the bit stream of the time-multiplexed image included in the TS transmitted from the encoding device 520, generates a two-view image or a multi-view image, and displays it on a display device (not shown). .
  • the receiving unit 541 of the decoding device 540 receives the TS transmitted from the encoding device 520.
  • the receiving unit 541 extracts the bit stream of the time multiplexed image included in the TS and supplies the bit stream to the decoder 542.
  • the reception unit 541 extracts auxiliary information included in the TS, supplies image information of the auxiliary information to the image information acquisition unit 123, and supplies viewpoint distance information to the inter-viewpoint distance information acquisition unit 124.
  • the reception unit 541 supplies the parallax image information of the auxiliary information to the parallax image information acquisition unit 125 and supplies the compatibility information to the compatibility information acquisition unit 126.
  • the receiving unit 541 extracts the entire multiplexed information included in the TS and supplies it to the multiplexed information acquiring unit 543.
  • the decoder 542 includes a compatible decoder 551 and an auxiliary decoder 552.
  • the compatible decoder 551 of the decoder 542 decodes the encoded data of the multiplexed image of the compatible image included in the bit stream supplied from the receiving unit 541 using a method corresponding to the AVC method, and supplies the decoded data to the image generating unit 544.
  • the auxiliary decoder 552 receives encoded data of the multiplexed image of the auxiliary image, the multiplexed image of the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image included in the bitstream supplied from the receiving unit 541. , Decoding is performed by a method corresponding to the encoding method in the auxiliary encoder 532 of FIG.
  • the auxiliary decoder 552 supplies the image generation unit 544 with the multiplexed image of the auxiliary image, the multiplexed image of the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image obtained as a result of the decoding.
  • the multiplexing information acquisition unit 543 acquires the entire multiplexing information supplied from the reception unit 541 and supplies it to the image generation unit 544.
  • the image generation unit 544 outputs an image in response to a display command from the viewer and displays the image on a display device (not shown). Specifically, the image generation unit 544 receives the image information from the image information acquisition unit 123 and the inter-viewpoint distance from the inter-viewpoint distance information acquisition unit 124 in response to a display instruction of a multi-viewpoint 3D image from the viewer. Based on the information, the parallax image information from the parallax image information acquisition unit 125, the compatibility information from the compatibility information acquisition unit 126, the overall multiplexing information from the multiplexing information acquisition unit 543, and the like.
  • the multiplexed image of the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image the compatible image or auxiliary image of the number of viewpoints corresponding to a display device (not shown) of 3 or more. Generate an image with half the resolution.
  • the image generation unit 544 multiplexes the multiplexed image of the auxiliary image and the parallax image of the compatible image supplied from the auxiliary decoder 552 based on the entire multiplexing information from the multiplexing information acquisition unit 543.
  • a multiplexed image of the image and the parallax image of the auxiliary image is identified.
  • the image generation unit 544 like the image generation unit 171 in FIG. 18, assists based on information indicating the parallax image multiplexing method of the auxiliary image included in the parallax image information from the parallax image information acquisition unit 125.
  • a parallax image of each auxiliary image is separated from the multiplexed image of the parallax images of the images.
  • the image generation unit 544 uses the information indicating the multiplexing method of the parallax image of the compatible image included in the parallax image information, from each of the multiplexed images of the parallax images of the compatible image. Separate parallax images of compatible images.
  • the image generation unit 544 generates each auxiliary image from the multiplexed image based on the information indicating the auxiliary image multiplexing method included in the image information from the image information acquisition unit 123. Separate auxiliary images. Similarly to the image generation unit 171, the image generation unit 544 separates each compatible image from the multiplexed image of the compatible image based on information indicating the compatible image multiplexing method included in the image information.
  • the image generation unit 544 determines the position of each viewpoint of the multi-viewpoint image to be generated based on the distance information between viewpoints and the number of viewpoints corresponding to a display device (not shown). Then, similarly to the image generation unit 171, the image generation unit 544 uses each compatible image, each auxiliary image, the parallax image of each compatible image, and the parallax image of each auxiliary image, for each viewpoint whose position is determined. Generate an image. Then, the image generation unit 544 converts the resolution of the generated multi-viewpoint image into a resolution of 1 / the number of viewpoints of the resolution of the compatible image or the auxiliary image, and displays it on a display device (not shown).
  • the combined multi-viewpoint images are displayed so that the viewable angles are different for each viewpoint, and the viewer wears glasses by viewing each image of any two viewpoints with the left and right eyes. 3D images can be seen without
  • the image generation unit 544 is supplied from the decoder 542 based on the image information from the image information acquisition unit 123 in response to the display command of the 2-viewpoint 3D image from the viewer.
  • the multiplexed image of the compatible images is separated into an image A2 and an image B2 having half the resolution of the compatible image.
  • the image generation unit 544 alternately outputs the image A2 and the image B2 having half the resolution of the separated compatible image and displays them on a display device (not shown).
  • the viewer wears glasses that open either the left-eye shutter or the right-eye shutter when displaying the image A2 and open the other when displaying the image B2, and alternately display the images A2 on the display device.
  • the 3D image can be viewed.
  • FIG. 84 is a flowchart for explaining the decoding process by the decoding device 540 of FIG. This decoding process is started, for example, when a TS transmitted from the encoding device 520 in FIG. 80 is input to the decoding device 540.
  • the reception unit 541 of the decoding device 540 receives the TS transmitted from the encoding device 520.
  • the receiving unit 541 extracts the bit stream included in the TS and supplies the bit stream to the decoder 542.
  • the reception unit 541 extracts auxiliary information included in the TS, supplies image information of the auxiliary information to the image information acquisition unit 123, and supplies viewpoint distance information to the inter-viewpoint distance information acquisition unit 124.
  • the reception unit 541 supplies the parallax image information of the auxiliary information to the parallax image information acquisition unit 125 and supplies the compatibility information to the compatibility information acquisition unit 126.
  • the receiving unit 541 extracts the entire multiplexed information included in the TS and supplies it to the multiplexed information acquiring unit 543.
  • step S552 the image generation unit 544 determines whether or not the viewer is instructed to display a two-viewpoint 3D image, similarly to the process in step S92 of FIG. If it is determined in step S552 that display of a 2-viewpoint 3D image is not instructed by the viewer, that is, if display of a multi-viewpoint 3D image is instructed, the process proceeds to step S553.
  • step S553 the compatible decoder 551 of the decoder 542 extracts the encoded data of the multiplexed image of the compatible image from the bit stream supplied from the receiving unit 541, and decodes it with a method corresponding to the AVC method. Then, the compatible decoder 551 supplies a multiplexed image of compatible images obtained as a result of decoding to the image generation unit 544.
  • the auxiliary decoder 552 encodes the multiplexed image of the auxiliary image, the multiplexed image of the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image from the bit stream supplied from the receiving unit 541. Data is extracted and decoded by a method corresponding to the auxiliary encoder 532 of FIG.
  • the auxiliary decoder 552 supplies the multiplexed image of the auxiliary image, the multiplexed image of the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image obtained as a result of the decoding to the image generation unit 544, and performs the process. Proceed to S555.
  • steps S555 to S558 Since the processing of steps S555 to S558 is the same as the processing of steps S95 to S98 in FIG. 19, description thereof will be omitted.
  • the multiplexing information acquisition unit 543 acquires the entire multiplexing information supplied from the reception unit 541 and inputs the entire multiplexing information to the image generation unit 544.
  • step S560 as in the process of step S99 in FIG. 19, the image generation unit 544, based on the inter-viewpoint distance information from the inter-viewpoint distance information acquisition unit 124, and the number of viewpoints corresponding to a display device (not shown), The position of each viewpoint of the multi-viewpoint image to be generated is determined.
  • step S561 the image generation unit 544 determines the position of each viewpoint determined in step S560, the image information from the image information acquisition unit 123, the parallax image information from the parallax image information acquisition unit 125, and the compatibility information acquisition unit 126. Based on the compatible information, the entire multiplexed information from the multiplexed information acquisition unit 543, etc., the multiplexed image of the compatible image, the multiplexed image of the auxiliary image, the multiplexed image of the parallax image of the compatible image, and the parallax image of the auxiliary image Is used to generate an image having a resolution half that of the compatible image and the auxiliary image for each viewpoint. Then, the process proceeds to step S562.
  • step S564 Since the processing of steps S562 to S567 is the same as the processing of steps S101 to S106 in FIG. 19, the description thereof is omitted. However, in the process of step S564, the compatible decoder 551 extracts the multiplexed image of the compatible image from the bit stream supplied from the receiving unit 541 instead of the compatible stream.
  • step S566 the multiplexed images of compatible images are separated based on a predetermined multiplexing method.
  • the decoding device 540 generates the encoded image from the multiplexed image of the compatible image, the multiplexed image of the auxiliary image, the multiplexed image of the parallax image of the compatible image, and the multiplexed image of the parallax image of the auxiliary image. It is possible to decode the single bit stream.
  • FIG. 85 is a diagram illustrating another configuration example of the bit stream in units of access units generated in the fifth embodiment.
  • the compatible image is an L image and an R image having 1920 ⁇ 1080 pixels
  • the auxiliary image is an O image having 1920 ⁇ 1080 pixels.
  • the size of the L parallax image, the R parallax image, and the O parallax image is 960 ⁇ 1080 pixels.
  • the L image is encoded by the AVC method
  • the R image is encoded by the MVC method
  • the O image, the L parallax image, the R parallax image, and the O parallax image are encoded by the 3DV method.
  • the view IDs of the L image, R image, O image, L parallax image, R parallax image, and O parallax image are 0, 1, 2, 3, 4, and 5, respectively.
  • the view ID is an ID unique to each viewpoint image and parallax image.
  • access unit delimiter AUD
  • SPS SPS
  • MVC method Subset SPS Subset SPS1
  • 3DV method for parallax images Subset SPS (Subset SPS2)
  • PPS PPS
  • AVC SEI MVC SEI
  • 3DV SEI NAL unit of encoded data
  • the NAL unit of the access unit delimiter is a NAL unit that represents the boundary of the access unit.
  • the SPS NAL unit is an SPS NAL unit including profile_idc (100 in the example of FIG. 85) representing the profile of the L image among the profiles defined by the AVC method.
  • SPS for images is a NAL unit of Subset
  • the NAL unit of Subset SPS for parallax images is a profile_idc (example in FIG. 85) representing profiles of L parallax images, R parallax images, and O parallax images among profiles defined as profiles for parallax images in the 3DV format. Then, Subset SPS NAL unit including 138).
  • the AVC-type SEI NAL unit is an L-image SEI NAL unit.
  • the MVC SEI NAL unit is an SEI NAL unit for L and R images.
  • the 3DV SEI NAL unit is an LEI, R image, O image, L parallax image, R parallax image, and O parallax image SEI NAL unit.
  • NAL unit of the delimiter is a NAL unit that represents the head of encoded data in the MVC system.
  • a NAL header including 20 as a NAL unit type is added to the NAL unit of the encoded data of the R image.
  • the NAL unit of the delimiter (3DV DD) is a NAL unit that represents the head of encoded data of the 3DV system.
  • a NAL header including 21 as the type of NAL unit is added to the NAL unit of the encoded data of the O image, the L parallax image, the R parallax image, and the O parallax image.
  • FIG. 86 is a diagram illustrating a description example of the 3DV Subset SPS for the parallax image of FIG.
  • the 3DV SubsetSubSPS for parallax images includes SPS (seq_parameter_set_data) including profile_idc (138 in the example of FIG. 86) representing profiles of L parallax images, R parallax images, and O parallax images. And information for each profile_idc defined in the 3DV format.
  • the 3DV SubsetSubSPS for parallax images includes parallax image extension information (seq_parameter_set_depth_extension) and parallax image VUI extension information as information when profile_idc is 138.
  • An image VUI information flag (depth_vui_parameters_present_flag) and the like are described.
  • the parallax image VUI information flag indicates that the parallax image VUI extension information is included, the parallax image VUI extension information (depth_vui_parameters__extension) is also described.
  • the reference image is reset in the same manner as when decoding IDR pictures. Is done.
  • FIG. 87 is a diagram showing a description example of the parallax image extension information of FIG.
  • the parallax image extension information is obtained from information described in the same way as the extension information (seq_parameter_set_mvc_extension) in the MVC Subset SPS and the view ID (ref_view_id) of the image corresponding to each parallax image. Become.
  • FIG. 87 information described in the same manner as the extension information in the MVC Subset SPS is expanded and included in the parallax image extension information. Therefore, the view ID (view_id) of each parallax image and the view ID of the image corresponding to each parallax image can be described together for each parallax image. That is, it is possible to describe information (num_views_minus1) indicating the number of parallax images and to read the view ID of the parallax image and the view ID of the image corresponding to the parallax image by that number.
  • the number of parallax images is set in addition to the extended information for parallax images. It is necessary to describe the information to be expressed, and to perform the description for reading the view ID of the image corresponding to the parallax image by the number. As a result, the description of information indicating the number of parallax images overlaps with the description of reading information by that number.
  • FIG. 88 is a diagram showing a description example of the parallax image VUI extension information in FIG. 86.
  • the parallax image VUI extension information is described in the same manner as the MVC VUI extension information (mvc_vui_parameters__extension), except for the following points. That is, the position type flag (depth_loc_info_present_flag) indicating whether or not the position type indicating the position type of each pixel of the parallax image on the image corresponding to the parallax image is included in the VUI information for the parallax image and the resolution conversion before conversion A pre-conversion size information flag (video_src_info_present_flag) indicating whether pre-conversion size information indicating the size of the parallax image is included is included.
  • the position type flag depth_loc_info_present_flag
  • video_src_info_present_flag indicating whether pre-conversion size information indicating the size of the parallax image is included is included.
  • the disparity image VUI information also includes the position type
  • the pre-conversion size information flag indicates that the pre-conversion size information is included
  • the disparity The image VUI information includes pre-conversion size information
  • the position type is composed of a top field position type (depth_sample_loc_type_top_field) and a bottom field position type (depth_sample_loc_type_bottom_field).
  • the position type of the top field and the bottom field is described in the same manner as the position type of the top field (chroma_sample_loc_type_top_field) and the position type of the bottom field (chroma_sample_loc_type_bottom_field) included in the VUI extension information of the MVC scheme.
  • the pre-conversion size information includes information indicating the number of macroblocks in the horizontal direction (pic_width_in_mbs_minus1), information indicating the number of macroblocks in the vertical direction (pic_height_in_mbs_minus1), and aspect information indicating the aspect ratio. Or an aspect ratio flag (aspect_ratio_info_present_flag) indicating whether or not. When the aspect ratio flag indicates that aspect information is included, the pre-conversion size information includes aspect information.
  • the aspect information includes an aspect ratio ID (aspect_ratio_idc) that is an ID unique to the aspect ratio.
  • the aspect ratio ID is assigned to a pre-defined aspect ratio, and is also assigned to the entire aspect ratio that is not defined.
  • the aspect ratio ID included in the aspect information is an aspect ratio ID (Extended_SAR) assigned to the entire undefined aspect ratio
  • the aspect information includes the aspect ratio of the parallax image before resolution conversion.
  • a horizontal value (sar_width) and a vertical value (sar_height) are also included.
  • FIG. 89 is a diagram illustrating a description example of the NAL header of the NAL unit of 3DV encoded data including 21 as the NAL unit type.
  • the NAL header of 3DV encoded data includes disparity image header extension information indicating whether or not the disparity image header extension information is included as information when the NAL unit type is 21.
  • a flag (depth_extension_flag) and the like are described.
  • the parallax image header extension information is described in the NAL header of the encoded data of the 3DV parallax image, and the parallax image header extension information flag is the same as the above-described parallax flag. .
  • the parallax image header extension information flag indicates that the parallax image header extension information is included
  • the parallax image header extension information (nal_unit_header_depth_extension) is also described in the NAL header of the 3DV encoded data.
  • the header extension information flag for the parallax image indicates that the header extension information for the parallax image is not included
  • the header extension information for the MVC scheme (nal_unit_header_mvc_extension) is also described in the NAL header of the encoded data of the 3DV format Is done.
  • FIG. 90 is a diagram illustrating a description example of the parallax image header extension information in FIG.
  • the header extension information for parallax images is configured in the same manner as the header extension information for MVC system, except that the view ID (ref_view_id) of the image corresponding to the parallax image is included.
  • FIG. 91 is a diagram showing a description example of the 3DV SEI in FIG.
  • the 3DV SEI describes the SEI message in the same manner as the MVC SEI.
  • an operation point flag (operation_point_flag) indicating whether or not to specify an operation point is described.
  • operation point flag indicates that no operation point is specified, all images in the access unit are displayed.
  • all component flags (all_view_components_in_au_flag) indicating whether to apply the SEI message to the parallax image are described.
  • the number of images to which the SEI message is applied and the number of view IDs (num_view_components_minus1) and the view ID (sei_view_id) are Described.
  • the view ID (sei_op_view_id) of the image to be applied and the parallax image among the operation points to which the SEI message is applied, and the operation point number (sei_op_temporal_id) ) Is described.
  • an SEI message (sei_rbsp) is described.
  • 3DV SEI it is possible to describe a plurality of SEI messages. Also, the above-described disparity information and the like are described as the SEI message.
  • the R image and the O image have the same profile, but may be different.
  • FIG. 92 is a diagram showing a configuration example of a bit stream in units of access units when the profiles of the R image and the O image are different in FIG.
  • the bit stream configuration of FIG. 92 is that the bit of FIG. 85 is arranged in addition to the MVC Subset SPS for images and the 3DV Subset SPS for parallax images, as well as the 3DV Subset SPS for images. It is different from the stream structure.
  • the MVC Subset SPS NAL unit for images (Subset SPS1) is a Subset SPS NAL unit that includes profile_idc (128 in the example of FIG. 92) representing the profile of the R image among the profiles defined in the MVC method. is there.
  • the NAL unit of 3DV format Subset SPS (Subset SPS2) for images includes a profile_idc (148 in the example of FIG. 92) that represents a profile of an O image among profiles defined as image profiles in the 3DV format. SPS NAL unit.
  • the NAL unit of Subset SPS (Subset SPS3) for parallax images is a profile_idc (profile that represents the profiles of L parallax images, R parallax images, and O parallax images among the profiles defined as profiles for parallax images in the 3DV format.
  • profile_idc profile that represents the profiles of L parallax images, R parallax images, and O parallax images among the profiles defined as profiles for parallax images in the 3DV format.
  • the NAL unit of SubsetSubSPS including 138).
  • FIG. 93 is a diagram illustrating a description example of the 3DV Subset SPS for the image in FIG.
  • the 3DV format Subset SPS for images includes SPS (seq_parameter_set_data) including profile_idc (148 in the example of FIG. 93) representing the profile of the image O, and each profile_idc defined in the 3DV format. Information.
  • the MVC extended information (seq_parameter_set_mvc_extension) and the MVC VUI extended information are the same as the MVC Subset SPS.
  • MVC VUI information flag (mvc_vui_parameters_present_flag) indicating whether or not is included is described. Also, when the MVC VUI information flag indicates that MVC VUI extension information is included, MVC VUI extension information (mvc_vui_parameters_extension) is also described. Further, as the information when profile_idc is 138, the same information as in FIG. 86 is described.
  • the 3DV method is a method for encoding an image for display in a multi-viewpoint method according to the AVC method or the MVC method.
  • the 3DV method is a HEVC (High It may be a system for encoding an image for display in a multi-viewpoint system in accordance with the efficiency (Video Coding) system.
  • the bit stream in this case will be described below.
  • the HEVC format is HEVC Working Draft: Thomas Wiegand, Woo-jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivian, WD3: Working Draft3 of High-Efficiency Video Coding ”, JCTVc -E603_d5 (version5), based on the description on May 20, 2011.
  • FIG. 94 is a diagram illustrating a configuration example of a bit stream in units of access units when the 3DV method is a method according to the HEVC method.
  • the L viewpoint image, the R viewpoint image, and the O viewpoint image similar to the example of FIG. 85 are to be encoded
  • the L image is encoded by the AVC method
  • the L parallax image and the R viewpoint are encoded.
  • the image and the O viewpoint image are encoded by the 3DV method.
  • the bit stream of FIG. 94 is capable of describing 3DV Subset SPS (Subset SPS1) for images and 3DV Subset SPS (Subset SPS2) for parallax images in SPS, HEVC SEI and 3DV 85 is different from the bit stream of FIG. 85 in that a NAL header including a different NAL unit type is added to each SEI NAL unit.
  • 3DV format Subset SPS for images and 3DV Subset SPS for parallax images are described only in the SPS, described separately from the SPS, described in the SPS, and SPS. It can be described separately. Note that the 3DV format SubsetSSPS for images and the 3DV format Subset ⁇ SPS for parallax images are described separately from the SPS, in accordance with the BD standard, encoded data in the HEVC format and 3DV format It is suitable when data is generated as another ES (Elementary Stream).
  • the HEVC SEI or 3DV method is used at the time of decoding.
  • the SEI NAL unit can be easily extracted.
  • FIG. 95 is a diagram showing a description example of the SPS in FIG.
  • the description of SPS in FIG. 95 includes a point where a Subset SPS information flag (subset_seq_present_flag) indicating whether Subset SPS information is included, and a case where the Subset SPS information flag indicates that Subset SPS information is included.
  • the description is the same as the description of the HEVC SPS except that Subset SPS information is described in
  • Subset SPS information includes the number of Subset SPS (num_subset_seq) and Subset SPS flag (subset_seq_info_present_flag) indicating whether Subset SPS is included or not. Further, when the Subset SPS flag indicates that SubsetSSPS is included, the Subset (SPS information also includes Subset SPS (subset_seq_parameter_set_data).
  • Subset SPS As described above, since the number of Subset SPS is described as Subset SPS information, it is possible to recognize whether Subset SPS exists by simply reading the SPS description at the time of decoding. Also, since the Subset SPS flag is described, Subset SPS can be described separately from the SPS without being described in the SPS, and duplication of the description of Subset SPS can be prevented.
  • FIG. 96 is a diagram illustrating a description example of the Subset SPS in FIG.
  • Subset SPS in FIG. 96 includes the number of view IDs of images and parallax images to which Subset SPS is applied (num_subset_seq_views), a parallax image flag (depth_extension_flag) that indicates whether the adaptation target of Subset SPS is a parallax image, and This is the same as the description of the SPS in the HEVC method except that an invalid flag (seq_param_override_flag) indicating whether or not to invalidate the SPS when Subset SPS is applied is described.
  • VUI information flags subset_seq_vui_parameters_present_flag
  • FIG. 97 is a diagram illustrating a description example of the VUI information of the Subset SPS in FIG.
  • the VUI information of Subset SPS in FIG. 97 is the HEVC SPS VUI information except that a pre-conversion size information flag (video_src_info_present_flag) indicating whether or not pre-conversion size information to be applied is included is described. This is the same as the description of.
  • the pre-conversion size information flag indicates that pre-conversion size information to be applied is included
  • the pre-conversion size information is described in the VUI information in FIG. That is, information indicating the number of macroblocks in the horizontal direction to be applied (src_pic_width_in_mbs_minus1), information indicating the number of macroblocks in the vertical direction (src_pic_height_in_mbs_minus1), and aspect ratio indicating whether aspect information indicating the aspect ratio is included before resolution conversion A flag (src_aspect_ratio_info_present_flag) or the like is described.
  • the pre-conversion size information includes aspect information including an aspect ratio ID (src_aspect_ratio_idc) and the like.
  • the aspect ratio ID included in the aspect information is an aspect ratio ID (Extended_SAR) given to the entire undefined aspect ratio
  • the aspect information includes the aspect ratio to be applied before resolution conversion.
  • a horizontal value (sar_width) and a vertical value (sar_height) are also included.
  • VUI information of Subset SPS in FIG. 97 may be described only in the points that are different from the VUI information of SPS.
  • the information included in the VPS information of the SPS is applied to information that is not described in the VUI information of the Subset SPS.
  • FIG. 98 is a diagram showing a description example of the 3DV SEI in FIG.
  • the description of the 3DV SEI in FIG. 98 is the same as the description of the SEI message type except that the SEI message type (nesting_type), all component flags (all_view_components_in_au_flag), and the like are described.
  • the types of SEI messages include MVC SEI messages, 3DV SEI messages, and user-defined SEI messages.
  • MVC SEI messages MVC SEI messages
  • 3DV SEI messages 3DV SEI messages
  • user-defined SEI messages user-defined SEI messages.
  • a bit stream (encoded stream) other than the fifth embodiment may be generated in the same manner as the bit stream described with reference to FIGS.
  • FIG. 99 shows a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance in a storage unit 608 or a ROM (Read Only Memory) 602 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable medium 611.
  • a removable medium 611 can be provided as so-called package software.
  • examples of the removable medium 611 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be installed in the computer from the removable medium 611 as described above via the drive 610, or can be downloaded to the computer via the communication network or the broadcast network, and installed in the built-in storage unit 608. That is, the program is transferred from a download site to a computer wirelessly via a digital satellite broadcasting artificial satellite, or wired to a computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer includes a CPU (Central Processing Unit) 601, and an input / output interface 605 is connected to the CPU 601 via a bus 604.
  • CPU Central Processing Unit
  • input / output interface 605 is connected to the CPU 601 via a bus 604.
  • the CPU 601 executes a program stored in the ROM 602 according to a command input by the user by operating the input unit 606 or the like via the input / output interface 605. Alternatively, the CPU 601 loads a program stored in the storage unit 608 into a RAM (Random Access Memory) 603 and executes it.
  • a RAM Random Access Memory
  • the CPU 601 performs processing according to the flowchart described above or processing performed by the configuration of the block diagram described above. Then, the CPU 601 outputs the processing result as necessary, for example, via the input / output interface 605, from the output unit 607, transmitted from the communication unit 609, and further recorded in the storage unit 608.
  • the input unit 606 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 607 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor), or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the present technology processes when receiving via network media such as satellite broadcasting, cable TV (television), the Internet, and mobile phones, or on storage media such as optical, magnetic disk, and flash memory.
  • the present invention can be applied to an encoding device and a decoding device used at the time.
  • the above-described encoding device and decoding device can be applied to any electronic device. Examples thereof will be described below.
  • FIG. 100 illustrates a schematic configuration of a television device to which the present technology is applied.
  • the television apparatus 900 includes an antenna 901, a tuner 902, a demultiplexer 903, a decoder 904, a video signal processing unit 905, a display unit 906, an audio signal processing unit 907, a speaker 908, and an external interface unit 909. Furthermore, the television apparatus 900 includes a control unit 910, a user interface unit 911, and the like.
  • the tuner 902 selects a desired channel from the broadcast wave signal received by the antenna 901, demodulates it, and outputs the obtained encoded bit stream to the demultiplexer 903.
  • the demultiplexer 903 extracts video and audio packets of the program to be viewed from the encoded bit stream, and outputs the extracted packet data to the decoder 904.
  • the demultiplexer 903 supplies a packet of data such as EPG (Electronic Program Guide) to the control unit 910. If scrambling is being performed, descrambling is performed by a demultiplexer or the like.
  • the decoder 904 performs packet decoding processing, and outputs video data generated by the decoding processing to the video signal processing unit 905 and audio data to the audio signal processing unit 907.
  • the video signal processing unit 905 performs noise removal, video processing according to user settings, and the like on the video data.
  • the video signal processing unit 905 generates video data of a program to be displayed on the display unit 906, image data by processing based on an application supplied via a network, and the like.
  • the video signal processing unit 905 generates video data for displaying a menu screen for selecting an item and the like, and superimposes the video data on the video data of the program.
  • the video signal processing unit 905 generates a drive signal based on the video data generated in this way, and drives the display unit 906.
  • the display unit 906 drives a display device (for example, a liquid crystal display element or the like) based on a drive signal from the video signal processing unit 905 to display a program video or the like.
  • a display device for example, a liquid crystal display element or the like
  • the audio signal processing unit 907 performs predetermined processing such as noise removal on the audio data, performs D / A conversion processing and amplification processing on the processed audio data, and outputs the audio data to the speaker 908.
  • the external interface unit 909 is an interface for connecting to an external device or a network, and transmits and receives data such as video data and audio data.
  • a user interface unit 911 is connected to the control unit 910.
  • the user interface unit 911 includes an operation switch, a remote control signal receiving unit, and the like, and supplies an operation signal corresponding to a user operation to the control unit 910.
  • the control unit 910 is configured using a CPU (Central Processing Unit), a memory, and the like.
  • the memory stores a program executed by the CPU, various data necessary for the CPU to perform processing, EPG data, data acquired via a network, and the like.
  • the program stored in the memory is read and executed by the CPU at a predetermined timing such as when the television device 900 is activated.
  • the CPU executes the program to control each unit so that the television apparatus 900 performs an operation according to the user operation.
  • the television device 900 is provided with a bus 912 for connecting the tuner 902, the demultiplexer 903, the video signal processing unit 905, the audio signal processing unit 907, the external interface unit 909, and the control unit 910.
  • the demultiplexer 903 and the decoder 904 are provided with the function of the decoding device (decoding method) of the present application. For this reason, it is possible to separate multi-viewpoint images multiplexed by a method having compatibility with an existing method.
  • FIG. 101 illustrates a schematic configuration of a mobile phone to which the present technology is applied.
  • the cellular phone 920 includes a communication unit 922, an audio codec 923, a camera unit 926, an image processing unit 927, a demultiplexing unit 928, a recording / reproducing unit 929, a display unit 930, and a control unit 931. These are connected to each other via a bus 933.
  • an antenna 921 is connected to the communication unit 922, and a speaker 924 and a microphone 925 are connected to the audio codec 923. Further, an operation unit 932 is connected to the control unit 931.
  • the mobile phone 920 performs various operations such as transmission / reception of voice signals, transmission / reception of e-mail and image data, image shooting, and data recording in various modes such as a voice call mode and a data communication mode.
  • the voice signal generated by the microphone 925 is converted into voice data and compressed by the voice codec 923 and supplied to the communication unit 922.
  • the communication unit 922 performs audio data modulation processing, frequency conversion processing, and the like to generate a transmission signal.
  • the communication unit 922 supplies a transmission signal to the antenna 921 and transmits it to a base station (not shown).
  • the communication unit 922 performs amplification, frequency conversion processing, demodulation processing, and the like of the reception signal received by the antenna 921, and supplies the obtained audio data to the audio codec 923.
  • the audio codec 923 performs data expansion of the audio data and conversion to an analog audio signal and outputs the result to the speaker 924.
  • the control unit 931 receives character data input by operating the operation unit 932 and displays the input characters on the display unit 930.
  • the control unit 931 generates mail data based on a user instruction or the like in the operation unit 932 and supplies the mail data to the communication unit 922.
  • the communication unit 922 performs mail data modulation processing, frequency conversion processing, and the like, and transmits the obtained transmission signal from the antenna 921.
  • the communication unit 922 performs amplification, frequency conversion processing, demodulation processing, and the like of the reception signal received by the antenna 921, and restores mail data. This mail data is supplied to the display unit 930 to display the mail contents.
  • the mobile phone 920 can also store the received mail data in a storage medium by the recording / playback unit 929.
  • the storage medium is any rewritable storage medium.
  • the storage medium is a removable medium such as a semiconductor memory such as a RAM or a built-in flash memory, a hard disk, a magnetic disk, a magneto-optical disk, an optical disk, a USB memory, or a memory card.
  • the image data generated by the camera unit 926 is supplied to the image processing unit 927.
  • the image processing unit 927 performs encoding processing of image data and generates encoded data.
  • the demultiplexing unit 928 multiplexes the encoded data generated by the image processing unit 927 and the audio data supplied from the audio codec 923 by a predetermined method, and supplies the multiplexed data to the communication unit 922.
  • the communication unit 922 performs modulation processing and frequency conversion processing of multiplexed data, and transmits the obtained transmission signal from the antenna 921.
  • the communication unit 922 performs amplification, frequency conversion processing, demodulation processing, and the like of the reception signal received by the antenna 921, and restores multiplexed data. This multiplexed data is supplied to the demultiplexing unit 928.
  • the demultiplexing unit 928 performs demultiplexing of the multiplexed data, and supplies the encoded data to the image processing unit 927 and the audio data to the audio codec 923.
  • the image processing unit 927 performs a decoding process on the encoded data to generate image data.
  • the image data is supplied to the display unit 930 and the received image is displayed.
  • the audio codec 923 converts the audio data into an analog audio signal, supplies the analog audio signal to the speaker 924, and outputs the received audio.
  • the image processing unit 927 and the demultiplexing unit 928 are provided with the function of the decoding device (decoding method) of the present application. Therefore, in the communication of image data, it is possible to separate multi-viewpoint images multiplexed by a method having compatibility with the existing method.
  • FIG. 102 illustrates a schematic configuration of a recording / reproducing apparatus to which the present technology is applied.
  • the recording / reproducing apparatus 940 records, for example, audio data and video data of a received broadcast program on a recording medium, and provides the recorded data to the user at a timing according to a user instruction.
  • the recording / reproducing device 940 can also acquire audio data and video data from another device, for example, and record them on a recording medium. Further, the recording / reproducing apparatus 940 decodes and outputs the audio data and video data recorded on the recording medium, thereby enabling image display and audio output on the monitor apparatus or the like.
  • the recording / reproducing apparatus 940 includes a tuner 941, an external interface unit 942, an encoder 943, an HDD (Hard Disk Drive) unit 944, a disk drive 945, a selector 946, a decoder 947, an OSD (On-Screen Display) unit 948, a control unit 949, A user interface unit 950 is included.
  • Tuner 941 selects a desired channel from a broadcast signal received by an antenna (not shown).
  • the tuner 941 outputs an encoded bit stream obtained by demodulating the received signal of a desired channel to the selector 946.
  • the external interface unit 942 includes at least one of an IEEE 1394 interface, a network interface unit, a USB interface, a flash memory interface, and the like.
  • the external interface unit 942 is an interface for connecting to an external device, a network, a memory card, and the like, and receives data such as video data and audio data to be recorded.
  • the encoder 943 performs encoding by a predetermined method when the video data and audio data supplied from the external interface unit 942 are not encoded, multiplexes the encoded bit stream, and outputs the multiplexed bit stream to the selector 946.
  • the HDD unit 944 records content data such as video and audio, various programs, and other data on a built-in hard disk, and reads them from the hard disk during playback.
  • the disk drive 945 records and reproduces signals with respect to the mounted optical disk.
  • An optical disk such as a DVD disk (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + RW, etc.), Blu-ray disk, or the like.
  • the selector 946 selects one of the encoded bit streams from the tuner 941 or the encoder 943 and supplies it to either the HDD unit 944 or the disk drive 945 when recording video or audio. Further, the selector 946 supplies the encoded bit stream output from the HDD unit 944 or the disk drive 945 to the decoder 947 at the time of reproduction of video and audio.
  • the decoder 947 performs a decoding process on the encoded bit stream.
  • the decoder 947 supplies the video data generated by performing the decoding process to the OSD unit 948.
  • the decoder 947 outputs audio data generated by performing the decoding process.
  • the OSD unit 948 generates video data for displaying a menu screen for selecting an item and the like, and superimposes it on the video data output from the decoder 947 and outputs the video data.
  • a user interface unit 950 is connected to the control unit 949.
  • the user interface unit 950 includes an operation switch, a remote control signal receiving unit, and the like, and supplies an operation signal corresponding to a user operation to the control unit 949.
  • the control unit 949 is configured using a CPU, a memory, and the like.
  • the memory stores programs executed by the CPU and various data necessary for the CPU to perform processing.
  • the program stored in the memory is read and executed by the CPU at a predetermined timing such as when the recording / reproducing apparatus 940 is activated.
  • the CPU executes the program to control each unit so that the recording / reproducing device 940 operates according to the user operation.
  • the encoder 943 is provided with the function of the encoding apparatus (encoding method) of the present application. Therefore, it is possible to multiplex a multi-viewpoint image by a method having compatibility with an existing method.
  • FIG. 103 illustrates a schematic configuration of an imaging apparatus to which the present technology is applied.
  • the imaging device 960 images a subject, displays an image of the subject on a display unit, and records it on a recording medium as image data.
  • the imaging device 960 includes an optical block 961, an imaging unit 962, a camera signal processing unit 963, an image data processing unit 964, a display unit 965, an external interface unit 966, a memory unit 967, a media drive 968, an OSD unit 969, and a control unit 970. Have. In addition, a user interface unit 971 is connected to the control unit 970. Furthermore, the image data processing unit 964, the external interface unit 966, the memory unit 967, the media drive 968, the OSD unit 969, the control unit 970, and the like are connected via a bus 972.
  • the optical block 961 is configured using a focus lens, a diaphragm mechanism, and the like.
  • the optical block 961 forms an optical image of the subject on the imaging surface of the imaging unit 962.
  • the imaging unit 962 is configured using a CCD or CMOS image sensor, generates an electrical signal corresponding to the optical image by photoelectric conversion, and supplies the electrical signal to the camera signal processing unit 963.
  • the camera signal processing unit 963 performs various camera signal processing such as knee correction, gamma correction, and color correction on the electrical signal supplied from the imaging unit 962.
  • the camera signal processing unit 963 supplies the image data after the camera signal processing to the image data processing unit 964.
  • the image data processing unit 964 performs encoding processing and multiplexing processing of the image data supplied from the camera signal processing unit 963.
  • the image data processing unit 964 supplies the encoded data generated by performing the encoding process and the multiplexing process to the external interface unit 966 and the media drive 968. Further, the image data processing unit 964 performs a separation process and a decoding process on the encoded data supplied from the external interface unit 966 and the media drive 968.
  • the image data processing unit 964 supplies the image data generated by performing the separation process and the decoding process to the display unit 965. Further, the image data processing unit 964 superimposes the processing for supplying the image data supplied from the camera signal processing unit 963 to the display unit 965 and the display data acquired from the OSD unit 969 on the image data. To supply.
  • the OSD unit 969 generates display data such as a menu screen and icons made up of symbols, characters, or figures and outputs them to the image data processing unit 964.
  • the external interface unit 966 includes, for example, a USB input / output terminal, and is connected to a printer when printing an image.
  • a drive is connected to the external interface unit 966 as necessary, a removable medium such as a magnetic disk or an optical disk is appropriately mounted, and a computer program read from them is installed as necessary.
  • the external interface unit 966 has a network interface connected to a predetermined network such as a LAN or the Internet.
  • the control unit 970 reads the encoded data from the memory unit 967 in accordance with an instruction from the user interface unit 971, and supplies the encoded data to the other device connected via the network from the external interface unit 966. it can.
  • the control unit 970 may acquire encoded data and image data supplied from another device via the network via the external interface unit 966 and supply the acquired data to the image data processing unit 964. it can.
  • any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory is used.
  • the recording medium may be any type of removable medium, and may be a tape device, a disk, or a memory card. Of course, a non-contact IC card or the like may be used.
  • media drive 968 and the recording medium may be integrated and configured by a non-portable storage medium such as a built-in hard disk drive or an SSD (Solid State Drive).
  • a non-portable storage medium such as a built-in hard disk drive or an SSD (Solid State Drive).
  • the control unit 970 is configured using a CPU, a memory, and the like.
  • the memory stores programs executed by the CPU, various data necessary for the CPU to perform processing, and the like.
  • the program stored in the memory is read and executed by the CPU at a predetermined timing such as when the imaging device 960 is activated.
  • the CPU executes the program to control each unit so that the imaging device 960 operates according to the user operation.
  • the image data processing unit 964 is provided with the function of the decoding apparatus (decoding method) of the present application. Therefore, when decoding the encoded data recorded in the memory unit 967 or the recording medium to generate decoded image data, the multi-viewpoint image multiplexed in a method compatible with the existing method is separated. can do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本発明は、多視点の画像に対して、既存の方式との互換性を有する方式で符号化および復号を行うことができるようにする符号化装置および符号化方法、並びに復号装置および復号方法に関する。 互換用エンコーダは、互換画像である画像Ａ１をアクセスユニット単位で符号化して、互換ストリームを生成する。補助用エンコーダは、互換画像から多視点画像を生成する際に用いる補助画像である画像Ｂ１と画像Ｃ１の多重化画像をアクセスユニット単位で符号化して、補助画像の多重化画像の符号化ストリームを生成する。多重化部は、互換ストリームと、ユニットの境界を示す3DV Representation Delimiterと、補助画像の多重化画像の符号化ストリームとを伝送する。本技術は、例えば、多視点方式の３Ｄ画像を符号化する符号化装置に適用することができる。

Description

符号化装置および符号化方法、並びに復号装置および復号方法
　本技術は、符号化装置および符号化方法、並びに復号装置および復号方法に関し、特に、多視点の画像に対して、既存の方式との互換性を有する方式で符号化および復号を行うことができるようにした符号化装置および符号化方法、並びに復号装置および復号方法に関する。
　現在、３Ｄ画像の視聴方式としては、２視点の画像のうちの一方の画像の表示時に左目用のシャッタが開き、他方の画像の表示時に右目用のシャッタが開くメガネを装着して、交互に表示される２視点の画像を見る方式（以下、２視点方式という）が一般的である。
　しかしながら、このような２視点方式では、視聴者は、３Ｄ画像の表示装置とは別にメガネを購入する必要があり、視聴者の購買意欲は低下する。また、視聴者は、視聴時にメガネを装着する必要があるため、煩わしい。従って、メガネを装着せずに３Ｄ画像を視聴可能な視聴方式（以下、多視点方式という）の需要が高まっている。
　多視点方式では、多視点の画像が、視点ごとに視認可能な角度が異なるように表示され、視聴者が、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　多視点方式の視聴を提供する表示装置は、例えば、２視点方式用の２視点の画像から多視点方式用の多視点の画像を生成し、表示する。具体的には、表示装置は、画像の視差推定技術(Depth Estimation)を用いて、２視点方式用の２視点の画像の視差(depth)を求める。そして、表示装置は、２視点の画像の視差を利用した多視点画像の生成技術（View Generation)および合成技術(View Synthesis)を用いて、２視点方式用の２視点の画像に対応する視点に隣接する多視点の画像の合成画像を生成し、表示する。
　ところで、既存の符号化方式としては、AVC（Advanced Video Coding）やMVC（Multiview Video Coding）方式がある。
　図１は、２視点の画像をMVC方式で符号化し、多重化する符号化装置の一例を示す図である。
　図１の符号化装置１０は、撮影部１１Ａ、撮影部１１Ｂ、MVCエンコーダ１２、および多重化部１３により構成される。
　撮影部１１Ａは、所定の視点の画像Ａを撮影してMVCエンコーダ１２に供給する。また、撮影部１１Ｂは、画像Ａとは異なる視点の画像Ｂを撮影してMVCエンコーダ１２に供給する。MVCエンコーダ１２は、撮影部１１Ａから供給される画像Ａをベース画像とし、撮影部１１Ｂから供給される画像Ｂをディペンデント画像として、MVC方式で符号化する。MVCエンコーダ１２は、符号化後の画像Ａおよび画像Ｂを多重化部１３に供給する。多重化部１３は、符号化後の画像Ａから第１のTS（Transport Stream）（以下、TS1という）を生成し、符号化後の画像Ｂから第２のTS（以下、TS2という）を生成し、TS1とTS2を多重化する。
　多重化されたTS1とTS2は、復号装置において分離され、符号化後の画像Ａおよび画像Ｂが、MVC方式に対応する方式で復号される。そして、復号の結果得られる画像Ａと画像Ｂが交互に表示される。このとき、視聴者は、例えば画像Ａの表示時に左目用のシャッタが開き、画像Ｂの表示時に右目用のシャッタが開くメガネを装着し、画像Ａを左目だけで見て、画像Ｂを右目だけで見る。これにより、視聴者は、３Ｄ画像を見ることができる。なお、視聴者が２Ｄ画像を見たい場合には、画像Ａのみが表示される。
　一方、多視点の画像を符号化する方式も考案されている（例えば、特許文献１参照）。
特開２００８－１８２６６９号公報
　ところで、多視点の画像を符号化および復号する方式であって、既存の２視点以下の画像の方式と互換性を有する方式は考えられていない。
　本技術は、このような状況に鑑みてなされたものであり、多視点の画像に対して、既存の方式との互換性を有する方式で符号化および復号を行うことができるようにするものである。
　本技術の第１の側面の符号化装置は、多視点の画像から互換画像を指定し、指定した前記互換画像をアクセスユニット単位で符号化して、第１の符号化ストリームを生成する互換画像符号化部と、前記互換画像から多視点画像を生成する際に用いる補助画像をアクセスユニット単位で符号化して、第２の符号化ストリームを生成する補助画像符号化部と、ユニットの境界を示す境界情報を設定する設定部と、前記互換画像符号化部により生成された前記第１の符号化ストリームと、前記設定部により設定された前記境界情報と、前記補助画像符号化部により符号化された前記第２の符号化ストリームとを伝送する伝送部とを備える符号化装置である。
　本技術の第１の側面の符号化方法は、本技術の第１の側面の符号化装置に対応する。
　本技術の第１の側面においては、多視点の画像から互換画像が指定され、指定された前記互換画像がアクセスユニット単位で符号化されて、第１の符号化ストリームが生成され、前記互換画像から多視点画像を生成する際に用いる補助画像がアクセスユニット単位で符号化されて、第２の符号化ストリームが生成され、ユニットの境界を示す境界情報が設定され、前記第１の符号化ストリームと、前記境界情報と、前記第２の符号化ストリームとが伝送される。
　本技術の第２の側面の復号装置は、多視点の画像から指定された互換画像がアクセスユニット単位で符号化された結果得られる第１の符号化ストリームと、ユニットの境界を示す境界情報と、前記互換画像から多視点画像を生成する際に用いる補助画像がアクセスユニット単位で符号化された結果得られる第２の符号化ストリームとを受け取り、前記境界情報に基づいて、前記第１の符号化ストリームと前記第２の符号化ストリームを分離する分離部と、前記分離部により分離された前記第１の符号化ストリームを復号する互換画像復号部と、前記分離部により分離された前記第２の符号化ストリームを復号する補助画像復号部とを備える復号装置である。
　本技術の第２の側面の復号方法は、本技術の第２の側面の復号装置に対応する。
　本技術の第２の側面においては、多視点の画像から指定された互換画像がアクセスユニット単位で符号化された結果得られる第１の符号化ストリームと、ユニットの境界を示す境界情報と、前記互換画像から多視点画像を生成する際に用いる補助画像がアクセスユニット単位で符号化された結果得られる第２の符号化ストリームとが受け取られ、前記境界情報に基づいて、前記第１の符号化ストリームと前記第２の符号化ストリームが分離され、分離された前記第１の符号化ストリームが復号され、分離された前記第２の符号化ストリームが復号される。
　なお、第１の側面の符号化装置および第２の側面の復号装置は、コンピュータにプログラムを実行させることにより実現することができる。
　また、第１の側面の符号化装置および第２の側面の復号装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本技術の第１の側面によれば、多視点の画像に対して、既存の方式との互換性を有する方式で符号化を行うことができる。
　また、本技術の第２の側面によれば、既存の方式との互換性を有する方式で符号化された多視点の画像を復号することができる。
従来の符号化装置の一例を示す図である。 本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。 図２の多重化部により生成されるＴＳの構成例を示す図である。 図３のＴＳ２の詳細構成例を示す図である。 ＴＳ１とＴＳ２の多重化方法の例を説明する図である。 図２の符号化装置による符号化処理を説明するフローチャートである。 図２の符号化装置による符号化処理を説明するフローチャートである。 図２の符号化装置に対応する復号装置の構成例を示す図である。 図８の復号装置による復号処理を説明するフローチャートである。 図２の多重化部により生成されるＴＳの他の構成例を示す図である。 図１０のＴＳ２の詳細構成例を示す図である。 図１０のＴＳ３の詳細構成例を示す図である。 図８の復号装置による他の復号処理を説明するフローチャートである。 本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。 図１４の多重化部により生成されるＴＳの構成例を示す図である。 図１４の符号化装置による符号化処理を説明するフローチャートである。 図１４の符号化装置による符号化処理を説明するフローチャートである。 図１４の符号化装置に対応する復号装置の構成例を示す図である。 図１８の復号装置による復号処理を説明するフローチャートである。 図１４の多重化部により生成されるＴＳの他の構成例を示す図である。 図１８の復号装置による他の復号処理を説明するフローチャートである。 本技術を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。 図２２の多重化部により生成されるＴＳの第１の構成例を示す図である。 図２２の符号化装置による符号化処理を説明するフローチャートである。 図２２の符号化装置による符号化処理を説明するフローチャートである。 図２２の符号化装置に対応する復号装置の構成例を示す図である。 図２６の復号装置による復号処理を説明するフローチャートである。 図２２の多重化部により生成されるＴＳの第２の構成例を示す図である。 図２８のＴＳ１乃至ＴＳ３の多重化方法の例を説明する図である。 図２６の復号装置による第２の復号処理を説明するフローチャートである。 図２２の多重化部により生成されるＴＳの第３の構成例を示す図である。 図２６の復号装置２００による第３の復号処理を説明するフローチャートである。 本技術を適用した符号化装置の第４実施の形態の構成例を示すブロック図である。 図３３の多重化部により生成されるＴＳの構成例を示す図である。 図３４のＴＳ２の詳細構成例を示す図である。 図３３の符号化装置に対応する復号装置の構成例を示す図である。 本技術を適用した符号化装置の第５実施の形態の構成例を示すブロック図である。 図３７の符号化処理部の構成例を示す図である。 図３８の符号化部による符号化における参照関係を示す図である。 NALユニットの構成例を示す図である。 ビットストリームの構成例を示す図である。 3DV方式のSEIの構成例を示す図である。 視差情報の記述例を示す図である。 図３７の符号化装置の多視点符号化処理を説明するフローチャートである。 図４４のステップＳ２５７の符号化処理の詳細を説明するフローチャートである。 図３７の符号化装置に対応するAVC方式の復号装置の構成例を示すブロック図である。 図４６の復号装置の復号処理を説明するフローチャートである。 図３７の符号化装置に対応するMVC方式の復号装置の構成例を示すブロック図である。 図４８の復号装置の復号処理を説明するフローチャートである。 図３７の符号化装置に対応する3DV方式の復号装置の構成例を示すブロック図である。 図５０の復号装置３６０の復号処理を説明するフローチャートである。 復号対象となる符号化データを説明する図である。 本技術を適用した符号化装置の第６実施の形態の構成例を示すブロック図である。 図５３の符号化処理部の構成例を示すブロック図である。 NALユニットの構成例を示す図である。 ビットストリームの構成例を示す図である。 図５３の符号化装置の多視点符号化処理を説明するフローチャートである。 図５７のステップＳ３６９の符号化処理の詳細を説明するフローチャートである。 図５３の符号化装置に対応する3DV方式の復号装置の構成例を示すブロック図である。 図５９の復号装置の復号処理を説明するフローチャートである。 視差情報の記述例を示す図である。 本技術を適用した符号化装置の第７実施の形態の構成例を示すブロック図である。 互換情報と視差画像情報の記述例を示す図である。 図６３の視差画像情報の詳細記述例を示す図である。 補助ストリーム内の互換情報と視差画像情報の記述例を示す図である。 図６５の視差画像情報の詳細記述例を示す図である。 図６２の符号化装置による符号化処理を説明するフローチャートである。 図６２の符号化装置による符号化処理を説明するフローチャートである。 図６２の符号化装置に対応する復号装置の構成例を示す図である。 図６９の復号装置による復号処理を説明するフローチャートである。 本技術を適用した符号化装置の第８実施の形態の構成例を示すブロック図である。 図７１の符号化装置による符号化処理を説明するフローチャートである。 図７１の符号化装置による符号化処理を説明するフローチャートである。 図７１の符号化装置に対応する復号装置の構成例を示す図である。 図７４の復号装置による復号処理を説明するフローチャートである。 符号化対象の多重化パターンの例を示す図である。 多重化による効果の特徴を示す図である。 符号化対象の多重化パターンの他の例を示す図である。 符号化対象の多重化パターンのさらに他の例を示す図である。 本技術を適用した符号化装置の第９実施の形態の構成例を示すブロック図である。 図８０の符号化装置による符号化処理を説明するフローチャートである。 図８０の符号化装置による符号化処理を説明するフローチャートである。 図８０の符号化装置に対応する復号装置の構成例を示す図である。 図８３の復号装置による復号処理を説明するフローチャートである。 ビットストリームの他の構成例を示す図である。 図８５の視差画像用の3DV方式のSubset SPSの記述例を示す図である。 図８６の視差画像用拡張情報の記述例を示す図である。 図８６の視差画像用VUI拡張情報の記述例を示す図である。 3DV方式の符号化データのNALヘッダの記述例を示す図である。 図８９の視差画像用ヘッダ拡張情報の記述例を示す図である。 図８５の3DV方式のSEIの記述例を示す図である。 ビットストリームのさらに他の構成例を示す図である。 図９２の画像用の3DV方式のSubset SPSの記述例を示す図である。 3DV方式がHEVC方式に準じた方式である場合のビットストリームの構成例を示す図である。 図９４のSPSの記述例を示す図である。 図９５のSubset SPSの記述例を示す図である。 図９６のSubset SPSのVUI情報の記述例を示す図である。 図９４の3DV方式のSEIの記述例を示す図である。 コンピュータの一実施の形態の構成例を示す図である。 本技術を適用したテレビジョン装置の概略構成を示す図である。 本技術を適用した携帯電話機の概略構成を示す図である。 本技術を適用した記録再生装置の概略構成を示す図である。 本技術を適用した撮像装置の概略構成を示す図である。
　＜第１実施の形態＞
　［符号化装置の一実施の形態の構成例］
　図２は、本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。
　図２の符号化装置５０は、撮影部５１Ａ乃至５１Ｃ、画像変換部５２、視差画像生成部５３、画像情報生成部５４、互換情報生成部５５、視点間距離情報生成部５６、視差画像情報生成部５７、エンコーダ５８、および多重化部５９により構成される。
　符号化装置５０は、多視点の画像のうちの１視点の画像を２Ｄ画像として既存の符号化方式で符号化し、単独でＴＳを生成することにより、既存の２Ｄ画像を符号化する符号化装置との互換性を確保する。
　なお、以下では、多視点の画像のうちの、既存の符号化装置との互換性を確保するために既存の符号化方式で符号化される画像を互換画像といい、互換画像を用いて互換画像の視点数より多い視点の画像を生成するための画像を補助画像という。
　符号化装置５０において、撮影部５１Ａは、所定の視点のHD（High Definition）画像を画像Ａ１として撮影し、画像変換部５２、視差画像生成部５３、および視点間距離情報生成部５６に供給する。撮影部５１Ｂは、撮影部５１Ａから距離Δｄ１ＡＢだけ、被写体との奥行方向の距離が同一である水平方向に離れた位置で、画像Ａ１とは異なる視点のHD画像を画像Ｂ１として撮影し、画像変換部５２、視差画像生成部５３、および視点間距離情報生成部５６に供給する。撮影部５１Ｃは、撮影部５１Ａから距離Δｄ１ＡＣだけ撮影部５１Ｂとは反対の水平方向に離れた位置で、画像Ａ１および画像Ｂ１とは異なる視点のHD画像を画像Ｃ１として撮影し、画像変換部５２、視差画像生成部５３、および視点間距離情報生成部５６に供給する。
　なお、画像Ｂ１と画像Ｃ１に対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置５０に対応する復号装置は、画像Ａ１乃至画像Ｃ１を用いて、画像Ｂ１および画像Ｃ１の視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。距離Δｄ１ＡＢと距離Δｄ１ＡＣは、固定であってもよいし、時間ごとに変化するようにしてもよい。
　画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される画像Ａ１を互換画像に決定する。画像変換部５２は、互換画像として画像Ａ１を指定する情報を互換情報生成部５５に供給する。そして、画像変換部５２は、互換画像である画像Ａ１をそのままエンコーダ５８に供給する。
　また、画像変換部５２は、画像Ａ１以外の画像Ｂ１および画像Ｃ１を補助画像とし、所定の多重化方式で多重化する。具体的には、例えば多重化方式がサイドバイサイド方式である場合、画像変換部５２は、画像Ｂ１および画像Ｃ１の解像度を半分にする。そして、画像変換部５２は、解像度が半分にされた画像Ｂ１（以下、1/2解像度画像Ｂ１という）が画面の左半分の画像となり、解像度が半分にされた画像Ｃ１（以下、1/2解像度画像Ｃ１という）が画面の右半分の画像となるように、1/2解像度画像Ｂ１および1/2解像度画像Ｃ１を多重化する。画像変換部５２は、多重化の結果得られる多重化画像をエンコーダ５８に供給し、補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
　視差画像生成部５３は、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて、画像Ａ１乃至画像Ｃ１の各画素の視差を検出する。視差画像生成部５３は、互換画像である画像Ａ１の各画素の視差を表す視差画像Ａ１’を生成し、そのままエンコーダ５８に供給する。また、視差画像生成部５３は、補助画像である画像Ｂ１の各画素の視差を表す視差画像Ｂ１’と、補助画像である画像Ｃ１の各画素の視差を表す視差画像Ｃ１’を生成し、所定の多重化方式で多重化する。視差画像生成部５３は、その結果得られる多重化画像をエンコーダ５８に供給する。視差画像生成部５３は、補助画像の視差画像の多重化方式を示す情報を視差画像情報生成部５７に供給する。
　画像情報生成部５４は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを、互換画像および補助画像に関する情報である画像情報として生成し、多重化部５９に供給する。
　互換情報生成部５５は、画像変換部５２から供給される情報に基づいて、互換画像を指定する情報、互換モードなどを、互換に関する情報である互換情報として生成し、多重化部５９に供給する。
　なお、互換モードとは、互換画像の符号化方法を表すモードである。互換モードとしては、例えば、１視点の互換画像をAVC方式で符号化する符号化方法を表すモノモード(mono)、２視点の互換画像を多重化し、AVC方式で符号化する符号化方法を表すフレームパッキングモード(frame packing)、２視点の互換画像をMVC方式で符号化する符号化方法を表すステレオモード(stereo)などがある。
　視点間距離情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて、画像Ａ１乃至画像Ｃ１のうちの２枚の画像の視点間の距離（以下、視点間距離という）を検出する。例えば、視点間距離情報生成部５６は、撮影部５１Ａと撮影部５１Ｂの間の水平方向の距離Δｄ１ＡＢ、および、撮影部５１Ａと撮影部５１Ｃの間の水平方向の距離Δｄ１ＡＣを視点間距離として検出する。視点間距離情報生成部５６は、視点間距離を表す情報などを、視点間距離に関する情報である視点間距離情報として生成し、多重化部５９に供給する。
　視差画像情報生成部５７は、視差画像生成部５３から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などを、視差画像に関する情報である視差画像情報として生成し、多重化部５９に供給する。
　エンコーダ５８は、互換用エンコーダ６１と補助用エンコーダ６２により構成される。
互換用エンコーダ６１（互換画像符号化部）は、画像変換部５２から供給される互換画像と補助画像の多重化画像から互換画像である画像Ａ１を指定し、画像Ａ１に対して既存のAVC方式でアクセスユニット単位の符号化を行う。互換用エンコーダ６１は、その結果得られる符号化ストリームを互換ストリーム（第１の符号化ストリーム）として多重化部５９に供給する。
　補助用エンコーダ６２（補助画像符号化部）は、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像に対して所定の方式でアクセスユニット単位の符号化を行う。補助用エンコーダ６２は、その結果得られる符号化ストリーム（第２の符号化ストリーム、第１の視差符号化ストリーム、第２の視差符号化ストリーム）を補助ストリームとして多重化部５９に供給する。なお、補助用エンコーダ６２における符号化方式としては、AVC方式、MVC方式、MPEG2（Moving Picture Experts Group phase 2）方式などを用いることができる。
　多重化部５９（設定部および伝送部）は、互換用エンコーダ６１から供給される互換ストリーム、補助用エンコーダ６２から供給される補助ストリーム、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部５６からの視点間距離情報、および視差画像情報生成部５７からの視差画像情報などを用いて、ＴＳを生成する。多重化部５９は、生成されたＴＳを多重化し、その結果得られる多重化ストリームを送信する。
　なお、以下では、画像情報、互換情報、視点間距離情報、および視差画像情報をまとめて補助情報という。
　［ＴＳの構成例］
　図３は、図２の多重化部５９により生成されるＴＳの構成例を示す図である。
　図３の例では、多重化部５９において、互換ストリームからＴＳ１が生成される。また、符号化された補助画像の多重化画像、互換画像の視差画像Ａ’、および補助画像の視差画像の多重化画像を含む補助ストリームと補助情報からＴＳ２が生成される。
　図３の例では、互換ストリームと、互換ストリーム以外のものが別のＴＳに格納されるので、互換ストリームの情報量を削減する必要がない。よって、互換画像の画質を、既存のAVC方式で符号化される２Ｄ画像の画質と同等にすることができる。
　図４は、図３のＴＳ２の詳細構成例を示す図である。
　図４のＡ乃至図４のＣに示すように、図３のＴＳ２には、ユニット単位でデータが配置され、各ユニットの先頭には、ユニットの区切り（境界）を表すデリミタ（Del）（境界情報）が挿入される。
　図４のＡの例では、各ユニットに、デコード単位であるアクセスユニット単位の符号化された補助画像の多重化画像（B1+C1）と補助画像の多重化画像の補助情報（Aux Inf）、符号化された互換画像の視差画像（A1’）と互換画像の視差画像の補助情報、または符号化された補助画像の視差画像の多重化画像（B1'+C1’）と補助画像の視差画像の多重化画像の補助情報が、データとして配置されている。
　この場合、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、それぞれ独立に抽出することができる。その結果、例えば、復号装置が、互換画像と互換画像の視差画像のみを用いて多視点の画像を生成する場合、多視点の画像の生成に用いられる画像を容易に抽出することができる。また、補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像の各画像と、その画像の補助情報が同一のユニット内に配置されるので、各ユニットに配置される画像を容易に独立して処理することができる。
　図４のＢの例では、各ユニットに、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像、並びに補助情報がまとめて配置されている。この場合、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像、並びに補助情報をまとめて抽出することができる。
　図４のＣの例では、各ユニットに、アクセスユニット単位の符号化された補助画像の多重化画像と補助画像の多重化画像の補助情報、または、符号化された互換画像の視差画像および補助画像の視差画像の多重化画像、並びに互換画像の視差画像および補助画像の視差画像の補助情報が、配置されている。
　この場合、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像と、互換画像の視差画像および補助画像の視差画像の多重化画像とを、それぞれ独立に抽出することができる。その結果、例えば、復号装置において、画像用のデコーダと視差画像用のデコーダが別に用意される場合、それぞれのデコーダに効率的にデータを供給することができる。また、復号装置において、画像と視差画像を容易に独立して処理することができる。
　[多重化方法の説明]
　図５は、ＴＳ１とＴＳ２の多重化方法の例を説明する図である。　
　図５に示すように、ＴＳ１およびＴＳ２は、アクセスユニット単位で、ＴＳ２、ＴＳ１の順に先頭から配置されることにより、多重化される。なお、ＴＳ２の先頭には、互換ストリーム以外の情報を含むＴＳの先頭であることを表す3DV Representation Delimiter（境界情報）が設定され、付加される。即ち、3DV Representation Delimiterは、あるアクセスユニットのＴＳ２と、１つ前のアクセスユニットのＴＳ１の境界に配置される。よって、符号化装置５０に対応する復号装置は、ある3DV Representation Delimiterから次の3DV Representation Delimiterまでの間のデータを抽出することにより、互換ストリームと、それに同期する補助ストリームおよび補助画像を容易に認識することができる。
　［符号化装置の処理の説明］
　図６および図７は、図２の符号化装置５０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部５１Ａ乃至撮影部５１Ｃから画像Ａ１乃至画像Ｃ１が出力されたとき開始される。
　図６のステップＳ１１において、視点間距離情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて、距離Δｄ１ＡＢと距離Δｄ１ＡＣを視点間距離として検出する。
　ステップＳ１２において、視点間距離情報生成部５６は、ステップＳ１１で検出された視点間距離を表す情報などを視点間距離情報として生成し、多重化部５９に入力する。
　ステップＳ１３において、画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される画像Ａ１を互換画像に決定し、補助画像の多重化方式を決定する。画像変換部５２は、互換画像として画像Ａ１を指定する情報を互換情報生成部５５に供給し、補助画像の多重化方式を画像情報生成部５４に供給する。
　ステップＳ１４において、互換情報生成部５５は、画像変換部５２から供給される情報に基づいて、互換画像として画像Ａ１を指定する情報、互換モードとしてのモノモードなどを互換情報として生成し、多重化部５９に入力する。
　ステップＳ１５において、画像情報生成部５４は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを画像情報として生成し、多重化部５９に入力する。
　ステップＳ１６において、画像変換部５２は、画像Ａ１以外の画像Ｂ１および画像Ｃ１を補助画像として、ステップＳ１３で決定された補助画像の多重化方式に基づいて補助画像を多重化し、補助画像の多重化画像を得る。
　ステップＳ１７において、画像変換部５２は、互換画像である画像Ａ１と補助画像の多重化画像をエンコーダ５８に入力する。
　図７のステップＳ１８において、視差画像生成部５３は、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて画像Ａ１乃至画像Ｃ１の各画素の視差を検出し、視差画像Ａ１’乃至視差画像Ｃ１’を生成する。
　ステップＳ１９において、視差画像生成部５３は、補助画像の視差画像の多重化方式を決定し、その多重化方式を示す情報を視差画像情報生成部５７に供給する。
　ステップＳ２０において、視差画像情報生成部５７は、視差画像生成部５３から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などを、視差画像情報として生成し、多重化部５９に入力する。
　ステップＳ２１において、視差画像生成部５３は、ステップＳ１９で決定された補助画像の視差画像の多重化方式に基づいて、補助画像の視差画像を多重化し、補助画像の視差画像の多重化画像を得る。
　ステップＳ２２において、視差画像生成部５３は、互換画像の視差画像Ａ１'と補助画像の視差画像の多重化画像をエンコーダ５８に入力する。
　ステップＳ２３において、エンコーダ５８の互換用エンコーダ６１は、画像変換部５２から供給される互換画像である画像Ａ１を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
　ステップＳ２４において、補助用エンコーダ６２は、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。補助用エンコーダ６２は、符号化の結果得られる符号化ストリームを補助用ストリームとして多重化部５９に供給する。
　ステップＳ２５において、多重化部５９は、互換用エンコーダ６１から供給される互換ストリームからＴＳ１を生成し、補助用エンコーダ６２から供給される補助ストリームおよび補助情報からＴＳ２を生成して、多重化し、その結果得られる多重化ストリームを送信する。この多重化ストリームは、例えばＢＤ（Blu-Ray（登録商標） Disc ）等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
　以上のように、符号化装置５０は、互換ストリームと、補助ストリームおよび補助情報とを別のＴＳに格納して多重化を行うので、多重化において既存の２Ｄ画像を符号化する符号化装置との互換性を確保することができる。即ち、符号化装置５０は、多視点の画像に対して、既存の方式との互換性を有する方式で多重化を行うことができる。
　また、符号化装置５０は、多視点の画像のうちの１視点の画像を互換画像とし、既存の符号化方式で符号化するので、符号化において既存の２Ｄ画像を符号化する符号化装置との互換性を確保することができる。即ち、符号化装置５０は、多視点の画像に対して、既存の符号化方式との互換性を有する方式で符号化を行うことができる。
　さらに、符号化装置５０は、３視点の画像Ａ１乃至Ｃ１を符号化するので、符号化装置５０に対応する復号装置は、３視点の画像Ａ１乃至Ｃ１から多視点の画像を生成することができる。これにより、復号装置は、２視点の画像から生成する場合に比べて、生成可能な画像の視点が限られず、また、より精度の高い多視点の画像を生成することができる。
　また、符号化装置５０は、補助画像の解像度を低解像度化して符号化するので、低解像度化せずに符号化する場合に比べて、符号化処理および復号処理の処理コストを軽減することができる。例えば、２視点の補助画像が低解像度化されずに符号化される場合、符号化処理や復号処理の処理コストは、２枚のＨＤ画像に対する符号化処理や復号処理の処理コストと等価であるが、符号化装置５０による２視点の補助画像に対する符号化処理の処理コストは、１枚のＨＤ画像に対する符号化処理や復号処理の処理コストと等価になる。その結果、復号装置における復号処理の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。
　なお、符号化装置５０に対応する復号装置は、後述するように、多視点の画像を合成する際、その多視点の画像の視点数の逆数倍に解像度を低下させるため、符号化装置５０による補助画像の低解像度化は、合成後の多視点の画像の画質に影響を与えない。
　また、符号化装置５０は、補助画像の解像度を半分にして符号化し、補助画像の視差画像を半分にして符号化するので、符号化対象の情報量は、AVC方式における4HD画像分（1080ix4)程度にすることができる。
　ここで、現在の多視点の画像を表示する表示装置と、それに伴う復号装置の処理速度、消費電力に対する処理パフォーマンス、伝送データレート、伝送帯域幅、メモリのバンド幅、メモリのアクセス速度などを総合的に鑑みると、復号装置で処理可能な情報量として妥当な値は、現状のMVC方式におけるHD画像分の2倍程度、即ちAVC方式における4HD画像分程度であると考えられる。従って、符号化対象の情報量がAVC方式における4HD画像分（1080ix4)程度である符号化装置５０に対応する復号装置（復号方法）は、妥当な処理コスト、合理的なアプローチで実現することができる。
　また、符号化装置５０では、符号化対象の情報量がAVC方式における4HD画像分（1080ix4)程度に削減されるので、使用可能な帯域に制限のあるBDや放送のアプリケーションで容易に扱うことができる。
　さらに、符号化装置５０は、視差画像を生成し、符号化ストリームに含めて送信するので、符号化装置５０に対応する復号装置は、多視点の画像を生成するために視差画像を生成する必要がなく、復号装置の処理の負荷を軽減することができる。その結果、復号装置の製造コストを低減することができる。また、復号装置の視差検出の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。
　［復号装置の構成例］
　図８は、図２の符号化装置５０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
　図８の復号装置１２０は、分離部１２１、デコーダ１２２、画像情報取得部１２３、視点間距離情報取得部１２４、視差画像情報取得部１２５、互換情報取得部１２６、および画像生成部１２７により構成される。復号装置１２０は、符号化装置５０から送信される多重化ストリームを分離して復号し、１視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
　具体的には、復号装置１２０の分離部１２１（分離部）は、符号化装置５０から送信されてくる多重化ストリームを受信し、ＴＳごとに分離する。分離部１２１は、ＴＳに含まれる互換ストリームと、ＴＳに含まれる補助ストリームを抽出し、デコーダ１２２に供給する。また、分離部１２１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、分離部１２１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
　デコーダ１２２は、互換用デコーダ１３１と補助用デコーダ１３２により構成される。デコーダ１２２の互換用デコーダ１３１（互換画像復号部）は、分離部１２１から供給される互換ストリームに含まれる符号化された互換画像をAVC方式に対応する方式で復号し、画像生成部１２７に供給する。
　補助用デコーダ１３２（補助画像復号部）は、分離部１２１から供給される補助ストリームに含まれる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図２の補助用エンコーダ６２に対応する方式で復号する。補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像Ａ’、および補助画像の視差画像の多重化画像を画像生成部１２７に供給する。
　画像情報取得部１２３は、分離部１２１から供給される画像情報を取得し、画像生成部１２７に供給する。視点間距離情報取得部１２４は、分離部１２１から供給される視点間距離情報を取得し、画像生成部１２７に供給する。
　視差画像情報取得部１２５は、分離部１２１から供給される視差画像情報を取得し、画像生成部１２７に供給する。互換情報取得部１２６は、分離部１２１から供給される互換情報を取得し、画像生成部１２７に供給する。
　画像生成部１２７は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。具体的には、画像生成部１２７（生成部）は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
　より詳細には、画像生成部１２７は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。また、画像生成部１２７は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。
　さらに、画像生成部１２７は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部１２７は、互換画像、各補助画像、互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部１２７は、生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　また、画像生成部１２７は、視聴者からの２Ｄ画像の表示指令に応じて、デコーダ１２２の互換用デコーダ１３１から供給される互換画像である画像Ａ１を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。
　［復号装置の処理の説明］
　図９は、図８の復号装置１２０による復号処理を説明するフローチャートである。この復号処理は、例えば、図２の符号化装置５０から送信される多重化ストリームが復号装置１２０に入力されたとき、開始される。
　図９のステップＳ３１において、復号装置１２０の画像生成部１２７は、視聴者から２Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ３１で視聴者から２Ｄ画像の表示が指令されていないと判定された場合、即ち視聴者から多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ３２に進む。
　ステップＳ３２において、分離部１２１は、符号化装置５０から送信されてくる多重化ストリームを受信し、その多重化ストリームからＴＳ１とＴＳ２を分離する。分離部１２１は、デリミタなどを参照して、ＴＳ１に含まれる互換ストリームとＴＳ２に含まれる補助ストリームを抽出し、デコーダ１２２に供給する。また、分離部１２１は、デリミタなどを参照して、ＴＳ２に含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、分離部１２１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
　ステップＳ３３において、デコーダ１２２の互換用デコーダ１３１は、分離部１２１から供給される互換ストリームから符号化された互換画像を抽出し、その互換画像をAVC方式に対応する方式で復号する。そして、互換用デコーダ１３１は、復号の結果得られる画像Ａ１を画像生成部１２７に供給する。
　ステップＳ３４において、補助用デコーダ１３２は、補助ストリームから符号化された補助画像の多重化画像、互換画像の視差画像Ａ’、および補助画像の視差画像の多重化画像を抽出し、図２の補助用エンコーダ６２に対応する方式で復号する。補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像Ａ’、および補助画像の視差画像の多重化画像を画像生成部１２７に供給する。
　ステップＳ３５において、画像情報取得部１２３は、分離部１２１から供給される画像情報を取得し、画像生成部１２７に入力する。ステップＳ３６において、視点間距離情報取得部１２４は、分離部１２１から供給される視点間距離情報を取得し、画像生成部１２７に入力する。
　ステップＳ３７において、視差画像情報取得部１２５は、分離部１２１から供給される視差画像情報を取得し、画像生成部１２７に入力する。ステップＳ３８において、互換情報取得部１２６は、分離部１２１から供給される互換情報を取得し、画像生成部１２７に供給する。
　ステップＳ３９において、画像生成部１２７は、視点間距離情報取得部１２４からの視点間距離情報と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。例えば、視点間距離情報に含まれる視点間距離が狭い場合には、画像生成部１２７は、画像Ｂ１と画像Ｃ１の視点より外側の視点の位置も、生成する多視点の３Ｄ画像の視点の位置に決定する。一方、視点間距離情報に含まれる視点間距離が広い場合には、画像生成部１２７は、画像Ｂ１と画像Ｃ１の視点より内側の視点の位置のみを、生成する多視点の３Ｄ画像の視点の位置として決定する。
　ステップＳ４０において、画像生成部１２７は、ステップＳ３９で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。
　ステップＳ４１において、画像生成部１２７は、ステップＳ４０で生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換し、変換後の各視点の画像を視点の位置に基づいて合成する。
　ステップＳ４２において、画像生成部１２７は、ステップＳ４１の処理により得られる合成後の多視点の画像を図示せぬ表示装置に出力し、視点ごとに視認可能な角度が異なるように表示させる。そして、処理は終了する。
　一方、ステップＳ３１で視聴者から２Ｄ画像の表示が指令されたと判定された場合、ステップＳ４３において、分離部１２１は、多重化ストリームからＴＳ１を分離する。具体的には、分離部１２１は、多重化ストリームのうち3DV Representation Delimiter NAL unitが付加されたＴＳ２以外のＴＳ１を取得する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ１に含まれる互換ストリームを抽出し、デコーダ１２２に供給する。
　ステップＳ４４において、デコーダ１２２の互換用デコーダ１３１は、分離部１２１から供給される互換ストリームから符号化された互換画像を抽出し、AVC方式に対応する方式で復号する。互換用デコーダ１３１は、復号の結果得られる互換画像である画像Ａを画像生成部１２７に供給する。
　ステップＳ４５において、画像生成部１２７は、互換用デコーダ１３１から供給される互換画像である画像Ａ１を図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
　なお、復号装置１２０との互換性を有する互換ストリームのみを復号可能な復号装置では、3DV Representation Delimiter NAL unitが付加されたＴＳ２が無視され、ステップＳ４４およびＳ４５の処理が行われる。
　以上のように、復号装置１２０は、符号化装置５０により既存の方式との互換性を有する方式で多重化された多重化ストリームを分離することができる。また、復号装置１２０は、符号化装置５０により既存の方式との互換性を有し、処理コストの比較的少ない方式で符号化された互換ストリームと補助ストリームを復号することができる。
　さらに、復号装置１２０は、１視点の互換画像と２視点の補助画像を用いて多視点の画像を生成するので、符号化装置５０は、多視点の画像を生成するための撮影部として、既存の１視点の互換画像を撮影する撮影部５１Ａのほかに、２台の撮影部５１Ｂと撮影部５１Ｃのみを用意するだけでよい。従って、多視点の画像を生成するための撮影部の設置を容易に、かつ、低コストで行うことができる。
　[ＴＳの他の構成例]
　図１０は、図２の多重化部５９により生成されるＴＳの他の構成例を示す図である。
　図１０の例では、多重化部５９において、３本のＴＳが生成され、補助ストリームと補助情報が別のＴＳに含まれる。具体的には、互換ストリームからＴＳ１が生成され、補助ストリームからＴＳ２が生成され、補助情報からＴＳ３が生成される。
　図１０の例では、比較的情報量が少ない補助情報のみから単独のＴＳ３が生成される。従って、例えばＢＤのアプリケーションのように、同時に処理可能なＴＳの数に制限があるアプリケーションを実行する復号装置は、比較的情報量が少ないＴＳ３をプリロードすることで、ＴＳ１とＴＳ２を同期して再生することが可能になる。
　なお、補助ストリームからなるＴＳ２および補助情報からなるＴＳ３の先頭には、補助ストリームと補助情報が同一のＴＳに含まれる場合と同様に、図５に示した3DV Representation Delimiterが配置される。
　図１１は、図１０のＴＳ２の詳細構成例を示す図である。
　図１１のＡ乃至図１１のＣに示すように、図１０のＴＳ２には、ユニット単位でデータが配置され、各ユニットの先頭には、ユニットの区切りを表すデリミタが挿入される。
　図１１のＡの例では、各ユニットに、アクセスユニット単位の符号化された補助画像の多重化画像（B+C）、互換画像の視差画像（A’）、または補助画像の視差画像の多重化画像（B'+C’）が、データとして配置されている。
　この場合、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、それぞれ独立に抽出することができる。その結果、例えば、復号装置が、互換画像と互換画像の視差画像のみを用いて多視点の画像を生成する場合、多視点の画像の生成に用いられる画像を容易に抽出することができる。
　図１１のＢの例では、各ユニットに、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像がまとめて配置されている。この場合、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像をまとめて抽出することができる。
　図１１のＣの例では、各ユニットに、アクセスユニット単位の符号化された補助画像の多重化画像、または、符号化された互換画像の視差画像および補助画像の視差画像の多重化画像が、まとめて配置されている。
　この場合、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像と、互換画像の視差画像および補助画像の視差画像の多重化画像とを、それぞれ独立に抽出することができる。その結果、例えば、復号装置において、画像用のデコーダと視差画像用のデコーダが別に用意される場合、それぞれのデコーダに効率的にデータを供給することができる。また、復号装置において、画像と視差画像を容易に独立して処理することができる。
　図１２は、図１０のＴＳ３の詳細構成例を示す図である。
　図１２のＡ乃至図１２のＤに示すように、図１０のＴＳ３には、ユニット単位でデータが配置され、各ユニットの先頭には、ユニットの区切りを表すデリミタが挿入される。
　図１２のＡの例では、各ユニットに、アクセスユニット単位の補助画像の多重化画像の補助情報（Aux Info(B+C)）、互換画像の視差画像の補助情報（Aux Info（A’））、または補助画像の視差画像の多重化画像の補助情報（Aux Info（B'+C'））が、データとして配置されている。
　この場合、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の補助画像の多重化画像の補助情報、互換画像の視差画像の補助情報、および補助画像の視差画像の多重化画像の補助情報を、それぞれ独立に抽出することができる。その結果、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を容易に独立して処理することができる。
　図１２のＢの例では、各ユニットに、アクセスユニット単位の補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像の補助情報（Aux Info(B+C,A',B'+C')）がまとめて配置されている。この場合、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像の補助情報をまとめて抽出することができる。
　図１２のＣの例では、各ユニットに、アクセスユニット単位の補助画像の多重化画像の補助情報（Aux Info(B+C)）、または、互換画像の視差画像および補助画像の視差画像の多重化画像の補助情報（Aux Info(A',B'+C')）が、配置されている。
　この場合、ＴＳ３を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の補助画像の多重化画像の補助情報と、互換画像の視差画像および補助画像の視差画像の多重化画像の補助情報を、それぞれ独立に抽出することができる。その結果、例えば、復号装置において、画像用のデコーダと視差画像用のデコーダが別に用意される場合、復号結果に同期して効率的に補助情報を供給することができる。
　図１２のＤの例では、各ユニットに、所定の時間分（例えば、２時間分）の補助画像の多重化画像の補助情報（Aux Info(All B+C)）、互換画像の視差画像の補助情報（Aux Info(All A')）、および補助画像の視差画像の多重化画像の補助情報（Aux Info(All B'+C')）が配置されている。この場合、ＴＳ３を受信する復号装置は、補助情報をプリロードする際、ユニット単位でデータを抽出することにより、所定の時間分の補助画像の多重化画像の補助情報、互換画像の視差画像の補助情報、および補助画像の視差画像の多重化画像の補助情報をそれぞれまとめて抽出し、保持することができる。
　[他の符号化処理の説明]
　図１０乃至図１２で説明した構成のＴＳを生成する場合の符号化装置５０の符号化処理は、図７のステップＳ２５で、互換ストリームからＴＳ１を生成し、補助ストリームからＴＳ２を生成し、補助情報からＴＳ３を生成して多重化する点を除いて、図６および図７の符号化処理と同様であるので説明は省略する。
　[他の復号処理の説明]
　図１３は、多重化ストリームにおいて多重化されているＴＳの構成が図１０乃至図１２で説明した構成である場合の図８の復号装置１２０による復号処理を説明するフローチャートである。この復号処理は、例えば、図２の符号化装置５０から送信される多重化ストリームが復号装置１２０に入力されたとき、開始される。
　図１３のステップＳ５１において、復号装置１２０の画像生成部１２７は、視聴者から２Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ３１で視聴者から２Ｄ画像の表示が指令されていないと判定された場合、即ち視聴者から多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ５２に進む。
　ステップＳ５２において、分離部１２１は、符号化装置５０から送信されてくる多重化ストリームを取得し、その多重化ストリームからＴＳ３を分離する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ３に含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給して保持させ、視点距離情報を視点間距離情報取得部１２４に供給して保持させる。さらに、分離部１２１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給して保持させ、互換情報を互換情報取得部１２６に供給して保持させる。そして、処理はステップＳ５３に進む。
　ステップＳ５３乃至Ｓ６６の処理は、図９のステップＳ３２乃至Ｓ４５の処理と同様であるので、説明は省略する。
　なお、復号装置１２０との互換性を有する互換ストリームのみを復号可能な復号装置では、ＴＳ２およびＴＳ３が無視され、ステップＳ６５およびＳ６６の処理が行われる。
　＜第２実施の形態＞
　［符号化装置の第２実施の形態の構成例］
　図１４は、本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。
　図１４に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１４の符号化装置１４０の構成は、主に、撮影部５１Ａ乃至撮影部５１Ｃ、画像変換部５２、視差画像生成部５３、視点間距離情報生成部５６、エンコーダ５８の代わりに撮影部１４１Ａ乃至撮影部１４１Ｄ、画像変換部１４２、視差画像生成部１４３、視点間距離情報生成部１４４、エンコーダ１４５が設けられている点が図２の構成と異なる。
　符号化装置１４０は、多視点の画像のうちの２視点の画像を互換画像としてAVC方式で符号化し、単独でＴＳを生成することにより、既存の２視点方式の３Ｄ画像をAVC方式で符号化する符号化装置との互換性を確保する。
　具体的には、符号化装置１４０の撮影部１４１Ａは、所定の視点のHD画像を画像Ａ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。撮影部１４１Ｂは、撮影部１４１Ａから距離Δｄ２ＡＢだけ水平方向に離れた位置で、画像Ａ２とは異なる視点のHD画像を画像Ｂ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。
　撮影部１４１Ｃは、撮影部１４１Ｂから距離Δｄ２ＢＣだけ撮影部１４１Ａとは反対の水平方向に離れた位置で、画像Ａ２および画像Ｂ２とは異なる視点のHD画像を画像Ｃ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。撮影部１４１Ｄは、撮影部１４１Ａから距離Δｄ２ＡＤだけ撮影部１４１Ｂとは反対の水平方向に離れた位置で、画像Ａ２乃至画像Ｃ２とは異なる視点のHD画像を画像Ｄ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。
　なお、画像Ｃ２と画像Ｄ２に対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置１４０に対応する復号装置は、画像Ａ２乃至画像Ｄ２を用いて、画像Ｃ２および画像Ｄ２の視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。距離Δｄ２ＡＢ、距離Δｄ２ＢＣ、および距離Δｄ２ＡＤは、固定であってもよいし、時間ごとに変化するようにしてもよい。
　画像変換部１４２は、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定する。そして、画像変換部１４２は、互換画像である画像Ａ２および画像Ｂ２を所定の多重化方式で多重化し、エンコーダ１４５に供給する。また、画像変換部１４２は、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給する。
　また、画像変換部１４２は、画像Ａ２および画像Ｂ２以外の画像Ｃ２および画像Ｄ２を補助画像とし、所定の多重化方式で多重化する。画像変換部１４２は、多重化の結果得られる多重化画像をエンコーダ１４５に供給する。画像変換部１４２は、互換画像と補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
　視差画像生成部１４３は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２乃至画像Ｄ２の各画素の視差を検出する。視差画像生成部１４３は、互換画像である画像Ａ２の各画素の視差を表す視差画像Ａ２’と、画像Ｂ２の各画素の視差を表す視差画像Ｂ２’を生成し、所定の多重化方式で多重化する。視差画像生成部１４３は、その結果得られる多重化画像をエンコーダ１４５に供給する。
　また、視差画像生成部１４３は、補助画像である画像Ｃ２の各画素の視差を表す視差画像Ｃ２’と、補助画像である画像Ｄ２の各画素の視差を表す視差画像Ｄ２’を生成し、所定の多重化方式で多重化する。視差画像生成部１４３は、その結果得られる多重化画像をエンコーダ１４５に供給する。視差画像生成部１４３は、互換画像および補助画像の視差画像の多重化方式を示す情報を視差画像情報生成部５７に供給する。
　視点間距離情報生成部１４４は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２乃至画像Ｄ２の視点間距離を検出する。例えば、視点間距離情報生成部１４４は、撮影部１４１Ａと撮影部１４１Ｂの間の水平方向の距離Δｄ２ＡＢ、撮影部１４１Ｂと撮影部１４１Ｃの間の水平方向の距離Δｄ２ＢＣ、撮影部１４１Ａと撮影部１４１Ｄの間の水平方向の距離Δｄ２ＡＤを視点間距離として検出する。視点間距離情報生成部１４４は、視点間距離を表す情報などを視点間距離情報として生成し、多重化部５９に供給する。
　エンコーダ１４５は、互換用エンコーダ１５１と補助用エンコーダ１５２により構成される。互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像と補助画像の多重化画像から互換画像の多重化画像を指定し、互換画像の多重化画像に対して既存のAVC方式でアクセスユニット単位の符号化を行う。エンコーダ１４５は、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
　補助用エンコーダ１５２は、画像変換部１４２からの補助画像の多重化画像、並びに視差画像生成部１４３からの互換画像の視差画像の多重化画像および補助画像の視差画像の多重化画像に対して所定の方式でアクセスユニット単位の符号化を行う。補助用エンコーダ１５２は、その結果得られる符号化ストリームを補助ストリームとして多重化部５９に供給する。なお、補助用エンコーダ１５２における符号化方式としては、例えば、AVC方式、MVC方式などを用いることができる。
　［ＴＳの構成例］
　図１５は、図１４の多重化部５９により生成されるＴＳの構成例を示す図である。
　図１５の例では、多重化部５９において、互換ストリームからＴＳ１が生成され、補助ストリームと補助情報からＴＳ２が生成される。
　なお、図示は省略するが、図１５のＴＳ２の構成は、互換画像の視差画像の代わりに互換画像の視差画像の多重化画像が配置される点を除いて図４で説明した構成と同様である。
　［符号化装置の処理の説明］
　図１６および図１７は、図１４の符号化装置１４０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
　図１６のステップＳ７１において、視点間距離情報生成部１４４は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、距離Δｄ２ＡＢ、距離Δｄ２ＢＣ、距離Δｄ２ＡＤを視点間距離として検出する。
　ステップＳ７２において、視点間距離情報生成部１４４は、ステップＳ７１で検出された視点間距離を表す情報などを視点間距離情報として生成し、多重化部５９に入力する。
　ステップＳ７３において、画像変換部１４２は、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と、撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定し、互換画像および補助画像の多重化方式を決定する。画像変換部１４２は、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給し、互換画像および補助画像の多重化方式を画像情報生成部５４に供給する。
　ステップＳ７４において、互換情報生成部５５は、画像変換部１４２から供給される情報に基づいて、互換画像として画像Ａ２および画像Ｂ２を指定する情報、互換モードとしてのフレームパッキングモードなどを互換情報として生成し、多重化部５９に入力する。
　ステップＳ７５において、画像変換部１４２は、ステップＳ７３で決定された互換画像の多重化方式に基づいて互換画像である画像Ａ２と画像Ｂ２を多重化し、エンコーダ１４５に供給する。
　ステップＳ７６において、画像情報生成部５４は、画像変換部１４２から供給される情報に基づいて、互換画像および補助画像の多重化方式を示す情報などを画像情報として生成し、多重化部５９に入力する。
　ステップＳ７７において、画像変換部１４２は、画像Ａ２および画像Ｂ２以外の画像Ｃ２および画像Ｄ２を補助画像として、ステップＳ７３で決定された補助画像の多重化方式に基づいて補助画像を多重化し、補助画像の多重化画像を得る。
　ステップＳ７８において、画像変換部１４２は、互換画像の多重化画像と補助画像の多重化画像をエンコーダ１４５に入力する。
　図１７のステップＳ７９において、視差画像生成部１４３は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて画像Ａ２乃至画像Ｄ２の各画素の視差を検出し、視差画像Ａ２’乃至視差画像Ｄ２’を生成する。
　ステップＳ８０において、視差画像生成部１４３は、互換画像の視差画像と補助画像の視差画像の多重化方式を決定し、その多重化方式を示す情報を視差画像情報生成部５７に供給する。
　ステップＳ８１において、視差画像情報生成部５７は、視差画像生成部１４３から供給される情報に基づいて、互換画像の視差画像と補助画像の視差画像の多重化方式を示す情報などを、視差画像情報として生成し、多重化部５９に入力する。
　ステップＳ８２において、視差画像生成部１４３は、ステップＳ８０で決定された互換画像の視差画像の多重化方式に基づいて、互換画像の視差画像Ａ２’と視差画像Ｂ２’を多重化し、補助画像の視差画像の多重化方式に基づいて補助画像の視差画像Ｃ２’と視差画像Ｄ２’を多重化する。
　ステップＳ８３において、視差画像生成部１４３は、ステップＳ８２の多重化の結果得られる互換画像の視差画像の多重化画像と補助画像の視差画像の多重化画像をエンコーダ１４５に入力する。
　ステップＳ８４において、エンコーダ１４５の互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
　ステップＳ８５において、補助用エンコーダ１５２は、画像変換部１４２からの補助画像の多重化画像、並びに、視差画像生成部１４３からの互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を所定の方式で符号化する。補助用エンコーダ１５２は、符号化の結果得られる符号化ストリームを補助用ストリームとして多重化部５９に供給する。
　ステップＳ８６において、多重化部５９は、互換用エンコーダ１５１から供給される互換ストリームからＴＳ１を生成し、補助用エンコーダ１５２から供給される補助ストリームおよび補助情報からＴＳ２を生成して、多重化し、その結果得られる多重化ストリームを送信する。この多重化ストリームは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
　以上のように、符号化装置１４０は、互換ストリームと、補助ストリームおよび補助情報とを別のＴＳに格納して多重化を行うので、多重化において既存の２視点方式の３Ｄ画像をAVC方式で符号化する符号化装置との互換性を確保することができる。即ち、符号化装置１４０は、多視点の画像に対して、既存の方式との互換性を有する方式で多重化を行うことができる。
　また、符号化装置１４０は、多視点の画像のうちの２視点の画像を互換画像とし、既存の符号化方式で符号化するので、符号化において既存の２視点方式の３Ｄ画像を符号化する符号化装置との互換性を確保することができる。
　さらに、符号化装置１４０は、４視点の画像Ａ２乃至Ｄ２を符号化するので、符号化装置１４０に対応する復号装置は、４視点の画像Ａ２乃至Ｄ２から多視点の画像を生成することができる。これにより、復号装置は、２視点の画像から生成する場合に比べて、生成可能な画像の視点が限られず、また、より精度の高い多視点の画像を生成することができる。
　［復号装置の構成例］
　図１８は、図１４の符号化装置１４０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
　図１８に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１８の復号装置１７０の構成は、主に、画像生成部１２７の代わりに画像生成部１７１が設けられている点が図８の構成と異なる。復号装置１７０は、符号化装置１４０から送信される多重化ストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
　具体的には、復号装置１７０の画像生成部１７１は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部１７１は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
　より詳細には、画像生成部１７１は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。また、画像生成部１７１は、視差画像情報に含まれる互換画像の視差画像の多重化方式を示す情報に基づいて、互換画像の視差画像の多重化画像から、各互換画像の視差画像を分離する。
　さらに、画像生成部１７１は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。また、画像生成部１７１は、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
　また、画像生成部１７１は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部１７１は、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部１７１は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　また、画像生成部１７１は、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ１２２から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部１７１は、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
　［復号装置の処理の説明］
　図１９は、図１８の復号装置１７０による復号処理を説明するフローチャートである。この復号処理は、例えば、図１４の符号化装置１４０から送信される多重化ストリームが復号装置１７０に入力されたとき、開始される。
　図１９のステップＳ９１において、復号装置１７０の分離部１２１は、符号化装置５０から送信されてくる多重化ストリームを取得し、その多重化ストリームからＴＳ１とＴＳ２を分離する。分離部１２１は、デリミタなどを参照して、ＴＳ１に含まれる互換ストリームとＴＳ２に含まれる補助ストリームを抽出し、デコーダ１２２に供給する。また、分離部１２１は、デリミタなどを参照して、ＴＳ２に含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、分離部１２１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
　ステップＳ９２において、画像生成部１７１は、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ９２で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ９３に進む。
　ステップＳ９３乃至Ｓ１０２の処理は、互換画像が互換画像の多重化画像であり、互換画像の視差画像が互換画像の視差画像の多重化画像である点を除いて、図９のステップＳ３３乃至Ｓ４２の処理と同様であるので、説明は省略する。
　一方、ステップＳ９２で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、処理はステップＳ１０３に進む。
　ステップＳ１０３において、デコーダ１２２の互換用デコーダ１３１は、分離部１２１から供給される互換ストリームから符号化された互換画像の多重化画像を抽出し、AVC方式に対応する方式で復号する。互換用デコーダ１３１は、復号の結果得られる互換画像の多重化画像を画像生成部１７１に供給する。
　ステップＳ１０４において、画像情報取得部１２３は、分離部１２１から供給される画像情報を画像生成部１７１に入力する。
　ステップＳ１０５において、画像生成部１７１は、画像情報取得部１２３から供給される画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換用デコーダ１３１による復号の結果得られる互換画像の多重化画像を分離する。
　ステップＳ１０６において、画像生成部１７１は、分離された互換画像の解像度の半分の解像度の互換画像である画像Ａ２および画像Ｂ２を、交互に図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
　なお、復号装置１７０との互換性を有する互換ストリームのみを復号可能な復号装置では、3DV Representation Delimiter NAL unitが付加されたＴＳ２が無視され、ステップＳ１０３，Ｓ１０５、およびＳ１０６の処理が行われる。但し、この場合、ステップＳ１０５の処理では、予め決められた多重化方式に基づいて、互換画像の多重化画像が分離される。
　以上のように、復号装置１７０は、符号化装置１４０により既存の方式との互換性を有する方式で多重化された多重化ストリームを分離することができる。また、復号装置１７０は、符号化装置１４０により既存の方式との互換性を有し、処理コストの比較的少ない方式で符号化された互換ストリームと補助ストリームを復号することができる。
　さらに、復号装置１７０は、２視点の互換画像と２視点の補助画像を用いて多視点の画像を生成するので、符号化装置１４０は、多視点の画像を生成するための撮影部として、既存の２視点の互換画像を撮影する撮影部１４１Ａおよび撮影部１４１Ｂのほかに、２台の撮影部１４１Ｃと撮影部１４１Ｄのみを用意するだけでよい。従って、多視点の画像を生成するための撮影部の設置を容易に、かつ、低コストで行うことができる。
　[ＴＳの他の構成例]
　図２０は、図１４の多重化部５９により生成されるＴＳの他の構成例を示す図である。
　図２０の例では、多重化部５９において、３本のＴＳが生成され、補助ストリームと補助情報が別のＴＳに含まれる。具体的には、互換ストリームからＴＳ１が生成され、補助ストリームからＴＳ２が生成され、補助情報からＴＳ３が生成される。
　図２０の例では、比較的情報量が少ない補助情報のみから単独のＴＳ３が生成される。従って、例えばＢＤのアプリケーションのように、同時に処理可能なTSの数に制限があるアプリケーションを実行する復号装置は、比較的情報量が少ないＴＳ３をプリロードすることで、ＴＳ１とＴＳ２を同期して再生することが可能になる。
　なお、図示は省略するが、図２０のＴＳ２の構成は、互換画像の視差画像の代わりに互換画像の視差画像の多重化画像が配置される点を除いて図１１で説明した構成と同様である。また、ＴＳ３の構成は、互換画像の視差画像の補助画像の代わりに互換画像の視差画像の多重化画像の補助画像が配置される点を除いて図１２で説明した構成と同様である。
　[他の符号化処理の説明]
　図２０で説明した構成のＴＳを生成する場合の符号化装置１４０の符号化処理は、図１７のステップＳ８６で、互換ストリームからＴＳ１を生成し、補助ストリームからＴＳ２を生成し、補助情報からＴＳ３を生成して多重化する点を除いて、図１６および図１７の符号化処理と同様であるので説明は省略する。
　[他の復号処理の説明]
　図２１は、多重化ストリームにおいて多重化されているＴＳの構成が図２０で説明した構成である場合の図１８の復号装置１７０による復号処理を説明するフローチャートである。この復号処理は、例えば、図１４の符号化装置１４０から送信される多重化ストリームが復号装置１７０に入力されたとき、開始される。
　図２１のステップＳ１１１において、復号装置１２０の分離部１２１は、符号化装置５０から送信されてくる多重化ストリームを取得し、その多重化ストリームからＴＳ３を分離する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ３に含まれる補助情報を抽出する。分離部１２１は、補助情報のうちの画像情報を画像情報取得部１２３に供給して保持させ、視点距離情報を視点間距離情報取得部１２４に供給して保持させる。さらに、分離部１２１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給して保持させ、互換情報を互換情報取得部１２６に供給して保持させる。そして、処理はステップＳ１１２に進む。
ステップＳ１１２において、画像生成部１２７は、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ１１２で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ１１３に進む。
　ステップＳ１１３において、分離部１２１は、多重化ストリームから、ＴＳ１とＴＳ２を分離する。分離部１２１は、デリミタなどを参照して、ＴＳ１に含まれる互換ストリームとＴＳ２に含まれる補助ストリームを抽出し、デコーダ１２２に供給する。そして、処理はステップＳ１１４に進む。
　ステップＳ１１４乃至Ｓ１２３の処理は、図１９のステップＳ９３乃至Ｓ１０２の処理と同様であるので、説明は省略する。
　一方、ステップＳ１１２で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、ステップＳ１２４において、分離部１２１は、多重化ストリームからＴＳ１を分離する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ１に含まれる互換ストリームをデコーダ１２２に供給し、処理をステップＳ１２５に進める。
　ステップＳ１２５乃至Ｓ１２８の処理は、図１９のステップＳ１０３乃至Ｓ１０６の処理と同様であるので、説明は省略する。
　＜第３実施の形態＞
　［符号化装置の第３実施の形態の構成例］
　図２２は、本技術を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。
　図２２に示す構成のうち、図２や図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２２の符号化装置１８０の構成は、主に、画像変換部１４２、エンコーダ１４５の代わりに画像変換部１８１、エンコーダ１８２が設けられている点が図１４の構成と異なる。符号化装置１８０は、多視点の画像のうちの２視点の画像を互換画像としてMVC方式で符号化し、１つのＴＳにまとめて格納するか、または、視点ごとに別のＴＳに格納することにより、既存の２視点方式の３Ｄ画像をMVC方式で符号化する符号化装置との互換性を確保する。
　具体的には、符号化装置１８０の画像変換部１８１は、図１４の画像変換部１４２と同様に、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定する。そして、画像変換部１８１は、互換画像である画像Ａ２および画像Ｂ２を、そのままエンコーダ１８２に供給する。また、画像変換部１８１は、画像変換部１４２と同様に、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給する。
　また、画像変換部１８１は、画像変換部１４２と同様に、画像Ａ２および画像Ｂ２以外の画像Ｃ２および画像Ｄ２を補助画像とし、所定の多重化方式で多重化する。画像変換部１８１は、多重化の結果得られる多重化画像をエンコーダ１８２に供給し、補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
　エンコーダ１８２は、互換用エンコーダ１９１と補助用エンコーダ１５２により構成される。エンコーダ１８２の互換用エンコーダ１９１は、画像変換部１８１から供給される互換画像と補助画像の多重化画像から互換画像を指定し、互換画像のうちの画像Ａ２をベース画像として既存のAVC方式でアクセスユニット単位の符号化を行い、画像Ｂ２をディペンデント画像として既存のMVC方式でアクセスユニット単位の符号化を行う。互換用エンコーダ１９１は、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
　［ＴＳの第１の構成例］
　図２３は、図２２の多重化部５９により生成されるＴＳの第１の構成例を示す図である。
　図２３の例では、多重化部５９において、互換ストリームのうちの符号化後の画像Ａ２からＴＳ１が生成され、符号化後の画像Ｂ２、補助ストリーム、および補助情報からＴＳ２が生成される。
　［符号化装置の処理の説明］
　図２４および図２５は、図２２の符号化装置１８０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
　図２４のステップＳ１３１およびＳ１３２の処理は、図１６のステップＳ７１およびＳ７２の処理と同様であるので、説明は省略する。
　ステップＳ１３２の処理後、ステップＳ１３３において、画像変換部１８１は、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と、撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定し、補助画像の多重化方式を決定する。画像変換部１８１は、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給し、補助画像の多重化方式を画像情報生成部５４に供給する。そして、処理はステップＳ１３４に進む。
　ステップＳ１３４乃至Ｓ１３７の処理は、図６のステップＳ１４乃至Ｓ１７の処理と同様であるので、説明は省略する。ステップＳ１３８乃至Ｓ１４２の処理は、図１７のステップＳ７９乃至Ｓ８３の処理と同様であるので、説明は省略する。
　ステップＳ１４２の処理後、ステップＳ１４３において、エンコーダ１８２の互換用エンコーダ１９１は、画像変換部１８１から供給される互換画像のうちの画像Ａ２をベース画像として既存のAVC方式で符号化し、画像Ｂ２をディペンデント画像として既存のMVC方式で符号化する。互換用エンコーダ１９１は、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
　ステップＳ１４４において、補助用エンコーダ１５２は、画像変換部１４２からの補助画像の多重化画像、並びに、視差画像生成部５３からの互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を所定の方式で符号化する。補助用エンコーダ１５２は、符号化の結果得られる符号化ストリームを補助用ストリームとして多重化部５９に供給する。
　ステップＳ１４５において、多重化部５９は、互換ストリームのうちの符号化後の画像ＡからＴＳ１を生成し、符号化後の画像Ｂ、補助ストリーム、および補助情報からＴＳ２を生成して、多重化し、その結果得られる多重化ストリームを送信する。この多重化ストリームは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
　以上のように、符号化装置１８０は、符号化後の互換画像のうちの一方と他方を別のＴＳに格納して多重化を行うので、多重化において既存の２視点方式の３Ｄ画像をMVC方式で符号化し、２つのＴＳに格納する符号化装置との互換性を確保することができる。
　また、符号化装置１８０は、多視点の画像のうちの２視点の画像を互換画像とし、既存の符号化方式で符号化するので、符号化において既存の２視点方式の３Ｄ画像を符号化する符号化装置との互換性を確保することができる。
　［復号装置の構成例］
　図２６は、図２２の符号化装置１８０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
　図２６に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２６の復号装置２００の構成は、主に、デコーダ１２２、画像生成部１７１の代わりにデコーダ２０１、画像生成部２０２が設けられている点が図１８の構成と異なる。復号装置２００は、符号化装置１８０から送信される多重化ストリームを復号し、１視点の画像、２視点の画像、または多視点の画像を生成して、図示せぬ表示装置に表示させる。
　具体的には、復号装置２００のデコーダ２０１は、互換用デコーダ２１１と補助用デコーダ１３２により構成される。デコーダ２０１の互換用デコーダ２１１は、分離部１２１から供給される互換ストリームに含まれる符号化された互換画像をMVC方式に対応する方式で復号し、画像生成部２０２に供給する。
　画像生成部２０２は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。具体的には、画像生成部２０２は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
　より詳細には、画像生成部２０２は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。また、画像生成部２０２は、視差画像情報に含まれる互換画像の視差画像の多重化方式を示す情報に基づいて、互換画像の視差画像の多重化画像から、各互換画像の視差画像を分離する。
　さらに、画像生成部２０２は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。また、画像生成部２０２は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部２０２は、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部２０２は、画像生成部１２７と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　また、画像生成部２０２は、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、デコーダ１２２から供給される互換画像としての画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
　さらに、画像生成部２０２は、視聴者からの２Ｄ画像の表示指令に応じて、デコーダ１２２から供給される互換画像のうちの画像Ａ２を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。
　［復号装置の処理の説明］
　図２７は、図２６の復号装置２００による復号処理を説明するフローチャートである。この復号処理は、例えば、図２２の符号化装置１８０から送信される多重化ストリームが復号装置２００に入力されたとき、開始される。
　図２７のステップＳ１５１において、復号装置２００の画像生成部２０２は、視聴者から２Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ１５１で視聴者から２Ｄ画像の表示が指令されたと判定された場合、処理はステップＳ１５２に進む。
　ステップＳ１５２において、分離部１２１は、符号化装置１８０から送信されてくる多重化ストリームを受信し、その多重化ストリームからＴＳ１を分離する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ１に含まれる互換ストリームのうちの一部を抽出し、デコーダ２０１に供給する。
　ステップＳ１５３において、デコーダ２０１の互換用デコーダ２１１は、分離部１２１から供給される互換ストリームの一部から符号化された互換画像のうちのベース画像である画像Ａ２を抽出し、AVC方式に対応する方式で復号する。互換用デコーダ２１１は、復号の結果得られる画像Ａ２を画像生成部２０２に供給する。
　ステップＳ１５４において、画像生成部２０２は、互換用デコーダ２１１から供給される画像Ａ２を図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
　一方、ステップＳ１５１で視聴者から２Ｄ画像の表示が指令されていないと判定された場合、ステップＳ１５５において、分離部１２１は、多重化ストリームから、ＴＳ１とＴＳ２を分離する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ１に含まれる互換ストリームの一部を抽出し、デコーダ１２２に供給する。また、分離部１２１は、デリミタなどを参照して、ＴＳ２に含まれる互換ストリームの他の一部および補助ストリームを抽出し、デコーダ１２２に供給する。また、分離部１２１は、デリミタなどを参照して、ＴＳ２に含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、分離部１２１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
　ステップＳ１５６において、画像生成部２０２は、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ１５６で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、処理はステップＳ１５７に進む。
　ステップＳ１５７において、デコーダ１２２の互換用デコーダ２１１は、分離部１２１から供給される互換ストリームから符号化された互換画像を抽出し、復号する。具体的には、互換用デコーダ２１１は、分離部１２１から供給される互換ストリームの一部から符号化された画像Ａを抽出し、互換ストリームの他の一部から符号化された画像Ｂを抽出する。そして、互換用デコーダ２１１は、符号化された画像Ａを符号化されたベース画像としてAVC方式に対応する方式で復号し、符号化された画像Ｂを符号化されたディペンデント画像として、MVC方式に対応する方式で復号する。互換用デコーダ２１１は、復号の結果得られる互換画像である画像Ａおよび画像Ｂを画像生成部２０２に供給する。
　ステップＳ１５８において、画像生成部２０２は、互換用デコーダ２１１から供給される互換画像のうちの画像Ａ１と画像Ｂ１を交互に出力し、図示せぬ表示装置に表示させる。そして、処理は終了する。
　一方、ステップＳ１５６で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち視聴者から多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ１５９に進む。
　ステップＳ１５９において、互換用デコーダ２１１は、ステップＳ１５７の処理と同様に、分離部１２１から供給される互換ストリームから符号化された互換画像を抽出し、MVC方式に対応する方式で復号する。互換用デコーダ２１１は、復号の結果得られる互換画像である画像Ａおよび画像Ｂを画像生成部２０２に供給する。
　ステップＳ１６０において、補助用デコーダ１３２は、補助ストリームから符号化された補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を抽出し、図２２の補助用エンコーダ１５２に対応する方式で復号する。補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を画像生成部２０２に供給する。
ステップＳ１６１乃至Ｓ１６８の処理は、互換画像の視差画像が互換画像の視差画像の多重化画像である点を除いて、図９のステップＳ３５乃至Ｓ４２の処理と同様であるので、説明は省略する。
　なお、復号装置２００との互換性を有する互換ストリームのみを復号可能な復号装置では、ＴＳ２の補助ストリームおよび補助情報は無視され、ステップＳ１５１乃至Ｓ１５５、Ｓ１５７、およびＳ１５８の処理が行われる。
　以上のように、復号装置２００は、符号化装置１８０により既存の方式との互換性を有する方式で多重化された多重化ストリームを分離することができる。また、復号装置２００は、符号化装置１８０により既存の方式との互換性を有し、処理コストの比較的少ない方式で符号化された互換ストリームと補助ストリームを復号することができる。
　[ＴＳの第２の構成例]
　図２８は、図２２の多重化部５９により生成されるＴＳの第２の構成例を示す図である。
　図２８の例では、多重化部５９において、３本のＴＳが生成され、互換ストリームのうちの符号化された互換画像の１つである画像Ｂ２と、補助ストリームおよび補助情報が別のＴＳに含まれる。具体的には、互換ストリームのうちの符号化された互換画像の一方である画像Ａ２からＴＳ１が生成され、他方である画像Ｂ２からＴＳ２が生成され、補助ストリームおよび補助情報からＴＳ３が生成される。
　図２８の例では、互換ストリームのうちの符号化後の画像Ａ１と画像Ｂ２がそれぞれ単独でＴＳに格納されるので、互換ストリームの情報量を削減する必要がない。よって、互換画像の画質を既存のMVC方式で符号化される２視点の画像の画質と同等にすることができる。
　[多重化方法の説明]
　図２９は、図２８のＴＳ１乃至ＴＳ３の多重化方法の例を説明する図である。
　図２９に示すように、ＴＳ１乃至ＴＳ３は、アクセスユニット単位で、ＴＳ３、ＴＳ１、ＴＳ２の順に先頭から配置されることにより、多重化される。なお、ＴＳ３の先頭には、互換ストリーム以外の情報を含むＴＳの先頭であることを表す3DV Representation Delimiterが付加される。即ち、3DV Representation Delimiterは、あるアクセスユニットのＴＳ３と、１つ前のアクセスユニットのＴＳ２の境界に配置される。よって、復号装置２００は、ある3DV Representation Delimiterから次の3DV Representation Delimiterまでの間のデータを抽出することにより、互換ストリームと、それに同期する補助ストリームおよび補助画像を容易に認識することができる。
　[第２の符号化処理の説明]
　図２８で説明した構成のＴＳを生成する場合の符号化装置１８０の符号化処理は、図２５のステップＳ１４５で、互換ストリームのうちの符号化後の画像ＡからＴＳ１が生成され、符号化後の画像ＢからＴＳ２が生成され、補助ストリームおよび補助情報からＴＳ３が生成される点を除いて、図２４および図２５で説明した符号化処理と同様であるので、説明は省略する。
　[第２の復号処理の説明]
　図３０は、多重化ストリームにおいて多重化されているＴＳの構成が図２８で説明した構成である場合の図２６の復号装置２００による復号処理を説明するフローチャートである。この復号処理は、例えば、図２２の符号化装置１８０から送信される多重化ストリームが復号装置２００に入力されたとき、開始される。
　図３０のステップＳ１８１乃至Ｓ１８４の処理は、図２７のステップＳ１５１乃至Ｓ１５４の処理と同様であるので、説明は省略する。
　ステップＳ１８１で視聴者から２Ｄ画像の表示が指令されていないと判定された場合、ステップＳ１８５において、画像生成部２０２は、図３０のステップＳ１５６の処理と同様に、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ１８５で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、処理はステップＳ１８６に進む。
　ステップＳ１８６において、分離部１２１は、図２７のステップＳ１５５の処理と同様に、多重化ストリームから、ＴＳ１とＴＳ２を分離する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ１に含まれる互換ストリームの一部とＴＳ２に含まれる互換ストリームの他の一部を抽出し、デコーダ１２２に供給する。そして、処理はステップＳ１８７に進む。
　ステップＳ１８７およびＳ１８８の処理は、図２７のステップＳ１５７およびＳ１５８の処理と同様であるので、説明は省略する。
　一方、ステップＳ１８５で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち視聴者から多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ１８９に進む。
　ステップＳ１８９において、分離部１２１は、多重化ストリームからＴＳ３を分離する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ３に含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給して保持させ、視点距離情報を視点間距離情報取得部１２４に供給して保持させる。さらに、分離部１２１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給して保持させ、互換情報を互換情報取得部１２６に供給して保持させる。また、分離部１２１は、デリミタなどを参照して、ＴＳ３に含まれる補助ストリームを抽出し、デコーダ１２２に供給する。
　ステップＳ１９０において、分離部１２１は、ステップＳ１８６の処理と同様に、多重化ストリームから、ＴＳ１とＴＳ２を分離する。そして、分離部１２１は、ＴＳ１に含まれる互換ストリームの一部とＴＳ２に含まれる互換ストリームの他の一部を抽出し、デコーダ１２２に供給する。
　ステップＳ１９１乃至Ｓ２００の処理は、図２７のステップＳ１５９乃至Ｓ１６８の処理と同様であるので、説明は省略する。
　なお、復号装置２００との互換性を有する互換ストリームのみを復号可能な復号装置では、ＴＳ３は無視され、ステップＳ１８１乃至Ｓ１８８の処理が行われる。
　以上のように、復号装置２００は、符号化装置１８０により既存の方式との互換性を有する方式で多重化された多重化ストリームを分離することができる。
　[ＴＳの第３の構成例]
　図３１は、図２２の多重化部５９により生成されるＴＳの第３の構成例を示す図である。
　図３１の例では、多重化部５９において、３本のＴＳが生成され、互換ストリーム、補助ストリーム、および補助情報がそれぞれ別のＴＳに含まれる。具体的には、互換ストリームからＴＳ１が生成され、補助ストリームからＴＳ２が生成され、補助情報からＴＳ３が生成される。
　図３１の例では、比較的情報量が少ない補助情報のみから単独のＴＳ３が生成される。従って、例えばＢＤのアプリケーションのように、同時に処理可能なＴＳの数に制限があるアプリケーションを実行する復号装置は、比較的情報量が少ないＴＳ３をプリロードすることで、ＴＳ１とＴＳ２を同期して再生することが可能になる。
　また、図３１の例では、互換ストリームが、補助ストリームおよび補助情報とは異なるＴＳに格納されるので、符号化装置は、互換ストリームを生成した後に、他の装置から補助ストリームおよび補助情報をダウンロード等により取得し、多重化ストリームを生成することができる。
　さらに、互換ストリームが、１つのＴＳに格納されるので、符号化装置１８０は、多重化において既存の２視点方式の３Ｄ画像をMVC方式で符号化し、１つのＴＳに格納する符号化装置との互換性を確保することができる。
　[第３の符号化処理の説明]
　図３１で説明した構成のＴＳを生成する場合の符号化装置１８０の符号化処理は、図２５のステップＳ１４５で、互換ストリームからＴＳ１が生成され、補助ストリームからＴＳ２が生成され、補助情報からＴＳ３が生成される点を除いて、図２４および図２５で説明した符号化処理と同様であるので、説明は省略する。
　[第３の復号処理の説明]
　図３２は、多重化ストリームにおいて多重化されているＴＳの構成が図３１で説明した構成である場合の図２６の復号装置２００による復号処理を説明するフローチャートである。この復号処理は、例えば、図２２の符号化装置１８０から送信される多重化ストリームが復号装置２００に入力されたとき、開始される。
　図３２のステップＳ２１１において、復号装置２００の画像生成部２０２は、図２７のステップＳ１５１の処理と同様に、視聴者から２Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ２１１で視聴者から２Ｄ画像の表示が指令されたと判定された場合、処理はステップＳ２１２に進む。
　ステップＳ２１２において、分離部１２１は、符号化装置１８０から送信されてくる多重化ストリームを受信し、その多重化ストリームからＴＳ１を分離する。そして、分離部１２１は、ＴＳ１に含まれる互換ストリームを抽出し、デコーダ２０１に供給する。
　ステップＳ２１３において、デコーダ２０１の互換用デコーダ２１１は、分離部１２１から供給される互換ストリームから符号化された互換画像を抽出し、MVC方式に対応する方式で復号する。互換用デコーダ２１１は、復号の結果得られる画像Ａ２を画像生成部２０２に供給する。
　ステップＳ２１４において、画像生成部２０２は、図１５のステップＳ１５４の処理と同様に、互換用デコーダ２１１から供給される画像Ａ２を図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
　一方、ステップＳ２１１で視聴者から２Ｄ画像の表示が指令されていないと判定された場合、ステップＳ２１５において、画像生成部２０２は、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ２１５で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、処理はステップＳ２１６に進む。
　ステップＳ２１６において、分離部１２１は、多重化ストリームからＴＳ１を分離する。そして、分離部１２１は、ＴＳ１に含まれる互換ストリームを抽出し、デコーダ１２２に供給する。
　ステップＳ２１７において、デコーダ１２２の互換用デコーダ２１１は、分離部１２１から供給される互換ストリームから符号化された互換画像を抽出し、MVC方式に対応する方式で復号する。互換用デコーダ２１１は、復号の結果得られる互換画像である画像Ａおよび画像Ｂを画像生成部２０２に供給する。
　ステップＳ２１８において、画像生成部２０２は、互換用デコーダ２１１から供給される互換画像のうちの画像Ａ１と画像Ｂ１を交互に出力し、図示せぬ表示装置に表示させる。そして、処理は終了する。
　一方、ステップＳ２１５で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、即ち視聴者から多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ２１９に進む。
　ステップＳ２１９において、分離部１２１は、符号化装置１８０から出力される多重化ストリームからＴＳ３を分離する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ３に含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給して保持させ、視点距離情報を視点間距離情報取得部１２４に供給して保持させる。さらに、分離部１２１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給して保持させ、互換情報を互換情報取得部１２６に供給して保持させる。
　ステップＳ２２０において、分離部１２１は、符号化装置１８０から出力される多重化ストリームから、ＴＳ１とＴＳ２を分離する。そして、分離部１２１は、ＴＳ１に含まれる互換ストリームとＴＳ２に含まれる補助ストリームを、デコーダ１２２に供給する。
　ステップＳ２２１において、デコーダ１２２の互換用デコーダ２１１は、分離部１２１から供給される互換ストリームから符号化された互換画像を抽出し、MVC方式に対応する方式で復号する。互換用デコーダ２１１は、復号の結果得られる互換画像である画像Ａおよび画像Ｂを画像生成部２０２に供給する。そして、処理はステップＳ２２２に進む。
　ステップＳ２２２乃至Ｓ２３０の処理は、図３０のステップＳ１９２乃至Ｓ２００の処理と同様であるので、説明は省略する。
　なお、上述した説明では、復号装置が、デリミタによりＴＳを分離したが、各ＴＳのＰＩＤが固定値である場合には、ＰＩＤによりＴＳを分離するようにしてもよい。この場合、互換ストリームのみを復号可能な復号装置は、互換ストリームが含まれるＴＳ以外のＰＩＤを認識していないため、そのＴＳ以外無視する。
　また、補助情報は、符号化されるようにしてもよい。
　＜第４実施の形態＞
　［符号化装置の第４実施の形態の構成例］
　図３３は、本技術を適用した符号化装置の第４実施の形態の構成例を示すブロック図である。
　図３３に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図３３の符号化装置２３０の構成は、主に、撮影部５１Ｂおよび撮影部５１Ｃ、画像変換部５２、視差画像生成部５３、視点間距離情報生成部５６の代わりに、撮影部２３１－１乃至２３１－Ｎ（Ｎは４以上の２の倍数）、画像変換部２３２、視差画像生成部２３３、視点間距離情報生成部２３４が設けられている点が図２の構成と異なる。符号化装置２３０は、多視点の画像のうちの１視点の画像を互換画像とし、残りのＮ視点の画像を補助画像として符号化する。
　具体的には、符号化装置２３０において、撮影部２３１－１乃至２３１－Ｎは、撮影部５１Ａを中心として、水平方向に順に並べられる。撮影部２３１－１と撮影部２３１－２、撮影部２３１－２と撮影部２３１－３、・・・、撮影部２３１－（Ｎ－１）と撮影部２３１－Ｎの距離は、それぞれ、距離Δｄ１１、Δｄ１２、・・・、Δｄ１Ｎ－１である。
　撮影部２３１－１乃至２３１－Ｎは、それぞれ、画像Ａ１とは異なる視点のHD画像を画像Ｐ１乃至ＰＮとして撮影し、画像変換部２３２、視差画像生成部２３３、および視点間距離情報生成部２３４に供給する。なお、以下では、撮影部２３１－１乃至２３１－Ｎのそれぞれを特に区別する必要がない場合、それらをまとめて撮影部２３１という。同様に、画像Ｐ１乃至ＰＮを画像Ｐという。
　なお、画像Ｐに対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置２３０に対応する復号装置は、画像Ａ１と画像Ｐを用いて、画像Ｐの視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。距離Δｄ１１乃至Δｄ１Ｎ－１は、固定であってもよいし、時間ごとに変化するようにしてもよい。
　画像変換部２３２は、撮影部５１Ａと撮影部２３１のうちの水平方向の位置が内側にある撮影部５１Ａから供給される画像Ａ１を互換画像に決定する。画像変換部２３２は、互換画像として画像Ａ１を指定する情報を互換情報生成部５５に供給する。そして、画像変換部２３２は、互換画像である画像Ａ１をそのままエンコーダ５８に供給する。
　また、画像変換部２３２は、画像Ａ１以外の画像Ｐを補助画像とし、所定の多重化方式で多重化する。具体的には、例えば多重化方式がサイドバイサイド方式である場合、画像変換部２３２は、画像Ｐの解像度を半分にする。そして、画像変換部２３２は、解像度が半分にされた画像Ｐ１，Ｐ３，・・・，Ｐ（Ｎ－１）（以下、1/2解像度奇数画像という）が画面の左半分の画像となり、解像度が半分にされた画像Ｐ２，Ｐ４，・・・，ＰＮ（以下、1/2解像度偶数画像という）が画面の右半分の画像となるように、1/2解像度奇数画像と1/2解像度偶数画像を多重化する。画像変換部２３２は、多重化の結果得られる多重化画像をエンコーダ５８に供給し、補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
　視差画像生成部２３３は、撮影部５１Ａからの画像Ａ１と撮影部２３１からの画像Ｐとを用いて、画像Ａ１と画像Ｐの各画素の視差を検出する。視差画像生成部２３３は、互換画像である画像Ａ１の視差画像Ａ１’を生成し、そのままエンコーダ５８に供給する。また、視差画像生成部２３３は、補助画像である画像Ｐ１乃至ＰＮの視差画像Ｐ１’乃至ＰＮ’を生成し、画像変換部２３２と同様に、所定の多重化方式で多重化する。視差画像生成部２３３は、その結果得られる多重化画像をエンコーダ５８に供給する。視差画像生成部２３３は、補助画像の視差画像の多重化方式を示す情報を視差画像情報生成部５７に供給する。
　なお、以下では、視差画像Ｐ１’乃至ＰＮ’を特に区別する必要がない場合、それらをまとめて視差画像Ｐ’という。
　視点間距離情報生成部２３４は、撮影部５１Ａからの画像Ａ１と撮影部２３１からの画像Ｐを用いて、画像Ａ１と画像Ｐの視点間距離を検出する。例えば、視点間距離情報生成部２３４は、撮影部２３１－１と撮影部２３１－２の間の水平方向の距離Δｄ１１、・・・、および、撮影部２３１－（Ｎ－１）と撮影部２３１－Ｎの間の水平方向の距離Δｄ１Ｎ－１を視点間距離として検出する。視点間距離情報生成部２３４は、視点間距離を表す情報などを視点間距離情報として生成し、多重化部５９に供給する。
　［ＴＳの構成例］
　図３４は、図３３の多重化部５９により生成されるＴＳの構成例を示す図である。
　図３４の例では、多重化部５９において、互換ストリームからＴＳ１が生成される。また、符号化された補助画像である画像Ｐの多重化画像、互換画像の視差画像Ａ’、および補助画像の視差画像Ｐ’の多重化画像を含む補助ストリームと補助情報からＴＳ２が生成される。
　図３４の例では、図３の場合と同様に、互換ストリームと、互換ストリーム以外のものが別のＴＳに格納されるので、互換ストリームの情報量を削減する必要がない。よって、互換画像の画質を、既存のAVC方式で符号化される２Ｄ画像の画質と同等にすることができる。
　図３５は、図３４のＴＳ２の詳細構成例を示す図である。
　図３５のＡ乃至図３５のＣに示すように、図３４のＴＳ２には、ユニット単位でデータが配置され、各ユニットの先頭にはデリミタ（Del）が挿入される。
　図３５のＡの例では、各ユニットに、アクセスユニット単位の符号化された補助画像の多重化画像（P1+P2，・・・，P(N-1)＋PN）と補助画像の多重化画像の補助情報（Aux Inf）、符号化された互換画像の視差画像（A1'）と互換画像の視差画像の補助情報、または符号化された補助画像の視差画像の多重化画像（P1’+P2’，・・・，P(N-1)’＋PN’）と補助画像の視差画像の多重化画像の補助情報が、データとして配置されている。
　この場合、図４のＡの場合と同様に、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、それぞれ独立に抽出することができる。その結果、例えば、復号装置が、互換画像と互換画像の視差画像のみを用いて多視点の画像を生成する場合、多視点の画像の生成に用いられる画像を容易に抽出することができる。また、補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像の各画像と、その画像の補助情報が同一のユニット内に配置されるので、各ユニットに配置される画像を容易に独立して処理することができる。
　図３５のＢの例では、各ユニットに、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像、並びに補助情報がまとめて配置されている。この場合、図４のＢの場合と同様に、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像、並びに補助情報をまとめて抽出することができる。
　図３５のＣの例では、各ユニットに、アクセスユニット単位の符号化された補助画像の多重化画像と補助画像の多重化画像の補助情報、または、符号化された互換画像の視差画像および補助画像の視差画像の多重化画像、並びに互換画像の視差画像および補助画像の視差画像の補助情報が、配置されている。
　この場合、図４のＣの場合と同様に、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像と、互換画像の視差画像および補助画像の視差画像の多重化画像とを、それぞれ独立に抽出することができる。その結果、例えば、復号装置において、画像用のデコーダと視差画像用のデコーダが別に用意される場合、それぞれのデコーダに効率的にデータを供給することができる。また、復号装置において、画像と視差画像を容易に独立して処理することができる。
　なお、図３３の符号化装置２３０の符号化処理は、補助画像の視点数が２視点ではなく、Ｎ視点である点を除いて、図６および図７の符号化処理と同様であるので、説明は省略する。
　以上のように、符号化装置２３０は、互換ストリームと、補助ストリームおよび補助情報とを別のＴＳに格納して多重化を行うので、多重化において既存の２Ｄ画像を符号化する符号化装置との互換性を確保することができる。
　また、符号化装置２３０は、多視点の画像のうちの１視点の画像を互換画像とし、既存の符号化方式で符号化するので、符号化において既存の２Ｄ画像を符号化する符号化装置との互換性を確保することができる。即ち、符号化装置２３０は、多視点の画像に対して、既存の符号化方式との互換性を有する方式で符号化を行うことができる。
　さらに、符号化装置２３０は、Ｎ＋１視点の画像Ａ１および画像Ｐを符号化するので、符号化装置２３０に対応する復号装置は、Ｎ＋１視点の画像Ａ１および画像Ｐから多視点の画像を生成することができる。これにより、復号装置は、２視点の画像から生成する場合に比べて、生成可能な画像の視点が限られず、また、より精度の高い多視点の画像を生成することができる。
　また、符号化装置２３０は、補助画像の解像度を低解像度化して符号化するので、低解像度化せずに符号化する場合に比べて、符号化処理および復号処理の処理コストを軽減することができる。
　［復号装置の構成例］
　図３６は、図３３の符号化装置２３０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
　図３６に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図３６の復号装置２６０の構成は、主に、デコーダ１２２、画像生成部１２７の代わりに、デコーダ２６１、画像生成部２６２が設けられている点が図８の構成と異なる。復号装置１２０は、符号化装置２３０から送信される多重化ストリームを分離して復号し、１視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
　図３６の復号装置２６０のデコーダ２６１は、互換用デコーダ１３１と補助用デコーダ２７１により構成される。デコーダ２６１の補助用デコーダ２７１（補助画像復号部）は、分離部１２１から供給される補助ストリームに含まれる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図３３の補助用エンコーダ６２に対応する方式で復号する。補助用デコーダ２７１は、復号の結果得られる補助画像である画像Ｐの多重化画像、互換画像の視差画像Ａ’、および補助画像の視差画像である視差画像Ｐ’の多重化画像を画像生成部２６２に供給する。
　画像生成部２６２は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。具体的には、画像生成部２６２（生成部）は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像である画像Ａ、補助画像である画像Ｐの多重化画像、互換画像の視差画像Ａ’、および補助画像の視差画像Ｐ’の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
　より詳細には、画像生成部２６２は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像Ｐ１’の多重化画像から、各補助画像の視差画像Ｐ’を分離する。また、画像生成部２６２は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像である画像Ｐの多重化画像から、各画像Ｐを分離する。
　さらに、画像生成部２６２は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部２６２は、互換画像、各補助画像、互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部２６２は、生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　また、画像生成部２６２は、視聴者からの２Ｄ画像の表示指令に応じて、デコーダ２６１の互換用デコーダ１３１から供給される互換画像である画像Ａ１を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。
　なお、図３６の復号装置２６０の復号処理は、補助画像がＮ視点の画像Ｐである点を除いて、図９の復号処理と同様であるので、説明は省略する。
　以上のように、復号装置２６０は、符号化装置２３０により既存の方式との互換性を有する方式で多重化された多重化ストリームを分離することができる。また、復号装置２６０は、符号化装置２３０により既存の方式との互換性を有し、処理コストの比較的少ない方式で符号化された互換ストリームと補助ストリームを復号することができる。
　＜第５実施の形態＞
　［符号化装置の第５実施の形態の構成例］
　図３７は、本技術を適用した符号化装置の第５実施の形態の構成例を示すブロック図である。
　図３７の符号化装置２９０は、画像変換処理部２９１、視差情報生成部２９２、符号化処理部２９３、および伝送部２９４により構成される。符号化装置２９０は、２視点の互換画像のうちの一方をAVC方式で符号化し、他方をMVC方式で符号化し、１視点の補助画像、互換画像の視差画像、および補助画像の視差画像を3DV方式で符号化する。なお、3DV方式とは、AVC方式やMVC方式に準じた多視点方式での表示用の画像を符号化するための方式である。
　具体的には、符号化装置２９０には、１視点の互換画像としての２視点方式における左目用の画像であるＬ画像と、Ｌ画像の視差画像（以下、Ｌ視差画像という）とからなるＬ視点画像が入力される。また、符号化装置２９０には、他の１視点の互換画像としての２視点方式における右目用の画像であるＲ画像と、Ｒ画像の視差画像（以下、Ｒ視差画像という）とからなるＲ視点画像が入力される。さらに、符号化装置２９０には、補助画像としてのＯ画像とＯ画像の視差画像（以下、Ｏ視差画像という）とからなるＯ視点画像が入力される。ここでは、Ｌ視点画像、Ｒ視点画像、およびＯ視点画像の解像度は全て同一であるものとする。
　符号化装置２９０の画像変換処理部２９１は、符号化装置２９０に入力されるＯ視点画像を構成するＯ画像とＯ視差画像に対して、それぞれ、フィルタ処理等の低解像度化処理を行うことにより、解像度を低下させる。画像変換処理部２９１は、低解像度化処理後のＯ視点画像を符号化処理部２９３に供給する。また、画像変換処理部２９１は、低解像度化処理におけるフィルタの種類を表す情報等を、補助画像の低解像度化処理に関する情報である補助画像低解像度変換情報として生成し、伝送部２９４に供給する。
　視差情報生成部２９２（設定部）は、Ｌ画像、Ｒ画像、およびＯ画像の撮影時の情報等に基づいて、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像の視差画像に関する情報である視差情報を生成し、符号化処理部２９３に供給する。
　符号化処理部２９３は、符号化装置２９０に入力されるＬ視点画像のうちのＬ画像をAVC方式で符号化する。また、符号化処理部２９３は、Ｒ視点画像のうちのＲ画像を、Ｌ画像をベースビュー（ベース画像）とし、Ｒ画像をノンベースビュー（ディペンデント画像）として、MVC方式で符号化する。
　さらに、符号化処理部２９３は、Ｌ視差画像、Ｒ視点画像、および、画像変換処理部２９１から供給される低解像度化処理後のＯ視点画像を、3DV方式で符号化する。このとき、符号化処理部２９３は、低解像度化処理後のＯ視点画像を符号化する場合、参照するＬ視点画像やＲ視点画像に対して、フィルタ処理等の低解像度化処理を行い、その結果得られるＯ視点画像の解像度と同一の解像度のＬ視点画像やＲ視点画像を参照画像として用いる。
　符号化処理部２９３は、符号化の結果得られるＬ視点画像、Ｒ視点画像、およびＯ視点画像の符号化データ、並びに、視差情報生成部２９２から供給される視差情報からビットストリームを生成し、そのビットストリームを伝送部２９４に供給する。また、符号化処理部２９３は、Ｏ視点画像の参照画像を生成する際の低解像度化処理におけるフィルタの種類を表す情報等を、参照画像の低解像度化処理に関する情報である参照画像低解像度変換情報として生成し、伝送部２９４に供給する。
　伝送部２９４は、画像変換処理部２９１から供給される補助画像低解像度変換情報、並びに、符号化処理部２９３から供給されるビットストリームおよび参照画像低解像度変換情報からＴＳを生成し、伝送する。
　［符号化処理部の構成例］
　図３８は、図３７の符号化処理部２９３の構成例を示す図である。
　図３８の符号化処理部２９３は、符号化部３０１、付加情報生成部３０２、付加部３０３、およびビットストリーム生成部３０４により構成される。
　符号化処理部２９３の符号化部３０１は、互換符号化部３１１と補助符号化部３１２により構成される。符号化部３０１の互換符号化部３１１は、互換画像であるＬ画像とＲ画像のうちのＬ画像をAVC方式で符号化する。また、互換符号化部３１１は、Ｌ画像をベースビューとし、Ｒ画像をノンベースビューとしてＲ画像をMVC方式で符号化する。互換符号化部３１１は、符号化の結果得られるＬ画像とＲ画像の符号化データを付加部３０３に供給する。
　補助符号化部３１２は、互換画像の視差画像であるＬ視差画像およびＲ視差画像、補助画像であるＯ画像、並びに補助画像の視差画像であるＯ視差画像を3DV方式で符号化する。具体的には、補助符号化部３１２は、Ｏ画像を、Ｌ画像やＲ画像を参照画像として3DV方式で符号化する。このとき、補助符号化部３１２は、参照するＬ画像やＲ画像に対して低解像度化処理を行い、そのＬ画像やＲ画像の解像度をＯ画像の解像度と同一の解像度に低下させる。そして、補助符号化部３１２は、低解像度化処理後のＬ画像やＲ画像を参照してＯ画像を符号化する。
　また、補助符号化部３１２は、同一の視点の視差画像以外を参照せずにＬ視差画像を3DV方式で符号化し、Ｒ視差画像を、Ｌ視差画像を参照して3DV方式で符号化する。また、補助符号化部３１２は、低解像度化処理後のＯ視差画像を、Ｌ視差画像やＲ視差画像を参照して3DV方式で符号化する。このとき、補助符号化部３１２は、参照するＬ視差画像やＲ視差画像の解像度を、低解像度化処理により、Ｏ視差画像と同一の解像度に低下させ、低解像度化処理後のＬ視差画像やＲ視差画像を参照する。
　補助符号化部３１２は、符号化の結果得られるＬ視差画像、Ｒ視差画像、およびＯ視点画像の符号化データを付加部３０３に供給する。また、補助符号化部３１２は、Ｏ視点画像の参照画像を生成する際の低解像度化処理におけるフィルタの種類を表す情報等を、参照画像低解像度変換情報として生成し、図３７の伝送部２９４に供給する。
　付加情報生成部３０２は、Ｌ画像のSPS（Sequence Parameter Set）、並びに、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像のSubset SPSの情報を生成する。また、付加情報生成部３０２は、Ｌ画像、Ｒ画像、およびＯ画像のSEI（Supplemental Enhancement Information）の情報を生成する。さらに、付加情報生成部３０２は、図３７の視差情報生成部２９２から供給されるＬ視差画像の視差情報を含むＬ視差画像のSEIの情報、Ｒ視差画像の視差情報を含むＲ視差画像のSEIの情報、およびＯ視差画像の視差情報を含むＯ視差画像のSEIの情報を生成する。付加情報生成部３０２は、Ｌ画像のSPSおよびSEIの情報、並びに、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像のSubset SPSおよびSEIの情報を付加部３０３に供給する。
　付加部３０３は、互換符号化部３１１から供給されるＬ画像の符号化データに、NAL(Network Abstraction Layer)ユニットのタイプとして、AVC方式のピクチャの種類を表す情報を含むNALヘッダを付加し、NALユニットを生成する。また、付加部３０３は、互換符号化部３１１から供給されるＲ画像の符号化データに、NALユニットのタイプとして、MVC方式の符号化データを表す情報を含むNALヘッダを付加し、NALユニットを生成する。
　また、付加部３０３は、補助符号化部３１２から供給されるＯ画像の符号化データに、NALユニットのタイプとして3DV方式の符号化データを表す情報を含み、視差画像ではないことを表す視差フラグを含むNALヘッダを付加し、NALユニットを生成する。さらに、付加部３０３は、補助符号化部３１２から供給されるＬ視差画像、Ｒ視差画像、およびＯ視差画像の符号化データに、それぞれ、NALユニットのタイプとして3DV方式の符号化データを表す情報を含み、視差画像であることを表す視差フラグ（視差識別情報）、対応する画像に関する情報等を含むNALヘッダを付加し、NALユニットを生成する。
　さらに、付加部３０３は、付加情報生成部３０２から供給されるＬ画像のSPSおよびSEIの情報、並びに、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像のSubset SPSおよびSEIの情報に、それぞれ、NALユニットのタイプとして、それぞれの情報を表すNALヘッダを付加し、NALユニットを生成する。付加部３０３は、以上のようにして生成されたNALユニットをビットストリーム生成部３０４に供給する。
　ビットストリーム生成部３０４は、付加部３０３から供給されるNALユニットを所定の順に配置してビットストリームを生成し、図３７の伝送部２９４に供給する。
　[符号化の説明]
　図３９は、図３８の符号化部３０１による符号化における参照関係を示す図である。
　図３９に示すように、互換符号化部３１１は、Ｌ画像をAVC方式で符号化する。また、互換符号化部３１１は、Ｌ画像をベースビューとし、Ｒ画像をノンベースビューとして、Ｒ画像をMVC方式で符号化する。また、補助符号化部３１２は、低解像度化処理後のＬ画像やＲ画像を参照して、低解像度化処理後のＯ画像を3DV方式で符号化する。
　また、図３９に示すように、補助符号化部３１２は、同一の視点の視差画像以外を参照せずにＬ視差画像を3DV方式で符号化し、Ｌ視差画像を参照してＲ視差画像を3DV方式で符号化する。さらに、補助符号化部３１２は、低解像度化処理後のＬ視差画像やＲ視差画像を参照して、低解像度化処理後のＯ視差画像を3DV方式で符号化する。
　［NALユニットの構成例］
　図４０は、図３８の符号化処理部２９３により生成されるビットストリームのうちの、Ｌ視点画像、Ｒ視点画像、およびＯ視点画像の符号化データのNALユニットの構成例を示す図である。
　図４０のＡに示すように、例えば、Ｌ画像が既存のAVC方式で符号化され、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像がＬ画像をベースビューとしてMVC方式で符号化される場合、Ｌ画像の符号化データのNALユニットは、NALユニットのタイプとして、そのＬ画像のAVC方式のピクチャの種類を表す情報を含むNALヘッダと、Ｌ画像の符号化データとから構成される。
　また、Ｒ画像、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像の符号化データのNALユニットは、それぞれ、NALユニットのタイプ（NAL unit type）としてMVCの符号化データを表す情報を含むNALヘッダと、その符号化データとから構成される。従って、MVC方式で符号化されるＲ画像、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像の符号化データのNALユニットのNALヘッダは同一である。
　よって、ビットストリームを復号する復号装置において、Ｒ画像、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のNALユニットを識別することができない。従って、既存のMVC方式の復号装置は、必要なＲ画像のNALユニットだけを抽出して復号することができず、無駄な復号処理を行う。
　これに対して、図４０のＢに示すように、符号化処理部２９３による符号化処理では、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のNALユニットのNALヘッダに、NALユニットのタイプとして3DV方式の符号化データを表す情報が含まれるとともに、拡張情報（nal_unit_header_3dv_extension）として視差フラグ（is＿depth）が含まれる。
　具体的には、Ｏ画像のNALユニットのNALヘッダには、視差画像ではないことを表す0である視差フラグが含まれる。これにより、復号装置において、Ｏ画像を識別することができる。また、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のNALユニットのNALヘッダには、視差画像であることを表す1である視差フラグが含まれる。これにより、復号装置において、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像を識別することができる。
　さらに、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のNALユニットのNALヘッダには、拡張情報として、対応する画像（互換画像、補助画像）に関する情報が含まれる。対応する画像に関する情報としては、対応する画像の視点数（num_cor_view_id）と、対応する画像の視点を特定する情報（cor_view_id）（互換画像識別情報、補助画像識別情報）がある。
　ここでは、Ｌ視差画像は、１視点のＬ画像の視差画像であり、Ｒ視差画像は、１視点のＲ画像の視差画像であり、Ｏ視差画像は、１視点のＯ画像の視差画像である。また、図４０の例では、Ｌ画像の視点を特定する情報が0であり、Ｒ画像の視点を特定する情報が1であり、Ｏ画像の視点を特定する情報が2である。
　従って、Ｌ視差画像のNALユニットのNALヘッダに含まれる対応する画像に関する情報は、対応する画像の視点数としての1と、対応する画像の視点を特定する情報としての0である。また、Ｒ視差画像のNALユニットのNALヘッダに含まれる対応する画像に関する情報は、対応する画像の視点数としての1と、対応する画像の視点を特定する情報としての1である。さらに、Ｏ視差画像のNALユニットのNALヘッダに含まれる対応する画像に関する情報は、対応する画像の視点数としての1と、対応する画像の視点を特定する情報としての2である。
　以上のように、拡張情報として、対応する画像に関する情報が含まれることにより、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像をそれぞれ識別することができる。また、視差画像と画像の対応関係を表す、視差画像に対応する画像を特定する情報が、画像のNALヘッダではなく、視差画像のNALヘッダに含まれるので、互換画像のNALユニットの互換性を保つことができる。
　なお、互換画像であるＬ画像のNALユニットのタイプは、AVC方式のピクチャであることを表す情報であり、Ｒ画像のNALユニットのタイプは、MVC方式の符号化データを表す情報である。従って、3DV方式の符号化データを表すNALユニットのタイプは、互換画像以外の情報の先頭を表す情報、即ち互換画像以外の情報の境界を表す境界情報であるといえる。
　[ビットストリームの構成例]
　図４１は、図３８のビットストリーム生成部３０４により生成されるビットストリームの構成例を示す図である。
　図４１のＡに示すように、AVC方式で符号化されたＬ画像のビットストリームは、Ｌ画像のAVC方式のSPSの情報のNALユニット、Ｌ画像のAVC方式のSEIの情報のNALユニット、およびＬ画像の符号化データ（L color）のNALユニットにより構成される。
　また、図４１のＢに示すように、MVC方式で符号化されたＲ画像のビットストリームは、Ｒ画像のMVC方式のSubset SPSの情報のNALユニット、Ｒ画像のMVC方式のSEIの情報のNALユニット、およびＲ画像の符号化データ（R color）のNALユニットにより構成される。
　図４１のＣに示すように、3DV方式で符号化されたＯ画像のビットストリームは、Ｏ画像の3DV方式のSubset SPSの情報のNALユニット、Ｏ画像の3DV方式のSEIの情報のNALユニット、およびＯ画像の符号化データ（O color）のNALユニットにより構成される。
　図４１のＤに示すように、3DV方式で符号化されたＬ視差画像のビットストリームは、Ｌ視差画像の3DV方式のSubset SPSの情報のNALユニット、Ｌ視差画像の視差情報(3DV_view_synthesis_info)を含む3DV方式のSEIの情報のNALユニット、およびＬ視差画像の符号化データ（L Depth）のNALユニットにより構成される。
　図４１のＥに示すように、3DV方式で符号化されたＲ視差画像のビットストリームは、Ｒ視差画像の3DV方式のSubset SPSの情報のNALユニット、Ｒ視差画像の視差情報を含む3DV方式のSEIの情報のNALユニット、およびＲ視差画像の符号化データ（R Depth）のNALユニットにより構成される。
　なお、図示は省略するが、3DV方式で符号化されたＯ視差画像のビットストリームは、Ｒ視差画像のビットストリームと同様に、Ｏ視差画像の3DV方式のSubset SPSの情報のNALユニット、Ｏ視差画像の視差情報を含む3DV方式のSEIの情報のNALユニット、およびＯ視差画像の符号化データのNALユニットにより構成される。
　以上のように、視差情報は3DV方式のSEIに含まれるので、3DV方式に対応していない復号装置において、無駄に視差情報を処理する必要がない。
　[3DV方式のSEIの構成例]
　図４２は、3DV方式のSEIの構成例を示す図である。
　図４２に示すように、3DV方式のSEIには、視差情報（3DV_view_synthesis_info）が含まれる。
　図４３は、視差情報（3DV_view_synthesis_info）の記述例を示す図である。
　図４３に示すように、視差情報としては、視差画像の各画素値が、視差そのものを表す視差値（Disparity）であるか、視差に対応する被写体の奥行き（Depth）を表すデプス値であるかを表す視差タイプ（depth_type）が記述される。
　また、視差情報としては、視差画像の各画素値が所定の範囲（例えば、0から255までの範囲）内に正規化されているかどうかを表す正規化フラグ（is_normalized）（正規化識別情報）が記述される。
　さらに、視差画像の各画素値がデプス値である場合、視差情報として、全視点に共通のデプス値の最大値(z_near)と、デプス値の最小値(z_far)が記述される。また、視差画像の各画素値が視差値である場合、視点ごとの視差値の最大値（max_disp）、視差値の最小値(min_disp)が記述される。
　また、視差情報としては、視差画像に対応する画像を撮影するカメラの撮影モード（camera_mode）が記述される。撮影モードとしては、カメラと被写体との奥行方向の距離が同一となるように撮影する平行撮影モード(1D parallel mode)と、被写体から輻射方向に各カメラを配置して撮影する輻射付き撮影モード（General mode）がある。
　視差情報としては、さらに、視差画像が表す視差が、その視差画像に対応する画像と、どの画像との視差であるのかを表す対応関係情報（interval_view_id）が記述される。さらに、視差情報としては、視差画像に対応する画像の視点数（num_cor_view_id）と、その画像を特定する情報（cor_vie_id）とが記述される。
　また、視差情報としては、視差画像に対応する画像を撮影するカメラのパラメータ（camera_parameters）が記述される。なお、カメラのパラメータは、内部パラメータと外部パラメータにより構成される。内部パラメータは、全視点に共通のカメラの水平方向の焦点距離と、画像中心である主点、即ちレンズの光学的な中心の水平方向の位置とからなる。なお、主点の水平方向の位置は、視点ごとに異なり得る。また、外部パラメータは、カメラの水平方向の位置を定義するパラメータである。
　[符号化装置の処理の説明]
　図４４は、図３７の符号化装置２９０の多視点符号化処理を説明するフローチャートである。この多視点画像符号化処理は、例えば、Ｌ視点画像、Ｒ視点画像、およびＯ視点画像が符号化対象として符号化装置２９０に入力されたとき、開始される。
　図４４のステップＳ２５１において、符号化装置２９０の符号化処理部２９３は、符号化装置２９０に入力されたＬ視点画像を取得する。ステップＳ２５２において、符号化処理部２９３は、符号化装置２９０に入力されたＲ視点画像を取得する。ステップＳ２５３において、画像変換処理部２９１は、符号化装置２９０に入力されたＯ視点画像を取得する。
　ステップＳ２５４において、画像変換処理部２９１は、Ｏ視点画像のうちのＯ画像とＯ視差画像のそれぞれに対して低解像度化処理を行う。画像変換処理部２９１は、低解像度化処理後のＯ視点画像を符号化処理部２９３に供給する。
　ステップＳ２５５において、画像変換処理部２９１は、ステップＳ２５４の低解像度化処理におけるフィルタの種類を表す情報等を補助画像低解像度変換情報として生成し、伝送部２９４に供給する。
　ステップＳ２５６において、視差情報生成部２９２は、Ｌ画像、Ｒ画像、およびＯ画像の撮影時の情報等に基づいて、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像の視差情報を生成し、符号化処理部２９３に供給する。
　ステップＳ２５７において、符号化処理部２９３は、Ｌ視点画像およびＲ視点画像、並びに、画像変換処理部２９１から供給される低解像度化処理後のＯ視点画像を符号化する符号化処理を行う。この符号化処理の詳細は、後述する図４５を参照して説明する。
　ステップＳ２５８において、伝送部２９４は、画像変換処理部２９１から供給される補助画像低解像度変換情報、並びに、符号化処理部２９３から供給される参照画像低解像度変換情報およびビットストリームからＴＳを生成し、伝送する。そして、処理は終了する。
　図４５は、図４４のステップＳ２５７の符号化処理の詳細を説明するフローチャートである。
　図４５のステップＳ２７０において、符号化処理部２９３の符号化部３０１（図３８）は、Ｌ視点画像、Ｒ視点画像、および低解像度化処理後のＯ視点画像を符号化する。具体的には、符号化部３０１の互換符号化部３１１が、Ｌ画像をAVC方式で符号化し、Ｒ画像をMVC方式で符号化する。また、補助符号化部３１２が、Ｌ視差画像、Ｒ視差画像、および低解像度化処理後のＯ視点画像を3DV方式で符号化する。符号化部３０１は、符号化の結果得られるＬ視点画像、Ｒ視点画像、およびＯ視点画像の符号化データを付加部３０３に供給する。
　ステップＳ２７１において、補助符号化部３１２は、参照画像低解像度変換情報を生成し、図３７の伝送部２９４に供給する。
　ステップＳ２７２において、付加情報生成部３０２は、図３７の視差情報生成部２９２から供給される視差情報を用いて、Ｌ画像のSPSおよびSEIの情報、並びに、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像のSubset SPSおよびSEIの情報を生成し、付加部３０３に供給する。
　ステップＳ２７３において、付加部３０３は、互換符号化部３１１から供給されるＬ画像の符号化データに、AVC方式のピクチャの種類を表すNALユニットのタイプを含むNALヘッダを付加し、NALユニットを生成する。付加部３０３は、生成されたＬ画像の符号化データのNALユニットをビットストリーム生成部３０４に供給する。
　ステップＳ２７４において、付加部３０３は、互換符号化部３１１から供給されるＲ画像の符号化データに、MVC方式の符号化データを表すNALユニットのタイプを含むNALヘッダを付加し、NALユニットを生成する。付加部３０３は、生成されたＲ画像の符号化データのNALユニットをビットストリーム生成部３０４に供給する。
　ステップＳ２７５において、付加部３０３は、補助符号化部３１２から供給されるＯ画像の符号化データに、3DV方式の符号化データを表すNALユニットのタイプと、視差画像ではないことを表す視差フラグを含むNALヘッダを付加し、NALユニットを生成する。付加部３０３は、生成されたＯ画像の符号化データのNALユニットをビットストリーム生成部３０４に供給する。
　ステップＳ２７６において、付加部３０３は、補助符号化部３１２から供給されるＬ視差画像、Ｒ視差画像、およびＯ視差画像の符号化データに、それぞれ、3DV方式の符号化データを表すNALユニットのタイプ、視差画像であることを表す視差フラグ、および、対応する画像に関する情報を含むNALヘッダを付加し、NALユニットを生成する。付加部３０３は、生成されたＬ視差画像、Ｒ視差画像、およびＯ視差画像の符号化データのNALユニットをビットストリーム生成部３０４に供給する。
　ステップＳ２７７において、付加部３０３は、付加情報生成部３０２から供給されるＬ画像のSPSおよびSEIの情報、並びに、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像のSubset SPSおよびSEIの情報に、それぞれの情報を表すNALユニットのタイプを含むNALヘッダを付加し、NALユニットを生成する。付加部３０３は、生成されたＬ画像のSPSおよびSEIの情報、並びに、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像のSubset SPSおよびSEIの情報のNALユニットを、ビットストリーム生成部３０４に供給する。
　ステップＳ２７８において、ビットストリーム生成部３０４は、付加部３０３から供給されるNALユニットを所定の順に配置してビットストリームを生成し、図３７の伝送部２９４に供給する。そして、処理は図４４のステップＳ２５７に戻り、処理はステップＳ２５８に進む。
　以上のように、符号化装置２９０は、互換画像を既存の符号化方式で符号化し、補助画像であるＯ画像の符号化データに、3DV方式の符号化データを表すNALユニットのタイプを含むNALヘッダを付加する。これにより、既存の符号化方式にのみ対応する復号装置は、NALヘッダに基づいて復号可能な互換画像の符号化データのみを抽出し、既存の符号化方式に対応する方式で復号することができるので、符号化装置２９０は、既存の方式との互換性を有する方式で符号化を行っているといえる。その結果、例えば、AVC方式、MVC方式、および3DV方式のそれぞれに対応するアプリケーション用のデータをまとめて符号化して放送することができる。
　[AVC方式の復号装置の構成例]
　図４６は、図３７の符号化装置２９０により伝送されてくるビットストリームを復号するAVC方式の復号装置の構成例を示すブロック図である。
　図４６の復号装置３２０は、受信部３２１、分離部３２２、およびAVC復号部３２３により構成され、符号化装置２９０により伝送されてくるビットストリームに含まれるＬ画像の符号化データを復号する。
　復号装置３２０の受信部３２１は、図３７の符号化装置２９０により伝送されてくるＴＳを受信し、そのＴＳに含まれるビットストリームを分離部３２２に供給する。
　分離部３２２は、受信部３２１から供給されるビットストリームを、NALヘッダに基づいて、Ｌ画像のSPS,SEI、および符号化データのNALユニットと、そのNALユニット以外のNALユニットに分離する。
　具体的には、分離部３２２は、ビットストリームから、AVC方式のピクチャの種類を表すNALユニットのタイプをNALヘッダに含むＬ画像の符号化データのNALユニット、AVC方式のSPSを表すNALユニットのタイプをNALヘッダに含むＬ画像のSPSのNALユニット、およびAVC方式のSEIを表すNALユニットのタイプをNALヘッダに含むL画像のSEIのNALユニットを抽出する。分離部３２２は、分離されたNALユニットに含まれるデータであるＬ画像のSPSの情報、SEIの情報、および符号化データを、そのデータが、SPSの情報、SEIの情報、および符号化データのいずれであるかを表す種類情報とともにAVC復号部３２３に供給する。なお、種類情報は、対応するNALユニットのタイプに基づいて生成される。
　AVC復号部３２３は、分離部３２２から供給される種類情報に基づいて、SPSの情報およびSEIの情報を表す種類情報に対応して供給されるSPSおよびSEIの情報を保持する。AVC復号部３２３は、保持しているSPSおよびSEIの情報に基づいて、分離部３２２から符号化データを表す種類情報とともに供給されるＬ画像の符号化データを、AVC方式に対応する方式で復号する。AVC復号部３２３は、復号の結果得られるＬ画像を図示せぬ表示装置に出力し、表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。
　[AVC方式の復号装置の処理の説明]
　図４７は、図４６の復号装置３２０の復号処理を説明するフローチャートである。この復号処理は、例えば、図３７の符号化装置２９０からＴＳが伝送されてきたとき、開始される。
　図４７のステップＳ２９１において、復号装置３２０の受信部３２１は、符号化装置２９０により伝送されてくるＴＳを受信する。受信部３２１は、ＴＳに含まれるビットストリームを分離部３２２に供給する。なお、以降のステップＳ２９２乃至Ｓ２９７の処理は、ビットストリームを構成するNALユニットごとに行われる。
　ステップＳ２９２において、分離部３２２は、NALユニットのNALヘッダに含まれるNALユニットのタイプが、AVC方式のタイプであるかどうかを判定する。即ち、分離部３２２は、NALユニットのタイプが、AVC方式のピクチャの種類、SPS、またはSEIを表す情報であるかどうかを判定する。
　ステップＳ２９２でNALユニットのタイプがAVC方式のタイプであると判定された場合、処理はステップＳ２９３に進む。ステップＳ２９３において、分離部３２２は、そのNALユニットに含まれるＬ画像のデータ、即ちＬ画像のSPSの情報、SEIの情報、または符号化データを、種類情報とともにAVC復号部３２３に入力する。
　ステップＳ２９４において、AVC復号部３２３は、分離部３２２から供給されるＬ画像のデータに対応する種類情報に基づいて、そのデータがＬ画像の符号化データであるかどうかを判定する。ステップＳ２９４でＬ画像の符号化データであると判定された場合、ステップＳ２９５において、AVC復号部３２３は、そのＬ画像の符号化データを、保持しているSPSおよびSEIの情報に基づいてAVC方式に対応する方式で復号する。
　ステップＳ２９６において、AVC復号部３２３は、復号の結果得られるＬ画像を図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
　一方、ステップＳ２９４でＬ画像の符号化データではないと判定された場合、即ち、分離部３２２から供給されるＬ画像のデータがＬ画像のSPSまたはSEIの情報である場合、処理はステップＳ２９７に進む。
　ステップＳ２９７において、AVC復号部３２３は、分離部３２２から供給されるＬ画像のSEIまたはSPSの情報を保持し、処理を終了する。
　また、ステップＳ２９２でNALユニットのタイプがAVC方式のタイプではないと判定された場合、そのNALユニットはAVC復号部３２３に供給されず、処理は終了する。
　以上のように、復号装置３２０は、NALヘッダに基づいて、ビットストリームを、復号装置３２０で復号可能な互換画像であるＬ画像のSPS,SEI、および符号化データのNALユニットと、そのNALユニット以外のNALユニットに分離し、分離されたNALユニットに含まれる符号化データのみを既存のAVC方式に対応する方式で復号する。従って、復号装置３２０は、符号化装置２９０で既存の方式との互換性を有する方式で符号化された結果得られるビットストリームを復号することができる。
　[MVC方式の復号装置の構成例]
　図４８は、図３７の符号化装置２９０により伝送されてくるビットストリームを復号するMVC方式の復号装置の構成例を示すブロック図である。
　図４８に示す構成のうち、図４６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図４８の復号装置３２０の構成は、主に、分離部３２２、AVC復号部３２３の代わりに、分離部３４１、MVC復号部３４２が設けられている点が図４６の構成と異なる。復号装置３２０は、符号化装置２９０により伝送されてくるビットストリームに含まれるＬ画像とＲ画像の符号化データを復号する。
　具体的には、復号装置３２０の分離部３４１は、受信部３２１から供給されるビットストリームを、NALヘッダに基づいて、Ｌ画像のSPSおよびＲ画像のSubset SPS、並びに、Ｌ画像とＲ画像のSEIおよび符号化データのNALユニットと、そのNALユニット以外のNALユニットに分離する。
　より詳細には、分離部３４１は、図４６の分離部３２２と同様に、ビットストリームから、Ｌ画像の符号化データ、SPS、およびSEIのNALユニットを抽出する。また、分離部３４１は、ビットストリームから、MVC方式の符号化データを表すNALユニットのタイプをNALヘッダに含むＲ画像の符号化データのNALユニット、MVC方式のSubset SPSを表すNALユニットのタイプをNALヘッダに含むＲ画像のSubset SPSのNALユニット、およびMVC方式のSEIを表すNALユニットのタイプをNALヘッダに含むＲ画像のSEIのNALユニットを抽出する。
　分離部３４１は、分離されたNALユニットに含まれるデータであるＬ画像のSPSおよびＲ画像のSubset SPS、並びに、Ｌ画像とＲ画像のSEIおよび符号化データを、そのデータの種類情報とともにMVC復号部３４２に供給する。
　MVC復号部３４２は、分離部３４１から供給される種類情報に基づいて、Ｌ画像とＲ画像のSEI、Ｌ画像のSPS、およびＲ画像のSubset SPSの情報を保持する。MVC復号部３４２は、図４６のAVC復号部３２３と同様に、保持しているＬ画像のSEIおよびSPSの情報に基づいて、分離部３４１から供給されるＬ画像の符号化データを、AVC方式に対応する方式で復号する。
　また、MVC復号部３４２は、保持しているＲ画像のSEIおよびSubset SPSの情報に基づいて、分離部３４１からＲ画像の符号化データを表す種類情報とともに供給されるＲ画像の符号化データを、Ｌ画像をベースビューとし、Ｒ画像をノンベースビューとして、MVC方式に対応する方式で復号する。MVC復号部３４２は、復号の結果得られるＬ画像とＲ画像を図示せぬ表示装置に交互に出力し、表示させる。
　このとき、視聴者は、Ｌ画像の表示時に左目用のシャッタが開き、Ｒ画像の表示時に右目用のシャッタが開くメガネを装着して、表示装置に交互に表示されるＬ画像とＲ画像を見ることにより、３Ｄ画像を見ることができる。
　[MVC方式の復号装置の処理の説明]
　図４９は、図４８の復号装置３４０の復号処理を説明するフローチャートである。この復号処理は、例えば、図３７の符号化装置２９０からＴＳが伝送されてきたとき、開始される。
　図４９のステップＳ３１１において、復号装置３４０の受信部３２１は、符号化装置２９０により伝送されてくるＴＳを受信する。受信部３２１は、ＴＳに含まれるビットストリームを分離部３４１に供給する。なお、以降のステップＳ３１２乃至Ｓ３１７の処理は、ビットストリームを構成するNALユニットごとに行われる。
　ステップＳ３１２において、分離部３４１は、NALユニットのNALヘッダに含まれるNALユニットのタイプが、AVC方式のタイプまたはMVC方式のタイプであるかどうかを判定する。即ち、分離部３４１は、NALユニットのタイプが、AVC方式のピクチャの種類、SPS、またはSEI、もしくは、MVC方式の符号化データ、Subset SPS、またはSEIを表す情報であるかどうかを判定する。
　ステップＳ３１２でNALユニットのタイプがAVC方式のタイプまたはMVC方式のタイプであると判定された場合、処理はステップＳ３１３に進む。ステップＳ３１３において、分離部３４１は、そのNALユニットに含まれるＬ画像またはＲ画像のデータ、即ちＬ画像のSPSの情報、SEIの情報、または符号化データ、もしくは、Ｒ画像のSubset SPSの情報、SEIの情報、または符号化データを、種類情報とともにMVC復号部３４２に入力する。
　ステップＳ３１４において、MVC復号部３４２は、種類情報に基づいて、分離部３４１から供給されるデータがＬ画像またはＲ画像の符号化データであるかどうかを判定する。ステップＳ３１４でＬ画像またはＲ画像の符号化データであると判定された場合、ステップＳ３１５において、MVC復号部３４２は、そのＬ画像またはＲ画像の符号化データを、保持しているSPSまたはSubset SPSおよびSEIの情報に基づいて復号する。
　ステップＳ３１６において、MVC復号部３４２は、復号の結果得られるＬ画像またはＲ画像を図示せぬ表示装置に出力して表示させ、処理を終了する。
　一方、ステップＳ３１４でＬ画像またはＲ画像の符号化データではないと判定された場合、即ち、分離部３４１からのデータがＬ画像のSPSまたはSEIの情報、もしくは、Ｒ画像のSubset SPSまたはSEIの情報である場合、処理はステップＳ３１７に進む。
　ステップＳ３１７において、MVC復号部３４２は、分離部３４１から供給されるＬ画像のSPSまたはSEIの情報、もしくは、Ｒ画像のSubset SPSまたはSEIの情報を保持し、処理を終了する。
　また、ステップＳ３１２でNALユニットのタイプがAVC方式のタイプまたはMVC方式のタイプではないと判定された場合、そのNALユニットはMVC復号部３４２に供給されず、処理は終了する。
　以上のように、復号装置３４０は、NALヘッダに基づいて、ビットストリームを、復号装置３４０で復号可能な互換画像であるＬ画像のSPS、SEI、および符号化データ、並びに、Ｒ画像のSubset SPS、SEI、および符号化データのNALユニットと、そのNALユニット以外のNALユニットに分離し、分離されたNALユニットに含まれる符号化データのみを既存のAVC方式またはMVC方式に対応する方式で復号する。従って、復号装置３４０は、符号化装置２９０で既存の方式との互換性を有する方式で符号化された結果得られるビットストリームを復号することができる。
　[3DV方式の復号装置の構成例]
　図５０は、図３７の符号化装置２９０により伝送されてくるビットストリームを復号する3DV方式の復号装置の構成例を示すブロック図である。
　図５０の復号装置３６０は、受信部３６１、分離部３６２、3DV復号部３６３、低解像度画像逆変換処理部３６４、および画像生成部３６５により構成される。復号装置３６０は、符号化装置２９０により伝送されてくるビットストリームに含まれるＬ視点画像、Ｒ視点画像、およびＯ視点画像の符号化データを復号する。
　具体的には、復号装置３６０の受信部３６１は、図３７の符号化装置２９０により伝送されてくるＴＳを受信する。受信部３６１は、ＴＳに含まれるビットストリームを分離部３６２に供給し、参照画像低解像度変換情報を3DV復号部３６３に供給し、補助画像低解像度変換情報を低解像度画像逆変換処理部３６４に供給する。
　分離部３６２は、受信部３６１から供給されるビットストリームを、NALヘッダに基づいて各NALユニットに分離する。より詳細には、分離部３６２は、図４８の分離部３４１と同様に、ビットストリームから、Ｌ画像の符号化データ、SPS、およびSEIのNALユニットを抽出する。また、分離部３６２は、分離部３４１と同様に、ビットストリームから、Ｒ画像の符号化データ、Subset SPS、およびSEIのNALユニットを抽出する。
　さらに、分離部３６２は、3DV方式の符号化データを表すNALユニットのタイプをNALヘッダに含むＬ視差画像、Ｒ視差画像、およびＯ視点画像の符号化データのNALユニットを抽出する。また、分離部３６２は、3DV方式のSubset SPS,SEIを表すNALユニットのタイプをNALヘッダに含む、Ｌ視差画像、Ｒ視差画像、およびＯ視点画像のSubset SPS、並びにＬ視差画像、Ｒ視差画像、およびＯ視点画像のSEIのNALユニットを抽出する。
　また、分離部３６２は、NALヘッダに含まれる拡張情報に基づいて、Ｌ視差画像、Ｒ視差画像、およびＯ視点画像の符号化データのNALヘッダを、さらに分離する。具体的には、分離部３６２は、拡張情報が視差画像ではないことを表す視差フラグであるNALユニットを、Ｏ視差画像の符号化データのNALユニットとして抽出する。また、分離部３６２は、拡張情報が、視差画像であることを表す視差フラグ、対応する画像の視点数としての１、および、対応する画像の視点を特定する情報としてのＬ画像を特定する情報であるNALユニットを、Ｌ視差画像の符号化データのNALユニットとして抽出する。同様に、分離部３６２は、Ｒ視差画像の符号化データのNALユニットとＯ視差画像の符号化データのNALユニットを抽出する。
　分離部３６２は、分離されたNALユニットに含まれるデータであるＬ画像のSPSの情報、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像のSubset SPSの情報、並びに、Ｌ視点画像、Ｒ視点画像、およびＯ視点画像のSEIの情報および符号化データを、そのデータの種類情報とともに3DV復号部３６３に供給する。
　3DV復号部３６３は、分離部３６２から供給される種類情報に基づいて、Ｌ画像のSPSおよびSEIの情報、並びに、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像のSubset SPSとSEIの情報を保持する。3DV復号部３６３は、図４８のMVC復号部３４２と同様に、保持しているＬ画像のSEIおよびSPSの情報に基づいて、分離部３６２から供給されるＬ画像の符号化データを、AVC方式に対応する方式で復号する。また、3DV復号部３６３は、MVC復号部３４２と同様に、保持しているＲ画像のSEIおよびSubset SPSの情報に基づいて、分離部３６２から供給されるＲ画像の符号化データを、MVC方式に対応する方式で復号する。
　また、3DV復号部３６３は、保持しているＯ画像のSEIおよびSubset SPSの情報に基づいて、分離部３６２からＯ画像の符号化データを表す種類情報とともに供給されるＯ画像の符号化データを、Ｌ画像やＲ画像を参照して、3DV方式に対応する方式で復号する。このとき、3DV復号部３６３は、受信部３６１から供給される参照画像低解像度変換情報に基づいて、参照するＬ画像やＲ画像に対して低解像度化処理を行い、低解像度化処理後のＬ画像やＲ画像を参照する。
　さらに、3DV復号部３６３は、保持しているＬ視差画像のSEIおよびSubset SPSの情報に基づいて、分離部３６２からＬ視差画像の符号化データを表す種類情報とともに供給されるＬ視差画像の符号化データを、同一の視点の視差画像以外を参照せずに3DV方式に対応する方式で復号する。また、3DV復号部３６３は、保持しているＲ視差画像のSEIおよびSubset SPSの情報に基づいて、分離部３６２からＲ視差画像の符号化データを表す種類情報とともに供給されるＲ視差画像の符号化データを、Ｌ視差画像を参照して3DV方式に対応する方式で復号する。
　また、3DV復号部３６３は、保持しているＯ視差画像のSEIおよびSubset SPSの情報に基づいて、分離部３６２からＯ視差画像の符号化データを表す種類情報とともに供給されるＯ視差画像の符号化データを、Ｌ視差画像やＲ視差画像を参照して3DV方式に対応する方式で復号する。このとき、3DV復号部３６３は、受信部３６１から供給される参照画像低解像度変換情報に基づいて、参照するＬ視差画像やＲ視差画像に対して低解像度化処理を行い、低解像度化処理後のＬ視差画像やＲ視差画像を参照する。
　3DV復号部３６３は、復号の結果得られるＬ視点画像とＲ視点画像を画像生成部３６５に供給する。また、3DV復号部３６３は、復号の結果得られるＯ視点画像を低解像度画像逆変換処理部３６４に供給する。さらに、3DV復号部３６３は、保持しているＬ視差画像、Ｒ視差画像、およびＯ視差画像のSEIに含まれる視差情報を画像生成部３６５に供給する。
　低解像度画像逆変換処理部３６４は、受信部３６１からの補助画像低解像度変換情報に基づいて、3DV復号部３６３からのＯ視点画像を構成するＯ画像とＯ視差画像のそれぞれに対して、図３７の画像変換処理部２９１における低解像度化処理に対応するフィルタ処理等の高解像度化処理を行う。これにより、Ｏ視点画像の解像度は、Ｌ視点画像およびＲ視点画像の解像度と同一になる。低解像度画像逆変換処理部３６４は、高解像度化処理後のＯ視点画像を画像生成部３６５に供給する。
　画像生成部３６５は、3DV復号部３６３から供給されるＬ視差画像の視差情報に基づいて、必要に応じて、3DV復号部３６３から供給されるＬ視差画像に対して変換を行う。
　例えば、画像生成部３６５は、Ｌ視差画像の視差情報に含まれる視差タイプが、視差画像の各画素値がデプス値であることを表し、画像生成部３６５が処理可能な視差を表す値が視差値である場合、Ｌ視差画像の各画素値を視差値に変換する。
　また、画像生成部３６５は、Ｌ視差画像の視差情報に含まれる正規化フラグが、正規化されていないことを表す値であり、画像生成部３６５が処理可能な視差を表す値が正規化後の値である場合、Ｌ視差画像の各画素値を正規化し、正規化後の値に変換する。
　さらに、画像生成部３６５は、Ｌ視差画像の視差情報に含まれる撮影モードが輻射付き撮影モードであり、画像生成部３６５が処理可能な視差画像が平行撮影モードで撮影された画像の視差画像である場合、Ｌ視差画像を、平行撮影モードで撮影されたＬ画像の視差画像に変換する。
　画像生成部３６５は、Ｌ視差画像と同様に、必要に応じて、Ｒ視差画像の視差情報に基づいてＲ視差画像を変換し、Ｏ視差画像の視差情報に基づいてＯ視差画像を変換する。
　画像生成部３６５は、変換後のＬ視差画像、Ｒ視差画像、およびＯ視差画像、Ｌ画像、Ｒ画像、およびＯ画像、並びに、視差情報に含まれる、デプス値の最大値および最小値または視差値の最大値および最小値、並びに、対応関係情報に基づいて、図示せぬ表示装置に対応する３以上の視点数の画像を生成する。そして、画像生成部３６５は、生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に出力して表示させる。
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　[3DV方式の復号装置の処理の説明]
　図５１は、図５０の復号装置３６０の復号処理を説明するフローチャートである。この復号処理は、例えば、図３７の符号化装置２９０からＴＳが伝送されてきたとき、開始される。
　図５１のステップＳ３３１において、復号装置３４０の受信部３６１は、符号化装置２９０により伝送されてくるＴＳを受信する。受信部３６１は、ＴＳに含まれるビットストリームを分離部３６２に供給し、参照画像低解像度変換情報を3DV復号部３６３に供給し、補助画像低解像度変換情報を低解像度画像逆変換処理部３６４に供給する。なお、以降のステップＳ３３２乃至Ｓ３４２の処理は、ビットストリームを構成するNALユニットごとに行われる。
　ステップＳ３３２において、分離部３６２は、NALユニットのNALヘッダに基づいて各NALユニットを分離し、そのNALユニットに含まれる、Ｌ視点画像、Ｒ視点画像、または低解像度化処理後のＯ視点画像のデータを、種類情報とともに3DV復号部３６３に供給する。
　ステップＳ３３３において、3DV復号部３６３は、種類情報に基づいて、その種類情報とともに分離部３６２から供給されるデータがＬ視点画像、Ｒ視点画像、または低解像度化処理後のＯ視点画像の符号化データであるかどうかを判定する。ステップＳ３３３でＬ視点画像、Ｒ視点画像、またはＯ視点画像の符号化データであると判定された場合、処理はステップＳ３３４に進む。
　ステップＳ３３４において、3DV復号部３６３は、Ｌ視点画像、Ｒ視点画像、または低解像度化処理後のＯ視点画像の符号化データを、保持しているSPSまたはSubset SPSおよびSEIの情報に基づいて復号する。
　ステップＳ３３５において、3DV復号部３６３は、種類情報に基づいて、復号の結果得られる画像が低解像度化処理後のＯ画像またはＯ視差画像であるかどうかを判定する。ステップＳ３３５で復号の結果得られる画像が低解像度化処理後のＯ画像またはＯ視差画像であると判定された場合、3DV復号部３６３は、そのＯ画像またはＯ視差画像を低解像度画像逆変換処理部３６４に供給する。
　ステップＳ３３６において、低解像度画像逆変換処理部３６４は、受信部３６１から供給される補助画像低解像度変換情報に基づいて、3DV復号部３６３から供給される低解像度化処理後のＯ画像またはＯ視差画像に対して高解像度化処理を行う。これにより、Ｏ画像またはＯ視差画像の解像度が、Ｌ視点画像およびＲ視点画像と同一の解像度になる。
　ステップＳ３３７において、低解像度画像逆変換処理部３６４は、高解像度化処理後のＯ画像またはＯ視差画像を画像生成部３６５に出力し、処理を終了する。
　一方、ステップＳ３３５で復号の結果得られる画像が低解像度化処理後のＯ画像またはＯ視差画像ではないと判定された場合、即ち、復号の結果得られる画像がＬ画像、Ｌ視差画像、Ｒ画像、またはＲ視差画像である場合、処理はステップＳ３３８に進む。
　ステップＳ３３８において、3DV復号部３６３は、復号の結果得られるＬ画像、Ｌ視差画像、Ｒ画像、またはＲ視差画像を画像生成部３６５に出力し、処理を終了する。
　また、ステップＳ３３３でＬ視点画像、Ｒ視点画像、またはＯ視点画像の符号化データではないと判定された場合、即ち、分離部３６２から供給されるデータがSPS，Subset SPS、またはSEIの情報である場合、処理はステップＳ３３９に進む。
　ステップＳ３３９において、3DV復号部３６３は、分離部３６２から供給されるSPS，Subset SPS、またはSEIの情報を保持する。
　ステップＳ３４０において、3DV復号部３６３は、ステップＳ３３９で保持されたデータが、SEIの情報であるかどうかを判定する。ステップＳ３４０で保持されたデータがSEIの情報であると判定された場合、処理はステップＳ３４１に進む。
　ステップＳ３４１において、3DV復号部３６３は、ステップＳ３３９で保持されたSEIの情報に視差情報があるかどうかを判定する。ステップＳ３４１で視差情報があると判定された場合、ステップＳ３４２において、3DV復号部３６３は、SEIの情報から視差情報を抽出して画像生成部３６５に出力し、処理を終了する。
　一方、ステップＳ３４０で保持されたデータがSEIの情報ではないと判定された場合、または、ステップＳ３４１で視差情報がないと判定された場合、処理は終了する。
　以上のように、復号装置３６０は、NALヘッダに基づいて、ビットストリームを各NALユニットに分離する。そして、復号装置３６０は、分離されたNALユニットに含まれる互換画像の符号化データを既存のAVC方式またはMVC方式に対応する方式で復号し、補助画像および視差画像の符号化データを3DV方式に対応する方式で復号する。従って、復号装置３４０は、符号化装置２９０で既存の方式との互換性を有する方式で符号化された結果得られるビットストリームを復号することができる。
　[復号対象となる符号化データの説明]
　図５２は、図４６の復号装置３２０、図４８の復号装置３４０、および図５０の復号装置３６０において復号対象となる符号化データを説明する図である。
　図５２の例では、図３９に示した参照関係で符号化されたビットストリームが符号化装置２９０から伝送されてくるものとする。
　この場合、図５２に示すように、復号装置３２０は、NALユニットのタイプ（nal_unit_type）が、AVC方式のピクチャの種類を表す情報（図５２の例では、１または５）であるＬ画像のNALユニットに含まれる符号化データ（Coded slice）のみをAVC方式に対応する方式で復号する。
　一方、復号装置３４０は、図５２に示すように、復号装置３２０と同様に、L画像のNALユニットの含まれる符号化データをAVC方式に対応する方式で復号する。また、復号装置３４０は、NALユニットのタイプがMVC方式の符号化データを表す情報（図５２の例では、20）であるＲ画像のNALユニットに含まれる符号化データを、Ｌ画像をベースビューとし、Ｒ画像をノンベースビューとして、MVC方式に対応する方式で復号する。
　また、復号装置３６０は、図５２に示すように、復号装置３２０や復号装置３４０と同様に、L画像のNALユニットの含まれる符号化データをAVC方式に対応する方式で復号する。また、復号装置３６０は、復号装置３４０と同様に、Ｒ画像のNALユニットに含まれる符号化データを、Ｌ画像をベースビューとし、Ｒ画像をノンベースビューとして、MVC方式に対応する方式で復号する。
　さらに、復号装置３６０は、NALユニットのタイプが3DV方式の符号化データを表す情報（図５２の例では、21）であり、拡張情報（nal_unit_header_3dv_extension）が視差画像ではないことを表す視差フラグ（is_depth=0）である低解像度化処理後のＯ画像のNALユニットに含まれる符号化データを、低解像度化処理後のＬ画像およびＲ画像を参照して3DV方式に対応する方式で復号する。
　さらに、復号装置３６０は、NALユニットのタイプが3DV方式の符号化データを表す情報であり、拡張情報が、視差画像であることを表す視差フラグ（is_depth=1）と、対応する画像を特定する情報としてのＬ画像を特定する情報（cor_view_id=0）であるＬ視差画像のNALユニットに含まれる符号化データを、同一の視点の視差画像以外を参照せずに、3DV方式に対応する方式で復号する。
　また、復号装置３６０は、NALユニットのタイプが3DV方式の符号化データを表す情報であり、拡張情報が、視差画像であることを表す視差フラグと、対応する画像を特定する情報としてのＲ画像を特定する情報（cor_view_id=1）であるＲ視差画像のNALユニットに含まれる符号化データを、Ｌ視差画像を参照して3DV方式に対応する方式で復号する。
　さらに、復号装置３６０は、NALユニットのタイプが3DV方式の符号化データを表す情報であり、拡張情報が、視差画像であることを表す視差フラグと、対応する画像を特定する情報としてのＯ画像を特定する情報（cor_view_id=2）である低解像度化処理後のＯ視差画像のNALユニットに含まれる符号化データを、低解像度化処理後のＬ視差画像とＲ視差画像を参照して3DV方式に対応する方式で復号する。
　＜第６実施の形態＞
　［符号化装置の第６実施の形態の構成例］
　図５３は、本技術を適用した符号化装置の第６実施の形態の構成例を示すブロック図である。
　図５３の符号化装置３８０は、多重化処理部３８１、多重化処理部３８２、視差情報生成部３８３、符号化処理部３８４、および伝送部３８５により構成される。符号化装置３８０では、互換画像がＬ画像およびＲ画像であり、補助画像が、Ｎ（Ｎは２の倍数）視点のＯ１画像乃至ＯＮ画像である。符号化装置３８０は、互換画像の視差画像、並びに、各２視点の補助画像および補助画像の視差画像を多重化して符号化する。
　具体的には、符号化装置３８０の多重化処理部３８１は、符号化装置３８０に入力されるＬ視点画像のうちのＬ視差画像が入力されるとともに、Ｒ視点画像のうちのＲ視差画像が入力される。多重化処理部３８１は、Ｌ視差画像とＲ視差画像を所定の多重化方式で多重化する。
　より詳細には、例えば多重化方式がサイドバイサイド方式である場合、多重化処理部３８１は、Ｌ視差画像とＲ視差画像の解像度を半分にする。そして、多重化処理部３８１は、解像度が半分にされたＬ視差画像が画面の左半分の画像となり、解像度が半分にされたＲ視差画像が画面の右半分の画像となるように、解像度が半分にされたＬ視差画像とＲ視差画像を多重化する。また、例えば多重化方式がトップアンドボトム方式である場合、多重化処理部３８１は、解像度が半分にされたＬ視差画像が画面の上半分の画像となり、解像度が半分にされたＲ視差画像が画面の下半分の画像となるように、解像度が半分にされたＬ視差画像とＲ視差画像を多重化する。
　多重化処理部３８１は、多重化の結果得られる多重化画像を互換視差画像として符号化処理部３８４に供給する。また、多重化処理部３８１は、互換画像の視差画像であるＬ視差画像とＲ視差画像の多重化方式を示す情報である互換多重化情報を生成し、伝送部３８５に供給する。
　多重化処理部３８２は、符号化装置３８０に入力される、Ｏ１画像とＯ１画像の視差画像であるＯ１視差画像とからなるＯ１視点画像、・・・、および、ＯＮ画像とＯＮ画像の視差画像であるＯＮ視差画像とからなるＯＮ視点画像が入力される。多重化処理部３８２は、Ｏ１画像とＯ２画像、Ｏ３画像とＯ４画像、・・・、Ｏ（Ｎ－１）画像とＯＮ画像をそれぞれ、所定の多重化方式で多重化する。そして、多重化処理部３８２は、その多重化の結果得られる多重化画像を補助多重化画像として符号化処理部３８４に供給する。
　同様に、多重化処理部３８２は、Ｏ１視差画像とＯ２視差画像、Ｏ３視差画像とＯ４視差画像、・・・、Ｏ（Ｎ－１）視差画像とＯＮ視差画像をそれぞれ、所定の多重化方式で多重化する。多重化処理部３８２は、その多重化の結果得られる多重化画像を補助視差多重化画像として符号化処理部３８４に供給する。また、補助画像であるＯ１画像乃至ＯＮ画像と、補助画像の視差画像であるＯ１視差画像乃至ＯＮ視差画像の多重化方式を示す情報である補助多重化情報を生成し、伝送部３８５に供給する。
　なお、以下では、Ｏ１視点画像乃至ＯＮ視点画像を、それぞれを特に区別する必要がない場合、それらをまとめてＯ多視点画像という。同様に、Ｏ多画像およびＯ多視差画像という。
　視差情報生成部３８３は、Ｌ画像、Ｒ画像、およびＯ多画像の撮影時の情報等に基づいて、Ｌ視差画像、Ｒ視差画像、およびＯ多視差画像の視差情報を生成し、符号化処理部３８４に供給する。
　符号化処理部３８４は、図３７の符号化処理部２９３と同様に、符号化装置３８０に入力されるＬ視点画像のうちのＬ画像をAVC方式で符号化する。また、符号化処理部３８４は、符号化処理部２９３と同様に、符号化装置３８０に入力されるＲ視点画像のうちのＲ画像を、Ｌ画像をベースビューとし、Ｒ画像をノンベースビューとしてMVC方式で符号化する。
　さらに、符号化処理部３８４は、多重化処理部３８２から供給される補助多重化画像を、Ｌ画像やＲ画像を参照して3DV方式で符号化する。このとき、符号化処理部３８４は、参照するＬ画像やＲ画像を複製して、補助多重化画像と同一の多重化方式で多重化を行い、その結果得られる多重化画像を参照する。
　また、符号化処理部３８４は、多重化処理部３８１から供給される互換多重化画像を、同一の視点の互換多重化画像以外を参照せずに、3DV方式で符号化する。さらに、符号化処理部３８４は、多重化処理部３８２から供給される補助視差多重化画像を、3DV方式で符号化する
　符号化処理部３８４は、符号化の結果得られるＬ画像、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像の符号化データ、並びに、視差情報生成部３８３から供給される視差情報からビットストリームを生成し、そのビットストリームを伝送部３８５に供給する。また、符号化処理部３８４は、互換多重化画像の参照画像を生成する際の多重化方式を示す情報である参照画像多重化情報を生成し、伝送部３８５に供給する。
　伝送部３８５は、多重化処理部３８１から供給される互換多重化情報、多重化処理部３８２から供給される補助多重化情報、並びに、符号化処理部３８４から供給されるビットストリームおよび参照画像多重化情報からＴＳを生成し、伝送する。
　[符号化処理部の構成例]
　図５４は、図５３の符号化処理部３８４の構成例を示すブロック図である。
　図５４に示す構成のうち、図３８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図５４の符号化処理部３８４の構成は、主に、符号化部３０１、付加情報生成部３０２、および付加部３０３の代わりに符号化部４０１、付加情報生成部４０２、付加部４０３が設けられている点が図３８の構成と異なる。
　符号化処理部３８４の符号化部４０１は、互換符号化部３１１と補助符号化部４１１により構成される。符号化部４０１の補助符号化部４１１は、互換多重化画像、補助多重化画像、および補助視差多重化画像を、3DV方式で符号化する。補助符号化部４１１は、符号化の結果得られる互換多重化画像、補助多重化画像、および補助視差多重化画像の符号化データを付加部４０３に供給する。また、符号化部４０１は、参照画像多重化情報を生成し、図５３の伝送部３８５に供給する。
　付加情報生成部４０２は、Ｌ画像のSPSの情報、並びに、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPSの情報を生成する。また、付加情報生成部４０２は、Ｌ画像、Ｒ画像、および補助多重化画像のSEIの情報を生成する。さらに、付加情報生成部４０２は、図５３の視差情報生成部３８３から供給されるＬ視差画像とＲ視差画像の視差情報を含む互換多重化画像のSEIの情報を生成する。
　また、付加情報生成部４０２は、視差情報生成部３８３から供給される補助視差多重化画像を構成する２視点のＯ多視差画像の視差情報を含む、その補助視差多重化画像のSEIの情報を生成する。付加情報生成部４０２は、Ｌ画像のSPSの情報、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPSの情報、並びに、Ｌ画像、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSEIの情報を付加部４０３に供給する。
　付加部４０３は、図３８の付加部３０３と同様に、互換符号化部３１１による符号化の結果得られるＬ画像の符号化データに、NALユニットのタイプとして、AVC方式のピクチャの種類を表す情報を含むNALヘッダを付加し、NALユニットを生成する。また、付加部４０３は、付加部３０３と同様に、互換符号化部３１１による符号化の結果得られるＲ画像の符号化データに、NALユニットのタイプとして、MVC方式の符号化データを表す情報を含むNALヘッダを付加し、NALユニットを生成する。
　また、付加部４０３は、補助符号化部４１１から供給される補助多重化画像の符号化データに、NALユニットのタイプとして3DV方式の符号化データを表す情報を含み、視差画像ではないことを表す視差フラグを含むNALヘッダを付加し、NALユニットを生成する。さらに、付加部４０３は、補助符号化部４１１から供給される互換多重化画像と補助視差多重化画像の符号化データに、それぞれ、NALユニットのタイプとして3DV方式の符号化データを表す情報を含み、視差画像であることを表す視差フラグと、対応する画像に関する情報とを含むNALヘッダを付加し、NALユニットを生成する。
　さらに、付加部４０３は、付加情報生成部４０２から供給されるＬ画像のSPSの情報、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPSの情報、並びに、Ｌ画像、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSEIの情報に、それぞれ、NALユニットのタイプとして、それぞれの情報を表すNALヘッダを付加し、NALユニットを生成する。付加部４０３は、以上のようにして生成されたNALユニットをビットストリーム生成部３０４に供給する。
　［NALユニットの構成例］
　図５５は、図５３の符号化処理部３８４により生成されるビットストリームのうちの、Ｌ画像、Ｒ画像、補助多重化画像、互換多重化画像、および補助視差多重化画像の符号化データのNALユニットの構成例を示す図である。
　図５５において、Ｌ画像およびＲ画像の符号化データのNALユニットは、図４０の場合と同様であるので、説明は省略する。
　図５５に示すように、符号化処理部３８４による符号化処理では、補助多重化画像のNALユニットのNALヘッダに、NALユニットのタイプとして3DV方式の符号化データを表す情報が含まれるとともに、拡張情報として視差画像ではないことを表す0である視差フラグが含まれる。これにより、復号装置において、補助多重化画像を識別することができる。
　また、互換多重化画像と各補助視差多重化画像のNALユニットのNALヘッダには、視差画像であることを表す1である視差フラグが含まれる。これにより、復号装置において、互換多重化画像と補助視差多重化画像を識別することができる。
　さらに、互換多重化画像と各補助視差多重化画像のNALユニットのNALヘッダには、拡張情報として、対応する画像に関する情報が含まれる。ここでは、互換多重化画像は、２視点のＬ画像とＲ画像の視差画像であり、各補助視差多重化画像は、２視点のＯ多画像の視差画像である。また、図５５の例では、Ｌ画像の視点を特定する情報が0であり、Ｒ画像の視点を特定する情報が1であり、補助視差多重化画像に対応する２視点のＯ多画像の視点を特定する情報が2および3である。
　従って、互換多重化画像のNALユニットのNALヘッダに含まれる対応する画像に関する情報は、対応する画像の視点数としての2と、対応する画像の視点を特定する情報としての0および1である。また、補助視差多重化画像のNALユニットのNALヘッダに含まれる対応する画像に関する情報は、対応する画像の視点数としての2と、対応する画像の視点を特定する情報としての2および3である。
　以上のように、拡張情報として、対応する画像に関する情報が含まれることにより、互換多重化画像および各補助視差多重化画像をそれぞれ識別することができる。
　[ビットストリームの構成例]
　図５６は、図５４のビットストリーム生成部３０４により生成されるビットストリームの構成例を示す図である。
　図５６のＡに示すＬ画像のビットストリームと、図５６のＢに示すＲ画像のビットストリームは、それぞれ、図４１のＡのＬ画像のビットストリーム、図４１のＢのＲ画像のビットストリームと同一であるので、説明は省略する。
　図５６のＣに示すように、3DV方式で符号化された補助多重化画像のビットストリームは、補助多重化画像の3DV方式のSubset SPSの情報のNALユニット、補助多重化画像の3DV方式のSEIの情報のNALユニット、および補助多重化画像の符号化データのNALユニットにより構成される。
　図５６のＤに示すように、3DV方式で符号化された互換多重化画像のビットストリームは、互換多重化画像の3DV方式のSubset SPSの情報のNALユニット、互換多重化画像の視差情報を含む3DV方式のSEIの情報のNALユニット、および互換多重化画像の符号化データのNALユニットにより構成される。
　また、図５６のＥに示すように、3DV方式で符号化された補助視差多重化画像のビットストリームは、補助視差多重化画像の3DV方式のSubset SPSの情報のNALユニット、補助視差多重化画像の視差情報を含む3DV方式のSEIの情報のNALユニット、および補助視差多重化画像の符号化データのNALユニットにより構成される。
　以上のように、視差情報は3DV方式のSEIに含まれるので、3DV方式に対応していない復号装置において、無駄に視差情報を処理する必要がない。
　[符号化装置の処理の説明]
　図５７は、図５３の符号化装置３８０の多視点符号化処理を説明するフローチャートである。この多視点画像符号化処理は、例えば、Ｌ視点画像、Ｒ視点画像、およびＯ多視点画像が符号化対象として符号化装置３８０に入力されたとき、開始される。
　図５７のステップＳ３６１において、符号化装置３８０の符号化処理部３８４は、符号化装置３８０に入力されたＬ視点画像のうちのＬ画像を取得し、多重化処理部３８２は、Ｌ視差画像を取得する。
　ステップＳ３６２において、符号化処理部３８４は、符号化装置３８０に入力されたＲ視点画像のうちのＲ画像を取得し、多重化処理部３８２は、Ｒ視差画像を取得する。ステップＳ３６３において、多重化処理部３８２は、符号化装置３８０に入力されたＯ多視点画像を取得する。
　ステップＳ３６４において、多重化処理部３８１は、ステップＳ３６１で取得されたＬ視差画像と、ステップＳ３６２で取得されたＲ視差画像を所定の多重化方式で多重化し、多重化の結果得られる多重化画像を互換視差画像として符号化処理部３８４に供給する。ステップＳ３６５において、多重化処理部３８１は、互換多重化情報を生成し、伝送部３８５に供給する。
　ステップＳ３６６において、多重化処理部３８２は、Ｏ多視点画像を構成するＯ多画像とＯ多視差画像を、それぞれ、２視点ごとに、所定の多重化方式で多重化する。多重化処理部３８２は、その多重化の結果得られるＯ多画像の多重化画像を補助多重化画像とし、Ｏ多視差画像の多重化画像を補助視差多重化画像として、符号化処理部３８４に供給する。
　ステップＳ３６７において、多重化処理部３８２は、補助多重化情報を生成し、伝送部３８５に供給する。
　ステップＳ３６８において、視差情報生成部３８３は、Ｌ画像、Ｒ画像、およびＯ多画像の撮影時の情報等に基づいて、Ｌ視差画像、Ｒ視差画像、およびＯ多視差画像の視差情報を生成し、符号化処理部３８４に供給する。
　ステップＳ３６９において、符号化処理部３８４は、Ｌ画像、Ｒ画像、多重化処理部３８１から供給される互換多重化画像、並びに、多重化処理部３８２から供給される補助多重化画像および補助視差多重化画像を符号化する符号化処理を行う。この符号化処理の詳細は、後述する図５８を参照して説明する。
　ステップＳ３７０において、伝送部３８５は、多重化処理部３８１からの互換多重化情報、多重化処理部３８２からの補助多重化情報、並びに、符号化処理部３８４からの参照画像多重化情報およびビットストリームから、ＴＳを生成し、伝送する。そして、処理は終了する。
　図５８は、図５７のステップＳ３６９の符号化処理の詳細を説明するフローチャートである。
　図５８のステップＳ３９０において、符号化処理部３８４の符号化部４０１（図５４）は、Ｌ画像、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像を符号化する。具体的には、符号化部４０１の互換符号化部３１１が、Ｌ画像をAVC方式で符号化し、Ｒ画像をMVC方式で符号化する。また、補助符号化部４１１が、互換多重化画像、補助多重化画像、および補助視差多重化画像を3DV方式で符号化する。符号化部４０１は、符号化の結果得られるＬ画像、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像の符号化データを付加部４０３に供給する。
　ステップＳ３９１において、補助符号化部４１１は、参照画像多重化情報を生成し、図５３の伝送部３８５に供給する。
　ステップＳ３９２において、付加情報生成部４０２は、図５３の視差情報生成部３８３から供給される視差情報を用いて、Ｌ画像のSPSおよびSEIの情報、並びに、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPSおよびSEIの情報を生成し、付加部３０３に供給する。
ステップＳ３９３およびステップＳ３９４の処理は、図４５のステップＳ２７３およびＳ２７４の処理と同様であるので、説明は省略する。
　ステップＳ３９４の処理後、ステップＳ３９５において、付加部４０３は、補助符号化部４１１から供給される補助多重化画像の符号化データに、3DV方式の符号化データを表すNALユニットのタイプと、視差画像ではないことを表す視差フラグとを含むNALヘッダを付加し、NALユニットを生成する。付加部４０３は、生成された補助多重化画像の符号化データのNALユニットをビットストリーム生成部３０４に供給する。
　ステップＳ３９６において、付加部４０３は、補助符号化部４１１から供給される互換多重化画像と補助視差多重化画像の符号化データに、それぞれ、3DV方式の符号化データを表すNALユニットのタイプ、視差画像であることを表す視差フラグ、および、対応する画像に関する情報を含むNALヘッダを付加し、NALユニットを生成する。付加部４０３は、生成された互換多重化画像と補助視差多重化画像の符号化データのNALユニットをビットストリーム生成部３０４に供給する。
　ステップＳ３９７において、付加部４０３は、付加情報生成部４０２から供給されるＬ画像のSPSおよびSEIの情報、並びに、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPSおよびSEIの情報に、それぞれの情報を表すNALユニットのタイプを含むNALヘッダを付加し、NALユニットを生成する。付加部４０３は、生成されたＬ画像のSPSおよびSEI、並びに、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPSおよびSEIのNALユニットを、ビットストリーム生成部３０４に供給する。
　ステップＳ３９８において、ビットストリーム生成部３０４は、図４５のステップＳ２７８の処理と同様に、付加部４０３から供給されるNALユニットを所定の順に配置してビットストリームを生成する。そして、ビットストリーム生成部３０４は、そのビットストリームを図５３の伝送部３８５に供給し、処理を図５７のステップＳ３６９に戻す。これにより、処理はステップＳ３７０に進む。
　以上のように、符号化装置３８０は、互換画像を既存の符号化方式で符号化し、補助画像であるＯ多画像の符号化データに、3DV方式の符号化データを表すNALユニットのタイプを含むNALヘッダを付加する。これにより、既存の符号化方式にのみ対応する復号装置は、NALヘッダに基づいて復号可能な互換画像の符号化データのみを抽出し、既存の符号化方式に対応する方式で復号することができるので、符号化装置３８０は、既存の方式との互換性を有する方式で符号化を行っているといえる。
　なお、上述した符号化装置２９０と符号化装置３８０は、互換画像の視差画像を、同一の視点の視差画像以外を参照せずに符号化したが、同一の視点の画像も参照して符号化するようにしてもよい。
　また、符号化装置３８０は、互換画像をそのまま符号化したが、互換画像を多重化して符号化するようにしてもよい。
　[3DV方式の復号装置の構成例]
　図５９は、図５３の符号化装置３８０により伝送されてくるビットストリームを復号する3DV方式の復号装置の構成例を示すブロック図である。
　図５９の復号装置４２０は、受信部４２１、分離部４２２、3DV復号部４２３、分離部４２４、分離部４２５、および画像生成部４２６により構成される。復号装置４２０は、符号化装置３８０により伝送されてくるビットストリームに含まれるＬ画像、Ｒ画像、補助多重化画像、互換多重化画像、および補助視差多重化画像の符号化データを復号する。
　具体的には、復号装置４２０の受信部４２１は、図５３の符号化装置３８０により伝送されてくるＴＳを受信する。受信部４２１は、ＴＳに含まれるビットストリームを分離部４２２に供給し、参照画像多重化情報を3DV復号部４２３に供給する。また、受信部４２１は、ＴＳに含まれる互換多重化情報を分離部４２４に供給し、補助多重化情報を分離部４２５に供給する。
　分離部４２２は、受信部４２１から供給されるビットストリームを、NALヘッダに基づいて各NALユニットに分離する。より詳細には、分離部４２２は、図５０の分離部３６２と同様に、ビットストリームから、Ｌ画像の符号化データ、SPS、およびSEIのNALユニットを抽出する。また、分離部４２２は、分離部３６２と同様に、ビットストリームから、Ｒ画像の符号化データ、Subset SPS、およびSEIのNALユニットを抽出する。
　さらに、分離部４２２は、3DV方式の符号化データを表すNALユニットのタイプをNALヘッダに含む互換多重化画像、補助多重化画像、および補助視差多重化画像の符号化データのNALユニットを抽出する。また、分離部４２２は、3DV方式のSubset SPS,SEIを表すNALユニットのタイプをNALヘッダに含む、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPS、並びに互換多重化画像、補助多重化画像、および補助視差多重化画像のSEIのNALユニットを抽出する。
　また、分離部４２２は、NALヘッダに含まれる拡張情報に基づいて、補助多重化画像、互換多重化画像、および補助視差多重化画像の符号化データのNALヘッダを、さらに分離する。具体的には、分離部４２２は、拡張情報が視差画像ではないことを表す視差フラグであるNALユニットを、補助多重化画像の符号化データのNALユニットとして抽出する。また、分離部４２２は、拡張情報が、視差画像であることを表す視差フラグ、対応する画像の視点数としての２、および、対応する画像の視点を特定する情報としてのＬ画像およびＲ画像を特定する情報であるNALユニットを、互換多重化画像の符号化データのNALユニットを抽出する。同様に、分離部４２２は、補助視差多重化画像の符号化データのNALユニットを抽出する。
　分離部４２２は、分離されたNALユニットに含まれるデータであるＬ画像のSPSの情報、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPSの情報、並びに、Ｌ画像、Ｒ画像、補助多重化画像、互換多重化画像、および補助視差多重化画像のSEIの情報および符号化データを、そのデータの種類情報とともに3DV復号部４２３に供給する。
　3DV復号部４２３は、分離部４２２から供給される種類情報に基づいて、Ｌ画像のSPS、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPS、並びに、Ｌ画像、Ｒ画像、補助多重化画像、互換多重化画像、および補助視差多重化画像のSEIの情報を保持する。
　3DV復号部４２３は、図５０の3DV復号部３６３と同様に、保持しているＬ画像のSEIおよびSPSの情報に基づいて、分離部４２２から供給されるＬ画像の符号化データを、AVCに対応する方式で復号する。また、3DV復号部４２３は、3DV復号部３６３と同様に、保持しているＲ画像のSEIおよびSubset SPSの情報に基づいて、分離部４２２から供給されるＲ画像の符号化データを、MVC方式に対応する方式で復号する。
　また、3DV復号部４２３は、保持している補助多重化画像のSEIおよびSubset SPSの情報に基づいて、分離部４２２から補助多重化画像の符号化データを表す種類情報とともに供給される補助多重化画像の符号化データを、Ｌ画像やＲ画像を参照して、3DV方式に対応する方式で復号する。このとき、3DV復号部４２３は、受信部４２１から供給される参照画像多重化情報に基づいて、参照するＬ画像やＲ画像を複製して多重化し、その結果得られる多重化画像を参照する。
　さらに、3DV復号部４２３は、保持している互換多重化画像のSEIおよびSubset SPSの情報に基づいて、分離部４２２から互換多重化画像の符号化データを表す種類情報とともに供給される互換多重化画像の符号化データを、同一の視点の視差画像以外を参照せずに3DV方式に対応する方式で復号する。
　また、3DV復号部４２３は、保持している補助視差多重化画像のSEIおよびSubset SPSの情報に基づいて、分離部４２２から補助視差多重化画像の符号化データを表す種類情報とともに供給される補助視差多重化画像の符号化データを、互換多重化画像を参照して3DV方式に対応する方式で復号する。
　3DV復号部４２３は、復号の結果得られるＬ画像とＲ画像を画像生成部４２６に供給し、互換多重化画像を分離部４２４に供給し、補助多重化画像と補助視差多重化画像を分離部４２５に供給する。また、3DV復号部４２３は、保持している互換多重化画像と補助視差多重化画像のSEIに含まれる視差情報を画像生成部４２６に供給する。
　分離部４２４は、受信部４２１から供給される互換多重化情報に基づいて、3DV復号部４２３から供給される互換多重化画像を、Ｌ画像やＲ画像と同一の解像度のＬ視差画像とＲ視差画像に分離する。具体的には、分離部４２４は、互換多重化画像から、解像度が半分にされたＬ視差画像とＲ視差画像を分離し、そのＬ視差画像とＲ視差画像に対して高解像度化処理を行うことにより、Ｌ画像やＲ画像と同一の解像度のＬ視差画像とＲ視差画像を得る。分離部４２４は、そのＬ視差画像とＲ視差画像を画像生成部４２６に供給する。
　分離部４２５は、受信部４２１から供給される補助画像多重化情報に基づいて、分離部４２４と同様に、3DV復号部４２３から供給される補助多重化画像からＯ多画像を分離し、補助視差多重化画像からＯ多視差画像を分離する。分離部４２５は、その結果得られるＯ多視点画像を画像生成部４２６に供給する。
　画像生成部４２６は、図５０の画像生成部３６５と同様に、3DV復号部４２３から供給される視差情報に基づいて、必要に応じて、分離部４２４からのＬ視差画像およびＲ視差画像、並びに、分離部４２５からのＯ多視差画像に対して変換を行う。
　画像生成部４２６は、変換後のＬ視差画像、Ｒ視差画像、およびＯ多視差画像、Ｌ画像、Ｒ画像、およびＯ多画像、並びに、視差情報に含まれる、デプス値の最大値および最小値または視差値の最大値および最小値、並びに、対応関係情報に基づいて、図示せぬ表示装置に対応する３以上の視点数の画像を生成する。そして、画像生成部４２６は、生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に出力して表示させる。
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　[3DV方式の復号装置の処理の説明]
　図６０は、図５９の復号装置４２０の復号処理を説明するフローチャートである。この復号処理は、例えば、図５３の符号化装置３８０からＴＳが伝送されてきたとき、開始される。
　図６０のステップＳ４１１において、復号装置３４０の受信部４２１は、符号化装置３８０により伝送されてくるＴＳを受信する。受信部４２１は、ＴＳに含まれるビットストリームを分離部４２２に供給し、参照画像多重化情報を3DV復号部４２３に供給する。また、受信部４２１は、ＴＳに含まれる互換多重化情報を分離部４２４に供給し、補助多重化情報を分離部４２５に供給する。なお、以降のステップＳ４１２乃至Ｓ４２８の処理は、ビットストリームを構成するNALユニットごとに行われる。
　ステップＳ４１２において、分離部４２２は、NALユニットのNALヘッダに基づいて各NALユニットを分離し、そのNALユニットに含まれる、Ｌ画像、Ｒ画像、補助多重化画像、互換多重化画像、または補助視差多重化画像のデータを種類情報とともに3DV復号部４２３に入力する。
　ステップＳ４１３において、3DV復号部４２３は、分離部４２２から供給される種類情報に基づいて、その種類情報とともに入力されるデータがＬ画像、Ｒ画像、補助多重化画像、互換多重化画像、または補助視差多重化画像の符号化データであるかどうかを判定する。ステップＳ４１３でＬ画像、Ｒ画像、補助多重化画像、互換多重化画像、または補助視差多重化画像の符号化データであると判定された場合、処理はステップＳ４１４に進む。
　ステップＳ４１４において、3DV復号部４２３は、Ｌ画像、Ｒ画像、補助多重化画像、互換多重化画像、または補助視差多重化画像の符号化データを、保持しているSPSまたはSubset SPSおよびSEIの情報に基づいて復号する。
　ステップＳ４１５において、3DV復号部４２３は、種類情報に基づいて、復号の結果得られる画像が互換多重化画像であるかどうかを判定する。ステップＳ４１５で復号の結果得られる画像が互換多重化画像であると判定された場合、3DV復号部４２３は、その互換多重化画像を分離部４２４に供給する。
　ステップＳ４１６において、分離部４２４は、受信部４２１からの互換多重化情報に基づいて、3DV復号部４２３から供給される互換多重化画像を、Ｌ画像やＲ画像と同一の解像度のＬ視差画像とＲ視差画像に分離する。分離部４２４は、そのＬ視差画像とＲ視差画像を画像生成部４２６に供給する。
　ステップＳ４１７において、分離部４２４は、Ｌ視差画像とＲ視差画像を画像生成部４２６に出力し、処理を終了する。
　一方、ステップＳ４１５で復号の結果得られる画像が互換多重化画像ではないと判定された場合、ステップＳ４１８において、3DV復号部４２３は、種類情報に基づいて、復号の結果得られる画像が補助多重化画像であるかどうかを判定する。
　ステップＳ４１８で復号の結果得られる画像が補助多重化画像であると判定された場合、3DV復号部４２３は、その補助多重化画像を分離部４２５に供給し、処理をステップＳ４１９に進める。
　ステップＳ４１９において、分離部４２５は、受信部４２１からの補助多重化情報に基づいて、3DV復号部４２３から供給される補助多重化画像を、Ｌ画像やＲ画像と同一の解像度の２視点のＯ多画像に分離する。分離部４２５は、その２視点のＯ多画像を画像生成部４２６に供給する。
　ステップＳ４２０において、分離部４２５は、２視点のＯ多画像を画像生成部４２６に出力し、処理を終了する。
　ステップＳ４１８で復号の結果得られる画像が補助多重化画像ではないと判定された場合、ステップＳ４２１において、3DV復号部４２３は、種類情報に基づいて、復号の結果得られる画像が補助視差多重化画像であるかどうかを判定する。
　ステップＳ４２１で復号の結果得られる画像が補助視差多重化画像であると判定された場合、3DV復号部４２３は、その補助視差多重化画像を分離部４２５に供給し、処理をステップＳ４２２に進める。
　ステップＳ４２２において、分離部４２５は、補助多重化情報に基づいて、3DV復号部４２３から供給される補助視差多重化画像を、Ｌ画像やＲ画像と同一の解像度の２視点のＯ多視差画像に分離する。分離部４２５は、その２視点のＯ多視差画像を画像生成部４２６に供給する。
　ステップＳ４２３において、分離部４２４は、２視点のＯ多視差画像を画像生成部４２６に出力し、処理を終了する。
　一方、ステップＳ４２１で復号の結果得られる画像が補助視差多重化画ではないと判定された場合、即ち、復号の結果得られる画像がＬ画像またはＲ画像である場合、処理はステップＳ４２４に進む。
　ステップＳ４２４において、3DV復号部４２３は、復号の結果得られるＬ画像またはＲ画像を画像生成部４２６に出力し、処理を終了する。
　また、ステップＳ４１３でＬ画像、Ｒ画像、補助多重化画像、互換多重化画像、または補助視差多重化画像の符号化データではないと判定された場合、即ち、分離部４２２から供給されるデータがSPS，Subset SPS、またはSEIの情報である場合、処理はステップＳ４２５に進む。
　ステップＳ４２５乃至Ｓ４２８の処理は、図５１のステップＳ３３９乃至Ｓ３４２の処理と同様であるので、説明は省略する。
　以上のように、復号装置４２０は、NALヘッダに基づいて、ビットストリームを各NALユニットに分離する。そして、復号装置４２０は、分離されたNALユニットに含まれる互換画像の符号化データを既存のAVC方式またはMVC方式に対応する方式で復号し、補助画像および視差画像の符号化データを3DV方式に対応する方式で復号する。従って、復号装置４２０は、符号化装置３８０で既存の方式との互換性を有する方式で符号化された結果得られるビットストリームを復号することができる。
　なお、図示は省略するが、図５３の符号化装置３８０により生成されるビットストリームを復号するAVC方式の復号装置とMVC方式の復号装置は、それぞれ、図４６の復号装置３２０、図４８の復号装置３４０と同様である。
　[視差情報の他の配置例]
　上述した説明では、SEIに視差情報が含まれたが、ＴＳに含まれるようにしてもよい。この場合、例えば、ＴＳ内のPMT(Program Map Table)やSIT（Selection Information Table）のディスクリプタに視差情報が記述される。
　図６１は、視差情報がPMTのディスクリプタに記述される場合の、視差情報の記述例を示す図である。
　図６１に示すように、視差情報がPMTのディスクリプタに記述される場合、PMTのディスクリプタとして、視差情報が配置されるディスクリプタ（3DV_view_synthesis_descriptor）が設けられる。このディスクリプタには、図４３に示した視差情報（3DV_view_synthesis_info）が記述される。
　なお、視差情報は、SEIとＴＳ内のPMTやSITの両方に含まれるようにしてもよい。また、拡張情報は、NALヘッダではなく、ＴＳ内のPMTやSIT、SEI等に記述されるようにしてもよい。
　さらに、補助画像低解像度変換情報、互換多重化情報、および補助多重化情報は、SEI等に含められて伝送されるようにしてもよい。
　また、上述した説明では、拡張情報が符号化データに付加されたが、拡張情報は、画像データ(又はビットストリーム)と別に伝送(記録)されてもよい。また、拡張情報は画像データ(又はビットストリーム)と連結されるようにしてもよい。
　なお、本実施の形態では、「連結」を以下のように定義する。「連結」とは、画像データ(又はビットストリーム)と拡張情報とが互いにリンクされている状態を指す。連結対象の画像データと拡張情報とは、別の伝送路で伝送されてもよい。また、連結対象の画像データ(又はビットストリーム)と拡張情報とは、互いに別の記録媒体(又は同一の記録媒体内の別々の記録エリア)に記録されてもよい。なお、画像データ(又はビットストリーム)と拡張情報とをリンクさせる単位は、例えば、符号化処理単位(１フレーム、複数フレーム等)にすることができる。
　さらに、符号化装置２９０および符号化装置３８０は、１本のＴＳを生成したが、補助情報が補助画像低解像度変換情報と参照画像低解像度変換情報に代わる点を除いて、図２の符号化装置５０、図１４の符号化装置１４０、図２２の符号化装置１８０、および図３３の符号化装置２３０と同様に、複数のＴＳを生成するようにしてもよい。
　＜第７実施の形態＞
　［符号化装置の第７実施の形態の構成例］
　図６２は、本技術を適用した符号化装置の第７実施の形態の構成例を示すブロック図である。
　図６２に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図６２の符号化装置４４０の構成は、主に、視差画像生成部１４３、エンコーダ１４５の代わりに、視差画像生成部４４１、エンコーダ４４２が設けられている点が図１４の構成と異なる。符号化装置４４０は、互換画像の視差画像を空間方向に多重化するのではなく、時間方向に多重化して符号化する。
　具体的には、符号化装置４４０の視差画像生成部４４１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２乃至画像Ｄ２の各画素の視差を検出する。視差画像生成部４４１は、検出結果に基づいて、互換画像である画像Ａ２の視差画像Ａ２’および画像Ｂ２の視差画像Ｂ２’、並びに、補助画像である画像Ｃ２の視差画像Ｃ２’および画像Ｄ２の視差画像Ｄ２’を生成する。
　また、視差画像生成部４４１は、図１４の視差画像生成部１４３と同様に、視差画像Ｃ２’と視差画像Ｄ２’を、所定の多重化方式で空間方向に多重化する。さらに、視差画像生成部４４１は、視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像を、時間方向に多重化する。視差画像生成部４４１は、その結果得られる、１フレーム時間内に１フレーム分の視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像が存在する多重化画像を、時間多重化画像としてエンコーダ４４２に供給する。
　また、視差画像生成部４４１は、補助画像の視差画像の多重化方式と、互換画像および補助画像の視差画像の多重化方式としての時間方向に多重化する方式（以下、フレームシーケンシャル方式という）とを示す情報を、視差画像情報生成部５７に供給する。
　エンコーダ４４２は、互換用エンコーダ１５１と補助用エンコーダ４５１により構成される。エンコーダ４４２の補助用エンコーダ４５１は、画像変換部１４２からの補助画像の多重化画像と視差画像生成部４４１からの時間多重化画像に対して、3DV方式でアクセスユニット単位の符号化を行う。補助用エンコーダ４５１は、その結果得られる符号化ストリームを補助ストリームとして多重化部５９に供給する。
　［補助情報の記述例］
　図６３は、補助情報がPMTのディスクリプタに記述される場合の互換情報と視差画像情報の記述例を示す図である。
　図６３に示すように、補助情報がPMTのディスクリプタに記述される場合、PMTのディスクリプタとして、互換情報が配置されるディスクリプタ（3DV_view_structure_descriptor）、視差画像情報が配置されるディスクリプタ（depth_map_structure_descriptor）等が設けられる。
　そして、ディスクリプタ（depth_map_structure_descriptor）には、図６４に示すように、ディスクリプタタグ(descriptor_tag)、ディスクリプタ長(descriptor_length)に続いて、視差画像情報として、視差画像の数(num_of_depth_map)、視差画像が多重化されているかどうかを表すフラグ(is_frame_packing)、視差画像の多重化方式(frame_packing_mode)、多重化されている視差画像を指定する情報(comb_frame_packing_views)などが記述される。
　なお、多重化方式としては、サイドバイサイド方式（SBS）、トップアンドボトム方式（TOB）、フレームシーケンシャル方式などがある。
　また、本明細書では、補助情報がＴＳに含まれるものとするが、補助情報は補助ストリームに含まれるようにしてもよい。
　図６５および図６６は、補助情報が補助ストリームに含まれる場合の、補助ストリーム内の互換情報と視差画像情報の記述例を示す図である。
　図６５に示すように、互換情報（3DV_view_structure）と視差画像情報(depth_map_structure)は、例えば、補助ストリーム内のSEI（Supplemental Enhancement Information）に配置される。
　視差画像情報(depth_map_structure)としては、図６６に示すように、視差画像（depth map）の数(num_of_depth_map)、視差画像が多重化されているかどうかを表すフラグ(is_frame_packing)、視差画像の多重化方式(frame_packing_mode)、多重化されている視差画像を指定する情報(comb_frame_packing_views)などが記述される。
　なお、図示は省略するが、画像情報は、視差画像ではなく、互換画像および補助画像についての情報であること以外視差画像情報と同様である。
　［符号化装置の処理の説明］
　図６７および図６８は、図６２の符号化装置４４０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。　
　図６７および図６８のステップＳ４５１乃至Ｓ４５９の処理は、図１６および図１７のステップＳ７１乃至Ｓ７９の処理と同様であるので、説明は省略する。
　図６８のステップＳ４６０において、視差画像生成部４４１は、補助画像の視差画像の多重化方式と、互換画像の視差画像および補助画像の視差画像の多重化画像の多重化方式を決定し、その多重化方式を示す情報を視差画像情報生成部５７に供給する。
　ステップＳ４６１において、視差画像情報生成部５７は、視差画像生成部４４１から供給される情報に基づいて、補助画像の視差画像の多重化方式と、互換画像の視差画像および補助画像の視差画像の多重化画像の多重化方式を示す情報などを、視差画像情報として生成し、多重化部５９に入力する。
　ステップＳ４６２において、視差画像生成部４４１は、ステップＳ４６０で決定された多重化方式に基づいて、補助画像の視差画像Ｃ２’と視差画像Ｄ２’を空間方向に多重化し、互換画像の視差画像Ａ２’および視差画像Ｂ２’と補助画像の視差画像の多重化画像を時間方向に多重化する。
　ステップＳ４６３において、視差画像生成部４４１は、ステップＳ４６２の多重化の結果得られる時間多重化画像をエンコーダ４４２に入力する。
　ステップＳ４６４において、エンコーダ４４２の互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
　ステップＳ４６５において、補助用エンコーダ４５１は、画像変換部１４２からの補助画像の多重化画像と視差画像生成部４４１からの時間多重化画像を、3DV方式で符号化する。補助用エンコーダ４５１は、符号化の結果得られる符号化ストリームを補助用ストリームとして多重化部５９に供給する。
　ステップＳ４６６において、多重化部５９は、図１７のステップＳ８６の処理と同様に、互換用エンコーダ１５１から供給される互換ストリームからＴＳ１を生成し、補助用エンコーダ４５１から供給される補助ストリームおよび補助情報からＴＳ２を生成して、多重化し、その結果得られる多重化ストリームを送信する。この多重化ストリームは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
　［復号装置の構成例］
　図６９は、図６２の符号化装置４４０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
　図６９に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図６９の復号装置４６０の構成は、主に、デコーダ１２２、画像生成部１７１の代わりに、デコーダ４６１、画像生成部４６２が設けられている点が図１８の構成と異なる。復号装置４６０は、符号化装置４４０から送信される多重化ストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
　具体的には、復号装置４６０のデコーダ４６１は、互換用デコーダ１３１と補助用デコーダ４７１により構成される。デコーダ４６１の補助用デコーダ４７１は、分離部１２１から供給される補助ストリームに含まれる補助画像の多重化画像と時間多重化画像を、図６２の補助用エンコーダ４５１に対応する方式で復号する。補助用デコーダ４７１は、復号の結果得られる補助画像の多重化画像と時間多重化画像を画像生成部４６２に供給する。
　画像生成部４６２は、視聴者からの表示指令に応じて画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部４６２は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、および時間多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
　より詳細には、画像生成部４６２は、視差画像情報取得部１２５からの視差画像情報に含まれる互換画像の視差画像と補助画像の視差画像の多重化画像の多重化方式としてフレームシーケンシャル方式を示す情報に基づいて、時間多重化画像から、互換画像の視差画像である視差画像Ａ２’および視差画像Ｂ２’、並びに、補助画像の視差画像の多重化画像を分離する。そして、画像生成部４６２は、視差画像情報に含まれる補助画像の視差画像の多重化方式に基づいて、補助画像の視差画像の多重化画像から、視差画像Ｃ２’と視差画像Ｄ２’を分離する。
　さらに、画像生成部４６２は、図１８の画像生成部１７１と同様に、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。また、画像生成部４６２は、画像生成部１７１と同様に、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
　また、画像生成部４６２は、画像生成部１７１と同様に、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部４６２は、画像生成部１７１と同様に、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部４６２は、画像生成部１７１と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　また、画像生成部４６２は、画像生成部１７１と同様に、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ４６１から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部４６２は、画像生成部１７１と同様に、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
　［復号処理の説明］
　図７０は、図６９の復号装置４６０による復号処理を説明するフローチャートである。この復号処理は、例えば、図６２の符号化装置４４０から送信される多重化ストリームが復号装置４６０に入力されたとき、開始される。
　図７０のステップＳ４７１乃至Ｓ４７３の処理は、図１９のステップＳ９１乃至Ｓ９３の処理と同様であるので、説明は省略する。
　ステップＳ４７４において、補助用デコーダ４７１は、補助ストリームから符号化された補助画像の多重化画像と時間多重化画像を抽出し、図２の補助用エンコーダ６２に対応する方式で復号する。補助用デコーダ４７１は、復号の結果得られる補助画像の多重化画像と時間多重化画像を画像生成部１２７に供給し、処理をステップＳ４７５に進める。
　ステップＳ４７５乃至Ｓ４７９の処理は、図１９のステップＳ９５乃至Ｓ９９の処理と同様であるので、説明は省略する。
　ステップＳ４８０において、画像生成部４６２は、ステップＳ４７９で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、および時間多重化画像を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。
　ステップＳ４８１乃至Ｓ４８６の処理は、図１９のステップＳ１０１乃至Ｓ１０６の処理と同様であるので、説明は省略する。
　なお、復号装置４６０との互換性を有する互換ストリームのみを復号可能な復号装置では、3DV Representation Delimiter NAL unitが付加されたＴＳ２が無視され、ステップＳ４８３，Ｓ４８５、およびＳ４８６の処理が行われる。但し、この場合、ステップＳ４８５の処理では、予め決められた多重化方式に基づいて、互換画像の多重化画像が分離される。
　＜第８実施の形態＞
　［符号化装置の第８実施の形態の構成例］
　図７１は、本技術を適用した符号化装置の第８実施の形態の構成例を示すブロック図である。
　図７１に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図７１の符号化装置４８０の構成は、主に、視差画像生成部１４３、エンコーダ１４５、視差画像情報生成部５７の代わりに視差画像生成部４８１、エンコーダ４８２、視差画像情報生成部４８３が設けられている点が図１４の構成と異なる。符号化装置４８０は、互換画像に共通の視差値を表す共通視差画像と補助画像の共通視差画像を符号化する。
　具体的には、符号化装置４８０の視差画像生成部４８１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２と画像Ｂ２の間の各画素の視差を検出し、画像Ｃ２と画像Ｄ２の間の各画素の視差を検出する。視差画像生成部４８１は、画像Ａ２と画像Ｂ２の間の各画素の視差を表す視差値からなる視差画像を、互換画像の共通視差画像ＡＢ２’として生成し、エンコーダ４８２に供給する。また、視差画像生成部４８１は、画像Ｃ２と画像Ｄ２の間の各画素の視差を表す視差値からなる視差画像を、補助画像の共通視差画像ＣＤ２’として生成し、エンコーダ４８２に供給する。
　また、視差画像生成部４８１は、互換画像および補助画像の視差画像が共通視差画像であることを示す情報を視差画像情報生成部４８３に供給する。
　エンコーダ４８２は、互換用エンコーダ１５１と補助用エンコーダ４９１により構成される。補助用エンコーダ４９１は、画像変換部１４２からの補助画像の多重化画像、並びに視差画像生成部４８１からの互換画像の共通視差画像ＡＢ２’および補助画像の共通視差画像ＣＤ２’に対して、3DV方式でアクセスユニット単位の符号化を行う。補助用エンコーダ４９１は、その結果得られる符号化ストリームを補助ストリームとして多重化部５９に供給する。
　視差画像情報生成部４８３は、視差画像生成部５３から供給される情報に基づいて、互換画像と補助画像の視差画像が共通視差画像であることを示す情報などを、視差画像情報として生成し、多重化部５９に供給する。
　［符号化装置の処理の説明］
　図７２および図７３は、図７１の符号化装置４８０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
　図７２のステップＳ４９１乃至Ｓ４９８の処理は、図１６のステップＳ７１乃至Ｓ７８の処理と同様であるので、説明は省略する。
　図７３のステップＳ４９９において、視差画像生成部４８１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２と画像Ｂ２間の各画素の視差と、画像Ｃ２と画像Ｄ２の各画素の視差を検出する。そして、視差画像生成部４８１は、画像Ａ２と画像Ｂ２の間の各画素の視差を表す視差値からなる共通視差画像ＡＢ２’と、画像Ｃ２と画像Ｄ２の間の各画素の視差を表す視差値からなる共通視差画像ＣＤ２’を生成する。
　ステップＳ５００において、視差画像情報生成部４８３は、視差画像生成部４８１から供給される情報に基づいて、互換画像と補助画像の視差画像が共通視差画像であることを示す情報などを、視差画像情報として生成し、多重化部５９に入力する。
　ステップＳ５０１において、視差画像生成部４８１は、ステップＳ４９９で生成された補助画像の共通視差画像ＣＤ２’と互換画像の共通視差画像ＡＢ２’をエンコーダ４８２に入力する。
　ステップＳ５０２において、エンコーダ４８２の互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
　ステップＳ５０３において、補助用エンコーダ４９１は、画像変換部１４２からの補助画像の多重化画像、並びに、視差画像生成部４８１からの互換画像の共通視差画像、および補助画像の共通視差画像を3DV方式で符号化する。補助用エンコーダ４９１は、符号化の結果得られる符号化ストリームを補助用ストリームとして多重化部５９に供給する。
　ステップＳ５０４において、多重化部５９は、互換用エンコーダ１５１から供給される互換ストリームからＴＳ１を生成し、補助用エンコーダ４９１から供給される補助ストリームおよび補助情報からＴＳ２を生成して、多重化し、その結果得られる多重化ストリームを送信する。この多重化ストリームは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
　［復号装置の構成例］
　図７４は、図７１の符号化装置４８０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
　図７４に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図７４の復号装置５００の構成は、主に、デコーダ１２２、画像生成部１７１の代わりに、デコーダ５０１、画像生成部５０２が設けられている点が図１８の構成と異なる。復号装置５００は、符号化装置４８０から送信される多重化ストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
　具体的には、復号装置５００のデコーダ５０１は、互換用デコーダ１３１と補助用デコーダ５１１により構成される。デコーダ５０１の補助用デコーダ５１１は、分離部１２１から供給される補助ストリームに含まれる補助画像の多重化画像、互換画像の共通視差画像ＡＢ２’、および補助画像の共通視差画像ＣＤ２’を、図７１の補助用エンコーダ４９１に対応する方式で復号する。補助用デコーダ５１１は、復号の結果得られる補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を画像生成部５０２に供給する。
　画像生成部５０２は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部５０２は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
　より詳細には、画像生成部５０２は、視差画像情報取得部１２５からの視差画像情報に含まれる互換画像と補助画像の視差画像が共通視差画像であることを示す情報に基づいて、共通視差画像ＡＢ２’と共通視差画像ＣＤ２’をそのままにする。
　また、画像生成部５０２は、図１８の画像生成部１７１と同様に、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。さらに、画像生成部５０２は、画像生成部１７１と同様に、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
　また、画像生成部５０２は、画像生成部１７１と同様に、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部５０２は、各互換画像、各補助画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部５０２は、画像生成部１７１と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　また、画像生成部５０２は、画像生成部１７１と同様に、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ５０１から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部５０２は、画像生成部１７１と同様に、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
　［復号装置の処理の説明］
　図７５は、図７４の復号装置５００による復号処理を説明するフローチャートである。この復号処理は、例えば、図７１の符号化装置４８０から送信される多重化ストリームが復号装置５００に入力されたとき、開始される。
　図７５のステップＳ５１１乃至Ｓ５１３の処理は、図１９のステップＳ９１乃至Ｓ９３の処理と同様であるので、説明は省略する。
　ステップＳ５１４において、補助用デコーダ５１１は、補助ストリームから符号化された補助画像の多重化画像、互換画像の共通視差画像ＡＢ２’、および補助画像の共通視差画像ＣＤ２’を抽出し、図７１の補助用エンコーダ４９１における符号化方式に対応する方式で復号する。補助用デコーダ５１１は、復号の結果得られる補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を画像生成部５０２に供給する。
　ステップＳ５１５乃至Ｓ５１９の処理は、図１９のステップＳ９５乃至Ｓ９９の処理と同様であるので、説明は省略する。
　ステップＳ５１９の処理後、ステップＳ５２０において、画像生成部５０２は、ステップＳ５１９で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２'を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。
　ステップＳ５２１乃至Ｓ５２６の処理は、図１９のステップＳ１０１乃至Ｓ１０６の処理と同様であるので、説明は省略する。
　なお、符号化装置４４０および符号化装置４８０は、符号化装置１４０と同様に２視点の互換画像を多重化して符号化したが、図２２の符号化装置１８０と同様に２視点の互換画像を多重化せずに符号化するようにしてもよい。また、符号化装置４４０および符号化装置４８０は、図２の符号化装置５０と同様に、１視点の互換画像を符号化するようにしてもよい。
　また、符号化装置１４０と符号化装置１８０は、互換画像と補助画像の視差画像を多重化せずに符号化するようにしてもよい。さらに、符号化装置５０は、補助画像の視差画像を多重化せずに符号化するようにしてもよい。
　＜符号化対象の多重化パターンの例＞
　図７６は、互換画像の視点数が２であり、補助画像の視点数が２である場合の、符号化対象の多重化パターンの例を示す図である。
　図７６の（１）に示すように、図１４の符号化装置１４０は、互換画像である画像Ａ２と画像Ｂ２を空間方向に多重化し、AVC方式で符号化する。また、符号化装置１４０は、補助画像である画像Ｃ２と画像Ｄ２、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’、並びに、補助画像の視差画像である視差画像Ｃ２’と視差画像Ｄ２’をそれぞれ空間方向に多重化して、MVC方式に準ずる3DV方式で符号化する。
　なお、符号化装置１４０は、図７６の（２）に示すように、視差画像Ａ２’乃至Ｄ２’を多重化せず、MVC方式に準ずる3DV方式で符号化するようにしてもよい。さらに、図７６の（３）に示すように、図７１の符号化装置４８０は、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’の代わりに、共通視差画像ＡＢ２’を符号化し、補助画像の視差画像である視差画像Ｃ２’と視差画像Ｄ２’の代わりに、共通視差画像ＣＤ２’を符号化する。
　また、図７６の（４）に示すように、図６２の符号化装置４４０は、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’を空間方向に多重化せず、視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像をフレームシーケンシャル方式で多重化し、MVC方式に準ずる3DV方式で符号化する。
　さらに、図７６の（５）に示すように、図２２の符号化装置１８０は、互換画像である画像Ａ２と画像Ｂ２を多重化せずに、画像Ａ２をAVC方式で符号化し、画像Ｂ２を、画像Ａ２をベースビューとしたMVC方式で符号化する。また、符号化装置１８０は、補助画像である画像Ｃ２と画像Ｄ２、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’、並びに、補助画像の視差画像である視差画像Ｃ２’と視差画像Ｄ２’をそれぞれ空間方向に多重化し、MVC方式に準ずる3DV方式で符号化する。
　なお、符号化装置１８０は、図７６の（６）に示すように、視差画像Ａ２’乃至Ｄ２’を多重化せず、MVC方式に準ずる3DV方式で符号化するようにしてもよい。また、符号化装置１８０は、図７６の（７）に示すように、符号化装置４８０と同様に、視差画像Ａ２’と視差画像Ｂ２’の代わりに共通視差画像ＡＢ２’を符号化し、視差画像Ｃ２’と視差画像Ｄ２’の代わりに共通視差画像ＣＤ２’を符号化するようにしてもよい。
　さらに、符号化装置１８０は、図７６の（８）に示すように、符号化装置４４０と同様に、視差画像Ａ２’と視差画像Ｂ２’を空間方向に多重化せず、視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像をフレームシーケンシャル方式で多重化し、MVC方式に準ずる3DV方式で符号化するようにすることもできる。
　図７７は、図７６の（１）乃至（８）に示した多重化パターンでの多重化による効果の特徴を示す図である。
　図７７の表では、効果の項目「互換性」、「画質」、および「データ量」が設けられ、図７６の（１）乃至（８）に示した多重化パターンにおける各項目の効果の度合が表されている。なお、図７７の表において、丸は、効果があることを表し、二重丸は、顕著な効果があることを表す。
　図７６の（１）に示した多重化パターンで多重化が行われる場合、互換画像の多重化方式および符号化方式が既存の方式と同一となり、互換性が確保される。また、視差画像が、互換画像と同様に空間方向に多重化されるので、例えば、復号装置側に用意されている互換画像を分離する分離部を用いて視差画像を分離することができる。従って、復号装置側で視差画像を分離できることが保証される。よって、この場合、互換性において顕著な効果があり、図７７の項目「互換性」に対応して二重丸が記述されている。
　また、図７６の（２）に示した多重化パターンで多重化が行われる場合、互換画像の多重化方式および符号化方式が既存の方式と同一となり、互換性が確保される。また、視差画像の解像度が多重化前の画像と同一の解像度であるので精度が高い。その結果、復号装置において、視差画像を用いて生成される所定の視点の画像の精度が向上する。従って、この場合、互換性と、視差画像を用いて生成される画像の画質とにおいて効果があり、図７７の項目「互換性」と「画質」に対応して丸が記述されている。
　さらに、図７６の（３）に示した多重化パターンで多重化が行われる場合、互換画像の符号化方式および多重化方式が既存の方式と同一となり、互換性が確保される。また、多重化前の画像と同一の解像度の互換画像および補助画像の視差画像のデータ量が、2視点分の視差画像のデータ量に削減される。従って、この場合、互換性とデータ量において効果があり、図７７の項目「互換性」と「データ量」に対応して丸が記述されている。
　また、図７６の（４）に示した多重化パターンで多重化が行われる場合、互換画像の符号化方式および多重化方式が既存の方式と同一となり、互換性が確保される。また、視差画像が時間方向に多重化されるので、各時刻における視差画像のデータ量が、図７６の（３）の場合に比べてより削減され、伝送可能なデータ量が増加する。従って、多重化前の画像と同一の解像度の視差画像を伝送可能なほど伝送帯域に余裕がない状況であっても、多重化前の画像と同一の解像度の視差画像を伝送することができるので、復号装置において、視差画像を用いて生成される所定の視点の画像の精度が向上する。よって、この場合、互換性と視差画像を用いて生成される画像の画質に効果があり、データ量において顕著な効果がある。従って、図７７の項目「互換性」と「画質」に対応して丸が記述され、「データ量」に対応して二重丸が記述されている。
　図７６の（１）乃至（４）に示した多重化パターンでの多重化は、例えば、放送、ATSC（Advanced Television Systems Committee）2.0規格等に準拠したＩＰ（Internet Protocol）と融合した放送である次世代放送、またはインターネット配信のアプリケーション用の画像を符号化対象とするときに行われる。
　さらに、図７６の（５）に示した多重化パターンで多重化が行われる場合、互換画像の符号化方式および多重化方式が既存の方式と同一となり、互換性が確保される。また、各視差画像の解像度が画像の解像度の半分であるので、互換画像および補助画像の視差画像のデータ量が、2視点分の視差画像のデータ量に削減される。従って、この場合、互換性とデータ量に効果があり、図７７の項目「互換性」と「データ量」に対応して丸が記述されている。
　また、図７６の（６）に示した多重化パターンで多重化が行われる場合、図７６の（２）と同様に、互換性が確保されるとともに、復号装置において視差画像を用いて生成される所定の視点の画像の精度が向上する。従って、この場合、互換性と視差画像を用いて生成される画像の画質に効果があり、図７７の項目「互換性」と「画質」に対応して丸が記述されている。
　また、図７６の（７）に示した多重化パターンで多重化が行われる場合、図７６の（３）と同様に、互換性が確保されるとともに、視差画像のデータ量が削減される。従って、この場合、互換性とデータ量に効果があり、図７７の項目「互換性」と「データ量」に対応して丸が記述されている。
　図７６の（８）に示した多重化パターンで多重化が行われる場合、図７６の（４）と同様に、互換性が確保される。また、図７６の（４）と同様に、各時刻における視差画像のデータ量が、図７６の（７）の場合に比べてより削減され、その結果、復号装置において視差画像を用いて生成される所定の視点の画像の精度が向上する。従って、この場合、互換性と視差画像を用いて生成される画像の画質に効果があり、データ量において顕著な効果がある。よって、図７７の項目「互換性」と「画質」に対応して丸が記述され、「データ量」に対応して二重丸が記述されている。
　また、図７６の（５）、（７）、および（８）に示した多重化パターンでの多重化は、例えば、ＢＤ、放送、次世代放送、またはインターネット配信のアプリケーション用の画像を符号化対象とするときに行われる。さらに、図７６の（６）に示した多重化パターンでの多重化は、例えば、ＢＤ、次世代放送、またはインターネット配信のアプリケーション用の画像を符号化対象とするときに行われる。
　図７８は、互換画像の視点数が１であり、補助画像の視点数が２である場合の、符号化対象の多重化パターンの例を示す図である。
　図７８の（１）に示すように、図２の符号化装置５０は、互換画像である画像Ａ１をAVC方式で符号化する。また、符号化装置５０は、補助画像である画像Ｂ１と画像Ｃ１、および、補助画像の視差画像である視差画像Ｂ１’と視差画像Ｃ１’をそれぞれ時間方向に多重化する。そして、符号化装置５０は、互換画像の視差画像である視差画像Ａ１’、補助画像の多重化画像、および補助画像の視差画像の多重化画像を、MVC方式に準ずる3DV方式で符号化する。
　なお、符号化装置５０は、図７８の（２）に示すように、視差画像Ａ１’乃至Ｃ１’を多重化せず、MVC方式に準ずる3DV方式で符号化するようにしてもよい。また、図７８の（３）に示すように、符号化装置５０は、符号化装置４８０と同様に、補助画像の視差画像の多重化画像の代わりに、補助画像である画像Ｂと画像Ｃの共通視差画像ＢＣ１’を符号化するようにすることもできる。
　さらに、図７８の（４）に示すように、符号化装置５０は、符号化装置４４０と同様に、視差画像Ｂ１’と視差画像Ｃ１’を空間方向に多重化せず、視差画像Ａ１’乃至視差画像Ｃ１’をフレームシーケンシャル方式で多重化し、MVC方式に準ずる3DV方式で符号化するようにすることもできる。
　なお、図７８の（１）乃至（４）に示した多重化パターンでの多重化による効果、および、その多重化パターンでの多重化を行うときの符号化対象は、それぞれ、図７６の（５）乃至（８）に示した多重化パターンでの多重化による効果および符号化対象と同様である。但し、図７８の（１）に示した多重化パターンでの多重化では、互換画像の視差画像の解像度は互換画像と同一であるので、この多重化による効果としての視差画像のデータ量の削減は、補助画像の視差画像についてのみの効果である。
　図７９は、互換画像の視点数が２であり、補助画像の視点数が０である場合の、符号化対象の多重化パターンの例を示す図である。
　互換画像の視点数が２であり、補助画像の視点数が０である場合、図７９の（１）に示すように、図１４の符号化装置１４０の場合と同様に、互換画像である画像Ａ２と画像Ｂ２が空間方向に多重化されて、AVC方式で符号化される。また、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’が空間方向に多重化されて、AVC方式に準ずる3DV方式で符号化される。
　なお、図７９の（２）に示すように、視差画像Ａ２’と視差画像Ｂ２’は多重化されず、MVC方式に準ずる3DV方式で符号化されるようにしてもよい。また、図７９の（３）に示すように、符号化装置４８０の場合と同様に、視差画像Ａ２’と視差画像Ｂ２’の代わりに共通視差画像ＡＢ２’が符号化されるようにすることもできる。
　また、図７９の（４）に示すように、符号化装置４４０の場合と同様に、視差画像Ａ２’と視差画像Ｂ２’が、時間方向に多重化されるのではなく、フレームシーケンシャル方式で多重化され、符号化されるようにすることもできる。
　さらに、図７９の（５）に示すように、符号化装置１８０の場合と同様に、互換画像である画像Ａ２と画像Ｂ２が多重化されずに、画像Ａ２がAVC方式で符号化されるとともに、画像Ｂ２が、画像Ａ２をベースビューとしたMVC方式で符号化されるようにすることもできる。
　また、この場合、図７９の（６）に示すように、図７９の（２）と同様に、視差画像が多重化されずに符号化されたり、図７９の（７）に示すように、図７９の（３）と同様に、共通視差画像ＡＢ２’が符号化されたりするようにすることもできる。また、図７９の（８）に示すように、図７９の（４）と同様に、互換画像の視差画像がフレームシーケンシャル方式で多重化され、符号化されるようにすることもできる。
　なお、図７８の（１）乃至（８）に示した多重化パターンでの多重化による効果、および、その多重化パターンでの多重化を行うときの符号化対象は、それぞれ、図７６の（１）乃至（８）に示した多重化パターンでの多重化による効果および符号化対象と同一である。
　また、上述した説明では、フレームシーケンシャル方式で多重化される視差画像の解像度は、多重化前の画像と同一の解像度であったが、多重化前の画像の解像度より低下させるようにしてもよい。また、補助画像も、視差画像と同様にフレームシーケンシャル方式で多重化されるようにしてもよい。
　さらに、上述した説明では、符号化装置において、画像の多重化方式を示す情報と視差画像の多重化方式を示す情報が伝送されたが、図７６、図７８、および図７９に示した多重化パターンを識別する情報を伝送するようにしてもよい。
　また、符号化装置は、符号化対象の画像に対応するアプリケーションを識別するフラグを伝送するようにしてもよい。
　＜第９実施の形態＞
　［符号化装置の第９実施の形態の構成例］
　図８０は、本技術を適用した符号化装置の第９実施の形態の構成例を示すブロック図である。
　図８０に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図８０の符号化装置５２０の構成は、主に、エンコーダ１４５、多重化部５９の代わりにエンコーダ５２３、伝送部５２４が設けられている点、および、多重化部５２１と多重化情報生成部５２２が新たに設けられている点が図１４の構成と異なる。
　符号化装置５２０は、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像をフレームシーケンシャル方式で多重化し、符号化する。
　具体的には、符号化装置５２０の多重化部５２１は、画像変換部１４２による多重化の結果得られる互換画像および補助画像の多重化画像、並びに、視差画像生成部１４３による多重化の結果得られる互換画像および補助画像の視差画像の多重化画像を、フレームシーケンシャル方式で多重化する。
　そして、多重化部５２１は、多重化の結果得られる、１フレーム時間内に、互換画像の多重化画像、互換画像の視差画像の多重化画像、補助画像の多重化画像、および補助画像の視差画像の多重化画像が順に存在する多重化画像を、時間方向多重化画像としてエンコーダ５２３に供給する。
　また、多重化部５２１は、互換画像および補助画像の多重化画像、並びに、互換画像および補助画像の視差画像の多重化画像が、フレームシーケンシャル方式で多重化されていること、時間多重化画像内の画像の配置順等を示す情報を、多重化情報生成部５２２およびエンコーダ５２３に供給する。
　多重化情報生成部５２２は、多重化部５２１から供給される情報に基づいて、その情報などを、互換画像および補助画像、並びに、互換画像および補助画像の視差画像の多重化に関する全体多重化情報として生成し、伝送部５２４に供給する。
　エンコーダ５２３は、互換用エンコーダ５３１と補助用エンコーダ５３２により構成される。エンコーダ５２３は、多重化部５２１から供給される情報に基づいて、多重化部５２１から供給される時間多重化画像のうちの互換画像の多重化画像を指定し、互換画像の多重化画像を互換用エンコーダ５３１に供給する。また、エンコーダ５２３は、多重化部５２１から供給される情報に基づいて、時間多重化画像のうちの補助画像の多重化画像並びに互換画像および補助画像の視差画像の多重化画像を、補助用エンコーダ５３２に供給する。
　エンコーダ５２３の互換用エンコーダ５３１は、時間多重化画像のうちの互換画像の多重化画像に対して、既存のAVC方式でアクセスユニット単位の符号化を行う。補助用エンコーダ５３２は、時間多重化画像のうちの補助画像の多重化画像並びに互換画像および補助画像の視差画像の多重化画像に対して、3DV方式でアクセスユニット単位の符号化を行う。このとき、補助画像の多重化画像は、互換画像の多重化画像を参照して符号化され、補助画像の視差画像の多重化画像は、互換画像の視差画像の多重化画像を参照して符号化される。
　エンコーダ５２３は、互換用エンコーダ５３１または補助用エンコーダ５３２で符号化された結果得られる時間多重化画像の符号化データからなるビットストリームを伝送部５２４に供給する。
　伝送部５２４は、エンコーダ５２３から供給されるビットストリーム、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部１４４からの視点間距離情報、視差画像情報生成部５７からの視差画像情報、多重化情報生成部５２２からの全体多重化情報などを用いて、ＴＳを生成する。多重化部５９は、生成されたＴＳを送信する。
　［符号化装置の処理の説明］
　図８１および図８２は、図８０の符号化装置５２０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
　図８１のステップＳ５３１乃至Ｓ５３７の処理は、図１６のステップＳ７１乃至Ｓ７７の処理と同様であるので、説明は省略する。
　ステップＳ５３７の処理後、ステップＳ５３８において、画像変換部１４２は、互換画像の多重化画像と補助画像の多重化画像を多重化部５２１に入力し、処理を図８２のステップＳ５３９に進める。
　図８２のステップＳ５３９乃至Ｓ５４２の処理は、図１７のステップＳ７９乃至Ｓ８２の処理と同様であるので、説明は省略する。
　ステップＳ５４３の処理後、ステップＳ５４４において、多重化部５２１は、画像変換部１４２による多重化の結果得られる互換画像および補助画像の多重化画像、並びに、視差画像生成部１４３による多重化の結果得られる互換画像および補助画像の視差画像の多重化画像を、フレームシーケンシャル方式で多重化する。多重化部５２１は、多重化の結果得られる多重化画像を、時間方向多重化画像としてエンコーダ５２３に供給する。
　また、多重化部５２１は、互換画像および補助画像の多重化画像並びに視差画像の多重化画像がフレームシーケンシャル方式で多重化されていること、時間多重化画像内の画像の配置順等を示す情報を、多重化情報生成部５２２およびエンコーダ５２３に供給する。
　ステップＳ５４５において、多重化情報生成部５２２は、多重化部５２１から供給される情報に基づいて、その情報などを全体多重化情報として生成し、伝送部５２４に入力する。
　ステップＳ５４６において、互換用エンコーダ５３１は、エンコーダ５２３によって多重化部５２１からの情報に基づいて入力される、時間多重化画像のうちの互換画像の多重化画像を既存のAVC方式で符号化する。
　ステップＳ５４７において、補助用エンコーダ５３２は、エンコーダ５２３によって多重化部５２１からの情報に基づいて入力される、時間多重化画像のうちの補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を、3DV方式で符号化する。エンコーダ５２３は、ステップＳ５４６およびＳ５４７の符号化の結果得られる時間多重化画像の符号化データからなるビットストリームを伝送部５２４に供給する。
　ステップＳ５４８において、伝送部５２４は、エンコーダ５２３からのビットストリーム、補助情報、および多重化情報生成部５２２からの全体多重化情報からＴＳを生成し、送信する。このＴＳは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
　以上のように、符号化装置５２０は、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データから１本のビットストリームを生成する。従って、1本のビットストリームのみを復号可能なデコーダを有する復号装置において、符号化装置５２０により生成されたビットストリームを復号することができる。
　なお、上述した説明では、互換画像の視差画像、補助画像、および補助画像の視差画像が、互換画像の符号化方式に準ずる3DV方式で符号化されるものとしたが、互換画像の符号化方式に準じないMPEG2（Moving Picture Experts Group phase 2）方式等で符号化されるようにしてもよい。
　［復号装置の構成例］
　図８３は、図８０の符号化装置５２０から送信されるＴＳを復号する復号装置の構成例を示す図である。
　図８３に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図８３の復号装置５４０の構成は、主に、分離部１２１、デコーダ１２２、画像生成部１７１の代わりに受信部５４１、デコーダ５４２、画像生成部５４４が設けられている点、および、多重化情報取得部５４３が新たに設けられている点が図１８の構成と異なる。復号装置５４０は、符号化装置５２０から送信されるＴＳに含まれる時間多重化画像のビットストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
　具体的には、復号装置５４０の受信部５４１は、符号化装置５２０から送信されてくるＴＳを受信する。受信部５４１は、ＴＳに含まれる時間多重化画像のビットストリームを抽出し、デコーダ５４２に供給する。また、受信部５４１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、受信部５４１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。また、受信部５４１は、ＴＳに含まれる全体多重化情報を抽出し、多重化情報取得部５４３に供給する。
　デコーダ５４２は、互換用デコーダ５５１と補助用デコーダ５５２により構成される。デコーダ５４２の互換用デコーダ５５１は、受信部５４１から供給されるビットストリームに含まれる互換画像の多重化画像の符号化データをAVC方式に対応する方式で復号し、画像生成部５４４に供給する。
　補助用デコーダ５５２は、受信部５４１から供給されるビットストリームに含まれる補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データを、図８０の補助用エンコーダ５３２における符号化方式に対応する方式で復号する。補助用デコーダ５５２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を画像生成部５４４に供給する。
　多重化情報取得部５４３は、受信部５４１から供給される全体多重化情報を取得し、画像生成部５４４に供給する。
　画像生成部５４４は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。具体的には、画像生成部５４４は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報、多重化情報取得部５４３からの全体多重化情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
　より詳細には、画像生成部５４４は、多重化情報取得部５４３からの全体多重化情報に基づいて、補助用デコーダ５５２から供給される補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を識別する。また、画像生成部５４４は、図１８の画像生成部１７１と同様に、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。また、画像生成部５４４は、画像生成部１７１と同様に、視差画像情報に含まれる互換画像の視差画像の多重化方式を示す情報に基づいて、互換画像の視差画像の多重化画像から、各互換画像の視差画像を分離する。
　さらに、画像生成部５４４は、画像生成部１７１と同様に、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。また、画像生成部５４４は、画像生成部１７１と同様に、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
　また、画像生成部５４４は、画像生成部１７１と同様に、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部５４４は、画像生成部１７１と同様に、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部５４４は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
　このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
　また、画像生成部５４４は、画像生成部１７１と同様に、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ５４２から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部５４４は、画像生成部１７１と同様に、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
　［復号装置の処理の説明］
　図８４は、図８３の復号装置５４０による復号処理を説明するフローチャートである。この復号処理は、例えば、図８０の符号化装置５２０から送信されるＴＳが復号装置５４０に入力されたとき、開始される。
　図８４のステップＳ５５１において、復号装置５４０の受信部５４１は、符号化装置５２０から送信されてくるＴＳを受信する。受信部５４１は、ＴＳに含まれるビットストリームを抽出し、デコーダ５４２に供給する。また、受信部５４１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、受信部５４１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。また、受信部５４１は、ＴＳに含まれる全体多重化情報を抽出し、多重化情報取得部５４３に供給する。
　ステップＳ５５２において、画像生成部５４４は、図１９のステップＳ９２の処理と同様に、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ５５２で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ５５３に進む。
　ステップＳ５５３において、デコーダ５４２の互換用デコーダ５５１は、受信部５４１から供給されるビットストリームから互換画像の多重化画像の符号化データを抽出し、AVC方式に対応する方式で復号する。そして、互換用デコーダ５５１は、復号の結果得られる互換画像の多重化画像を画像生成部５４４に供給する。
　ステップＳ５５４において、補助用デコーダ５５２は、受信部５４１から供給されるビットストリームから補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データを抽出し、図８０の補助用エンコーダ５３２に対応する方式で復号する。補助用デコーダ５５２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を画像生成部５４４に供給し、処理をステップＳ５５５に進める。
　ステップＳ５５５乃至Ｓ５５８の処理は、図１９のステップＳ９５乃至Ｓ９８の処理と同様であるので、説明は省略する。
　ステップＳ５５８の処理後、ステップＳ５５９において、多重化情報取得部５４３は、受信部５４１から供給される全体多重化情報を取得し、画像生成部５４４に入力する。
　ステップＳ５６０において、画像生成部５４４は、図１９のステップＳ９９の処理と同様に、視点間距離情報取得部１２４からの視点間距離情報と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。
　ステップＳ５６１において、画像生成部５４４は、ステップＳ５６０で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報、多重化情報取得部５４３からの全体多重化情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。そして、処理はステップＳ５６２に進む。
　ステップＳ５６２乃至Ｓ５６７の処理は、図１９のステップＳ１０１乃至Ｓ１０６の処理と同様であるので、説明は省略する。但し、ステップＳ５６４の処理では、互換用デコーダ５５１は、互換ストリームではなく、受信部５４１から供給されるビットストリームから互換画像の多重化画像を抽出する。
　なお、復号装置５４０との互換性を有する互換画像のみを復号可能な復号装置では、処理可能な互換画像の符号化データ以外の符号化データが無視され、ステップＳ５６４，Ｓ５６６、およびＳ５６７の処理が行われる。但し、この場合、ステップＳ５６６の処理では、予め決められた多重化方式に基づいて、互換画像の多重化画像が分離される。
　以上のように、復号装置５４０は、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データから生成された１本のビットストリームを復号することができる。
　＜第５実施の形態におけるビットストリームの他の例＞
　［ビットストリームの他の構成例］
　図８５は、第５実施の形態で生成されるアクセスユニット単位のビットストリームの他の構成例を示す図である。
　なお、図８５の例では、互換画像が1920×1080画素のＬ画像とＲ画像であり、補助画像が1920×1080画素のＯ画像である。また、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のサイズは、960×1080画素である。さらに、Ｌ画像はAVC方式で符号化され、Ｒ画像はMVC方式で符号化され、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像は3DV方式で符号化される。また、Ｌ画像、Ｒ画像、Ｏ画像、Ｌ視差画像、Ｒ視差画像、Ｏ視差画像のビューＩＤは、それぞれ、0,1,2,3,4,5である。なお、ビューＩＤとは、各視点の画像および視差画像に固有のＩＤである。
　図８５に示すように、アクセスユニット単位のビットストリームには、例えば、先頭から順に、アクセスユニットデリミタ(AUD)，SPS、画像用のMVC方式のSubset SPS（Subset SPS1）、視差画像用の3DV方式のSubset SPS（Subset SPS2）,PPS,AVC方式のSEI,MVC方式のSEI,3DV方式のSEI、符号化データのNALユニットが配置される。
　アクセスユニットデリミタのNALユニットは、アクセスユニットの境界を表すNALユニットである。SPSのNALユニットは、AVC方式で定義されるプロファイルのうちのＬ画像のプロファイルを表すprofile_idc（図８５の例では100）を含むSPSのNALユニットである。画像用のSubset SPSのNALユニットは、MVC方式で定義されるプロファイルのうちのＲ画像およびＯ画像のプロファイルを表すprofile_idc（図８５の例では128）を含むSubset SPSのNALユニットである。視差画像用のSubset SPSのNALユニットは、3DV方式で視差画像用のプロファイルとして定義されるプロファイルのうちの、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のプロファイルを表すprofile_idc（図８５の例では138）を含むSubset SPSのNALユニットである。
　AVC方式のSEIのNALユニットは、Ｌ画像のSEIのNALユニットである。MVC方式のSEIのNALユニットは、Ｌ画像とR画像のSEIのNALユニットである。3DV方式のSEIのNALユニットは、Ｌ画像、Ｒ画像、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のSEIのNALユニットである。
　符号化データのNALユニットとしては、先頭から順に、Ｌ画像の符号化データ、デリミタ（MVC DD）、Ｒ画像の符号化データ、デリミタ（3DV DD）、O画像の符号化データ、デリミタ（3DV DD）、Ｌ視差画像の符号化データ、デリミタ（3DV DD）、Ｒ視差画像の符号化データ、デリミタ（3DV DD）、Ｏ視差画像の符号化データのNALユニットが配置される。
　Ｌ画像の符号化データのNALユニットには、NALユニットのタイプとして1または5を含むNALヘッダが付加される。また、デリミタ（MVC DD）のNALユニットは、MVC方式の符号化データの先頭を表すNALユニットである。Ｒ画像の符号化データのNALユニットには、NALユニットのタイプとして20を含むNALヘッダが付加される。また、デリミタ（3DV DD）のNALユニットは、3DV方式の符号化データの先頭を表すNALユニットである。また、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像の符号化データのNALユニットには、NALユニットのタイプとして21を含むNALヘッダが付加される。
　［視差画像用の3DV方式のSubset SPSの記述例］
　図８６は、図８５の視差画像用の3DV方式のSubset SPSの記述例を示す図である。
　図８６に示すように、視差画像用の3DV方式のSubset SPSには、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のプロファイルを表すprofile_idc（図８６の例では138）を含むSPS（seq_parameter_set_data）と、3DV方式で定義されているprofile_idcごとの情報とが記述されている。
　具体的には、視差画像用の3DV方式のSubset SPSには、profile_idcが138であるときの情報として、視差画像用拡張情報（seq_parameter_set_depth_extension）、視差画像用VUI拡張情報が含まれるかどうかを表す視差画像用VUI情報フラグ（depth_vui_parameters_present_flag）等が記述される。また、視差画像用VUI情報フラグが、視差画像用VUI拡張情報が含まれることを表す場合には、視差画像用VUI拡張情報（depth_vui_parameters__extension）も記述される。
　なお、視差画像用の3DV方式のSubset SPSを復号時に参照する場合、即ち、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像を復号する場合、IDRピクチャの復号時と同様に、参照画像はリセットされる。
　図８７は、図８６の視差画像用拡張情報の記述例を示す図である。
　図８７に示すように、視差画像用拡張情報は、MVC方式のSubset SPS内の拡張情報（seq_parameter_set_mvc_extension）と同様に記述される情報と、各視差画像に対応する画像のビューＩＤ（ref_view_id）とからなる。
　なお、図８７では、MVC方式のSubset SPS内の拡張情報と同様に記述される情報は展開されて視差画像用拡張情報に含められる。従って、各視差画像のビューＩＤ（view_id）と、各視差画像に対応する画像のビューＩＤとを、視差画像ごとにまとめて記述することができる。即ち、視差画像の数を表す情報（num_views_minus1）を記述し、その数だけ、視差画像のビューＩＤと、その視差画像に対応する画像のビューＩＤを読み出させる記述を行うことができる。
　これに対して、MVC方式のSubset SPS内の拡張情報と同様に記述される情報が展開されずに視差画像用拡張情報に含められる場合、視差画像用拡張情報のほかに、視差画像の数を表す情報を記述し、その数だけ、視差画像に対応する画像のビューＩＤを読み出させる記述を行う必要がある。その結果、視差画像の数を表す情報の記述と、その数だけ情報を読み出させる記述が重複する。
　従って、図８７に示すように、MVC方式のSubset SPS内の拡張情報と同様に記述される情報が展開されて視差画像用拡張情報に含められる場合、その情報が展開されずに視差画像用拡張情報に含められる場合に比べて、視差画像用拡張情報のデータ量を削減することができる。
　図８８は、図８６の視差画像用VUI拡張情報の記述例を示す図である。
　図８８に示すように、視差画像用VUI拡張情報は、以下の点を除いて、MVC方式のVUI拡張情報（mvc_vui_parameters__extension）と同様に記述される。即ち、視差画像用VUI情報には、視差画像の各画素の、その視差画像に対応する画像上の位置のタイプを表す位置タイプが含まれるかどうかを表す位置タイプフラグ(depth_loc_info_present_flag)と解像度変換前の視差画像のサイズを表す変換前サイズ情報が含まれるかどうかを表す変換前サイズ情報フラグ(video_src_info_present_flag)が含まれる。また、位置タイプフラグが、位置タイプが含まれることを表す場合、視差画像用VUI情報には位置タイプも含まれ、変換前サイズ情報フラグが、変換前サイズ情報が含まれることを表す場合、視差画像用VUI情報には変換前サイズ情報も含まれる。
　位置タイプは、トップフィールドの位置タイプ(depth_sample_loc_type_top_field)とボトムフィールドの位置タイプ(depth_sample_loc_type_bottom_field)からなる。トップフィールドおよびボトムフィールドの位置タイプは、それぞれ、MVC方式のVUI拡張情報に含まれるトップフィールドの位置タイプ(chroma_sample_loc_type_top_field)やボトムフィールドの位置タイプ(chroma_sample_loc_type_bottom_field)と同様に記述される。
　また、変換前サイズ情報は、解像度変換前の視差画像の横方向のマクロブロック数を表す情報（pic_width_in_mbs_minus1）および縦方向のマクロブロック数を表す情報（pic_height_in_mbs_minus1）、アスペクト比を表すアスペクト情報が含まれるかどうかを表すアスペクト比フラグ(aspect_ratio_info_present_flag)等により構成される。なお、アスペクト比フラグが、アスペクト情報が含まれることを表す場合、変換前サイズ情報にはアスペクト情報も含まれる。
　アスペクト情報は、アスペクト比に固有のＩＤであるアスペクト比ＩＤ（aspect_ratio_idc）等からなる。なお、このアスペクト比ＩＤは、予め定義されているアスペクト比に付与されるほか、定義されていないアスペクト比全体に対しても付与される。そして、アスペクト情報に含まれるアスペクト比ＩＤが、定義されていないアスペクト比全体に対して付与されたアスペクト比ＩＤ（Extended_SAR）である場合、アスペクト情報には、解像度変換前の視差画像のアスペクト比における横方向の値（sar_width）と縦方向の値(sar_height)も含まれる。
　［3DV方式の符号化データのNALヘッダの記述例］
　図８９は、NALユニットタイプとして21を含む、3DV方式の符号化データのNALユニットのNALヘッダの記述例を示す図である。
　図８９に示すように、3DV方式の符号化データのNALヘッダには、NALユニットタイプが21であるときの情報として、視差画像用ヘッダ拡張情報が含まれているかどうかを表す視差画像用ヘッダ拡張情報フラグ（depth_extension_flag）等が記述される。ここで、視差画像用ヘッダ拡張情報は、3DV方式の視差画像の符号化データのNALヘッダに記述されるものであり、視差画像用ヘッダ拡張情報フラグは、上述した視差フラグと同様のものである。
　視差画像用ヘッダ拡張情報フラグが、視差画像用ヘッダ拡張情報が含まれていることを表す場合、3DV方式の符号化データのNALヘッダには、視差画像用ヘッダ拡張情報（nal_unit_header_depth_extension）も記述される。一方、視差画像用ヘッダ拡張情報フラグが、視差画像用ヘッダ拡張情報が含まれていないことを表す場合、3DV方式の符号化データのNALヘッダには、MVC方式用ヘッダ拡張情報（nal_unit_header_mvc_extension）も記述される。
　図９０は、図８９の視差画像用ヘッダ拡張情報の記述例を示す図である。
　図９０に示すように、視差画像用ヘッダ拡張情報は、視差画像に対応する画像のビューＩＤ（ref_view_id）を含む点を除いて、MVC方式用ヘッダ拡張情報と同様に構成される。
　［3DV方式のSEIの記述例］
　図９１は、図８５の3DV方式のSEIの記述例を示す図である。
　図９１に示すように、3DV方式のSEIは、MVC方式のSEIと同様に、SEIのメッセージが記述される。
　即ち、3DV方式のSEIには、オペレーションポイントを指定するかどうかを表すオペレーションポイントフラグ（operation_point_flag）が記述され、オペレーションポイントフラグが、オペレーションポイントを指定しないことを表す場合、アクセスユニット内の全ての画像および視差画像にSEIのメッセージを適応するかどうかを表す全コンポーネントフラグ（all_view_components_in_au_flag）が記述される。また、全コンポーネントフラグが、アクセスユニット内の全ての画像および視差画像に適応しないことを表す場合、SEIのメッセージを適応する画像および視差画像のビューＩＤの数（num_view_components_minus1）とビューＩＤ(sei_view_id)が記述される。
　一方、オペレーションポイントフラグが、オペレーションポイントを指定することを表す場合、SEIのメッセージを適応するオペレーションポイントのうちの適応対象の画像および視差画像のビューＩＤ(sei_op_view_id)と、そのオペレーションポイントの番号(sei_op_temporal_id)とが記述される。そして、SEIのメッセージ(sei_rbsp)が記述される。なお、3DV方式のSEIでは、複数のSEIのメッセージを記述することが可能である。また、SEIのメッセージとしては、上述した視差情報等が記述される。
　なお、図８５の例では、Ｒ画像とＯ画像のプロファイルが同一であるものとしたが、異なるようにすることもできる。
　[ビットストリームのさらに他の構成例]
　図９２は、図８５においてＲ画像とＯ画像のプロファイルが異なる場合のアクセスユニット単位のビットストリームの構成例を示す図である。
　図９２のビットストリームの構成は、画像用のMVC方式のSubset SPSと視差画像用の3DV方式のSubset SPSのほかに、画像用の3DV方式のSubset SPSが配置される点が、図８５のビットストリームの構成と異なっている。
　画像用のMVC方式のSubset SPSのNALユニット（Subset SPS1）は、MVC方式で定義されるプロファイルのうちのＲ画像のプロファイルを表すprofile_idc（図９２の例では128）を含むSubset SPSのNALユニットである。画像用の3DV方式のSubset SPS（Subset SPS2）のNALユニットは、3DV方式で画像用のプロファイルとして定義されるプロファイルのうちのＯ画像のプロファイルを表すprofile_idc（図９２の例では148）を含むSubset SPSのNALユニットである。視差画像用のSubset SPS（Subset SPS3）のNALユニットは、3DV方式で視差画像用のプロファイルとして定義されるプロファイルのうちの、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のプロファイルを表すprofile_idc（図９２の例では138）を含むSubset SPSのNALユニットである。
　[画像用の3DV方式のSubset SPSの記述例]
　図９３は、図９２の画像用の3DV方式のSubset SPSの記述例を示す図である。
　図９３に示すように、画像用の3DV方式のSubset SPSは、画像Ｏのプロファイルを表すprofile_idc（図９３の例では148）を含むSPS（seq_parameter_set_data）と、3DV方式で定義されているprofile_idcごとの情報とが記述されている。
　具体的には、画像用の3DV方式のSubset SPSには、profile_idcが148であるときの情報として、MVC方式のSubset SPSと同様に、MVC方式の拡張情報（seq_parameter_set_mvc_extension）、MVC方式のVUI拡張情報が含まれるかどうかを表すMVC方式VUI情報フラグ（mvc_vui_parameters_present_flag）等が記述される。また、MVC方式VUI情報フラグが、MVC方式のVUI拡張情報が含まれることを表す場合には、MVC方式のVUI拡張情報（mvc_vui_parameters_extension）も記述される。また、profile_idcが138であるときの情報としては、図８６と同様の情報が記述される。
　なお、第５実施の形態では、3DV方式がAVC方式やMVC方式に準じた多視点方式での表示用の画像を符号化するための方式であるものとしたが、3DV方式は、HEVC（High Efficiency Video Coding）方式に準じた多視点方式での表示用の画像を符号化するための方式であるようにしてもよい。この場合のビットストリームについて以下に説明する。なお、本明細書では、HEVC方式が、HEVC Working Draft:Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J. Sullivian,“WD3:Working Draft3 of High-Efficiency Video Coding”,JCTVc-E603_d5(version5),2011年5月20日の記載に基づくものであるとする。
　＜3DV方式がHEVC方式に準じた方式である場合のビットストリーム＞
　[ビットストリームの構成例]
　図９４は、3DV方式がHEVC方式に準じた方式である場合のアクセスユニット単位のビットストリームの構成例を示す図である。
　なお、図９４の例では、図８５の例と同様のＬ視点画像、Ｒ視点画像、およびＯ視点画像が符号化対象とされ、Ｌ画像がAVC方式で符号化され、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像が3DV方式で符号化される。
　図９４のビットストリームは、画像用の3DV方式のSubset SPS（Subset SPS1）と視差画像用の3DV方式のSubset SPS（Subset SPS2）をSPS内に記述可能である点、HEVC方式のSEIと3DV方式のSEIのNALユニットに、それぞれ別のNALユニットのタイプを含むNALヘッダが付加される点が、図８５のビットストリームと異なっている。
　図９４のビットストリームでは、画像用の3DV方式のSubset SPSと視差画像用の3DV方式のSubset SPSをSPS内にのみ記述させたり、SPSとは別に記述させたり、SPSに記述させるとともにSPSとは別に記述させたりすることができる。なお、画像用の3DV方式のSubset SPSと視差画像用の3DV方式のSubset SPSが、SPSと別に記述されることは、BD規格に準拠して、HEVC方式の符号化データと3DV方式の符号化データを別のES（Elementary Stream）として生成する場合に好適である。
　また、図９４のビットストリームでは、HEVC方式のSEIのNALユニットと3DV方式のSEIのNALユニットに付加されるNALヘッダに含まれるNALユニットのタイプが異なるため、復号時にHEVC方式のSEIや3DV方式のSEIのNALユニットを容易に抽出することができる。
　[SPSの記述例]
　図９５は、図９４のSPSの記述例を示す図である。
　図９５のSPSの記述は、Subset SPSの情報が含まれるかどうかを表すSubset SPS情報フラグ（subset_seq_present_flag）が記述される点、および、Subset SPS情報フラグがSubset SPSの情報が含まれることを表す場合にSubset SPSの情報が記述される点を除いて、HEVC方式のSPSの記述と同様である。
　図９５に示すように、Subset SPSの情報は、Subset SPSの数(num_subset_seq)と、Subset SPSを含むかどうかを表すSubset SPSフラグ(subset_seq_info_present_flag)を含む。また、Subset SPSフラグが、Subset SPSを含むことを表す場合、Subset SPSの情報には、Subset SPS(subset_seq_parameter_set_data)も含まれる。
　以上のように、Subset SPSの情報としてSubset SPSの数が記述されるので、復号時にSPSの記述を読み出すだけで、Subset SPSが存在するかどうかを認識することができる。また、Subset SPSフラグが記述されるので、Subset SPSをSPS内に記述せずにSPSとは別に記述することができ、Subset SPSの記述の重複を防止することができる。
　[Subset SPSの記述例]
　図９６は、図９５のSubset SPSの記述例を示す図である。
　図９６のSubset SPSの記述は、Subset SPSを適応する画像および視差画像のビューＩＤの数（num_subset_seq_views）、Subset SPSの適応対象が視差画像であるかどうかを表す視差画像用フラグ（depth_extension_flag）、およびSubset SPSの適応時にSPSを無効にするかどうかを表す無効フラグ（seq_param_override_flag）が記述される点を除いて、HEVC方式のSPSの記述と同様である。
　視差画像用フラグが、Subset SPSの適応対象が視差画像であることを表す場合、Subset SPSには、適応対象の視差画像に対応する画像のビューＩＤ（ref_view_id）が記述される。また、無効フラグが、Subset SPSの適応時にSPSを無効にすることを表す場合、Subset SPSには、SPSと同様に、プロファイルを表す情報(subset_seq_profile_idc)等が記述される。
　また、Subset SPSの記述のうちのSPSの記述と同様の記述としては、例えば、適応する画像および視差画像がクロッピングされているかどうかを表す情報（subset_seq_frame_cropping_flag）、VUI情報（subset_seq_vui_parameters）を含むかどうかを表すVUI情報フラグ（subset_seq_vui_parameters_present_flag）等がある。VUI情報フラグがVUI情報を含むことを表す場合、SPSと同様にVUI情報も記述される。一方、VUI情報フラグがVUI情報を含まないことを表す場合、SPSと同様にVUI情報が記述されない。この場合、VUI情報としてはSPSのVUI情報が適応される。
　[Subset SPSのVUI情報の記述例]
　図９７は、図９６のSubset SPSのVUI情報の記述例を示す図である。
　図９７のSubset SPSのVUI情報の記述は、適応対象の変換前サイズ情報が含まれるかどうかを表す変換前サイズ情報フラグ(video_src_info_present_flag)が記述される点を除いて、HEVC方式のSPSのVUI情報の記述と同様である。
　なお、変換前サイズ情報フラグが適応対象の変換前サイズ情報が含まれることを表す場合、図９７のVUI情報には、変換前サイズ情報が記述される。即ち、解像度変換前の適応対象の横方向のマクロブロック数を表す情報（src_pic_width_in_mbs_minus1）および縦方向のマクロブロック数を表す情報（src_pic_height_in_mbs_minus1）、アスペクト比を表すアスペクト情報が含まれるかどうかを表すアスペクト比フラグ(src_aspect_ratio_info_present_flag)等が記述される。
　そして、アスペクト比フラグが、アスペクト情報が含まれることを表す場合、変換前サイズ情報には、アスペクト比ＩＤ（src_aspect_ratio_idc）等からなるアスペクト情報も含まれる。そして、アスペクト情報に含まれるアスペクト比ＩＤが、定義されていないアスペクト比全体に対して付与されたアスペクト比ＩＤ（Extended_SAR）である場合、アスペクト情報には、解像度変換前の適応対象のアスペクト比における横方向の値（sar_width）と縦方向の値(sar_height)も含まれる。
　なお、図９７のSubset SPSのVUI情報は、SPSのVUI情報と異なる点だけ記述されるようにしてもよい。この場合、Subset SPSのVUI情報のうちの記述されない情報については、SPSのVUI情報に含まれる情報が適用される。
　[SEIの記述例]
　図９８は、図９４の3DV方式のSEIの記述例を示す図である。
　図９８の3DV方式のSEIの記述は、SEIメッセージのタイプ（nesting_type）、全コンポーネントフラグ（all_view_components_in_au_flag）等が記述される点を除いて、SEIメッセージのタイプのSEIメッセージの記述と同様である。
　SEIメッセージのタイプとしては、MVC方式のSEIメッセージ、3DV方式のSEIメッセージ、ユーザにより定義されたSEIメッセージなどがある。また、全コンポーネントフラグが、アクセスユニット内の全ての画像および視差画像に適応しないことを表す場合、3DV方式のSEIには、SEIのメッセージを適応する画像および視差画像のビューＩＤの数（num_view_components_minus1）と、その数だけのビューＩＤ(nesting_sei_view_id)も記述される。
　なお、第５実施の形態以外の形態のビットストリーム（符号化ストリーム）も、図８５乃至図９８で説明したビットストリームと同様に生成されてもよい。
　＜第１０実施の形態＞
　[本技術を適用したコンピュータの説明]
　次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　そこで、図９９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
　プログラムは、コンピュータに内蔵されている記録媒体としての記憶部６０８やROM（Read Only Memory）６０２に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブルメディア６１１に格納（記録）しておくことができる。このようなリムーバブルメディア６１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア６１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブルメディア６１１からドライブ６１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部６０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)６０１を内蔵しており、CPU６０１には、バス６０４を介して、入出力インタフェース６０５が接続されている。
　CPU６０１は、入出力インタフェース６０５を介して、ユーザによって、入力部６０６が操作等されることにより指令が入力されると、それに従って、ROM６０２に格納されているプログラムを実行する。あるいは、CPU６０１は、記憶部６０８に格納されたプログラムを、RAM(Random Access Memory)６０３にロードして実行する。
　これにより、CPU６０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU６０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース６０５を介して、出力部６０７から出力、あるいは、通信部６０９から送信、さらには、記憶部６０８に記録等させる。
　なお、入力部６０６は、キーボードや、マウス、マイク等で構成される。また、出力部６０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　本技術は、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置および復号装置に適用することができる。
　また、上述した符号化装置および復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。
　＜第１１実施の形態＞
　［テレビジョン装置の構成例］
　図１００は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
　チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
　デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
　デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
　映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
　表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
　音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
　外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
　制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
　制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
　なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
　このように構成されたテレビジョン装置では、デマルチプレクサ９０３およびデコーダ９０４に本願の復号装置（復号方法）の機能が設けられる。このため、既存の方式との互換性を有する方式で多重化された多視点の画像を分離することができる。
　＜第１２実施の形態＞
　［携帯電話機の構成例］
　図１０１は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
　また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
　携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
　音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
　また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
　なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
　データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
　多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
　このように構成された携帯電話装置では、画像処理部９２７および多重分離部９２８に本願の復号装置（復号方法）の機能が設けられる。このため、画像データの通信において、既存の方式との互換性を有する方式で多重化された多視点の画像を分離することができる。
　＜第１３実施の形態＞
　［記録再生装置の構成例］
　図１０２は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
　記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
　チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
　外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
　エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームを多重化してセレクタ９４６に出力する。
　ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
　ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ－Ｖｉｄｅｏ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ－ｒａｙディスク等である。
　セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
　デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
　ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
　制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
　制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
　このように構成された記録再生装置では、エンコーダ９４３に本願の符号化装置（符号化方法）の機能が設けられる。このため、多視点の画像に対して、既存の方式との互換性を有する方式で多重化を行うことができる。
　＜第１４実施の形態＞
　［撮像装置の構成例］
　図１０３は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
　撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
　光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
　カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
　画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理および多重化処理を行う。画像データ処理部９６４は、符号化処理および多重化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの分離処理および復号化処理を行う。画像データ処理部９６４は、分離処理および復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
　ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
　外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
　メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
　また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
　制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
　このように構成された撮像装置では、画像データ処理部９６４に本願の復号装置（復号方法）の機能が設けられる。このため、メモリ部９６７や記録メディア等に記録された符号化データを復号化して復号画像データを生成するとき、既存の方式との互換性を有する方式で多重化された多視点の画像を分離することができる。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　５０　符号化装置，　５９　多重化部，　６１　互換用エンコーダ，　６２　補助用エンコーダ，　１２０　復号装置，　１２１　分離部，　１２７　画像生成部，　１３１　互換用デコーダ，　１３２　補助用デコーダ，　１４０　符号化装置，　１５１　互換用エンコーダ，　１５２　補助用エンコーダ，　１７０　復号装置，　１７１　画像生成部，　１８０　符号化装置，　１９１　互換用エンコーダ，　２００　復号装置，　２０２　画像生成部，　２１１　互換用デコーダ

Claims (30)

  1. 　多視点の画像から互換画像を指定し、指定した前記互換画像をアクセスユニット単位で符号化して、第１の符号化ストリームを生成する互換画像符号化部と、
    　前記互換画像から多視点画像を生成する際に用いる補助画像をアクセスユニット単位で符号化して、第２の符号化ストリームを生成する補助画像符号化部と、
    　ユニットの境界を示す境界情報を設定する設定部と、
    　前記互換画像符号化部により生成された前記第１の符号化ストリームと、前記設定部により設定された前記境界情報と、前記補助画像符号化部により符号化された前記第２の符号化ストリームとを伝送する伝送部と
    　を備える符号化装置。
  2. 　前記伝送部は、前記設定部により設定された前記境界情報を、前記第２の符号化ストリームに付加する
    　請求項１に記載の符号化装置。
  3. 　前記伝送部は、前記設定部により設定された前記境界情報を、前記第２の符号化ストリームのアクセスユニットの先頭に付加する
    　請求項２に記載の符号化装置。
  4. 　前記互換画像が２視点の画像である場合、前記第１の符号化ストリームは、符号化された前記互換画像のうちの一方の視点の画像からなり、前記第２の符号化ストリームは、他方の視点の画像と符号化された前記補助画像からなる
    　請求項３に記載の符号化装置。
  5. 　前記互換画像と前記補助画像から前記多視点画像を生成する際に用いる補助情報を符号化して、第３の符号化ストリームを生成する補助情報符号化部
    　をさらに備え、
    　前記設定部は、前記補助情報を設定し、
    　前記伝送部は、前記補助情報符号化部により生成された前記第３の符号化ストリームを伝送する
    　請求項１に記載の符号化装置。
  6. 　前記伝送部は、前記設定部により設定された前記境界情報を、前記第３の符号化ストリームに付加する
    　請求項５に記載の符号化装置。
  7. 　前記伝送部は、前記設定部により設定された前記境界情報を、前記第３の符号化ストリームのアクセスユニットの先頭に付加する
    　請求項６に記載の符号化装置。
  8. 　前記互換画像の視差を示す互換視差画像を符号化して第１の視差符号化ストリームを生成し、前記補助画像の視差を示す補助視差画像を符号化して第２の視差符号化ストリームを生成する視差符号化部
    　をさらに備え、
    　前記伝送部は、前記視差符号化部により生成された前記第１の視差符号化ストリームと前記第２の視差符号化ストリームとを伝送する
    　請求項１に記載の符号化装置。
  9. 　前記伝送部は、前記第２の符号化ストリームと、前記第１の視差符号化ストリームと、前記第２の視差符号化ストリームとをそれぞれ前記ユニットとして設定し、設定した前記ユニットに前記境界情報を付加する
    　請求項８に記載の符号化装置。
  10. 　前記伝送部は、前記第２の符号化ストリームと前記第１の視差符号化ストリームと前記第２の視差符号化ストリームとをまとめて前記ユニットとして設定し、設定した前記ユニットに前記境界情報を付加する
    　請求項８に記載の符号化装置。
  11. 　前記伝送部は、前記第２の符号化ストリームと、前記第１の視差符号化ストリームおよび前記第２の視差符号化ストリームとをそれぞれ前記ユニットとして設定し、設定した前記ユニットに前記境界情報を付加する
    　請求項８に記載の符号化装置。
  12. 　前記設定部は、視差画像であることを示す視差識別情報を設定し、
    　前記伝送部は、前記第１の視差符号化ストリームと前記第２の視差符号化ストリームに、前記設定部により設定された前記境界情報と前記視差識別情報とを付加する
    　請求項８に記載の符号化装置。
  13. 　前記設定部は、前記互換画像を識別する互換画像識別情報と前記補助画像を識別する補助画像識別情報を設定し、
    　前記伝送部は、前記第１の視差符号化ストリームに前記互換画像識別情報を付加し、前記第２の視差符号化ストリームに前記補助画像識別情報を付加する
    　請求項１２に記載の符号化装置。
  14. 　前記設定部は、前記視差画像の各画素の視差値が正規化されていることを示す正規化識別情報を設定し、
    　前記伝送部は、前記設定部により設定された前記正規化識別情報を伝送する
    　請求項１２に記載の符号化装置。
  15. 　符号化装置が、
    　多視点の画像から互換画像を指定し、指定した前記互換画像をアクセスユニット単位で符号化して、第１の符号化ストリームを生成する互換画像符号化ステップと、
    　前記互換画像から多視点画像を生成する際に用いる補助画像をアクセスユニット単位で符号化して、第２の符号化ストリームを生成する補助画像符号化ステップと、
    　ユニットの境界を示す境界情報を設定する設定ステップと、
    　前記互換画像符号化ステップの処理により生成された前記第１の符号化ストリームと、前記設定ステップの処理により設定された前記境界情報と、前記補助画像符号化ステップの処理により符号化された前記第２の符号化ストリームとを伝送する伝送ステップと
    　を含む符号化方法。
  16. 　多視点の画像から指定された互換画像がアクセスユニット単位で符号化された結果得られる第１の符号化ストリームと、ユニットの境界を示す境界情報と、前記互換画像から多視点画像を生成する際に用いる補助画像がアクセスユニット単位で符号化された結果得られる第２の符号化ストリームとを受け取り、前記境界情報に基づいて、前記第１の符号化ストリームと前記第２の符号化ストリームを分離する分離部と、
    　前記分離部により分離された前記第１の符号化ストリームを復号する互換画像復号部と、
    　前記分離部により分離された前記第２の符号化ストリームを復号する補助画像復号部と
    　を備える復号装置。
  17. 　前記分離部は、前記第２の符号化ストリームに付加された前記境界情報を受け取る
    　請求項１６に記載の復号装置。
  18. 　前記分離部は、前記第２の符号化ストリームのアクセスユニットの先頭に付加された前記境界情報を受け取る
    　請求項１７に記載の復号装置。
  19. 　前記互換画像が２視点の画像である場合、前記第１の符号化ストリームは、符号化された前記互換画像のうちの一方の視点の画像からなり、前記第２の符号化ストリームは、他方の視点の画像と符号化された前記補助画像からなる
    　請求項１８に記載の復号装置。
  20. 　前記分離部は、前記互換画像と前記補助画像から前記多視点画像を生成する際に用いる補助情報が符号化された結果得られる第３の符号化ストリームを受け取り、前記境界情報に基づいて、前記第１の符号化ストリーム、前記第２の符号化ストリーム、および前記第３の符号化ストリームを分離する
    　請求項１６に記載の復号装置。
  21. 　前記分離部は、前記第３の符号化ストリームに付加された前記境界情報を受け取る
    　請求項２０に記載の復号装置。
  22. 　前記分離部は、前記第３の符号化ストリームのアクセスユニットの先頭に付加された前記境界情報を受け取る
    　請求項２１に記載の復号装置。
  23. 　前記分離部は、前記互換画像の視差を示す互換視差画像が符号化された結果得られる第１の視差符号化ストリームと、前記補助画像の視差を示す補助視差画像が符号化された結果得られる第２の視差符号化ストリームを受け取る
    　請求項１６に記載の復号装置。
  24. 　前記分離部は、前記第２の符号化ストリームと、前記第１の視差符号化ストリームと、前記第２の視差符号化ストリームとがそれぞれ前記ユニットとして設定され、設定された前記ユニットに付加された前記境界情報を受け取り、前記境界情報に基づいて、前記第１の符号化ストリームと、前記第２の符号化ストリームと、前記第１の視差符号化ストリームと、前記第２の視差符号化ストリームとを分離する
    　請求項２３に記載の復号装置。
  25. 　前記分離部は、前記第２の符号化ストリームと前記第１の視差符号化ストリームと前記第２の視差符号化ストリームとがまとめて前記ユニットとして設定され、設定された前記ユニットに付加された前記境界情報を受け取り、前記境界情報に基づいて、前記第１の符号化ストリームと、前記第２の符号化ストリーム、前記第１の視差符号化ストリーム、および前記第２の視差符号化ストリームとを分離する
    　請求項２３に記載の復号装置。
  26. 　前記分離部は、前記第２の符号化ストリームと、前記第１の視差符号化ストリームおよび前記第２の視差符号化ストリームとがそれぞれ前記ユニットとして設定され、設定された前記ユニットに付加された前記境界情報を受け取り、前記境界情報に基づいて、前記第１の符号化ストリームと、前記第２の符号化ストリームと、前記第１の視差符号化ストリームおよび前記第２の視差符号化ストリームとを分離する
    　請求項２３に記載の復号装置。
  27. 　前記分離部は、視差画像であることを示す視差識別情報が付加された前記第１の視差符号化ストリームと前記第２の視差符号化ストリームを受け取る
    　請求項２３に記載の復号装置。
  28. 　前記分離部は、前記互換画像を識別する互換画像識別情報が付加された前記第１の視差符号化ストリームと前記補助画像を識別する補助画像識別情報が付加された前記第２の視差符号化ストリームを受け取る
    　請求項２７に記載の復号装置。
  29. 　前記分離部は、前記視差画像の各画素の視差値が正規化されていることを示す正規化識別情報を受け取る
    　請求項２７に記載の復号装置。
  30. 　復号装置が、
    　多視点の画像から指定された互換画像がアクセスユニット単位で符号化された結果得られる第１の符号化ストリームと、ユニットの境界を示す境界情報と、前記互換画像から多視点画像を生成する際に用いる補助画像がアクセスユニット単位で符号化された結果得られる第２の符号化ストリームとを受け取り、前記境界情報に基づいて、前記第１の符号化ストリームと前記第２の符号化ストリームを分離する分離ステップと、
    　前記分離ステップの処理により分離された前記第１の符号化ストリームを復号する互換画像復号ステップと、
    　前記分離ステップの処理により分離された前記第２の符号化ストリームを復号する補助画像復号ステップと
    　を備える復号装置。
PCT/JP2011/069841 2010-09-03 2011-08-31 符号化装置および符号化方法、並びに復号装置および復号方法 WO2012029884A1 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CA2806857A CA2806857A1 (en) 2010-09-03 2011-08-31 Encoding device, encoding method, decoding device, and decoding method
BR112013004450A BR112013004450A2 (pt) 2010-09-03 2011-08-31 dispositivo e método de codificação, e, dispositivo e método de decodificação
CN201180040905.6A CN103098465B (zh) 2010-09-03 2011-08-31 编码装置和编码方法以及解码装置和解码方法
JP2012531951A JPWO2012029884A1 (ja) 2010-09-03 2011-08-31 符号化装置および符号化方法、並びに復号装置および復号方法
US13/818,506 US9667941B2 (en) 2010-09-03 2011-08-31 Encoding device, encoding method, decoding device, and decoding method
RU2013108079/08A RU2013108079A (ru) 2010-09-03 2011-08-31 Устройство кодирования, способ кодирования, устройство декодирования и способ декодирования
MX2013002138A MX338309B (es) 2010-09-03 2011-08-31 Dispositivo de codificacion, metodo de codificacion, dispositivo de descodificacion, y metodo de descodificacion.
EP11821899.9A EP2613531A4 (en) 2010-09-03 2011-08-31 DEVICE AND ENCODING METHOD, AND DEVICE, AND DECODING METHOD
KR1020137004236A KR20130105814A (ko) 2010-09-03 2011-08-31 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법
AU2011296954A AU2011296954B2 (en) 2010-09-03 2011-08-31 Encoding device and encoding method, as well as decoding device and decoding method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010198351 2010-09-03
JP2010-198351 2010-09-03
JP2011-131679 2011-06-13
JP2011131679 2011-06-13

Publications (1)

Publication Number Publication Date
WO2012029884A1 true WO2012029884A1 (ja) 2012-03-08

Family

ID=45772961

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/069841 WO2012029884A1 (ja) 2010-09-03 2011-08-31 符号化装置および符号化方法、並びに復号装置および復号方法

Country Status (11)

Country Link
US (1) US9667941B2 (ja)
EP (1) EP2613531A4 (ja)
JP (2) JPWO2012029884A1 (ja)
KR (1) KR20130105814A (ja)
CN (3) CN105939469A (ja)
AU (2) AU2011296954B2 (ja)
BR (1) BR112013004450A2 (ja)
CA (1) CA2806857A1 (ja)
MX (1) MX338309B (ja)
RU (1) RU2013108079A (ja)
WO (1) WO2012029884A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379332A (zh) * 2012-04-25 2013-10-30 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
WO2014199367A1 (en) * 2013-06-10 2014-12-18 Ani-View Ltd. A system and methods thereof for generating images streams respective of a video content
EP2942953A4 (en) * 2013-01-07 2016-07-27 Nat Inst Inf & Comm Tech STEREOSCOPIC VIDEO ENCODING DEVICE, STEREOSCOPIC VIDEO DECODING DEVICE, STEREOSCOPIC VIDEO ENCODING METHOD, STEREOSCOPIC VIDEO DECODING METHOD, STEREOSCOPIC VIDEO ENCODING PROGRAM, AND STEREOSCOPIC VIDEO DECODING PROGRAM
US9992528B2 (en) 2013-06-10 2018-06-05 Ani-View Ltd. System and methods thereof for displaying video content

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2613537A4 (en) * 2010-09-03 2014-08-06 Sony Corp DEVICE AND ENCODING METHOD, AND DEVICE, AND DECODING METHOD
DE112011103496T5 (de) * 2010-11-15 2013-08-29 Lg Electronics Inc. Verfahren zum Umwandeln eines Einzelbildformats und Vorrichtung zur Benutzung dieses Verfahrens
JP2013198059A (ja) * 2012-03-22 2013-09-30 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
JP6253380B2 (ja) * 2013-12-11 2017-12-27 キヤノン株式会社 画像処理方法、画像処理装置および撮像装置
GB2524726B (en) * 2014-03-25 2018-05-23 Canon Kk Image data encapsulation with tile support
KR20170075349A (ko) * 2015-12-23 2017-07-03 한국전자통신연구원 멀티 뷰를 가진 다중영상 송수신 장치 및 다중영상 다중화 방법
CN114070950B (zh) * 2020-07-30 2024-05-17 北京市商汤科技开发有限公司 图像处理方法及相关装置、设备
CN117135358A (zh) * 2022-05-20 2023-11-28 海思技术有限公司 视频编码方法、视频解码方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
WO2007034601A1 (ja) * 2005-09-20 2007-03-29 Mitsubishi Electric Corporation 画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体
JP2009290630A (ja) * 2008-05-30 2009-12-10 Canon Inc 映像符号化装置
JP2010508752A (ja) * 2006-11-01 2010-03-18 韓國電子通信研究院 立体映像コンテンツ再生に利用されるメタデータの復号化方法及び装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
AU2003244156A1 (en) * 2002-06-28 2004-01-19 Sharp Kabushiki Kaisha Image data delivery system, image data transmitting device thereof, and image data receiving device thereof
JP4490074B2 (ja) * 2003-04-17 2010-06-23 ソニー株式会社 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム
JP4679804B2 (ja) * 2003-04-17 2011-05-11 シャープ株式会社 画像ファイル作成装置
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
JP2006140618A (ja) 2004-11-10 2006-06-01 Victor Co Of Japan Ltd ３次元映像情報記録装置及びプログラム
JP4665166B2 (ja) * 2005-06-29 2011-04-06 ソニー株式会社 ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
US8306112B2 (en) 2005-09-20 2012-11-06 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
JP4793366B2 (ja) 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
WO2008054100A1 (en) * 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
US8488677B2 (en) 2007-04-25 2013-07-16 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal
TW200910975A (en) * 2007-06-25 2009-03-01 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
JP5526032B2 (ja) * 2007-10-16 2014-06-18 トムソン ライセンシング ジオメトリック分割されたスーパブロックをビデオ符号化およびビデオ復号する方法および装置
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
EP3007440A1 (en) * 2007-12-20 2016-04-13 Koninklijke Philips N.V. Image encoding method for stereoscopic rendering
EP2338281A4 (en) 2008-10-17 2012-08-15 Nokia Corp SHARING THE MOTION VECTOR IN 3D VIDEO CODING
JP2010157826A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像復号装置、画像符復号方法およびそのプログラム
KR101972962B1 (ko) * 2009-02-19 2019-04-26 톰슨 라이센싱 3ｄ 비디오 포맷
WO2010095410A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
RU2011103190A (ru) * 2009-02-27 2013-04-10 Панасоник Корпорэйшн Носитель записи, устройство воспроизведения и интегральная схема
JP4984184B2 (ja) 2009-04-08 2012-07-25 ソニー株式会社 再生装置および再生方法
US8780999B2 (en) * 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
US9025933B2 (en) 2010-02-12 2015-05-05 Sony Corporation Information processing device, information processing method, playback device, playback method, program and recording medium
CN101783951B (zh) * 2010-03-02 2012-01-04 西安交通大学 基于人类视觉系统的视频编码帧间预测模式快速确定方法
CN101783957B (zh) * 2010-03-12 2012-04-18 清华大学 一种视频预测编码方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
WO2007034601A1 (ja) * 2005-09-20 2007-03-29 Mitsubishi Electric Corporation 画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体
JP2010508752A (ja) * 2006-11-01 2010-03-18 韓國電子通信研究院 立体映像コンテンツ再生に利用されるメタデータの復号化方法及び装置
JP2009290630A (ja) * 2008-05-30 2009-12-10 Canon Inc 映像符号化装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP2613531A4 *
THOMAS WIEGAND; WOO-JIN HAN; BENJAMIN BROSS; JENS-RAINER OHM; GARY J. SULLIVIAN: "WD3: Working Draft3 of High-Efficiency Video Coding", JCTVC-E603_D5, 20 May 2011 (2011-05-20)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379332A (zh) * 2012-04-25 2013-10-30 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
JP2015519802A (ja) * 2012-04-25 2015-07-09 チェジアン ユニバーシティ 三次元映像シーケンス補助情報のデコーディング方法、エンコーディング方法および装置
US10033982B2 (en) 2012-04-25 2018-07-24 Zte Corporation Method and device for decoding and encoding supplemental auxiliary information of three-dimensional video sequence
CN111031302A (zh) * 2012-04-25 2020-04-17 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
CN111182311A (zh) * 2012-04-25 2020-05-19 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
EP2942953A4 (en) * 2013-01-07 2016-07-27 Nat Inst Inf & Comm Tech STEREOSCOPIC VIDEO ENCODING DEVICE, STEREOSCOPIC VIDEO DECODING DEVICE, STEREOSCOPIC VIDEO ENCODING METHOD, STEREOSCOPIC VIDEO DECODING METHOD, STEREOSCOPIC VIDEO ENCODING PROGRAM, AND STEREOSCOPIC VIDEO DECODING PROGRAM
WO2014199367A1 (en) * 2013-06-10 2014-12-18 Ani-View Ltd. A system and methods thereof for generating images streams respective of a video content
US9992528B2 (en) 2013-06-10 2018-06-05 Ani-View Ltd. System and methods thereof for displaying video content

Also Published As

Publication number Publication date
CA2806857A1 (en) 2012-03-08
AU2016202169A1 (en) 2016-04-28
CN103098465B (zh) 2016-08-03
CN105979240B (zh) 2018-06-05
BR112013004450A2 (pt) 2017-05-30
AU2011296954B2 (en) 2016-02-11
EP2613531A4 (en) 2014-08-06
CN105979240A (zh) 2016-09-28
RU2013108079A (ru) 2014-10-20
CN105939469A (zh) 2016-09-14
KR20130105814A (ko) 2013-09-26
MX338309B (es) 2016-04-12
JPWO2012029884A1 (ja) 2013-10-31
US9667941B2 (en) 2017-05-30
MX2013002138A (es) 2013-04-03
US20130169751A1 (en) 2013-07-04
CN103098465A (zh) 2013-05-08
AU2011296954A1 (en) 2013-02-14
JP2016015767A (ja) 2016-01-28
EP2613531A1 (en) 2013-07-10

Similar Documents

Publication Publication Date Title
WO2012029884A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
JP6365635B2 (ja) 画像処理装置および画像処理方法
US9338430B2 (en) Encoding device, encoding method, decoding device, and decoding method
WO2012111757A1 (ja) 画像処理装置および画像処理方法
JP6206559B2 (ja) 復号装置、復号方法、プログラム、および記録媒体
WO2012128069A1 (ja) 画像処理装置および画像処理方法
WO2012114975A1 (ja) 画像処理装置および画像処理方法
WO2012029885A1 (ja) 画像処理装置および方法
US9762884B2 (en) Encoding device, encoding method, decoding device, and decoding method for encoding multiple viewpoints for compatibility with existing mode allowing fewer viewpoints

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180040905.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11821899

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012531951

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 2806857

Country of ref document: CA

REEP Request for entry into the european phase

Ref document number: 2011821899

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011821899

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2011296954

Country of ref document: AU

Date of ref document: 20110831

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20137004236

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2013108079

Country of ref document: RU

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13818506

Country of ref document: US

Ref document number: MX/A/2013/002138

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013004450

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013004450

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20130225