WO2012157443A1 - 画像処理装置、及び、画像処理方法 - Google Patents

画像処理装置、及び、画像処理方法 Download PDF

Info

Publication number
WO2012157443A1
WO2012157443A1 PCT/JP2012/061521 JP2012061521W WO2012157443A1 WO 2012157443 A1 WO2012157443 A1 WO 2012157443A1 JP 2012061521 W JP2012061521 W JP 2012061521W WO 2012157443 A1 WO2012157443 A1 WO 2012157443A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
prediction
unit
color image
encoding
Prior art date
Application number
PCT/JP2012/061521
Other languages
English (en)
French (fr)
Inventor
良知 高橋
しのぶ 服部
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201280025508.6A priority Critical patent/CN103563387A/zh
Priority to JP2013515071A priority patent/JPWO2012157443A1/ja
Priority to US14/116,400 priority patent/US20140085418A1/en
Publication of WO2012157443A1 publication Critical patent/WO2012157443A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present technology relates to an image processing device and an image processing method, and an image processing device and an image processing method that can improve the prediction efficiency of parallax prediction performed in encoding and decoding of images of a plurality of viewpoints. About.
  • an encoding method for encoding an image of a plurality of viewpoints such as a 3D (Dimension) image
  • MVC Multiview Video Coding
  • AVC Advanced Video Coding
  • an image to be encoded is a color image having a value corresponding to light from a subject as a pixel value, and each of the color images of a plurality of viewpoints is, as necessary, a color image of the viewpoint.
  • encoding is performed with reference to color images of other viewpoints.
  • one viewpoint color image among a plurality of viewpoint color images is used as a base view image, and other viewpoint color images are used as non-base views (Non Base view). It is said that.
  • the color image of the base view is encoded with reference to only the color image of the base view, and the color image of the non-base view needs the image of another view in addition to the color image of the non-base view. And is encoded according to the reference.
  • parallax prediction that generates a predicted image with reference to the color image of another view (viewpoint) is performed as necessary, and is encoded using the predicted image.
  • parallax prediction with reference to another viewpoint image can be performed in encoding (and decoding) of a certain viewpoint image.
  • Accuracy affects the coding efficiency.
  • the present technology has been made in view of such a situation, and makes it possible to improve the prediction efficiency of parallax prediction.
  • the image processing device provides two viewpoints according to an encoding mode when encoding an encoding target image to be encoded among two or more viewpoint images among three or more viewpoint images.
  • the above image is packed according to a packing pattern that packs the image for one viewpoint, thereby converting the packed image converted into a packed image and the packed image converted by the converting unit into the encoding target image or the reference.
  • a parallax compensation is performed to generate a prediction image of the encoding target image, and the prediction image generated by the compensation unit is used to convert the encoding target image to the encoding mode.
  • An image processing apparatus including an encoding unit that performs encoding with
  • the image processing method is based on two viewpoints according to an encoding mode when encoding an encoding target image of two or more viewpoints among three or more viewpoint images.
  • the image is converted into a packed image, and the packed image is used as the encoding target image or the reference image to perform parallax compensation,
  • It is an image processing method including a step of generating a prediction image of the encoding target image and encoding the encoding target image in the encoding mode using the prediction image.
  • images of two or more viewpoints among images of three or more viewpoints have two or more viewpoints according to the encoding mode when encoding the encoding target image to be encoded.
  • the image is converted into a packed image.
  • a prediction image of the encoding target image is generated by performing parallax compensation using the packing image as the encoding target image or a reference image, and the encoding target image is generated using the prediction image.
  • the image processing apparatus provides two or more viewpoints according to an encoding mode when encoding an encoding target image of two or more viewpoints among images of viewpoints or more.
  • a packing pattern that packs the image of one image into an image for one viewpoint, the image is converted into a packed image, and the packed image is used as the encoding target image or the reference image to perform parallax compensation, thereby Generating a predicted image of an encoding target image, and using the predicted image to decode an encoded stream obtained by encoding the encoding target image in the encoding mode;
  • a compensator that generates a prediction image of a decoding target image by performing parallax compensation, and the prediction stream generated by the compensation unit, and the encoding stream
  • the packed image is determined according to the packing pattern.
  • An image processing apparatus including an inverse conversion unit that performs inverse conversion to an image of two or more original
  • the image processing method is based on two viewpoints according to an encoding mode when encoding an encoding target image that is an encoding target image of two or more viewpoints among three or more viewpoint images.
  • the image is converted into a packed image, and the packed image is used as the encoding target image or the reference image to perform parallax compensation,
  • a prediction image of the decoding target image is generated by performing parallax compensation, and the encoded stream is decoded in the encoding mode using the prediction image,
  • the step of inversely transforming the packed image into an image of two or more original viewpoints by separating the packed image according to the packing pattern is an image processing method including.
  • an image of two or more viewpoints among images of three or more viewpoints is selected according to an encoding mode when encoding an encoding target image to be encoded.
  • the image is converted into a packed image by packing according to a packing pattern that packs the image into an image for one viewpoint, and the packed image is converted into the encoding target image or the reference image by performing parallax compensation.
  • Decoding of a decoding target which is used when a prediction image of a coding target image is generated and an encoded stream obtained by encoding the coding target image in the coding mode is decoded using the prediction image
  • a predicted image of the target image is generated by performing parallax compensation.
  • the encoded stream is decoded in the encoding mode using the prediction image, and the decoding target image obtained by decoding the encoded stream is the packed image, the packed image Are separated according to the packing pattern, thereby being inversely converted into an original image of two or more viewpoints.
  • the image processing apparatus may be an independent apparatus or an internal block constituting one apparatus.
  • the image processing apparatus can be realized by causing a computer to execute a program, and the program can be provided by being transmitted through a transmission medium or by being recorded on a recording medium.
  • FIG. 3 is a block diagram illustrating a configuration example of a transmission device 11.
  • FIG. 3 is a block diagram illustrating a configuration example of a receiving device 12.
  • FIG. It is a figure explaining resolution conversion which resolution conversion device 21C performs.
  • It is a block diagram which shows the structural example of 22C of encoding apparatuses. It is a figure explaining the picture (reference image) referred when producing
  • FIG. 3 is a block diagram illustrating a configuration example of an encoder 42.
  • FIG. It is a figure explaining the macroblock type of MVC (AVC). It is a figure explaining the prediction vector (PMV) of MVC (AVC).
  • PMV prediction vector
  • FIG. 5 is a block diagram illustrating a configuration example of a disparity prediction unit 131.
  • FIG. It is a block diagram which shows the structural example of 32C of decoding apparatuses.
  • 3 is a block diagram illustrating a configuration example of a decoder 212.
  • FIG. It is a block diagram which shows the structural example of the inter estimation part 250.
  • FIG. 5 is a block diagram illustrating a configuration example of a disparity prediction unit 261.
  • FIG. 11 is a block diagram illustrating another configuration example of the transmission device 11.
  • FIG. 11 is a block diagram illustrating another configuration example of the receiving device 12.
  • FIG. It is a figure explaining the resolution conversion which the resolution conversion apparatus 321C performs, and the resolution reverse conversion which the resolution reverse conversion apparatus 333C performs.
  • 4 is a flowchart for explaining processing of a transmission device 11.
  • 6 is a flowchart for explaining processing of the reception device 12.
  • 3 is a block diagram illustrating a configuration example of an encoder 342.
  • FIG. It is a figure explaining the resolution conversion SEI produced
  • FIG. It is a figure explaining the value set to parameters num_views_minus_1, view_id [i], frame_packing_info [i], frame_field_coding, and view_id_in_frame [i]. It is a figure explaining the parallax prediction of the picture (field) of the packing color image performed in the parallax prediction part 131.
  • FIG. It is a flowchart explaining the encoding process which encodes a packing color image which the encoder 342 performs. It is a flowchart explaining the parallax prediction process which the parallax prediction part 131 performs.
  • 21 is a flowchart for describing a decoding process performed by a decoder 412 to decode encoded data of a packed color image. It is a flowchart explaining the parallax prediction process which the parallax prediction part 261 performs. It is a block diagram which shows the other structural example of the encoding apparatus 322C. 5 is a block diagram illustrating a configuration example of an encoder 542. FIG. It is a figure explaining the parallax prediction of the picture (field) of the central viewpoint color image performed in the parallax prediction part 131. FIG. It is a flowchart explaining the encoding process which encodes a packing color image which the encoder 542 performs.
  • FIG. 11 is a block diagram illustrating still another configuration example of the transmission device 11.
  • FIG. 722C shows the structural example of encoding apparatus 722C.
  • FIG. 4 is a block diagram illustrating a configuration example of an encoder 842.
  • FIG. It is a figure explaining parallax and depth.
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied. It is a figure which shows the schematic structural example of TV to which this technique is applied. It is a figure which shows the schematic structural example of the mobile telephone to which this technique is applied. It is a figure which shows the schematic structural example of the recording / reproducing apparatus to which this technique is applied. It is a figure which shows the schematic structural example of the imaging device to which this technique is applied.
  • FIG. 46 is a diagram illustrating parallax and depth.
  • the depth of the subject M from the camera c1 (camera c2).
  • the depth Z that is the distance in the direction is defined by the following equation (a).
  • L is a horizontal distance between the position C1 and the position C2 (hereinafter, referred to as an inter-camera distance).
  • D is the position of the subject M on the color image photographed by the camera c2 from the horizontal distance u1 of the position of the subject M on the color image photographed by the camera c1 from the center of the color image.
  • f is the focal length of the camera c1, and in the formula (a), the focal lengths of the camera c1 and the camera c2 are the same.
  • the parallax d and the depth Z can be uniquely converted. Therefore, in this specification, the image representing the parallax d and the image representing the depth Z of the two viewpoint color images captured by the camera c1 and the camera c2 are collectively referred to as a depth image (parallax information image).
  • the depth image may be an image representing the parallax d or the depth Z
  • the pixel value of the depth image is not the parallax d or the depth Z itself but the parallax d as a normal value.
  • the normalized value the value obtained by normalizing the reciprocal 1 / Z of the depth Z, and the like can be employed.
  • the value I obtained by normalizing the parallax d with 8 bits (0 to 255) can be obtained by the following equation (b). Note that the normalization bit number of the parallax d is not limited to 8 bits, and other bit numbers such as 10 bits and 12 bits may be used.
  • D max is the maximum value of the parallax d
  • D min is the minimum value of the parallax d.
  • the maximum value D max and the minimum value D min may be set in units of one screen, or may be set in units of a plurality of screens.
  • the value y obtained by normalizing the reciprocal 1 / Z of the depth Z by 8 bits (0 to 255) can be obtained by the following equation (c).
  • the normalized bit number of the inverse 1 / Z of the depth Z is not limited to 8 bits, and other bit numbers such as 10 bits and 12 bits may be used.
  • Z far is the maximum value of the depth Z
  • Z near is the minimum value of the depth Z.
  • the maximum value Z far and the minimum value Z near may be set in units of one screen or may be set in units of a plurality of screens.
  • an image having a pixel value of the value I obtained by normalizing the parallax d, and an inverse 1 / of the depth Z is collectively referred to as a depth image (parallax information image).
  • a depth image parllax information image
  • the color format of the depth image is YUV420 or YUV400, but other color formats are also possible.
  • the value I or the value y is set as the depth information (disparity information). Further, the mapping of the value I or the value y is a depth map.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a transmission system to which the present technology is applied.
  • the transmission system includes a transmission device 11 and a reception device 12.
  • the transmission device 11 is supplied with a multi-view color image and a multi-view parallax information image (multi-view depth image).
  • the multi-viewpoint color image includes color images of a plurality of viewpoints, and a color image of a predetermined one viewpoint among the plurality of viewpoints is designated as a base view image. Color images of each viewpoint other than the base view image are treated as non-base view images.
  • the multi-view parallax information image includes the parallax information image of each viewpoint of the color images constituting the multi-view color image.
  • a predetermined single viewpoint parallax information image is designated as the base view image.
  • the parallax information image of each viewpoint other than the base view image is treated as a non-base view image as in the case of a color image.
  • the transmission device 11 encodes and multiplexes each of the multi-view color image and the multi-view parallax information image supplied thereto, and outputs a multiplexed bit stream obtained as a result.
  • the multiplexed bit stream output from the transmission device 11 is transmitted via a transmission medium (not shown) or recorded on a recording medium (not shown).
  • the multiplexed bit stream output from the transmission device 11 is provided to the reception device 12 via a transmission medium or a recording medium (not shown).
  • the receiving device 12 receives the multiplexed bit stream and performs demultiplexing of the multiplexed bit stream, thereby encoding the encoded data of the multi-view color image and the encoding of the multi-view disparity information image from the multiplexed bit stream. Separate data.
  • the reception device 12 decodes each of the encoded data of the multi-view color image and the encoded data of the multi-view parallax information image, and outputs the resulting multi-view color image and multi-view parallax information image.
  • a naked-eye 3D (dimension) image that can be viewed with the naked eye MPEG3DV is now being developed with the main application as a display.
  • the data amount is a data amount of a full HD 2D image (one 6 times the data amount of the viewpoint image).
  • HDMI High-Definition Multimedia Interface
  • 4K 4 times the full HD
  • the transmission device 11 encodes the multi-view color image and the multi-view disparity information image, but the bit rate of the multiplexed bit stream output from the transmission device 11 is limited.
  • the bit amount of encoded data allocated to images of one viewpoint is also limited.
  • the transmission device 11 performs encoding after reducing the data amount (in the baseband) of the multi-view color image and the multi-view parallax information image.
  • a disparity value representing the disparity between the subject captured in each pixel of the color image and the reference viewpoint, with a certain viewpoint as a reference viewpoint.
  • a depth value representing the distance (depth) to the subject appearing in each pixel of the color image can be used.
  • the parallax value and the depth value can be converted into each other, and thus are equivalent information.
  • a parallax information image (depth image) having a parallax value as a pixel value is also referred to as a parallax image
  • a parallax information image (depth image) having a depth value as a pixel value is also referred to as a depth image.
  • a depth image of the parallax image and the depth image is used as the parallax information image, but a parallax image can also be used as the parallax information image.
  • FIG. 2 is a block diagram illustrating a configuration example of the transmission device 11 of FIG.
  • the transmission device 11 includes resolution conversion devices 21C and 21D, encoding devices 22C and 22D, and a multiplexing device 23.
  • the multi-viewpoint color image is supplied to the resolution conversion device 21C.
  • the resolution conversion device 21C performs resolution conversion for converting the multi-view color image supplied thereto into a low-resolution resolution conversion multi-view color image lower than the original resolution, and the resulting resolution-converted multi-view color image is converted. To the encoding device 22C.
  • the encoding device 22C is encoded data obtained by encoding the resolution-converted multi-viewpoint color image supplied from the resolution conversion device 21C using, for example, MVC, which is a standard for transmitting images of a plurality of viewpoints. Multi-view color image encoded data is supplied to the multiplexer 23.
  • MVC is an extended profile of AVC, and according to MVC, as described above, non-base view images can be efficiently encoded with disparity prediction.
  • base view images are encoded with AVC compatibility. Therefore, encoded data obtained by encoding an image of a base view with MVC can be decoded with an AVC decoder.
  • the resolution conversion device 21D is supplied with a multi-view depth image that is a depth image of each viewpoint having a depth value for each pixel of the color image of each viewpoint constituting the multi-view color image as a pixel value.
  • the resolution conversion device 21 ⁇ / b> D and the encoding device 22 ⁇ / b> D use a depth image (multi-view depth image) instead of a color image (multi-view color image) as a processing target, and the resolution conversion device 21 ⁇ / b> C and The same processing is performed with the encoding device 22C.
  • the resolution conversion device 21D converts the resolution of the multi-view depth image supplied thereto into a low-resolution resolution conversion multi-view depth image lower than the original resolution, and supplies the converted image to the encoding device 22D.
  • the encoding device 22D encodes the resolution-converted multi-view depth image supplied from the resolution conversion device 21D with MVC, and the multi-view depth image encoded data, which is encoded data obtained as a result, to the multiplexing device 23. Supply.
  • the multiplexing device 23 multiplexes the multi-view color image encoded data from the encoding device 22C and the multi-view depth image encoded data from the encoding device 22D, and outputs a multiplexed bit stream obtained as a result. .
  • FIG. 3 is a block diagram illustrating a configuration example of the receiving device 12 of FIG.
  • the reception device 12 includes a demultiplexing device 31, decoding devices 32C and 32D, and resolution inverse conversion devices 33C and 33D.
  • the demultiplexer 31 is supplied with the multiplexed bit stream output from the transmitter 11 (FIG. 2).
  • the demultiplexer 31 receives the multiplexed bitstream supplied thereto, and performs demultiplexing of the multiplexed bitstream, thereby converting the multiplexed bitstream into multiview color image encoded data and multiviewpoint Separated into depth image encoded data.
  • the demultiplexer 31 supplies the multi-view color image encoded data to the decoding device 32C, and supplies the multi-view depth image encoded data to the decoding device 32D.
  • the decoding device 32C decodes the multi-view color image encoded data supplied from the demultiplexing device 31 with MVC, and supplies the resolution-converted multi-view color image obtained as a result to the resolution reverse conversion device 33C.
  • the resolution reverse conversion device 33C performs resolution reverse conversion to (reverse) convert the resolution-converted multi-view color image from the decoding device 32C into a multi-view color image of the original resolution, and outputs the resulting multi-view color image To do.
  • the decoding device 32D and the resolution inverse conversion device 33D process the multi-view depth image encoded data (resolution conversion multi-view depth image) instead of the multi-view color image encoded data (resolution conversion multi-view color image).
  • the decoding device 32C and the resolution inverse conversion device 33C perform the same processing.
  • the decoding device 32D decodes the multi-view depth image encoded data supplied from the demultiplexing device 31 by MVC, and supplies the resolution-converted multi-view depth image obtained as a result to the resolution inverse conversion device 33D. .
  • the resolution reverse conversion device 33D converts the resolution-converted multi-view depth image from the decoding device 32D into a multi-view depth image with the original resolution, and outputs it.
  • the depth image is processed in the same manner as the color image, so that the description of the depth image processing is appropriately omitted below.
  • FIG. 4 is a diagram illustrating resolution conversion performed by the resolution conversion device 21C of FIG.
  • the multi-viewpoint color image (the same applies to the multi-viewpoint depth image) is, for example, a central viewpoint color image, a left viewpoint color image, and a right viewpoint color image, which are three viewpoint color images. To do.
  • the central viewpoint color image, the left viewpoint color image, and the right viewpoint color image which are color images of three viewpoints, include, for example, three cameras, a position in front of the subject, a position on the left side toward the subject, and This is an image obtained by photographing the subject by being arranged at a position on the right side of the subject.
  • the central viewpoint color image is an image whose viewpoint is the position in front of the subject.
  • the left viewpoint color image is an image whose viewpoint is a position (left viewpoint) on the left side of the viewpoint (center viewpoint) of the central viewpoint color image
  • the right viewpoint color image is a position on the right side (right viewpoint) from the center viewpoint. Is an image with a viewpoint.
  • multi-view color image may be an image of two viewpoints or an image of four or more viewpoints.
  • the central viewpoint color image among the central viewpoint color image, the left viewpoint color image, and the right viewpoint color image, which are multi-viewpoint color images supplied thereto is directly (resolution converted). Output).
  • the resolution conversion device 21C converts the resolutions of the two viewpoint images into low resolutions for the remaining left viewpoint color image and right viewpoint color image of the multi-viewpoint color image, and converts them into an image for one viewpoint. By performing packing to be combined, a packing color image is generated and output.
  • the resolution conversion device 21C halves the vertical resolution (number of pixels) of each of the left viewpoint color image and the right viewpoint color image and halves the vertical resolution (vertical resolution).
  • the left viewpoint color image is arranged on the upper side
  • the right viewpoint color image is arranged on the lower side.
  • the central viewpoint color image and packing color image output from the resolution conversion device 21C are supplied to the encoding device 22C as a resolution conversion multi-viewpoint color image.
  • the multi-viewpoint color image supplied to the resolution conversion device 21C is an image for three viewpoints of the central viewpoint color image, the left viewpoint color image, and the right viewpoint color image, and the resolution conversion device 21C outputs the images.
  • the resolution-converted multi-viewpoint color image is an image for two viewpoints of the central viewpoint color image and the packing color image, and the data amount in the baseband is reduced.
  • the left viewpoint color image and the right viewpoint color image among the central viewpoint color image, the left viewpoint color image, and the right viewpoint color image constituting the multi-viewpoint color image are equivalent to one viewpoint.
  • the packing color image is packed, the packing can be performed on color images of two arbitrary viewpoints among the central viewpoint color image, the left viewpoint color image, and the right viewpoint color image.
  • the display of the 2D image includes a central viewpoint color image, a left viewpoint color image, and a right viewpoint color image constituting the multi-viewpoint color image.
  • the central viewpoint color image is expected to be used. Therefore, in FIG. 4, the central viewpoint color image is not a packing target for converting the resolution to a low resolution so that the 2D image can be displayed with high image quality.
  • the receiving device 12 side all of the central viewpoint color image, the left viewpoint color image, and the right viewpoint color image constituting the multi-viewpoint color image are used for displaying the 3D image. For example, only the central viewpoint color image among the central viewpoint color image, the left viewpoint color image, and the right viewpoint color image is used. Therefore, on the receiving device 12 side, the left viewpoint color image and the right viewpoint color image among the central viewpoint color image, the left viewpoint color image, and the right viewpoint color image that constitute the multi-viewpoint color image are 3D images. In FIG. 4, the left viewpoint color image and the right viewpoint color image that are used only for displaying the 3D image are targeted for packing.
  • FIG. 5 is a block diagram illustrating a configuration example of the encoding device 22C in FIG.
  • the encoding device 22C in FIG. 5 encodes the central viewpoint color image, which is a resolution-converted multi-view color image from the resolution conversion device 21C (FIGS. 2 and 4), and the packing color image by MVC.
  • the central viewpoint color image is a base view image, and an image of another viewpoint, that is, a packed color image is treated as a non-base view image.
  • the encoding device 22C includes encoders 41 and 42 and a DPB (Decode (Picture Buffer) 43.
  • DPB Decode (Picture Buffer) 43.
  • the encoder 41 is supplied with the central viewpoint color image of the central viewpoint color image and the packing color image constituting the resolution conversion multi-viewpoint color image from the resolution conversion device 21C.
  • the encoder 41 encodes the central viewpoint color image as an image of the base view by MVC (AVC), and outputs the encoded data of the central viewpoint color image obtained as a result.
  • MVC MVC
  • the encoder 42 is supplied with the packing color image of the central viewpoint color image and the packing color image constituting the resolution conversion multi-view color image from the resolution conversion device 21C.
  • the encoder 42 encodes the packing color image as a non-base view image by MVC, and outputs the encoded data of the packing color image obtained as a result.
  • the encoded data of the central viewpoint color image output from the encoder 41 and the encoded data of the packing color image output from the encoder 42 are sent to the multiplexing device 23 (FIG. 2) as multi-view color image encoded data. Supplied.
  • the DPB 43 encodes an image to be encoded by each of the encoders 41 and 42, and a local decoded image (decoded image) obtained by local decoding is a reference image (candidate) that is referred to when a predicted image is generated. As a temporary store.
  • the encoders 41 and 42 predictively encode the image to be encoded. Therefore, the encoders 41 and 42 encode the image to be encoded to generate a predicted image used for predictive encoding, and then perform local decoding to obtain a decoded image.
  • the DPB 43 is a shared buffer that temporarily stores decoded images obtained by the encoders 41 and 42.
  • the encoders 41 and 42 each encode an image to be encoded from the decoded images stored in the DPB 43.
  • the reference image to be referred to is selected. Then, each of the encoders 41 and 42 generates a predicted image using the reference image, and performs image encoding (predictive encoding) using the predicted image.
  • each of the encoders 41 and 42 can also refer to decoded images obtained by other encoders in addition to the decoded images obtained by itself.
  • the encoder 41 refers to only the decoded image obtained by the encoder 41 in order to encode the base view image.
  • FIG. 6 is a diagram for explaining a picture (reference image) that is referred to when a predicted image is generated in MVC predictive coding.
  • the picture of the base view image is represented as p11, p12, p13,...
  • the picture of the non-base view image is represented by p21, p22, p23,. Let's represent.
  • the base view picture for example, the picture p12 is predictively encoded by referring to the base view picture, for example, the pictures p11 and p13 as necessary.
  • prediction generation of a predicted image
  • prediction can be performed with reference to only the pictures p11 and p13 that are pictures at other display times of the base view.
  • a non-base view picture for example, a picture p22
  • a non-base view picture for example, the pictures p21 and p23
  • a base view picture p12 which is another view, as necessary.
  • prediction encoding is performed.
  • the non-base view picture p22 refers to the pictures p21 and p23 that are pictures at other display times of the non-base view, and the base view picture p12 that is a picture of another view, and performs prediction. Can do.
  • prediction performed with reference to a picture (at another display time) of the same view as the encoding target picture is also referred to as temporal prediction, and is performed with reference to a picture of a view different from the encoding target picture.
  • This prediction is also called parallax prediction.
  • a picture of a view different from the encoding target picture that is referred to in the disparity prediction must be a picture having the same display time as the encoding target picture.
  • FIG. 7 is a diagram for explaining the encoding (and decoding) order of pictures in MVC.
  • the pictures of the base view image are represented as p11, p12, p13,...
  • the pictures of the non-base view images are represented by p21, p22, p23,. It will be expressed as.
  • the second picture p22 is encoded.
  • the base view picture and the non-base view picture are encoded in the same order.
  • FIG. 8 is a diagram illustrating temporal prediction and parallax prediction performed by the encoders 41 and 42 in FIG.
  • the horizontal axis represents the time of encoding (decoding).
  • temporal prediction is performed by referring to another picture of the central viewpoint color image that has already been encoded. be able to.
  • temporal prediction that refers to another picture of a packed color image that has already been encoded
  • Disparity prediction that refers to a picture of a central viewpoint color image (already encoded) (a picture at the same time as a picture of a packing color image to be encoded (the same POC (Picture) Order Count))
  • FIG. 9 is a block diagram showing a configuration example of the encoder 42 of FIG.
  • an encoder 42 includes an A / D (Analog / Digital) conversion unit 111, a screen rearrangement buffer 112, a calculation unit 113, an orthogonal transformation unit 114, a quantization unit 115, a variable length encoding unit 116, and a storage buffer 117. , An inverse quantization unit 118, an inverse orthogonal transform unit 119, a calculation unit 120, a deblocking filter 121, an intra prediction unit 122, an inter prediction unit 123, and a predicted image selection unit 124.
  • a / D Analog / Digital
  • the A / D converter 111 is sequentially supplied with pictures of packing color images, which are images to be encoded (moving images), in the display order.
  • the A / D converter 111 When the picture supplied to the A / D converter 111 is an analog signal, the A / D converter 111 performs A / D conversion on the analog signal and supplies it to the screen rearrangement buffer 112.
  • the screen rearrangement buffer 112 temporarily stores the pictures from the A / D conversion unit 111, and reads out the pictures according to a predetermined GOP (Group of Pictures) structure, thereby arranging the picture arrangement in the display order. From this, the rearrangement is performed in the order of encoding (decoding order).
  • GOP Group of Pictures
  • the picture read from the screen rearrangement buffer 112 is supplied to the calculation unit 113, the intra prediction unit 122, and the inter prediction unit 123.
  • the calculation unit 113 is supplied with a picture from the screen rearrangement buffer 112 and a prediction image generated by the intra prediction unit 122 or the inter prediction unit 123 from the prediction image selection unit 124.
  • the calculation unit 113 sets the picture read from the screen rearrangement buffer 112 as a target picture to be encoded, and sequentially sets macroblocks constituting the target picture as a target block to be encoded.
  • the calculation unit 113 calculates a subtraction value obtained by subtracting the pixel value of the prediction image supplied from the prediction image selection unit 124 from the pixel value of the target block as necessary, and supplies the calculated value to the orthogonal transformation unit 114.
  • the orthogonal transform unit 114 performs orthogonal transform such as discrete cosine transform and Karhunen-Loeve transform on the target block (the pixel value or the residual obtained by subtracting the predicted image) from the computation unit 113, and The transform coefficient obtained as a result is supplied to the quantization unit 115.
  • the quantization unit 115 quantizes the transform coefficient supplied from the orthogonal transform unit 114, and supplies the quantized value obtained as a result to the variable length coding unit 116.
  • variable length coding unit 116 performs variable length coding (for example, CAVLC (Context-Adaptive Variable Length Coding)) or arithmetic coding (for example, CABAC (Context) on the quantized value from the quantization unit 115. -Adaptive Binary Arithmetic Coding), etc.) and the like, and the encoded data obtained as a result is supplied to the accumulation buffer 117.
  • variable length coding for example, CAVLC (Context-Adaptive Variable Length Coding)
  • CABAC Context
  • CABAC Context
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • variable length encoding unit 116 is supplied with the quantization value from the quantization unit 115 and the header information included in the header of the encoded data from the prediction image selection unit 124.
  • variable length encoding unit 116 encodes the header information from the predicted image selection unit 124 and includes it in the header of the encoded data.
  • the accumulation buffer 117 temporarily stores the encoded data from the variable length encoding unit 116 and outputs (transmits) it at a predetermined data rate.
  • the quantization value obtained by the quantization unit 115 is supplied to the variable length coding unit 116 and also to the inverse quantization unit 118, and the inverse quantization unit 118, the inverse orthogonal transform unit 119, and the calculation In unit 120, local decoding is performed.
  • the inverse quantization unit 118 inversely quantizes the quantized value from the quantization unit 115 into a transform coefficient and supplies the transform coefficient to the inverse orthogonal transform unit 119.
  • the inverse orthogonal transform unit 119 performs inverse orthogonal transform on the transform coefficient from the inverse quantization unit 118 and supplies it to the arithmetic unit 120.
  • the calculation unit 120 decodes the target block by adding the pixel value of the predicted image supplied from the predicted image selection unit 124 to the data supplied from the inverse orthogonal transform unit 119 as necessary. A decoded image is obtained and supplied to the deblocking filter 121.
  • the deblocking filter 121 removes (reduces) block distortion generated in the decoded image by filtering the decoded image from the arithmetic unit 120, and supplies it to the DPB 43 (FIG. 5).
  • the DPB 43 predictively encodes the decoded image from the deblocking filter 121, that is, the picture of the packed color image encoded by the encoder 42 and locally decoded (predicted by the calculation unit 113). This is stored as a reference image (candidate) to be referred to when generating a predicted image used for (encoding where image subtraction is performed).
  • the DPB 43 is shared by the encoders 41 and 42, in addition to the picture of the packed color image encoded and locally decoded by the encoder 42, it is encoded and locally decoded by the encoder 41. A picture of the central viewpoint color image is also stored.
  • local decoding by the inverse quantization unit 118, the inverse orthogonal transform unit 119, and the calculation unit 120 is, for example, an I picture, a P picture, and a reference picture that can be a reference image (reference picture).
  • the DPB 43 decoded pictures of I picture, P picture, and Bs picture are stored.
  • the target picture is an I picture, a P picture, or a B picture (including a Bs picture) that can be subjected to intra prediction (intra-screen prediction)
  • intra prediction intra-screen prediction
  • a portion (decoded image) that has already been locally decoded is read.
  • the intra-screen prediction unit 122 sets a part of the decoded image of the target picture read from the DPB 43 as the predicted image of the target block of the target picture supplied from the screen rearrangement buffer 112.
  • the intra-screen prediction unit 122 calculates the encoding cost required to encode the target block using the predicted image, that is, the encoding cost required to encode the residual of the target block with respect to the predicted image. Obtained and supplied to the predicted image selection unit 124 together with the predicted image.
  • the inter prediction unit 123 encodes a picture that has been encoded and locally decoded from the DPB 43 before the target picture. And read out as a reference image.
  • the inter prediction unit 123 performs a corresponding block corresponding to the target block of the target block and the reference image by ME (Motion ⁇ Estimation) using the target block of the target picture from the screen rearrangement buffer 112 and the reference image.
  • ME Motion ⁇ Estimation
  • a deviation vector representing a deviation (parallax, motion) from a target block for example, a block that minimizes SAD (Sum Absolute Differences) or the like) with the target block is detected.
  • the reference image is a picture of the same view as the target picture (at a different time from the target picture)
  • the shift vector detected by the ME using the target block and the reference image is the target block
  • the reference This is a motion vector representing a motion (temporal shift) between the images.
  • the shift vector detected by the ME using the target block and the reference image is the target block, the reference image, It becomes a parallax vector representing the parallax (spatial shift) between the two.
  • the inter prediction unit 123 performs shift compensation (motion compensation that compensates for a shift for motion, or parallax compensation that compensates for a shift for parallax, which is MC (Motion Compensation) of the reference image from the DPB 43 in accordance with the shift vector of the target block. ) To generate a predicted image.
  • shift compensation motion compensation that compensates for a shift for motion, or parallax compensation that compensates for a shift for parallax, which is MC (Motion Compensation) of the reference image from the DPB 43 in accordance with the shift vector of the target block.
  • the inter prediction unit 123 acquires, as a predicted image, a corresponding block that is a block (region) at a position shifted (shifted) from the position of the target block in the reference image according to the shift vector of the target block.
  • the inter prediction unit 123 obtains an encoding cost required for encoding the target block using a prediction image for each inter prediction mode having different macroblock types and the like to be described later.
  • the inter prediction unit 123 sets the inter prediction mode with the minimum encoding cost as the optimal inter prediction mode that is the optimal inter prediction mode, and the prediction image and the encoding cost obtained in the optimal inter prediction mode.
  • the predicted image selection unit 124 is supplied.
  • deviation prediction generating a predicted image based on a deviation vector (disparity vector, motion vector)
  • deviation compensation deviation compensation, motion compensation
  • the predicted image selection unit 124 selects a predicted image with a low encoding cost from the predicted images from the intra-screen prediction unit 122 and the inter prediction unit 123, and supplies them to the calculation units 113 and 120.
  • the intra-screen prediction unit 122 supplies information related to intra prediction (prediction mode-related information) to the predicted image selection unit 124, and the inter prediction unit 123 uses information related to inter prediction (information about shift vectors and reference images). Prediction mode related information including the assigned reference index) is supplied to the predicted image selection unit 124.
  • the predicted image selection unit 124 selects information from the one in which the predicted image with the lower encoding cost is generated among the information from the intra-screen prediction unit 122 and the inter prediction unit 123, and as header information, This is supplied to the variable length coding unit 116.
  • the encoder 41 in FIG. 5 is also configured similarly to the encoder 42 in FIG. However, in the encoder 41 that encodes the image of the base view, disparity prediction is not performed in inter prediction, and only temporal prediction is performed.
  • FIG. 10 is a diagram for explaining a macroblock type of MVC (AVC).
  • a macroblock that is a target block is a block of 16 ⁇ 16 pixels in horizontal ⁇ vertical, but ME (and prediction image generation) is performed for each partition by dividing the macroblock into partitions. Can do.
  • a macroblock is divided into any partition of 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, 8 ⁇ 16 pixels, or 8 ⁇ 8 pixels, and ME is performed for each partition.
  • a shift vector motion vector or disparity vector
  • an 8 ⁇ 8 pixel partition is further divided into any one of 8 ⁇ 8 pixels, 8 ⁇ 4 pixels, 4 ⁇ 8 pixels, or 4 ⁇ 4 pixels, and each subpartition
  • ME can be performed to detect a shift vector (motion vector or disparity vector).
  • the macro block type represents what partition (and sub-partition) the macro block is divided into.
  • the encoding cost of each macroblock type is calculated as the encoding cost of each inter prediction mode, and the inter prediction mode (macroblock type) with the minimum encoding cost is calculated. ) Is selected as the optimal inter prediction mode.
  • FIG. 11 is a diagram for explaining a prediction vector (PMV) of MVC (AVC).
  • a shift vector motion vector or disparity vector
  • a predicted image is generated using the shift vector.
  • the shift vector Since the shift vector is necessary for decoding the image on the decoding side, it is necessary to encode the shift vector information and include it in the encoded data. However, if the shift vector is encoded as it is, The amount of code increases and the coding efficiency may deteriorate.
  • the macroblock is divided into 8 ⁇ 8 pixel partitions, and each of the 8 ⁇ 8 pixel partitions is further divided into 4 ⁇ 4 pixel sub-partitions.
  • a prediction vector generated by MVC differs depending on a reference index (hereinafter also referred to as a prediction reference index) assigned to a reference image used for generating a prediction image of a macroblock around the target block.
  • a reference index hereinafter also referred to as a prediction reference index assigned to a reference image used for generating a prediction image of a macroblock around the target block.
  • AVC when generating a predicted image, a plurality of pictures can be used as reference images.
  • the reference image is stored in a buffer called DPB after decoding (local decoding).
  • the DPB is managed by the FIFO (First In First Out) method, and the pictures stored in the DPB are released in order from the picture with the smallest frame_num (becomes non-reference images).
  • FIFO First In First Out
  • the I (Intra) picture, the P (Predictive) picture, and the Bs picture that is a reference B (Bi-directional Predictive) picture are stored in the DPB as a short-time reference picture.
  • the moving window memory management method does not affect the long-term reference image stored in the DPB. That is, in the moving window memory management method, only the short-time reference image is managed by the FIFO method among the reference images.
  • pictures stored in the DPB are managed using a command called MMCO (Memory management control operation).
  • MMCO Memory management control operation
  • a short-time reference image as a non-reference image for a reference image stored in the DPB, or a reference index for managing a long-time reference image for a short-time reference image.
  • a long-term frame index setting a short-time reference image as a long-time reference image, setting a maximum value of long-term frame index, setting all reference images as non-reference images Etc. can be performed.
  • inter prediction for generating a predicted image is performed by performing motion compensation (displacement compensation) on a reference image stored in the DPB, but for inter prediction of B pictures (including Bs pictures)
  • Two-picture reference images can be used.
  • the inter prediction using the reference picture of the two pictures is called L0 (List 0) prediction and L1 (List 1) prediction, respectively.
  • L0 prediction, L1 prediction, or both L0 prediction and L1 prediction are used as inter prediction.
  • L0 prediction is used as inter prediction.
  • reference images that are referred to for generating predicted images are managed by a reference list (Reference Picture List).
  • a reference index that is an index for designating a reference image (possible reference image) to be referred to in generating a predicted image is assigned to a reference image (possible picture) stored in the DPB. It is done.
  • the reference index is assigned only for the L0 prediction.
  • both the L0 prediction and the L1 prediction may be used as the inter prediction for the B picture. Is assigned to both the L0 prediction and the L1 prediction.
  • the reference index for L0 prediction is also referred to as L0 index
  • the reference index for L1 prediction is also referred to as L1 index.
  • a reference index (L0 index) having a smaller value is assigned to the reference picture stored in the DPB as the reference picture is later in decoding order.
  • the reference index is an integer value of 0 or more, and the minimum value is 0. Therefore, when the target picture is a P picture, 0 is assigned as the L0 index to the reference picture decoded immediately before the target picture.
  • the reference index (L0 index, L0 index, POC (Picture Order Count) order is the default for AVC. And L1 index).
  • an L0 index having a smaller value is assigned to a reference image closer to the target picture with respect to a reference image temporally previous to the target picture in display order, and then the target picture is displayed in display order.
  • an L0 index having a smaller value is assigned to a reference image that is closer to the target picture.
  • a reference image closer to the target picture is assigned a lower L1 index to a reference image that is temporally later than the target picture in display order, and then the target picture is displayed in display order.
  • An L1 index having a smaller value is assigned to a reference image that is closer to the target picture with respect to a temporally previous reference image.
  • the reference index (L0 index and L1 index) by default of the above AVC is assigned to a short-time reference image.
  • the assignment of the reference index to the long-time reference image is performed after the reference index is assigned to the short-time reference image.
  • a reference index having a larger value than that of the short-time reference image is assigned to the long-time reference image.
  • any allocation can be performed by using a command called Reference Picture List Reordering (hereinafter also referred to as RPLR command). .
  • RPLR command Reference Picture List Reordering
  • the reference index is assigned to the reference image by a default method.
  • the prediction vector PMVX of the shift vector mvX of the target block X is, as shown in FIG. 11, the macroblock A adjacent to the left of the target block X, the macroblock B adjacent above, and the diagonally right It is obtained in a different manner depending on the reference index for prediction of each of the adjacent macroblocks C (reference indexes assigned to the reference images used for generating the prediction images of the macroblocks A, B, and C). .
  • the reference index ref_idx for prediction of the target block X is 0, for example.
  • the shift vector of the one macroblock (the macroblock for which the prediction reference index ref_idx is 0) is set as the prediction vector PMVX of the shift vector mvX of the target block X.
  • the macroblock B among the three macroblocks A to C adjacent to the target block X is a macroblock whose reference index ref_idx for prediction is 0.
  • the shift vector mvB of the macroblock A is set as the prediction vector PMVX of the target block X (shift vector mvX).
  • the median of the shift vector of two or more macroblocks for which the reference index ref_idx for prediction is 0 is set as the prediction vector PMVX of the target block X.
  • the 0 vector is set as the prediction vector PMVX of the target block X.
  • the target block X when the reference index ref_idx for prediction of the target block X is 0, the target block X can be encoded as a skip macroblock (skip mode).
  • the prediction vector is used as it is as the shift vector of the skip macroblock, and a copy of the block (corresponding block) at the position shifted by the shift vector (prediction vector) from the position of the skip macroblock in the reference image , The decoding result of the skip macroblock.
  • the target block is a skip macroblock depends on the specifications of the encoder, but is determined (determined) based on, for example, the amount of encoded data, the encoding cost of the target block, and the like.
  • FIG. 12 is a block diagram illustrating a configuration example of the inter prediction unit 123 of the encoder 42 of FIG.
  • the inter prediction unit 123 includes a parallax prediction unit 131 and a time prediction unit 132.
  • the DPB 43 is supplied from the deblocking filter 121 with a decoded image, that is, a picture of a packing color image (hereinafter also referred to as a decoding packing color image) encoded by the encoder 42 and locally decoded. And stored as a reference image (possible picture).
  • a decoded image that is, a picture of a packing color image (hereinafter also referred to as a decoding packing color image) encoded by the encoder 42 and locally decoded. And stored as a reference image (possible picture).
  • the DPB 43 is also supplied with and stored a picture of a central viewpoint color image (hereinafter also referred to as a decoded central viewpoint color image) encoded by the encoder 41 and locally decoded. Is done.
  • a central viewpoint color image hereinafter also referred to as a decoded central viewpoint color image
  • the picture of the decoded central viewpoint color image obtained by the encoder 41 is the predicted image for encoding the packing color image to be encoded (for Used to generate). For this reason, in FIG. 12, an arrow indicating that the decoded central viewpoint color image obtained by the encoder 41 is supplied to the DPB 43 is illustrated. *
  • the target picture of the packing color image is supplied from the screen rearrangement buffer 112 to the parallax prediction unit 131.
  • the disparity prediction unit 131 refers to the picture of the decoded central viewpoint color image (picture at the same time as the target picture) stored in the DPB 43 for the disparity prediction of the target block of the target picture of the packed color image from the screen rearrangement buffer 112 This is used as an image to generate a predicted image of the target block.
  • the disparity prediction unit 131 obtains the disparity vector of the target block by performing ME using the decoded central viewpoint color image stored in the DPB 43 as a reference image.
  • the disparity prediction unit 131 generates a predicted image of the target block by performing MC using the picture of the decoded central viewpoint color image stored in the DPB 43 as a reference image according to the disparity vector of the target block.
  • the disparity prediction unit 131 calculates, for each macroblock type, an encoding cost required for encoding the target block (predictive encoding) using a predicted image obtained from the reference image by disparity prediction.
  • the disparity prediction unit 131 selects a macroblock type with the lowest coding cost as the optimal inter prediction mode, and uses the predicted image (disparity prediction image) generated in the optimal inter prediction mode as the predicted image selection unit 124. To supply.
  • parallax prediction unit 131 supplies information such as the optimal inter prediction mode to the predicted image selection unit 124 as header information.
  • a reference index is assigned to the reference image, and the reference image is assigned to the reference image that is referred to when the predicted image generated in the optimal inter prediction mode is generated in the parallax prediction unit 131.
  • the reference index is selected as a reference index for prediction of the target block, and is supplied to the predicted image selection unit 124 as one piece of header information.
  • the time prediction unit 132 is supplied with the target picture of the packing color image from the screen rearrangement buffer 112.
  • the temporal prediction unit 132 performs temporal prediction of the target block of the target picture of the packing color image from the screen rearrangement buffer 112, and uses the decoded packing color picture stored in the DPB 43 (a picture at a time different from the target picture) as a reference image. To generate a predicted image of the target block.
  • the time prediction unit 132 obtains the motion vector of the target block by performing ME using the picture of the decoded packing color image stored in the DPB 43 as a reference image.
  • the temporal prediction unit 132 generates a predicted image of the target block by performing MC using the picture of the decoded packing color image stored in the DPB 43 as a reference image according to the motion vector of the target block.
  • the temporal prediction unit 132 calculates an encoding cost required for encoding the target block (predictive encoding) using a prediction image obtained by temporal prediction from the reference image for each macroblock type.
  • the temporal prediction unit 132 selects the macroblock type with the lowest coding cost as the optimal inter prediction mode, and uses the predicted image (temporal prediction image) generated in the optimal inter prediction mode as the predicted image selection unit 124. To supply.
  • time prediction unit 132 supplies information such as the optimal inter prediction mode to the predicted image selection unit 124 as header information.
  • a reference index is assigned to the reference image, and the reference image is assigned to the reference image that is referred to when the prediction image generated in the optimal inter prediction mode is generated in the temporal prediction unit 132.
  • the reference index is selected as a reference index for prediction of the target block, and is supplied to the predicted image selection unit 124 as one piece of header information.
  • the encoding cost is minimum.
  • a predicted image is selected and supplied to the calculation units 113 and 120.
  • a reference index having a value of 1 is assigned to a reference image referred to in disparity prediction (here, a picture of a decoded central viewpoint color image) and is referred to in temporal prediction. It is assumed that a reference index having a value of 0 is assigned to a reference image (here, a picture of a decoded packing color image).
  • FIG. 13 is a block diagram illustrating a configuration example of the disparity prediction unit 131 in FIG.
  • the parallax prediction unit 131 includes a parallax detection unit 141, a parallax compensation unit 142, a prediction information buffer 143, a cost function calculation unit 144, and a mode selection unit 145.
  • a picture of the decoded central viewpoint color image as a reference image is supplied from the DPB 43 to the parallax detection unit 141, and a picture of the packing color image to be encoded (target picture) is supplied from the screen rearrangement buffer 112.
  • the parallax detection unit 141 performs ME using the target block and the picture of the decoded central viewpoint color image that is the reference image, so that, for example, in the picture of the target block and the decoded central viewpoint color image, A disparity vector mv representing a deviation from the corresponding block that provides the best coding efficiency such as minimizing SAD or the like is detected for each macroblock type and supplied to the disparity compensation unit 142.
  • the parallax compensation unit 142 is supplied with a parallax vector mv from the parallax detection unit 141, and is also supplied with a picture of a decoded central viewpoint color image as a reference image from the DPB 43.
  • the parallax compensation unit 142 generates a predicted image of the target block for each macroblock type by performing parallax compensation of the reference image from the DPB 43 using the parallax vector mv of the target block from the parallax detection unit 141.
  • the disparity compensation unit 142 acquires, as a predicted image, a corresponding block that is a block (region) at a position shifted by the disparity vector mv from the position of the target block in the picture of the decoded central viewpoint color image as a reference image. .
  • the parallax compensation unit 142 obtains the prediction vector PMV of the parallax vector mv of the target block using the parallax vectors of the macroblocks around the target block that have already been encoded as necessary.
  • the disparity compensation unit 142 obtains a residual vector that is a difference between the disparity vector mv of the target block and the prediction vector PMV.
  • the parallax compensation unit 142 uses the prediction image of the target block for each prediction mode such as the macroblock type, the residual vector of the target block, and the reference image (in this case, the decoding image) used to generate the prediction image.
  • the reference index assigned to the picture of the central viewpoint color image) is associated with the prediction mode and supplied to the prediction information buffer 143 and the cost function calculation unit 144.
  • the prediction information buffer 143 temporarily stores the prediction image, the residual vector, and the reference index associated with the prediction mode from the parallax compensation unit 142 as prediction information together with the prediction mode.
  • the cost function calculation unit 144 is supplied with the prediction image, the residual vector, and the reference index associated with the prediction mode from the parallax compensation unit 142, and from the screen rearrangement unit buffer 112 with the packing color image.
  • the target picture is supplied.
  • the cost function calculating unit 144 calculates a coding cost for a coding cost required for coding the target block of the target picture from the screen rearrangement buffer 112 for each macroblock type (FIG. 10) as the prediction mode. It is obtained according to the cost function.
  • the cost function calculation unit 144 obtains a value MV corresponding to the code amount of the residual vector from the parallax compensation unit 142 and corresponds to the code amount of the reference index (prediction reference index) from the parallax compensation unit 142. Find the value IN.
  • the cost function calculation unit 144 obtains a SAD that is a value D corresponding to the residual code amount of the target block for the prediction image from the parallax compensation unit 142.
  • the cost function calculation unit 144 When the cost function calculation unit 144 obtains the coding cost (cost function value) for each macroblock type, the cost function calculation unit 144 supplies the coding cost to the mode selection unit 145.
  • the mode selection unit 145 detects the minimum cost, which is the minimum value, from the encoding costs for each macroblock type from the cost function calculation unit 144.
  • the mode selection unit 145 selects the macro block type for which the minimum cost is obtained as the optimum inter prediction mode.
  • the mode selection part 145 reads the prediction image matched with the prediction mode which is the optimal inter prediction mode, a residual vector, and a reference index from the prediction information buffer 143, and with the prediction mode which is the optimal inter prediction mode. And supplied to the predicted image selection unit 124.
  • the prediction mode (optimum inter prediction mode), the residual vector, and the reference index (prediction reference index) supplied from the mode selection unit 145 to the prediction image selection unit 124 are inter-prediction (here, disparity).
  • Prediction mode related information related to (prediction) and the prediction image selection unit 124 supplies the prediction mode related information related to this inter prediction to the variable length encoding unit 116 (FIG. 9) as header information as necessary. .
  • the temporal prediction unit 132 in FIG. 12 performs the same processing as the parallax prediction unit 131 in FIG. 13 except that the reference image is not a decoded central viewpoint color image but a decoded packing color image. Is called.
  • FIG. 14 is a block diagram illustrating a configuration example of the decoding device 32C in FIG.
  • the decoding device 32C includes decoders 211 and 212, and a DPB 213.
  • the decoder 211 is supplied with the encoded data of the central viewpoint color image that is the base view image.
  • the decoder 211 decodes the encoded data of the central viewpoint color image supplied thereto by MVC, and outputs the central viewpoint color image obtained as a result.
  • the decoder 212 is supplied with encoded data of a packed color image that is a non-base view image.
  • the decoder 212 decodes the encoded data of the packing color image supplied thereto by MVC, and outputs the resulting packing color image.
  • the central viewpoint color image output from the decoder 211 and the packing color image output from the decoder 212 are supplied to the resolution reverse conversion device 33C (FIG. 3) as a resolution conversion multi-viewpoint color image.
  • the DPB 213 temporarily stores the decoded image (decoded image) obtained by decoding the decoding target image in each of the decoders 211 and 212 as a reference image (candidate) to be referred to when the predicted image is generated.
  • the decoders 211 and 212 decode the images that have been predictively encoded by the encoders 41 and 42 in FIG.
  • the decoders 211 and 212 perform decoding in order to generate a predictive image used in predictive encoding. After decoding the target image, the decoded image used for generating the predicted image is temporarily stored in the DPB 213.
  • the DPB 213 is a shared buffer for temporarily storing the decoded images (decoded images) obtained by the decoders 211 and 212, respectively.
  • the decoders 211 and 212 each receive an image to be decoded from the decoded images stored in the DPB 213.
  • a reference image to be referenced for decoding is selected, and a predicted image is generated using the reference image.
  • each of the decoders 211 and 212 can refer to a decoded image obtained by itself as well as a decoded image obtained by another decoder.
  • the decoder 211 decodes the image of the base view, only the decoded image obtained by the decoder 211 is referred to (no parallax prediction is performed).
  • FIG. 15 is a block diagram showing a configuration example of the decoder 212 in FIG.
  • a decoder 212 includes an accumulation buffer 241, a variable length decoding unit 242, an inverse quantization unit 243, an inverse orthogonal transform unit 244, a calculation unit 245, a deblocking filter 246, a screen rearrangement buffer 247, and a D / A conversion unit. 248, an intra prediction unit 249, an inter prediction unit 250, and a predicted image selection unit 251.
  • the storage buffer 241 is supplied with the encoded data of the packed color image from the encoded data of the central viewpoint color image and the packed color image constituting the multi-view color image encoded data from the demultiplexer 31. Is done.
  • the accumulation buffer 241 temporarily stores the encoded data supplied thereto and supplies the encoded data to the variable length decoding unit 242.
  • variable length decoding unit 242 performs variable length decoding on the encoded data from the accumulation buffer 241 to restore the prediction mode related information that is a quantized value or header information. Then, the variable length decoding unit 242 supplies the quantization value to the inverse quantization unit 243 and supplies the header information (prediction mode related information) to the in-screen prediction unit 249 and the inter prediction unit 250.
  • the inverse quantization unit 243 inversely quantizes the quantized value from the variable length decoding unit 242 into a transform coefficient and supplies the transform coefficient to the inverse orthogonal transform unit 244.
  • the inverse orthogonal transform unit 244 performs inverse orthogonal transform on the transform coefficient from the inverse quantization unit 243 and supplies the transform coefficient to the arithmetic unit 245 in units of macroblocks.
  • the calculation unit 245 sets the macroblock supplied from the inverse orthogonal transform unit 244 as a target block to be decoded, and adds the predicted image supplied from the predicted image selection unit 251 to the target block as necessary. Thus, a decoded image is obtained and supplied to the deblocking filter 246.
  • the deblocking filter 246 performs, for example, the same filtering as the deblocking filter 121 of FIG. 9 on the decoded image from the arithmetic unit 245, and supplies the decoded image after filtering to the screen rearrangement buffer 247.
  • the screen rearrangement buffer 247 temporarily stores and reads out the picture of the decoded image from the deblocking filter 246, thereby rearranging the picture arrangement to the original arrangement (display order), and D / A (Digital / Analog) This is supplied to the conversion unit 248.
  • the D / A conversion unit 248 When the D / A conversion unit 248 needs to output the picture from the screen rearrangement buffer 247 as an analog signal, the D / A conversion unit 248 performs D / A conversion on the picture and outputs it.
  • the deblocking filter 246 supplies the decoded images of the I picture, the P picture, and the Bs picture, which are referenceable pictures among the decoded images after filtering, to the DPB 213.
  • the DPB 213 stores the picture of the decoded image from the deblocking filter 246, that is, the picture of the packing color image, as a reference image to be referred to when generating a prediction image used for decoding performed later in time.
  • the DPB 213 is shared by the decoders 211 and 212, so that the central viewpoint color decoded by the decoder 211 as well as the picture of the packing color image (decoded packing color image) decoded by the decoder 212.
  • the picture of the image (decoded central viewpoint color image) is also stored.
  • the intra prediction unit 249 recognizes whether or not the target block is encoded using a prediction image generated by intra prediction (intra prediction) based on the header information from the variable length decoding unit 242.
  • the intra-screen prediction unit 249 receives a picture including the target block from the DPB 213, as in the intra-screen prediction unit 122 of FIG. A portion (decoded image) that has already been decoded in the target picture) is read out. Then, the in-screen prediction unit 249 supplies a part of the decoded image of the target picture read from the DPB 213 to the predicted image selection unit 251 as the predicted image of the target block.
  • the inter prediction unit 250 recognizes based on the header information from the variable length decoding unit 242 whether the target block is encoded using a prediction image generated by inter prediction.
  • the inter prediction unit 250 When the target block is encoded using a prediction image generated by inter prediction, the inter prediction unit 250 performs prediction reference based on header information (prediction mode related information) from the variable length decoding unit 242.
  • the index that is, the reference index assigned to the reference image used to generate the predicted image of the target block is recognized.
  • the inter prediction unit 250 reads, as a reference image, a picture to which a reference index for prediction is assigned from the picture of the decoded packing color image and the picture of the decoded central viewpoint color image stored in the DPB 213.
  • the inter prediction unit 250 recognizes a shift vector (disparity vector, motion vector) used to generate a predicted image of the target block based on the header information from the variable length decoding unit 242, and the inter prediction unit in FIG. In the same manner as in 123, a predicted image is generated by performing compensation for a reference image (motion compensation that compensates for a displacement for motion or parallax compensation that compensates for a displacement for disparity) according to the displacement vector.
  • a shift vector displacement vector, motion vector
  • the inter prediction unit 250 acquires, as a predicted image, a block (corresponding block) at a position moved (shifted) from the position of the target block of the reference image according to the shift vector of the target block.
  • the inter prediction unit 250 supplies the predicted image to the predicted image selection unit 251.
  • the prediction image selection unit 251 selects the prediction image when the prediction image is supplied from the intra-screen prediction unit 249, and selects the prediction image when the prediction image is supplied from the inter prediction unit 250. And supplied to the calculation unit 245.
  • FIG. 16 is a block diagram illustrating a configuration example of the inter prediction unit 250 of the decoder 212 in FIG.
  • the inter prediction unit 250 includes a reference index processing unit 260, a parallax prediction unit 261, and a time prediction unit 262.
  • the DPB 213 is supplied from the deblocking filter 246 with the decoded image, that is, the picture of the decoded packed color image decoded by the decoder 212, and stored as a reference image.
  • the DPB 213 is also supplied with the picture of the decoded central viewpoint color image decoded by the decoder 211 and stored therein. For this reason, in FIG. 16, an arrow indicating that the decoded central viewpoint color image obtained by the decoder 211 is supplied to the DPB 213 is illustrated.
  • the reference index processing unit 260 is supplied with the reference index (for prediction) of the target block in the prediction mode related information which is the header information from the variable length decoding unit 242.
  • the reference index processing unit 260 reads, from the DPB 213, the picture of the decoded central viewpoint color image or the picture of the decoded packed color image to which the reference index for prediction of the target block from the variable length decoding unit 242 is assigned, and the disparity The data is supplied to the prediction unit 261 or the time prediction unit 262.
  • a reference index having a value of 1 is assigned to the picture of the decoded central viewpoint color image, which is a reference image referred to in the parallax prediction, in the encoder 42.
  • a reference index having a value of 0 is assigned to a picture of a decoded packing color image that is a reference image that is referred to in temporal prediction.
  • the reference index for predicting the target block can recognize the picture of the decoded central viewpoint color image or the picture of the decoded packing color image, which is the reference image used to generate the predicted image of the target block. Furthermore, it can be recognized whether the deviation prediction performed when generating the prediction image of the target block is one of temporal prediction and parallax prediction.
  • the reference index processing unit 260 when the picture to which the reference index for prediction of the target block from the variable length decoding unit 242 is assigned is a picture of the decoded central viewpoint color image (the reference index for prediction is 1). In this case, since the predicted image of the target block is generated by parallax prediction, the picture of the decoded central viewpoint color image to which the reference index for prediction (reference index that matches) is assigned is read from the DPB 213 as a reference image. And supplied to the parallax prediction unit 261.
  • the reference index processing unit 260 when the picture to which the reference index for prediction of the target block from the variable length decoding unit 242 is assigned is a picture of a decoded packing color image (the prediction reference index is 0). In some cases, since the predicted image of the target block is generated by temporal prediction, the picture of the decoded packing color image to which the reference index for prediction (reference index that matches) is assigned is read from the DPB 213 as a reference image. To the time prediction unit 262.
  • the prediction mode related information which is header information from the variable length decoding unit 242, is supplied to the parallax prediction unit 261.
  • the parallax prediction unit 261 recognizes whether or not the target block is encoded using the prediction image generated by the parallax prediction based on the header information from the variable length decoding unit 242.
  • the parallax prediction unit 261 is used to generate a prediction image of the target block based on the header information from the variable length decoding unit 242.
  • the disparity vector is restored, and the prediction image is generated by performing disparity prediction (disparity compensation) according to the disparity vector, similarly to the disparity prediction unit 131 of FIG.
  • the disparity prediction unit 261 receives the decoding central viewpoint as the reference image from the reference index processing unit 260. A picture of a color image is supplied.
  • the disparity prediction unit 261 moves (shifts) a block (corresponding) from the position of the target block of the picture of the decoded central viewpoint color image as the reference image from the reference index processing unit 260 according to the disparity vector of the target block. Block) is acquired as a predicted image.
  • the parallax prediction unit 261 supplies the predicted image to the predicted image selection unit 251.
  • the prediction mode related information which is header information from the variable length decoding unit 242, is supplied to the time prediction unit 262.
  • the time prediction unit 262 recognizes whether or not the target block is encoded using the prediction image generated by the time prediction based on the header information from the variable length decoding unit 242.
  • the temporal prediction unit 262 When the target block is encoded using a prediction image generated by temporal prediction, the temporal prediction unit 262 is used to generate a prediction image of the target block based on the header information from the variable length decoding unit 242. The motion vector is restored, and the prediction image is generated by performing temporal prediction (motion compensation) according to the motion vector, similarly to the temporal prediction unit 132 of FIG.
  • the temporal prediction unit 262 receives the decoding packing color as the reference image from the reference index processing unit 260 as described above. A picture of the image is supplied.
  • the time prediction unit 262 moves (shifts) the block (corresponding block) from the position of the target block of the picture of the decoded packed color image as the reference image from the reference index processing unit 260 according to the motion vector of the target block. ) As a predicted image.
  • the time prediction unit 262 supplies the predicted image to the predicted image selection unit 251.
  • FIG. 17 is a block diagram illustrating a configuration example of the disparity prediction unit 261 in FIG.
  • the parallax prediction unit 261 includes a parallax compensation unit 272.
  • the parallax compensation unit 272 is supplied with a decoded central viewpoint color image as a reference image from the reference index processing unit 260, and from the variable length decoding unit 242 with a prediction mode included in mode-related information as header information, and The residual vector is supplied.
  • the disparity compensation unit 272 obtains a prediction vector of the disparity vector of the target block using the disparity vector of the already decoded macroblock as necessary, and the prediction vector and the remaining of the target block from the variable length decoding unit 242 are obtained.
  • the disparity vector mv of the target block is restored by adding the difference vector.
  • the parallax compensation unit 272 performs parallax compensation on the picture of the decoded central viewpoint color image as the reference image from the reference index processing unit 260 by using the parallax vector mv of the target block, so that the variable length decoding unit 242 A prediction image of the target block is generated for the macroblock type represented by the prediction mode.
  • the parallax compensation unit 272 acquires a corresponding block that is a block at a position shifted by the parallax vector mv from the position of the target block in the picture of the decoded central viewpoint color image as a predicted image.
  • the parallax compensation unit 272 supplies the predicted image to the predicted image selection unit 251.
  • temporal prediction unit 262 in FIG. 16 performs the same processing as the disparity prediction unit 261 in FIG. 17 except that the reference image is not a decoded central viewpoint color image but a decoded packed color image. Is called.
  • the parallax prediction is performed. Prediction accuracy (prediction efficiency) may decrease.
  • the horizontal / vertical resolution ratio of the central viewpoint color image, the left viewpoint color image, and the right viewpoint color image ratio between the number of horizontal pixels and the number of vertical pixels.
  • the packing color image is a left viewpoint color image in which the vertical resolution of each of the left viewpoint color image and the right viewpoint color image is halved and the vertical resolution is halved.
  • the encoder 42 (FIG. 9) refers to the resolution ratio of the packing color image (encoding target image) to be encoded and the prediction of the packing color image in the parallax prediction.
  • the resolution ratio of the central viewpoint color image (decoded central viewpoint color image), which is a reference image of a viewpoint different from the packing color image, does not match (match).
  • the vertical resolution (vertical resolution) of each of the left viewpoint color image and the right viewpoint color image is 1 ⁇ 2 of the original, and therefore the left color in the packing color image.
  • the resolution ratio between the viewpoint color image and the right viewpoint color image is 2: 1.
  • the resolution ratio of the central viewpoint color image as the reference image is 1: 1
  • the resolution ratio of the left viewpoint color image and the right viewpoint color image that are the packing color image is 2: 1. Does not match.
  • the prediction accuracy of the parallax prediction decreases (the residual between the predicted image generated by the parallax prediction and the target block) Encoding efficiency), and encoding efficiency deteriorates.
  • FIG. 18 is a block diagram showing another configuration example of the transmission apparatus 11 of FIG.
  • the transmission apparatus 11 includes resolution conversion apparatuses 321C and 321D, encoding apparatuses 322C and 322D, and a multiplexing apparatus 23.
  • the transmission apparatus 11 of FIG. 18 has the multiplexing apparatus 23 in common with the case of FIG. 2, and instead of the resolution conversion apparatuses 21C and 21D and the encoding apparatuses 22C and 22D, respectively, the resolution conversion apparatus It is different from the case of FIG. 2 in that 321C and 321D and encoding devices 322C and 322D are provided.
  • a multi-viewpoint color image is supplied to the resolution conversion device 321C.
  • the resolution conversion device 321C performs, for example, the same processing as the resolution conversion device 21C in FIG.
  • the resolution conversion device 321C performs resolution conversion for converting the multi-view color image supplied thereto into a low-resolution resolution conversion multi-view color image lower than the original resolution, and the resulting resolution conversion multi-view color image. Is supplied to the encoding device 322C.
  • the resolution conversion device 321C generates resolution conversion information and supplies it to the encoding device 322C.
  • the resolution conversion information generated by the resolution conversion device 321C is information relating to resolution conversion of a multi-view color image to a resolution-converted multi-view color image, which is performed by the resolution conversion device 321C.
  • Resolution information regarding the resolution of the central viewpoint color image which is a reference image having a different viewpoint from the encoding target image.
  • the encoding device 322C encodes the resolution-converted multi-view color image obtained as a result of the resolution conversion by the resolution converting device 321C.
  • the resolution-converted multi-view color image that is the target of the encoding is shown in FIG. As described above, the central viewpoint color image and the packing color image.
  • the encoding target image to be encoded using the parallax prediction is a packing color image that is a non-base view image, and is referenced in the parallax prediction of the packing color image.
  • the reference image is a central viewpoint color image.
  • the resolution conversion information generated by the resolution conversion device 321C includes information regarding the resolution of the packing color image and the central viewpoint color image.
  • the encoding device 322C encodes the resolution-converted multi-viewpoint color image supplied from the resolution conversion device 321C by an extended method that is an extension of a standard such as MVC, which is a standard for transmitting images of a plurality of viewpoints.
  • Multi-view color image encoded data which is encoded data obtained as a result, is supplied to the multiplexing device 23.
  • images of a plurality of viewpoints can be transmitted, for example, a standard such as HEVC (High Efficiency Video Video Coding) Can be adopted.
  • HEVC High Efficiency Video Video Coding
  • a multi-view depth image is supplied to the resolution conversion device 321D.
  • the resolution conversion device 321C In the resolution conversion device 321D and the encoding device 322D, the resolution conversion device 321C, except that a depth image (multi-view depth image) is processed as a processing target instead of a color image (multi-view color image). The same processing as that performed by the encoding device 322C is performed.
  • FIG. 19 is a block diagram showing another configuration example of the receiving device 12 of FIG.
  • FIG. 19 shows a configuration example of the receiving device 12 in FIG. 1 when the transmitting device 11 in FIG. 1 is configured as shown in FIG.
  • the receiving device 12 includes a demultiplexing device 31, decoding devices 332C and 332D, and resolution inverse conversion devices 333C and 333D.
  • the receiving device 12 of FIG. 19 is common to the case of FIG. 3 in that the receiving device 12 includes the demultiplexing device 31, and instead of the decoding devices 32C and 32D and the resolution inverse transform devices 33C and 33D, respectively.
  • 3 is different from the case of FIG. 3 in that 332C and 332D and resolution inverse conversion devices 333C and 333D are provided.
  • the decoding device 332C decodes the multi-view color image encoded data supplied from the demultiplexing device 31 by the extended method, and performs resolution inverse conversion on the resolution-converted multi-view color image and the resolution conversion information obtained as a result. Supply to device 333C.
  • the resolution reverse conversion device 333C performs resolution reverse conversion for converting (reverse) the resolution-converted multi-view color image from the decoding device 332C into a multi-view color image of the original resolution based on the resolution conversion information from the decoding device 332C. And output a multi-view color image obtained as a result.
  • the decoding device 332D and the inverse resolution conversion device 333D are not multiview color image encoded data (resolution conversion multiview color image) but multiview depth image encoded data (resolution conversion multiview) from the demultiplexing device 31.
  • the same processing is performed with each of the decoding device 332C and the resolution reverse conversion device 333C, except that the depth image is processed as a processing target.
  • FIG. 20 is a diagram for explaining the resolution conversion performed by the resolution conversion device 321C (and 321D) in FIG. 18 and the resolution reverse conversion performed by the resolution reverse conversion device 333C (and 333D) in FIG.
  • the resolution conversion device 321C (FIG. 18), for example, similarly to the resolution conversion device 21C of FIG. 2, provides a central viewpoint color image, a left viewpoint color image, and a right viewpoint color image that are multi-viewpoint color images supplied thereto.
  • the central viewpoint color image is output as it is (without resolution conversion).
  • the resolution conversion device 321C converts the resolutions of the two viewpoint images into the low resolution for the remaining left viewpoint color image and right viewpoint color image of the multi-viewpoint color image, and converts them into an image for one viewpoint. By performing packing to be combined, a packing color image is generated and output.
  • the resolution conversion apparatus 321C halves the vertical resolution (number of pixels) of the left viewpoint color image (frame) and the right viewpoint color image (frame), and the vertical resolution is 1/2.
  • the resolution conversion apparatus 321C halves the vertical resolution (number of pixels) of the left viewpoint color image (frame) and the right viewpoint color image (frame), and the vertical resolution is 1/2.
  • the left viewpoint is extracted from the left viewpoint color image by extracting only the odd lines, for example, odd lines or even lines of the left viewpoint color image.
  • the vertical resolution of the color image is set to 1/2 (original).
  • the resolution conversion device 321C extracts only the even line which is the other of the odd line and the even line of the right viewpoint color image from the right viewpoint color image, so that the vertical resolution of the right viewpoint color image is 1 /. 2 has been.
  • the line of the left viewpoint color image (hereinafter also referred to as the left viewpoint line) whose vertical resolution is halved (the odd line of the original left viewpoint color image) is displayed in the odd line field.
  • a line of a right viewpoint color image (hereinafter also referred to as a right viewpoint line) (an even line of the original right viewpoint color image) whose vertical resolution is halved is arranged as a line of a certain top field.
  • a packing color image (frame) is generated by arranging as a bottom field line as a field.
  • the left viewpoint line is adopted as the odd line of the packing color image and the right viewpoint line is adopted as the even line of the packing color image.
  • the right viewpoint line can be adopted, and the left viewpoint line can be adopted as the even line of the packing color image.
  • the resolution conversion device 321C can extract only the even lines of the left viewpoint color image and halve the vertical resolution. Similarly, for the right viewpoint color image, it is possible to extract only odd lines and halve the vertical resolution.
  • the resolution conversion device 321C further indicates that the resolution of the central viewpoint color image is unchanged, the packing color image is the left viewpoint line of the left viewpoint color image (with the vertical resolution halved), and Then, resolution conversion information indicating that the image is one viewpoint image in which the right viewpoint lines of the right viewpoint color image are alternately arranged is generated.
  • the resolution reverse conversion device 333C determines from the resolution conversion information supplied thereto that the resolution of the central viewpoint color image remains the same, or that the packing color image is left of the left viewpoint color image. It is recognized that the image is for one viewpoint in which the viewpoint line and the right viewpoint line of the right viewpoint color image are alternately arranged.
  • the resolution reverse conversion device 333C based on the information recognized from the resolution conversion information, the central viewpoint color image among the central viewpoint color image and the packing color image that are resolution conversion multi-view color images supplied thereto. Is output as is.
  • the resolution inverse conversion device 333C based on the information recognized from the resolution conversion information, converts the packing color image of the central viewpoint color image and the packing color image which are resolution conversion multi-view color images supplied thereto.
  • the odd-numbered lines that are the top field lines and the even-numbered lines that are the bottom field lines are separated.
  • the resolution reverse conversion device 333C obtains the vertical resolution of the left viewpoint color image and the right viewpoint color image, which are obtained by separating the packing color image into odd lines and even lines, and the vertical resolution is halved. Is returned to the original resolution by interpolation or the like and output.
  • the multi-view color image may be an image of four or more viewpoints.
  • the packing color in which the images of two viewpoints with the vertical resolution halved are packed into an image for one viewpoint (the amount of data). Two or more images can be generated.
  • each line of images of K viewpoints or more with a vertical resolution of 1 / K repeatedly in sequence a packed color image packed into an image for one viewpoint can be generated.
  • FIG. 21 is a flowchart for explaining processing of the transmission device 11 of FIG.
  • step S11 the resolution conversion apparatus 321C performs resolution conversion of the multi-viewpoint color image supplied thereto, and encodes the resolution-converted multi-viewpoint color image that is the central viewpoint color image and the packing color image obtained as a result. Supply to device 322C.
  • the resolution conversion device 321C generates resolution conversion information for the resolution-converted multi-viewpoint color image, supplies the resolution conversion information to the encoding device 322C, and the process proceeds from step S11 to step S12.
  • step S12 the resolution conversion apparatus 321D performs resolution conversion of the multi-view depth image supplied thereto, and encodes the resolution-converted multi-view depth image that is the central viewpoint depth image and the packing depth image obtained as a result. Supply to device 322D.
  • the resolution conversion device 321D generates resolution conversion information for the resolution-converted multi-view depth image, supplies the resolution conversion information to the encoding device 322D, and the process proceeds from step S12 to step S13.
  • step S13 the encoding device 322C encodes the resolution-converted multi-viewpoint color image from the resolution conversion device 321C by using the resolution conversion information from the resolution conversion device 321C as necessary, and obtains the result.
  • Multi-view color image encoded data that is encoded data is supplied to the multiplexing device 23, and the process proceeds to step S14.
  • step S14 the encoding device 322D encodes the resolution-converted multi-view depth image from the resolution conversion device 321D using the resolution conversion information from the resolution conversion device 321D as necessary, and obtains the result.
  • the encoded multi-view depth image encoded data is supplied to the multiplexing device 23, and the process proceeds to step S15.
  • step S15 the multiplexing device 23 multiplexes the multi-view color image encoded data from the encoding device 322C and the multi-view depth image encoded data from the encoding device 322D, and the resulting multiplexed bits. Output a stream.
  • FIG. 22 is a flowchart for explaining processing of the receiving device 12 of FIG.
  • step S21 the demultiplexer 31 performs demultiplexing of the multiplexed bitstream supplied thereto, thereby converting the multiplexed bitstream into multiview color image encoded data and multiview depth image code. Separated into data.
  • the demultiplexing device 31 supplies the multi-view color image encoded data to the decoding device 332C, supplies the multi-view depth image encoded data to the decoding device 332D, and the processing is performed from step S21 to step S22. Proceed to
  • step S22 the decoding device 332C decodes the multi-view color image encoded data from the demultiplexing device 31 by the extended method, and the resolution-converted multi-view color image obtained as a result, and the resolution-converted multi-view color.
  • the resolution conversion information about the image is supplied to the resolution inverse conversion device 333C, and the process proceeds to step S23.
  • step S ⁇ b> 23 the decoding device 332 ⁇ / b> D decodes the multi-view depth image encoded data from the demultiplexing device 31 by the extended method, and the resolution-converted multi-view depth image obtained as a result, and the resolution-converted multi-view depth.
  • the resolution conversion information about the image is supplied to the resolution inverse conversion device 333D, and the process proceeds to step S24.
  • step S24 the resolution reverse conversion device 333C reversely converts the resolution-converted multi-view color image from the decoding device 332C into a multi-view color image having the original resolution based on the resolution conversion information from the decoding device 332C.
  • the conversion is performed and the resulting multi-viewpoint color image is output, and the process proceeds to step S25.
  • step S25 the resolution reverse conversion device 333D reversely converts the resolution converted multi-view depth image from the decoding device 332D into a multi-view depth image of the original resolution based on the resolution conversion information from the decoding device 332D. The conversion is performed, and the resulting multi-view depth image is output.
  • FIG. 23 is a block diagram illustrating a configuration example of the encoding device 322C in FIG.
  • the encoding device 322C includes encoders 341 and 342 and a DPB 43.
  • the encoding device 322C of FIG. 23 is common to the encoding device 22C of FIG. 5 in that it has a DPB 43, and is different from the encoder 41 and 42 in that encoders 341 and 342 are provided. 5 is different from the encoding device 22C.
  • the encoder 341 is supplied with the central viewpoint color image (the frame) of the central viewpoint color image and the packed color image constituting the resolution conversion multi-viewpoint color image from the resolution conversion device 321C.
  • the encoder 342 is supplied with a packing color image (frame) of the central viewpoint color image and the packing color image constituting the resolution conversion multi-view color image from the resolution conversion device 321C.
  • resolution conversion information from the resolution conversion device 321C is supplied to the encoders 341 and 342.
  • the encoder 341 encodes the central viewpoint color image as an image of the base view by an extended method in which MVC (AVC) is extended, and the encoded data of the central viewpoint color image obtained as a result Is output.
  • MVC MVC
  • the encoder 342 encodes the packing color image as a non-base view image by the extended method, and outputs the encoded data of the packing color image obtained as a result, similarly to the encoder 42 in FIG. 5.
  • the encoders 341 and 342 perform encoding in the extended format, but in the extended format, the field encoding mode in which 1 field is encoded as 1 picture and the encoding in 1 frame as 1 picture are performed. Which of the frame encoding modes to perform is adopted as the encoding mode for encoding a picture is set based on the resolution conversion information from the resolution conversion device 321C.
  • AVC stipulates that field_pic_flag and bottom_field_flag must all have the same value with respect to slice headers existing in the same access unit.
  • the encoding mode needs to match between non-base view images.
  • the encoding mode of the base view image and the non-base view image does not need to match, but in this embodiment, the standard (in this example, the original of the extended method) , MVC), the encoding modes of the base view image and the non-base view image are made to coincide.
  • encoder 341 and encoder 342 when one encoding mode is set to field encoding mode, the other encoding mode is also set to field encoding mode, and one encoding mode is set to frame code. When the encoding mode is set, the other encoding mode is also set to the frame encoding mode.
  • the encoded data of the central viewpoint color image output from the encoder 341 and the encoded data of the packed color image output from the encoder 342 are supplied to the multiplexing device 23 (FIG. 18) as multi-view color image encoded data.
  • the DPB 43 is shared by the encoders 341 and 342.
  • the encoders 341 and 342 perform predictive encoding on the encoding target image in the same manner as MVC. Therefore, the encoders 341 and 342 generate a predicted image used for predictive encoding, after encoding an encoding target image, perform local decoding to obtain a decoded image.
  • Each of the encoders 341 and 342 selects a reference image to be referred to when encoding an image to be encoded from the decoded images stored in the DPB 43. Then, each of the encoders 341 and 342 generates a predicted image using the reference image, and performs image coding (predictive coding) using the predicted image.
  • each of the encoders 341 and 342 can refer to a decoded image obtained by another encoder in addition to the decoded image obtained by itself.
  • the encoder 341 since the encoder 341 encodes the base view image, the encoder 341 refers only to the decoded image obtained by the encoder 341.
  • FIG. 24 is a block diagram illustrating a configuration example of the encoder 342 of FIG.
  • an encoder 342 includes an A / D conversion unit 111, a screen rearrangement buffer 112, a calculation unit 113, an orthogonal transformation unit 114, a quantization unit 115, a variable length coding unit 116, an accumulation buffer 117, and an inverse quantization unit. 118, an inverse orthogonal transform unit 119, a calculation unit 120, a deblocking filter 121, an intra prediction unit 122, an inter prediction unit 123, a predicted image selection unit 124, a SEI (SupplementalSEEnhancement Information) generation unit 351, and a structure conversion unit 352.
  • SEI SupplementalSEEnhancement Information
  • the encoder 342 is common to the encoder 42 in FIG. 9 in that the encoder 342 includes the A / D conversion unit 111 or the predicted image selection unit 124.
  • the encoder 342 is different from the encoder 42 of FIG. 9 in that an SEI generation unit 351 and a structure conversion unit 352 are newly provided.
  • the SEI generation unit 351 is supplied with resolution conversion information about the resolution-converted multi-viewpoint color image from the resolution conversion device 321C (FIG. 18).
  • the SEI generation unit 351 converts the format of the resolution conversion information supplied thereto into the MVC (AVC) SEI format, and outputs the resolution conversion SEI obtained as a result.
  • the resolution conversion SEI output from the SEI generation unit 351 is supplied to the variable length encoding unit 116.
  • variable length encoding unit 116 the resolution conversion SEI from the SEI generation unit 351 is included in the encoded data and transmitted.
  • the structure conversion unit 352 is provided on the output side of the screen rearrangement buffer 112. Therefore, the picture from the screen rearrangement buffer 112 is supplied to the structure conversion unit 352.
  • the resolution conversion information on the resolution-converted multi-viewpoint color image is supplied to the structure conversion unit 352 from the resolution conversion device 321C (FIG. 18).
  • the structure conversion unit 352 sets the encoding mode to the field encoding mode or the frame encoding mode based on the resolution conversion information from the resolution conversion device 321C, and rearranges the screen based on the encoding mode.
  • the structure of the picture from the buffer 112 is converted.
  • the structure conversion unit 352 outputs the frame as the picture from the screen rearrangement buffer 112 as it is as one picture based on the encoding mode.
  • a frame as a picture from the screen rearrangement buffer 112 is converted into a top field and a bottom field, and each field is output as one picture.
  • the structure conversion unit 352 outputs the field as the picture from the screen rearrangement buffer 112 as it is as one picture based on the encoding mode.
  • the continuous top field and bottom field among the fields as pictures from the screen rearrangement buffer 112 are converted into frames, and the frames are output as one picture.
  • the picture output from the structure conversion unit 352 is supplied to the calculation unit 113, the intra-screen prediction unit 122, and the inter prediction unit 123.
  • the encoder 341 in FIG. 23 is configured similarly to the encoder 342 in FIG.
  • the inter prediction unit 123 in the inter prediction performed by the inter prediction unit 123, disparity prediction is not performed and only temporal prediction is performed. Therefore, the inter prediction unit 123 can be configured without providing the parallax prediction unit 131 that performs parallax prediction.
  • the encoder 341 that encodes the base-view image performs the same processing as the encoder 342 that encodes the non-base-view image except that the parallax prediction is not performed. Therefore, the encoder 342 will be described below. The description of the encoder 341 is omitted as appropriate.
  • FIG. 25 is a diagram for explaining the resolution conversion SEI generated by the SEI generation unit 351 of FIG.
  • FIG. 25 is a diagram illustrating an example of syntax of 3dv_view_resolution (payloadSize) as resolution conversion SEI.
  • 3dv_view_resolution (payloadSize) as resolution conversion SEI has parameters num_views_minus_1, view_id [i], frame_packing_info [i], frame_field_coding, and view_id_in_frame [i].
  • FIG. 26 shows the parameters num_views_minus_1, view_id [i], frame_packing_info [i], frame_field_coding of resolution conversion SEI generated from the resolution conversion information about the resolution conversion multi-view color image in the SEI generation unit 351 (FIG. 24), and It is a figure explaining the value set to view_id_in_frame [i].
  • the parameter num_views_minus_1 represents a value obtained by subtracting 1 from the number of viewpoints of the images constituting the resolution converted multi-view color image.
  • the left viewpoint color image is the image of viewpoint # 0 (left viewpoint) represented by number 0
  • the central viewpoint color image is the viewpoint # 1 (center viewpoint) represented by number 1.
  • the right viewpoint color image is an image of viewpoint # 2 (right viewpoint) represented by number 2.
  • the central viewpoint color image constituting the resolution conversion multi-view color image obtained by performing the resolution conversion of the central viewpoint color image, the left viewpoint color image, and the right viewpoint color image
  • the number representing the viewpoint is reassigned, for example, the central viewpoint color image is assigned number 1 representing viewpoint # 1, and the packing color image is assigned number 0 representing viewpoint # 0. It will be done.
  • the parameter frame_packing_info [i] represents whether or not the i + 1-th image constituting the resolution-converted multi-viewpoint color image is packed and the packing pattern (packing pattern).
  • the parameter frame_packing_info [i] whose value is 0 indicates that packing is not performed.
  • parameter frame_packing_info [i] with a value of 1 indicates that packing has been performed.
  • the parameter frame_packing_info [i] having a value of 1 reduces the vertical resolution of each of the two viewpoint images to 1/2, the left viewpoint color image whose vertical resolution is halved, and the right viewpoint By arranging each line of each color image alternately, it indicates that interlace packing is performed to pack the image for one viewpoint (the amount of data).
  • the parameter frame_packing_info [1] has a value 1 representing a packing pattern of packing in which interlace packing is performed, that is, each line of images of two viewpoints whose vertical resolution is halved is alternately arranged.
  • Set (frame_packing_info [1] 1).
  • the i + 1-th image forming the resolution-converted multi-viewpoint color image is not packed (the i + 1-th image is an image of one viewpoint).
  • the i + 1-th image is transmitted and represents the encoding mode of the i + 1-th image.
  • the parameter frame_field_coding indicates the frame encoding mode, for example, 0
  • the parameter frame_field_coding is set to 1 for example, indicating the field encoding mode.
  • an image in which the parameter frame_packing_info [i] is not 0 is an image in which the parameter frame_packing_info [i] is 1, and is interlace packed.
  • the structure conversion unit 352 recognizes based on the resolution conversion information whether the resolution-converted multi-viewpoint color image includes a packing color image that has been subjected to interlace packing.
  • the structure converting unit 352 sets the encoding mode to the field encoding mode, for example, When the viewpoint color image does not include a packing color image that has been subjected to interlace packing, for example, the encoding mode is set to the frame encoding mode or the field encoding mode.
  • the coding mode is always set to the field coding mode in the structure conversion unit 352.
  • 1 representing the field coding mode is always set in the parameter frame_field_coding that is transmitted only for an image in which the parameter frame_packing_info [i] is 1. Therefore, since the parameter frame_field_coding can be uniquely recognized from the parameter frame_packing_info [i], it can be substituted by the parameter frame_packing_info [i] and does not have to be included in 3dv_view_resolution (payloadSize) as the resolution conversion SEI.
  • the encoding mode for encoding the packing color image is not a field encoding mode but a frame code. Can be adopted.
  • the encoding mode for encoding the packed color image can be switched between the field encoding mode and the frame encoding mode, for example, in units of pictures.
  • the parameter frame_field_coding is set to 1 representing the field coding mode or 0 representing the frame coding mode, depending on the coding mode.
  • the parameter view_id_in_frame [i] represents an index for specifying an image packed in the packing color image.
  • the argument i of the parameter view_id_in_frame [i] is different from the argument i of the other parameter view_id [i] and frame_packing_info [i]
  • the argument i of the parameter view_id_in_frame [i] is set to be easy to understand.
  • j is described, and the parameter view_id_in_frame [i] is described as view_id_in_frame [j].
  • the parameter view_id_in_frame [j] is transmitted only for an image in which the parameter frame_packing_info [i] is not 0, that is, a packing color image, of the images constituting the resolution-converted multi-view color image, similarly to the parameter frame_field_coding.
  • Parameter view_id_in_frame [0] represents an index for identifying an image of a line arranged in an odd-numbered line (top field line) among images interlace-packed in a packing color image
  • an argument j The 1 parameter view_id_in_frame [1] represents an index that identifies an image of a line arranged in an even-numbered line (a bottom field line) among images interlace-packed in a packing color image.
  • FIG. 27 is a diagram for explaining the parallax prediction of the picture (field) of the packing color image performed by the parallax prediction unit 131 in FIG.
  • the structure converting unit 352 selects the encoding mode when the resolution-converted multi-viewpoint color image includes a packed color image that is interlace packed. Set to field coding mode.
  • the structure converting unit 352 receives the frame as the picture of the packing color image from the screen rearrangement buffer 112, and converts the frame to the top.
  • the field is converted into a bottom field, and each field is supplied as a picture to the calculation unit 113, the in-screen prediction unit 122, and the inter prediction unit 123.
  • the encoder 342 performs processing with the fields (top field and bottom field) as pictures of the packed color image being sequentially processed as target pictures.
  • the parallax prediction of the field (target block) as the picture of the packed color image is the picture (target picture) of the decoded central viewpoint color image stored in the DPB 43. And a picture at the same time as the reference image.
  • encoder 341 and encoder 342 when one encoding mode is set to the field encoding mode, the other encoding mode is also set to the field code. Is set to enable mode.
  • the encoding mode is also set to the field encoding mode in the encoder 341.
  • the frame of the central viewpoint color image that is the base view image is converted into fields (top field and bottom field), and the fields are encoded as pictures.
  • the encoder 341 the field as the picture of the decoded central viewpoint color image is encoded and locally decoded, and the field as the picture of the decoded central viewpoint color image obtained as a result is supplied to the DPB 43 and stored.
  • the disparity prediction of the field (target block) as the target picture of the packed color image from the structure conversion unit 352 refers to the field as the picture of the decoded central viewpoint color image stored in the DPB 43. Used as an image.
  • the frame of the packing color image to be encoded includes a top field composed of odd lines (left viewpoint line) of the frame of the left viewpoint color image, and the right field.
  • the viewpoint color image is converted into a bottom field composed of even lines (right viewpoint line) of the frame and processed.
  • the frame of the central viewpoint color image to be encoded is converted into a top field composed of odd lines and a bottom field composed of even lines. It is processed.
  • the decoded central viewpoint color image fields (top field, bottom field) obtained by the processing in the encoder 341 are stored as pictures serving as reference images for parallax prediction.
  • the parallax prediction unit 131 performs the parallax prediction of the field as the target picture of the packed color image using the field of the decoded central viewpoint color image stored in the DPB 43 as the reference image.
  • the parallax prediction of the top field as the target picture of the packing color image is performed using the top field (at the same time as the target picture) of the decoded central viewpoint color image stored in the DPB 43 as the reference image. Also, the parallax prediction of the bottom field as the target picture of the packed color image is performed using the bottom field (at the same time as the target picture) of the decoded central viewpoint color image stored in the DPB 43 as a reference image.
  • the decoded central viewpoint color as the picture of the reference image to be referred to when generating the prediction image of the packing color image The image field resolution ratio matches.
  • the vertical resolution of each of the left viewpoint color image and the right viewpoint color image constituting the top field and the bottom field of the packing color image to be encoded is 1/2 of the original, and therefore packing is performed.
  • the resolution ratio of each of the left viewpoint color image and the right viewpoint color image which are the top field and the bottom field of the color image is 2: 1.
  • the reference image is a field (top field, bottom field) of the decoded central viewpoint color image and the resolution ratio is 2: 1, the left viewpoint color that is the top field and bottom field of the packing color image It matches 2: 1 which is the resolution ratio of the image and the right viewpoint color image.
  • FIG. 28 is a flowchart for explaining an encoding process for encoding a packed color image, which is performed by the encoder 342 of FIG.
  • step S101 the A / D conversion unit 111 performs A / D conversion on an analog signal of a frame as a picture of a packed color image supplied thereto, and supplies the analog signal to the screen rearrangement buffer 112, and the processing is performed in step S102. Proceed to
  • step S102 the screen rearrangement buffer 112 temporarily stores a frame as a picture of the packing color image from the A / D conversion unit 111, and reads the picture according to a predetermined GOP structure, thereby Is rearranged from the display order to the encoding order (decoding order).
  • the frame as a picture read from the screen rearrangement buffer 112 is supplied to the structure conversion unit 352, and the process proceeds from step S102 to step S103.
  • step S103 the SEI generation unit 351 generates the resolution conversion SEI described with reference to FIGS. 25 and 26 from the resolution conversion information supplied from the resolution conversion device 321C (FIG. 18) and supplies the resolution conversion SEI to the variable length encoding unit 116. Then, the process proceeds to step S104.
  • step S104 the structure conversion unit 352 sets the encoding mode to the field encoding mode based on the resolution conversion information supplied from the resolution conversion device 321C (FIG. 18).
  • the structure conversion unit 352 sets the frame as the picture of the packing color image from the screen rearrangement buffer 112 in accordance with the setting of the encoding mode to the field encoding mode, and the two fields of the top field and the bottom field. And is supplied to the calculation unit 113, the in-screen prediction unit 122, the parallax prediction unit 131 of the inter prediction unit 123, and the temporal prediction unit 132, and the processing proceeds from step S104 to step S105.
  • step S105 the calculation unit 113 sets the field as the picture of the packed color image from the structure conversion unit 352 as the target picture to be encoded, and further sequentially selects the macroblocks constituting the target picture as the encoding target picture.
  • the target block The target block.
  • the calculation unit 113 calculates the difference (residual) between the pixel value of the target block and the pixel value of the prediction image supplied from the prediction image selection unit 124 as necessary, and supplies the difference to the orthogonal transformation unit 114. Then, the process proceeds from step S105 to step S106.
  • step S106 the orthogonal transform unit 114 performs orthogonal transform on the target block from the calculation unit 113, supplies the transform coefficient obtained as a result to the quantization unit 115, and the process proceeds to step S107.
  • step S107 the quantization unit 115 quantizes the transform coefficient supplied from the orthogonal transform unit 114, and supplies the resulting quantized value to the inverse quantization unit 118 and the variable length coding unit 116. Then, the process proceeds to step S108.
  • step S108 the inverse quantization unit 118 inversely quantizes the quantized value from the quantization unit 115 into a transform coefficient and supplies it to the inverse orthogonal transform unit 119, and the process proceeds to step S109.
  • step S109 the inverse orthogonal transform unit 119 performs inverse orthogonal transform on the transform coefficient from the inverse quantization unit 118, supplies the transform coefficient to the operation unit 120, and the process proceeds to step S110.
  • step S110 the calculation unit 120 adds the pixel value of the predicted image supplied from the predicted image selection unit 124 to the data supplied from the inverse orthogonal transform unit 119, as necessary, thereby adding the target block.
  • Decode packing color image obtained by decoding local decoding
  • the calculation unit 120 supplies the decoded packing color image obtained by locally decoding the target block to the deblocking filter 121, and the process proceeds from step S110 to step S111.
  • step S111 the deblocking filter 121 filters the decoded packing color image from the calculation unit 120 and supplies it to the DPB 43, and the process proceeds to step S112.
  • step S112 the DPB 43 is supplied with a decoded central viewpoint color image obtained by encoding the central viewpoint color image and performing local decoding from the encoder 341 (FIG. 23) that encodes the central viewpoint color image. , The decoded central viewpoint color image is stored, and the process proceeds to step S113.
  • the encoder 341 except that the parallax prediction is not performed, is the same encoding process as the encoder 342, that is, in the field encoding mode in which the field of the central viewpoint color image is a picture. Is encoded. Therefore, the DPB 43 stores a field of the decoded central viewpoint color image.
  • step S113 the DPB 43 stores the decoded packing color image (field) from the deblocking filter 121, and the process proceeds to step S114.
  • step S114 the intra prediction unit 122 performs an intra prediction process (intra prediction process) for the next target block.
  • the intra prediction unit 122 generates an intra prediction (prediction image of intra prediction) from the field as a picture of the decoded packed color image stored in the DPB 43 for the next target block (intra prediction). I do.
  • the intra-screen prediction unit 122 obtains an encoding cost required to encode the next target block using the prediction image of the intra prediction, and obtains header information (information regarding the intra prediction to be used) and intra prediction.
  • the predicted image is supplied to the predicted image selection unit 124 together with the predicted image, and the process proceeds from step S114 to step S115.
  • step S115 the temporal prediction unit 132 performs temporal prediction processing on the next target block using the field as the picture of the decoded packed color image as a reference image.
  • the temporal prediction unit 132 performs temporal prediction using the field as the picture of the decoded packing color image stored in the DPB 43 for the next target block, for each inter prediction mode with different macroblock types and the like.
  • the prediction image, the encoding cost, etc. are obtained.
  • the temporal prediction unit 132 sets the inter prediction mode with the minimum encoding cost as the optimal inter prediction mode, and uses the prediction image of the optimal inter prediction mode as header information (information related to the inter prediction) and the encoding cost.
  • the predicted image selection unit 124 is supplied, and the process proceeds from step S115 to step S116.
  • step S116 the parallax prediction unit 131 performs a parallax prediction process on the next target block, using the field as a picture of the decoded central viewpoint color image as a reference image.
  • the disparity prediction unit 131 performs the disparity prediction on the next target block using the field as the picture of the decoded central viewpoint color image stored in the DPB 43, so that each macro prediction type is different for each inter prediction mode.
  • the prediction image, the encoding cost, etc. are obtained.
  • the disparity prediction unit 131 sets the inter prediction mode with the minimum encoding cost as the optimal inter prediction mode, and sets the prediction image of the optimal inter prediction mode as header information (information related to inter prediction) and the encoding cost.
  • the image is supplied to the predicted image selection unit 124, and the process proceeds from step S116 to step S117.
  • the predicted image selection unit 124 receives the predicted image from the intra-screen prediction unit 122 (prediction image for intra prediction), the predicted image from the temporal prediction unit 132 (temporal prediction image), and the parallax prediction unit 131. For example, a prediction image with the lowest coding cost is selected from the prediction images (parallax prediction images), and is supplied to the calculation units 113 and 220, and the process proceeds to step S118.
  • the predicted image selected by the predicted image selection unit 124 in step S117 is used in the processes of steps S105 and S110 performed in the encoding of the next target block.
  • the predicted image selection unit 124 selects header information supplied together with the predicted image with the lowest coding cost from the header information from the intra-screen prediction unit 122, the temporal prediction unit 132, and the parallax prediction unit 131. Then, it is supplied to the variable length encoding unit 116.
  • step S118 the variable length encoding unit 116 performs variable length encoding on the quantized value from the quantization unit 115 to obtain encoded data.
  • variable length encoding unit 116 includes the header information from the predicted image selection unit 124 and the resolution conversion SEI from the SEI generation unit 351 in the header of the encoded data.
  • variable length encoding unit 116 supplies the encoded data to the accumulation buffer 117, and the process proceeds from step S118 to step S119.
  • step S119 the accumulation buffer 117 temporarily stores the encoded data from the variable length encoding unit 116.
  • the encoded data stored in the accumulation buffer 117 is supplied (transmitted) to the multiplexer 23 (FIG. 18) at a predetermined transmission rate.
  • FIG. 29 is a flowchart illustrating the disparity prediction process performed by the disparity prediction unit 131 (FIG. 13) in step S116 of FIG.
  • step S131 in the parallax prediction unit 131 (FIG. 13), the parallax detection unit 141 and the parallax compensation unit 142 receive a field as a picture of the decoded central viewpoint color image from the DPB 43 as a reference image. Proceed to S132.
  • step S132 the parallax detection unit 141 uses the target block of the packing color image supplied from the structure conversion unit 352 (FIG. 24) and the decoded central viewpoint color image field as the reference image from the DPB 43 to perform ME.
  • the parallax vector mv representing the parallax with respect to the reference image of the target block is detected for each macroblock type and supplied to the parallax compensation unit 142, and the process proceeds to step S133.
  • step S133 the parallax compensation unit 142 performs the parallax compensation of the field of the decoded central viewpoint color image as the reference image from the DPB 43 using the parallax vector mv of the target block from the parallax detection unit 141, thereby Are generated for each macroblock type, and the process proceeds to step S134.
  • the parallax compensation unit 142 acquires, as a predicted image, a corresponding block that is a block (region) at a position shifted by the parallax vector mv from the position of the target block in the field of the decoded central viewpoint color image as a reference image. .
  • step S134 the parallax compensation unit 142 obtains the prediction vector PMV of the parallax vector mv of the target block using the parallax vectors of the macroblocks around the target block that have already been encoded as necessary.
  • the disparity compensation unit 142 obtains a residual vector that is a difference between the disparity vector mv of the target block and the prediction vector PMV.
  • the parallax compensation unit 142 uses the prediction image of the target block for each prediction mode such as the macroblock type, the residual vector of the target block, and the reference image (decoded center viewpoint color) used to generate the prediction image.
  • the reference index assigned to the image field) is associated with the prediction mode and supplied to the prediction information buffer 143 and the cost function calculation unit 144, and the process proceeds from step S134 to step S135.
  • step S135 the prediction information buffer 143 temporarily stores the prediction image, the residual vector, and the reference index associated with the prediction mode from the parallax compensation unit 142 as prediction information. The process proceeds to S136.
  • step S136 the cost function calculation unit 144 calculates the encoding cost (cost function value) required for encoding the target block of the target picture from the structure conversion unit 352 (FIG. 24) for each macroblock type as the prediction mode.
  • the cost function is calculated and supplied to the mode selection unit 145, and the process proceeds to step S137.
  • step S137 the mode selection unit 145 detects the minimum cost, which is the minimum value, from the encoding costs for each prediction mode from the cost function calculation unit 144.
  • the mode selection unit 145 selects the prediction mode with the minimum cost as the optimal inter prediction mode.
  • step S137 the process proceeds from step S137 to step S138, and the mode selection unit 145 receives the prediction image, the residual vector, and the reference index associated with the prediction mode that is the optimal inter prediction mode from the prediction information buffer 143.
  • the prediction and the prediction mode which is the optimum inter prediction mode are supplied as prediction information to the prediction image selection unit 124, and the process returns.
  • FIG. 30 is a block diagram illustrating a configuration example of the decoding device 332C in FIG.
  • the decoding device 332C includes decoders 411 and 412 and a DPB 213.
  • the decoding device 332C of FIG. 30 is common to the decoding device 32C of FIG. 14 in that it has the DPB 213, but in that the decoders 411 and 412 are provided instead of the decoders 211 and 212, FIG. This is different from the decoding device 32C.
  • the decoder 411 is supplied with the encoded data of the central viewpoint color image that is the base view image.
  • the decoder 411 decodes the encoded data of the central viewpoint color image supplied thereto in an extended manner, and outputs the central viewpoint color image obtained as a result.
  • the decoder 412 is supplied with encoded data of a packed color image that is a non-base view image.
  • the decoder 412 decodes the encoded data of the packing color image supplied thereto by the extended method, and outputs the packing color image obtained as a result.
  • the central viewpoint color image output from the decoder 411 and the packing color image output from the decoder 412 are supplied to the resolution inverse conversion device 333C (FIG. 19) as a resolution-converted multi-viewpoint color image.
  • the decoders 411 and 412 decode the images that have been predictively encoded by the encoders 341 and 342 in FIG. 23, respectively.
  • the decoders 411 and 412 perform decoding in order to generate a predictive image used in predictive encoding. After decoding the target image, the decoded image used for generating the predicted image is temporarily stored in the DPB 213.
  • the DPB 213 is shared by the decoders 411 and 412, and temporarily stores the decoded images (decoded images) obtained by the decoders 411 and 412, respectively.
  • Each of the decoders 411 and 412 selects a reference image to be referred to in decoding the decoding target image from the decoded images stored in the DPB 213, and generates a predicted image using the reference image.
  • each of the decoders 411 and 412 can refer to a decoded image obtained by itself and also a decoded image obtained by another decoder. it can.
  • the decoder 411 decodes the image of the base view, only the decoded image obtained by the decoder 411 is referenced (disparity prediction is not performed).
  • FIG. 31 is a block diagram showing a configuration example of the decoder 412 in FIG.
  • a decoder 412 includes an accumulation buffer 241, a variable length decoding unit 242, an inverse quantization unit 243, an inverse orthogonal transform unit 244, a calculation unit 245, a deblocking filter 246, a screen rearrangement buffer 247, and a D / A conversion unit. 248, an intra-screen prediction unit 249, an inter prediction unit 250, a predicted image selection unit 251, and a structural inverse transform unit 451.
  • the decoder 412 of FIG. 31 is common to the decoder 212 of FIG.
  • the decoder 412 in FIG. 31 is different from the decoder 212 in FIG. 15 in that a structure inverse transform unit 451 is newly provided.
  • variable length decoding unit 242 receives encoded data of a packed color image including the resolution conversion SEI from the accumulation buffer 241 and converts the resolution conversion SEI included in the encoded data into resolution conversion information. Is supplied to the inverse resolution converter 333C (FIG. 19).
  • variable length decoding unit 242 supplies the resolution conversion SEI to the structure inverse conversion unit 451.
  • the structural inverse transform unit 451 is provided on the output side of the deblocking filter 246. Therefore, the structural inverse transform unit 451 is supplied with the resolution conversion SEI from the variable length decoding unit 242 and also includes the deblocking filter 246. Thus, a decoded image (decoded packing color image) after filtering is supplied.
  • the structure inverse transform unit 451 performs inverse transform of the transform performed by the structure transform unit 352 of FIG. 24 on the decoded packing color image from the deblocking filter 246 based on the resolution conversion SEI from the variable length decoding unit 242.
  • the structure conversion unit 352 in FIG. 24 converts the frame of the packing color image into the packing color image field (top field and bottom field).
  • the section 451 is supplied with a field as a picture of the decoded packing color image.
  • the structure inverse transform unit 451 alternately arranges the lines of the top field and the bottom field.
  • the frame is (re-configured) and supplied to the screen rearrangement buffer 247.
  • the decoder 411 in FIG. 30 is configured in the same manner as the decoder 412 in FIG. However, in the decoder 411 that decodes the image of the base view, disparity prediction is not performed in inter prediction, and only temporal prediction is performed. Therefore, the decoder 411 can be configured without providing the parallax prediction unit 261 that performs parallax prediction.
  • the decoder 411 that decodes the base view image performs the same processing as the decoder 412 that decodes the non-base view image except that the parallax prediction is not performed. Therefore, the decoder 412 will be described below. Description of 411 is omitted as appropriate.
  • FIG. 32 is a flowchart for explaining a decoding process performed by the decoder 412 of FIG. 31 to decode the encoded data of the packed color image.
  • step S201 the accumulation buffer 241 stores the encoded data of the packing color image supplied thereto, and the process proceeds to step S202.
  • step S202 the variable length decoding unit 242 restores the quantization value, the prediction mode related information, and the resolution conversion SEI by reading the encoded data stored in the accumulation buffer 241 and performing variable length decoding. Then, the variable length decoding unit 242 transmits the quantization value to the inverse quantization unit 243, the prediction mode related information, the intra prediction unit 249, the reference index processing unit 260 of the inter prediction unit 250, and the parallax prediction unit 261.
  • the resolution conversion SEI is supplied to the time prediction unit 262 and the structure inverse conversion unit 451 and the resolution inverse conversion device 333C (FIG. 19), respectively, and the process proceeds to step S203.
  • step S203 the inverse quantization unit 243 inversely quantizes the quantized value from the variable length decoding unit 242 into a transform coefficient, supplies the transform coefficient to the inverse orthogonal transform unit 244, and the process proceeds to step S204.
  • step S204 the inverse orthogonal transform unit 244 performs inverse orthogonal transform on the transform coefficient from the inverse quantization unit 243, supplies the transform coefficient in units of macroblocks to the calculation unit 245, and the process proceeds to step S205.
  • step S205 the calculation unit 245 supplies the macroblock from the inverse orthogonal transform unit 244 as a target block (residual image) to be decoded, and supplies the target block from the predicted image selection unit 251 as necessary.
  • the decoded image is obtained by adding the predicted images.
  • the arithmetic unit 245 supplies the decoded image to the deblocking filter 246, and the process proceeds from step S205 to step S206.
  • step S206 the deblocking filter 246 performs filtering on the decoded image from the calculation unit 245, and supplies the decoded image (decoded packing color image) after filtering to the DPB 213 and the structure inverse conversion unit 451. Then, the process proceeds to step S207.
  • step S207 the DPB 213 waits for the decoded central viewpoint color image to be supplied from the decoder 411 (FIG. 30) that decodes the central viewpoint color image, and stores the decoded central viewpoint color image. The process proceeds to S208.
  • step S208 the DPB 213 stores the decoded packing color image from the deblocking filter 246, and the process proceeds to step S209.
  • the central viewpoint color image is encoded using the field as the target picture
  • the packing color image is encoded using the field as the target picture.
  • the central viewpoint color image is decoded with the field as the target picture.
  • the decoder 412 that decodes the encoded data of the packing color image the packing color image is decoded using the field as the target picture.
  • the DPB 213 stores the decoded central viewpoint color image of the field (structure) and the decoded packing color image.
  • step S209 the intra prediction unit 249 and the inter prediction unit 250 (the disparity prediction unit 261 and the temporal prediction unit 262 constituting the same) perform the following based on the prediction mode related information supplied from the variable length decoding unit 242. It is determined whether the target block (the next macroblock to be decoded) is encoded using a prediction image generated by intra prediction (intra-screen prediction) or inter prediction. .
  • step S209 If it is determined in step S209 that the next target block is encoded using the predicted image generated by the intra prediction, the process proceeds to step S210, and the intra prediction unit 249 Intra prediction processing (intra-screen prediction processing) is performed.
  • Intra prediction processing intra-screen prediction processing
  • the intra-screen prediction unit 249 performs intra prediction (intra-screen prediction) for generating a prediction image (prediction image of intra prediction) from the decoded packing color image stored in the DPB 213 for the next target block, and the prediction The image is supplied to the predicted image selection unit 251, and the process proceeds from step S210 to step S215.
  • step S209 If it is determined in step S209 that the next target block has been encoded using a prediction image generated by inter prediction, the process proceeds to step S211 and the reference index processing unit 260 is variable.
  • a field as a picture of a decoded central viewpoint color image to which a reference index for prediction included in the prediction mode related information from the long decoding unit 242 is assigned, or a picture of a decoded packed color image Is read out from the DPB 213 as a reference image, and the process proceeds to step S212.
  • step S212 the reference index processing unit 260 performs temporal prediction and disparity prediction in which the next target block is inter prediction based on the prediction reference index included in the prediction mode related information from the variable length decoding unit 242.
  • the prediction image generated by any prediction method is determined using the prediction method.
  • step S212 when it is determined that the next target block is encoded using a prediction image generated by temporal prediction, that is, for prediction of the (next) target block from the variable length decoding unit 242. If the picture to which the reference index is assigned is a picture of a decoded packing color image and the picture of the decoded packing color image is selected as a reference image in step S211, the reference index processing unit 260 refers to The picture of the decoded packing color image as an image is supplied to the time prediction unit 262, and the process proceeds to step S213.
  • step S213 the time prediction unit 262 performs time prediction processing.
  • the temporal prediction unit 262 performs motion compensation of the picture of the decoded packed color image as the reference image from the reference index processing unit 260 for the next target block using the prediction mode related information from the variable length decoding unit 242. By performing this, a predicted image is generated, the predicted image is supplied to the predicted image selection unit 251, and the process proceeds from step S 213 to step S 215.
  • Step S212 when it is determined that the next target block is encoded using the prediction image generated by the parallax prediction, that is, the (next) target block from the variable length decoding unit 242.
  • a picture to which a reference index for prediction is assigned is a field as a picture of a decoded central viewpoint color image, and a field as a picture of the decoded central viewpoint color image is selected as a reference image in step S211.
  • the reference index processing unit 260 supplies the field as a picture of the decoded central viewpoint color image as the reference image to the parallax prediction unit 261, and the process proceeds to step S214.
  • step S214 the parallax prediction unit 261 performs a parallax prediction process.
  • the disparity prediction unit 261 performs the disparity compensation of the field as the picture of the decoded central viewpoint color image as the reference image for the next target block using the prediction mode related information from the variable length decoding unit 242. Then, a predicted image is generated, the predicted image is supplied to the predicted image selection unit 251, and the process proceeds from step S214 to step S215.
  • step S215 the predicted image selection unit 251 selects the predicted image from the one to which the predicted image is supplied from among the in-screen prediction unit 249, the temporal prediction unit 262, and the parallax prediction unit 261, and performs computation. Then, the process proceeds to step S216.
  • the predicted image selected by the predicted image selection unit 251 in step S215 is used in the process of step S205 performed in the decoding of the next target block.
  • step S216 the structure inverse transform unit 451 is supplied with the decoded packing color images of the top field and the bottom field constituting the frame from the deblocking filter 246 based on the resolution conversion SEI from the variable length decoding unit 242.
  • the top field and the bottom field are inversely converted into frames and supplied to the screen rearrangement buffer 247, and the process proceeds to step S217.
  • step S217 the screen rearrangement buffer 247 temporarily stores and reads out a frame as a picture of the decoded packed color image from the structure inverse transform unit 451, thereby reordering the picture arrangement to the original arrangement, D / A
  • the data is supplied to the conversion unit 248, and the process proceeds to step S218.
  • step S2128 when it is necessary to output the picture from the screen rearrangement buffer 247 as an analog signal, the D / A conversion unit 248 performs D / A conversion on the picture and outputs it.
  • FIG. 33 is a flowchart illustrating the disparity prediction process performed by the disparity prediction unit 261 (FIG. 17) in step S214 of FIG.
  • step S231 in the parallax prediction unit 261 (FIG. 17), the parallax compensation unit 272 receives a field as a picture of the decoded central viewpoint color image as a reference image from the reference index processing unit 260, and the process proceeds to step S232. move on.
  • step S232 the parallax compensation unit 272 receives the (next) residual vector of the target block included in the prediction mode related information from the variable length decoding unit 242, and the process proceeds to step S233.
  • step S233 the disparity compensation unit 272 uses the already decoded decoded disparity vectors of the macroblocks around the target block, and the like, in the prediction mode (optimum inter prediction) included in the prediction mode related information from the variable length decoding unit 242.
  • the prediction vector of the target block for the macroblock type represented by (mode) is obtained.
  • the disparity compensation unit 272 restores the disparity vector mv of the target block by adding the prediction vector of the target block and the residual vector from the variable length decoding unit 242, and the processing is performed from step S233 to step S234. Proceed to
  • step S234 the parallax compensation unit 272 performs parallax compensation of the field as a picture of the decoded central viewpoint color image as the reference image from the reference index processing unit 260, using the parallax vector mv of the target block of the packed color image.
  • a predicted image of the target block is generated and supplied to the predicted image selection unit 251, and the process returns.
  • FIG. 34 is a block diagram showing another configuration example of the encoding device 322C in FIG.
  • the encoding device 322C includes encoders 541 and 542 and a DPB 43.
  • the encoding device 322C of FIG. 34 is common to the case of FIG. 23 in that it has the DPB 43, and in the case of FIG. 23 in that encoders 541 and 542 are provided instead of the encoders 341 and 342, respectively. Is different.
  • the packing color image is set as an encoding target, and the parallax prediction is performed using the central viewpoint color image as a reference image.
  • the prediction accuracy of the parallax prediction is reduced (generated by the parallax prediction). The residual between the predicted image to be processed and the target block becomes large), and the coding efficiency is deteriorated.
  • the central viewpoint color image is encoded as a base view image and the packing color image is encoded as a non-base view image.
  • the base view image is encoded.
  • the encoder 541 for encoding encodes the packed color image as a base view image
  • the encoder 542 for encoding a non-base view image encodes the central viewpoint color image as a non-base view image. It is like that.
  • the encoder 541 is supplied with a packing color image (frame) of the central viewpoint color image and the packing color image constituting the resolution conversion multi-view color image from the resolution conversion device 321C.
  • the encoder 542 is supplied with the central viewpoint color image (the frame) of the central viewpoint color image and the packed color image constituting the resolution conversion multi-viewpoint color image from the resolution conversion device 321C.
  • resolution conversion information from the resolution conversion device 321C is supplied to the encoders 541 and 542.
  • the encoder 541 performs encoding similar to the encoder 341 in FIG. 23 using the packing color image supplied thereto as a base view image, and outputs encoded data of the packing color image obtained as a result.
  • the encoder 542 performs encoding similar to the encoder 342 of FIG. 23 on the central viewpoint color image supplied thereto as a non-base view image, and outputs the encoded data of the central viewpoint color image obtained as a result. .
  • the encoder 541 performs the same processing as the encoder 341 in FIG. 23 except that the encoding target is not a central viewpoint color image but a packing color image.
  • the encoder 542 also performs the same processing as the encoder 342 in FIG. 23 except that the encoding target is not the packing color image but the central viewpoint color image.
  • the encoding mode is set to the field encoding mode or the frame encoding mode, and the setting of the encoding mode is the same as the encoders 341 and 342 in FIG. This is performed based on resolution conversion information from the conversion device 321C.
  • the encoded data of the packing color image output from the encoder 541 and the encoded data of the central viewpoint color image output from the encoder 542 are supplied to the multiplexing device 23 (FIG. 18) as multi-view color image encoded data.
  • the encoders 541 and 542 perform predictive encoding on the encoding target image in the same manner as the MVC, similarly to the encoders 341 and 342 in FIG. 23, the encoder 541 and 542 generates a predicted image used for the predictive encoding. After encoding the encoding target image, local decoding is performed to obtain a decoded image.
  • the DPB 43 is shared by the encoders 541 and 542, and temporarily stores decoded images obtained by the encoders 541 and 542, respectively.
  • Each of the encoders 541 and 542 selects a reference image to be referred to when encoding an image to be encoded from the decoded images stored in the DPB 43. Then, each of the encoders 541 and 542 generates a prediction image using the reference image, and performs image encoding (prediction encoding) using the prediction image.
  • each of the encoders 541 and 542 can refer to a decoded image obtained by another encoder in addition to the decoded image obtained by itself.
  • the encoder 541 encodes the base view image, and therefore refers to only the decoded image obtained by the encoder 541.
  • FIG. 35 is a block diagram illustrating a configuration example of the encoder 542 of FIG.
  • an encoder 542 includes an A / D conversion unit 111, a screen rearrangement buffer 112, a calculation unit 113, an orthogonal transformation unit 114, a quantization unit 115, a variable length coding unit 116, a storage buffer 117, and an inverse quantization unit. 118, an inverse orthogonal transform unit 119, a calculation unit 120, a deblocking filter 121, an intra prediction unit 122, an inter prediction unit 123, a predicted image selection unit 124, an SEI generation unit 351, and a structure conversion unit 352.
  • the encoder 542 is configured similarly to the encoder 342 of FIG.
  • the encoder 542 is different from the encoder 342 in FIG. 24 in that the encoding target is not a packing color image but a central viewpoint color image.
  • the parallax prediction unit 131 performs the parallax prediction of the central viewpoint color image that is the encoding target, using the packed color image that is the image of the other viewpoint as the reference image.
  • the DPB 43 stores a decoded central viewpoint color image as a non-base view image encoded by the encoder 542 and locally decoded, which is supplied from the deblocking filter 121, and the encoder 541.
  • the decoded packed color image as the base view image encoded by the encoder 541 and locally decoded is stored.
  • the parallax prediction unit 131 performs the parallax prediction of the central viewpoint color image that is the encoding target, using the decoded packed color image stored in the DPB 43 as a reference image.
  • the encoder 541 in FIG. 34 is configured in the same manner as the encoder 542 in FIG. However, in the encoder 541 that encodes the image of the base view, disparity prediction is not performed in inter prediction, and only temporal prediction is performed. Therefore, the encoder 541 can be configured without providing the parallax prediction unit 131 that performs parallax prediction.
  • the encoder 541 that encodes the base view image performs the same processing as the encoder 542 that encodes the non-base view image except that the parallax prediction is not performed. Therefore, the encoder 542 will be described below. The description of the encoder 541 is omitted as appropriate.
  • FIG. 36 is a diagram for explaining the parallax prediction of the picture (field) of the central viewpoint color image performed by the parallax prediction unit 131 in FIG.
  • the structure conversion unit 352 of the encoder 542 selects the encoding mode when the resolution-converted multi-viewpoint color image includes an interlace packed packing color image. Set to field encoding mode.
  • the structure conversion unit 352 receives the frame as a picture from the screen rearrangement buffer 112, and converts the frame into the top field and the bottom field. And each field is supplied as a picture to the calculation unit 113, the in-screen prediction unit 122, and the inter prediction unit 123.
  • a frame as a picture of the central viewpoint color image to be encoded is supplied from the screen rearrangement buffer 112 to the structure conversion unit 352.
  • the structure conversion unit 352 converts the frame as the picture of the central viewpoint color image from the screen rearrangement buffer 112 into a top field and a bottom field, and uses each field as a picture, the calculation unit 113, and the in-screen prediction unit 122 and the inter prediction unit 123.
  • the field (top field, bottom field) as the picture of the central viewpoint color image is sequentially processed as the target picture.
  • the disparity prediction unit 131 of the inter prediction unit 123 (FIG. 35)
  • the disparity prediction of the field (target block thereof) as the picture of the central viewpoint color image is the picture of the decoded packing color image (target picture) stored in the DPB 43. And a picture at the same time as the reference image.
  • the encoder 541 and the encoder 542 similarly to the encoders 341 and 342 (FIG. 23), when one encoding mode is set to the field encoding mode, the other encoding mode is also set to the field encoding mode.
  • the encoding mode is also set to the field encoding mode in the encoder 541. Then, in the encoder 541, the frame of the packing color image that is the base view image is converted into a field (top field and bottom field), and the field is encoded as a picture.
  • the encoder 541 the field as the picture of the decoded packing color image is encoded and locally decoded, and the field as the picture of the decoded packing color image obtained as a result is supplied to the DPB 43 and stored therein.
  • the disparity prediction of the field (target block) as the target picture of the central viewpoint color image from the structure conversion unit 352 refers to the field as the picture of the decoded packed color image stored in the DPB 43. Used as an image.
  • the frame of the central viewpoint color image to be encoded includes a top field composed of odd lines and a bottom field composed of even lines. To be processed.
  • the frame of the packing color image to be encoded is composed of a top field composed of odd lines (left viewpoint line) of the frame of the left viewpoint color image, and the right viewpoint color image. It is converted into a bottom field composed of an even line (right viewpoint line) of the frame and processed.
  • the fields (top field and bottom field) of the decoded packing color image obtained by the processing in the encoder 541 are stored as a picture to be a reference image for parallax prediction.
  • the parallax prediction unit 131 performs the parallax prediction of the field as the target picture of the central viewpoint color image by using the field of the decoded packing color image stored in the DPB 43 as the reference image.
  • the parallax prediction of the top field as the target picture of the central viewpoint color image is performed using the top field (at the same time as the target picture) of the decoded packing color image stored in the DPB 43 as the reference image. Also, the parallax prediction of the bottom field as the target picture of the central viewpoint color image is performed using the bottom field (at the same time as the target picture) of the decoded packing color image stored in the DPB 43 as a reference image.
  • the decoding packing as the picture of the reference image to be referred to when generating the predicted image of the central viewpoint color image The resolution ratio of the color image field matches.
  • the resolution ratio of the top field and the bottom field of the central viewpoint color image to be encoded is 2: 1.
  • the vertical resolution of each of the left viewpoint color image and the right viewpoint color image constituting the top field and the bottom field of the decoded packing color image is 1/2 of the original, and therefore The resolution ratio of the left viewpoint color image and the right viewpoint color image that are the top field and the bottom field of the decoded packing color image is 2: 1.
  • the resolution ratio of the field (top field, bottom field) that is the target picture of the central viewpoint color image matches the resolution ratio of the field of the decoded packing color image that is the reference image.
  • the prediction accuracy can be improved (the residual between the predicted image generated by the parallax prediction and the target block is reduced), and the coding efficiency can be improved.
  • FIG. 37 is a flowchart illustrating an encoding process for encoding the central viewpoint color image performed by the encoder 542 in FIG.
  • the encoding target is not the packed color image but the central viewpoint color image, and for that reason, the parallax prediction of the central viewpoint color image that is the encoding target is performed as the packing color. Processing similar to that in steps S101 to S119 in FIG. 28 is performed except that the processing is performed using the image as a reference image.
  • step S301 the A / D conversion unit 111 A / D converts the analog signal of the frame as the picture of the central viewpoint color image supplied thereto, and supplies the analog signal of the frame to the screen rearrangement buffer 112. The process proceeds to step S302.
  • step S302 the screen rearrangement buffer 112 temporarily stores a frame as a picture of the central viewpoint color image from the A / D conversion unit 111, and reads out the picture according to a predetermined GOP structure. Rearrangement is performed to rearrange the picture from the display order to the encoding order (decoding order).
  • the frame as a picture read from the screen rearrangement buffer 112 is supplied to the structure conversion unit 352, and the process proceeds from step S302 to step S303.
  • step S303 the SEI generation unit 351 generates the resolution conversion SEI described with reference to FIGS. 25 and 26 from the resolution conversion information supplied from the resolution conversion device 321C (FIG. 18) and supplies the resolution conversion SEI to the variable length encoding unit 116. Then, the process proceeds to step S304.
  • step S304 the structure conversion unit 352 sets the encoding mode to the field encoding mode based on the resolution conversion information supplied from the resolution conversion device 321C (FIG. 18).
  • the structure conversion unit 352 sets the frame as the picture of the central viewpoint color image from the screen rearrangement buffer 112 in accordance with the setting of the encoding mode to the field encoding mode.
  • the data is converted into a field and supplied to the calculation unit 113, the intra prediction unit 122, the parallax prediction unit 131 of the inter prediction unit 123, and the temporal prediction unit 132, and the process proceeds from step S304 to step S305.
  • step S305 the calculation unit 113 sets the field as the picture of the central viewpoint color image from the structure conversion unit 352 as the target picture to be encoded, and further sequentially converts the macroblocks constituting the target picture into the encoding target. Is the target block.
  • the calculation unit 113 calculates the difference (residual) between the pixel value of the target block and the pixel value of the prediction image supplied from the prediction image selection unit 124 as necessary, and supplies the difference to the orthogonal transformation unit 114. Then, the process proceeds from step S305 to step S306.
  • step S306 the orthogonal transform unit 114 performs orthogonal transform on the target block from the calculation unit 113, supplies the transform coefficient obtained as a result to the quantization unit 115, and the process proceeds to step S307.
  • step S307 the quantization unit 115 quantizes the transform coefficient supplied from the orthogonal transform unit 114, and supplies the quantized value obtained as a result to the inverse quantization unit 118 and the variable length coding unit 116. Then, the process proceeds to step S308.
  • step S308 the inverse quantization unit 118 inversely quantizes the quantized value from the quantization unit 115 into a transform coefficient and supplies the transform coefficient to the inverse orthogonal transform unit 119, and the process proceeds to step S309.
  • step S309 the inverse orthogonal transform unit 119 performs inverse orthogonal transform on the transform coefficient from the inverse quantization unit 118, supplies the transform coefficient to the operation unit 120, and the process proceeds to step S310.
  • step S310 the calculation unit 120 adds the pixel value of the predicted image supplied from the predicted image selection unit 124 to the data supplied from the inverse orthogonal transform unit 119, as necessary, thereby adding the target block.
  • a decoded central viewpoint color image obtained by decoding local decoding is obtained.
  • the calculation unit 120 supplies the decoded central viewpoint color image obtained by locally decoding the target block to the deblocking filter 121, and the processing proceeds from step S310 to step S311.
  • step S311 the deblocking filter 121 filters the decoded central viewpoint color image from the calculation unit 120, supplies the filtered central viewpoint color image to the DPB 43, and the process proceeds to step S312.
  • step S312 the DPB 43 waits for a decoding packed color image obtained by encoding the packing color image and performing local decoding from the encoder 541 (FIG. 34) that encodes the packing color image.
  • the decoded packing color image is stored, and the process proceeds to step S313.
  • the encoder 541 performs the same encoding process as the encoder 542 except that the parallax prediction is not performed, that is, the field of the packing color image is used as a picture in the field encoding mode. Encoding is performed. Therefore, the DPB 43 stores a decoded packing color image field, that is, a top field composed of odd lines of the left viewpoint color image and a bottom field composed of even lines of the right viewpoint color image.
  • step S313 the DPB 43 stores the decoded central viewpoint color image (field thereof) from the deblocking filter 121, and the process proceeds to step S314.
  • step S314 the intra prediction unit 122 performs an intra prediction process (intra prediction process) for the next target block.
  • the intra-screen prediction unit 122 generates intra-prediction (intra-prediction prediction) for the next target block from the field as the picture of the decoded central viewpoint color image stored in the DPB 43. )I do.
  • the intra-screen prediction unit 122 obtains an encoding cost required to encode the next target block using the prediction image of the intra prediction, and obtains header information (information regarding the intra prediction to be used) and intra prediction.
  • the predicted image is supplied to the predicted image selection unit 124 together with the predicted image, and the process proceeds from step S314 to step S315.
  • step S315 the temporal prediction unit 132 performs temporal prediction processing on the next target block, using the field as a picture of the decoded central viewpoint color image as a reference image.
  • the temporal prediction unit 132 performs temporal prediction using the field as the picture of the decoded central viewpoint color image stored in the DPB 43 for the next target block, so that each macro prediction type is different for each inter prediction mode. In addition, a predicted image, encoding cost, and the like are obtained.
  • the temporal prediction unit 132 sets the inter prediction mode with the minimum encoding cost as the optimal inter prediction mode, and uses the prediction image of the optimal inter prediction mode as header information (information related to the inter prediction) and the encoding cost.
  • the predicted image selection unit 124 is supplied and the process proceeds from step S315 to step S316.
  • step S316 the disparity prediction unit 131 performs a disparity prediction process on the next target block using the field as a picture of the decoded packed color image as a reference image.
  • the disparity prediction unit 131 performs disparity prediction on the next target block using a field as a picture of the decoded packed color image stored in the DPB 43, so that each macro prediction type is different for each inter prediction mode. A predicted image, encoding cost, etc. are obtained.
  • the disparity prediction unit 131 sets the inter prediction mode with the minimum encoding cost as the optimal inter prediction mode, and sets the prediction image of the optimal inter prediction mode as header information (information related to inter prediction) and the encoding cost.
  • the image is supplied to the predicted image selection unit 124, and the process proceeds from step S316 to step S317.
  • step S ⁇ b> 317 the predicted image selection unit 124 receives the predicted image from the intra-screen prediction unit 122 (prediction image for intra prediction), the predicted image from the temporal prediction unit 132 (temporal prediction image), and the parallax prediction unit 131. For example, a prediction image with the lowest encoding cost is selected from the prediction images (disparity prediction images), and the prediction image is supplied to the calculation units 113 and 220, and the process proceeds to step S318.
  • the predicted image selected by the predicted image selection unit 124 in step S317 is used in the processing of steps S305 and S310 performed in the encoding of the next target block.
  • the predicted image selection unit 124 selects header information supplied together with the predicted image with the lowest coding cost from the header information from the intra-screen prediction unit 122, the temporal prediction unit 132, and the parallax prediction unit 131. Then, it is supplied to the variable length encoding unit 116.
  • step S318 the variable length encoding unit 116 performs variable length encoding on the quantized value from the quantization unit 115 to obtain encoded data.
  • variable length encoding unit 116 includes the header information from the predicted image selection unit 124 and the resolution conversion SEI from the SEI generation unit 351 in the header of the encoded data.
  • variable length encoding unit 116 supplies the encoded data to the accumulation buffer 117, and the process proceeds from step S318 to step S319.
  • step S319 the accumulation buffer 117 temporarily stores the encoded data from the variable length encoding unit 116.
  • the encoded data stored in the accumulation buffer 117 is supplied (transmitted) to the multiplexer 23 (FIG. 18) at a predetermined transmission rate.
  • FIG. 38 is a flowchart illustrating the parallax prediction processing for the central viewpoint color image performed by the parallax prediction unit 131 (FIG. 13) of the encoder 542 in step S316 of FIG.
  • the encoding target is not the packing color image but the central viewpoint color image, and the parallax prediction of the central viewpoint color image that is the encoding target is performed. Processing similar to that in steps S131 to S138 in FIG. 29 is performed except that the packing color image is used as a reference image.
  • step S331 in the parallax prediction unit 131 (FIG. 13), the parallax detection unit 141 and the parallax compensation unit 142 receive the field as a picture of the decoded packed color image from the DPB 43 as a reference image, Proceed to step S332.
  • step S332 the parallax detection unit 141 receives the target block of the field as the target picture of the central viewpoint color image supplied from the structure conversion unit 352 (FIG. 35) and the field of the decoded packed color image as the reference image from the DPB 43. Are used to detect the parallax vector mv representing the parallax with respect to the reference image of the target block for each macroblock type, and supply the parallax compensation unit 142 to the parallax compensation unit 142, and the process proceeds to step S333.
  • step S333 the parallax compensation unit 142 performs parallax compensation on the field of the decoded packing color image as the reference image from the DPB 43 using the parallax vector mv of the target block from the parallax detection unit 141, thereby A prediction image is generated for each macroblock type, and the process proceeds to step S334.
  • the parallax compensation unit 142 acquires, as a predicted image, a corresponding block that is a block (region) at a position shifted by the parallax vector mv from the position of the target block in the field of the decoded packed color image as the reference image.
  • step S334 the parallax compensation unit 142 obtains the prediction vector PMV of the parallax vector mv of the target block using the parallax vectors of the macroblocks around the target block that have already been encoded as necessary.
  • the disparity compensation unit 142 obtains a residual vector that is a difference between the disparity vector mv of the target block and the prediction vector PMV.
  • the parallax compensation unit 142 uses the prediction image of the target block for each prediction mode such as the macroblock type, the residual vector of the target block, and the reference image (decoded packing color image) used to generate the prediction image.
  • the prediction index is supplied to the prediction information buffer 143 and the cost function calculation unit 144 in association with the prediction mode, and the process proceeds from step S334 to step S335.
  • step S335 the prediction information buffer 143 temporarily stores the prediction image, the residual vector, and the reference index associated with the prediction mode from the parallax compensation unit 142 as prediction information.
  • the process proceeds to S336.
  • step S336 the cost function calculation unit 144 calculates the encoding cost (cost function value) required for encoding the target block of the target picture from the structure conversion unit 352 (FIG. 35) for each macroblock type as the prediction mode.
  • the cost function is calculated and supplied to the mode selection unit 145, and the process proceeds to step S337.
  • step S337 the mode selection unit 145 detects the minimum cost, which is the minimum value, from the encoding costs for each macroblock type from the cost function calculation unit 144.
  • the mode selection unit 145 selects the macro block type for which the minimum cost is obtained as the optimum inter prediction mode.
  • step S337 the process proceeds from step S337 to step S338, and the mode selection unit 145 receives the prediction image, the residual vector, and the reference index associated with the prediction mode that is the optimal inter prediction mode from the prediction information buffer 143.
  • the prediction and the prediction mode which is the optimum inter prediction mode are supplied as prediction information to the prediction image selection unit 124, and the process returns.
  • FIG. 39 is a block diagram showing another configuration example of the decoding device 332C in FIG.
  • FIG. 39 is a block diagram illustrating a configuration example of the decoding device 332C when the encoding device 322C is configured as illustrated in FIG.
  • the decoding device 332C includes decoders 611 and 612 and a DPB 213.
  • the decoding device 332C of FIG. 39 is common to the case of FIG. 30 in that it has the DPB 213, but in the point of being provided with decoders 611 and 612 instead of the decoders 411 and 412, as in the case of FIG. Is different.
  • the decoder 411 processes the central viewpoint color image as a base view image and the decoder 412 processes the packing color image as a non-base view image.
  • FIG. 30 and FIG. 39 are different in that the packing color image is processed as a base view image and the decoder 612 processes the central viewpoint color image as a non-base view image.
  • the encoded data of the packing color image among the multi-view color image encoded data from the demultiplexer 31 (FIG. 19) is supplied to the decoder 611.
  • the decoder 611 decodes the encoded data of the packed color image supplied thereto as encoded data of the base view image in the same manner as the decoder 411 of FIG. 30, and outputs the resulting packed color image.
  • the decoder 612 is supplied with the encoded data of the central viewpoint color image among the multi-view color image encoded data from the demultiplexer 31 (FIG. 19).
  • the decoder 612 decodes the encoded data of the central viewpoint color image supplied thereto as encoded data of the non-base view image in the same manner as the decoder 412 of FIG. 30, and the central viewpoint color image obtained as a result is decoded. Output.
  • the packing color image output from the decoder 611 and the central viewpoint color image output from the decoder 612 are supplied to the resolution reverse conversion device 333C (FIG. 19) as a resolution conversion multi-view color image.
  • the decoders 611 and 612 decode the prediction-coded image, but in order to generate the prediction image used in the prediction coding, After decoding the image, the decoded image used for generating the predicted image is temporarily stored in the DPB 213.
  • the DPB 213 is shared by the decoders 611 and 612, and temporarily stores decoded images (decoded images) obtained by the decoders 611 and 612, respectively.
  • Each of the decoders 611 and 612 selects, from the decoded images stored in the DPB 213, a reference image that is referred to for decoding the decoding target image, and generates a predicted image using the reference image.
  • each of the decoders 611 and 612 can refer to a decoded image obtained by itself and also a decoded image obtained by another decoder. it can.
  • the decoder 611 decodes the image of the base view, only the decoded image obtained by the decoder 611 is referenced (disparity prediction is not performed).
  • FIG. 40 is a block diagram illustrating a configuration example of the decoder 612 of FIG.
  • the decoder 612 includes an accumulation buffer 241, a variable length decoding unit 242, an inverse quantization unit 243, an inverse orthogonal transform unit 244, a calculation unit 245, a deblocking filter 246, a screen rearrangement buffer 247, and a D / A conversion unit. 248, an intra-screen prediction unit 249, an inter prediction unit 250, a predicted image selection unit 251, and a structural inverse transform unit 451.
  • the decoder 612 in FIG. 40 is configured in the same manner as the decoder 412 in FIG.
  • the decoder 612 is different from the decoder 412 of FIG. 31 in that the decoding target is not a packing color image but a central viewpoint color image.
  • the parallax prediction unit 261 performs the parallax prediction of the central viewpoint color image that is the decoding target, using the packed color image that is the image of the other viewpoint as the reference image.
  • the DPB 213 stores a decoded central viewpoint color image as a non-base view image decoded by the decoder 612 supplied from the deblocking filter 246 and also supplied from the decoder 611.
  • a decoded packed color image as a base view image decoded by the decoder 611 is stored.
  • the parallax prediction unit 261 performs the parallax prediction of the central viewpoint color image that is the decoding target, using the decoded packing color image stored in the DPB 213 as a reference image.
  • the decoder 611 in FIG. 39 is configured in the same manner as the decoder 612 in FIG. However, in the decoder 611 that decodes the image of the base view, disparity prediction is not performed in inter prediction, and only temporal prediction is performed. Therefore, the decoder 611 can be configured without providing the parallax prediction unit 261 that performs parallax prediction.
  • the decoder 611 that decodes the base-view image performs the same processing as the decoder 612 that decodes the non-base-view image except that the parallax prediction is not performed. Therefore, the decoder 612 will be described below. Description of 611 is omitted as appropriate.
  • FIG. 41 is a flowchart for explaining a decoding process for decoding the encoded data of the central viewpoint color image performed by the decoder 612 of FIG.
  • the decoding target is not the packed color image but the central viewpoint color image. Further, for this reason, the parallax prediction of the central viewpoint color image that is the decoding target performs the packing color image conversion. Except for being used as a reference image, the same processing as steps S201 to S218 in FIG. 32 is performed.
  • step S401 the accumulation buffer 241 stores the encoded data of the central viewpoint color image supplied thereto, and the process proceeds to step S402.
  • step S402 the variable length decoding unit 242 restores the quantization value, the prediction mode related information, and the resolution conversion SEI by reading the encoded data stored in the accumulation buffer 241 and performing variable length decoding. Then, the variable length decoding unit 242 transmits the quantized value to the inverse quantization unit 243, the prediction mode related information, the intra-screen prediction unit 249, the reference index processing unit 260 of the inter prediction unit 250, and the parallax prediction unit 261.
  • the resolution conversion SEI is supplied to the time prediction unit 262 and the structure inverse conversion unit 451 and the resolution inverse conversion device 333C (FIG. 19), respectively, and the process proceeds to step S403.
  • step S403 the inverse quantization unit 243 inversely quantizes the quantized value from the variable length decoding unit 242 into a transform coefficient, supplies the transform coefficient to the inverse orthogonal transform unit 244, and the process proceeds to step S404.
  • step S404 the inverse orthogonal transform unit 244 performs inverse orthogonal transform on the transform coefficient from the inverse quantization unit 243, supplies the transform coefficient in units of macroblocks to the arithmetic unit 245, and the process proceeds to step S405.
  • step S405 the calculation unit 245 supplies the macroblock from the inverse orthogonal transform unit 244 as a target block (residual image) to be decoded, and supplies the target block from the predicted image selection unit 251 as necessary.
  • the decoded image is obtained by adding the predicted images.
  • the arithmetic unit 245 supplies the decoded image to the deblocking filter 246, and the process proceeds from step S405 to step S406.
  • step S406 the deblocking filter 246 performs filtering on the decoded image from the arithmetic unit 245, and the filtered decoded image (decoded central viewpoint color image) is transferred to the DPB 213 and the structure inverse conversion unit 451. Then, the process proceeds to step S407.
  • step S407 the DPB 213 waits for the decoding packing color image to be supplied from the decoder 611 (FIG. 39) that decodes the packing color image, stores the decoding packing color image, and the process proceeds to step S408. .
  • step S408 the DPB 213 stores the decoded central viewpoint color image from the deblocking filter 246, and the process proceeds to step S409.
  • the packing color image is encoded with the field as the target picture
  • the central viewpoint color image is encoded with the field as the target picture
  • the packing color image is decoded with the field as the target picture.
  • the central viewpoint color image is decoded with the field as the target picture.
  • the DPB 213 stores the decoded packing color image of the field (structure) and the decoded central viewpoint color image.
  • step S409 the intra prediction unit 249 and the inter prediction unit 250 (the time prediction unit 262 and the disparity prediction unit 261 that constitute the prediction unit) are based on the prediction mode related information supplied from the variable length decoding unit 242. Whether the next target block (the next macroblock to be decoded) is encoded using a prediction image generated by intra prediction (intra-screen prediction) or inter prediction. judge.
  • step S409 If it is determined in step S409 that the next target block has been encoded using the predicted image generated by the intra prediction, the process proceeds to step S410, and the intra prediction unit 249 Intra prediction processing (intra-screen prediction processing) is performed.
  • Intra prediction processing intra-screen prediction processing
  • the intra-screen prediction unit 249 performs intra prediction (intra-screen prediction) for generating a prediction image (prediction image of intra prediction) from the decoded central viewpoint color image stored in the DPB 213 for the next target block,
  • the predicted image is supplied to the predicted image selection unit 251, and the process proceeds from step S410 to step S415.
  • step S409 If it is determined in step S409 that the next target block has been encoded using a prediction image generated by inter prediction, the process proceeds to step S411, and the reference index processing unit 260 is variable.
  • the field as the picture of the decoded packing color image to which the reference index for prediction included in the prediction mode related information from the long decoding unit 242 is assigned, or the field as the picture of the decoded central viewpoint color image is read from the DPB 213.
  • the image is selected as a reference image, and the process proceeds to step S412.
  • step S412 the reference index processing unit 260 performs temporal prediction and disparity prediction in which the next target block is inter prediction based on the prediction reference index included in the prediction mode related information from the variable length decoding unit 242.
  • the prediction image generated by any prediction method is determined using the prediction method.
  • step S412 when it is determined that the next target block is encoded using a prediction image generated by temporal prediction, that is, for prediction of the (next) target block from the variable length decoding unit 242. If the picture to which the reference index is assigned is a picture of the decoded central viewpoint color image, and the picture of the decoded central viewpoint color image is selected as the reference image in step S411, the reference index processing unit 260 Then, the picture of the decoded central viewpoint color image as the reference image is supplied to the temporal prediction unit 262, and the process proceeds to step S413.
  • step S413 the time prediction unit 262 performs time prediction processing.
  • the temporal prediction unit 262 performs motion compensation of the picture of the decoded central viewpoint color image as the reference image from the reference index processing unit 260, and uses the prediction mode related information from the variable length decoding unit 242.
  • a predicted image is generated, the predicted image is supplied to the predicted image selection unit 251, and the process proceeds from step S 413 to step S 415.
  • step S412 when it is determined that the next target block is encoded using the prediction image generated by the disparity prediction, that is, the (next) target block from the variable length decoding unit 242.
  • a picture to which a reference index for prediction is assigned is a field as a picture of a decoded packing color image, and a field as a picture of the decoded packing color image is selected as a reference image in step S411,
  • the reference index processing unit 260 supplies the field as a picture of the decoded packed color image as the reference image to the parallax prediction unit 261, and the process proceeds to step S414.
  • step S414 the parallax prediction unit 261 performs a parallax prediction process.
  • the disparity prediction unit 261 performs the disparity compensation of the field as the picture of the decoded packed color image as the reference image for the next target block using the prediction mode related information from the variable length decoding unit 242.
  • a predicted image is generated, the predicted image is supplied to the predicted image selection unit 251, and the process proceeds from step S414 to step S415.
  • step S415 the predicted image selection unit 251 selects the predicted image from the one to which the predicted image is supplied from among the in-screen prediction unit 249, the temporal prediction unit 262, and the parallax prediction unit 261, and performs computation. The process proceeds to step S416.
  • the predicted image selected by the predicted image selection unit 251 in step S415 is used in the process of step S405 performed in the decoding of the next target block.
  • step S416 the structure inverse transform unit 451 is supplied with the decoded central viewpoint color images of the top field and the bottom field constituting the frame from the deblocking filter 246 based on the resolution conversion SEI from the variable length decoding unit 242.
  • the top field and the bottom field are inversely converted into frames and supplied to the screen rearrangement buffer 247, and the process proceeds to step S417.
  • step S417 the screen rearrangement buffer 247 temporarily stores and reads out the frame as the picture of the decoded central viewpoint color image from the structure inverse transform unit 451, thereby reordering the picture arrangement to the original arrangement, D /
  • the data is supplied to the A conversion unit 248, and the process proceeds to step S418.
  • step S4108 when it is necessary to output the picture from the screen rearrangement buffer 247 as an analog signal, the D / A conversion unit 248 performs D / A conversion on the picture and outputs the picture.
  • FIG. 42 is a flowchart for describing the parallax prediction processing performed by the parallax prediction unit 261 (FIG. 17) in step S414 of FIG.
  • the decoding target is not the packing color image but the central viewpoint color image
  • the parallax prediction of the central viewpoint color image that is the decoding target is the packing color. Except that the image is used as a reference image, the same processing as that in steps S231 to S234 in FIG. 33 is performed.
  • step S431 in the parallax prediction unit 261 (FIG. 17), the parallax compensation unit 272 receives the field as the picture of the decoded packed color image as the reference image from the reference index processing unit 260, and the process proceeds to step S432. .
  • step S432 the parallax compensation unit 272 receives the (next) target block residual vector included in the prediction mode-related information from the variable length decoding unit 242, and the process proceeds to step S433.
  • step S433 the parallax compensation unit 272 uses the parallax vectors of the macroblocks around the target block in the field as the picture of the central viewpoint color image that has already been decoded, and the like from the variable length decoding unit 242.
  • a prediction vector of the target block for the macroblock type represented by the prediction mode (optimum inter prediction mode) included in the information is obtained.
  • the disparity compensation unit 272 restores the disparity vector mv of the target block by adding the prediction vector of the target block and the residual vector from the variable length decoding unit 242, and the processing is performed from step S433 to step S434. Proceed to
  • step S434 the disparity compensation unit 272 performs disparity compensation of the field as the picture of the decoded packed color image as the reference image from the reference index processing unit 260 using the disparity vector mv of the target block, thereby Are generated and supplied to the predicted image selection unit 251, and the process returns.
  • FIG. 43 is a block diagram illustrating another configuration example of the transmission device 11 of FIG.
  • the transmission apparatus 11 includes resolution conversion apparatuses 721C and 721D, encoding apparatuses 722C and 722D, and a multiplexing apparatus 23.
  • the transmission apparatus 11 of FIG. 43 is common to the case of FIG. 18 in that it includes the multiplexing apparatus 23, and instead of the resolution conversion apparatuses 321C and 321D and the encoding apparatuses 322C and 322D, respectively. It is different from the case of FIG. 18 in that 721C and 721D and encoding devices 722C and 722D are provided.
  • a multi-viewpoint color image is supplied to the resolution conversion device 721C.
  • the resolution conversion apparatus 721C performs, for example, the same processing as the resolution conversion apparatus 321C in FIG.
  • the resolution conversion apparatus 721C performs resolution conversion for converting the multi-view color image supplied thereto into a low-resolution resolution conversion multi-view color image lower than the original resolution, and the resulting resolution conversion multi-view color image. Is supplied to the encoding device 722C.
  • the resolution conversion device 721C generates resolution conversion information and supplies it to the encoding device 722C.
  • a coding mode representing a field coding mode or a frame coding mode is supplied from the coding device 722C to the resolution conversion device 721C.
  • the resolution conversion device 721C packs a packing pattern for packing the left viewpoint color image and the right viewpoint color image included in the multi-view color image supplied thereto according to the encoding mode supplied from the encoding device 722C. decide.
  • the resolution conversion device 721C includes an interlace packing pattern (hereinafter also referred to as an interlace pattern) in the multi-view color image.
  • an interlace pattern hereinafter also referred to as an interlace pattern
  • a packing pattern for packing the left viewpoint color image and the right viewpoint color image is determined.
  • the packing pattern corresponds to the parameter frame_packing_info [i] described in FIG. 25 and FIG.
  • the resolution conversion device 721C When the resolution conversion device 721C determines the packing pattern, the resolution conversion device 721C packs the left viewpoint color image and the right viewpoint color image included in the multi-viewpoint color image according to the packing pattern, and performs resolution conversion including the resulting packed color image.
  • the multi-view color image is supplied to the encoding device 722C.
  • the encoding device 722C performs the same processing as the encoding device 322C in FIG. 18 except that the encoding mode is supplied to the resolution conversion device 721C.
  • the encoding device 722C encodes the resolution-converted multi-view color image supplied from the resolution conversion device 721C by the extended method, and multi-view color image encoded data that is encoded data obtained as a result is multiplexed. 23.
  • a multi-view depth image is supplied to the resolution conversion device 721D.
  • the resolution conversion device 721C In the resolution conversion device 721D and the encoding device 722D, the resolution conversion device 721C, except that a depth image (multi-view depth image) is processed as a processing target instead of a color image (multi-view color image). The same processing as that performed by the encoding device 722C is performed.
  • the multiplexed bit stream obtained by the transmission device 11 in FIG. 43 can be decoded into a multi-view color image and a multi-view depth image by the reception device 12 in FIG.
  • FIG. 44 is a block diagram illustrating a configuration example of the encoding device 722C of FIG.
  • the encoding device 722C includes encoders 841 and 842 and a DPB 43.
  • the encoding device 722C of FIG. 44 is common to the encoding device 322C of FIG. 23 in that it has the DPB 43, and is provided with encoders 841 and 842 instead of the encoders 341 and 342, respectively. 23 is different from the encoding device 322C.
  • the encoder 841 is supplied with the central viewpoint color image (the frame) of the central viewpoint color image and the packed color image constituting the resolution conversion multi-viewpoint color image from the resolution conversion device 721C.
  • the encoder 842 is supplied with a packing color image (frame) of the central viewpoint color image and the packing color image constituting the resolution conversion multi-view color image from the resolution conversion device 721C.
  • resolution conversion information from the resolution conversion device 721C is supplied to the encoders 841 and 842.
  • the encoder 841 encodes the central viewpoint color image as a base view image, and outputs the encoded data of the central viewpoint color image obtained as a result, similarly to the encoder 341 in FIG.
  • the encoder 842 encodes the packing color image as a non-base view image, and outputs the encoded data of the packing color image obtained as a result, similarly to the encoder 342 of FIG.
  • the encoder 842 (same for the encoder 841) sets the encoding mode to, for example, a field encoding mode or a frame encoding mode according to a user operation or the like (or according to an encoding cost). Thus, encoding is performed in that encoding mode by setting the field encoding mode and the frame encoding mode to the one with the lower encoding cost.
  • the encoder 842 supplies the encoding mode to the resolution conversion device 721C.
  • the resolution conversion device 721C determines that the left included in the multi-viewpoint color image according to the encoding mode, as described in FIG. A packing pattern for packing the viewpoint color image and the right viewpoint color image is determined.
  • the encoded data of the central viewpoint color image output from the encoder 841 and the encoded data of the packing color image output from the encoder 842 are supplied to the multiplexing device 23 (FIG. 43) as multi-view color image encoded data.
  • the DPB 43 is shared by the encoders 841 and 842.
  • the encoders 841 and 842 perform predictive encoding on the encoding target image in the same manner as the MVC. Therefore, the encoders 841 and 842 generate a predicted image to be used for predictive encoding, encode an encoding target image, and then perform local decoding to obtain a decoded image.
  • the decoded images obtained by the encoders 841 and 842 are temporarily stored.
  • Each of the encoders 841 and 842 selects, from the decoded images stored in the DPB 43, a reference image that is referred to for encoding an image to be encoded.
  • Each of the encoders 841 and 842 generates a predicted image using the reference image, and performs image coding (predictive coding) using the predicted image.
  • each of the encoders 841 and 842 can refer to decoded images obtained by other encoders in addition to the decoded images obtained by itself.
  • the encoder 841 encodes the base view image, and therefore refers only to the decoded image obtained by the encoder 841.
  • FIG. 45 is a block diagram showing a configuration example of the encoder 842 in FIG.
  • an encoder 842 includes an A / D conversion unit 111, a screen rearrangement buffer 112, a calculation unit 113, an orthogonal transformation unit 114, a quantization unit 115, a variable length coding unit 116, a storage buffer 117, and an inverse quantization unit. 118, an inverse orthogonal transform unit 119, an operation unit 120, a deblocking filter 121, an intra prediction unit 122, an inter prediction unit 123, a predicted image selection unit 124, an SEI generation unit 351, and a structure conversion unit 852.
  • the encoder 842 is common to the encoder 342 in FIG. 24 in that the encoder 842 includes the A / D conversion unit 111 to the predicted image selection unit 124 and the SEI generation unit 351.
  • the encoder 842 is different from the encoder 342 of FIG. 24 in that a structure conversion unit 852 is provided instead of the structure conversion unit 352.
  • the structure conversion unit 852 is provided on the output side of the screen rearrangement buffer 112, and performs the same processing as the structure conversion unit 352 of FIG.
  • the structure conversion unit 352 of FIG. 24 sets the encoding mode to the field encoding mode or the frame encoding mode based on the resolution conversion information from the resolution conversion device 321C (FIG. 18).
  • the 45 resolution conversion unit 852 sets an encoding mode in accordance with, for example, a user operation other than the resolution conversion information from the resolution conversion device 721C (FIG. 43), and the encoding mode is set to the resolution conversion device. 721C.
  • the resolution conversion apparatus 721C determines a packing pattern according to the encoding mode supplied from the encoder 842 (of the encoding apparatus 722C), and converts it into a multi-viewpoint color image according to the packing pattern.
  • the left viewpoint color image and the right viewpoint color image included are packed.
  • FIG. 47 shows a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance on a hard disk 1105 or a ROM 1103 as a recording medium built in the computer.
  • the program can be stored (recorded) in a removable recording medium 1111.
  • a removable recording medium 1111 can be provided as so-called package software.
  • examples of the removable recording medium 1111 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), a MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be installed in the computer from the removable recording medium 1111 as described above, or downloaded to the computer via the communication network or the broadcast network and installed in the built-in hard disk 1105. That is, the program is transferred from a download site to a computer wirelessly via a digital satellite broadcasting artificial satellite, or wired to a computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the computer includes a CPU (Central Processing Unit) 1102, and an input / output interface 1110 is connected to the CPU 1102 via a bus 1101.
  • CPU Central Processing Unit
  • input / output interface 1110 is connected to the CPU 1102 via a bus 1101.
  • the CPU 1102 executes a program stored in a ROM (Read Only Memory) 1103 accordingly. .
  • the CPU 1102 loads a program stored in the hard disk 1105 into a RAM (Random Access Memory) 1104 and executes it.
  • the CPU 1102 performs processing according to the flowchart described above or processing performed by the configuration of the block diagram described above. Then, the CPU 1102 causes the processing result to be output from the output unit 1106 or transmitted from the communication unit 1108 via, for example, the input / output interface 1110, and recorded on the hard disk 1105 as necessary.
  • the input unit 1107 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 1106 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor), or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the present technology processes when communicating via network media such as satellite broadcasting, cable TV (television), the Internet, and mobile phones, or on storage media such as optical, magnetic disk, and flash memory. It can be applied to an image processing system used at the time.
  • network media such as satellite broadcasting, cable TV (television), the Internet, and mobile phones
  • storage media such as optical, magnetic disk, and flash memory. It can be applied to an image processing system used at the time.
  • FIG. 48 is a diagram illustrating a schematic configuration example of a TV to which the present technology is applied.
  • the TV 1900 includes an antenna 1901, a tuner 1902, a demultiplexer 1903, a decoder 1904, a video signal processing unit 1905, a display unit 1906, an audio signal processing unit 1907, a speaker 1908, and an external interface unit 1909. Furthermore, the TV 1900 includes a control unit 1910, a user interface unit 1911, and the like.
  • the tuner 1902 selects and demodulates a desired channel from the broadcast wave signal received by the antenna 1901, and outputs the obtained encoded bit stream to the demultiplexer 1903.
  • the demultiplexer 1903 extracts an image or audio packet of the program to be viewed from the encoded bit stream, and outputs the extracted packet data to the decoder 1904.
  • the demultiplexer 1903 supplies a packet of data such as EPG (Electronic Program Guide) to the control unit 1910. If scrambling is being performed, descrambling is performed by a demultiplexer or the like.
  • the decoder 1904 performs a packet decoding process, and outputs the image data generated by the decoding process to the image signal processing unit 1905 and the audio data to the audio signal processing unit 1907.
  • the image signal processing unit 1905 performs noise removal, image processing according to user settings, and the like on the image data.
  • the image signal processing unit 1905 generates image data of a program to be displayed on the display unit 1906, image data by processing based on an application supplied via a network, and the like.
  • the image signal processing unit 1905 generates image data for displaying a menu screen for selecting an item and the like, and superimposes the image data on the program image data.
  • the image signal processing unit 1905 generates a drive signal based on the image data generated in this way, and drives the display unit 1906.
  • the display unit 1906 drives a display device (for example, a liquid crystal display element or the like) based on a drive signal from the image signal processing unit 1905 to display a program image or the like.
  • a display device for example, a liquid crystal display element or the like
  • the audio signal processing unit 1907 performs predetermined processing such as noise removal on the audio data, performs D / A conversion processing and amplification processing on the processed audio data, and supplies the speaker 1908 with audio output.
  • the external interface unit 1909 is an interface for connecting to an external device or a network, and transmits and receives data such as image data and audio data.
  • a user interface unit 1911 is connected to the control unit 1910.
  • the user interface unit 1911 includes an operation switch, a remote control signal receiving unit, and the like, and supplies an operation signal corresponding to a user operation to the control unit 1910.
  • the control unit 1910 is configured using a CPU (Central Processing Unit), a memory, and the like.
  • the memory stores programs executed by the CPU, various data necessary for the CPU to perform processing, EPG data, data acquired via a network, and the like.
  • the program stored in the memory is read and executed by the CPU at a predetermined timing such as when the TV 1900 is activated.
  • the CPU executes each program to control each unit so that the TV 1900 operates according to the user operation.
  • the TV 1900 is provided with a bus 1912 for connecting the tuner 1902, the demultiplexer 1903, the image signal processing unit 1905, the audio signal processing unit 1907, the external interface unit 1909, and the control unit 1910.
  • the decoder 1904 is provided with the function of the present technology.
  • FIG. 49 is a diagram illustrating a schematic configuration example of a mobile phone to which the present technology is applied.
  • the cellular phone 1920 includes a communication unit 1922, an audio codec 1923, a camera unit 1926, an image processing unit 1927, a demultiplexing unit 1928, a recording / reproducing unit 1929, a display unit 1930, and a control unit 1931. These are connected to each other via a bus 1933.
  • an antenna 1921 is connected to the communication unit 1922, and a speaker 1924 and a microphone 1925 are connected to the audio codec 1923. Further, an operation unit 1932 is connected to the control unit 1931.
  • the cellular phone 1920 performs various operations such as transmission / reception of voice signals, transmission / reception of e-mail and image data, image shooting, and data recording in various modes such as a voice call mode and a data communication mode.
  • the voice signal generated by the microphone 1925 is converted into voice data and compressed by the voice codec 1923 and supplied to the communication unit 1922.
  • the communication unit 1922 performs audio data modulation processing, frequency conversion processing, and the like to generate a transmission signal.
  • the communication unit 1922 supplies a transmission signal to the antenna 1921 and transmits it to a base station (not shown).
  • the communication unit 1922 performs amplification, frequency conversion processing, demodulation processing, and the like of the reception signal received by the antenna 1921, and supplies the obtained audio data to the audio codec 1923.
  • the audio codec 1923 performs data expansion of the audio data or conversion into an analog audio signal and outputs the result to the speaker 1924.
  • the control unit 1931 receives character data input by the operation of the operation unit 1932 and displays the input characters on the display unit 1930. Further, the control unit 1931 generates mail data based on a user instruction or the like in the operation unit 1932 and supplies the mail data to the communication unit 1922.
  • the communication unit 1922 performs mail data modulation processing, frequency conversion processing, and the like, and transmits the obtained transmission signal from the antenna 1921. Further, the communication unit 1922 performs amplification, frequency conversion processing, demodulation processing, and the like of the reception signal received by the antenna 1921 to restore the mail data. This mail data is supplied to the display unit 1930 to display the mail contents.
  • the cellular phone 1920 can also store the received mail data in a storage medium by the recording / playback unit 1929.
  • the storage medium is any rewritable storage medium.
  • the storage medium is a removable medium such as a semiconductor memory such as a RAM or a built-in flash memory, a hard disk, a magnetic disk, a magneto-optical disk, an optical disk, a USB memory, or a memory card.
  • the image data generated by the camera unit 1926 is supplied to the image processing unit 1927.
  • the image processing unit 1927 performs an image data encoding process to generate encoded data.
  • the demultiplexing unit 1928 multiplexes the encoded data generated by the image processing unit 1927 and the audio data supplied from the audio codec 1923 by a predetermined method and supplies the multiplexed data to the communication unit 1922.
  • the communication unit 1922 performs multiplexed data modulation processing, frequency conversion processing, and the like, and transmits the obtained transmission signal from the antenna 1921.
  • the communication unit 1922 performs amplification, frequency conversion processing, demodulation processing, and the like of the reception signal received by the antenna 1921 to restore multiplexed data. This multiplexed data is supplied to the demultiplexing unit 1928.
  • the demultiplexing unit 1928 demultiplexes the multiplexed data, and supplies the encoded data to the image processing unit 1927 and the audio data to the audio codec 1923.
  • the image processing unit 1927 performs a decoding process on the encoded data to generate image data. This image data is supplied to the display unit 1930 to display the received image.
  • the audio codec 1923 converts the audio data into an analog audio signal, supplies the analog audio signal to the speaker 1924, and outputs the received audio.
  • the image processing unit 1927 is provided with the function of the present technology.
  • FIG. 50 is a diagram illustrating a schematic configuration example of a recording / reproducing apparatus to which the present technology is applied.
  • the recording / playback apparatus 1940 records, for example, audio data and video data of a received broadcast program on a recording medium, and provides the recorded data to the user at a timing according to a user instruction.
  • the recording / reproducing device 1940 can also acquire audio data and video data from another device, for example, and record them on a recording medium. Further, the recording / reproducing apparatus 1940 decodes and outputs the audio data and video data recorded on the recording medium, thereby enabling image display and audio output to be performed on the monitor apparatus or the like.
  • the recording / reproducing apparatus 1940 includes a tuner 1941, an external interface unit 1942, an encoder 1943, an HDD (Hard Disk Drive) unit 1944, a disk drive 1945, a selector 1946, a decoder 1947, an OSD (On-Screen Display) unit 1948, a control unit 1949, A user interface unit 1950 is included.
  • Tuner 1941 selects a desired channel from a broadcast signal received by an antenna (not shown).
  • the tuner 1941 outputs the encoded bit stream obtained by demodulating the received signal of the desired channel to the selector 1946.
  • the external interface unit 1942 includes at least one of an IEEE1394 interface, a network interface unit, a USB interface, a flash memory interface, and the like.
  • the external interface unit 1942 is an interface for connecting to an external device, a network, a memory card, and the like, and receives data such as image data and audio data to be recorded.
  • the encoder 1943 performs encoding by a predetermined method when the image data and audio data supplied from the external interface unit 1942 are not encoded, and outputs an encoded bit stream to the selector 1946.
  • the HDD unit 1944 records content data such as images and sounds, various programs and other data on a built-in hard disk, and reads them from the hard disk during playback.
  • the disk drive 1945 records and reproduces signals with respect to the mounted optical disk.
  • An optical disk such as a DVD disk (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + RW, etc.), a Blu-ray disk, or the like.
  • the selector 1946 selects one of the encoded bit streams from the tuner 1941 or the encoder 1943 and supplies it to either the HDD unit 1944 or the disk drive 1945 at the time of recording an image or sound. In addition, the selector 1946 supplies the encoded bit stream output from the HDD unit 1944 or the disk drive 1945 to the decoder 1947 at the time of reproducing an image or sound.
  • the decoder 1947 performs decoding processing of the encoded bit stream.
  • the decoder 1947 supplies the image data generated by performing the decoding process to the OSD unit 1948.
  • the decoder 1947 outputs audio data generated by performing the decoding process.
  • the OSD unit 1948 generates image data for displaying a menu screen for selecting an item and the like, and superimposes it on the image data output from the decoder 1947 and outputs the image data.
  • a user interface unit 1950 is connected to the control unit 1949.
  • the user interface unit 1950 includes an operation switch, a remote control signal receiving unit, and the like, and supplies an operation signal corresponding to a user operation to the control unit 1949.
  • the control unit 1949 is configured using a CPU, a memory, and the like.
  • the memory stores programs executed by the CPU and various data necessary for the CPU to perform processing.
  • the program stored in the memory is read and executed by the CPU at a predetermined timing such as when the recording / reproducing apparatus 1940 is activated.
  • the CPU executes the program to control each unit so that the recording / reproducing apparatus 1940 operates in accordance with the user operation.
  • the decoder 1947 is provided with the function of the present technology.
  • FIG. 51 is a diagram illustrating a schematic configuration example of an imaging apparatus to which the present technology is applied.
  • the imaging device 1960 images a subject and displays an image of the subject on a display unit or records it on a recording medium as image data.
  • the imaging device 1960 includes an optical block 1961, an imaging unit 1962, a camera signal processing unit 1963, an image data processing unit 1964, a display unit 1965, an external interface unit 1966, a memory unit 1967, a media drive 1968, an OSD unit 1969, and a control unit 1970. Have.
  • a user interface unit 1971 is connected to the control unit 1970.
  • an image data processing unit 1964, an external interface unit 1966, a memory unit 1967, a media drive 1968, an OSD unit 1969, a control unit 1970, and the like are connected via a bus 1972.
  • the optical block 1961 is configured using a focus lens, a diaphragm mechanism, or the like.
  • the optical block 1961 forms an optical image of the subject on the imaging surface of the imaging unit 1962.
  • the imaging unit 1962 is configured using a CCD or CMOS image sensor, generates an electrical signal corresponding to the optical image by photoelectric conversion, and supplies the electrical signal to the camera signal processing unit 1963.
  • the camera signal processing unit 1963 performs various camera signal processing such as knee correction, gamma correction, and color correction on the electrical signal supplied from the imaging unit 1962.
  • the camera signal processing unit 1963 supplies the image data after the camera signal processing to the image data processing unit 1964.
  • the image data processing unit 1964 performs an encoding process on the image data supplied from the camera signal processing unit 1963.
  • the image data processing unit 1964 supplies the encoded data generated by performing the encoding process to the external interface unit 1966 and the media drive 1968. Further, the image data processing unit 1964 performs a decoding process on the encoded data supplied from the external interface unit 1966 or the media drive 1968.
  • the image data processing unit 1964 supplies the display unit 1965 with the image data generated by performing the decoding process.
  • the image data processing unit 1964 also performs processing for supplying the image data supplied from the camera signal processing unit 1963 to the display unit 1965, and superimposes display data acquired from the OSD unit 1969 on the image data 1965. To supply.
  • the OSD unit 1969 generates display data such as a menu screen and icons made up of symbols, characters, or figures and outputs them to the image data processing unit 1964.
  • the external interface unit 1966 includes, for example, a USB input / output terminal and the like, and is connected to a printer when printing an image.
  • a drive is connected to the external interface unit 1966 as necessary, a removable medium such as a magnetic disk or an optical disk is appropriately mounted, and a computer program read from them is installed as necessary.
  • the external interface unit 1966 has a network interface connected to a predetermined network such as a LAN or the Internet.
  • the control unit 1970 reads the encoded data from the memory unit 1967 in accordance with an instruction from the user interface unit 1971, and supplies the encoded data to the other device connected via the network from the external interface unit 1966. it can.
  • the control unit 1970 may acquire encoded data and image data supplied from another device via a network via the external interface unit 1966 and supply the acquired data to the image data processing unit 1964. it can.
  • any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory is used.
  • the recording medium may be any type of removable medium, and may be a tape device, a disk, or a memory card. Of course, a non-contact IC card or the like may be used.
  • the media drive 1968 and the recording medium may be integrated and configured by a non-portable storage medium such as a built-in hard disk drive or an SSD (Solid State Drive).
  • a non-portable storage medium such as a built-in hard disk drive or an SSD (Solid State Drive).
  • the control unit 1970 is configured using a CPU, a memory, and the like.
  • the memory stores programs executed by the CPU, various data necessary for the CPU to perform processing, and the like.
  • the program stored in the memory is read and executed by the CPU at a predetermined timing such as when the imaging device 1960 is activated.
  • the CPU executes the program to control each unit so that the imaging device 1960 performs an operation according to the user operation.
  • the image data processing unit 1964 is provided with the function of the present technology.
  • the reference image matches the resolution ratio of the image to be encoded by controlling the filter (AIF) used for filter processing when performing disparity prediction with fractional accuracy.
  • AIF filter used for filter processing when performing disparity prediction with fractional accuracy.
  • a dedicated interpolation filter is prepared, and the reference image is converted using the dedicated interpolation filter. By performing the filtering process, it can be converted into a converted reference image.
  • the conversion reference image having a resolution ratio that matches the resolution ratio of the encoding target image naturally includes a conversion reference image whose horizontal and vertical resolutions match the resolution of the encoding target image.
  • this technique can take the following configurations.
  • An image processing apparatus comprising: an encoding unit that encodes the encoding target image in the encoding mode using the prediction image generated by the compensation unit.
  • the conversion unit arranges the two viewpoint images alternately with the lines of the two viewpoint images whose vertical resolution is halved.
  • the parallax compensation is performed by using the packed image as the encoding target image or the reference image, thereby generating a prediction image of the encoding target image, Using the prediction image, the prediction image of the decoding target image to be used for decoding the encoded stream obtained by encoding the encoding target image in the encoding mode is subjected to parallax compensation.
  • the packed image is separated according to the packing pattern to obtain an original image of two or more viewpoints.
  • An image processing apparatus comprising: an inverse conversion unit that performs inverse conversion.
  • the packed image is an image for one viewpoint in which two viewpoint images are arranged by alternately arranging the lines of the two viewpoint images in which the vertical resolution is halved,
  • the image processing device according to [6]
  • the inverse transform unit inversely transforms the packed image into an original two-viewpoint image.
  • the image processing apparatus according to [6] or [7], further including a receiving unit that receives information representing the packing pattern and the encoded stream encoded by the encoding unit.
  • An image processing method including:

Abstract

　本技術は、視差予測の予測効率を改善することができる画像処理装置、及び、画像処理方法に関する。解像度変換装置は、３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の所定の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換する。符号化装置は、パッキング画像を、符号化対象画像、又は、参照画像として、視差補償を行うことにより、符号化対象画像の予測画像を生成し、その予測画像を用いて、符号化対象画像を、所定の符号化モードで符号化する。本技術は、例えば、複数の視点の画像の符号化、及び、復号に適用できる。

Description

画像処理装置、及び、画像処理方法
　本技術は、画像処理装置、及び、画像処理方法に関し、複数の視点の画像の符号化や復号において行う視差予測の予測効率を改善することができるようにする画像処理装置、及び、画像処理方法に関する。
　3D(Dimension)画像等の複数の視点の画像を符号化する符号化方式としては、例えば、AVC(Advanced Video Coding)(H.264/AVC)を拡張したMVC(Multiview Video Coding)等がある。
　MVCでは、符号化対象となる画像は、被写体からの光に対応する値を、画素値として有する色画像であり、複数の視点の色画像それぞれは、必要に応じて、その視点の色画像の他、他の視点の色画像をも参照して、符号化される。
　すなわち、MVCでは、複数の視点の色画像のうちの、１つの視点の色画像が、ベースビュー(Base View)の画像とされ、他の視点の色画像は、ノンベースビュー(Non Base View)の画像とされる。
　そして、ベースビューの色画像は、そのベースビューの色画像のみを参照して符号化され、ノンベースビューの色画像は、そのノンベースビューの色画像の他、他のビューの画像をも必要に応じて参照して符号化される。
　すなわち、ノンベースビューの色画像については、必要に応じて、他のビュー（視点）の色画像を参照して予測画像を生成する視差予測が行われ、その予測画像を用いて符号化される。
　ところで、近年においては、複数の視点の画像として、各視点の色画像の他に、各視点の色画像の画素ごとの視差に関する視差情報（デプス情報）を、画素値として有する視差情報画像（デプス画像）を採用し、各視点の色画像と各視点の視差情報画像とを、別々に符号化する方法が提案されている（例えば、非特許文献１参照）。
"Draft Call for Proposals on 3D Video Coding Technology",INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO, MPEG2010/N11679 Guangzhou,China,October 2010
　上述のように、複数の視点の画像については、ある視点の画像の符号化（及び復号）において、他の視点の画像を参照する視差予測を行うことができるので、視差予測の予測効率（予測精度）が符号化効率に影響する。
　本技術は、このような状況に鑑みてなされたものであり、視差予測の予測効率を改善することができるようにするものである。
　本技術の第１の側面の画像処理装置は、３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換する変換部と、前記変換部により変換された前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成する補償部と、前記補償部により生成された前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する符号化部とを備える画像処理装置である。
　本技術の第１の側面の画像処理方法は、３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化するステップを含む画像処理方法である。
　以上のような第１の側面においては、３視点以上の画像のうちの２視点以上の画像が、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングされることにより、パッキング画像に変換される。そして、前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像が生成され、前記予測画像を用いて、前記符号化対象画像が、前記符号化モードで符号化される。
　本技術の第２の側面の画像処理装置は、視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化することにより得られる符号化ストリームを復号する際に用いる、復号対象の復号対象画像の予測画像を、視差補償を行うことにより生成する補償部と、前記補償部により生成された前記予測画像を用いて、前記符号化ストリームを、前記符号化モードで復号する復号部と、前記復号部により前記符号化ストリームを復号することにより得られる前記復号対象画像が前記パッキング画像である場合に、前記パッキング画像を、前記パッキングパターンに従って分離することにより、元の２視点以上の画像に逆変換する逆変換部とを備える画像処理装置である。
　本技術の第２の側面の画像処理方法は、３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化することにより得られる符号化ストリームを復号する際に用いる、復号対象の復号対象画像の予測画像を、視差補償を行うことにより生成し、前記予測画像を用いて、前記符号化ストリームを、前記符号化モードで復号し、前記符号化ストリームを復号することにより得られる前記復号対象画像が前記パッキング画像である場合に、前記パッキング画像を、前記パッキングパターンに従って分離することにより、元の２視点以上の画像に逆変換するステップを含む画像処理方法である。
　以上のような第２の側面においては、３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化することにより得られる符号化ストリームを復号する際に用いる、復号対象の復号対象画像の予測画像が、視差補償を行うことにより生成される。そして、前記予測画像を用いて、前記符号化ストリームが、前記符号化モードで復号され、前記符号化ストリームを復号することにより得られる前記復号対象画像が前記パッキング画像である場合に、前記パッキング画像が、前記パッキングパターンに従って分離されることにより、元の２視点以上の画像に逆変換される。
　なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、画像処理装置は、コンピュータにプログラムを実行させることにより実現することができ、そのプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本技術によれば、視差予測の予測効率を改善することができる。
本技術を適用した伝送システムの一実施の形態の構成例を示すブロック図である。 送信装置１１の構成例を示すブロック図である。 受信装置１２の構成例を示すブロック図である。 解像度変換装置２１Ｃが行う解像度変換を説明する図である。 符号化装置２２Ｃの構成例を示すブロック図である。 MVCの予測符号化において、予測画像を生成するときに参照するピクチャ（参照画像）を説明する図である。 MVCでのピクチャの符号化（及び復号）順を説明する図である。 エンコーダ４１及び４２で行われる時間予測と視差予測を説明する図である。 エンコーダ４２の構成例を示すブロック図である。 MVC(AVC)のマクロブロックタイプを説明する図である。 MVC(AVC)の予測ベクトル(PMV)を説明する図である。 インター予測部１２３の構成例を示すブロック図である。 視差予測部１３１の構成例を示すブロック図である。 復号装置３２Ｃの構成例を示すブロック図である。 デコーダ２１２の構成例を示すブロック図である。 インター予測部２５０の構成例を示すブロック図である。 視差予測部２６１の構成例を示すブロック図である。 送信装置１１の他の構成例を示すブロック図である。 受信装置１２の他の構成例を示すブロック図である。 解像度変換装置３２１Ｃが行う解像度変換、及び、解像度逆変換装置３３３Ｃが行う解像度逆変換を説明する図である。 送信装置１１の処理を説明するフローチャートである。 受信装置１２の処理を説明するフローチャートである。 符号化装置３２２Ｃの構成例を示すブロック図である。 エンコーダ３４２の構成例を示すブロック図である。 SEI生成部３５１で生成される解像度変換SEIを説明する図である。 パラメータnum_views_minus_1，view_id[i]，frame_packing_info[i]，frame_field_coding、及び、view_id_in_frame[i]にセットされる値を説明する図である。 視差予測部１３１で行われるパッキング色画像のピクチャ（フィールド）の視差予測を説明する図である。 エンコーダ３４２が行う、パッキング色画像を符号化する符号化処理を説明するフローチャートである。 視差予測部１３１が行う視差予測処理を説明するフローチャートである。 復号装置３３２Ｃの構成例を示すブロック図である。 デコーダ４１２の構成例を示すブロック図である。 デコーダ４１２が行う、パッキング色画像の符号化データを復号する復号処理を説明するフローチャートである。 視差予測部２６１が行う視差予測処理を説明するフローチャートである。 符号化装置３２２Ｃの他の構成例を示すブロック図である。 エンコーダ５４２の構成例を示すブロック図である。 視差予測部１３１で行われる中央視点色画像のピクチャ（フィールド）の視差予測を説明する図である。 エンコーダ５４２が行う、パッキング色画像を符号化する符号化処理を説明するフローチャートである。 視差予測部１３１が行う視差予測処理を説明するフローチャートである。 復号装置３３２Ｃの構成例を示すブロック図である。 デコーダ６１２の構成例を示すブロック図である。 デコーダ６１２が行う、中央視点色画像の符号化データを復号する復号処理を説明するフローチャートである。 視差予測部２６１が行う視差予測処理を説明するフローチャートである。 送信装置１１のさらに他の構成例を示すブロック図である。 符号化装置７２２Ｃの構成例を示すブロック図である。 エンコーダ８４２の構成例を示すブロック図である。 視差と奥行きについて説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 本技術を適用したTVの概略構成例を示す図である。 本技術を適用した携帯電話機の概略構成例を示す図である。 本技術を適用した記録再生装置の概略構成例を示す図である。 本技術を適用した撮像装置の概略構成例を示す図である。
　[本明細書におけるデプス画像（視差情報画像）の説明]
　図４６は、視差と奥行きについて説明する図である。
　図４６に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。
Figure JPOXMLDOC01-appb-I000001
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（ａ）
　なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。
　式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像と奥行きＺを表す画像とを総称して、デプス画像（視差情報画像）とする。
　なお、デプス画像（視差情報画像）は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像（視差情報画像）の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。
　視差ｄを8bit（0～255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
Figure JPOXMLDOC01-appb-M000002
　なお、式（ｂ）において、Ｄｍａｘは、視差ｄの最大値であり、Ｄｍｉｎは、視差ｄの最小値である。最大値Ｄｍａｘと最小値Ｄｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
　また、奥行きＺの逆数１／Ｚを8bit（0～255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
Figure JPOXMLDOC01-appb-M000003
　なお、式（ｃ）において、Ｚｆａｒは、奥行きＺの最大値であり、Ｚｎｅａｒは、奥行きＺの最小値である。最大値Ｚｆａｒと最小値Ｚｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
　このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差ｄを正規化した値Iを画素値とする画像と、奥行きＺの逆数１／Ｚを正規化した値yを画素値とする画像とを総称して、デプス画像（視差情報画像）とする。ここでは、デプス画像（視差情報画像）のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。
　なお、デプス画像（視差情報画像）の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報（視差情報）とする。更に、値I又は値yをマッピングしたものをデプスマップとする。
　［本技術の画像処理装置を適用した伝送システムの一実施の形態］
　図１は、本技術を適用した伝送システムの一実施の形態の構成例を示すブロック図である。
　図１において、伝送システムは、送信装置１１と受信装置１２とを有する。
　送信装置１１には、多視点色画像と多視点視差情報画像（多視点デプス画像）とが供給される。
　ここで、多視点色画像は、複数の視点の色画像を含み、その複数の視点のうちの所定の１つの視点の色画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の色画像は、ノンベースビューの画像として扱われる。
　多視点視差情報画像は、多視点色画像を構成する色画像の各視点の視差情報画像を含み、例えば、所定の１つの視点の視差情報画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の視差情報画像は、色画像の場合と同様に、ノンベースビューの画像として扱われる。
　送信装置１１は、そこに供給される多視点色画像と多視点視差情報画像とのそれぞれを符号化して多重化し、その結果得られる多重化ビットストリームを出力する。
　送信装置１１が出力する多重化ビットストリームは、図示せぬ伝送媒体を介して伝送され、又は、図示せぬ記録媒体に記録される。
　受信装置１２には、送信装置１１が出力する多重化ビットストリームが、図示せぬ伝送媒体、又は、記録媒体を介して提供される。
　受信装置１２は、多重化ビットストリームを受け取り、その多重化ビットストリームの逆多重化を行うことにより、多重化ビットストリームから、多視点色画像の符号化データと、多視点視差情報画像の符号化データとを分離する。
　さらに、受信装置１２は、多視点色画像の符号化データと、多視点視差情報画像の符号化データとのそれぞれを復号し、その結果得られる多視点色画像と多視点視差情報画像を出力する。
　ところで、複数の視点の色画像である多視点色画像と、複数の視点の視差情報画像である多視点視差情報画像とを伝送する規格として、例えば、裸眼で鑑賞可能な裸眼3D(dimension)画像の表示を主なアプリ－ケーションとするMPEG3DVが策定されつつある。
　MPEG3DVでは、２つの視点の画像（色画像、視差情報画像）の他、２つの視点より多い、例えば、３つの視点や４つの視点の画像の伝送についても議論されている。
　裸眼3D画像（いわゆる偏光メガネなしで視聴可能な3D画像）の表示においては、（画像の）視点数が多いほど、高画質の画像を表示することができるとともに、立体感を強くすることができる。このため、画質や立体感の観点からは、視点数が多いことが望ましい。
　しかしながら、視点数を多くすると、ベースバンドで扱うデータ量が膨大になる。
　すなわち、例えば、３つの視点の色画像、及び、視差情報画像として、いわゆるフルHD(High Definition)の解像度の画像を伝送する場合、そのデータ量は、フルHDの2D画像のデータ量（１つの視点の画像のデータ量）の６倍になる。
　ベースバンド伝送規格としては、例えば、HDMI(High-Definition Multimedia Interface)があるが、HDMIの最新規格でも、4K（フルHDの４倍）相当のデータ量しか扱うことができないため、３つの視点の色画像、及び、視差情報画像は、そのままでは、ベースバンドで伝送することができない。
　したがって、フルHDの３つの視点の色画像、及び、視差情報画像を、ベースバンドで伝送するには、ベースバンドで、例えば、画像の解像度を低下させる等して、多視点色画像、及び、多視点視差情報画像の（ベースバンドでの）データ量を削減する必要がある。　
　一方、送信装置１１では、多視点色画像、及び、多視点視差情報画像が符号化されるが、送信装置１１が出力する多重化ビットストリームのビットレートは制限されるため、符号化において、１つの視点の画像（色画像、視差情報画像）に割り当てられる符号化データのビット量も制限される。
　符号化において、画像のベースバンドのデータ量に対して、その画像に割り当てることができる符号化データのビット量が少ない場合には、ブロック歪み等の符号化歪みが顕著になり、その結果、受信装置１２での復号によって得られる復号画像の画質が劣化する。
　したがって、復号画像の画質の劣化を抑制する観点からも、多視点色画像、及び、多視点視差情報画像の（ベースバンドでの）データ量を削減する必要がある。
　そこで、送信装置１１は、多視点色画像、及び、多視点視差情報画像の（ベースバンドでの）データ量を削減してから、符号化を行う。
　ここで、視差情報画像の画素値である視差情報としては、ある視点を、基準とする基準視点として、色画像の各画素に写る被写体の、基準視点との視差を表す視差値（値Ｉ）や、色画像の各画素に写る被写体までの距離（奥行き）を表す奥行き値（値ｙ）を用いることができる。
　複数の視点の色画像を撮影したカメラの位置関係が既知であれば、視差値と奥行き値とは、相互に変換することができるので、等価な情報である。
　ここで、以下では、画素値として視差値を有する視差情報画像（デプス画像）を、視差画像ともいい、画素値として、奥行き値を有する視差情報画像（デプス画像）を、奥行き画像ともいう。
　以下では、視差情報画像として、視差画像、及び、奥行き画像のうちの、例えば、奥行き画像を用いることとするが、視差情報画像としては、視差画像を用いることも可能である。
　［送信装置１１の構成例］
　図２は、図１の送信装置１１の構成例を示すブロック図である。
　図２において、送信装置１１は、解像度変換装置２１Ｃ及び２１Ｄ、符号化装置２２Ｃ及び２２Ｄ、並びに、多重化装置２３を有する。
　解像度変換装置２１Ｃには、多視点色画像が供給される。
　解像度変換装置２１Ｃは、そこに供給される多視点色画像を、元の解像度より低い低解像度の解像度変換多視点色画像に変換する解像度変換を行い、その結果得られる解像度変換多視点色画像を、符号化装置２２Ｃに供給する。
　符号化装置２２Ｃは、解像度変換装置２１Ｃから供給される解像度変換多視点色画像を、複数の視点の画像を伝送する規格である、例えば、MVCで符号化し、その結果得られる符号化データである多視点色画像符号化データを、多重化装置２３に供給する。
　ここで、MVCは、AVCの拡張プロファイルであり、MVCによれば、前述したように、ノンベースビューの画像については、視差予測を特徴とする効率的な符号化を行うことができる。
　また、MVCでは、ベースビューの画像は、AVC互換で符号化される。したがって、ベースビューの画像をMVCで符号化した符号化データは、AVCのデコーダで復号することができる。
　解像度変換装置２１Ｄには、多視点色画像を構成する各視点の色画像の画素ごとの奥行き値を画素値として有する、各視点の奥行き画像である多視点奥行き画像が供給される。
　図２において、解像度変換装置２１Ｄ、及び、符号化装置２２Ｄは、色画像（多視点色画像）ではなく、奥行き画像（多視点奥行き画像）を、処理の対象として、解像度変換装置２１Ｃ、及び、符号化装置２２Ｃと、それぞれ同様の処理を行う。
　すなわち、解像度変換装置２１Ｄは、そこに供給される多視点奥行き画像を、元の解像度より低い低解像度の解像度変換多視点奥行き画像に解像度変換し、符号化装置２２Ｄに供給する。
　符号化装置２２Ｄは、解像度変換装置２１Ｄから供給される解像度変換多視点奥行き画像を、MVCで符号化し、その結果得られる符号化データである多視点奥行き画像符号化データを、多重化装置２３に供給する。
　多重化装置２３は、符号化装置２２Ｃからの多視点色画像符号化データと、符号化装置２２Ｄからの多視点奥行き画像符号化データとを多重化し、その結果得られる多重化ビットストリームを出力する。
　［受信装置１２の構成例］
　図３は、図１の受信装置１２の構成例を示すブロック図である。
　図３において、受信装置１２は、逆多重化装置３１、復号装置３２Ｃ及び３２Ｄ、並びに、解像度逆変換装置３３Ｃ及び３３Ｄを有する。
　逆多重化装置３１には、送信装置１１（図２）が出力する多重化ビットストリームが供給される。
　逆多重化装置３１は、そこに供給される多重化ビットストリームを受け取り、その多重化ビットストリームの逆多重化を行うことにより、多重化ビットストリームを、多視点色画像符号化データと、多視点奥行き画像符号化データとに分離する。
　そして、逆多重化装置３１は、多視点色画像符号化データを、復号装置３２Ｃに供給し、多視点奥行き画像符号化データを、復号装置３２Ｄに供給する。
　復号装置３２Ｃは、逆多重化装置３１から供給される多視点色画像符号化データを、MVCで復号し、その結果得られる解像度変換多視点色画像を、解像度逆変換装置３３Ｃに供給する。
　解像度逆変換装置３３Ｃは、復号装置３２Ｃからの解像度変換多視点色画像を、元の解像度の多視点色画像に（逆）変換する解像度逆変換を行い、その結果得られる多視点色画像を出力する。
　復号装置３２Ｄ、及び、解像度逆変換装置３３Ｄは、多視点色画像符号化データ（解像度変換多視点色画像）ではなく、多視点奥行き画像符号化データ（解像度変換多視点奥行き画像）を、処理の対象として、復号装置３２Ｃ、及び、解像度逆変換装置３３Ｃと、それぞれ同様の処理を行う。
　すなわち、復号装置３２Ｄは、逆多重化装置３１から供給される多視点奥行き画像符号化データを、MVCで復号し、その結果得られる解像度変換多視点奥行き画像を、解像度逆変換装置３３Ｄに供給する。
　解像度逆変換装置３３Ｄは、復号装置３２Ｄからの解像度変換多視点奥行き画像を、元の解像度の多視点奥行き画像に解像度逆変換して出力する。
　なお、本実施の形態では、以下同様に、奥行き画像については、色画像と同様の処理が施されるため、奥行き画像の処理については、以下、適宜、説明を省略する。
　［解像度変換］　
　図４は、図２の解像度変換装置２１Ｃが行う解像度変換を説明する図である。
　なお、以下では、多視点色画像が（多視点奥行き画像についても同様）、例えば、３つの視点の色画像である中央視点色画像、左視点色画像、及び、右視点色画像であることとする。
　３つの視点の色画像である中央視点色画像、左視点色画像、及び、右視点色画像は、例えば、３台のカメラを、被写体の正面の位置、被写体に向かって左側の位置、及び、被写体に向かって右側の位置に配置して、被写体を撮影することにより得られる画像である。
　したがって、中央視点色画像は、被写体の正面の位置を視点とする画像である。また、左視点色画像は、中央視点色画像の視点（中央視点）より左側の位置（左視点）を視点とする画像であり、右視点色画像は、中央視点より右側の位置（右視点）を視点とする画像である。
　なお、多視点色画像（及び多視点奥行き画像）は、２視点の画像、又は、４視点以上の画像であっても良い。
　解像度変換装置２１Ｃは、そこに供給される多視点色画像である中央視点色画像、左視点色画像、及び、右視点色画像のうちの、例えば、中央視点色画像を、そのまま（解像度変換せずに）出力する。
　また、解像度変換装置２１Ｃは、多視点色画像の残りの左視点色画像、及び、右視点色画像については、２つの視点の画像の解像度を低解像度に変換して、１視点分の画像に合成するパッキングを行うことにより、パッキング色画像を生成して出力する。
　すなわち、解像度変換装置２１Ｃは、左視点色画像、及び、右視点色画像それぞれの垂直方向の解像度（画素数）を1/2にし、その垂直方向の解像度（垂直解像度）が1/2にされた左視点色画像、及び、右視点色画像を、上下に並べて配置することにより、１視点分の画像であるパッキング色画像を生成する。
　ここで、図４のパッキング色画像では、左視点色画像が上側に配置され、右視点色画像が下側に配置されている。
　解像度変換装置２１Ｃが出力する中央視点色画像、及び、パッキング色画像が、解像度変換多視点色画像として、符号化装置２２Ｃに供給される。　
　ここで、解像度変換装置２１Ｃに供給される多視点色画像は、中央視点色画像、左視点色画像、及び、右視点色画像の３視点分の画像であるが、解像度変換装置２１Ｃが出力する解像度変換多視点色画像は、中央視点色画像、及び、パッキング色画像の２視点分の画像であり、ベースバンドでのデータ量が削減されている。
　なお、図４では、多視点色画像を構成する中央視点色画像、左視点色画像、及び、右視点色画像のうちの、左視点色画像、及び、右視点色画像を、１視点分のパッキング色画像にパッキングしたが、パッキングは、中央視点色画像、左視点色画像、及び、右視点色画像のうちの、任意の２つの視点の色画像を対象として行うことができる。
　但し、受信装置１２側において、2D画像が表示される場合には、その2D画像の表示には、多視点色画像を構成する中央視点色画像、左視点色画像、及び、右視点色画像のうちの、中央視点色画像が用いられることが予想される。このため、図４では、2D画像を高画質で表示することができるように、中央視点色画像を、解像度を低解像度に変換するパッキングの対象にしていない。
　すなわち、受信装置１２側では、3D画像の表示には、多視点色画像を構成する中央視点色画像、左視点色画像、及び、右視点色画像のすべてが用いられるが、2D画像の表示には、中央視点色画像、左視点色画像、及び、右視点色画像のうちの、例えば、中央視点色画像だけが用いられる。したがって、受信装置１２側では、多視点色画像を構成する中央視点色画像、左視点色画像、及び、右視点色画像のうちの、左視点色画像、及び、右視点色画像は、3D画像の表示にのみ用いられるが、図４では、その3D画像の表示にのみ用いられる左視点色画像、及び、右視点色画像が、パッキングの対象にされている。
　［符号化装置２２Ｃの構成例］
　図５は、図２の符号化装置２２Ｃの構成例を示すブロック図である。
　図５の符号化装置２２Ｃは、解像度変換装置２１Ｃ（図２、図４）からの解像度変換多視点色画像である中央視点色画像、及び、パッキング色画像を、MVCで符号化する。
　ここで、以下では、特に断らない限り、中央視点色画像を、ベースビューの画像とし、他の視点の画像、すなわち、ここでは、パッキング色画像を、ノンベースビューの画像として扱うこととする。
　図５において、符号化装置２２Ｃは、エンコーダ４１，４２、及び、DPB(Decode Picture Buffer)４３を有する。
　エンコーダ４１には、解像度変換装置２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、中央視点色画像が供給される。
　エンコーダ４１は、中央視点色画像を、ベースビューの画像として、MVC(AVC)で符号化し、その結果得られる中央視点色画像の符号化データを出力する。
　エンコーダ４２には、解像度変換装置２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、パッキング色画像が供給される。
　エンコーダ４２は、パッキング色画像を、ノンベースビューの画像として、MVCで符号化し、その結果得られるパッキング色画像の符号化データを出力する。
　なお、エンコーダ４１が出力する中央視点色画像の符号化データと、エンコーダ４２が出力するパッキング色画像の符号化データとは、多視点色画像符号化データとして、多重化装置２３（図２）に供給される。
　DPB４３は、エンコーダ４１及び４２それぞれで、符号化対象の画像を符号化し、ローカルデコードすることにより得られるローカルデコード後の画像（デコード画像）を、予測画像の生成時に参照する参照画像（の候補）として一時記憶する。
　すなわち、エンコーダ４１及び４２は、符号化対象の画像を予測符号化する。そのため、エンコーダ４１及び４２は、予測符号化に用いる予測画像を生成するのに、符号化対象の画像を符号化した後、ローカルデコードを行って、デコード画像を得る。
　DPB４３は、エンコーダ４１及び４２それぞれで得られるデコード画像を一時記憶する、いわば共用のバッファであり、エンコーダ４１及び４２それぞれは、DPB４３に記憶されたデコード画像から、符号化対象の画像を符号化するのに参照する参照画像を選択する。そして、エンコーダ４１及び４２それぞれは、参照画像を用いて、予測画像を生成し、その予測画像を用いて、画像の符号化（予測符号化）を行う。
　DPB４３は、エンコーダ４１及び４２で共用されるので、エンコーダ４１及び４２それぞれは、自身で得られたデコード画像の他、他のエンコーダで得られたデコード画像をも参照することができる。
　但し、エンコーダ４１は、ベースビューの画像を符号化するため、エンコーダ４１で得られたデコード画像のみを参照する。
　［MVCの概要］
　図６は、MVCの予測符号化において、予測画像を生成するときに参照するピクチャ（参照画像）を説明する図である。
　いま、ベースビューの画像のピクチャを、表示時刻順に、p11,p12,p13,・・・と表すとともに、ノンベースビューの画像のピクチャを、表示時刻順に、p21,p22,p23,・・・と表すこととする。
　ベースビューのピクチャである、例えば、ピクチャp12は、そのベースビューのピクチャである、例えば、ピクチャp11やp13を、必要に応じて参照して、予測符号化される。
　すなわち、ベースビューのピクチャp12については、そのベースビューの他の表示時刻のピクチャであるピクチャp11やp13のみを参照し、予測（予測画像の生成）を行うことができる。
　また、ノンベースビューのピクチャである、例えば、ピクチャp22は、そのノンベースビューのピクチャである、例えば、ピクチャp21やp23、さらには、他のビューであるベースビューのピクチャp12を、必要に応じて参照して、予測符号化される。
　すなわち、ノンベースビューのピクチャp22は、そのノンベースビューの他の表示時刻のピクチャであるピクチャp21やp23の他、他のビューのピクチャであるベースビューのピクチャp12を参照し、予測を行うことができる。
　ここで、符号化対象のピクチャと同一のビューの（他の表示時刻の）ピクチャを参照して行われる予測を、時間予測ともいい、符号化対象のピクチャと異なるビューのピクチャを参照して行われる予測を、視差予測ともいう。
　以上のように、MVCでは、ベースビューのピクチャについては、時間予測のみを行うことができ、ノンベースビューのピクチャについては、時間予測と視差予測を行うことができる。
　なお、MVCにおいて、視差予測において参照する、符号化対象のピクチャと異なるビューのピクチャは、符号化対象のピクチャと同一の表示時刻のピクチャでなければならない。
　図７は、MVCでのピクチャの符号化（及び復号）順を説明する図である。
　図６と同様に、ベースビューの画像のピクチャを、表示時刻順に、p11,p12,p13,・・・と表すとともに、ノンベースビューの画像のピクチャを、表示時刻順に、p21,p22,p23,・・・と表すこととする。
　いま、説明を簡単にするために、各ビューのピクチャが、表示時刻順に符号化されることとすると、まず、ベースビューの最初の時刻t=1のピクチャp11が符号化され、その後、ノンベースビューの、同一時刻t=1のピクチャp21が符号化される。
　ノンベースビューの、同一時刻t=1のピクチャ（すべて）の符号化が終了すると、ベースビューの次の時刻t=2のピクチャp12が符号化され、その後、ノンベースビューの、同一時刻t=2のピクチャp22が符号化される。
　以下、同様の順番で、ベースビューのピクチャ、及び、ノンベースビューのピクチャは、符号化されていく。
　図８は、図５のエンコーダ４１及び４２で行われる時間予測と視差予測を説明する図である。
　なお、図８において、横軸は、符号化（復号）の時刻を表す。
　ベースビューの画像を符号化するエンコーダ４１では、ベースビューの画像である中央視点色画像のピクチャの予測符号化において、既に符号化された中央視点色画像の他のピクチャを参照する時間予測を行うことができる。
　ノンベースビューの画像を符号化するエンコーダ４２では、ノンベースビューの画像であるパッキング色画像のピクチャの予測符号化において、既に符号化されたパッキング色画像の他のピクチャを参照する時間予測と、（既に符号化された）中央視点色画像のピクチャ（符号化対象のパッキング色画像のピクチャと同一時刻（POC(Picture Order Count)が同一）のピクチャ）を参照する視差予測とを行うことができる。
　［エンコーダ４２の構成例］
　図９は、図５のエンコーダ４２の構成例を示すブロック図である。
　図９において、エンコーダ４２は、A/D(Analog/Digital)変換部１１１、画面並び替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可変長符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、演算部１２０、デブロッキングフィルタ１２１、画面内予測部１２２、インター予測部１２３、及び、予測画像選択部１２４を有する。
　A/D変換部１１１には、符号化対象の画像（動画像）であるパッキング色画像のピクチャが、表示順に、順次、供給される。
　A/D変換部１１１は、そこに供給されるピクチャが、アナログ信号である場合には、そのアナログ信号をA/D変換し、画面並び替えバッファ１１２に供給する。
　画面並び替えバッファ１１２は、A/D変換部１１１からのピクチャを一時記憶し、あらかじめ決められたGOP(Group of Pictures)の構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。
　画面並び替えバッファ１１２から読み出されたピクチャは、演算部１１３、画面内予測部１２２、及び、インター予測部１２３に供給される。
　演算部１１３には、画面並び替えバッファ１１２から、ピクチャが供給される他、予測画像選択部１２４から、画面内予測部１２２、又は、インター予測部１２３で生成された予測画像が供給される。
　演算部１１３は、画面並び替えバッファ１１２から読み出されたピクチャを、符号化対象の対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロックを、順次、符号化対象の対象ブロックとする。
　そして、演算部１１３は、対象ブロックの画素値から、予測画像選択部１２４から供給される予測画像の画素値を減算した減算値を、必要に応じて演算し、直交変換部１１４に供給する。
　直交変換部１１４は、演算部１１３からの対象ブロック（の画素値、又は、予測画像が減算された残差）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部１１５に供給する。
　量子化部１１５は、直交変換部１１４から供給される変換係数を量子化し、その結果得られる量子化値を、可変長符号化部１１６に供給する。
　可変長符号化部１１６は、量子化部１１５からの量子化値に対して、可変長符号化（例えば、CAVLC(Context-Adaptive Variable Length Coding)等）や、算術符号化（例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)等）等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ１１７に供給する。
　なお、可変長符号化部１１６には、量子化部１１５から量子化値が供給される他、予測画像選択部１２４から、符号化データのヘッダに含めるヘッダ情報が供給される。
　可変長符号化部１１６は、予測画像選択部１２４からのヘッダ情報を符号化し、符号化データのヘッダに含める。
　蓄積バッファ１１７は、可変長符号化部１１６からの符号化データを一時記憶し、所定のデータレートで出力（伝送）する。
　量子化部１１５で得られた量子化値は、可変長符号化部１１６に供給される他、逆量子化部１１８にも供給され、逆量子化部１１８、逆直交変換部１１９、及び、演算部１２０において、ローカルデコードが行われる。
　すなわち、逆量子化部１１８は、量子化部１１５からの量子化値を、変換係数に逆量子化し、逆直交変換部１１９に供給する。
　逆直交変換部１１９は、逆量子化部１１８からの変換係数を逆直交変換し、演算部１２０に供給する。
　演算部１２０は、逆直交変換部１１９から供給されるデータに対して、必要に応じて、予測画像選択部１２４から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコード画像を得て、デブロッキングフィルタ１２１に供給する。
　デブロッキングフィルタ１２１は、演算部１２０からのデコード画像をフィルタリングすることにより、デコード画像に生じたブロック歪を除去（低減）し、DPB４３（図５）に供給する。
　ここで、DPB４３は、デブロッキングフィルタ１２１からのデコード画像、すなわち、エンコーダ４２において符号化されてローカルデコードされたパッキング色画像のピクチャを、時間的に後に行われる予測符号化（演算部１１３で予測画像の減算が行われる符号化）に用いる予測画像を生成するときに参照する参照画像（の候補）として記憶する。
　図５で説明したように、DPB４３は、エンコーダ４１及び４２で共用されるので、エンコーダ４２において符号化されてローカルデコードされたパッキング色画像のピクチャの他、エンコーダ４１において符号化されてローカルデコードされた中央視点色画像のピクチャも記憶する。
　なお、逆量子化部１１８、逆直交変換部１１９、及び、演算部１２０によるローカルデコードは、例えば、参照画像（参照ピクチャ）となることが可能な参照可能ピクチャであるIピクチャ、Pピクチャ、及び、Bsピクチャを対象として行われ、DPB４３では、Iピクチャ、Pピクチャ、及び、Bsピクチャのデコード画像が記憶される。
　画面内予測部１２２は、対象ピクチャが、イントラ予測（画面内予測）され得るIピクチャ、Pピクチャ、又は、Bピクチャ（Bsピクチャを含む）である場合に、DPB４３から、対象ピクチャのうちの、既にローカルデコードされている部分（デコード画像）を読み出す。そして、画面内予測部１２２は、DPB４３から読み出した、対象ピクチャのうちのデコード画像の一部を、画面並び替えバッファ１１２から供給される対象ピクチャの対象ブロックの予測画像とする。
　さらに、画面内予測部１２２は、予測画像を用いて対象ブロックを符号化するのに要する符号化コスト、すなわち、対象ブロックの、予測画像に対する残差等を符号化するのに要する符号化コストを求め、予測画像とともに、予測画像選択部１２４に供給する。
　インター予測部１２３は、対象ピクチャが、インター予測され得るPピクチャ、又は、Bピクチャ（Bsピクチャを含む）である場合に、DPB４３から、対象ピクチャより前に符号化されてローカルデコードされたピクチャを、参照画像として読み出す。
　また、インター予測部１２３は、画面並び替えバッファ１１２からの対象ピクチャの対象ブロックと、参照画像とを用いたME(Motion Estimation)によって、対象ブロックと、参照画像の、対象ブロックに対応する対応ブロック（例えば、対象ブロックとのSAD(Sum of Absolute Differences)等を最小にするブロック）とのずれ（視差、動き）を表すずれベクトルを検出する。
　ここで、参照画像が、対象ピクチャと同一のビューの（対象ピクチャと異なる時刻の）ピクチャである場合、対象ブロックと参照画像とを用いたMEによって検出されるずれベクトルは、対象ブロックと、参照画像との間の動き（時間的なずれ）を表す動きベクトルとなる。
　また、参照画像が、対象ピクチャと異なるビューの（対象ピクチャと同一時刻の）ピクチャである場合、対象ブロックと参照画像とを用いたMEによって検出されるずれベクトルは、対象ブロックと、参照画像との間の視差（空間的なずれ）を表す視差ベクトルとなる。
　インター予測部１２３は、対象ブロックのずれベクトルに従って、DPB４３からの参照画像のMC(Motion Compensation)であるずれ補償（動き分のずれを補償する動き補償、又は、視差分のずれを補償する視差補償）を行うことで、予測画像を生成する。
　すなわち、インター予測部１２３は、参照画像の、対象ブロックの位置から、その対象ブロックのずれベクトルに従って移動した（ずれた）位置のブロック（領域）である対応ブロックを、予測画像として取得する。
　さらに、インター予測部１２３は、対象ブロックを予測画像を用いて符号化するのに要する符号化コストを、後述するマクロブロックタイプ等が異なるインター予測モードごとに求める。
　そして、インター予測部１２３は、符号化コストが最小のインター予測モードを、最適なインター予測モードである最適インター予測モードとして、その最適インター予測モードで得られた予測画像と符号化コストとを、予測画像選択部１２４に供給する。
　ここで、ずれベクトル（視差ベクトル、動きベクトル）に基づいて、予測画像を生成することを、ずれ予測（視差予測、時間予測（動き予測））、又は、ずれ補償（視差補償、動き補償）ともいう。なお、ずれ予測には、必要に応じて、ずれベクトルの検出が含まれる。
　予測画像選択部１２４は、画面内予測部１２２、及び、インター予測部１２３それぞれからの予測画像のうちの、符号化コストが小さい予測画像を選択し、演算部１１３、及び、１２０に供給する。
　なお、画面内予測部１２２は、イントラ予測に関する情報（予測モード関連情報）を、予測画像選択部１２４に供給し、インター予測部１２３は、インター予測に関する情報（ずれベクトルの情報や、参照画像に割り当てられている参照インデクス等を含む予測モード関連情報）を、予測画像選択部１２４に供給する。
　予測画像選択部１２４は、画面内予測部１２２、及び、インター予測部１２３それぞれからの情報のうちの、符号化コストが小さい予測画像が生成された方からの情報を選択し、ヘッダ情報として、可変長符号化部１１６に供給する。
　なお、図５のエンコーダ４１も、図９のエンコーダ４２と同様に構成される。但し、ベースビューの画像を符号化するエンコーダ４１では、インター予測において、視差予測は行われず、時間予測だけが行われる。
　［マクロブロックタイプ］
　図１０は、MVC(AVC)のマクロブロックタイプを説明する図である。
　MVCでは、対象ブロックとなるマクロブロックは、横×縦が１６×１６画素のブロックであるが、ME（及び、予測画像の生成）は、マクロブロックをパーティションに分割して、パーティションごとに行うことができる。
　すなわち、MVCでは、マクロブロックを、１６×１６画素、１６×８画素、８×１６画素、又は８×８画素のうちのいずれかのパーティションに分割して、各パーティションごとに、MEを行って、ずれベクトル（動きベクトル、又は、視差ベクトル）を検出することができる。
　また、MVCでは、８×８画素のパーティションは、さらに、８×８画素、８×４画素、４×８画素、又は４×４画素のうちのいずれかのサブパーティションに分割し、各サブパーティションごとに、MEを行って、ずれベクトル（動きベクトル、又は、視差ベクトル）を検出することができる。
　マクロブロックタイプは、マクロブロックを、どのようなパーティション（さらには、サブパーティション）に分割するかを表す。
　インター予測部１２３（図９）のインター予測では、例えば、各マクロブロックタイプの符号化コストが、各インター予測モードの符号化コストとして算出され、符号化コストが最小のインター予測モード（マクロブロックタイプ）が、最適インター予測モードとして選択される。
　［予測ベクトル(PMV(Predicted Motion Vector))］
　図１１は、MVC(AVC)の予測ベクトル(PMV)を説明する図である。
　インター予測部１２３（図９）のインター予測では、MEによって、対象ブロックのずれベクトル（動きベクトル、又は、視差ベクトル）が検出され、そのずれベクトルを用いて、予測画像が生成される。
　ずれベクトルは、復号側において、画像を復号するのに必要であるため、ずれベクトルの情報を符号化して、符号化データに含める必要があるが、ずれベクトルを、そのまま符号化すると、ずれベクトルの符号量が多くなって、符号化効率が劣化することがある。
　すなわち、MVCでは、図１０に示したように、マクロブロックが、８×８画素のパーティションに分割され、さらに、その８×８画素のパーティションそれぞれが、４×４画素のサブパーティションに分割されることがある。この場合、１つのマクロブロックは、最終的には、４×４個のサブパーティションに分割されるため、１つのマクロブロックに対して、１６（＝４×４）個のずれベクトルが生じることがあり、ずれベクトルを、そのまま符号化すると、ずれベクトルの符号量が多くなって、符号化効率が劣化する。
　そこで、MVC(AVC)では、ずれベクトルを予測するベクトル予測が行われ、そのベクトル予測によって得られる予測ベクトルに対する、ずれベクトルの残差（残差ベクトル）が符号化される。
　但し、MVCで生成される予測ベクトルは、対象ブロックの周辺のマクロブロックの予測画像の生成に用いられる参照画像に割り当てられている参照インデクス（以下、予測用の参照インデクスともいう）によって異なる。
　ここで、MVC(AVC)の参照画像（となりうるピクチャ）と、参照インデクスについて説明する。
　AVCでは、予測画像を生成するときに、複数のピクチャを、参照画像とすることができる。
　そして、AVCのコーデックでは、参照画像は、デコード（ローカルデコード）後に、DPBと呼ばれるバッファに記憶される。
　DPBでは、短期間に参照されるピクチャは、短時間参照画像(used for short-term reference)として、長期間にわたって参照されるピクチャは、長時間参照画像(used for long-term reference)として、参照されないピクチャは、非参照画像(unused for reference)として、それぞれマーキングされる。
　DPBを管理する管理方式としては、移動窓メモリ管理方式(Sliding window process)と、適応メモリ管理方式(Adaptive memory control process)との２種類がある。
　移動窓メモリ管理方式では、DPBが、FIFO(First In First Out)方式で管理され、DPBに記憶されたピクチャは、frame_numの小さいピクチャから順に開放される（非参照画像となる）。
　すなわち、移動窓メモリ管理方式では、I(Intra)ピクチャ、P(Predictive)ピクチャ、及び、参照可能なB(Bi-directional Predictive)ピクチャであるBsピクチャは、短時間参照画像として、DPBに記憶される。
　そして、DPBが参照画像（となりうる参照画像）を記憶することができるだけの参照画像が記憶された後は、DPBに記憶された短時間参照画像の中で、最も早く（古い）短時間参照画像が開放される。
　なお、DPBに、長時間参照画像が記憶されている場合、移動窓メモリ管理方式は、DPBに記憶されている長時間参照画像には、影響しない。すなわち、移動窓メモリ管理方式において、参照画像の中で、FIFO方式で管理されるのは、短時間参照画像だけである。
　適応メモリ管理方式では、MMCO(Memory management control operation)と呼ばれるコマンドを用いて、DPBに記憶されるピクチャが管理される。
　MMCOコマンドによれば、DPBに記憶される参照画像を対象として、短時間参照画像を非参照画像に設定することや、短時間参照画像に対し、長時間参照画像を管理するための参照インデクスであるlong-term frame indexを割り当てることで、短時間参照画像を長時間参照画像に設定すること、long-term frame indexの最大値を設定すること、すべての参照画像を非参照画像に設定すること等を行うことができる。
　AVCでは、DPBに記憶された参照画像の動き補償（ずれ補償）を行うことで、予測画像を生成するインター予測が行われるが、Bピクチャ（Bsピクチャを含む）のインター予測には、最大で、2ピクチャの参照画像を用いることができる。その2ピクチャの参照画像を用いるインター予測は、それぞれ、L0(List 0)予測、及び、L1(List 1)予測と呼ばれる。
　Bピクチャ（Bsピクチャを含む）については、インター予測として、L0予測、若しくは、L1予測、又は、L0予測とL1予測との両方が用いられる。Pピクチャについては、インター予測として、L0予測だけが用いられる。
　インター予測において、予測画像の生成に参照する参照画像は、参照リスト(Reference Picture List)により管理される。
　参照リストでは、予測画像の生成に参照する参照画像（となりうる参照画像）を指定するためのインデクスである参照インデクス(Reference Index)が、DPBに記憶された参照画像（になりうるピクチャ）に割り当てられる。
　対象ピクチャが、Pピクチャである場合、上述したように、Pピクチャについては、インター予測として、L0予測だけが用いられるので、参照インデクスの割り当ては、L0予測についてだけ行われる。
　また、対象ピクチャが、Bピクチャ（Bsピクチャを含む）である場合、上述したように、Bピクチャについては、インター予測として、L0予測とL1予測との両方が用いられることがあるので、参照インデクスの割り当ては、L0予測とL1予測との両方について行われる。
　ここで、L0予測についての参照インデクスを、L0インデクスともいい、L1予測についての参照インデクスを、L1インデクスともいう。
　対象ピクチャが、Pピクチャである場合、AVCのデフォルト（既定値）では、DPBに記憶された参照画像に対し、復号順が後の参照画像ほど、値が小さい参照インデクス（L0インデクス）が割り当てられる。
　参照インデクスは、0以上の整数値であり、最小値は、0である。したがって、対象ピクチャが、Pピクチャである場合には、対象ピクチャの直前に復号された参照画像に、L0インデクスとして、0が割り当てられる。
　対象ピクチャが、Bピクチャ（Bsピクチャを含む）である場合、AVCのデフォルトでは、DPBに記憶された参照画像に対し、POC(Picture Order Count)順、つまり、表示順に、参照インデクス（L0インデクス、及び、L1インデクス）が割り当てられる。
　すなわち、L0予測については、表示順で、対象ピクチャの時間的に前の参照画像に対し、対象ピクチャに近い参照画像ほど、値が小さいL0インデクスが割り当てられ、その後、表示順で、対象ピクチャの時間的に後の参照画像に対し、対象ピクチャに近い参照画像ほど、値が小さいL0インデクスが割り当てられる。
　また、L1予測については、表示順で、対象ピクチャの時間的に後の参照画像に対し、対象ピクチャに近い参照画像ほど、値が小さいL1インデクスが割り当てられ、その後、表示順で、対象ピクチャの時間的に前の参照画像に対し、対象ピクチャに近い参照画像ほど、値が小さいL1インデクスが割り当てられる。
　なお、以上のAVCのデフォルトでの参照インデクス（L0インデクス、及び、L1インデクス）の割り当ては、短時間参照画像を対象として行われる。長時間参照画像への参照インデクスの割り当ては、短時間参照画像に、参照インデクスが割り当てられた後に行われる。
　したがって、AVCのデフォルトでは、長時間参照画像には、短時間参照画像よりも大きい値の参照インデクスが割り当てられる。
　AVCにおいて、参照インデクスの割り当てとしては、以上のようなデフォルトの方法で割り当てを行う他、Reference Picture List Reorderingと呼ばれるコマンド（以下、RPLRコマンドともいう）を用いて、任意の割り当てを行うことができる。
　なお、RPLRコマンドを用いて、参照インデクスの割り当てが行われた後、参照インデクスが割り当てられていない参照画像がある場合には、その参照画像には、参照インデクスが、デフォルトの方法で割り当てられる。
　MVC(AVC)では、対象ブロックXのずれベクトルmvXの予測ベクトルPMVXは、図１１に示すように、対象ブロックXの左に隣接するマクロブロックA、上に隣接するマクロブロックB、及び、右斜め上に隣接するマクロブロックCそれぞれの予測用の参照インデクス（マクロブロックA，B、及び、Cそれぞれの予測画像の生成に用いられた参照画像に割り当てられている参照インデクス）によって異なる方法で求められる。
　すなわち、いま、対象ブロックXの予測用の参照インデクスref_idxが、例えば、0であるとする。
　図１１のＡに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0であるマクロブロックが、１つだけ存在する場合には、その１つのマクロブロック（予測用の参照インデクスref_idxが0のマクロブロック）のずれベクトルが、対象ブロックXのずれベクトルmvXの予測ベクトルPMVXとされる。
　ここで、図１１のＡでは、対象ブロックXに隣接する３つのマクロブロックAないしCのうちの、マクロブロックBだけが、予測用の参照インデクスref_idxが0のマクロブロックになっており、そのため、マクロブロックAのずれベクトルmvBが、対象ブロックX（のずれベクトルmvX）の予測ベクトルPMVXとされる。
　また、図１１のＢに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0であるマクロブロックが、２つ以上存在する場合には、その、予測用の参照インデクスref_idxが0の２つ以上のマクロブロックのずれベクトルのメディアンが、対象ブロックXの予測ベクトルPMVXとされる。
　ここで、図１１のＢでは、対象ブロックXに隣接する３つのマクロブロックAないしCのすべてが、予測用の参照インデクスref_idxが0のマクロブロックになっており、そのため、マクロブロックAのずれベクトルmvA、マクロブロックBのずれベクトルmvB、及び、マクロブロックCのずれベクトルmvCのメディアンmed(mvA,mvB,mvC)が、対象ブロックXの予測ベクトルPMVXとされる。なお、メディアンmed(mvA,mvB,mvC)の計算は、X成分とｙ成分とについて、別個（独立）に行われる。
　また、図１１のＣに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0であるマクロブロックが、１つも存在しない場合には、0ベクトルが、対象ブロックXの予測ベクトルPMVXとされる。
　ここで、図１１のＣでは、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが0のマクロブロックは存在しないので、0ベクトルが、対象ブロックXの予測ベクトルPMVXとされる。
　なお、MVC(AVC)では、対象ブロックXの予測用の参照インデクスref_idxが0である場合、対象ブロックXをスキップマクロブロック（スキップモード）として符号化することができる。
　スキップマクロブロックについては、対象ブロックの残差も、残差ベクトルも符号化されない。そして、復号時には、予測ベクトルが、そのまま、スキップマクロブロックのずれベクトルに採用され、参照画像の、スキップマクロブロックの位置からずれベクトル（予測ベクトル）だけずれた位置のブロック（対応ブロック）のコピーが、スキップマクロブロックの復号結果とされる。
　対象ブロックをスキップマクロブロックとするか否かは、エンコーダの仕様によるが、例えば、符号化データの符号量や、対象ブロックの符号化コスト等に基づいて決定（判定）される。
　［インター予測部１２３の構成例］
　図１２は、図９のエンコーダ４２のインター予測部１２３の構成例を示すブロック図である。
　インター予測部１２３は、視差予測部１３１及び時間予測部１３２を有する。
　ここで、図１２において、DPB４３には、デブロッキングフィルタ１２１から、デコード画像、すなわち、エンコーダ４２において符号化されてローカルデコードされたパッキング色画像（以下、デコードパッキング色画像ともいう）のピクチャが供給され、参照画像（となりうるピクチャ）として記憶される。
　また、DPB４３には、図５や図９で説明したように、エンコーダ４１において符号化されてローカルデコードされた中央視点色画像（以下、デコード中央視点色画像ともいう）のピクチャも供給されて記憶される。
　エンコーダ４２では、デブロッキングフィルタ１２１からのデコードパッキング色画像のピクチャの他、エンコーダ４１で得られるデコード中央視点色画像のピクチャが、符号化対象であるパッキング色画像の符号化（のための予測画像の生成）に用いられる。このため、図１２では、エンコーダ４１で得られるデコード中央視点色画像が、DPB４３に供給されることを示す矢印を、図示してある。　
　視差予測部１３１には、画面並び替えバッファ１１２から、パッキング色画像の対象ピクチャが供給される。
　視差予測部１３１は、画面並び替えバッファ１１２からのパッキング色画像の対象ピクチャの対象ブロックの視差予測を、DPB４３に記憶されたデコード中央視点色画像のピクチャ（対象ピクチャと同一時刻のピクチャ）を参照画像として用いて行い、対象ブロックの予測画像を生成する。
　すなわち、視差予測部１３１は、DPB４３に記憶されたデコード中央視点色画像のピクチャを参照画像として、MEを行うことにより、対象ブロックの視差ベクトルを求める。
　さらに、視差予測部１３１は、対象ブロックの視差ベクトルに従って、DPB４３に記憶されたデコード中央視点色画像のピクチャを参照画像とするMCを行うことにより、対象ブロックの予測画像を生成する。
　また、視差予測部１３１は、各マクロブロックタイプについて、参照画像から視差予測によって得られる予測画像を用いた対象ブロックの符号化（予測符号化）に要する符号化コストを算出する。
　そして、視差予測部１３１は、符号化コストが最小のマクロブロックタイプを、最適インター予測モードとして選択し、その最適インター予測モードで生成された予測画像（視差予測画像）を、予測画像選択部１２４に供給する。
　さらに、視差予測部１３１は、最適インター予測モード等の情報を、ヘッダ情報として、予測画像選択部１２４に供給する。
　なお、上述したように、参照画像には、参照インデクスが割り当てられており、視差予測部１３１において、最適インター予測モードで生成された予測画像を生成するときに参照された参照画像に割り当てられた参照インデクスは、対象ブロックの予測用の参照インデクスとして選択され、ヘッダ情報の１つとして、予測画像選択部１２４に供給される。
　時間予測部１３２には、画面並び替えバッファ１１２から、パッキング色画像の対象ピクチャが供給される。
　時間予測部１３２は、画面並び替えバッファ１１２からのパッキング色画像の対象ピクチャの対象ブロックの時間予測を、DPB４３に記憶されたデコードパッキング色画像のピクチャ（対象ピクチャと異なる時刻のピクチャ）を参照画像として用いて行い、対象ブロックの予測画像を生成する。
　すなわち、時間予測部１３２は、DPB４３に記憶されたデコードパッキング色画像のピクチャを参照画像として、MEを行うことにより、対象ブロックの動きベクトルを求める。
　さらに、時間予測部１３２は、対象ブロックの動きベクトルに従って、DPB４３に記憶されたデコードパッキング色画像のピクチャを参照画像とするMCを行うことにより、対象ブロックの予測画像を生成する。
　また、時間予測部１３２は、各マクロブロックタイプについて、参照画像から時間予測によって得られる予測画像を用いた対象ブロックの符号化（予測符号化）に要する符号化コストを算出する。
　そして、時間予測部１３２は、符号化コストが最小のマクロブロックタイプを、最適インター予測モードとして選択し、その最適インター予測モードで生成された予測画像（時間予測画像）を、予測画像選択部１２４に供給する。
　さらに、時間予測部１３２は、最適インター予測モード等の情報を、ヘッダ情報として、予測画像選択部１２４に供給する。
　なお、上述したように、参照画像には、参照インデクスが割り当てられており、時間予測部１３２において、最適インター予測モードで生成された予測画像を生成するときに参照された参照画像に割り当てられた参照インデクスは、対象ブロックの予測用の参照インデクスとして選択され、ヘッダ情報の１つとして、予測画像選択部１２４に供給される。
　予測画像選択部１２４では、例えば、画面内予測部１２２、並びに、インター予測部１２３を構成する視差予測部１３１、及び、時間予測部１３２それぞれからの予測画像のうちの、符号化コストが最小の予測画像が選択され、演算部１１３、及び、１２０に供給される。
　ここで、本実施の形態では、例えば、視差予測で参照される参照画像（ここでは、デコード中央視点色画像のピクチャ）には、値が1の参照インデクスが割り当てられ、時間予測で参照される参照画像（ここでは、デコードパッキング色画像のピクチャ）には、値が0の参照インデクスが割り当てられることとする。
　［視差予測部１３１の構成例］
　図１３は、図１２の視差予測部１３１の構成例を示すブロック図である。
　図１３において、視差予測部１３１は、視差検出部１４１、視差補償部１４２、予測情報バッファ１４３、コスト関数算出部１４４、及び、モード選択部１４５を有する。
　視差検出部１４１には、DPB４３から、参照画像としてのデコード中央視点色画像のピクチャが供給されるとともに、画面並び替えバッファ１１２から、符号化対象のパッキング色画像のピクチャ（対象ピクチャ）が供給される。
　視差検出部１４１は、対象ブロックと、参照画像であるデコード中央視点色画像のピクチャとを用いてMEを行うことにより、対象ブロックと、デコード中央視点色画像のピクチャにおいて、例えば、対象ブロックとのSAD等を最小にする等の符号化効率を最も良くする対応ブロックとのずれを表す視差ベクトルmvを、マクロブロックタイプごとに検出し、視差補償部１４２に供給する。
　視差補償部１４２には、視差検出部１４１から、視差ベクトルmvが供給される他、DPB４３から、参照画像としてのデコード中央視点色画像のピクチャが供給される。
　視差補償部１４２は、DPB４３からの参照画像の視差補償を、視差検出部１４１からの対象ブロックの視差ベクトルmvを用いて行うことで、対象ブロックの予測画像を、マクロブロックタイプごとに生成する。
　すなわち、視差補償部１４２は、参照画像としてのデコード中央視点色画像のピクチャの、対象ブロックの位置から、視差ベクトルmvだけずれた位置のブロック（領域）である対応ブロックを、予測画像として取得する。
　また、視差補償部１４２は、既に符号化済みの、対象ブロックの周辺のマクロブロックの視差ベクトル等を必要に応じて用いて、対象ブロックの視差ベクトルmvの予測ベクトルPMVを求める。
　さらに、視差補償部１４２は、対象ブロックの視差ベクトルmvと、その予測ベクトルPMVとの差分である残差ベクトルを求める。
　そして、視差補償部１４２は、マクロブロックタイプ等の予測モードごとの対象ブロックの予測画像を、その対象ブロックの残差ベクトル、及び、予測画像を生成するのに用いた参照画像（ここでは、デコード中央視点色画像のピクチャ）に割り当てられている参照インデクスとともに、予測モードと対応付けて、予測情報バッファ１４３、及び、コスト関数算出部１４４に供給する。
　予測情報バッファ１４３は、視差補償部１４２からの、予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスを、その予測モードとともに、予測情報として、一時記憶する。
　コスト関数算出部１４４には、視差補償部１４２から、予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスが供給されるとともに、画面並び替え部バッファ１１２から、パッキング色画像の対象ピクチャが供給される。
　コスト関数算出部１４４は、予測モードとしてのマクロブロックタイプ（図１０）ごとに、画面並び替えバッファ１１２からの対象ピクチャの対象ブロックの符号化に要する符号化コストを、符号化コストを算出する所定のコスト関数に従って求める。
　すなわち、コスト関数算出部１４４は、視差補償部１４２からの残差ベクトルの符号量に対応する値MVを求めるとともに、視差補償部１４２からの参照インデクス（予測用の参照インデクス）の符号量に対応する値INを求める。
　さらに、コスト関数算出部１４４は、視差補償部１４２からの予測画像に対する、対象ブロックの残差の符号量に対応する値DであるSADを求める。
　そして、コスト関数算出部１４４は、例えば、λ1及びλ2を重みとして、式COST＝D＋λ1×MV＋λ2×INに従い、マクロブロックタイプごとの符号化コスト（コスト関数のコスト関数値）COSTを求める。
　コスト関数算出部１４４は、マクロブロックタイプごとの符号化コスト（コスト関数値）を求めると、その符号化コストを、モード選択部１４５に供給する。
　モード選択部１４５は、コスト関数算出部１４４からのマクロブロックタイプごとの符号化コストの中から、最小値である最小コストを検出する。
　さらに、モード選択部１４５は、最小コストが得られたマクロブロックタイプを、最適インター予測モードに選択する。
　そして、モード選択部１４５は、最適インター予測モードである予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスを、予測情報バッファ１４３から読み出し、最適インター予測モードである予測モードとともに、予測画像選択部１２４に供給する。
　ここで、モード選択部１４５から予測画像選択部１２４に供給される予測モード（最適インター予測モード）、残差ベクトル、及び、参照インデクス（予測用の参照インデクス）が、インター予測（ここでは、視差予測）に関する予測モード関連情報であり、予測画像選択部１２４では、このインター予測に関する予測モード関連情報が、必要に応じて、ヘッダ情報として、可変長符号化部１１６（図９）に供給される。
　なお、図１２の時間予測部１３２では、参照画像が、デコード中央視点色画像のピクチャではなく、デコードパッキング色画像のピクチャであることを除き、図１３の視差予測部１３１と同様の処理が行われる。
　［復号装置３２Ｃの構成例］
　図１４は、図３の復号装置３２Ｃの構成例を示すブロック図である。
　図１４の復号装置３２Ｃは、逆多重化装置３１（図３）からの多視点色画像符号化データである中央視点色画像、及び、パッキング色画像の符号化データを、MVCで復号する。
　図１４において、復号装置３２Ｃは、デコーダ２１１及び２１２、並びに、DPB２１３を有する。
　デコーダ２１１には、逆多重化装置３１（図３）からの多視点色画像符号化データのうちの、ベースビューの画像である中央視点色画像の符号化データが供給される。
　デコーダ２１１は、そこに供給される中央視点色画像の符号化データを、MVCで復号し、その結果得られる中央視点色画像を出力する。
　デコーダ２１２には、逆多重化装置３１（図３）からの多視点色画像符号化データのうちの、ノンベースビューの画像であるパッキング色画像の符号化データが供給される。
　デコーダ２１２は、そこに供給されるパッキング色画像の符号化データを、MVCで
復号し、その結果得られるパッキング色画像を出力する。
　ここで、デコーダ２１１が出力する中央視点色画像と、デコーダ２１２が出力するパッキング色画像とは、解像度変換多視点色画像として、解像度逆変換装置３３Ｃ（図３）に供給される。
　DPB２１３は、デコーダ２１１及び２１２それぞれで、復号対象の画像を復号することにより得られる復号後の画像（デコード画像）を、予測画像の生成時に参照する参照画像（の候補）として一時記憶する。
　すなわち、デコーダ２１１及び２１２は、それぞれ、図５のエンコーダ４１及び４２で予測符号化された画像を復号する。
　予測符号化された画像を復号するには、その予測符号化で用いられた予測画像が必要であるため、デコーダ２１１及び２１２は、予測符号化で用いられた予測画像を生成するために、復号対象の画像を復号した後、予測画像の生成に用いる、復号後の画像を、DPB２１３に一時記憶させる。
　DPB２１３は、デコーダ２１１及び２１２それぞれで得られる復号後の画像（デコード画像）を一時記憶する共用のバッファであり、デコーダ２１１及び２１２それぞれは、DPB２１３に記憶されたデコード画像から、復号対象の画像を復号するのに参照する参照画像を選択し、その参照画像を用いて、予測画像を生成する。
　DPB２１３は、デコーダ２１１及び２１２で共用されるので、デコーダ２１１及び２１２それぞれは、自身で得られたデコード画像の他、他のデコーダで得られたデコード画像をも参照することができる。
　但し、デコーダ２１１は、ベースビューの画像を復号するので、デコーダ２１１で得られたデコード画像のみを参照する（視差予測を行わない）。
　［デコーダ２１２の構成例］
　図１５は、図１４のデコーダ２１２の構成例を示すブロック図である。
　図１５において、デコーダ２１２は、蓄積バッファ２４１、可変長復号部２４２、逆量子化部２４３、逆直交変換部２４４、演算部２４５、デブロッキングフィルタ２４６、画面並び替えバッファ２４７、D/A変換部２４８、画面内予測部２４９、インター予測部２５０、及び、予測画像選択部２５１を有する。
　蓄積バッファ２４１には、逆多重化装置３１から、多視点色画像符号化データを構成する中央視点色画像、及び、パッキング色画像の符号化データのうちの、パッキング色画像の符号化データが供給される。
　蓄積バッファ２４１は、そこに供給される符号化データを一時記憶し、可変長復号部２４２に供給する。
　可変長復号部２４２は、蓄積バッファ２４１からの符号化データを可変長復号することにより、量子化値やヘッダ情報になっている予測モード関連情報を復元する。そして、可変長復号部２４２は、量子化値を、逆量子化部２４３に供給し、ヘッダ情報（予測モード関連情報）を、画面内予測部２４９、及び、インター予測部２５０に供給する。
　逆量子化部２４３は、可変長復号部２４２からの量子化値を、変換係数に逆量子化し、逆直交変換部２４４に供給する。
　逆直交変換部２４４は、逆量子化部２４３からの変換係数を逆直交変換し、マクロブロック単位で、演算部２４５に供給する。
　演算部２４５は、逆直交変換部２４４から供給されるマクロブロックを復号対象の対象ブロックとして、その対象ブロックに対して、必要に応じて、予測画像選択部２５１から供給される予測画像を加算することで、デコード画像を求め、デブロッキングフィルタ２４６に供給する。
　デブロッキングフィルタ２４６は、演算部２４５からのデコード画像に対して、例えば、図９のデブロッキングフィルタ１２１と同様のフィルタリングを行い、そのフィルタリング後のデコード画像を、画面並び替えバッファ２４７に供給する。
　画面並び替えバッファ２４７は、デブロッキングフィルタ２４６からのデコード画像のピクチャを一時記憶して読み出すことで、ピクチャの並びを、元の並び（表示順）に並び替え、D/A(Digital/Analog)変換部２４８に供給する。
　D/A変換部２４８は、画面並び替えバッファ２４７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。
　また、デブロッキングフィルタ２４６は、フィルタリング後のデコード画像のうちの、参照可能ピクチャであるIピクチャ、Pピクチャ、及び、Bsピクチャのデコード画像を、DPB２１３に供給する。
　ここで、DPB２１３は、デブロッキングフィルタ２４６からのデコード画像のピクチャ、すなわち、パッキング色画像のピクチャを、時間的に後に行われる復号に用いる予測画像を生成するときに参照する参照画像として記憶する。
　図１４で説明したように、DPB２１３は、デコーダ２１１及び２１２で共用されるので、デコーダ２１２において復号されたパッキング色画像（デコードパッキング色画像）のピクチャの他、デコーダ２１１において復号された中央視点色画像（デコード中央視点色画像）のピクチャも記憶する。
　画面内予測部２４９は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックが、イントラ予測（画面内予測）で生成された予測画像を用いて符号化されているかどうかを認識する。
　対象ブロックが、イントラ予測で生成された予測画像を用いて符号化されている場合、画面内予測部２４９は、図９の画面内予測部１２２と同様に、DPB２１３から、対象ブロックを含むピクチャ（対象ピクチャ）のうちの、既に復号されている部分（デコード画像）を読み出す。そして、画面内予測部２４９は、DPB２１３から読み出した、対象ピクチャのうちのデコード画像の一部を、対象ブロックの予測画像として、予測画像選択部２５１に供給する。
　インター予測部２５０は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックが、インター予測で生成された予測画像を用いて符号化されているかどうかを認識する。
　対象ブロックが、インター予測で生成された予測画像を用いて符号化されている場合、インター予測部２５０は、可変長復号部２４２からのヘッダ情報（予測モード関連情報）に基づき、予測用の参照インデクス、すなわち、対象ブロックの予測画像の生成に用いられた参照画像に割り当てられている参照インデクスを認識する。
　そして、インター予測部２５０は、DPB２１３に記憶されているデコードパッキン色画像のピクチャ、及び、デコード中央視点色画像のピクチャから、予測用の参照インデクスが割り当てられているピクチャを、参照画像として読み出す。
　さらに、インター予測部２５０は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックの予測画像の生成に用いられたずれベクトル（視差ベクトル、動きベクトル）を認識し、図９のインター予測部１２３と同様に、そのずれベクトルに従って、参照画像のずれ補償（動き分のずれを補償する動き補償、又は、視差分のずれを補償する視差補償）を行うことで、予測画像を生成する。
　すなわち、インター予測部２５０は、参照画像の、対象ブロックの位置から、その対象ブロックのずれベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。
　そして、インター予測部２５０は、予測画像を、予測画像選択部２５１に供給する。
　予測画像選択部２５１は、画面内予測部２４９から予測画像が供給される場合には、その予測画像を、インター予測部２５０から予測画像が供給される場合には、その予測画像を、それぞれ選択し、演算部２４５に供給する。
　［インター予測部２５０の構成例］
　図１６は、図１５のデコーダ２１２のインター予測部２５０の構成例を示すブロック図である。
　図１６において、インター予測部２５０は、参照インデクス処理部２６０、視差予測部２６１、及び、時間予測部２６２を有する。
　ここで、図１６において、DPB２１３には、デブロッキングフィルタ２４６から、デコード画像、すなわち、デコーダ２１２において復号されたデコードパッキング色画像のピクチャが供給され、参照画像として記憶される。
　また、DPB２１３には、図１４や図１５で説明したように、デコーダ２１１において復号されたデコード中央視点色画像のピクチャも供給されて記憶される。このため、図１６では、デコーダ２１１で得られるデコード中央視点色画像が、DPB２１３に供給されることを示す矢印を、図示してある。
　参照インデクス処理部２６０には、可変長復号部２４２からのヘッダ情報である予測モード関連情報のうちの、対象ブロックの（予測用の）参照インデクスが供給される。
　参照インデクス処理部２６０は、可変長復号部２４２からの対象ブロックの予測用の参照インデクスが割り当てられているデコード中央視点色画像のピクチャ、又は、デコードパッキング色画像のピクチャを、DPB２１３から読み出し、視差予測部２６１、又は、時間予測部２６２に供給する。
　ここで、本実施の形態では、図１２で説明したように、エンコーダ４２において、視差予測で参照される参照画像であるデコード中央視点色画像のピクチャには、値が1の参照インデクスが割り当てられ、時間予測で参照される参照画像であるデコードパッキング色画像のピクチャには、値が0の参照インデクスが割り当てられる。
　したがって、対象ブロックの予測用の参照インデクスによって、その対象ブロックの予測画像の生成に用いられる参照画像となるデコード中央視点色画像のピクチャ、又は、デコードパッキング色画像のピクチャを認識することができ、さらに、対象ブロックの予測画像を生成するときに行うずれ予測が、時間予測、及び、視差予測のうちのいずれであるかも認識することができる。
　参照インデクス処理部２６０は、可変長復号部２４２からの対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコード中央視点色画像のピクチャである場合（予測用の参照インデクスが1である場合）、対象ブロックの予測画像は、視差予測により生成されるので、予測用の参照インデクス（に一致する参照インデクス）が割り当てられているデコード中央視点色画像のピクチャを、DPB２１３から参照画像として読み出し、視差予測部２６１に供給する。
　また、参照インデクス処理部２６０は、可変長復号部２４２からの対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコードパッキング色画像のピクチャである場合（予測用の参照インデクスが0である場合）、対象ブロックの予測画像は、時間予測により生成されるので、予測用の参照インデクス（に一致する参照インデクス）が割り当てられているデコードパッキング色画像のピクチャを、DPB２１３から参照画像として読み出し、時間予測部２６２に供給する。
　視差予測部２６１には、可変長復号部２４２からのヘッダ情報である予測モード関連情報が供給される。
　視差予測部２６１は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックが、視差予測で生成された予測画像を用いて符号化されているかどうかを認識する。
　対象ブロックが、視差予測で生成された予測画像を用いて符号化されている場合、視差予測部２６１は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックの予測画像の生成に用いられた視差ベクトルを復元し、図１２の視差予測部１３１と同様に、その視差ベクトルに従って、視差予測（視差補償）を行うことで、予測画像を生成する。
　すなわち、対象ブロックが、視差予測で生成された予測画像を用いて符号化されている場合、上述したように、視差予測部２６１には、参照インデクス処理部２６０から、参照画像としてのデコード中央視点色画像のピクチャが供給される。
　視差予測部２６１は、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャの、対象ブロックの位置から、その対象ブロックの視差ベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。
　そして、視差予測部２６１は、予測画像を、予測画像選択部２５１に供給する。
　時間予測部２６２には、可変長復号部２４２からのヘッダ情報である予測モード関連情報が供給される。
　時間予測部２６２は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックが、時間予測で生成された予測画像を用いて符号化されているかどうかを認識する。
　対象ブロックが、時間予測で生成された予測画像を用いて符号化されている場合、時間予測部２６２は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックの予測画像の生成に用いられた動きベクトルを復元し、図１２の時間予測部１３２と同様に、その動きベクトルに従って、時間予測（動き補償）を行うことで、予測画像を生成する。
　すなわち、対象ブロックが、時間予測で生成された予測画像を用いて符号化されている場合、上述したように、時間予測部２６２には、参照インデクス処理部２６０から、参照画像としてのデコードパッキング色画像のピクチャが供給される。
　時間予測部２６２は、参照インデクス処理部２６０からの参照画像としてのデコードパッキング色画像のピクチャの、対象ブロックの位置から、その対象ブロックの動きベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。
　そして、時間予測部２６２は、予測画像を、予測画像選択部２５１に供給する。
　［視差予測部２６１の構成例］
　図１７は、図１６の視差予測部２６１の構成例を示すブロック図である。
　図１７において、視差予測部２６１は、視差補償部２７２を有する。
　視差補償部２７２には、参照インデクス処理部２６０から、参照画像としてのデコード中央視点色画像が供給されるとともに、可変長復号部２４２から、ヘッダ情報としてのモード関連情報に含まれる予測モード、及び、残差ベクトルが供給される。
　視差補償部２７２は、既に復号されたマクロブロックの視差ベクトルを必要に応じて用いて、対象ブロックの視差ベクトルの予測ベクトルを求め、その予測ベクトルと、可変長復号部２４２からの対象ブロックの残差ベクトルとを加算することで、対象ブロックの視差ベクトルmvを復元する。
　さらに、視差補償部２７２は、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャの視差補償を、対象ブロックの視差ベクトルmvを用いて行うことで、可変長復号部２４２からの予測モードが表すマクロブロックタイプについて、対象ブロックの予測画像を生成する。
　すなわち、視差補償部２７２は、デコード中央視点色画像のピクチャの、対象ブロックの位置から、視差ベクトルmvだけずれた位置のブロックである対応ブロックを、予測画像として取得する。
　そして、視差補償部２７２は、予測画像を、予測画像選択部２５１に供給する。
　なお、図１６の時間予測部２６２では、参照画像が、デコード中央視点色画像のピクチャではなく、デコードパッキング色画像のピクチャであることを除き、図１７の視差予測部２６１と同様の処理が行われる。
　以上のように、MVCでは、ノンベースビューの画像については、時間予測の他、視差予測も行うことができるので、符号化効率を向上させることができる。
　しかしながら、上述したように、ノンベースビューの画像が、パッキング色画像であり、視差予測で参照される（参照されうる）ベースビューの画像が、中央視点色画像である場合には、視差予測の予測精度（予測効率）が低下することがある。
　すなわち、いま、説明を簡単にするために、中央視点色画像、左視点色画像、及び、右視点色画像の横と縦との解像度比（横の画素数と縦の画素数との比）が、1:1であるとする。
　パッキング色画像は、例えば、図４で説明したように、左視点色画像、及び、右視点色画像それぞれの垂直解像度を1/2にし、その垂直解像度が1/2にされた左視点色画像、及び、右視点色画像を、上下に並べて配置した１視点分の画像である。
　このため、エンコーダ４２（図９）において、符号化の対象となるパッキング色画像（符号化対象画像）の解像度比と、視差予測において、そのパッキング色画像の予測画像を生成する際に参照する、パッキング色画像とは異なる視点の参照画像である中央視点色画像（デコード中央視点色画像）の解像度比とは、合致（マッチ）しない。
　すなわち、パッキング色画像において、左視点色画像、及び、右視点色画像それぞれの垂直方向の解像度（垂直解像度）は、元の1/2になっており、したがって、パッキング色画像になっている左視点色画像、及び、右視点色画像の解像度比は、2:1になっている。
　これに対して、参照画像としての中央視点色画像の解像度比は、1:1であり、パッキング色画像になっている左視点色画像、及び、右視点色画像の解像度比である2:1と一致していない。
　このように、パッキング色画像の解像度比と、参照画像としての中央視点色画像の解像度比とが合致していない場合、すなわち、パッキング色画像になっている左視点色画像、及び、右視点色画像の解像度比と、参照画像としての中央視点色画像の解像度比とが一致していない場合、視差予測の予測精度が低下し（視差予測で生成される予測画像と、対象ブロックとの残差が大になり）、符号化効率が悪くなる。
　［送信装置１１の構成例］
　そこで、図１８は、図１の送信装置１１の他の構成例を示すブロック図である。
　なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図１８において、送信装置１１は、解像度変換装置３２１Ｃ及び３２１Ｄ、符号化装置３２２Ｃ及び３２２Ｄ、並びに、多重化装置２３を有する。
　したがって、図１８の送信装置１１は、多重化装置２３を有する点で、図２の場合と共通し、解像度変換装置２１Ｃ及び２１Ｄ、並びに、符号化装置２２Ｃ及び２２Ｄそれぞれに代えて、解像度変換装置３２１Ｃ及び３２１Ｄ、並びに、符号化装置３２２Ｃ及び３２２Ｄが設けられている点で、図２の場合と相違する。
　解像度変換装置３２１Ｃには、多視点色画像が供給される。
　解像度変換装置３２１Ｃは、例えば、図２の解像度変換装置２１Ｃと同様の処理を行う。
　すなわち、解像度変換装置３２１Ｃは、そこに供給される多視点色画像を、元の解像度より低い低解像度の解像度変換多視点色画像に変換する解像度変換を行い、その結果られる解像度変換多視点色画像を、符号化装置３２２Ｃに供給する。
　さらに、解像度変換装置３２１Ｃは、解像度変換情報を生成し、符号化装置３２２Ｃに供給する。
　ここで、解像度変換装置３２１Ｃが生成する解像度変換情報は、解像度変換装置３２１Ｃで行われる、多視点色画像の、解像度変換多視点色画像への解像度変換に関する情報であり、後段の符号化装置３２２Ｃにおいて、視差予測を用いた符号化の対象となる符号化対象画像であるパッキング色画像（を構成する左視点色画像、及び右視点色画像）と、その符号化対象画像の視差予測で参照される、符号化対象画像とは視点が異なる参照画像である中央視点色画像の解像度に関する解像度情報を含む。
　すなわち、符号化装置３２２Ｃでは、解像度変換装置３２１Ｃでの解像度変換の結果得られる解像度変換多視点色画像が符号化されるが、その符号化の対象である解像度変換多視点色画像は、図４で説明したように、中央視点色画像とパッキング色画像である。
　中央視点色画像とパッキング色画像のうち、視差予測を用いた符号化の対象となる符号化対象画像は、ノンベースビューの画像であるパッキング色画像であり、そのパッキング色画像の視差予測で参照される参照画像は、中央視点色画像である。
　したがって、解像度変換装置３２１Ｃが生成する解像度変換情報には、パッキング色画像、及び、中央視点色画像の解像度に関する情報が含まれる。
　符号化装置３２２Ｃは、解像度変換装置３２１Ｃから供給される解像度変換多視点色画像を、複数の視点の画像を伝送する規格である、例えば、MVC等の規格を拡張した拡張方式で符号化し、その結果得られる符号化データである多視点色画像符号化データを、多重化装置２３に供給する。
　なお、符号化装置３２２Ｃの符号化方式である拡張方式の元となる規格としては、MVCの他、複数の視点の画像を伝送することができる、例えば、HEVC(High Efficiency Video Coding)等の規格を採用することができる。
　解像度変換装置３２１Ｄには、多視点奥行き画像が供給される。
　解像度変換装置３２１Ｄ、及び、符号化装置３２２Ｄでは、色画像（多視点色画像）ではなく、奥行き画像（多視点奥行き画像）を、処理の対象として処理を行うことを除き、解像度変換装置３２１Ｃ、及び、符号化装置３２２Ｃと、それぞれ同様の処理が行われる。
　［受信装置１２の構成例］
　図１９は、図１の受信装置１２の他の構成例を示すブロック図である。
　すなわち、図１９は、図１の送信装置１１が図１８に示したように構成される場合の、図１の受信装置１２の構成例を示している。
　なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図１９において、受信装置１２は、逆多重化装置３１、復号装置３３２Ｃ及び３３２Ｄ、並びに、解像度逆変換装置３３３Ｃ及び３３３Ｄを有する。
　したがって、図１９の受信装置１２は、逆多重化装置３１を有する点で、図３の場合と共通し、復号装置３２Ｃ及び３２Ｄ、並びに、解像度逆変換装置３３Ｃ及び３３Ｄそれぞれに代えて、復号装置３３２Ｃ及び３３２Ｄ、並びに、解像度逆変換装置３３３Ｃ及び３３３Ｄが設けられている点で、図３の場合と相違する。
　復号装置３３２Ｃは、逆多重化装置３１から供給される多視点色画像符号化データを、拡張方式で復号し、その結果得られる解像度変換多視点色画像、及び、解像度変換情報を、解像度逆変換装置３３３Ｃに供給する。
　解像度逆変換装置３３３Ｃは、復号装置３３２Ｃからの解像度変換多視点色画像を、同じく復号装置３３２Ｃからの解像度変換情報に基づいて元の解像度の多視点色画像に（逆）変換する解像度逆変換を行い、その結果得られる多視点色画像を出力する。
　復号装置３３２Ｄ、及び、解像度逆変換装置３３３Ｄは、多視点色画像符号化データ（解像度変換多視点色画像）ではなく、逆多重化装置３１からの多視点奥行き画像符号化データ（解像度変換多視点奥行き画像）を、処理の対象として処理を行うことを除き、復号装置３３２Ｃ、及び、解像度逆変換装置３３３Ｃと、それぞれ同様の処理を行う。
　［解像度変換、及び、解像度逆変換］
　図２０は、図１８の解像度変換装置３２１Ｃ（及び３２１Ｄ）が行う解像度変換、並びに、図１９の解像度逆変換装置３３３Ｃ（及び３３３Ｄ）が行う解像度逆変換を説明する図である。
　解像度変換装置３２１Ｃ（図１８）は、例えば、図２の解像度変換装置２１Ｃと同様に、そこに供給される多視点色画像である中央視点色画像、左視点色画像、及び、右視点色画像のうちの、例えば、中央視点色画像を、そのまま（解像度変換せずに）出力する。
　また、解像度変換装置３２１Ｃは、多視点色画像の残りの左視点色画像、及び、右視点色画像については、２つの視点の画像の解像度を低解像度に変換して、１視点分の画像に合成するパッキングを行うことにより、パッキング色画像を生成して出力する。
　すなわち、解像度変換装置３２１Ｃは、例えば、左視点色画像（のフレーム）、及び、右視点色画像（のフレーム）それぞれの垂直解像度（画素数）を1/2にし、その垂直解像度が1/2にされた左視点色画像、及び、右視点色画像それぞれの各ライン（水平ライン）を垂直方向に交互に並べて配置することにより、１視点分の画像（のフレーム）であるパッキング色画像を生成する。
　ここで、図２０では、解像度変換装置３２１Ｃにおいて、左視点色画像から、その左視点色画像の奇数ライン及び偶数ラインのうちの一方である、例えば、奇数ラインだけを抽出することにより、左視点色画像の垂直解像度が（元の）1/2にされている。
　さらに、解像度変換装置３２１Ｃでは、右視点色画像から、その右視点色画像の奇数ライン及び偶数ラインのうちの他方である偶数ラインだけを抽出することにより、右視点色画像の垂直解像度が1/2にされている。
　そして、解像度変換装置３２１Ｃでは、垂直解像度が1/2にされた左視点色画像のライン（以下、左視点ラインともいう）（元の左視点色画像の奇数ライン）を、奇数ラインのフィールドであるトップフィールドのラインとして配置するとともに、垂直解像度が1/2にされた右視点色画像のライン（以下、右視点ラインともいう）（元の右視点色画像の偶数ライン）を、偶数ラインのフィールドであるボトムフィールドのラインとして配置することにより、パッキング色画像（のフレーム）を生成する。
　ここで、図２０では、パッキング色画像の奇数ラインとして、左視点ラインを採用するとともに、パッキング色画像の偶数ラインとして、右視点ラインを採用することとしたが、パッキング色画像の奇数ラインとして、右視点ラインを採用するとともに、パッキング色画像の偶数ラインとして、左視点ラインを採用することができる。
　また、解像度変換装置３２１Ｃでは、左視点色画像の偶数ラインだけを抽出して、垂直解像度を1/2にすることができる。右視点色画像についても同様に、奇数ラインだけを抽出して、垂直解像度を1/2にすることができる。
　解像度変換装置３２１Ｃは、さらに、中央視点色画像の解像度が、元のままである旨や、パッキング色画像が、（垂直解像度が1/2にされた）左視点色画像の左視点ライン、及び、右視点色画像の右視点ラインを交互に並べた１視点分の画像である旨等を表す解像度変換情報を生成する。
　一方、解像度逆変換装置３３３Ｃ（図１９）は、そこに供給される解像度変換情報から、中央視点色画像の解像度が、元のままである旨や、パッキング色画像が、左視点色画像の左視点ライン、及び、右視点色画像の右視点ラインを交互に並べた１視点分の画像である旨等を認識する。
　そして、解像度逆変換装置３３３Ｃは、解像度変換情報から認識した情報に基づき、そこに供給される解像度変換多視点色画像である中央視点色画像、及び、パッキング色画像のうちの、中央視点色画像を、そのまま出力する。
　また、解像度逆変換装置３３３Ｃは、解像度変換情報から認識した情報に基づき、そこに供給される解像度変換多視点色画像である中央視点色画像、及び、パッキング色画像のうちの、パッキング色画像を、トップフィールドのラインである奇数ラインと、ボトムフィールドのラインである偶数ラインとに分離する。
　さらに、解像度逆変換装置３３３Ｃは、パッキング色画像を奇数ラインと偶数ラインとに分離することにより得られる、垂直解像度が1/2にされた左視点色画像、及び、右視点色画像の垂直解像度を、補間等によって、元の解像度に戻して出力する。
　なお、多視点色画像（及び多視点奥行き画像）は、４視点以上の画像であっても良い。多視点色画像が、４視点以上の画像である場合、上述のように、垂直解像度を1/2にした２つの視点の画像を、１視点分（のデータ量）の画像にパッキングしたパッキング色画像を、２つ以上生成することができる。また、垂直解像度を1/KにしたK個の視点以上の画像の各ラインを順番に、繰り返し並べて配置することにより、１視点分の画像にパッキングしたパッキング色画像を生成することができる。
　［送信装置１１の処理］
　図２１は、図１８の送信装置１１の処理を説明するフローチャートである。
　ステップＳ１１において、解像度変換装置３２１Ｃは、そこに供給される多視点色画像の解像度変換を行い、その結果得られる、中央視点色画像とパッキング色画像である解像度変換多視点色画像を、符号化装置３２２Ｃに供給する。
　さらに、解像度変換装置３２１Ｃは、解像度変換多視点色画像についての解像度変換情報を生成し、符号化装置３２２Ｃに供給して、処理は、ステップＳ１１からステップＳ１２に進む。
　ステップＳ１２では、解像度変換装置３２１Ｄは、そこに供給される多視点奥行き画像の解像度変換を行い、その結果得られる、中央視点奥行き画像とパッキング奥行き画像である解像度変換多視点奥行き画像を、符号化装置３２２Ｄに供給する。
　さらに、解像度変換装置３２１Ｄは、解像度変換多視点奥行き画像についての解像度変換情報を生成し、符号化装置３２２Ｄに供給して、処理は、ステップＳ１２からステップＳ１３に進む。
　ステップＳ１３では、符号化装置３２２Ｃは、解像度変換装置３２１Ｃからの解像度変換情報を必要に応じて用いて、解像度変換装置３２１Ｃからの解像度変換多視点色画像を拡張方式で符号化し、その結果得られる符号化データである多視点色画像符号化データを、多重化装置２３に供給して、処理は、ステップＳ１４に進む。
　ステップＳ１４では、符号化装置３２２Ｄは、解像度変換装置３２１Ｄからの解像度変換情報を必要に応じて用いて、解像度変換装置３２１Ｄからの解像度変換多視点奥行き画像を拡張方式で符号化し、その結果得られる符号化データである多視点奥行き画像符号化データを、多重化装置２３に供給して、処理は、ステップＳ１５に進む。
　ステップＳ１５では、多重化装置２３は、符号化装置３２２Ｃからの多視点色画像符号化データと、符号化装置３２２Ｄからの多視点奥行き画像符号化データとを多重化し、その結果得られる多重化ビットストリームを出力する。
　［受信装置１２の処理］
　図２２は、図１９の受信装置１２の処理を説明するフローチャートである。
　ステップＳ２１において、逆多重化装置３１は、そこに供給される多重化ビットストリームの逆多重化を行うことにより、その多重化ビットストリームを、多視点色画像符号化データと、多視点奥行き画像符号化データとに分離する。
　そして、逆多重化装置３１は、多視点色画像符号化データを、復号装置３３２Ｃに供給し、多視点奥行き画像符号化データを、復号装置３３２Ｄに供給して、処理は、ステップＳ２１からステップＳ２２に進む。
　ステップＳ２２では、復号装置３３２Ｃは、逆多重化装置３１からの多視点色画像符号化データを、拡張方式で復号し、その結果得られる解像度変換多視点色画像、及び、その解像度変換多視点色画像についての解像度変換情報を、解像度逆変換装置３３３Ｃに供給して、処理は、ステップＳ２３に進む。
　ステップＳ２３では、復号装置３３２Ｄは、逆多重化装置３１からの多視点奥行き画像符号化データを、拡張方式で復号し、その結果得られる解像度変換多視点奥行き画像、及び、その解像度変換多視点奥行き画像についての解像度変換情報を、解像度逆変換装置３３３Ｄに供給して、処理は、ステップＳ２４に進む。
　ステップＳ２４では、解像度逆変換装置３３３Ｃは、復号装置３３２Ｃからの解像度変換多視点色画像を、同じく復号装置３３２Ｃからの解像度変換情報に基づいて元の解像度の多視点色画像に逆変換する解像度逆変換を行い、その結果得られる多視点色画像を出力して、処理は、ステップＳ２５に進む。
　ステップＳ２５では、解像度逆変換装置３３３Ｄは、復号装置３３２Ｄからの解像度変換多視点奥行き画像を、同じく復号装置３３２Ｄからの解像度変換情報に基づいて元の解像度の多視点奥行き画像に逆変換する解像度逆変換を行い、その結果得られる多視点奥行き画像を出力する。
　［符号化装置３２２Ｃの構成例］
　図２３は、図１８の符号化装置３２２Ｃの構成例を示すブロック図である。
　なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図２３において、符号化装置３２２Ｃは、エンコーダ３４１及び３４２、並びに、DPB４３を有する。
　したがって、図２３の符号化装置３２２Ｃは、DPB４３を有する点で、図５の符号化装置２２Ｃと共通し、エンコーダ４１及び４２に代えて、エンコーダ３４１及び３４２がそれぞれ設けられている点で、図５の符号化装置２２Ｃと相違する。
　エンコーダ３４１には、解像度変換装置３２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、中央視点色画像（のフレーム）が供給される。
　エンコーダ３４２には、解像度変換装置３２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、パッキング色画像（のフレーム）が供給される。
　さらに、エンコーダ３４１及び３４２には、解像度変換装置３２１Ｃからの解像度変換情報が供給される。
　エンコーダ３４１は、図５のエンコーダ４１と同様に、中央視点色画像を、ベースビューの画像として、MVC(AVC)を拡張した拡張方式で符号化し、その結果得られる中央視点色画像の符号化データを出力する。
　エンコーダ３４２は、図５のエンコーダ４２と同様に、パッキング色画像を、ノンベースビューの画像として、拡張方式で符号化し、その結果得られるパッキング色画像の符号化データを出力する。
　エンコーダ３４１及び３４２は、以上のように、拡張方式での符号化を行うが、拡張方式では、1フィールドを1ピクチャとして符号化を行うフィールド符号化モードと、1フレームを1ピクチャとして符号化を行うフレーム符号化モードとのうちのいずれを、ピクチャを符号化するときの符号化モードとして採用するかが、解像度変換装置３２１Ｃからの解像度変換情報に基づいて設定される。
　ここで、AVCでは、同一アクセスユニット内に存在するスライスヘッダに関して、field_pic_flagとbottom_field_flagは、すべて同じ値でなければならないことが規定されており、したがって、AVCを拡張したMVCにおいて、ベースビューの画像と、ノンベースビューの画像との間では、符号化モードは、一致している必要がある。
　MVCを拡張した拡張方式では、ベースビューの画像と、ノンベースビューの画像との符号化モードは一致している必要はないが、本実施の形態では、拡張方式の元となる規格（ここでは、MVC）との親和性を図るべく、ベースビューの画像と、ノンベースビューの画像との符号化モードは、一致させることとする。
　したがって、エンコーダ３４１及びエンコーダ３４２では、一方の符号化モードが、フィールド符号化モードに設定されるときには、他方の符号化モードも、フィールド符号化モードに設定され、一方の符号化モードが、フレーム符号化モードに設定されるときには、他方の符号化モードも、フレーム符号化モードに設定される。
　エンコーダ３４１が出力する中央視点色画像の符号化データと、エンコーダ３４２が出力するパッキング色画像の符号化データとは、多視点色画像符号化データとして、多重化装置２３（図１８）に供給される。
　ここで、図２３において、DPB４３は、エンコーダ３４１及び３４２で共用される。
　すなわち、エンコーダ３４１及び３４２は、符号化対象の画像を、MVCと同様に予測符号化する。そのため、エンコーダ３４１及び３４２は、予測符号化に用いる予測画像を生成するのに、符号化対象の画像を符号化した後、ローカルデコードを行って、デコード画像を得る。
　そして、DPB４３では、エンコーダ３４１及び３４２それぞれで得られるデコード画像が一時記憶される。
　エンコーダ３４１及び３４２それぞれは、DPB４３に記憶されたデコード画像から、符号化対象の画像を符号化するのに参照する参照画像を選択する。そして、エンコーダ３４１及び３４２それぞれは、参照画像を用いて、予測画像を生成し、その予測画像を用いて、画像の符号化（予測符号化）を行う。
　したがって、エンコーダ３４１及び３４２それぞれは、自身で得られたデコード画像の他、他のエンコーダで得られたデコード画像をも参照することができる。
　但し、上述したように、エンコーダ３４１は、ベースビューの画像を符号化するので、エンコーダ３４１で得られたデコード画像のみを参照する。
　［エンコーダ３４２の構成例］
　図２４は、図２３のエンコーダ３４２の構成例を示すブロック図である。
　なお、図中、図９及び図１２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図２４において、エンコーダ３４２は、A/D変換部１１１、画面並び替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可変長符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、演算部１２０、デブロッキングフィルタ１２１、画面内予測部１２２、インター予測部１２３、予測画像選択部１２４、SEI(Supplemental Enhancement Information)生成部３５１、及び、構造変換部３５２を有する。
　したがって、エンコーダ３４２は、A/D変換部１１１ないし予測画像選択部１２４を有する点で、図９のエンコーダ４２と共通する。
　但し、エンコーダ３４２は、SEI生成部３５１、及び、構造変換部３５２が新たに設けられている点で、図９のエンコーダ４２と相違する。
　SEI生成部３５１には、解像度変換装置３２１Ｃ（図１８）から、解像度変換多視点色画像についての解像度変換情報が供給される。
　SEI生成部３５１は、そこに供給される解像度変換情報のフォーマットを、MVC(AVC)のSEIのフォーマットに変換し、その結果得られる解像度変換SEIを出力する。
　SEI生成部３５１が出力する解像度変換SEIは、可変長符号化部１１６に供給される。
　可変長符号化部１１６では、SEI生成部３５１からの解像度変換SEIが、符号化データに含められて伝送される。
　構造変換部３５２は、画面並び替えバッファ１１２の出力側に設けられており、したがって、構造変換部３５２には、画面並び替えバッファ１１２からのピクチャが供給される。
　さらに、構造変換部３５２には、解像度変換装置３２１Ｃ（図１８）から、解像度変換多視点色画像についての解像度変換情報が供給される。
　構造変換部３５２は、解像度変換装置３２１Ｃからの解像度変換情報に基づいて、符号化モードを、フィールド符号化モード、又は、フレーム符号化モードに設定し、その符号化モードに基づいて、画面並び替えバッファ１１２からのピクチャの（走査方式の）構造を変換する。
　すなわち、構造変換部３５２は、画面並び替えバッファ１１２からのピクチャがフレーム（構造）である場合、符号化モードに基づき、画面並び替えバッファ１１２からのピクチャとしてのフレームを、そのまま1ピクチャとして出力し、又は、画面並び替えバッファ１１２からのピクチャとしてのフレームを、トップフィールドとボトムフィールドとに変換し、各フィールドを1ピクチャとして出力する。
　また、構造変換部３５２は、画面並び替えバッファ１１２からのピクチャがフィールド（構造）である場合、符号化モードに基づき、画面並び替えバッファ１１２からのピクチャとしてのフィールドを、そのまま1ピクチャとして出力し、又は、画面並び替えバッファ１１２からのピクチャとしてのフィールドのうちの連続するトップフィールドとボトムフィールドとをフレームに変換し、そのフレームを1ピクチャとして出力する。
　構造変換部３５２が出力するピクチャは、演算部１１３、並びに、画面内予測部１２２、及び、インター予測部１２３に供給される。
　なお、図２３のエンコーダ３４１も、図２４のエンコーダ３４２と同様に構成される。但し、ベースビューの画像を符号化するエンコーダ３４１では、インター予測部１２３が行うインター予測において、視差予測は行われず、時間予測だけが行われる。したがって、インター予測部１２３は、視差予測を行う視差予測部１３１を設けずに構成することができる。
　ベースビューの画像を符号化するエンコーダ３４１は、視差予測を行わないことを除いて、ノンベースビューの画像を符号化するエンコーダ３４２と同様の処理を行うので、以下では、エンコーダ３４２の説明を行い、エンコーダ３４１の説明は、適宜省略する。
　［解像度変換SEI］
　図２５は、図２４のSEI生成部３５１で生成される解像度変換SEIを説明する図である。
　すなわち、図２５は、解像度変換SEIとしての3dv_view_resolution(payloadSize)のシンタクス(syntax)の例を示す図である。
　解像度変換SEIとしての3dv_view_resolution(payloadSize)は、パラメータnum_views_minus_1，view_id[i]，frame_packing_info[i]，frame_field_coding、及び、view_id_in_frame[i]を有する。
　図２６は、SEI生成部３５１（図２４）において、解像度変換多視点色画像についての解像度変換情報から生成される解像度変換SEIのパラメータnum_views_minus_1，view_id[i]，frame_packing_info[i]，frame_field_coding、及び、view_id_in_frame[i]にセットされる値を説明する図である。
　パラメータnum_views_minus_1は、解像度変換多視点色画像を構成する画像の視点の数から1を減算した値を表す。
　本実施の形態では、解像度変換多視点色画像は、中央視点色画像と、左視点色画像、及び、右視点色画像を、１視点分の画像にパッキングしたパッキング色画像との、２つの視点の画像であるため、パラメータnum_views_minus_1には、num_views_minus_1=2-1=1がセットされる。
　パラメータview_id[i]は、解像度変換多視点色画像を構成するi+1番目（i=0,1,・・・）の画像を特定するインデクスを表す。
　すなわち、例えば、いま、左視点色画像が、番号0で表される視点#0（左視点）の画像であり、中央視点色画像が、番号1で表される視点#1（中央視点）の画像であり、右視点色画像が、番号2で表される視点#2（右視点）の画像であるとする。
　また、解像度変換装置３２１Ｃにおいて、中央視点色画像、左視点色画像、及び、右視点色画像の解像度変換が行われることにより得られる解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像について、視点を表す番号の割り当てがし直され、例えば、中央視点色画像に、視点#1を表す番号1が割り当てられるとともに、パッキング色画像に、視点#0を表す番号0が割り当てられることとする。
　さらに、中央視点色画像が、解像度変換多視点色画像を構成する1番目の画像（i=0の画像）であり、パッキング色画像が、解像度変換多視点色画像を構成する2番目の画像（i=1の画像）であることとする。
　この場合、解像度変換多視点色画像を構成する1(=i+1=0+1)番目の画像である中央視点色画像のパラメータview_id[0]には、中央視点色画像の視点#1を表す番号1がセットされる(view_id[0]=1)。
　また、解像度変換多視点色画像を構成する2(=i+1=1+1)番目の画像であるパッキング色画像のパラメータview_id[1]には、パッキング色画像の視点#0を表す番号0がセットされる(view_id[1]=0)。
　パラメータframe_packing_info[i]は、解像度変換多視点色画像を構成するi+1番目の画像のパッキングの有無と、パッキングのパターン（パッキングパターン）を表す。
　ここで、値が0のパラメータframe_packing_info[i]は、パッキングがされていないことを表す。
　また、値が1のパラメータframe_packing_info[i]は、パッキングがされていることを表す。
　そして、値が1のパラメータframe_packing_info[i]は、２つの視点の画像それぞれの垂直解像度を1/2に低解像度化し、その垂直解像度が1/2にされた左視点色画像、及び、右視点色画像それぞれの各ラインを交互に並べて配置することにより、１視点分（のデータ量）の画像にパッキングするインターレースパッキングがされていることを表す。
　本実施の形態では、解像度変換多視点色画像を構成する1(=i+1=0+1)番目の画像である中央視点色画像は、パッキングされていないので、中央視点色画像のパラメータframe_packing_info[0]には、パッキングされていないことを表す値0がセットされる(frame_packing_info[0]=0)。
　また、本実施の形態では、解像度変換多視点色画像を構成する2(=i+1=1+1)番目の画像であるパッキング色画像は、インターレースパッキングがされているので、パッキング色画像のパラメータframe_packing_info[1]には、インターレースパッキングがされていること、すなわち、垂直解像度が1/2にされた２視点の画像それぞれの各ラインを交互に並べて配置するパッキングのパッキングパターンを表す値1がセットされる(frame_packing_info[1]=1)。
　ここで、図２５の解像度変換SEI(3dv_view_resolution(payloadSize))において、for(i=0;<num_views_in_frame_minus_1;i++)のループの変数num_views_in_frame_minus_1は、解像度変換多視点色画像を構成するi+1番目の画像にパッキングされている画像（の視点）の数から1を減算した値を表す。
　したがって、パラメータframe_packing_info[i]が0である場合、解像度変換多視点色画像を構成するi+1番目の画像は、パッキングされていないので（i+1番目の画像には、１つの視点の画像がパッキングされているので）、変数num_views_in_frame_minus_1には、0=1-1がセットされる。
　また、パラメータframe_packing_info[i]が1である場合、解像度変換多視点色画像を構成するi+1番目の画像は、２つの視点の画像がパッキングされたパッキング色画像であるので、変数num_views_in_frame_minus_1には、1=2-1がセットされる。
　パラメータframe_field_codingは、パラメータframe_packing_info[i]が0でない(frame_packing_info[i]!=0)画像、つまり、解像度変換多視点色画像を構成するi+1番目の画像が、パッキングがされている画像である場合に、そのi+1番目の画像について伝送され、そのi+1番目の画像の符号化モードを表す。
　パラメータframe_packing_info[i]が1になっている画像（i+1番目の画像）の符号化モードが、フレーム符号化モードである場合、パラメータframe_field_codingには、フレーム符号化モードを表す、例えば、0がセットされ、パラメータframe_packing_info[i]が1になっている画像の符号化モードが、フィールド符号化モードである場合、パラメータframe_field_codingには、フィールド符号化モードを表す、例えば、1がセットされる。
　ここで、本実施の形態では、パラメータframe_packing_info[i]が0でない画像は、パラメータframe_packing_info[i]が1になっている画像であり、インターレースパッキングがされている。
　一方、構造変換部３５２は、解像度変換情報に基づき、解像度変換多視点色画像に、インターレースパッキングがされているパッキング色画像が含まれるかどうかを認識する。
　そして、構造変換部３５２は、解像度変換多視点色画像に、インターレースパッキングがされているパッキング色画像が含まれる場合には、例えば、符号化モードを、フィールド符号化モードに設定し、解像度変換多視点色画像に、インターレースパッキングがされているパッキング色画像が含まれない場合には、例えば、符号化モードを、フレーム符号化モード、又は、フィールド符号化モードに設定する。
　したがって、解像度変換多視点色画像に、インターレースパッキングがされているパッキング色画像が含まれているときには、構造変換部３５２において、符号化モードが、必ず、フィールド符号化モードに設定されるため、インターレースパッキングがされているパッキング色画像、つまり、パラメータframe_packing_info[i]が1になっている画像についてのみ伝送されるパラメータframe_field_codingには、必ず、フィールド符号化モードを表す1がセットされる。
　以上のように、本実施の形態では、パラメータframe_packing_info[i]が1になっている画像についてのみ伝送されるパラメータframe_field_codingには、必ず、フィールド符号化モードを表す1がセットされる。したがって、パラメータframe_field_codingは、パラメータframe_packing_info[i]から一意に認識することができるので、パラメータframe_packing_info[i]で代用することができ、解像度変換SEIとしての3dv_view_resolution(payloadSize)に含めなくてもよい。
　なお、解像度変換多視点色画像に、インターレースパッキングがされているパッキング色画像が含まれている場合に、そのパッキング色画像を符号化する符号化モードとしては、フィールド符号化モードではなく、フレーム符号化モードを採用することができる。
　すなわち、パッキング色画像を符号化する符号化モードは、フィールド符号化モードとフレーム符号化モードとを、例えば、ピクチャ単位等で切り替えることができる。この場合、パラメータframe_field_codingには、符号化モードに応じて、フィールド符号化モードを表す1、又は、フレーム符号化モードを表す0がセットされる。
　パラメータview_id_in_frame[i]は、パッキング色画像にパッキングされている画像を特定するインデクスを表す。
　ここで、パラメータview_id_in_frame[i]の引数iは、他のパラメータview_id[i]及びframe_packing_info[i]の引数iと異なるため、説明を分かりやすくするために、パラメータview_id_in_frame[i]の引数iを、jと記載し、パラメータview_id_in_frame[i]を、view_id_in_frame[j]と記載することとする。
　パラメータview_id_in_frame[j]は、パラメータframe_field_codingと同様に、解像度変換多視点色画像を構成する画像のうちの、パラメータframe_packing_info[i]が0でない画像、すなわち、パッキング色画像についてだけ伝送される。
　パッキング色画像のパラメータframe_packing_info[i]が1である場合、すなわち、パッキング色画像が、２つの視点の画像の各ラインを交互に並べて配置するインターレースパッキングがされた画像である場合、引数j=0のパラメータview_id_in_frame[0]は、パッキング色画像にインターレースパッキングされている画像のうちの、奇数番目のライン（トップフィールドのライン）に配置されているラインの画像を特定するインデクスを表し、引数j=1のパラメータview_id_in_frame[1]は、パッキング色画像にインターレースパッキングされている画像のうちの、偶数番目のライン（ボトムフィールドのライン）に配置されているラインの画像を特定するインデクスを表す。
　本実施の形態では、パッキング色画像は、左視点色画像（の奇数ライン）を、パッキング色画像のトップフィールドに、右視点色画像（の偶数ライン）を、パッキング色画像のボトムフィールドに、それぞれ配置するインターレースパッキングがされた画像であるので、パッキング色画像にインターレースパッキングされている画像のうちの、トップフィールドに配置されているラインの画像を特定するインデクスを表す引数j=0のパラメータview_id_in_frame[0]には、左視点色画像の視点#0を表す番号0がセットされ、ボトムフィールドに配置されているラインの画像を特定するインデクスを表す引数j=1のパラメータview_id_in_frame[1]には、右視点色画像の視点#2を表す番号2がセットされる。
　図２７は、図２４の視差予測部１３１で行われるパッキング色画像のピクチャ（フィールド）の視差予測を説明する図である。
　図２６で説明したように、エンコーダ３４２（図２４）において、構造変換部３５２は、解像度変換多視点色画像に、インターレースパッキングがされているパッキング色画像が含まれる場合には、符号化モードを、フィールド符号化モードに設定する。
　そして、構造変換部３５２は、符号化モードを、フィールド符号化モードに設定した場合には、画面並び替えバッファ１１２から、パッキング色画像のピクチャとしてのフレームが供給されると、そのフレームを、トップフィールドとボトムフィールドとに変換し、各フィールドをピクチャとして、演算部１１３、並びに、画面内予測部１２２、及び、インター予測部１２３に供給する。
　この場合、エンコーダ３４２では、パッキング色画像のピクチャとしてのフィールド（トップフィールド、ボトムフィールド）を、順次、対象ピクチャとして、処理が行われる。
　したがって、インター予測部１２３（図２４）の視差予測部１３１では、パッキング色画像のピクチャとしてのフィールド（の対象ブロック）の視差予測が、DPB４３に記憶されたデコード中央視点色画像のピクチャ（対象ピクチャと同一時刻のピクチャ）を参照画像として用いて行われる。
　ここで、本実施の形態では、図２３で説明したように、エンコーダ３４１及びエンコーダ３４２では、一方の符号化モードが、フィールド符号化モードに設定されるときには、他方の符号化モードも、フィールド符号化モードに設定される。
　したがって、エンコーダ３４２において、符号化モードがフィールド符号化モードに設定される場合には、エンコーダ３４１でも、符号化モードがフィールド符号化モードに設定される。そして、エンコーダ３４１では、エンコーダ３４２と同様に、ベースビューの画像である中央視点色画像のフレームは、フィールド（トップフィールドとボトムフィールド）に変換され、そのフィールドを、ピクチャとして符号化が行われる。
　その結果、エンコーダ３４１では、デコード中央視点色画像のピクチャとしてのフィールドが、符号化されてローカルデコードされ、その結果得られるデコード中央視点色画像のピクチャとしてのフィールドが、DPB４３に供給されて記憶される。
　そして、視差予測部１３１では、構造変換部３５２からのパッキング色画像の対象ピクチャとしてのフィールド（の対象ブロック）の視差予測が、DPB４３に記憶されたデコード中央視点色画像のピクチャとしてのフィールドを参照画像として用いて行われる。
　すなわち、エンコーダ３４２（図２４）では、構造変換部３５２において、符号化対象のパッキング色画像のフレームが、左視点色画像のフレームの奇数ライン（左視点ライン）で構成されるトップフィールドと、右視点色画像のフレームの偶数ライン（右視点ライン）で構成されるボトムフィールドとに変換されて処理される。
　一方、エンコーダ３４１でも、エンコーダ３４２と同様に、符号化対象の中央視点色画像のフレームが、そのフレームの奇数ラインで構成されるトップフィールドと、偶数ラインで構成されるボトムフィールドとに変換されて処理される。
　そして、DPB４３には、エンコーダ３４１での処理により得られるデコード中央視点色画像のフィールド（トップフィールド、ボトムフィールド）が、視差予測の参照画像となるピクチャとして記憶される。
　その結果、視差予測部１３１では、パッキング色画像の対象ピクチャとしてのフィールドの視差予測が、DPB４３に記憶されたデコード中央視点色画像のフィールドを参照画像として用いて行われる。
　すなわち、パッキング色画像の対象ピクチャとしてのトップフィールドの視差予測は、DPB４３に記憶されたデコード中央視点色画像の（対象ピクチャと同一時刻の）トップフィールドを参照画像として用いて行われる。また、パッキング色画像の対象ピクチャとしてのボトムフィールドの視差予測は、DPB４３に記憶されたデコード中央視点色画像の（対象ピクチャと同一時刻の）ボトムフィールドを参照画像として用いて行われる。
　したがって、対象ピクチャとしてのパッキング色画像のフィールドの解像度比と、視差予測部１３１での視差予測において、そのパッキング色画像の予測画像を生成する際に参照する参照画像のピクチャとしてのデコード中央視点色画像のフィールドの解像度比とは、合致（マッチ）する。
　すなわち、符号化対象のパッキング色画像のトップフィールド、及び、ボトムフィールドを構成する左視点色画像、及び、右視点色画像それぞれの垂直解像度は、元の1/2になっており、したがって、パッキング色画像のトップフィールド及びボトムフィールドになっている左視点色画像、及び、右視点色画像それぞれの解像度比は、いずれも、2:1になっている。
　一方、参照画像は、デコード中央視点色画像のフィールド（トップフィールド、ボトムフィールド）であり、解像度比は、2:1であるから、パッキング色画像のトップフィールド及びボトムフィールドになっている左視点色画像、及び、右視点色画像の解像度比である2:1と一致する。
　以上のように、パッキング色画像の対象ピクチャとなるフィールド（トップフィールド、ボトムフィールド）の解像度比と、参照画像となるデコート中央視点色画像のフィールドの解像度比とが一致しているので、視差予測の予測精度を改善し（視差予測で生成される予測画像と、対象ブロックとの残差が小になり）、符号化効率を向上させることができる。
　その結果、上述した、多視点色画像（及び、多視点奥行き画像）のベースバンドでのデータ量を削減する解像度変換に起因する、受信装置１２で得られる復号画像の画質の劣化を防止することができる。
　［パッキング色画像の符号化処理］
　図２８は、図２４のエンコーダ３４２が行う、パッキング色画像を符号化する符号化処理を説明するフローチャートである。
　ステップＳ１０１において、A/D変換部１１１は、そこに供給されるパッキング色画像のピクチャとしてのフレームのアナログ信号をA/D変換し、画面並び替えバッファ１１２に供給して、処理は、ステップＳ１０２に進む。
　ステップＳ１０２では、画面並び替えバッファ１１２は、A/D変換部１１１からのパッキング色画像のピクチャとしてのフレームを一時記憶し、あらかじめ決められたGOPの構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。
　画面並び替えバッファ１１２から読み出されたピクチャとしてのフレームは、構造変換部３５２に供給され、処理は、ステップＳ１０２からステップＳ１０３に進む。
　ステップＳ１０３では、SEI生成部３５１が、解像度変換装置３２１Ｃ（図１８）から供給される解像度変換情報から、図２５及び図２６で説明した解像度変換SEIを生成し、可変長符号化部１１６に供給して、処理は、ステップＳ１０４に進む。
　ステップＳ１０４では、構造変換部３５２は、解像度変換装置３２１Ｃ（図１８）から供給される解像度変換情報に基づいて、符号化モードをフィールド符号化モードに設定する。
　さらに、構造変換部３５２は、符号化モードをフィールド符号化モードに設定したことに伴い、画面並び替えバッファ１１２からのパッキング色画像のピクチャとしてのフレームを、トップフィールドとボトムフィールドとの２つのフィールドに変換し、演算部１１３、画面内予測部１２２、並びに、インター予測部１２３の視差予測部１３１、及び、時間予測部１３２に供給して、処理は、ステップＳ１０４からステップＳ１０５に進む。
　ステップＳ１０５では、演算部１１３は、構造変換部３５２からのパッキング色画像のピクチャとしてのフィールドを、符号化対象の対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロックを、順次、符号化対象の対象ブロックとする。
　そして、演算部１１３は、対象ブロックの画素値と、予測画像選択部１２４から供給される予測画像の画素値との差分（残差）を、必要に応じて演算し、直交変換部１１４に供給して、処理は、ステップＳ１０５からステップＳ１０６に進む。
　ステップＳ１０６では、直交変換部１１４は、演算部１１３からの対象ブロックに対して直交変換を施し、その結果得られる変換係数を、量子化部１１５に供給して、処理は、ステップＳ１０７に進む。
　ステップＳ１０７において、量子化部１１５は、直交変換部１１４から供給される変換係数を量子化し、その結果得られる量子化値を、逆量子化部１１８、及び、可変長符号化部１１６に供給して、処理は、ステップＳ１０８に進む。
　ステップＳ１０８では、逆量子化部１１８は、量子化部１１５からの量子化値を、変換係数に逆量子化し、逆直交変換部１１９に供給して、処理は、ステップＳ１０９に進む。
　ステップＳ１０９では、逆直交変換部１１９は、逆量子化部１１８からの変換係数を逆直交変換し、演算部１２０に供給して、処理は、ステップＳ１１０に進む。
　ステップＳ１１０では、演算部１２０は、逆直交変換部１１９から供給されるデータに対して、必要に応じて、予測画像選択部１２４から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコードパッキング色画像を求める。そして、演算部１２０は、対象ブロックをローカルデコードしたデコードパッキング色画像を、デブロッキングフィルタ１２１に供給して、処理は、ステップＳ１１０からステップＳ１１１に進む。
　ステップＳ１１１では、デブロッキングフィルタ１２１は、演算部１２０からのデコードパッキング色画像をフィルタリングし、DPB４３に供給して、処理は、ステップＳ１１２に進む。
　ステップＳ１１２では、DPB４３が、中央視点色画像を符号化するエンコーダ３４１（図２３）から、その中央視点色画像を符号化して、ローカルデコードすることにより得られるデコード中央視点色画像が供給されるのを待って、そのデコード中央視点色画像を記憶し、処理は、ステップＳ１１３に進む。
　ここで、上述したように、エンコーダ３４１では、視差予測が行われないことを除いて、エンコーダ３４２と同様の符号化処理、すなわち、中央視点色画像のフィールドを、ピクチャとするフィールド符号化モードでの符号化が行われる。したがって、DPB４３には、デコード中央視点色画像のフィールドが記憶される。
　ステップＳ１１３では、DPB４３が、デブロッキングフィルタ１２１からのデコードパッキング色画像（のフィールド）を記憶し、処理は、ステップＳ１１４に進む。
　ステップＳ１１４では、画面内予測部１２２は、次の対象ブロックについて、イントラ予測処理（画面内予測処理）を行う。
　すなわち、画面内予測部１２２は、次の対象ブロックについて、DPB４３に記憶されたデコードパッキング色画像のピクチャとしてのフィールドから、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行う。
　そして、画面内予測部１２２は、イントラ予測の予測画像を用いて、次の対象ブロックを符号化するのに要する符号化コストを求め、ヘッダ情報（となるイントラ予測に関する情報）と、イントラ予測の予測画像とともに、予測画像選択部１２４に供給して、処理は、ステップＳ１１４からステップＳ１１５に進む。
　ステップＳ１１５では、時間予測部１３２は、次の対象ブロックについて、デコードパッキング色画像のピクチャとしてのフィールドを、参照画像として、時間予測処理を行う。
　すなわち、時間予測部１３２は、次の対象ブロックについて、DPB４３に記憶されたデコードパッキング色画像のピクチャとしてのフィールドを用いて、時間予測を行うことにより、マクロブロックタイプ等が異なるインター予測モードごとに、予測画像や符号化コスト等を求める。
　さらに、時間予測部１３２は、符号化コストが最小のインター予測モードを、最適インター予測モードとして、その最適インター予測モードの予測画像を、ヘッダ情報（となるインター予測に関する情報）と、符号化コストとともに、予測画像選択部１２４に供給して、処理は、ステップＳ１１５からステップＳ１１６に進む。
　ステップＳ１１６では、視差予測部１３１は、次の対象ブロックについて、デコード中央視点色画像のピクチャとしてのフィールドを、参照画像として、視差予測処理を行う。
　すなわち、視差予測部１３１は、次の対象ブロックについて、DPB４３に記憶されたデコード中央視点色画像のピクチャとしてのフィールドを用いて視差予測を行うことにより、マクロブロックタイプ等が異なるインター予測モードごとに、予測画像や符号化コスト等を求める。
　さらに、視差予測部１３１は、符号化コストが最小のインター予測モードを、最適インター予測モードとして、その最適インター予測モードの予測画像を、ヘッダ情報（となるインター予測に関する情報）と、符号化コストとともに、予測画像選択部１２４に供給して、処理は、ステップＳ１１６からステップＳ１１７に進む。
　ステップＳ１１７では、予測画像選択部１２４は、画面内予測部１２２からの予測画像（イントラ予測の予測画像）、時間予測部１３２からの予測画像（時間予測画像）、及び、視差予測部１３１からの予測画像（視差予測画像）のうちの、例えば、符号化コストが最小の予測画像を選択し、演算部１１３及び２２０に供給して、処理は、ステップＳ１１８に進む。
　ここで、予測画像選択部１２４がステップＳ１１７で選択する予測画像が、次の対象ブロックの符号化で行われるステップＳ１０５やＳ１１０の処理で用いられる。
　また、予測画像選択部１２４は、画面内予測部１２２、時間予測部１３２、及び、視差予測部１３１からのヘッダ情報のうちの、符号化コストが最小の予測画像とともに供給されたヘッダ情報を選択し、可変長符号化部１１６に供給する。
　ステップＳ１１８では、可変長符号化部１１６は、量子化部１１５からの量子化値に対して、可変長符号化を施し、符号化データを得る。
　さらに、可変長符号化部１１６は、予測画像選択部１２４からのヘッダ情報や、SEI生成部３５１からの解像度変換SEIを、符号化データのヘッダに含める。
　そして、可変長符号化部１１６は、符号化データを、蓄積バッファ１１７に供給して、処理は、ステップＳ１１８からステップＳ１１９に進む。
　ステップＳ１１９では、蓄積バッファ１１７は、可変長符号化部１１６からの符号化データを一時記憶する。
　蓄積バッファ１１７に記憶された符号化データは、所定の伝送レートで、多重化装置２３（図１８）に供給（伝送）される。
　エンコーダ３４２では、以上のステップＳ１０１ないしＳ１１９の処理が、適宜繰り返し行われる。
　図２９は、図２８のステップＳ１１６で、視差予測部１３１（図１３）が行う視差予測処理を説明するフローチャートである。
　ステップＳ１３１において、視差予測部１３１（図１３）では、視差検出部１４１、及び、視差補償部１４２が、DPB４３からのデコード中央視点色画像のピクチャとしてのフィールドを参照画像として受け取り、処理は、ステップＳ１３２に進む。
　ステップＳ１３２では、視差検出部１４１は、構造変換部３５２（図２４）から供給されるパッキング色画像の対象ブロックと、DPB４３からの参照画像としてのデコード中央視点色画像のフィールドとを用いてMEを行うことにより、対象ブロックの、参照画像に対する視差を表す視差ベクトルmvを、マクロブロックタイプごとに検出し、視差補償部１４２に供給して、処理は、ステップＳ１３３に進む。
　ステップＳ１３３では、視差補償部１４２は、DPB４３からの参照画像としてのデコード中央視点色画像のフィールドの視差補償を、視差検出部１４１からの対象ブロックの視差ベクトルmvを用いて行うことで、対象ブロックの予測画像を、マクロブロックタイプごとに生成し、処理は、ステップＳ１３４に進む。
　すなわち、視差補償部１４２は、参照画像としてのデコード中央視点色画像のフィールドの、対象ブロックの位置から、視差ベクトルmvだけずれた位置のブロック（領域）である対応ブロックを、予測画像として取得する。
　ステップＳ１３４では、視差補償部１４２は、既に符号化済みの、対象ブロックの周辺のマクロブロックの視差ベクトル等を必要に応じて用いて、対象ブロックの視差ベクトルmvの予測ベクトルPMVを求める。
　さらに、視差補償部１４２は、対象ブロックの視差ベクトルmvと、その予測ベクトルPMVとの差分である残差ベクトルを求める。
　そして、視差補償部１４２は、マクロブロックタイプ等の予測モードごとの対象ブロックの予測画像を、その対象ブロックの残差ベクトル、及び、予測画像を生成するのに用いた参照画像（デコード中央視点色画像のフィールド）に割り当てられている参照インデクスとともに、予測モードと対応付けて、予測情報バッファ１４３、及び、コスト関数算出部１４４に供給して、処理は、ステップＳ１３４からステップＳ１３５に進む。
　ステップＳ１３５では、予測情報バッファ１４３が、視差補償部１４２からの、予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスを、予測情報として、一時記憶して、処理は、ステップＳ１３６に進む。
　ステップＳ１３６では、コスト関数算出部１４４が、予測モードとしてのマクロブロックタイプごとに、構造変換部３５２（図２４）からの対象ピクチャの対象ブロックの符号化に要する符号化コスト（コスト関数値）を、コスト関数を演算することにより求め、モード選択部１４５に供給して、処理は、ステップＳ１３７に進む。
　ステップＳ１３７では、モード選択部１４５は、コスト関数算出部１４４からの予測モードごとの符号化コストの中から、最小値である最小コストを検出する。
　さらに、モード選択部１４５は、最小コストが得られた予測モードを、最適インター予測モードに選択する。
　そして、処理は、ステップＳ１３７からステップＳ１３８に進み、モード選択部１４５は、最適インター予測モードである予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスを、予測情報バッファ１４３から読み出し、最適インター予測モードである予測モードとともに、予測情報として、予測画像選択部１２４に供給して、処理はリターンする。
　［復号装置３３２Ｃの構成例］
　図３０は、図１９の復号装置３３２Ｃの構成例を示すブロック図である。
　なお、図中、図１４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図３０において、復号装置３３２Ｃは、デコーダ４１１及び４１２、並びに、DPB２１３を有する。
　したがって、図３０の復号装置３３２Ｃは、DPB２１３を有する点で、図１４の復号装置３２Ｃと共通するが、デコーダ２１１及び２１２に代えて、デコーダ４１１及び４１２が設けられている点で、図１４の復号装置３２Ｃと相違する。
　デコーダ４１１には、逆多重化装置３１（図１９）からの多視点色画像符号化データのうちの、ベースビューの画像である中央視点色画像の符号化データが供給される。
　デコーダ４１１は、そこに供給される中央視点色画像の符号化データを、拡張方式で復号し、その結果得られる中央視点色画像を出力する。
　デコーダ４１２には、逆多重化装置３１（図１９）からの多視点色画像符号化データのうちの、ノンベースビューの画像であるパッキング色画像の符号化データが供給される。
　デコーダ４１２は、そこに供給されるパッキング色画像の符号化データを、拡張方式で復号し、その結果得られるパッキング色画像を出力する。
　デコーダ４１１が出力する中央視点色画像と、デコーダ４１２が出力するパッキング色画像とが、解像度変換多視点色画像として、解像度逆変換装置３３３Ｃ（図１９）に供給される。
　また、デコーダ４１１及び４１２は、それぞれ、図２３のエンコーダ３４１及び３４２で予測符号化された画像を復号する。
　予測符号化された画像を復号するには、その予測符号化で用いられた予測画像が必要であるため、デコーダ４１１及び４１２は、予測符号化で用いられた予測画像を生成するために、復号対象の画像を復号した後、予測画像の生成に用いる、復号後の画像を、DPB２１３に一時記憶させる。
　DPB２１３は、デコーダ４１１及び４１２で共用され、デコーダ４１１及び４１２それぞれで得られる復号後の画像（デコード画像）を一時記憶する。
　デコーダ４１１及び４１２それぞれは、DPB２１３に記憶されたデコード画像から、復号対象の画像を復号するのに参照する参照画像を選択し、その参照画像を用いて、予測画像を生成する。
　以上のように、DPB２１３は、デコーダ４１１及び４１２で共用されるので、デコーダ４１１及び４１２それぞれは、自身で得られたデコード画像の他、他のデコーダで得られたデコード画像をも参照することができる。
　但し、デコーダ４１１は、ベースビューの画像を復号するので、デコーダ４１１で得られたデコード画像のみを参照する（視差予測を行わない）。
　［デコーダ４１２の構成例］
　図３１は、図３０のデコーダ４１２の構成例を示すブロック図である。
　なお、図中、図１５及び図１６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図３１において、デコーダ４１２は、蓄積バッファ２４１、可変長復号部２４２、逆量子化部２４３、逆直交変換部２４４、演算部２４５、デブロッキングフィルタ２４６、画面並び替えバッファ２４７、D/A変換部２４８、画面内予測部２４９、インター予測部２５０、予測画像選択部２５１、及び、構造逆変換部４５１を有する。
　したがって、図３１のデコーダ４１２は、蓄積バッファ２４１ないし予測画像選択部２５１を有する点で、図１５のデコーダ２１２と共通する。
　但し、図３１のデコーダ４１２は、構造逆変換部４５１が新たに設けられている点で、図１５のデコーダ２１２と相違する。
　図３１のデコーダ４１２では、可変長復号部２４２が、蓄積バッファ２４１から、解像度変換SEIを含む、パッキング色画像の符号化データを受け取り、その符号化データに含まれる解像度変換SEIを、解像度変換情報として、解像度逆変換装置３３３Ｃ（図１９）に供給する。
　また、可変長復号部２４２は、解像度変換SEIを、構造逆変換部４５１に供給する。
　構造逆変換部４５１は、デブロッキングフィルタ２４６の出力側に設けられており、したがって、構造逆変換部４５１には、可変長復号部２４２から、解像度変換SEIが供給される他、デブロッキングフィルタ２４６から、フィルタリング後のデコード画像（デコードパッキング色画像）が供給される。
　構造逆変換部４５１は、デブロッキングフィルタ２４６からのデコードパッキング色画像について、可変長復号部２４２からの解像度変換SEIに基づき、図２４の構造変換部３５２で行われた変換の逆変換を行う。
　本実施の形態では、図２４の構造変換部３５２では、パッキング色画像のフレームが、パッキング色画像のフィールド（トップフィールドとボトムフィールド）に変換されており、したがって、デブロッキングフィルタ２４６から構造逆変換部４５１には、デコードパッキング色画像のピクチャとしてのフィールドが供給される。
　構造逆変換部４５１は、デブロッキングフィルタ２４６から、デコードパッキング色画像のフレームを構成するトップフィールドとボトムフィールドとが供給されると、そのトップフィールドとボトムフィールドの各ラインを交互に並べて配置することにより、フレームを（再）構成し、画面並び替えバッファ２４７に供給する。
　なお、図３０のデコーダ４１１も、図３１のデコーダ４１２と同様に構成される。但し、ベースビューの画像を復号するデコーダ４１１では、インター予測において、視差予測は行われず、時間予測だけが行われる。したがって、デコーダ４１１は、視差予測を行う視差予測部２６１を設けずに構成することができる。
　ベースビューの画像を復号するデコーダ４１１は、視差予測を行わないことを除いて、ノンベースビューの画像を復号するデコーダ４１２と同様の処理を行うので、以下では、デコーダ４１２の説明を行い、デコーダ４１１の説明は、適宜省略する。
　［パッキング色画像の復号処理］
　図３２は、図３１のデコーダ４１２が行う、パッキング色画像の符号化データを復号する復号処理を説明するフローチャートである。
　ステップＳ２０１において、蓄積バッファ２４１は、そこに供給されるパッキング色画像の符号化データを記憶し、処理は、ステップＳ２０２に進む。
　ステップＳ２０２では、可変長復号部２４２は、蓄積バッファ２４１に記憶された符号化データを読み出して可変長復号することにより、量子化値や、予測モード関連情報、解像度変換SEIを復元する。そして、可変長復号部２４２は、量子化値を、逆量子化部２４３に、予測モード関連情報を、画面内予測部２４９、並びに、インター予測部２５０の参照インデクス処理部２６０、視差予測部２６１、及び、時間予測部２６２に、解像度変換SEIを、構造逆変換部４５１、及び、解像度逆変換装置３３３Ｃ（図１９）に、それぞれ供給して、処理は、ステップＳ２０３に進む。
　ステップＳ２０３では、逆量子化部２４３は、可変長復号部２４２からの量子化値を、変換係数に逆量子化し、逆直交変換部２４４に供給して、処理は、ステップＳ２０４に進む。
　ステップＳ２０４では、逆直交変換部２４４は、逆量子化部２４３からの変換係数を逆直交変換し、マクロブロック単位で、演算部２４５に供給して、処理は、ステップＳ２０５に進む。
　ステップＳ２０５では、演算部２４５は、逆直交変換部２４４からのマクロブロックを復号対象の対象ブロック（残差画像）として、その対象ブロックに対して、必要に応じて、予測画像選択部２５１から供給される予測画像を加算することで、デコード画像を求める。そして、演算部２４５は、デコード画像を、デブロッキングフィルタ２４６に供給し、処理は、ステップＳ２０５からステップＳ２０６に進む。
　ステップＳ２０６では、デブロッキングフィルタ２４６は、演算部２４５からのデコード画像に対して、フィルタリングを行い、そのフィルタリング後のデコード画像（デコードパッキング色画像）を、DPB２１３、及び、構造逆変換部４５１に供給して、処理は、ステップＳ２０７に進む。
　ステップＳ２０７では、DPB２１３が、中央視点色画像を復号するデコーダ４１１（図３０）から、デコード中央視点色画像が供給されるのを待って、そのデコード中央視点色画像を記憶し、処理は、ステップＳ２０８に進む。
　ステップＳ２０８では、DPB２１３が、デブロッキングフィルタ２４６からのデコードパッキング色画像を記憶し、処理は、ステップＳ２０９に進む。
　ここで、図２３のエンコーダ２１１では、中央視点色画像が、フィールドを対象ピクチャとして符号化され、エンコーダ２１２では、パッキング色画像が、フィールドを対象ピクチャとして符号化される。
　このため、中央視点色画像の符号化データを復号するデコーダ４１１では、中央視点色画像が、フィールドを対象ピクチャとして復号される。同様に、パッキング色画像の符号化データを復号するデコーダ４１２では、パッキング色画像が、フィールドを対象ピクチャとして復号される。
　したがって、DPB２１３には、フィールド（構造）のデコード中央視点色画像、及び、デコードパッキング色画像が記憶される。
　ステップＳ２０９では、画面内予測部２４９、並びに、インター予測部２５０（を構成する視差予測部２６１及び時間予測部２６２）が、可変長復号部２４２から供給される予測モード関連情報に基づき、次の対象ブロック（次に復号対象となるマクロブロック）が、イントラ予測（画面内予測）、及び、インター予測のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを判定する。
　そして、ステップＳ２０９において、次の対象ブロックが、画面内予測で生成された予測画像を用いて符号化されていると判定された場合、処理は、ステップＳ２１０に進み、画面内予測部２４９は、イントラ予測処理（画面内予測処理）を行う。
　すなわち、画面内予測部２４９は、次の対象ブロックについて、DPB２１３に記憶されたデコードパッキング色画像から、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行い、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ２１０からステップＳ２１５に進む。
　また、ステップＳ２０９において、次の対象ブロックが、インター予測で生成された予測画像を用いて符号化されていると判定された場合、処理は、ステップＳ２１１に進み、参照インデクス処理部２６０は、可変長復号部２４２からの予測モード関連情報に含まれる予測用の参照インデクス（に一致する参照インデクス）が割り当てられているデコード中央視点色画像のピクチャとしてのフィールド、又は、デコードパッキング色画像のピクチャとしてのフィールドを、DPB２１３から読み出すことにより、参照画像として選択し、処理は、ステップＳ２１２に進む。
　ステップＳ２１２では、参照インデクス処理部２６０が、可変長復号部２４２からの予測モード関連情報に含まれる予測用の参照インデクスに基づき、次の対象ブロックが、インター予測である時間予測、及び、視差予測のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを判定する。
　ステップＳ２１２において、次の対象ブロックが、時間予測で生成された予測画像を用いて符号化されていると判定された場合、すなわち、可変長復号部２４２からの（次の）対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコードパッキング色画像のピクチャであり、ステップＳ２１１において、そのデコードパッキング色画像のピクチャが、参照画像として選択されている場合、参照インデクス処理部２６０は、参照画像としてのデコードパッキング色画像のピクチャを、時間予測部２６２に供給して、処理は、ステップＳ２１３に進む。
　ステップＳ２１３では、時間予測部２６２が、時間予測処理を行う。
　すなわち、時間予測部２６２は、次の対象ブロックについて、参照インデクス処理部２６０からの参照画像としてのデコードパッキング色画像のピクチャの動き補償を、可変長復号部２４２からの予測モード関連情報を用いて行うことにより、予測画像を生成し、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ２１３からステップＳ２１５に進む。
　また、ステップＳ２１２において、次の対象ブロックが、視差予測で生成された予測画像を用いて符号化されていると判定された場合、すなわち、可変長復号部２４２からの（次の）対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコード中央視点色画像のピクチャとしてのフィールドであり、ステップＳ２１１において、そのデコード中央視点色画像のピクチャとしてのフィールドが、参照画像として選択されている場合、参照インデクス処理部２６０は、参照画像としてのデコード中央視点色画像のピクチャとしてのフィールドを、視差予測部２６１に供給して、処理は、ステップＳ２１４に進む。
　ステップＳ２１４では、視差予測部２６１が、視差予測処理を行う。
　すなわち、視差予測部２６１は、次の対象ブロックについて、参照画像としてのデコード中央視点色画像のピクチャとしてのフィールドの視差補償を、可変長復号部２４２からの予測モード関連情報を用いて行うことにより、予測画像を生成し、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ２１４からステップＳ２１５に進む。
　ステップＳ２１５では、予測画像選択部２５１は、画面内予測部２４９、時間予測部２６２、及び、視差予測部２６１のうちの、予測画像が供給される方からの、その予測画像を選択し、演算部２４５に供給して、処理は、ステップＳ２１６に進む。
　ここで、予測画像選択部２５１がステップＳ２１５で選択する予測画像が、次の対象ブロックの復号で行われるステップＳ２０５の処理で用いられる。
　ステップＳ２１６では、構造逆変換部４５１が、可変長復号部２４２からの解像度変換SEIに基づき、デブロッキングフィルタ２４６から、フレームを構成するトップフィールドとボトムフィールドのデコードパッキング色画像が供給されている場合には、そのトップフィールドとボトムフィールドを、フレームに逆変換し、画面並び替えバッファ２４７に供給して、処理は、ステップＳ２１７に進む。
　ステップＳ２１７では、画面並び替えバッファ２４７が、構造逆変換部４５１からのデコードパッキング色画像のピクチャとしてのフレームを一時記憶して読み出すことで、ピクチャの並びを、元の並びに並び替え、D/A変換部２４８に供給して、処理は、ステップＳ２１８に進む。
　ステップＳ２１８では、D/A変換部２４８は、画面並び替えバッファ２４７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。
　デコーダ４１２では、以上のステップＳ２０１ないしＳ２１８の処理が、適宜繰り返し行われる。
　図３３は、図３２のステップＳ２１４で、視差予測部２６１（図１７）が行う視差予測処理を説明するフローチャートである。
　ステップＳ２３１において、視差予測部２６１（図１７）では、視差補償部２７２が、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャとしてのフィールドを受け取り、処理は、ステップＳ２３２に進む。
　ステップＳ２３２では、視差補償部２７２は、可変長復号部２４２からの予測モード関連情報に含まれる、（次の）対象ブロックの残差ベクトルを受け取り、処理は、ステップＳ２３３に進む。
　ステップＳ２３３では、視差補償部２７２は、既に復号された、対象ブロックの周辺のマクロブロックの視差ベクトル等を用いて、可変長復号部２４２からの予測モード関連情報に含まれる予測モード（最適インター予測モード）が表すマクロブロックタイプについての対象ブロックの予測ベクトルを求める。
　さらに、視差補償部２７２は、対象ブロックの予測ベクトルと、可変長復号部２４２からの残差ベクトルとを加算することにより、対象ブロックの視差ベクトルmvを復元し、処理は、ステップＳ２３３からステップＳ２３４に進む。
　ステップＳ２３４では、視差補償部２７２は、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャとしてのフィールドの視差補償を、パッキング色画像の対象ブロックの視差ベクトルmvを用いて行うことで、対象ブロックの予測画像を生成し、予測画像選択部２５１に供給して、処理はリターンする。
　［符号化装置３２２Ｃの他の構成例］　
　図３４は、図１８の符号化装置３２２Ｃの他の構成例を示すブロック図である。
　なお、図中、図２３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図３４において、符号化装置３２２Ｃは、エンコーダ５４１及び５４２、並びに、DPB４３を有する。
　したがって、図３４の符号化装置３２２Ｃは、DPB４３を有する点で、図２３の場合と共通し、エンコーダ３４１及び３４２に代えて、エンコーダ５４１及び５４２がそれぞれ設けられている点で、図２３の場合と相違する。
　ここで、パッキング色画像の解像度比と、中央視点色画像の解像度比とが一致していない場合には、パッキング色画像を符号化対象として、その視差予測が、中央視点色画像を参照画像として用いて行われるときの他、中央視点色画像を符号化対象として、その視差予測が、パッキング色画像を参照画像として用いて行われるときも、視差予測の予測精度が低下し（視差予測で生成される予測画像と、対象ブロックとの残差が大になり）、符号化効率が悪くなる。
　図２３では、中央視点色画像を、ベースビューの画像として符号化するとともに、パッキング色画像を、ノンベースビューの画像として符号化するようになっていたが、図３４では、ベースビューの画像を符号化するエンコーダ５４１において、パッキング色画像を、ベースビューの画像として符号化するとともに、ノンベースビューの画像を符号化するエンコーダ５４２において、中央視点色画像を、ノンベースビューの画像として符号化するようになっている。
　すなわち、エンコーダ５４１には、解像度変換装置３２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、パッキング色画像（のフレーム）が供給される。
　エンコーダ５４２には、解像度変換装置３２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、中央視点色画像（のフレーム）が供給される。
　さらに、エンコーダ５４１及び５４２には、解像度変換装置３２１Ｃからの解像度変換情報が供給される。
　エンコーダ５４１は、そこに供給されるパッキング色画像を、ベースビューの画像として、図２３のエンコーダ３４１と同様の符号化を行い、その結果得られるパッキング色画像の符号化データを出力する。
　エンコーダ５４２は、そこに供給される中央視点色画像を、ノンベースビューの画像として、図２３のエンコーダ３４２と同様の符号化を行い、その結果得られる中央視点色画像の符号化データを出力する。
　ここで、エンコーダ５４１は、符号化対象が、中央視点色画像ではなく、パッキング色画像であることを除き、図２３のエンコーダ３４１と同様の処理を行う。エンコーダ５４２も、符号化対象が、パッキング色画像ではなく、中央視点色画像であることを除き、図２３のエンコーダ３４２と同様の処理を行う。
　したがって、エンコーダ５４１及び５４２では、符号化モードが、フィールド符号化モード、又は、フレーム符号化モードに設定されるが、その符号化モードの設定は、図２３のエンコーダ３４１及び３４２と同様に、解像度変換装置３２１Ｃからの解像度変換情報に基づいて行われる。
　エンコーダ５４１が出力するパッキング色画像の符号化データと、エンコーダ５４２が出力する中央視点色画像の符号化データとは、多視点色画像符号化データとして、多重化装置２３（図１８）に供給される。
　なお、エンコーダ５４１及び５４２は、図２３のエンコーダ３４１及び３４２と同様に、符号化対象の画像を、MVCと同様に予測符号化するため、その予測符号化に用いる予測画像を生成するのに、符号化対象の画像を符号化した後、ローカルデコードを行って、デコード画像を得る。
　DPB４３は、エンコーダ５４１及び５４２で共用され、エンコーダ５４１及び５４２それぞれで得られるデコード画像を一時記憶する。
　エンコーダ５４１及び５４２それぞれは、DPB４３に記憶されたデコード画像から、符号化対象の画像を符号化するのに参照する参照画像を選択する。そして、エンコーダ５４１及び５４２それぞれは、参照画像を用いて、予測画像を生成し、その予測画像を用いて、画像の符号化（予測符号化）を行う。
　したがって、エンコーダ５４１及び５４２それぞれは、自身で得られたデコード画像の他、他のエンコーダで得られたデコード画像をも参照することができる。
　但し、上述したように、エンコーダ５４１は、ベースビューの画像を符号化するので、エンコーダ５４１で得られたデコード画像のみを参照する。
　［エンコーダ５４２の構成例］
　図３５は、図３４のエンコーダ５４２の構成例を示すブロック図である。
　なお、図中、図２４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図３５において、エンコーダ５４２は、A/D変換部１１１、画面並び替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可変長符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、演算部１２０、デブロッキングフィルタ１２１、画面内予測部１２２、インター予測部１２３、予測画像選択部１２４、SEI生成部３５１、及び、構造変換部３５２を有する。
　したがって、エンコーダ５４２は、図２４のエンコーダ３４２と同様に構成される。
　但し、エンコーダ５４２は、符号化対象が、パッキング色画像ではなく、中央視点色画像である点で、図２４のエンコーダ３４２と相違する。
　したがって、エンコーダ５４２では、視差予測部１３１において、符号化対象である中央視点色画像の視差予測が、他の視点の画像であるパッキング色画像を参照画像として用いて行われる。
　すなわち、図３５において、DPB４３には、デブロッキングフィルタ１２１から供給される、エンコーダ５４２で符号化されてローカルデコードされたノンベースビューの画像としてのデコード中央視点色画像が記憶されるとともに、エンコーダ５４１から供給される、そのエンコーダ５４１で符号化されてローカルデコードされたベースビューの画像としてのデコードパッキング色画像が記憶される。
　そして、視差予測部１３１は、符号化対象である中央視点色画像の視差予測を、DPB４３に記憶されたデコードパッキング色画像を参照画像として用いて行う。
　なお、図３４のエンコーダ５４１は、図３５のエンコーダ５４２と同様に構成される。但し、ベースビューの画像を符号化するエンコーダ５４１では、インター予測において、視差予測は行われず、時間予測だけが行われる。したがって、エンコーダ５４１は、視差予測を行う視差予測部１３１を設けずに構成することができる。
　ベースビューの画像を符号化するエンコーダ５４１は、視差予測を行わないことを除いて、ノンベースビューの画像を符号化するエンコーダ５４２と同様の処理を行うので、以下では、エンコーダ５４２の説明を行い、エンコーダ５４１の説明は、適宜省略する。
　図３６は、図３５の視差予測部１３１で行われる中央視点色画像のピクチャ（フィールド）の視差予測を説明する図である。
　エンコーダ５４２（図３５）の構造変換部３５２は、図２６で説明したように、解像度変換多視点色画像に、インターレースパッキングがされているパッキング色画像が含まれる場合には、符号化モードを、フィールド符号化モードに設定する。
　そして、構造変換部３５２は、符号化モードを、フィールド符号化モードに設定した場合には、画面並び替えバッファ１１２から、ピクチャとしてのフレームが供給されると、そのフレームを、トップフィールドとボトムフィールドとに変換し、各フィールドをピクチャとして、演算部１１３、並びに、画面内予測部１２２、及び、インター予測部１２３に供給する。
　すなわち、エンコーダ５４２（図３５）では、構造変換部３５２には、画面並び替えバッファ１１２から、符号化対象の中央視点色画像のピクチャとしてのフレームが供給される。
　構造変換部３５２は、画面並び替えバッファ１１２からの中央視点色画像のピクチャとしてのフレームを、トップフィールドとボトムフィールドとに変換し、各フィールドをピクチャとして、演算部１１３、並びに、画面内予測部１２２、及び、インター予測部１２３に供給する。
　この場合、エンコーダ５４２では、中央視点色画像のピクチャとしてのフィールド（トップフィールド、ボトムフィールド）を、順次、対象ピクチャとして、処理が行われる。
　したがって、インター予測部１２３（図３５）の視差予測部１３１では、中央視点色画像のピクチャとしてのフィールド（の対象ブロック）の視差予測が、DPB４３に記憶されたデコードパッキング色画像のピクチャ（対象ピクチャと同一時刻のピクチャ）を参照画像として用いて行われる。
　ここで、エンコーダ５４１及びエンコーダ５４２では、エンコーダ３４１及び３４２（図２３）と同様に、一方の符号化モードが、フィールド符号化モードに設定されるときには、他方の符号化モードも、フィールド符号化モードに設定される。
　したがって、エンコーダ５４２において、符号化モードがフィールド符号化モードに設定される場合には、エンコーダ５４１でも、符号化モードがフィールド符号化モードに設定される。そして、エンコーダ５４１では、ベースビューの画像であるパッキング色画像のフレームは、フィールド（トップフィールドとボトムフィールド）に変換され、そのフィールドを、ピクチャとして符号化が行われる。
　その結果、エンコーダ５４１では、デコードパッキング色画像のピクチャとしてのフィールドが、符号化されてローカルデコードされ、その結果得られるデコードパッキング色画像のピクチャとしてのフィールドが、DPB４３に供給されて記憶される。
　そして、視差予測部１３１では、構造変換部３５２からの中央視点色画像の対象ピクチャとしてのフィールド（の対象ブロック）の視差予測が、DPB４３に記憶されたデコードパッキング色画像のピクチャとしてのフィールドを参照画像として用いて行われる。
　すなわち、エンコーダ５４２（図３５）では、構造変換部３５２において、符号化対象の中央視点色画像のフレームが、そのフレームの奇数ラインで構成されるトップフィールドと、偶数ラインで構成されるボトムフィールドとに変換されて処理される。
　一方、エンコーダ５４１でも、エンコーダ５４２と同様に、符号化対象のパッキング色画像のフレームが、左視点色画像のフレームの奇数ライン（左視点ライン）で構成されるトップフィールドと、右視点色画像のフレームの偶数ライン（右視点ライン）で構成されるボトムフィールドとに変換されて処理される。
　そして、DPB４３には、エンコーダ５４１での処理により得られるデコードパッキング色画像のフィールド（トップフィールド、ボトムフィールド）が、視差予測の参照画像となるピクチャとして記憶される。
　その結果、視差予測部１３１では、中央視点色画像の対象ピクチャとしてのフィールドの視差予測が、DPB４３に記憶されたデコードパッキング色画像のフィールドを参照画像として用いて行われる。
　すなわち、中央視点色画像の対象ピクチャとしてのトップフィールドの視差予測は、DPB４３に記憶されたデコードパッキング色画像の（対象ピクチャと同一時刻の）トップフィールドを参照画像として用いて行われる。また、中央視点色画像の対象ピクチャとしてのボトムフィールドの視差予測は、DPB４３に記憶されたデコードパッキング色画像の（対象ピクチャと同一時刻の）ボトムフィールドを参照画像として用いて行われる。
　したがって、対象ピクチャとしての中央視点色画像のフィールドの解像度比と、視差予測部１３１での視差予測において、その中央視点色画像の予測画像を生成する際に参照する参照画像のピクチャとしてのデコードパッキング色画像のフィールドの解像度比とは、合致（マッチ）する。
　すなわち、符号化対象の中央視点色画像のトップフィールド、及び、ボトムフィールドそれぞれの解像度比は、いずれも、2:1である。
　一方、参照画像は、デコードパッキング色画像のトップフィールド、及び、ボトムフィールドを構成する左視点色画像、及び、右視点色画像それぞれの垂直解像度は、元の1/2になっており、したがって、デコードパッキング色画像のトップフィールド及びボトムフィールドになっている左視点色画像、及び、右視点色画像それぞれの解像度比は、いずれも、2:1である。
　したがって、デコードパッキング色画像のトップフィールド、及び、ボトムフィールドを構成する左視点色画像、及び、右視点色画像それぞれの解像度比と、中央視点色画像のトップフィールド、及び、ボトムフィールドそれぞれの解像度比とは、2:1で一致する。
　以上のように、中央視点色画像の対象ピクチャとなるフィールド（トップフィールド、ボトムフィールド）の解像度比と、参照画像となるデコートパッキング色画像のフィールドの解像度比とが一致するので、視差予測の予測精度を改善し（視差予測で生成される予測画像と、対象ブロックとの残差が小になり）、符号化効率を向上させることができる。
　その結果、上述した、多視点色画像（及び、多視点奥行き画像）のベースバンドでのデータ量を削減する解像度変換に起因する、受信装置１２で得られる復号画像の画質の劣化を防止することができる。
　［中央視点色画像の符号化処理］
　図３７は、図３５のエンコーダ５４２が行う、中央視点色画像を符号化する符号化処理を説明するフローチャートである。
　エンコーダ５４２では、ステップＳ３０１ないしＳ３１９において、符号化対象が、パッキング色画像ではなく、中央視点色画像であること、さらに、そのために、符号化対象である中央視点色画像の視差予測が、パッキング色画像を参照画像として用いて行われることを除いて、図２８のステップＳ１０１ないしＳ１１９とそれぞれ同様の処理が行われる。
　すなわち、ステップＳ３０１において、A/D変換部１１１は、そこに供給される中央視点色画像のピクチャとしてのフレームのアナログ信号をA/D変換し、画面並び替えバッファ１１２に供給して、処理は、ステップＳ３０２に進む。
　ステップＳ３０２では、画面並び替えバッファ１１２は、A/D変換部１１１からの中央視点色画像のピクチャとしてのフレームを一時記憶し、あらかじめ決められたGOPの構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。
　画面並び替えバッファ１１２から読み出されたピクチャとしてのフレームは、構造変換部３５２に供給され、処理は、ステップＳ３０２からステップＳ３０３に進む。
　ステップＳ３０３では、SEI生成部３５１が、解像度変換装置３２１Ｃ（図１８）から供給される解像度変換情報から、図２５及び図２６で説明した解像度変換SEIを生成し、可変長符号化部１１６に供給して、処理は、ステップＳ３０４に進む。
ステップＳ３０４では、構造変換部３５２は、解像度変換装置３２１Ｃ（図１８）から供給される解像度変換情報に基づいて、符号化モードをフィールド符号化モードに設定する。
　さらに、構造変換部３５２は、符号化モードをフィールド符号化モードに設定したことに伴い、画面並び替えバッファ１１２からの中央視点色画像のピクチャとしてのフレームを、トップフィールドとボトムフィールドとの２つのフィールドに変換し、演算部１１３、画面内予測部１２２、並びに、インター予測部１２３の視差予測部１３１、及び、時間予測部１３２に供給して、処理は、ステップＳ３０４からステップＳ３０５に進む。
　ステップＳ３０５では、演算部１１３は、構造変換部３５２からの中央視点色画像のピクチャとしてのフィールドを、符号化対象の対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロックを、順次、符号化対象の対象ブロックとする。
　そして、演算部１１３は、対象ブロックの画素値と、予測画像選択部１２４から供給される予測画像の画素値との差分（残差）を、必要に応じて演算し、直交変換部１１４に供給して、処理は、ステップＳ３０５からステップＳ３０６に進む。
　ステップＳ３０６では、直交変換部１１４は、演算部１１３からの対象ブロックに対して直交変換を施し、その結果得られる変換係数を、量子化部１１５に供給して、処理は、ステップＳ３０７に進む。
　ステップＳ３０７において、量子化部１１５は、直交変換部１１４から供給される変換係数を量子化し、その結果得られる量子化値を、逆量子化部１１８、及び、可変長符号化部１１６に供給して、処理は、ステップＳ３０８に進む。
　ステップＳ３０８では、逆量子化部１１８は、量子化部１１５からの量子化値を、変換係数に逆量子化し、逆直交変換部１１９に供給して、処理は、ステップＳ３０９に進む。
　ステップＳ３０９では、逆直交変換部１１９は、逆量子化部１１８からの変換係数を逆直交変換し、演算部１２０に供給して、処理は、ステップＳ３１０に進む。
　ステップＳ３１０では、演算部１２０は、逆直交変換部１１９から供給されるデータに対して、必要に応じて、予測画像選択部１２４から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコード中央視点色画像を求める。そして、演算部１２０は、対象ブロックをローカルデコードしたデコード中央視点色画像を、デブロッキングフィルタ１２１に供給して、処理は、ステップＳ３１０からステップＳ３１１に進む。
　ステップＳ３１１では、デブロッキングフィルタ１２１は、演算部１２０からのデコード中央視点色画像をフィルタリングし、DPB４３に供給して、処理は、ステップＳ３１２に進む。
　ステップＳ３１２では、DPB４３が、パッキング色画像を符号化するエンコーダ５４１（図３４）から、そのパッキング色画像を符号化して、ローカルデコードすることにより得られるデコードパッキング色画像が供給されるのを待って、そのデコードパッキング色画像を記憶し、処理は、ステップＳ３１３に進む。
　ここで、上述したように、エンコーダ５４１では、視差予測が行われないことを除いて、エンコーダ５４２と同様の符号化処理、すなわち、パッキング色画像のフィールドを、ピクチャとして、フィールド符号化モードでの符号化が行われる。したがって、DPB４３には、デコードパッキング色画像のフィールド、すなわち、左視点色画像の奇数ラインで構成されるトップフィールド、及び、右視点色画像の偶数ラインで構成されるボトムフィールドが記憶される。
　ステップＳ３１３では、DPB４３が、デブロッキングフィルタ１２１からのデコード中央視点色画像（のフィールド）を記憶し、処理は、ステップＳ３１４に進む。
　ステップＳ３１４では、画面内予測部１２２は、次の対象ブロックについて、イントラ予測処理（画面内予測処理）を行う。
　すなわち、画面内予測部１２２は、次の対象ブロックについて、DPB４３に記憶されたデコード中央視点色画像のピクチャとしてのフィールドから、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行う。
　そして、画面内予測部１２２は、イントラ予測の予測画像を用いて、次の対象ブロックを符号化するのに要する符号化コストを求め、ヘッダ情報（となるイントラ予測に関する情報）と、イントラ予測の予測画像とともに、予測画像選択部１２４に供給して、処理は、ステップＳ３１４からステップＳ３１５に進む。
　ステップＳ３１５では、時間予測部１３２は、次の対象ブロックについて、デコード中央視点色画像のピクチャとしてのフィールドを、参照画像として、時間予測処理を行う。
　すなわち、時間予測部１３２は、次の対象ブロックについて、DPB４３に記憶されたデコード中央視点色画像のピクチャとしてのフィールドを用いて、時間予測を行うことにより、マクロブロックタイプ等が異なるインター予測モードごとに、予測画像や符号化コスト等を求める。
　さらに、時間予測部１３２は、符号化コストが最小のインター予測モードを、最適インター予測モードとして、その最適インター予測モードの予測画像を、ヘッダ情報（となるインター予測に関する情報）と、符号化コストとともに、予測画像選択部１２４に供給して、処理は、ステップＳ３１５からステップＳ３１６に進む。
　ステップＳ３１６では、視差予測部１３１は、次の対象ブロックについて、デコードパッキング色画像のピクチャとしてのフィールドを、参照画像として、視差予測処理を行う。
　すなわち、視差予測部１３１は、次の対象ブロックについて、DPB４３に記憶されたデコードパッキング色画像のピクチャとしてのフィールドを用いて視差予測を行うことにより、マクロブロックタイプ等が異なるインター予測モードごとに、予測画像や符号化コスト等を求める。
　さらに、視差予測部１３１は、符号化コストが最小のインター予測モードを、最適インター予測モードとして、その最適インター予測モードの予測画像を、ヘッダ情報（となるインター予測に関する情報）と、符号化コストとともに、予測画像選択部１２４に供給して、処理は、ステップＳ３１６からステップＳ３１７に進む。
　ステップＳ３１７では、予測画像選択部１２４は、画面内予測部１２２からの予測画像（イントラ予測の予測画像）、時間予測部１３２からの予測画像（時間予測画像）、及び、視差予測部１３１からの予測画像（視差予測画像）のうちの、例えば、符号化コストが最小の予測画像を選択し、演算部１１３及び２２０に供給して、処理は、ステップＳ３１８に進む。
　ここで、予測画像選択部１２４がステップＳ３１７で選択する予測画像が、次の対象ブロックの符号化で行われるステップＳ３０５やＳ３１０の処理で用いられる。
　また、予測画像選択部１２４は、画面内予測部１２２、時間予測部１３２、及び、視差予測部１３１からのヘッダ情報のうちの、符号化コストが最小の予測画像とともに供給されたヘッダ情報を選択し、可変長符号化部１１６に供給する。
　ステップＳ３１８では、可変長符号化部１１６は、量子化部１１５からの量子化値に対して、可変長符号化を施し、符号化データを得る。
　さらに、可変長符号化部１１６は、予測画像選択部１２４からのヘッダ情報や、SEI生成部３５１からの解像度変換SEIを、符号化データのヘッダに含める。
　そして、可変長符号化部１１６は、符号化データを、蓄積バッファ１１７に供給して、処理は、ステップＳ３１８からステップＳ３１９に進む。
　ステップＳ３１９では、蓄積バッファ１１７は、可変長符号化部１１６からの符号化データを一時記憶する。
　蓄積バッファ１１７に記憶された符号化データは、所定の伝送レートで、多重化装置２３（図１８）に供給（伝送）される。
　エンコーダ５４２では、以上のステップＳ３０１ないしＳ３１９の処理が、適宜繰り返し行われる。
　図３８は、図３７のステップＳ３１６で、エンコーダ５４２の視差予測部１３１（図１３）が行う、中央視点色画像の視差予測処理を説明するフローチャートである。
　エンコーダ５４２の視差予測部１３１では、ステップＳ３３１ないしＳ３３８において、符号化対象が、パッキング色画像ではなく、中央視点色画像であること、及び、符号化対象である中央視点色画像の視差予測が、パッキング色画像を参照画像として用いて行われることを除いて、図２９のステップＳ１３１ないしＳ１３８とそれぞれ同様の処理が行われる。
　すなわち、ステップＳ３３１において、視差予測部１３１（図１３）では、視差検出部１４１、及び、視差補償部１４２が、DPB４３からのデコードパッキング色画像のピクチャとしてのフィールドを参照画像として受け取り、処理は、ステップＳ３３２に進む。
　ステップＳ３３２では、視差検出部１４１は、構造変換部３５２（図３５）から供給される中央視点色画像の対象ピクチャとしてのフィールドの対象ブロックと、DPB４３からの参照画像としてのデコードパッキング色画像のフィールドとを用いてMEを行うことにより、対象ブロックの、参照画像に対する視差を表す視差ベクトルmvを、マクロブロックタイプごとに検出し、視差補償部１４２に供給して、処理は、ステップＳ３３３に進む。
　ステップＳ３３３では、視差補償部１４２は、DPB４３からの参照画像としてのデコードパッキング色画像のフィールドの視差補償を、視差検出部１４１からの対象ブロックの視差ベクトルmvを用いて行うことで、対象ブロックの予測画像を、マクロブロックタイプごとに生成し、処理は、ステップＳ３３４に進む。
　すなわち、視差補償部１４２は、参照画像としてのデコードパッキング色画像のフィールドの、対象ブロックの位置から、視差ベクトルmvだけずれた位置のブロック（領域）である対応ブロックを、予測画像として取得する。
　ステップＳ３３４では、視差補償部１４２は、既に符号化済みの、対象ブロックの周辺のマクロブロックの視差ベクトル等を必要に応じて用いて、対象ブロックの視差ベクトルmvの予測ベクトルPMVを求める。
　さらに、視差補償部１４２は、対象ブロックの視差ベクトルmvと、その予測ベクトルPMVとの差分である残差ベクトルを求める。
　そして、視差補償部１４２は、マクロブロックタイプ等の予測モードごとの対象ブロックの予測画像を、その対象ブロックの残差ベクトル、及び、予測画像を生成するのに用いた参照画像（デコードパッキング色画像のフィールド）に割り当てられている参照インデクスとともに、予測モードと対応付けて、予測情報バッファ１４３、及び、コスト関数算出部１４４に供給して、処理は、ステップＳ３３４からステップＳ３３５に進む。
　ステップＳ３３５では、予測情報バッファ１４３が、視差補償部１４２からの、予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスを、予測情報として、一時記憶して、処理は、ステップＳ３３６に進む。
　ステップＳ３３６では、コスト関数算出部１４４が、予測モードとしてのマクロブロックタイプごとに、構造変換部３５２（図３５）からの対象ピクチャの対象ブロックの符号化に要する符号化コスト（コスト関数値）を、コスト関数を演算することにより求め、モード選択部１４５に供給して、処理は、ステップＳ３３７に進む。
　ステップＳ３３７では、モード選択部１４５は、コスト関数算出部１４４からのマクロブロックタイプごとの符号化コストの中から、最小値である最小コストを検出する。
　さらに、モード選択部１４５は、最小コストが得られたマクロブロックタイプを、最適インター予測モードに選択する。
　そして、処理は、ステップＳ３３７からステップＳ３３８に進み、モード選択部１４５は、最適インター予測モードである予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスを、予測情報バッファ１４３から読み出し、最適インター予測モードである予測モードとともに、予測情報として、予測画像選択部１２４に供給して、処理はリターンする。
　［復号装置３３２Ｃの他の構成例］
　図３９は、図１９の復号装置３３２Ｃの他の構成例を示すブロック図である。
　すなわち、図３９は、符号化装置３２２Ｃが図３４に示したように構成される場合の復号装置３３２Ｃの構成例を示すブロック図である。
　なお、図３９において、図３０の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図３９において、復号装置３３２Ｃは、デコーダ６１１及び６１２、並びに、DPB２１３を有する。
　したがって、図３９の復号装置３３２Ｃは、DPB２１３を有する点で、図３０の場合と共通するが、デコーダ４１１及び４１２に代えて、デコーダ６１１及び６１２が設けられている点で、図３０の場合と相違する。
　図３０では、デコーダ４１１が、中央視点色画像を、ベースビューの画像として処理を行うとともに、デコーダ４１２が、パッキング色画像を、ノンベースビューの画像として処理を行うが、図３９では、デコーダ６１１が、パッキング色画像を、ベースビューの画像として処理を行うとともに、デコーダ６１２が、中央視点色画像を、ノンベースビューの画像として処理を行う点で、図３０と図３９とは異なる。
　すなわち、デコーダ６１１には、逆多重化装置３１（図１９）からの多視点色画像符号化データのうちの、パッキング色画像の符号化データが供給される。
　デコーダ６１１は、そこに供給されるパッキング色画像の符号化データを、ベースビューの画像の符号化データとして、図３０のデコーダ４１１と同様に復号し、その結果得られるパッキング色画像を出力する。
　デコーダ６１２には、逆多重化装置３１（図１９）からの多視点色画像符号化データのうちの、中央視点色画像の符号化データが供給される。
　デコーダ６１２は、そこに供給される中央視点色画像の符号化データを、ノンベースビューの画像の符号化データとして、図３０のデコーダ４１２と同様に復号し、その結果得られる中央視点色画像を出力する。
　デコーダ６１１が出力するパッキング色画像と、デコーダ６１２が出力する中央視点色画像とが、解像度変換多視点色画像として、解像度逆変換装置３３３Ｃ（図１９）に供給される。
　ここで、デコーダ６１１及び６１２は、図３０のデコーダ４１１及び４１２と同様に、予測符号化された画像を復号するが、その予測符号化で用いられた予測画像を生成するために、復号対象の画像を復号した後、予測画像の生成に用いる、復号後の画像を、DPB２１３に一時記憶させる。
　DPB２１３は、デコーダ６１１及び６１２で共用され、デコーダ６１１及び６１２それぞれで得られる復号後の画像（デコード画像）を一時記憶する。
　デコーダ６１１及び６１２それぞれは、DPB２１３に記憶されたデコード画像から、復号対象の画像を復号するのに参照する参照画像を選択し、その参照画像を用いて、予測画像を生成する。
　以上のように、DPB２１３は、デコーダ６１１及び６１２で共用されるので、デコーダ６１１及び６１２それぞれは、自身で得られたデコード画像の他、他のデコーダで得られたデコード画像をも参照することができる。
　但し、デコーダ６１１は、ベースビューの画像を復号するので、デコーダ６１１で得られたデコード画像のみを参照する（視差予測を行わない）。
　［デコーダ６１２の構成例］
　図４０は、図３９のデコーダ６１２の構成例を示すブロック図である。
　なお、図中、図３１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図４０において、デコーダ６１２は、蓄積バッファ２４１、可変長復号部２４２、逆量子化部２４３、逆直交変換部２４４、演算部２４５、デブロッキングフィルタ２４６、画面並び替えバッファ２４７、D/A変換部２４８、画面内予測部２４９、インター予測部２５０、予測画像選択部２５１、及び、構造逆変換部４５１を有する。
　したがって、図４０のデコーダ６１２は、図３１のデコーダ４１２と同様に構成される。
　但し、デコーダ６１２は、復号対象が、パッキング色画像ではなく、中央視点色画像である点で、図３１のデコーダ４１２と相違する。
　したがって、デコーダ６１２では、視差予測部２６１において、復号対象である中央視点色画像の視差予測が、他の視点の画像であるパッキング色画像を参照画像として用いて行われる。
　すなわち、図４０において、DPB２１３には、デブロッキングフィルタ２４６から供給される、デコーダ６１２で復号されたノンベースビューの画像としてのデコード中央視点色画像が記憶されるとともに、デコーダ６１１から供給される、そのデコーダ６１１で復号されたベースビューの画像としてのデコードパッキング色画像が記憶される。
　そして、視差予測部２６１は、復号対象である中央視点色画像の視差予測を、DPB２１３に記憶されたデコードパッキング色画像を参照画像として用いて行う。
　なお、図３９のデコーダ６１１も、図４０のデコーダ６１２と同様に構成される。但し、ベースビューの画像を復号するデコーダ６１１では、インター予測において、視差予測は行われず、時間予測だけが行われる。したがって、デコーダ６１１は、視差予測を行う視差予測部２６１を設けずに構成することができる。
　ベースビューの画像を復号するデコーダ６１１は、視差予測を行わないことを除いて、ノンベースビューの画像を復号するデコーダ６１２と同様の処理を行うので、以下では、デコーダ６１２の説明を行い、デコーダ６１１の説明は、適宜省略する。
　［中央視点色画像の復号処理］
　図４１は、図４０のデコーダ６１２が行う、中央視点色画像の符号化データを復号する復号処理を説明するフローチャートである。
　デコーダ６１２では、ステップＳ４０１ないしＳ４１８において、復号対象が、パッキング色画像ではなく、中央視点色画像であること、さらに、そのために、復号対象である中央視点色画像の視差予測が、パッキング色画像を参照画像として用いて行われることを除いて、図３２のステップＳ２０１ないしＳ２１８とそれぞれ同様の処理が行われる。
　すなわち、ステップＳ４０１において、蓄積バッファ２４１は、そこに供給される中央視点色画像の符号化データを記憶し、処理は、ステップＳ４０２に進む。
　ステップＳ４０２では、可変長復号部２４２は、蓄積バッファ２４１に記憶された符号化データを読み出して可変長復号することにより、量子化値や、予測モード関連情報、解像度変換SEIを復元する。そして、可変長復号部２４２は、量子化値を、逆量子化部２４３に、予測モード関連情報を、画面内予測部２４９、並びに、インター予測部２５０の参照インデクス処理部２６０、視差予測部２６１、及び、時間予測部２６２に、解像度変換SEIを、構造逆変換部４５１、及び、解像度逆変換装置３３３Ｃ（図１９）に、それぞれ供給して、処理は、ステップＳ４０３に進む。
　ステップＳ４０３では、逆量子化部２４３は、可変長復号部２４２からの量子化値を、変換係数に逆量子化し、逆直交変換部２４４に供給して、処理は、ステップＳ４０４に進む。
　ステップＳ４０４では、逆直交変換部２４４は、逆量子化部２４３からの変換係数を逆直交変換し、マクロブロック単位で、演算部２４５に供給して、処理は、ステップＳ４０５に進む。
　ステップＳ４０５では、演算部２４５は、逆直交変換部２４４からのマクロブロックを復号対象の対象ブロック（残差画像）として、その対象ブロックに対して、必要に応じて、予測画像選択部２５１から供給される予測画像を加算することで、デコード画像を求める。そして、演算部２４５は、デコード画像を、デブロッキングフィルタ２４６に供給し、処理は、ステップＳ４０５からステップＳ４０６に進む。
　ステップＳ４０６では、デブロッキングフィルタ２４６は、演算部２４５からのデコード画像に対して、フィルタリングを行い、そのフィルタリング後のデコード画像（デコード中央視点色画像）を、DPB２１３、及び、構造逆変換部４５１に供給して、処理は、ステップＳ４０７に進む。
　ステップＳ４０７では、DPB２１３が、パッキング色画像を復号するデコーダ６１１（図３９）から、デコードパッキング色画像が供給されるのを待って、そのデコードパッキング色画像を記憶し、処理は、ステップＳ４０８に進む。
　ステップＳ４０８では、DPB２１３が、デブロッキングフィルタ２４６からのデコード中央視点色画像を記憶し、処理は、ステップＳ４０９に進む。
　ここで、図３４のエンコーダ５４１では、パッキング色画像が、フィールドを対象ピクチャとして符号化され、エンコーダ５４２では、中央視点色画像が、フィールドを対象ピクチャとして符号化される。
　このため、パッキング色画像の符号化データを復号するデコーダ６１１では、パッキング色画像が、フィールドを対象ピクチャとして復号される。同様に、中央視点色画像の符号化データを復号するデコーダ６１２では、中央視点色画像が、フィールドを対象ピクチャとして復号される。
　したがって、DPB２１３には、フィールド（構造）のデコードパッキング色画像、及び、デコード中央視点色画像が記憶される。
　ステップＳ４０９では、画面内予測部２４９、並びに、インター予測部２５０（を構成する時間予測部２６２、及び、視差予測部２６１）が、可変長復号部２４２から供給される予測モード関連情報に基づき、次の対象ブロック（次に復号対象となるマクロブロック）が、イントラ予測（画面内予測）、及び、インター予測のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを判定する。
　そして、ステップＳ４０９において、次の対象ブロックが、画面内予測で生成された予測画像を用いて符号化されていると判定された場合、処理は、ステップＳ４１０に進み、画面内予測部２４９は、イントラ予測処理（画面内予測処理）を行う。
　すなわち、画面内予測部２４９は、次の対象ブロックについて、DPB２１３に記憶されたデコード中央視点色画像から、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行い、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ４１０からステップＳ４１５に進む。
　また、ステップＳ４０９において、次の対象ブロックが、インター予測で生成された予測画像を用いて符号化されていると判定された場合、処理は、ステップＳ４１１に進み、参照インデクス処理部２６０は、可変長復号部２４２からの予測モード関連情報に含まれる予測用の参照インデクスが割り当てられているデコードパッキング色画像のピクチャとしてのフィールド、又は、デコード中央視点色画像のピクチャとしてのフィールドを、DPB２１３から読み出すことにより、参照画像として選択し、処理は、ステップＳ４１２に進む。
　ステップＳ４１２では、参照インデクス処理部２６０が、可変長復号部２４２からの予測モード関連情報に含まれる予測用の参照インデクスに基づき、次の対象ブロックが、インター予測である時間予測、及び、視差予測のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを判定する。
　ステップＳ４１２において、次の対象ブロックが、時間予測で生成された予測画像を用いて符号化されていると判定された場合、すなわち、可変長復号部２４２からの（次の）対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコード中央視点色画像のピクチャであり、ステップＳ４１１において、そのデコード中央視点色画像のピクチャが、参照画像として選択されている場合、参照インデクス処理部２６０は、参照画像としてのデコード中央視点色画像のピクチャを、時間予測部２６２に供給して、処理は、ステップＳ４１３に進む。
　ステップＳ４１３では、時間予測部２６２が、時間予測処理を行う。
　すなわち、時間予測部２６２は、次の対象ブロックについて、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャの動き補償を、可変長復号部２４２からの予測モード関連情報を用いて行うことにより、予測画像を生成し、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ４１３からステップＳ４１５に進む。
　また、ステップＳ４１２において、次の対象ブロックが、視差予測で生成された予測画像を用いて符号化されていると判定された場合、すなわち、可変長復号部２４２からの（次の）対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコードパッキング色画像のピクチャとしてのフィールドであり、ステップＳ４１１において、そのデコードパッキング色画像のピクチャとしてのフィールドが、参照画像として選択されている場合、参照インデクス処理部２６０は、参照画像としてのデコードパッキング色画像のピクチャとしてのフィールドを、視差予測部２６１に供給して、処理は、ステップＳ４１４に進む。
　ステップＳ４１４では、視差予測部２６１が、視差予測処理を行う。
　すなわち、視差予測部２６１は、次の対象ブロックについて、参照画像としてのデコードパッキング色画像のピクチャとしてのフィールドの視差補償を、可変長復号部２４２からの予測モード関連情報を用いて行うことにより、予測画像を生成し、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ４１４からステップＳ４１５に進む。
　ステップＳ４１５では、予測画像選択部２５１は、画面内予測部２４９、時間予測部２６２、及び、視差予測部２６１のうちの、予測画像が供給される方からの、その予測画像を選択し、演算部２４５に供給して、処理は、ステップＳ４１６に進む。
　ここで、予測画像選択部２５１がステップＳ４１５で選択する予測画像が、次の対象ブロックの復号で行われるステップＳ４０５の処理で用いられる。
　ステップＳ４１６では、構造逆変換部４５１が、可変長復号部２４２からの解像度変換SEIに基づき、デブロッキングフィルタ２４６から、フレームを構成するトップフィールドとボトムフィールドのデコード中央視点色画像が供給されている場合には、そのトップフィールドとボトムフィールドを、フレームに逆変換し、画面並び替えバッファ２４７に供給して、処理は、ステップＳ４１７に進む。
　ステップＳ４１７では、画面並び替えバッファ２４７が、構造逆変換部４５１からのデコード中央視点色画像のピクチャとしてのフレームを一時記憶して読み出すことで、ピクチャの並びを、元の並びに並び替え、D/A変換部２４８に供給して、処理は、ステップＳ４１８に進む。
　ステップＳ４１８では、D/A変換部２４８は、画面並び替えバッファ２４７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。
　デコーダ６１２では、以上のステップＳ４０１ないしＳ４１８の処理が、適宜繰り返し行われる。
　図４２は、図４１のステップＳ４１４で、視差予測部２６１（図１７）が行う視差予測処理を説明するフローチャートである。
　デコーダ６１２の視差予測部２６１では、ステップＳ４３１ないしＳ４３４において、復号対象が、パッキング色画像ではなく、中央視点色画像であること、及び、復号対象である中央視点色画像の視差予測が、パッキング色画像を参照画像として用いて行われることを除いて、図３３のステップＳ２３１ないしＳ２３４とそれぞれ同様の処理が行われる。
　ステップＳ４３１において、視差予測部２６１（図１７）では、視差補償部２７２が、参照インデクス処理部２６０からの参照画像としてのデコードパッキング色画像のピクチャとしてのフィールドを受け取り、処理は、ステップＳ４３２に進む。
　ステップＳ４３２では、視差補償部２７２は、可変長復号部２４２からの予測モード関連情報に含まれる、（次の）対象ブロックの残差ベクトルを受け取り、処理は、ステップＳ４３３に進む。
　ステップＳ４３３では、視差補償部２７２は、既に復号された、中央視点色画像のピクチャとしてのフィールドの対象ブロックの周辺のマクロブロックの視差ベクトル等を用いて、可変長復号部２４２からの予測モード関連情報に含まれる予測モード（最適インター予測モード）が表すマクロブロックタイプについての対象ブロックの予測ベクトルを求める。
　さらに、視差補償部２７２は、対象ブロックの予測ベクトルと、可変長復号部２４２からの残差ベクトルとを加算することにより、対象ブロックの視差ベクトルmvを復元し、処理は、ステップＳ４３３からステップＳ４３４に進む。
　ステップＳ４３４では、視差補償部２７２は、参照インデクス処理部２６０からの参照画像としてのデコードパッキング色画像のピクチャとしてのフィールドの視差補償を、対象ブロックの視差ベクトルmvを用いて行うことで、対象ブロックの予測画像を生成し、予測画像選択部２５１に供給して、処理はリターンする。
　［送信装置１１の構成例］
　図４３は、図１の送信装置１１の他の構成例を示すブロック図である。
　なお、図中、図１８の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図４３において、送信装置１１は、解像度変換装置７２１Ｃ及び７２１Ｄ、符号化装置７２２Ｃ及び７２２Ｄ、並びに、多重化装置２３を有する。
　したがって、図４３の送信装置１１は、多重化装置２３を有する点で、図１８の場合と共通し、解像度変換装置３２１Ｃ及び３２１Ｄ、並びに、符号化装置３２２Ｃ及び３２２Ｄそれぞれに代えて、解像度変換装置７２１Ｃ及び７２１Ｄ、並びに、符号化装置７２２Ｃ及び７２２Ｄが設けられている点で、図１８の場合と相違する。
　解像度変換装置７２１Ｃには、多視点色画像が供給される。
　解像度変換装置７２１Ｃは、例えば、図１８の解像度変換装置３２１Ｃと同様の処理を行う。
　すなわち、解像度変換装置７２１Ｃは、そこに供給される多視点色画像を、元の解像度より低い低解像度の解像度変換多視点色画像に変換する解像度変換を行い、その結果られる解像度変換多視点色画像を、符号化装置７２２Ｃに供給する。
　さらに、解像度変換装置７２１Ｃは、解像度変換情報を生成し、符号化装置７２２Ｃに供給する。
　ここで、解像度変換装置７２１Ｃには、符号化装置７２２Ｃから、フィールド符号化モード、又は、フレーム符号化モードを表す符号化モードが供給される。
　解像度変換装置７２１Ｃは、符号化装置７２２Ｃから供給される符号化モードに応じて、そこに供給される多視点色画像に含まれる左視点色画像、及び、右視点色画像をパッキングするパッキングパターンを決定する。
　すなわち、解像度変換装置７２１Ｃは、符号化装置７２２Ｃから供給される符号化モードが、フィールド符号化モードである場合、インターレースパッキングのパターン（以下、インターレースパターンともいう）を、多視点色画像に含まれる左視点色画像、及び、右視点色画像をパッキングするパッキングパターンに決定する。
　ここで、パッキングパターンは、図２５及び図２６で説明したパラメータframe_packing_info[i]に相当する。
　解像度変換装置７２１Ｃは、パッキングパターンを決定すると、そのパッキングパターンに従って、多視点色画像に含まれる左視点色画像、及び、右視点色画像をパッキングし、その結果得られるパッキング色画像を含む解像度変換多視点色画像を、符号化装置７２２Ｃに供給する。
　符号化装置７２２Ｃは、符号化モードを、解像度変換装置７２１Ｃに供給する他は、図１８の符号化装置３２２Ｃと同様の処理を行う。
　すなわち、符号化装置７２２Ｃは、解像度変換装置７２１Ｃから供給される解像度変換多視点色画像を拡張方式で符号化し、その結果得られる符号化データである多視点色画像符号化データを、多重化装置２３に供給する。
　解像度変換装置７２１Ｄには、多視点奥行き画像が供給される。
　解像度変換装置７２１Ｄ、及び、符号化装置７２２Ｄでは、色画像（多視点色画像）ではなく、奥行き画像（多視点奥行き画像）を、処理の対象として処理を行うことを除き、解像度変換装置７２１Ｃ、及び、符号化装置７２２Ｃと、それぞれ同様の処理が行われる。
　なお、図４３の送信装置１１で得られる多重化ビットストリームは、図１９の受信装置１２で、多視点色画像、及び、多視点奥行き画像に復号することができる。
　［符号化装置７２２Ｃの構成例］
　図４４は、図４３の符号化装置７２２Ｃの構成例を示すブロック図である。
　なお、図中、図２３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図４４において、符号化装置７２２Ｃは、エンコーダ８４１及び８４２、並びに、DPB４３を有する。
　したがって、図４４の符号化装置７２２Ｃは、DPB４３を有する点で、図２３の符号化装置３２２Ｃと共通し、エンコーダ３４１及び３４２に代えて、エンコーダ８４１及び８４２がそれぞれ設けられている点で、図２３の符号化装置３２２Ｃと相違する。
　エンコーダ８４１には、解像度変換装置７２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、中央視点色画像（のフレーム）が供給される。
　エンコーダ８４２には、解像度変換装置７２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、パッキング色画像（のフレーム）が供給される。
　さらに、エンコーダ８４１及び８４２には、解像度変換装置７２１Ｃからの解像度変換情報が供給される。
　エンコーダ８４１は、図２３のエンコーダ３４１と同様に、中央視点色画像を、ベースビューの画像として符号化し、その結果得られる中央視点色画像の符号化データを出力する。
　エンコーダ８４２は、図２３のエンコーダ３４２と同様に、パッキング色画像を、ノンベースビューの画像として符号化し、その結果得られるパッキング色画像の符号化データを出力する。
　なお、エンコーダ８４２は（エンコーダ８４１も同様）、符号化モードを、例えば、ユーザの操作等に応じて、フィールド符号化モード、又は、フレーム符号化モードに設定し、（又は、符号化コストに応じて、フィールド符号化モード、及び、フレーム符号化モードのうちの、符号化コストが小さい方に設定し）その符号化モードでの符号化を行う。
　また、エンコーダ８４２は、符号化モードを設定すると、その符号化モードを、解像度変換装置７２１Ｃに供給する。
　ここで、解像度変換装置７２１Ｃは、符号化装置７２２Ｃのエンコーダ８４２から符号化モードが供給されると、その符号化モードに応じて、図４３で説明したように、多視点色画像に含まれる左視点色画像、及び、右視点色画像をパッキングするパッキングパターンを決定する。
　エンコーダ８４１が出力する中央視点色画像の符号化データと、エンコーダ８４２が出力するパッキング色画像の符号化データとは、多視点色画像符号化データとして、多重化装置２３（図４３）に供給される。
　ここで、図４４において、DPB４３は、エンコーダ８４１及び８４２で共用される。
　すなわち、エンコーダ８４１及び８４２は、符号化対象の画像を、MVCと同様に予測符号化する。そのため、エンコーダ８４１及び８４２は、予測符号化に用いる予測画像を生成するのに、符号化対象の画像を符号化した後、ローカルデコードを行って、デコード画像を得る。
　そして、DPB４３では、エンコーダ８４１及び８４２それぞれで得られるデコード画像が一時記憶される。
　エンコーダ８４１及び８４２それぞれは、DPB４３に記憶されたデコード画像から、符号化対象の画像を符号化するのに参照する参照画像を選択する。そして、エンコーダ８４１及び８４２それぞれは、参照画像を用いて、予測画像を生成し、その予測画像を用いて、画像の符号化（予測符号化）を行う。
　したがって、エンコーダ８４１及び８４２それぞれは、自身で得られたデコード画像の他、他のエンコーダで得られたデコード画像をも参照することができる。
　但し、上述したように、エンコーダ８４１は、ベースビューの画像を符号化するので、エンコーダ８４１で得られたデコード画像のみを参照する。
　［エンコーダ８４２の構成例］
　図４５は、図４４のエンコーダ８４２の構成例を示すブロック図である。
　なお、図中、図２４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図４５において、エンコーダ８４２は、A/D変換部１１１、画面並び替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可変長符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、演算部１２０、デブロッキングフィルタ１２１、画面内予測部１２２、インター予測部１２３、予測画像選択部１２４、SEI生成部３５１、及び、構造変換部８５２を有する。
　したがって、エンコーダ８４２は、A/D変換部１１１ないし予測画像選択部１２４、及び、SEI生成部３５１を有する点で、図２４のエンコーダ３４２と共通する。
　但し、エンコーダ８４２は、構造変換部３５２に代えて、構造変換部８５２が設けられている点で、図２４のエンコーダ３４２と相違する。
　構造変換部８５２は、画面並び替えバッファ１１２の出力側に設けられており、図２４の構造変換部３５２と同様の処理を行う。
　但し、図２４の構造変換部３５２は、解像度変換装置３２１Ｃ（図１８）からの解像度変換情報に基づいて、符号化モードを、フィールド符号化モード、又は、フレーム符号化モードに設定するが、図４５の解像度変換部８５２は、解像度変換装置７２１Ｃ（図４３）からの解像度変換情報以外の、例えば、ユーザの操作等に応じて、符号化モードを設定し、その符号化モードを、解像度変換装置７２１Ｃに供給する。
　図４３で説明したように、解像度変換装置７２１Ｃでは、（符号化装置７２２Ｃの）エンコーダ８４２から供給される符号化モードに応じて、パッキングパターンが決定され、そのパッキングパターンに従って、多視点色画像に含まれる左視点色画像、及び、右視点色画像がパッキングされる。
　［本技術を適用したコンピュータの説明］
　次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　そこで、図４７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１１０５やROM１１０３に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブル記録媒体１１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１１０２を内蔵しており、CPU１１０２には、バス１１０１を介して、入出力インタフェース１１１０が接続されている。
　CPU１１０２は、入出力インタフェース１１１０を介して、ユーザによって、入力部１１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１１０３に格納されているプログラムを実行する。あるいは、CPU１１０２は、ハードディスク１１０５に格納されたプログラムを、RAM(Random Access Memory)１１０４にロードして実行する。
　これにより、CPU１１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１１０を介して、出力部１１０６から出力、あるいは、通信部１１０８から送信、さらには、ハードディスク１１０５に記録等させる。
　なお、入力部１１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　本技術は、衛星放送、ケーブルTV（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して通信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像処理システムに適用することができる。
　また、上述した画像処理システムの少なくとも一部は、任意の電子機器に適用することができる。以下にその例について説明する。
　［TVの構成例］
　図４８は、本技術を適用したTVの概略構成例を示す図である。
　TV１９００は、アンテナ１９０１、チューナ１９０２、デマルチプレクサ１９０３、デコーダ１９０４、映像信号処理部１９０５、表示部１９０６、音声信号処理部１９０７、スピーカ１９０８、外部インタフェース部１９０９を有している。さらに、TV１９００は、制御部１９１０、ユーザインタフェース部１９１１等を有している。
　チューナ１９０２は、アンテナ１９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ１９０３に出力する。
　デマルチプレクサ１９０３は、符号化ビットストリームから視聴対象である番組の画像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ１９０４に出力する。また、デマルチプレクサ１９０３は、EPG(Electronic Program Guide)等のデータのパケットを制御部１９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
　デコーダ１９０４は、パケットの復号処理を行い、復号処理によって生成された画像データを画像信号処理部１９０５、音声データを音声信号処理部１９０７に出力する。
　画像信号処理部１９０５は、画像データに対して、ノイズ除去やユーザ設定に応じた画像処理等を行う。画像信号処理部１９０５は、表示部１９０６に表示させる番組の画像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、画像信号処理部１９０５は、項目の選択などのメニュー画面等を表示するための画像データを生成し、それを番組の画像データに重畳する。画像信号処理部１９０５は、このようにして生成した画像データに基づいて駆動信号を生成して表示部１９０６を駆動する。
　表示部１９０６は、画像信号処理部１９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の画像などを表示させる。
　音声信号処理部１９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのD/A変換処理や増幅処理を行いスピーカ１９０８に供給することで音声出力を行う。
　外部インタフェース部１９０９は、外部機器やネットワークと接続するためのインタフェースであり、画像データや音声データ等のデータ送受信を行う。
　制御部１９１０にはユーザインタフェース部１９１１が接続されている。ユーザインタフェース部１９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部１９１０に供給する。
　制御部１９１０は、CPU(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ、EPGデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、TV１９００の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、TV１９００がユーザ操作に応じた動作となるように各部を制御する。
　なお、TV１９００では、チューナ１９０２、デマルチプレクサ１９０３、画像信号処理部１９０５、音声信号処理部１９０７、外部インタフェース部１９０９等と制御部１９１０を接続するためバス１９１２が設けられている。
　このように構成されるTV１９００では、デコーダ１９０４に本技術の機能が設けられる。
　［携帯電話機の構成例］
　図４９は、本技術を適用した携帯電話機の概略構成例を示す図である。
　携帯電話機１９２０は、通信部１９２２、音声コーデック１９２３、カメラ部１９２６、画像処理部１９２７、多重分離部１９２８、記録再生部１９２９、表示部１９３０、制御部１９３１を有している。これらは、バス１９３３を介して互いに接続されている。
　また、通信部１９２２にはアンテナ１９２１が接続されており、音声コーデック１９２３には、スピーカ１９２４とマイクロホン１９２５が接続されている。さらに制御部１９３１には、操作部１９３２が接続されている。
　携帯電話機１９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
　音声通話モードにおいて、マイクロホン１９２５で生成された音声信号は、音声コーデック１９２３で音声データへの変換やデータ圧縮が行われて通信部１９２２に供給される。通信部１９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部１９２２は、送信信号をアンテナ１９２１に供給して図示しない基地局へ送信する。また、通信部１９２２は、アンテナ１９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック１９２３に供給する。音声コーデック１９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ１９２４に出力する。
　また、データ通信モードにおいて、メール送信を行う場合、制御部１９３１は、操作部１９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部１９３０に表示する。また、制御部１９３１は、操作部１９３２におけるユーザ指示等に基づいてメールデータを生成して通信部１９２２に供給する。通信部１９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ１９２１から送信する。また、通信部１９２２は、アンテナ１９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部１９３０に供給して、メール内容の表示を行う。
　なお、携帯電話機１９２０は、受信したメールデータを、記録再生部１９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
　データ通信モードにおいて画像データを送信する場合、カメラ部１９２６で生成された画像データを、画像処理部１９２７に供給する。画像処理部１９２７は、画像データの符号化処理を行い、符号化データを生成する。
　多重分離部１９２８は、画像処理部１９２７で生成された符号化データと、音声コーデック１９２３から供給された音声データを所定の方式で多重化して通信部１９２２に供給する。通信部１９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ１９２１から送信する。また、通信部１９２２は、アンテナ１９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部１９２８に供給する。多重分離部１９２８は、多重化データの分離を行い、符号化データを画像処理部１９２７、音声データを音声コーデック１９２３に供給する。画像処理部１９２７は、符号化データの復号処理を行い、画像データを生成する。この画像データを表示部１９３０に供給して、受信した画像の表示を行う。音声コーデック１９２３は、音声データをアナログ音声信号に変換してスピーカ１９２４に供給して、受信した音声を出力する。
　このように構成される携帯電話装置１９２０では、画像処理部１９２７に本技術の機能が設けられる。
　［記録再生装置の構成例］
　図５０は、本技術を適用した記録再生装置の概略構成例を示す図である。
　記録再生装置１９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置１９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置１９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
　記録再生装置１９４０は、チューナ１９４１、外部インタフェース部１９４２、エンコーダ１９４３、HDD(Hard Disk Drive)部１９４４、ディスクドライブ１９４５、セレクタ１９４６、デコーダ１９４７、OSD(On-Screen Display)部１９４８、制御部１９４９、ユーザインタフェース部１９５０を有している。
　チューナ１９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ１９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ１９４６に出力する。
　外部インタフェース部１９４２は、IEEE1394インタフェース、ネットワークインタフェース部、USBインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部１９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する画像データや音声データ等のデータ受信を行う。
　エンコーダ１９４３は、外部インタフェース部１９４２から供給された画像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ１９４６に出力する。
　HDD部１９４４は、画像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
　ディスクドライブ１９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばDVDディスク(DVD-Video，DVD-RAM，DVD-R，DVD-RW，DVD+R，DVD+RW等)やBlu-rayディスク等である。
　セレクタ１９４６は、画像や音声の記録時には、チューナ１９４１またはエンコーダ１９４３からのいずれかの符号化ビットストリームを選択して、HDD部１９４４やディスクドライブ１９４５のいずれかに供給する。また、セレクタ１９４６は、画像や音声の再生時に、HDD部１９４４またはディスクドライブ１９４５から出力された符号化ビットストリームをデコーダ１９４７に供給する。
　デコーダ１９４７は、符号化ビットストリームの復号処理を行う。デコーダ１９４７は、復号処理を行うことにより生成された画像データをOSD部１９４８に供給する。また、デコーダ１９４７は、復号処理を行うことにより生成された音声データを出力する。
　OSD部１９４８は、項目の選択などのメニュー画面等を表示するための画像データを生成し、それをデコーダ１９４７から出力された画像データに重畳して出力する。
　制御部１９４９には、ユーザインタフェース部１９５０が接続されている。ユーザインタフェース部１９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部１９４９に供給する。
　制御部１９４９は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置１９４０の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、記録再生装置１９４０がユーザ操作に応じた動作となるように各部を制御する。
　このように構成される記録再生装置１９４０では、デコーダ１９４７に本技術の機能が設けられる。
　［撮像装置の構成例］
　図５１は、本技術を適用した撮像装置の概略構成例を示す図である。
　撮像装置１９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
　撮像装置１９６０は、光学ブロック１９６１、撮像部１９６２、カメラ信号処理部１９６３、画像データ処理部１９６４、表示部１９６５、外部インタフェース部１９６６、メモリ部１９６７、メディアドライブ１９６８、OSD部１９６９、制御部１９７０を有している。また、制御部１９７０には、ユーザインタフェース部１９７１が接続されている。さらに、画像データ処理部１９６４や外部インタフェース部１９６６、メモリ部１９６７、メディアドライブ１９６８、OSD部１９６９、制御部１９７０等は、バス１９７２を介して接続されている。
　光学ブロック１９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック１９６１は、被写体の光学像を撮像部１９６２の撮像面に結像させる。撮像部１９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部１９６３に供給する。
　カメラ信号処理部１９６３は、撮像部１９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部１９６３は、カメラ信号処理後の画像データを画像データ処理部１９６４に供給する。
　画像データ処理部１９６４は、カメラ信号処理部１９６３から供給された画像データの符号化処理を行う。画像データ処理部１９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部１９６６やメディアドライブ１９６８に供給する。また、画像データ処理部１９６４は、外部インタフェース部１９６６やメディアドライブ１９６８から供給された符号化データの復号処理を行う。画像データ処理部１９６４は、復号処理を行うことにより生成された画像データを表示部１９６５に供給する。また、画像データ処理部１９６４は、カメラ信号処理部１９６３から供給された画像データを表示部１９６５に供給する処理や、OSD部１９６９から取得した表示用データを、画像データに重畳させて表示部１９６５に供給する。
　OSD部１９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部１９６４に出力する。
　外部インタフェース部１９６６は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部１９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部１９６６は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部１９７０は、例えば、ユーザインタフェース部１９７１からの指示にしたがって、メモリ部１９６７から符号化データを読み出し、それを外部インタフェース部１９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部１９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部１９６６を介して取得し、それを画像データ処理部１９６４に供給したりすることができる。
　メディアドライブ１９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であってもよい。
　また、メディアドライブ１９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
　制御部１９７０は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置１９６０の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、撮像装置１９６０がユーザ操作に応じた動作となるように各部を制御する。
　このように構成される撮像装置１９６０では、画像データ処理部１９６４に本技術の機能が設けられる。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　すなわち、本実施の形態では、MVCにおいて、分数精度での視差予測を行う際のフィルタ処理に用いられるフィルタ(AIF)をコントロールすることにより、参照画像を、符号化対象の画像の解像度比と合致する解像度比の変換参照画像に変換することとしたが、参照画像の、変換参照画像の変換に用いるフィルタとしては、専用の補間フィルタを用意し、その専用の補間フィルタを用いて、参照画像をフィルタ処理することにより、変換参照画像に変換することができる。
　また、符号化対象の画像の解像度比と合致する解像度比の変換参照画像には、横及び縦の解像度が、符号化対象の画像の解像度と一致する変換参照画像が、当然含まれる。
　なお、本技術は、以下のような構成を取ることができる。
　　［１］
　３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換する変換部と、
　前記変換部により変換された前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成する補償部と、
　前記補償部により生成された前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する符号化部と
　を備える画像処理装置。
　　［２］
　前記変換部は、前記符号化モードが、フィールド符号化モードである場合、２視点の画像を、垂直方向の解像度が1/2にされた前記２視点の画像の各ラインを交互に並べて配置したパッキング画像に変換する
　［１］に記載の画像処理装置。
　　［３］
　前記符号化モードに応じて、前記パッキングパターンを決定する決定部をさらに備える
　［１］又は［２］に記載の画像処理装置。
　　［４］
　前記パッキングパターンを表す情報と、前記符号化部により符号化された符号化ストリームとを伝送する伝送部をさらに備える
　［１］ないし［３］に記載のいずれかの画像処理装置。
　　［５］
　３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、
　前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、
　前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する
　ステップを含む画像処理方法。
　　［６］
　　３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、
　　前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、
　　前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する
　ことにより得られる符号化ストリームを復号する際に用いる、復号対象の復号対象画像の予測画像を、視差補償を行うことにより生成する補償部と、
　前記補償部により生成された前記予測画像を用いて、前記符号化ストリームを、前記符号化モードで復号する復号部と、
　前記復号部により前記符号化ストリームを復号することにより得られる前記復号対象画像が前記パッキング画像である場合に、前記パッキング画像を、前記パッキングパターンに従って分離することにより、元の２視点以上の画像に逆変換する逆変換部と
　を備える画像処理装置。
　　［７］
　前記符号化モードが、フィールド符号化モードである場合、
　　前記パッキング画像は、２視点の画像を、垂直方向の解像度が1/2にされた前記２視点の画像の各ラインを交互に並べて配置した１視点分の画像であり、
　　前記逆変換部は、前記パッキング画像を、元の２視点の画像に逆変換する
　［６］に記載の画像処理装置。
　　［８］
　前記パッキングパターンを表す情報と、前記符号化部により符号化された符号化ストリームとを受け取る受け取り部をさらに備える
　［６］又は［７］に記載の画像処理装置。
　　［９］
　　３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、
　　前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、
　　前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する
　ことにより得られる符号化ストリームを復号する際に用いる、復号対象の復号対象画像の予測画像を、視差補償を行うことにより生成し、
　前記予測画像を用いて、前記符号化ストリームを、前記符号化モードで復号し、
　前記符号化ストリームを復号することにより得られる前記復号対象画像が前記パッキング画像である場合に、前記パッキング画像を、前記パッキングパターンに従って分離することにより、元の２視点以上の画像に逆変換する
　ステップを含む画像処理方法。
　１１　送信装置，　１２　受信装置，　２１Ｃ，２１Ｄ　解像度変換装置，　２２Ｃ，２２Ｄ　符号化装置，　２３　多重化装置，　３１　逆多重化装置，　３２Ｃ，３２Ｄ　復号装置，　３３Ｃ，３３Ｄ　解像度逆変換装置，　４１，４２　エンコーダ，　４３　DPB，　１１１　A/D変換部，　１１２　画面並び替えバッファ，　１１３　演算部，　１１４　直交変換部，　１１５　量子化部，　１１６　可変長符号化部，　１１７　蓄積バッファ，　１１８　逆量子化部，　１１９　逆直交変換部，　１２０　演算部，　１２１　デブロッキングフィルタ，　１２２　画面内予測部，　１２３　インター予測部，　１２４　予測画像選択部，　１３１　視差予測部，　１３２　時間予測部，　１４１　視差検出部，　１４２　視差補償部，　１４３　予測情報バッファ，　１４４　コスト関数算出部，　１４５　モード選択部，　２１１，２１２　デコーダ，　２１３　DPB，　２４１　蓄積バッファ，　２４２　可変長復号部，　２４３　逆量子化部，　２４４　逆直交変換部，　２４５　演算部，　２４６　デブロッキングフィルタ，　２４７　画面並び替え部，　２４８　D/A変換部，　２４９　画面内予測部，　２５０　インター予測部，　２５１　予測画像選択部，　２６０　参照インデクス処理部，　２６１　視差予測部，　２６２　時間予測部，　２７２　視差補償部，　３２１Ｃ，３２１Ｄ　解像度変換装置，　３２２Ｃ，３２２Ｄ　符号化装置，　３２３　多重化装置，　３３２Ｃ，３３２Ｄ　復号装置，　３３３Ｃ，３３３Ｄ　解像度逆変換装置，　３４１，３４２　エンコーダ，　３５１　SEI生成部，　３５２　構造変換部，　４１１，４１２　デコーダ，　４５１　構造逆変換部，　５４１，５４２　エンコーダ，　６１１，６１２　デコーダ，　７２１Ｃ，７２１Ｄ　解像度変換装置，　７２２Ｃ，７２２Ｄ　符号化装置，　８４１，８４２　エンコーダ，８５２　構造変換部，　１１０１　バス，　１１０２　CPU，　１１０３　ROM，　１１０４　RAM，　１１０５　ハードディスク，　１１０６　出力部，　１１０７　入力部，　１１０８　通信部，　１１０９　ドライブ，　１１１０　入出力インタフェース，　１１１１　リムーバブル記録媒体

Claims (9)

  1. 　３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換する変換部と、
    　前記変換部により変換された前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成する補償部と、
    　前記補償部により生成された前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する符号化部と
    　を備える画像処理装置。
  2. 　前記変換部は、前記符号化モードが、フィールド符号化モードである場合、２視点の画像を、垂直方向の解像度が1/2にされた前記２視点の画像の各ラインを交互に並べて配置したパッキング画像に変換する
    　請求項１に記載の画像処理装置。
  3. 　前記符号化モードに応じて、前記パッキングパターンを決定する決定部をさらに備える　請求項２に記載の画像処理装置。
  4. 　前記パッキングパターンを表す情報と、前記符号化部により符号化された符号化ストリームとを伝送する伝送部をさらに備える
    　請求項２に記載の画像処理装置。
  5. 　３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、
    　前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、
    　前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する
    　ステップを含む画像処理方法。
  6. 　　３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、
    　　前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、
    　　前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する
    　ことにより得られる符号化ストリームを復号する際に用いる、復号対象の復号対象画像の予測画像を、視差補償を行うことにより生成する補償部と、
    　前記補償部により生成された前記予測画像を用いて、前記符号化ストリームを、前記符号化モードで復号する復号部と、
    　前記復号部により前記符号化ストリームを復号することにより得られる前記復号対象画像が前記パッキング画像である場合に、前記パッキング画像を、前記パッキングパターンに従って分離することにより、元の２視点以上の画像に逆変換する逆変換部と
    　を備える画像処理装置。
  7. 　前記符号化モードが、フィールド符号化モードである場合、
    　　前記パッキング画像は、２視点の画像を、垂直方向の解像度が1/2にされた前記２視点の画像の各ラインを交互に並べて配置した１視点分の画像であり、
    　　前記逆変換部は、前記パッキング画像を、元の２視点の画像に逆変換する
    　請求項６に記載の画像処理装置。
  8. 　前記パッキングパターンを表す情報と、前記符号化ストリームとを受け取る受け取り部をさらに備える
    　請求項７に記載の画像処理装置。
  9. 　　３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、
    　　前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、
    　　前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する
    　ことにより得られる符号化ストリームを復号する際に用いる、復号対象の復号対象画像の予測画像を、視差補償を行うことにより生成し、
    　前記予測画像を用いて、前記符号化ストリームを、前記符号化モードで復号し、
    　前記符号化ストリームを復号することにより得られる前記復号対象画像が前記パッキング画像である場合に、前記パッキング画像を、前記パッキングパターンに従って分離することにより、元の２視点以上の画像に逆変換する
    　ステップを含む画像処理方法。
PCT/JP2012/061521 2011-05-16 2012-05-01 画像処理装置、及び、画像処理方法 WO2012157443A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280025508.6A CN103563387A (zh) 2011-05-16 2012-05-01 图像处理设备和图像处理方法
JP2013515071A JPWO2012157443A1 (ja) 2011-05-16 2012-05-01 画像処理装置、及び、画像処理方法
US14/116,400 US20140085418A1 (en) 2011-05-16 2012-05-01 Image processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-109800 2011-05-16
JP2011109800 2011-05-16

Publications (1)

Publication Number Publication Date
WO2012157443A1 true WO2012157443A1 (ja) 2012-11-22

Family

ID=47176778

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/061521 WO2012157443A1 (ja) 2011-05-16 2012-05-01 画像処理装置、及び、画像処理方法

Country Status (4)

Country Link
US (1) US20140085418A1 (ja)
JP (1) JPWO2012157443A1 (ja)
CN (1) CN103563387A (ja)
WO (1) WO2012157443A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016526829A (ja) * 2013-06-21 2016-09-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ テクスチャコーディングのためのより正確な高度残差予測（ａｒｐ）
JPWO2015064402A1 (ja) * 2013-11-01 2017-03-09 ソニー株式会社 画像処理装置および方法
WO2020022687A1 (ko) * 2018-07-24 2020-01-30 삼성전자주식회사 영상을 전송하는 방법 및 장치, 영상을 수신하는 방법 및 장치

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112013023302A2 (pt) 2011-03-18 2016-12-20 Sony Corp aparelho e método de processamento de imagem
KR101954007B1 (ko) 2011-06-30 2019-03-04 소니 주식회사 화상 처리 장치 및 방법
MX338738B (es) 2011-08-31 2016-04-29 Sony Corp Dispositivo de codificaicon, metodo de codificacion, dispositivo de descodificacion y metodo de descodificacion.
KR102170169B1 (ko) 2013-10-14 2020-10-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
JP6355744B2 (ja) 2014-01-03 2018-07-11 マイクロソフト テクノロジー ライセンシング，エルエルシー ビデオ及び画像符号化／デコーディングにおけるブロックベクトル予測
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
KR102311815B1 (ko) * 2014-06-19 2021-10-13 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
CA2959682C (en) 2014-09-30 2022-12-06 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
KR102576630B1 (ko) 2015-12-10 2023-09-08 삼성전자주식회사 디코더의 동작 방법, 및 상기 디코더를 포함하는 어플리케이션 프로세서의 동작 방법
CN107040787B (zh) * 2017-03-30 2019-08-02 宁波大学 一种基于视觉感知的3d-hevc帧间信息隐藏方法
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US10638130B1 (en) * 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding
CN115442580B (zh) * 2022-08-17 2024-03-26 深圳市纳晶云实业有限公司 一种便携式智能设备裸眼3d图片效果处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
JP2003319416A (ja) * 2002-04-25 2003-11-07 Sharp Corp 立体画像符号化装置および立体画像復号装置
JP2010130690A (ja) * 2008-11-28 2010-06-10 Korea Electronics Telecommun 多視点映像送受信装置及びその方法
WO2012029886A1 (ja) * 2010-09-03 2012-03-08 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8854486B2 (en) * 2004-12-17 2014-10-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
CN101166271B (zh) * 2006-10-16 2010-12-08 华为技术有限公司 一种多视点视频编码中的视点差补偿方法
BRPI0911447A2 (pt) * 2008-04-25 2018-03-20 Thomson Licensing codificação de sinal de profundidade
KR20100063300A (ko) * 2008-12-03 2010-06-11 삼성전자주식회사 3차원 디스플레이에서 뷰간 누화를 보상하는 장치 및 방법
US8750632B2 (en) * 2008-12-26 2014-06-10 JVC Kenwood Corporation Apparatus and method for encoding images from multiple viewpoints and associated depth information
WO2010085361A2 (en) * 2009-01-26 2010-07-29 Thomson Licensing Frame packing for video coding
KR20110007928A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 다시점 영상 부호화 및 복호화 방법과 장치
KR20110057629A (ko) * 2009-11-24 2011-06-01 엘지전자 주식회사 Ｕｉ 제공 방법 및 디지털 방송 수신기
CN101729892B (zh) * 2009-11-27 2011-07-27 宁波大学 一种非对称立体视频编码方法
KR101694821B1 (ko) * 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
US20110199469A1 (en) * 2010-02-15 2011-08-18 Gallagher Andrew C Detection and display of stereo images
US20110304618A1 (en) * 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
JP2003319416A (ja) * 2002-04-25 2003-11-07 Sharp Corp 立体画像符号化装置および立体画像復号装置
JP2010130690A (ja) * 2008-11-28 2010-06-10 Korea Electronics Telecommun 多視点映像送受信装置及びその方法
WO2012029886A1 (ja) * 2010-09-03 2012-03-08 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016526829A (ja) * 2013-06-21 2016-09-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ テクスチャコーディングのためのより正確な高度残差予測（ａｒｐ）
JPWO2015064402A1 (ja) * 2013-11-01 2017-03-09 ソニー株式会社 画像処理装置および方法
US10356442B2 (en) 2013-11-01 2019-07-16 Sony Corporation Image processing apparatus and method
WO2020022687A1 (ko) * 2018-07-24 2020-01-30 삼성전자주식회사 영상을 전송하는 방법 및 장치, 영상을 수신하는 방법 및 장치

Also Published As

Publication number Publication date
CN103563387A (zh) 2014-02-05
US20140085418A1 (en) 2014-03-27
JPWO2012157443A1 (ja) 2014-07-31

Similar Documents

Publication Publication Date Title
WO2012157443A1 (ja) 画像処理装置、及び、画像処理方法
WO2012147622A1 (ja) 画像処理装置、及び、画像処理方法
JP6061150B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP6670812B2 (ja) 符号化装置および符号化方法
WO2012128242A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
US9350972B2 (en) Encoding device and encoding method, and decoding device and decoding method
WO2012121052A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
US20140294088A1 (en) Image encoding method and image decoding method
US20120075436A1 (en) Coding stereo video data
US20130279576A1 (en) View dependency in multi-view coding and 3d coding
CA2952793C (en) Depth picture coding method and device in video coding
US20170310994A1 (en) 3d video coding method and device
US10419779B2 (en) Method and device for processing camera parameter in 3D video coding
KR20160002716A (ko) 비디오 신호 처리 방법 및 장치
WO2012128241A1 (ja) 画像処理装置、画像処理方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12786211

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013515071

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14116400

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12786211

Country of ref document: EP

Kind code of ref document: A1