WO2011001864A1 - 画像処理装置、及び、画像処理方法 - Google Patents

画像処理装置、及び、画像処理方法 Download PDF

Info

Publication number
WO2011001864A1
WO2011001864A1 PCT/JP2010/060604 JP2010060604W WO2011001864A1 WO 2011001864 A1 WO2011001864 A1 WO 2011001864A1 JP 2010060604 W JP2010060604 W JP 2010060604W WO 2011001864 A1 WO2011001864 A1 WO 2011001864A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
thinned
odd
processing
line
Prior art date
Application number
PCT/JP2010/060604
Other languages
English (en)
French (fr)
Inventor
良知 高橋
鈴木　輝彦
北村　卓也
矢ケ崎　陽一
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US13/378,744 priority Critical patent/US8787691B2/en
Priority to RU2011152877/08A priority patent/RU2541882C2/ru
Priority to CN2010800280055A priority patent/CN102474645A/zh
Priority to EP10794033A priority patent/EP2451177A4/en
Priority to BRPI1014340A priority patent/BRPI1014340A2/pt
Publication of WO2011001864A1 publication Critical patent/WO2011001864A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • the present invention relates to an image processing apparatus and an image processing method, and more particularly, to an image processing apparatus and an image processing method capable of improving the encoding efficiency of predictive encoding of an image, for example.
  • image information (bitstream) compressed by an encoding method employing orthogonal transformation and motion compensation such as discrete cosine transformation or Karhunen-Labe transformation, such as MPEG and H.26x
  • orthogonal transformation and motion compensation such as discrete cosine transformation or Karhunen-Labe transformation, such as MPEG and H.26x
  • MPEG and H.26x are becoming widespread.
  • MPEG2 ISO / IEC 13818-2
  • ISO / IEC 13818-2 is defined as a general-purpose image coding system, and both interlaced scanned images (interlaced images) and progressively scanned images (progressive images), as well as standard resolution images.
  • a standard covering high-definition images and is now widely used in a wide range of professional and consumer applications.
  • the MPEG2 compression method for example, a horizontal resolution of 4 to 8 Mbps for a standard resolution interlaced scanning image having 720 ⁇ 480 pixels, and a high resolution interlaced scanning image for 1920 ⁇ 1088 pixels, for example, 18 to By assigning a code amount (bit rate) of 22 Mbps, a high compression rate and good image quality can be realized.
  • MPEG2 was mainly intended for high-quality encoding suitable for broadcasting, but did not support encoding methods with a lower code amount (bit rate) than MPEG1, that is, a higher compression rate.
  • bit rate code amount
  • MPEG4 encoding system has been standardized accordingly.
  • the standard was approved as an international standard in December 1998 as ISO / IEC 14496-2.
  • H.264 ITU-T Q6 / 16 VCEG
  • MPEG2 MPEG2
  • MPEG4 MPEG4
  • standardization to achieve higher coding efficiency based on this H.264 and incorporating functions not supported by H.264 has been carried out as Joint Model of Compression Video Coding. It has been broken.
  • JVT Codec Joint Video Team
  • various improvements are being studied in order to improve the encoding efficiency over existing technologies such as MPEG2 and MPEG4.
  • MPEG2 and MPEG4 For example, in the discrete cosine transform, conversion to an integer conversion coefficient is performed for a block of 4 ⁇ 4 pixels.
  • motion compensation the block size is variable, and optimal motion compensation can be performed.
  • the basic algorithm of encoding is the same as that of existing technologies such as MPEG2 and MPEG4.
  • a dedicated device (hereinafter referred to as a stereoscopic device) is used to display a stereoscopic image.
  • a stereoscopic device for example, an IP (Integral Photography) stereoscopic developed by NHK (Japan Broadcasting Corporation) There is an image system.
  • Stereoscopic image data consists of image data from a plurality of viewpoints (image data taken from a plurality of viewpoints), and the more viewpoints and the wider the viewpoint, the more the subject can be viewed from various directions. In other words, it is possible to realize a “peek TV” that can be seen.
  • Patent Document 1 a method for encoding and decoding stereoscopic image data, that is, image data of a plurality of viewpoints, is described in, for example, Patent Document 1.
  • the smallest number of viewpoints is a 3D (Dimensional) image (stereo image) with two viewpoints, and the image data of the 3D image is an image observed with the left eye. It consists of image data of a certain left eye image (hereinafter also referred to as L (Left) image) and image data of a right eye image (hereinafter also referred to as R (Right) image) that is an image observed by the right eye.
  • L (Left) image left eye image
  • R (Right) image image data of a right eye image
  • the 3D image (stereo image) is composed of the L image and the R image as described above, two screens of the L image and the R image (a 2D image is displayed on the display of the 3D image of one screen). Image data for two screens) is required.
  • the image data for displaying the 3D image on one screen is converted into image data for one screen.
  • An encoding apparatus that encodes image data after processing has been proposed.
  • FIG. 1 is a diagram for explaining how to thin out an L image and an R image (pixels) constituting a 3D image.
  • 1A is a diagram showing an L image and an R image.
  • the L image and the R image each have pixels for one screen of a 2D image (two-dimensional image).
  • FIG. 1B shows an image in which the horizontal spatial resolution is halved by thinning out the pixels of the L image and R image every other line in the vertical direction.
  • any of the odd and even pixels from the left of the L image and R image may be thinned out, or L of the L image and R image may be thinned out.
  • L of the L image and R image may be thinned out.
  • one of the odd-numbered and even-numbered pixels may be thinned out, and for the R image, the other pixel may be thinned out.
  • FIG. 1C shows an image in which the vertical spatial resolution is halved by thinning out the pixels of the L image and the R image every other line in the horizontal direction.
  • FIG. 1D the pixels of the L image and the R image are thinned out every other line in the diagonal direction (upward diagonal direction or right upward diagonal direction), thereby obtaining the spatial resolution in the diagonal direction.
  • An image that is halved is shown.
  • the L image and R image after thinning out D in FIG. 1 are images in which pixels are arranged in a check pattern by thinning out the pixels in an oblique direction.
  • the pixel to be thinned out from one of the L image and R image may be a pixel at the same position as the pixel to be thinned out from the other image, or other than the pixel to be thinned out from the other image. (The pixel where the pixel remains in the image after thinning out the other image).
  • the number of pixels of the L image and R image after thinning becomes 1/2 of the original, and as a result, the entire L image and R image after thinning are reduced.
  • the amount of data (number of pixels) is equal to the amount of image data for one screen of a 2D image.
  • FIG. 2 shows a thinned-out L image in which pixels of the L image and the R image are thinned out every other line in the diagonal direction as described in FIG.
  • FIG. 4 is a block diagram illustrating a configuration of an example of a conventional encoding device that encodes a thinned-out R image.
  • a 3D image (image data) that is a moving image is supplied to the filter unit 11 in units of one screen.
  • the filter unit 11 is supplied with an L image and an R image that constitute a 3D image of one screen.
  • the filter unit 11 In order to prevent aliasing distortion in the thinned L image and the thinned R image obtained by thinning out the L image and the R image, the filter unit 11 (in the oblique direction) of the L image and the R image. Perform filtering to cut high frequency components (spatial frequency).
  • the filter unit 11 includes filters 11L and 11R that are low-pass filters.
  • the filter 11L filters the L image supplied to the filter unit 11 and supplies it to the thinning unit 12.
  • the filter 11 ⁇ / b> R filters the R image supplied to the filter unit 11 and supplies the filtered R image to the thinning unit 12.
  • the thinning unit 12 thins out the pixels of the L image supplied from the filter unit 11 every other line in the diagonal direction, as described with reference to FIG. Into a thinned-out L image in which pixels are arranged in a shape.
  • the thinning unit 12 similarly thins the R image supplied from the filter unit 11 in a check pattern by thinning the R image supplied from the filter unit 11 in the diagonal direction. Convert to R image.
  • the thinning unit 12 includes thinning units 12L and 12R.
  • the thinning unit 12L thins out the pixels of the L image supplied from the filter unit 11 every other line in the diagonal direction as described in FIG. 1D, and obtains a check pattern (checkered pattern) as a result.
  • the thinned L image in which the pixels are arranged is supplied to the mixing unit 13.
  • the thinning unit 12R thins out the pixels of the R image supplied from the filter unit 11 every other line in the diagonal direction as described in FIG. 1D, and the pixels are arranged in a check pattern obtained as a result.
  • the thinned R image is supplied to the mixing unit 13.
  • the thinning-out unit 12R thins out pixels other than the pixels of the L image thinned out by the thinning-out unit 12L from the R image, for example.
  • the thinned-out L image (or thinned-out R image) is an image having pixels at positions where no pixels are present in the thinned-out R image (or thinned-out L image).
  • the mixing unit 13 mixes the thinned L image and the thinned R image supplied from the thinning unit 12, generates a mixed image equal to the data amount of the image data for one screen of the 2D image, and supplies the mixed image to the encoder 14. .
  • the encoder 14 encodes the mixed image supplied from the mixing unit 13 by, for example, the MPEG2 system or the H.264 / AVC system, and outputs the encoded data obtained as a result.
  • the encoded data output from the encoder 14 is transmitted via a transmission medium or recorded on a recording medium.
  • FIG. 3 is a diagram for explaining the mixing of the thinned L image and the thinned R image in the mixing unit 13 of FIG.
  • 3A shows a thinned L image and a thinned R image to be mixed in the mixing unit 13.
  • the thinned-out L image and thinned-out R image are images in which pixels (remaining after thinning) are arranged in a check pattern.
  • the xth pixel from the left and the yth pixel from the top (the pixel value thereof) constituting the thinned L image are represented as L x, y and the thinned R image is composed of the xth pixel from the left and the top
  • the y th pixel be represented as R x, y .
  • 3B shows a mixed image obtained by mixing the thinned L image and the thinned R image in the mixing unit 13 of FIG.
  • Mixing unit 13 for example, with respect to thinned-out L image, the pixels L x of the thinned-out L image, the position where y is not disposed, the pixels R x of the thinned-out R image, the y, by arranging to fit speak , pixel L x of the thinned-out L image, and y, the pixel R x of the thinned-out R image, and the y, to produce a mixed image arranged in checkerboard fashion.
  • the position of the combined image a (x, y) pixel (pixel value) of, C x,
  • FIG. 4 is a block diagram showing a configuration of an example of a conventional decoding apparatus that decodes encoded data output from the encoding apparatus of FIG.
  • the decoder 21 is supplied with encoded data output from the encoding apparatus.
  • the decoder 21 performs decoding in a method corresponding to the method in which the encoder 34 in FIG. 2 performs encoding.
  • the decoder 21 decodes the encoded data supplied thereto by, for example, the MPEG2 system or the H.264 / AVC system and supplies the mixed image obtained as a result to the 3D display device 22.
  • 3D display device 22 are shown in B of FIG. 3, pixels L x of the thinned-out L image, and y, the pixel R x of the thinned-out R image, and the y, checkerboard shape arranged 3D display of the combined image ( 3D image display device), and displays a 3D image by displaying, for example, an L image and an R image in accordance with the mixed image from the decoder 21.
  • the thinned-out L image and the thinned-out R image are images having parallax, and the mixed image obtained by the mixing unit 13 of the encoding device in FIG. 2 includes the pixels Lx, y of the thinned-out L image and the thinned-out image.
  • the pixels R x, y of the R image are images arranged in a check pattern.
  • a mixed image obtained from a 3D image of a single screen of a scene constitutes a 2D image of the same scene as the scene (or the 3D image).
  • the data amount (number of pixels) is the same, but the image has a significantly low correlation in the time direction and the spatial direction.
  • a 3D image includes an edge that extends continuously (smoothly) in a certain direction such as a vertical direction or a horizontal direction
  • a thinned L image and a thinned R image with parallax are displayed.
  • continuous edges appearing in the 3D image appear as discontinuous edges.
  • the correlation in the spatial direction (correlation between a pixel of the mixed image of one screen and the pixels around the pixel (particularly, the pixel of the thinned L image and the thinned R image adjacent to the pixel)
  • the correlation with the pixel of is reduced.
  • the thinned L image with the parallax and the thinned R image are mixed as described with reference to FIG.
  • the movement at a constant speed of the object shown in the 3D image appears as different movement depending on the pixel.
  • the correlation in the time direction (correlation between a certain screen and the screen immediately before or just after that screen) becomes low.
  • the encoder 14 of the encoding apparatus in FIG. 2 uses, for example, MPEG2 format or H.264 / AVC format encoding.
  • Predictive coding that encodes an image using the correlation in the time direction or the spatial direction (for example, for a portion to be encoded, a portion that is temporally or spatially close to that portion is encoded as a predicted value.
  • the encoding efficiency of the prediction encoding of the mixed image deteriorates.
  • Such degradation in coding efficiency is not only when predictive coding of L and R images constituting a 3D image, but also when predictive coding is performed by generating a mixed image from any two different images. Also occurs.
  • the present invention has been made in view of such a situation, and is intended to improve the coding efficiency of predictive coding of an image.
  • the image processing apparatus provides a first thinned image obtained by thinning pixels of a first image in an oblique direction, and pixels of a second image different from the first image.
  • a horizontal process for manipulating the horizontal arrangement of pixels for a second thinned image obtained by thinning out diagonally the first thinned image pixel and the second thinned image pixel are horizontally processed.
  • the mixed image obtained by arranging the horizontal processing means for performing horizontal alignment to be packed in the direction and the first thinned image and the second thinned image that have been horizontally packed by the horizontal processing are subjected to predictive encoding.
  • An image processing apparatus including a mixing unit that generates an image to be encoded.
  • the image processing method is a first thinned image obtained by the image processing apparatus thinning out pixels of the first image in an oblique direction, and a first image different from the first image.
  • the second thinned-out image obtained by thinning out the pixels of the second image in the diagonal direction as a horizontal process for manipulating the horizontal arrangement of the pixels, the pixels of the first thinned-out image and the second thinned-out image
  • the mixed image obtained by horizontally arranging the pixels of the image in the horizontal direction and arranging the first thinned image and the second thinned image that are horizontally packed by the horizontal processing side by side is set as a target of prediction encoding.
  • An image processing method including a step of generating an encoding target image.
  • the first thinned image obtained by thinning out the pixels of the first image in the oblique direction and the pixels of the second image different from the first image are obliquely formed.
  • the pixels of the first thinned image and the pixels of the second thinned image are arranged in the horizontal direction.
  • a mixed image obtained by arranging the first thinned image and the second thinned image that are horizontally packed by the horizontal processing is arranged as a coding target image to be subjected to predictive coding. Generated.
  • the image processing apparatus is a first thinned image obtained by thinning pixels of a first image in an oblique direction, and pixels of a second image different from the first image.
  • the first thinned image pixel and the second thinned image pixel are horizontally processed.
  • Encoded data obtained by performing predictive encoding of the mixed image obtained by performing horizontal alignment in the direction and arranging the first and second thinned images side-by-side by the horizontal processing side by side.
  • An image processing apparatus comprising: a reverse horizontal processing unit that performs reverse horizontal processing for returning the first thinned image and the second thinned image horizontally packed by flat processing to the first thinned image and the second thinned image. It is.
  • the image processing method is a first thinned image obtained by the image processing apparatus thinning out pixels of the first image in an oblique direction, and a first image different from the first image.
  • the pixels of the first thinned-out image and the second thinned-out image Obtained by performing predictive coding of a mixed image obtained by performing horizontal alignment in which pixels of an image are horizontally aligned and arranging the first and second thinned images that are horizontally aligned by the horizontal processing side by side.
  • the mixed image obtained by decoding the encoded data is separated into a first thinned image and a second thinned image that are horizontally packed by the horizontal processing, and is horizontally packed by the horizontal processing.
  • the first thinned image and second thinned image an image processing method comprising the step of performing inverse horizontal processing to return to the first thinned image and said second thinned images.
  • the first thinned image obtained by thinning the pixels of the first image in the oblique direction and the pixels of the second image different from the first image are obliquely formed.
  • the pixels of the first thinned image and the pixels of the second thinned image are arranged in the horizontal direction.
  • the encoded data obtained by performing the predictive encoding of the mixed image by decoding the first and second thinned images horizontally arranged by the horizontal processing and arranging them side by side is decoded.
  • the mixed image obtained in this way is separated into a first thinned image and a second thinned image that are horizontally packed by the horizontal processing, and a first thinned image that is horizontally packed by the horizontal processing Beauty the second thinned image, the inverse horizontal processing is performed to return to the first thinned image and said second thinned images.
  • the image processing apparatuses on the first and second side surfaces may be independent apparatuses or may be internal blocks constituting one apparatus.
  • the image processing apparatuses according to the first and second aspects can be realized by causing a computer to execute a program.
  • the encoded data obtained by predictively encoding the mixed image obtained by the first image processing apparatus and the program executed by the computer to realize the image processing apparatuses of the first and second aspects are a transmission medium. Can be provided by being transmitted through the recording medium or by being recorded on a recording medium.
  • FIG. 3 is a block diagram illustrating a configuration example of a decoder 34.
  • FIG. It is a flowchart explaining the process of an encoding apparatus. It is a figure explaining the horizontal processing which the horizontal processing part 31 performs.
  • FIG. It is a figure explaining the process of an encoding apparatus in case a separate flag represents non-separation. It is a figure explaining the vertical process performed in the vertical process part 32.
  • FIG. It is a figure explaining the mixing process performed in the mixing part. It is a figure explaining the vertical process performed in the vertical process part 32.
  • FIG. It is a figure explaining the mixing process performed in the mixing part. It is a figure explaining a separate flag, a vertical pattern flag, and an arrangement pattern flag.
  • It is a block diagram which shows the structural example of one Embodiment of the decoding apparatus to which this invention is applied.
  • FIG. 6 is a block diagram illustrating a configuration example of a decoder 61.
  • FIG. It is a flowchart explaining the process of a decoding apparatus. It is a block diagram which shows the structural example of other one Embodiment of the encoding apparatus to which this invention is applied.
  • 3 is a block diagram illustrating a configuration example of a synthesizing device 102.
  • FIG. It is a figure explaining the process of the synthesizing
  • FIG. 1 It is a figure which shows the frame of the thinning
  • FIG. 5 is a block diagram showing a configuration example of an embodiment of an encoding apparatus to which the image processing apparatus of the present invention is applied.
  • the encoding apparatus of FIG. 5 is common to the case of FIG. 2 in that it includes a filter unit 11 and a thinning unit 12.
  • the encoding device of FIG. 5 is different from the case of FIG. 2 in that it includes a horizontal processing unit 31, a vertical processing unit 32, and a control unit 35. Furthermore, the encoding apparatus of FIG. 5 is different from the case of FIG. 2 in that it includes a mixing unit 33 and an encoder 34 instead of the mixing unit 13 and the encoder 14, respectively.
  • a thinned L image in which pixels are arranged in a check pattern obtained by thinning out pixels of the L image and the R image from the thinning unit 12 every other line in the diagonal direction, And a thinned R image is supplied.
  • the filter unit 11 and the thinning unit 12 process the L image and the R image constituting the 3D image in the same manner as in FIG. And the thinned-out R image (the first thinned-out image and the second thinned-out image) are supplied to the horizontal processing unit 31.
  • the L image and the R image constituting the 3D image are the processing targets in the encoding device, but the processing target in the encoding device is the L image and It is not limited to R images.
  • two images with parallax other than the L image and the R image constituting the 3D image specifically, for example, an image obtained by photographing a certain subject from a certain position A, and the subject
  • two images that is, an image taken from an arbitrary position other than a position on a half line passing through the position A, can be processed.
  • an arbitrary first image and a second image different from the first image specifically, for example, 2 of an odd-numbered frame and an even-numbered frame of a moving image.
  • One image or the same frame from the beginning of any two moving images can be processed.
  • the horizontal processing unit 31 performs horizontal processing on the pixels of the thinned-out L image and the thinned-out R image in the horizontal direction as horizontal processing for manipulating the horizontal arrangement of the pixels of the thinned-out L image and the thinned-out R image from the thinning-out unit 12. Perform horizontal packing.
  • the horizontal processing unit 31 includes horizontal processing units 31L and 31R.
  • the horizontal processing unit 31L performs horizontal processing on the thinned L image from the thinning unit 12, and supplies an image obtained as a result (hereinafter also referred to as an L image after horizontal processing) to the vertical processing unit 32.
  • the thinned-out L image is an image in which pixels are arranged in a check pattern, the pixels are arranged so as to have a gap as compared to a 2D image of the same size.
  • the horizontal processing unit 31L shifts the pixels of the thinned L image in the horizontal direction so that there is no gap, thereby generating an image in which the pixels of the thinned L image are horizontally aligned as an L image after horizontal processing. .
  • the horizontal processing unit 31R performs horizontal processing on the thinned R image from the thinning unit 12, and an image obtained as a result (hereinafter also referred to as an R image after horizontal processing) is displayed as a vertical processing unit. 32.
  • Each of the vertical processing unit 32 and the horizontal processing L image from the horizontal processing unit 31 and the horizontal processing R image (the first thinned image after the horizontal processing and the second thinned image after the horizontal processing) of the horizontal processing unit 31 As vertical processing for manipulating the vertical arrangement of pixels, an odd line and an even line are separated from an L image after horizontal processing and an R image after horizontal processing, and only an even line is arranged.
  • a process of generating a plurality of post-vertical image images including an image in which is arranged.
  • the vertical processing unit 32 includes separation units 32L and 32R.
  • the separation unit 32L separates the odd lines and the even lines from the horizontal image L from the horizontal processing unit 31.
  • the separation unit 32R separates odd lines and even lines from the R image after horizontal processing from the horizontal processing unit 31.
  • the vertical processing unit 32 is supplied with the horizontal post-processing L image and the horizontal post-processing R image from the horizontal processing unit 31, and from the control unit 35 to be described later, a separate flag and A vertical pattern flag is supplied.
  • the separate flag indicates whether or not the odd lines and the even lines are separated from the L image after the horizontal processing and the R image after the horizontal processing (the odd lines from the L image after the horizontal processing and the R image after the horizontal processing). And an even line).
  • the vertical pattern flag is a flag representing the arrangement of the L image after horizontal processing and the odd and even lines of the R image after horizontal processing in a plurality of images after vertical processing obtained by the vertical processing unit 32.
  • the vertical processing unit 32 Regardless of the vertical pattern flag from 35, the L image after horizontal processing and the R image after horizontal processing from the horizontal processing unit 31 are supplied as they are to the mixing unit 33 as a plurality of vertical processed images.
  • the vertical processing unit 32 does not perform vertical processing and does not perform horizontal processing.
  • the horizontal processed L image and the horizontal processed R image from the processing unit 31 are supplied to the mixing unit 33 as a plurality of vertical processed images as they are.
  • the vertical processing unit 32 separates the odd lines and the even lines from the L image after the horizontal processing from the horizontal processing unit 31, and also causes the separation unit 32R to separate the odd lines from the R image after the horizontal processing from the horizontal processing unit 31. Separate even lines.
  • the vertical processing unit 32 arranges only an odd line of the L image after horizontal processing, an image which arranges only an even line of the L image after horizontal processing, and horizontal processing.
  • an image in which only odd lines in the L image after horizontal processing are arranged is also referred to as an odd line L image
  • an image in which only even lines in the L image after horizontal processing are arranged is also referred to as an even line L image.
  • An image in which only odd lines of the R image after horizontal processing are arranged is also referred to as an odd line R image
  • an image in which only even lines of the R image after horizontal processing are arranged is also referred to as an even line R image.
  • the mixing unit 33 is supplied with a plurality of post-vertical processing images from the vertical processing unit 32, and is also supplied with a separate flag, a vertical pattern flag, and an arrange pattern (Arrange_pattern) flag from the control unit 35.
  • the arrange pattern flags are the four images. Is a flag representing the arrangement pattern of the four images.
  • the mixing unit 33 arranges the plurality of vertical processed images from the vertical processing unit 32 side by side in accordance with the separate flag, the vertical pattern flag, and the arrangement pattern flag from the control unit 35, thereby arranging the plurality of vertical processed images.
  • a mixed image (L image of one screen or image of one screen having the same data amount as the R image) is generated and output as an image to be subjected to predictive encoding by the encoder 34 at the subsequent stage. .
  • the vertical processing unit 32 The processed L image and the horizontal processed R image are supplied to the mixing unit 33 as a plurality of vertical processed images as they are.
  • the mixing unit 33 arranges the horizontal post-processing L image and the horizontal post-processing R image supplied as a plurality of post-vertical processing images from the vertical processing unit 32 in a predetermined arrangement. Generate an image.
  • the mixing unit 33 controls the control unit 35.
  • the images supplied from the vertical processing unit 32 as a plurality of post-vertical images are an odd line L image, an even line L image, an odd line R image, and an even line R. It is recognized whether there are four images, or two images of an odd line image after vertical processing and an even line image after vertical processing.
  • the mixing unit 33 generates a mixed image by arranging the odd-numbered line images after vertical processing and the even-numbered line images after vertical processing as the plurality of vertical-processed images in a predetermined arrangement.
  • the vertical processing unit 32 supplies the four images of the odd line L image, the even line L image, the odd line R image, and the even line R image to the mixing unit 33 as a plurality of post-vertical processing images.
  • the mixing unit 33 outputs the four images of the odd-numbered line L image, the even-numbered line L image, the odd-numbered line R image, and the even-numbered line R image as the plurality of vertical processed images.
  • the mixed images are generated by arranging them in the arrangement of the arrangement pattern represented by the arrangement pattern flag.
  • the encoder 34 is supplied with the mixed image output from the mixing unit 33 and the separate flag, vertical pattern flag, and arrange pattern flag output from the control unit 35.
  • the encoder 34 predictively encodes the mixed image output from the mixing unit 33 according to, for example, the MPEG2 format, the H.264 / AVC format, and the like, and the control unit 35 outputs the encoded data obtained as a result of the predictive encoding.
  • the separate flag, the vertical pattern flag, and the arrange pattern flag to be included are included.
  • Encoded data including a separate flag, a vertical pattern flag, and an arrange pattern flag obtained by the encoder 34 is transmitted via a transmission medium or recorded on a recording medium.
  • the control unit 35 sets a separate flag, a vertical pattern flag, and an arrange pattern flag in accordance with an operator (user) operation or the like, and supplies them to the mixing unit 33 and the encoder 34. Further, the control unit 35 supplies the separation flag and the vertical pattern flag to the vertical processing unit 32.
  • the separate flag, the vertical pattern flag, and the arrange pattern flag can be included in the header of the system layer or the picture layer, for example, of the encoded data.
  • the separation flag, the vertical pattern flag, and the arrange pattern flag are, for example, SEI that is user data. (Supplemental Enhancement Information).
  • the encoder 34 can transmit the encoded data, the separate flag, the vertical pattern flag, and the arrange pattern flag by various methods.
  • the transmission of the encoded data, the separate flag, the vertical pattern flag, and the arrange pattern flag includes a separate flag, a vertical pattern flag, and a syntax such as SEI in the encoded data.
  • the separate flag, the vertical pattern flag, and the arrange pattern flag by describing the arrange pattern flag, the encoded data, the separate flag, the vertical pattern flag, and the arrange pattern are transmitted. This includes recording a flag on a recording medium, separately transmitting encoded data, a separate flag, a vertical pattern flag, and an arrange pattern flag.
  • the encoding apparatus of FIG. 5 prepares three flags, a separate flag, a vertical pattern flag, and an arrange pattern flag, and mixed images of patterns with various pixel arrangements are set by setting the three flags.
  • the mixed image generated by the encoding device can be an image having a specific pattern of pixel arrangement.
  • a mixed image having a specific pixel arrangement is generated when the separate flag, vertical pattern flag, and arrange pattern flag are set to a specific value. can do.
  • the mixed image includes pixels of the thinned L image with respect to the thinned L image as described with reference to FIG. Indicates whether the image is the same as the conventional image (B in FIG. 3) in which pixels of the thinned-out R image are inserted at positions where they are not arranged, or whether the pixel arrangement is an image of a specific pattern
  • the flag in the decoding apparatus that decodes the encoded data, it is possible to recognize which of the two images is the mixed image obtained as a result of the decoding.
  • FIG. 6 is a block diagram illustrating a configuration example of the encoder 34 of FIG.
  • the encoder 34 is an image information encoding device that realizes image compression by orthogonal transform such as discrete cosine transform or Karhunen-Loeve transform and motion compensation.
  • the image data to be encoded is supplied to an A / D (Analog / Digital) conversion unit 41.
  • a / D Analog / Digital
  • the image data to be encoded supplied to the A / D converter 41 is image data of a mixed image generated by the mixing unit 33 (FIG. 5).
  • the A / D conversion unit 41 converts the image data into A / D conversion to digital signal image data, This is supplied to the screen rearrangement buffer 42.
  • the screen rearrangement buffer 42 temporarily stores the image data from the A / D conversion unit 41 and reads it out as necessary, so that the screen rearrangement buffer 42 corresponds to the GOP (Group of ⁇ Pictures) structure of the encoded data output from the encoder 34. Then, rearrangement is performed in which pictures (frames) (fields) of image data are rearranged in the encoding order.
  • GOP Group of ⁇ Pictures
  • an intra picture on which intra coding is performed is supplied to the calculation unit 43.
  • the calculation unit 43 subtracts the pixel value of the prediction image supplied from the intra prediction unit 54 from the pixel value of the intra picture supplied from the screen rearrangement buffer 42 as necessary, and supplies the subtraction unit 44 with the pixel value. .
  • the orthogonal transform unit 44 performs orthogonal transform such as discrete cosine transform or Karhunen-Labe transform on an intra picture (a pixel value thereof or a subtracted value obtained by subtracting a predicted image), and a transform coefficient obtained as a result Is supplied to the quantizing unit 45.
  • orthogonal transform such as discrete cosine transform or Karhunen-Labe transform
  • the quantization unit 45 quantizes the transform coefficient from the orthogonal transform unit 44 and supplies the resulting quantized value to the lossless encoding unit 46.
  • the lossless encoding unit 46 performs lossless encoding such as variable length encoding or arithmetic encoding on the quantization value from the quantization unit 45, and stores the encoded data obtained as a result in the accumulation buffer 47. Supply.
  • the accumulation buffer 47 temporarily stores the encoded data from the lossless encoding unit 46 and outputs it at a predetermined rate.
  • the rate control unit 48 monitors the accumulation amount of the encoded data in the accumulation buffer 47, and controls the behavior of the quantization unit 45 such as the quantization step of the quantization unit 45 based on the accumulation amount.
  • the quantization value obtained by the quantization unit 45 is supplied to the lossless encoding unit 46 and also to the inverse quantization unit 49.
  • the inverse quantization unit 49 inversely quantizes the quantized value from the quantization unit 45 into a transform coefficient and supplies the transform coefficient to the inverse orthogonal transform unit 50.
  • the inverse orthogonal transform unit 50 performs inverse orthogonal transform on the transform coefficient from the inverse quantization unit 49 and supplies the transform coefficient to the calculation unit 51.
  • the computing unit 51 obtains a decoded image of an intra picture by adding the pixel value of the predicted image supplied from the intra prediction unit 54 to the data supplied from the inverse orthogonal transform unit 50 as necessary. To the deblocking filter 52.
  • the deblocking filter 52 performs a filtering process for reducing block distortion and the like on the decoded image from the computing unit 51 and supplies it to the frame memory 53.
  • the frame memory 53 temporarily stores the decoded image supplied from the calculation unit 51 via the deblocking filter 52, and uses the decoded image as a reference image used to generate a predicted image as necessary. To the unit 54 and the motion prediction / motion compensation unit 55.
  • the intra prediction unit 54 generates a prediction image from pixels that are already stored in the frame memory 53 among pixels in the vicinity of the portion (block) that is the processing target of the calculation unit 43 in the intra picture. And supplied to the calculation units 43 and 51.
  • the calculation unit 43 calculates the intra from the picture supplied from the image rearrangement buffer 42.
  • the prediction image supplied from the prediction unit 54 is subtracted.
  • the predicted image subtracted by the calculation unit 43 is added to the data supplied from the inverse orthogonal transform unit 50.
  • the non-intra picture subjected to inter coding is supplied from the image rearrangement buffer 42 to the calculation unit 43 and the motion prediction / motion compensation unit 55.
  • the motion prediction / motion compensation unit 55 reads out, as a reference image, a picture of a decoded image that is referred to from the frame memory 53 for non-intra-picture motion prediction from the image rearrangement buffer 42. Further, the motion prediction / motion compensation unit 55 detects a motion vector for the non-intra picture from the image rearrangement buffer 42 using the reference image from the frame memory 53.
  • the motion prediction / motion compensation unit 55 performs motion compensation on the reference image according to the motion vector, thereby generating a predicted image of a non-intra picture, and supplies it to the calculation units 43 and 51.
  • the predicted image supplied from the intra prediction unit 54 is subtracted from the non-intra picture supplied from the image rearrangement buffer 42, and thereafter, encoding is performed in the same manner as in the case of the intra picture.
  • an intra prediction mode representing a mode in which the intra prediction unit 54 generates a predicted image is supplied from the intra prediction unit 54 to the lossless encoding unit 46.
  • the motion vector obtained by the motion prediction / motion compensation unit 55 and the motion compensation prediction mode indicating the mode in which the motion prediction / motion compensation unit 55 performs motion compensation are transmitted from the motion prediction / motion compensation unit 55 to the lossless encoding unit. 46.
  • a separate flag, a vertical pattern flag, and an arrange pattern flag supplied from the control unit 35 (FIG. 5) to the encoder 34 are also supplied to the lossless encoding unit 46.
  • the lossless encoding unit 46 information necessary for decoding, such as the intra prediction mode, the motion vector, the motion compensation prediction mode, and the picture type of each picture, is losslessly encoded and included in the header of the encoded data.
  • a separate flag, a vertical pattern flag, and an arrange pattern flag are included by multiplexing the encoded data.
  • FIG. 7 is a flowchart for explaining processing (image processing as encoding processing) of the encoding device in FIG.
  • step S11 the control unit 35 sets a separate flag, a vertical pattern flag, and an arrangement pattern flag, and supplies them to the mixing unit 33 and the encoder 34. Further, the control unit 35 supplies the separation flag and the vertical pattern flag to the vertical processing unit 32, and the process proceeds from step S11 to step S12.
  • step S12 the filter unit 11 receives the L image and the R image after waiting for the L image and the R image constituting the 3D image of one screen to be supplied thereto. Then, the filter unit 11 filters each of the L image and the R image, supplies the filtered image to the thinning unit 12, and the process proceeds from step S12 to step S13.
  • step S13 the thinning unit 12 thins out pixels from each of the L image and the R image supplied from the filter unit 11, and the thinning L image in which the pixels are arranged in a check pattern and the thinning R obtained as a result.
  • the image is supplied to the horizontal processing unit 31.
  • step S13 the horizontal processing unit 31 performs horizontal processing on each of the thinned L image and thinned R image from the thinning unit 12.
  • the horizontal processing unit 31 supplies the L image after horizontal processing and the R image after horizontal processing obtained as a result of the horizontal processing to the vertical processing unit 32, and the processing proceeds from step S14 to step S15.
  • step S15 the vertical processing unit 32 performs vertical processing on the L image after horizontal processing and the R image after horizontal processing from the horizontal processing unit 31 according to the separation flag and the vertical pattern flag supplied from the control unit 35. To generate a plurality of vertical-processed images.
  • the vertical processing unit 32 supplies a plurality of vertical processed images to the mixing unit 33, and the process proceeds from step S15 to step S16.
  • step S16 the mixing unit 33 arranges a plurality of post-vertical processing images from the vertical processing unit 32 according to the separate flag, the vertical pattern flag, and the arrangement pattern flag from the control unit 35, thereby arranging the plurality of images.
  • a mixing process for generating a mixed image obtained by mixing the images after the vertical processing is performed.
  • the mixing unit 33 supplies the mixed image to the encoder 34, and the process proceeds from step S16 to step S17.
  • step S17 the encoder 34 predictively encodes (encodes) the mixed image output from the mixing unit 33 as an encoding target in accordance with, for example, the MPEG2 system, the H.264 / AVC system, or the like.
  • the encoder 34 outputs the encoded data obtained as a result of the predictive encoding, including the separate flag, the vertical pattern flag, and the arrange pattern flag supplied from the control unit 35.
  • the encoded data output from the encoder 34 is transmitted via a transmission medium or recorded on a recording medium.
  • steps S11 to S17 is performed on the L image and the R image constituting each screen of the 3D image.
  • the setting of the separation flag, the vertical pattern flag, and the arrangement pattern flag in step S11 can be performed only for the first screen of the 3D image as the content of one moving image, for example.
  • processing according to the separation flag, vertical pattern flag, and arrangement pattern flag set for the first screen is performed on all screens of the 3D image as the content.
  • FIG. 8 is a diagram illustrating horizontal processing performed by the horizontal processing unit 31 in FIG.
  • the horizontal processing unit 31 horizontally packs the pixels of the thinned-out L image and thinned-out R image in which the pixels are arranged in a check pattern as horizontal processing for manipulating the horizontal arrangement of the pixels. Perform horizontal filling.
  • 8A shows horizontal processing for the thinned L image.
  • LO represents pixels of odd lines (odd horizontal lines from the top) of the thinned L image (and therefore L image), and LE represents even lines (from the top) of the thinned L image. Represents even-numbered horizontal lines of pixels. The same applies to the subsequent drawings.
  • pixels are arranged in a check pattern, and the pixels are arranged with a gap as compared with a 2D image of the same size.
  • the pixels of the thinned L image are shifted in the horizontal direction so that there are no gaps, that is, the pixels in the thinned L image are shifted in the left direction in FIG.
  • a horizontally aligned image is generated as an L image after horizontal processing.
  • FIG. 8B shows horizontal processing for the thinned R image.
  • RO represents pixels of odd lines in the thinned R image (and hence R image)
  • RE represents pixels of even lines of the thinned R image.
  • pixels are arranged in a check pattern, and the pixels are arranged with a gap as compared to a 2D image of the same size.
  • the pixels of the thinned R image are shifted in the horizontal direction so that there is no gap, that is, the pixels in the thinned R image are shifted leftward in FIG.
  • a horizontally aligned image is generated as an R image after horizontal processing.
  • FIG. 9 shows a case where the separate flag indicates that the odd lines and the even lines are not separated from the horizontal image L image and the horizontal image R image (hereinafter also referred to as non-separation). It is a figure explaining the process performed with the encoding apparatus.
  • the vertical processing unit 32 directly uses the horizontal post-processing L image and the horizontal post-processing R image generated by the horizontal processing unit 31 as a plurality of post-vertical processing images. And supplied to the mixing unit 33.
  • the mixing unit 33 arranges the horizontal post-processing L image and the horizontal post-processing R image supplied as a plurality of vertical processing images from the vertical processing unit 32 in a predetermined arrangement. , Generate a mixed image.
  • the mixing unit 33 arranges the L image after horizontal processing on the left side and arranges the R image after horizontal processing on the right side to generate a mixed image.
  • the L image after horizontal processing is arranged on the left side, and the R image after horizontal processing is arranged on the right side.
  • the L image after horizontal processing is an image in which the pixels of the thinned L image are horizontally aligned by shifting the pixels of the thinned L image in the horizontal direction so that there is no gap. The same applies to the R image after horizontal processing.
  • the mixed image is an image in which pixels of the thinned-out R image are inserted at positions where the pixels of the thinned-out L image are not arranged with respect to the thinned-out L image.
  • the encoding efficiency of predictive encoding of the mixed image can be improved.
  • the L image and the R image are rotated by 90 degrees, and the rotated L image and the R image are processed.
  • R and R images contain edges that extend continuously in the vertical direction, the correlation between the spatial direction and temporal direction of the pixels that show the edges extending in the vertical direction is maintained to prevent deterioration of coding efficiency. can do.
  • “horizontal” is read as “vertical” and “vertical” is read as “horizontal”, and the L image and the R image have edges that extend continuously in the vertical direction.
  • the image is captured, it is possible to maintain the correlation between the spatial direction and the time direction of the pixel in which the edge extending in the vertical direction is captured, and to prevent deterioration in encoding efficiency.
  • the mixed image is generated by arranging the L image after horizontal processing, the R image after horizontal processing on the left side, and the right image on the right side.
  • the horizontal processing is performed.
  • the rear L image can be arranged on the right side, and the post-horizontal processing R image can be arranged on the left side.
  • edges that extend in the horizontal direction are generated.
  • the continuity of the edges extending in the vertical direction is lost.
  • FIG. 10 shows the case where the separation flag represents separating the odd lines and the even lines from the horizontal image L and the horizontal image R (hereinafter also referred to as line separation). It is a figure explaining the vertical processing performed by the vertical processing part 32 of FIG.
  • the separate flag represents line separation
  • the vertical pattern flag represents the L image after horizontal processing and the odd and even lines of the R image after horizontal processing in a plurality of images after vertical processing. It is a figure explaining the vertical processing in the case of representing a non-interleaved arrangement as the arrangement.
  • an interleaved arrangement and a non-interleaved arrangement are used as the arrangement of the odd line and the even line of the horizontal image L and the horizontal image R in the plurality of vertical images represented by the vertical pattern flag.
  • an interleaved arrangement There are two types of arrangements. In FIG. 10, the non-interleaved arrangement will be described, and the interleaved arrangement will be described later.
  • the vertical processing unit 32 separates the odd lines and the even lines from the L image after the horizontal processing, and the odd lines and the even lines from the R image after the horizontal processing. To separate.
  • the vertical processing unit 32 refers to the vertical pattern flag when the separate flag indicates line separation.
  • the vertical processing unit 32 converts the odd-numbered lines and the even-numbered lines separated from the horizontal processed L image and the horizontal processed R image respectively in the vertical direction. By shifting to, four images of an odd line L image, an even line L image, an odd line R image, and an even line R image are generated as a plurality of vertical processed images.
  • a in FIG. 10 is a diagram for explaining vertical processing for an L image after horizontal processing.
  • the vertical processing unit 32 extracts only odd lines (LO) from the L image after horizontal processing, and also extracts only even lines (LE), thereby separating odd lines and even lines.
  • an image consisting only of odd lines extracted from the L image after horizontal processing is an image having a gap corresponding to the even lines.
  • An image consisting only of even lines extracted from the L image after horizontal processing is also an image with a gap corresponding to the odd lines.
  • the vertical processing unit 32 vertically shifts the odd lines by shifting the odd lines of the image including only the odd lines extracted from the L image after the horizontal processing in the vertical direction so as to close the gaps corresponding to the even lines.
  • the image in the state is generated as an odd line L image in which only odd lines (LO) of the L image after horizontal processing are arranged.
  • the vertical processing unit 32 shifts the even lines of the image including only the even lines extracted from the L image after the horizontal processing in the vertical direction so as to close the gaps corresponding to the odd lines, so that the even lines are shifted.
  • the vertically aligned image is generated as an even line L image in which only the even lines (LE) of the L image after horizontal processing are arranged.
  • the vertical processing unit 32 performs the same vertical processing on the R image after horizontal processing.
  • B in FIG. 10 is a diagram for explaining the vertical processing for the R image after the horizontal processing.
  • the vertical processing unit 32 extracts only odd lines (RO) and only even lines (RE) from the R image after horizontal processing, thereby separating odd lines and even lines.
  • an image consisting of only odd lines extracted from the R image after horizontal processing is an image having a gap corresponding to the even lines.
  • An image consisting only of even lines extracted from the R image after horizontal processing is also an image having a gap corresponding to the odd lines.
  • the vertical processing unit 32 vertically shifts the odd lines by shifting the odd lines of the image including only the odd lines extracted from the R image after horizontal processing in the vertical direction so as to close the gap corresponding to the even lines.
  • the image in the state is generated as an odd line R image in which only odd lines (RO) of the R image after horizontal processing are arranged.
  • the vertical processing unit 32 shifts the even lines of the image including only the even lines extracted from the R image after the horizontal processing in the vertical direction so as to close the gaps corresponding to the odd lines, so that the even lines are changed.
  • the vertically aligned image is generated as an even line R image in which only the even lines (RE) of the R image after horizontal processing are arranged.
  • the vertical processing unit 32 performs the odd line L image, even line L image, odd line R as described above.
  • Four images, an image and an even line R image, are generated and supplied to the mixing unit 33 (FIG. 5) as a plurality of vertically processed images.
  • FIG. 11 is a diagram for explaining the mixing process performed by the mixing unit 33 in FIG. 5 when the separate flag indicates line separation and the vertical pattern flag indicates non-interleaved arrangement.
  • the odd line L image and the even line shown in FIG. Four images of an L image, an odd line R image, and an even line R image are supplied as a plurality of post-vertical processing images.
  • the mixing unit 33 arranges the arrangement pattern flag representing four images of the odd line L image, the even line L image, the odd line R image, and the even line R image as a plurality of post-vertical processing images.
  • a mixed image is generated by arranging in the arrangement.
  • the arrangement pattern represented by the arrangement pattern flag includes, for example, six patterns # 0, # 1, # 2, # 3, # 4, and # 5.
  • FIG. 11 shows patterns # 0 to # 5 as arrangement patterns represented by the arrangement pattern flag.
  • FIG. 11A shows pattern # 0
  • FIG. 11B shows pattern # 1
  • FIG. 11C shows pattern # 2
  • FIG. 11D shows pattern # 3
  • FIG. Shows pattern # 4
  • F in FIG. 11 shows pattern # 5.
  • the mixing unit 33 When the arrangement pattern flag represents the pattern # 0, the mixing unit 33, as shown in FIG. 11A, the odd line L image (LO) is on the upper left, the even line L image (LE) is on the lower left, A mixed image in which the odd line R image (RO) is arranged on the upper right and the even line R image (RE) is arranged on the lower right is generated.
  • the mixing unit 33 When the arrangement pattern flag represents the pattern # 1, the mixing unit 33, as shown in FIG. 11B, the odd line L image (LO) is on the upper left, and the odd line R image (RO) is on the lower left.
  • a mixed image in which the even line L image (LE) is arranged on the upper right and the even line R image (RE) is arranged on the lower right is generated.
  • the mixing unit 33 displays the odd line L image (LO) on the upper left and the odd line R image (RO) on the lower left.
  • a mixed image in which the even line R image (RE) is arranged on the upper right and the even line L image (LE) is arranged on the lower right is generated.
  • the mixing unit 33 As shown in D of FIG. 11, the odd line L image (LO) is on the upper left, the even line L image (LE) is on the lower left, A mixed image is generated in which the even line R image (RE) is arranged on the upper right and the odd line R image (RO) is arranged on the lower right.
  • the mixing unit 33 sets the odd line L image (LO) to the upper left and the even line R image (RE) to the lower left.
  • a mixed image in which the even line L image (LE) is arranged on the upper right and the odd line R image (RO) is arranged on the lower right is generated.
  • the mixing unit 33 When the arrangement pattern flag represents the pattern # 5, the mixing unit 33, as shown in F of FIG. 11, the odd line L image (LO) is on the upper left and the even line R image (RE) is on the lower left.
  • a mixed image is generated in which the odd line R image (RO) is arranged on the upper right and the even line L image (LE) is arranged on the lower right.
  • the pixels of the same image are arranged close to each other from the viewpoint of coding efficiency. It is desirable.
  • odd line L image (LO) and the even line L image (LE) obtained from the thinned-out L image are adjacent to each other in the vertical direction or the horizontal direction, not in the diagonal direction.
  • an odd line L image consisting only of the odd lines and an even line L image consisting only of the even lines are generated from the L image after horizontal processing, and only the odd lines are generated from the R image after the horizontal processing.
  • An odd line R image and an even line R image consisting only of even lines are generated, and a mixed image is generated by arranging the odd line L image, even line L image, odd line R image, and even line R image. Therefore, in each of the odd line L image, the even line L image, the odd line R image, and the even line R image constituting the mixed image, the phase shift (original L image) is performed between adjacent pixels. Or pixels located in different rows or columns in the R image are not arranged in the same row or column in the odd line L image or the like.
  • Directional correlation is also maintained.
  • the three pixels LO arranged in the first vertical direction from the left in the thinned-out L image shown in FIG. 10A the three pixels LO arranged in the first vertical direction from the left of the odd line L image shown in FIG. 10A. Therefore, the continuity of the edges appearing in the thinned L image in the odd line L image portion of the mixed image. Is maintained.
  • the encoded data of the mixed image composed of the odd line L image, the even line L image, the odd line R image, and the even line R image is It has been confirmed that the amount of encoded data of the mixed image shown in FIG.
  • FIG. 12 the separation flag indicates line separation, and the vertical pattern flag indicates the arrangement of the odd-numbered and even-numbered lines of the horizontal image L and the horizontal image R in the plurality of vertical images.
  • FIG. 8 is a diagram for explaining vertical processing when an interleaved arrangement is represented.
  • the vertical processing unit 32 separates the odd-numbered line and the even-numbered line from the L image after horizontal processing and the R image after horizontal processing, respectively.
  • the vertical pattern flag is referred to.
  • the vertical processing unit 32 interleaves the odd-numbered lines and the even-numbered lines separated from the L image after horizontal processing and the R image after horizontal processing, respectively. By arranging the two images, an odd line image after vertical processing and an even line image after vertical processing are generated as a plurality of vertical processed images.
  • the vertical processing unit 32 extracts only odd lines and only even lines from the L image after horizontal processing and the R image after horizontal processing.
  • the odd lines and the even lines are separated (FIG. 12).
  • the vertical processing unit 32 arranges the odd lines of the L image after horizontal processing and the odd lines of the R image after horizontal processing by interleaving and arranging the odd lines of the L image after horizontal processing.
  • An odd line image after vertical processing is generated in which odd lines (LO) and odd lines (RO) of the R image after horizontal processing are alternately arranged.
  • the vertical processing unit 32 arranges the even lines of the L image after horizontal processing and the even lines of the R image after horizontal processing by interleaving and arranging the even lines (LE) of the L image after horizontal processing. Then, an even line image after vertical processing is generated in which the even lines (RE) of the R image after horizontal processing are alternately arranged.
  • the vertical processing unit 32 When the separation flag indicates line separation and the vertical pattern flag indicates interleaved arrangement, the vertical processing unit 32 performs the vertical line processing odd line image and the vertical processing even line image as described above. Are generated and supplied to the mixing unit 33 (FIG. 5) as a plurality of vertical processed images.
  • the odd line (LO) of the L image after horizontal processing is arranged oddly from the top, and the odd line (RO) of the R image after horizontal processing is from the top.
  • odd lines (LO) in the L image after horizontal processing even numbers, and odd lines (RO) in the R image after horizontal processing, respectively. is there.
  • the even line (LE) of the L image after horizontal processing is arranged in an odd number
  • the even line (RE) of the R image after horizontal processing is arranged in an even number.
  • odd line image after vertical processing when the odd line (LO) of the L image after horizontal processing is arranged at the odd number (or even number), the L image after horizontal processing in the even line image after vertical processing. It is desirable that the even lines (LE) are also arranged at odd numbers (or even numbers). The same applies to odd lines (RO) and even lines (RE) of the R image after horizontal processing.
  • FIG. 13 is a diagram for explaining the mixing process performed by the mixing unit 33 in FIG. 5 when the separate flag indicates line separation and the vertical pattern flag indicates interleaved arrangement.
  • the vertical processing unit 32 to the mixing unit 33 are connected to the odd-numbered line image after vertical processing shown in FIG. Two images, that is, an even line image after vertical processing, are supplied as a plurality of images after vertical processing.
  • the mixing unit 33 arranges the vertical post-processing odd line images and the vertical post-processing even line images supplied as a plurality of vertical post-processing images from the vertical processing unit 32 in a predetermined arrangement. , Generate a mixed image.
  • the mixing unit 33 generates the mixed image by arranging the odd-line image after the vertical processing on the left side and the even-line image after the vertical processing on the right side. .
  • the odd line image after vertical processing and the even line after vertical processing are arranged by interleaving the odd lines and even lines separated from the L image after horizontal processing and the R image after horizontal processing, respectively.
  • the encoder 34 uses the interlace method. Assuming that it is an image, predictive coding of the mixed image is performed.
  • the encoder 34 assumes that the mixed image is an interlaced image even if it is a progressive image. Predictive encoding of the mixed image is performed.
  • the encoder 34 performs, for example, predictive encoding according to the H.264 / AVC format, and an odd field (field consisting of odd lines) constituting the t-th frame that is a frame at time t of the mixed image. ) And even fields (fields consisting of even lines), for example, when attention is paid to even fields, the encoder 34 generates a prediction image of the even fields at the time of predictive encoding of the even fields of the t-th frame.
  • the odd field of the t-th frame which is the same frame, and the even field of the t-1 frame one frame before, in which the prediction error is reduced.
  • the mixed image generated when the separate flag represents line separation and the vertical pattern flag represents interleaved arrangement the L image after horizontal processing
  • This is an image in which an odd-numbered line image after vertical processing and an even-numbered line image after vertical processing obtained by interleaving and arranging odd-numbered lines and even-numbered lines separated from R-images after horizontal processing are arranged in the horizontal direction.
  • the odd lines (LO) and even lines (LE) of the thinned-out L image are arranged in the horizontal direction, so that the odd field of the mixed image includes the odd lines shown in FIG.
  • the L image and the even line L image are arranged in the horizontal direction.
  • the odd lines (RO) and the even lines (RE) of the thinned-out R image are arranged in the horizontal direction, so that the even field of the mixed image is the odd number shown in FIG.
  • the line R image and the even line R image are arranged side by side.
  • the prediction error when predicting the even field of the t-th frame of the mixed image, the prediction error is caused by referring to the odd field of the t-th frame rather than referring to the even field of the t-1 frame. If it can be reduced, the odd field of the t-th frame can be referenced.
  • the encoder 34 performs predictive coding of the mixed image on the assumption that the mixed image is an interlaced image. As shown in FIG. 11, when the mixed image is composed of an odd line L image, an even line L image, an odd line R image, and an even line R image, the encoding is more than the coding efficiency. Efficiency can be realized.
  • the mixed image is generated by arranging the odd line image after vertical processing on the left side, and the even line image after vertical processing on the right side.
  • the odd line image after vertical processing can be arranged on the right side, and the even line image after vertical processing can be arranged on the left side.
  • whether the odd line image after vertical processing and the even line image after vertical processing are arranged on the left side or the right side of the mixed image depends on whether a separate flag, a vertical pattern flag, or another flag of the arrange pattern flag. Can be prepared and controlled by the flag. However, in this case, the flag also needs to be included in the encoded data.
  • FIG. 14 is a diagram illustrating a separate flag, a vertical pattern flag, and an arrange pattern flag.
  • the separate flag indicates whether or not the odd lines and the even lines are separated from the non-separated or line separated, that is, the L image after horizontal processing and the R image after horizontal processing.
  • the separation flag when the separation flag is 0, it indicates non-separation, and when it is 1, it indicates line separation.
  • the vertical pattern (vertical_pattern) flag indicates the arrangement of the odd-numbered lines and the even-numbered lines of the horizontal image L and the horizontal image R in a plurality of vertical-processed images.
  • the arrangement represented by the vertical pattern flag includes a non-interleaved arrangement and an interleaved arrangement.
  • the vertical pattern flag when it is 0, it represents a non-interleaved arrangement (FIG. 10), and when it is 1, it represents an interleaved arrangement (FIG. 12).
  • the vertical processing unit 32 uses the L image after horizontal processing as described in FIG.
  • the odd lines and the even lines are separated from each other, and the odd lines and the even lines are separated from the R image after the horizontal processing.
  • the vertical processing unit 32 shifts each of the odd line and the even line separated from the L image after horizontal processing and the R image after horizontal processing in the vertical direction, respectively.
  • Four images of an odd line L image, an even line L image, an odd line R image, and an even line R image are generated as a plurality of vertical processed images.
  • the vertical processing unit 32 when the separation flag is 1 representing line separation and the vertical pattern flag is 1 representing interleaved arrangement, the vertical processing unit 32 generates an odd number from the L image after horizontal processing as described in FIG. The lines are separated from the even lines, and the odd lines and the even lines are separated from the R image after the horizontal processing.
  • the vertical processing unit 32 interleaves the odd-numbered lines and the even-numbered lines separated from the horizontal processed L image and the horizontal processed R image, respectively. Two images of the odd line image after vertical processing and the even line image after vertical processing are generated as a plurality of post-vertical image images.
  • the arrange pattern (arrange_pattern) flag indicates that a plurality of post-vertical processed images are four images of an odd line L image, an even line L image, an odd line R image, and an even line R image. , Represents the arrangement pattern of the four images.
  • the arrangement pattern flag takes an integer value ranging from 0 to 5.
  • the mixing unit 33 displays an odd line L image, an even line L image, an odd line R image, and an even line R image as a plurality of post-vertical processing images.
  • the mixed images are generated by arranging the patterns #i in the arrangement.
  • FIG. 15 is a flowchart for explaining the details of the vertical processing in step S15 and the mixing processing in step S16 in FIG. 7 performed according to the separate flag, vertical pattern flag, and arrangement pattern flag.
  • step S31 the vertical processing unit 32 and the mixing unit 33 in FIG. 5 determine whether the separation flag supplied from the control unit 35 is 0 or 1.
  • step S31 If it is determined in step S31 that the separation flag is 0, the process proceeds to step S32, and the vertical processing unit 32 performs the horizontal post-processing L image supplied from the horizontal processing unit 31 and the post-horizontal processing R.
  • the image is supplied to the mixing unit 33 as it is as a plurality of images after vertical processing.
  • the mixing unit 33 arranges the horizontal post-processing L image and the horizontal post-processing R image supplied as a plurality of post-vertical processing images from the vertical processing unit 32 in the horizontal direction as shown in FIG. , Generate a mixed image.
  • step S31 determines whether the separation flag is 1 or not. If it is determined in step S31 that the separation flag is 1, the process proceeds to step S33, and the vertical processing unit 32 reads the odd line and even line from the horizontal L-processed image from the horizontal processing unit 31. And the odd-numbered line and the even-numbered line are separated from the R image after horizontal processing from the horizontal processing unit 31.
  • step S34 the vertical processing unit 32 and the mixing unit 33 determine whether the vertical pattern flag supplied from the control unit 35 is 0 or 1. judge.
  • step S34 If it is determined in step S34 that the vertical pattern flag is 0, the process proceeds to step S35, and the vertical processing unit 32, as described with reference to FIG.
  • the vertical processing unit 32 By shifting the odd lines and even lines separated from each R image in the vertical direction, an odd line L image, an even line L image, an odd line R image, and an even line R image are converted into a plurality of images. Generated as an image after vertical processing.
  • the vertical processing unit 32 supplies an odd line L image, an even line L image, an odd line R image, and an even line R image as a plurality of post-vertical processing images to the mixing unit 33.
  • the process proceeds from step S35 to step S36.
  • step S ⁇ b> 36 the mixing unit 33 receives the odd line L image, the even line L image, the odd line R image, and the even line R image as the plurality of vertical processed images from the vertical processing unit 32 from the control unit 35.
  • the mixed images described with reference to FIG. 11 are generated by arranging them in the arrangement of arrangement patterns represented by the supplied arrangement pattern flags.
  • step S34 determines whether the vertical pattern flag is 1 or not. If it is determined in step S34 that the vertical pattern flag is 1, the process proceeds to step S37, and the vertical processing unit 32, as described with reference to FIG.
  • the vertical processing unit 32 By interleaving the odd lines and even lines separated from each post-processed R image, the vertical line odd line image and the post-vertical even line image are converted into a plurality of vertical processes. Generated as a post-image.
  • the vertical processing unit 32 supplies the vertical post-processing odd line images and the vertical post-processing even line images as the plurality of vertical post-processing images to the mixing unit 33, and the process proceeds from step S37 to step S38. .
  • step S ⁇ b> 38 the mixing unit 33 determines in advance the post-vertical odd line image and the post-vertical even line image supplied as a plurality of vertical processed images from the vertical processing unit 32.
  • the mixed images described with reference to FIG. 13 are generated by arranging them in the arrangement.
  • the mixed image generated in step S32, S36, or S38 is supplied from the mixing unit 33 to the encoder 34 (FIG. 5), and is predictively encoded as described in step S17 of FIG.
  • FIG. 16 is a block diagram showing a configuration example of an embodiment of a decoding apparatus to which the image processing apparatus of the present invention is applied.
  • the decoder 61 of the decoding device is supplied with encoded data output from the encoding device of FIG.
  • the decoder 61 receives (receives) the encoded data supplied thereto, extracts a separation flag, a vertical pattern flag, and an arrangement pattern flag included in the encoded data, and supplies them to the separation unit 62.
  • the encoded data, the separate flag, the vertical pattern flag, and the arrange pattern flag may be transmitted separately (including reproduction from the recording medium).
  • the decoder 61 receives separately transmitted encoded data, a separate flag, a vertical pattern flag, and an arrange pattern flag, and separates the separate flag, the vertical pattern flag, and the arrange pattern flag into a separation unit 62. To supply.
  • the decoder 61 supplies a separate flag and a vertical pattern flag to the inverse vertical processing unit 63.
  • the decoder 61 decodes the encoded data in the same method as the encoding method of the encoder 34, and supplies the resulting mixed image to the separation unit 62.
  • the separation unit 62 separates the mixed image from the decoder 61 into a plurality of post-vertical processing images according to the separate flag, the vertical pattern flag, and the arrangement pattern flag, and supplies them to the reverse vertical processing unit 63.
  • the reverse vertical processing unit 63 includes combining units 63L and 63R.
  • the reverse vertical processing unit 63 performs reverse vertical processing to return the plurality of vertical processed images from the separation unit 62 to the horizontal processed L image and the horizontal processed R image, and the horizontal processed L image obtained as a result thereof
  • the R image after horizontal processing is supplied to the inverse horizontal processing unit 64.
  • the mixed image shows a plurality of L-images after horizontal processing and R-images after horizontal processing as a plurality of images after vertical processing, as shown in FIG. As shown, the images are arranged horizontally.
  • the separation unit 62 uses a plurality of vertically processed images arranged as shown in FIG. 9 from the mixed image from the decoder 61.
  • the L image after horizontal processing and the R image after horizontal processing are separated and supplied to the inverse vertical processing unit 63.
  • the reverse vertical processing unit 63 performs a horizontal post-processing L image as a plurality of vertical post-processing images supplied from the reverse separation unit 62, and The R image after horizontal processing is supplied to the reverse horizontal processing unit 64 as it is.
  • the mixed image is an odd number as a plurality of vertically processed images.
  • the four images of the line L image, the even line L image, the odd line R image, and the even line R image are images arranged in accordance with the arrangement pattern flag included in the encoded data. ing.
  • the separating unit 62 mixes images from the decoder 61. Similarly, according to the arrangement pattern flag from the decoder 61, the odd line L image, the even line L image, the odd line R image, and the even line R image arranged as shown in FIG. This is supplied to the vertical processing unit 63.
  • the combining unit 63L combines the odd line L image and the even line L image from the separating unit 62, and decodes the L image after horizontal processing.
  • the composition unit 63L arranges each line (horizontal line) of the odd line L image from the separation unit 62 in the odd line of the L image after horizontal processing, and the even line L image from the separation unit 62.
  • the L image after horizontal processing is decoded by arranging each line on an even line of the L image after horizontal processing.
  • the combining unit 63R combines the odd line R image and the even line R image from the separating unit 62, and decodes the R image after horizontal processing.
  • composition unit 63R arranges the odd-numbered line R image lines from the separation unit 62 in the odd-numbered lines of the post-horizontal processing R image, and horizontally processes the lines of the even-numbered line R image from the separation unit 62.
  • the R image after horizontal processing is decoded by arranging it in the even lines of the rear R image.
  • the mixed image is subjected to vertical processing as a plurality of post-vertical processed images. As described with reference to FIG. 13, two images, the rear odd line image and the vertical line even line image, are arranged in the horizontal direction.
  • the separation unit 62 uses the mixed image from the decoder 61 when the separate flag supplied from the decoder 61 represents line separation and the vertical pattern flag supplied from the decoder 61 represents an interleaved arrangement. Then, the odd-line image after vertical processing and the even-line image after vertical processing arranged as shown in FIG. 13 are separated and supplied to the reverse vertical processing unit 63.
  • the synthesizing unit 63L synthesizes the odd-numbered line image after vertical processing from the separating unit 62 and a part of the lines of the even-lined image after vertical processing, and decodes the L image after horizontal processing.
  • the odd line image after vertical processing includes the odd line (LO) of the L image after horizontal processing
  • the even line image after vertical processing is the even line of the L image after horizontal processing. (LE) is included.
  • the synthesizing unit 63L extracts the odd line (LO) and the even line (LE) of the L image after horizontal processing from the odd line image after vertical processing and the even line image after vertical processing from the separation unit 62, respectively. Then, the odd line (LO) and the even line (LE) are returned to the original arrangement to decode the L image after the horizontal processing.
  • the combining unit 63R combines the odd line image after vertical processing from the separating unit 62 and the remaining lines of the even line image after vertical processing, and decodes the R image after horizontal processing. .
  • the odd line image after vertical processing includes the odd line (RO) of the R image after horizontal processing
  • the even line image after vertical processing is the even line of the R image after horizontal processing. (RE) is included.
  • the synthesizing unit 63L extracts the odd line (RO) and the even line (RE) of the R image after horizontal processing from the odd line image after vertical processing and the even line image after vertical processing from the separation unit 62, respectively. Then, the odd-numbered line (RO) and the even-numbered line (RE) are returned to the original arrangement to decode the R image after horizontal processing.
  • the reverse horizontal processing unit 64 performs reverse horizontal processing for returning the L image after horizontal processing and the R image after horizontal processing from the reverse vertical processing unit 63 to the thinned L image and the thinned R image.
  • the reverse horizontal processing unit 64 includes reverse horizontal processing units 64L and 64R.
  • the reverse horizontal processing unit 64L decodes the thinned L image by shifting the pixels of the L image after horizontal processing from the reverse vertical processing unit 63 in the direction opposite to that of the horizontal processing unit 31L in FIG. To supply.
  • the reverse horizontal processing unit 64R decodes the thinned R image by shifting the pixels of the R image after horizontal processing from the reverse vertical processing unit 63 in the direction opposite to that of the horizontal processing unit 31R in FIG. To supply.
  • the interpolation unit 65 includes interpolation units 65L and 65R.
  • the interpolation unit 65L interpolates the pixels thinned out by the thinning-out unit 12L in FIG. 5 with respect to the thinned-out L image supplied from the inverse horizontal processing unit 64, and performs an interpolated image (hereinafter also referred to as an interpolated L image). To the filter unit 66.
  • the interpolation unit 65R interpolates the pixels thinned out by the thinning unit 12R in FIG. 5 with respect to the thinned R image supplied from the reverse horizontal processing unit 64, and performs an interpolated image (hereinafter also referred to as an interpolated R image). To the filter unit 66.
  • the filter unit 66 includes filters 66L and 66R that are low-pass filters.
  • the filter 66L filters the interpolation L image from the interpolation unit 65, thereby decoding the L image and supplying it to the 3D format conversion unit 67.
  • the filter 66R filters the interpolated R image from the interpolating unit 65, thereby decoding the R image and supplying it to the 3D format converting unit 67.
  • the 3D format conversion unit 67 converts the L image and the R image (image data thereof) from the filter unit 66 into a signal in a format corresponding to the 3D display device 68 that displays the 3D image. This is supplied to the display device 68.
  • the 3D display device 68 displays a 3D image in response to the signal from the 3D format conversion unit 67.
  • the 3D display device 68 is, for example, similarly to the 3D display device 22 of FIG. 4, shown in B of FIG. 3, pixels L x of the thinned-out L image, y and the pixel R x of the thinned-out R image, y Is a stereoscopic device that supports 3D display of mixed images arranged in a check pattern, the 3D format conversion unit 67, for example, includes the filter unit 11, the thinning unit 12, and FIG. By performing the same processing as that performed by the mixing unit 13, the L image and the R image from the filter unit 66 are converted into signals having a format corresponding to the 3D image displayed on the 3D display device 68.
  • FIG. 17 is a block diagram showing a configuration example of the decoder 61 in FIG.
  • the decoder 61 decodes encoded data obtained by the encoder 34 (FIG. 6), which is an image information encoding device that realizes image compression by orthogonal transformation such as discrete cosine transformation or Karhunen-Labe transformation and motion compensation, for example.
  • An information decoding device is an image information encoding device that realizes image compression by orthogonal transformation such as discrete cosine transformation or Karhunen-Labe transformation and motion compensation, for example.
  • the decoder 61 is supplied with the encoded data output from the encoding apparatus in FIG. 5 as encoded data to be decoded.
  • the encoded data to be decoded is supplied to the accumulation buffer 71.
  • the accumulation buffer 71 temporarily stores the encoded data supplied thereto and supplies it to the lossless code decoding unit 72.
  • the lossless code decoding unit 72 performs processing such as variable length decoding and arithmetic decoding on the encoded data from the accumulation buffer 71 based on the format of the encoded data, thereby obtaining the quantized value and the encoded value.
  • Information necessary for decoding an image such as an intra prediction mode, a motion vector, a motion compensation prediction mode, and a picture type of each picture included in the header of the data is decoded.
  • the quantization value obtained by the lossless code decoding unit 72 is supplied to the inverse quantization unit 73, and the intra prediction mode is supplied to the intra prediction unit 78. Also, the motion vector (MV), the motion compensation prediction mode, and the picture type obtained by the lossless code decoding unit 72 are supplied to the motion prediction / motion compensation unit 79.
  • the lossless code decoding unit 72 extracts a separation flag, a vertical pattern flag, and an arrangement pattern flag from the encoded data, and supplies them to the separation unit 62 (FIG. 16). Further, the lossless code decoding unit 72 supplies the separation flag and the vertical pattern flag to the inverse vertical processing unit 63 (FIG. 16).
  • the inverse quantization unit 73, the inverse orthogonal transform unit 74, the calculation unit 75, the deblock filter 76, the frame memory 77, the intra prediction unit 78, and the motion prediction / motion compensation unit 79 are the same as the inverse quantization unit 49, FIG.
  • the same processing as that performed by the inverse orthogonal transform unit 50, the calculation unit 51, the deblock filter 52, the frame memory 53, the intra prediction unit 54, and the motion prediction / motion compensation unit 55 is performed, whereby the image is decoded ( A decoded image is obtained).
  • the inverse quantization unit 73 inversely quantizes the quantized value from the lossless code decoding unit 72 into a transform coefficient and supplies the transform coefficient to the inverse orthogonal transform unit 74.
  • the inverse orthogonal transform unit 74 performs inverse orthogonal transform on the transform coefficient from the inverse quantization unit 73 and supplies the transform coefficient to the operation unit 75.
  • the calculation unit 75 adds the pixel value of the predicted image supplied from the intra prediction unit 78 as necessary for the data of the intra picture among the data supplied from the inverse orthogonal transform unit 74, A decoded picture of an intra picture is obtained.
  • the arithmetic unit 75 adds the pixel value of the predicted image supplied from the motion prediction / motion compensation unit 79 to the non-intra picture data among the data supplied from the inverse orthogonal transform unit 74. A decoded image of a non-intra picture is obtained.
  • the decoded image obtained by the calculation unit 75 is supplied to the deblock filter 76.
  • the deblocking filter 76 performs a filtering process similar to that of the deblocking filter 52 of FIG. 6 on the decoded image from the calculation unit 75, and supplies the same to the frame memory 77 and to the image rearrangement buffer 80 as necessary. To do.
  • the frame memory 77 temporarily stores the decoded image supplied from the arithmetic unit 75 via the deblock filter 76, and uses the decoded image as a reference image used to generate a predicted image as necessary. To the unit 78 and the motion prediction / motion compensation unit 79.
  • the intra prediction unit 78 uses a decoded image as a reference image from the frame memory 77 for the predicted image of the intra picture. , Generated as necessary, and supplied to the calculation unit 75.
  • the intra prediction unit 78 is already stored in the frame memory 77 among the pixels in the vicinity of the part (block) to be processed by the calculation unit 75 according to the intra prediction mode from the lossless code decoding unit 72.
  • a predicted image is generated from the existing pixels and supplied to the calculation unit 75.
  • the motion prediction / motion compensation unit 79 when the data to be processed by the computing unit 75 is non-intra picture data, the motion prediction / motion compensation unit 79 generates a predicted image of the non-intra picture and supplies the predicted image to the computing unit 75. To do.
  • the motion prediction / motion compensation unit 79 reads out a picture of a decoded image used for generating a predicted image as a reference image from the frame memory 77 according to the picture type or the like from the lossless code decoding unit 72. Further, the motion prediction / motion compensation unit 79 performs motion compensation on the reference image from the frame memory 77 according to the motion vector from the lossless code decoding unit 72 and the motion compensation prediction mode, thereby predicting the predicted image. Is supplied to the calculation unit 75.
  • the arithmetic unit 75 adds the prediction image supplied from the intra prediction unit 78 or the motion prediction / motion compensation unit 79 to the data supplied from the inverse orthogonal transform unit 74 as described above, thereby (Pixel value) is decoded.
  • the image rearrangement buffer 80 rearranges the picture arrangement to the original arrangement (display order) by temporarily storing and reading the picture (decoded image) supplied from the arithmetic unit 75 via the deblocking filter 76. , And supplied to a D / A (Digital / Analog) converter 81.
  • the D / A conversion unit 81 performs D / A conversion on the decoded image and outputs it when it is necessary to output the decoded image from the image rearrangement buffer 80 as an analog signal.
  • FIG. 18 is a flowchart for explaining processing (image processing as decoding processing) of the decoding device in FIG.
  • processing according to the flowchart of FIG. 18 is processing performed on encoded data of a 3D image of one screen.
  • step S51 the decoder 61 waits for the encoded data of the 3D image of one screen to be supplied thereto, and receives the encoded data. Then, the decoder 61 extracts a separation flag, a vertical pattern flag, and an arrangement pattern flag from the encoded data, and supplies them to the separation unit 62.
  • the decoder 61 supplies a separate flag and a vertical pattern flag to the inverse vertical processing unit 63.
  • the decoder 61 decodes the encoded data, supplies the resulting mixed image to the separation unit 62, and the process proceeds from step S51 to step S52.
  • step S52 the separation unit 62 separates the mixed image from the decoder 61 into a plurality of post-vertical processing images according to the separate flag, vertical pattern flag, and arrangement pattern flag from the decoder 61, and the inverse vertical processing unit 63. The process proceeds to step S53.
  • step S53 the inverse vertical processing unit 63 converts the plurality of vertical processed images from the separating unit 62 into a horizontal processed L image and a horizontal processed R according to the separation flag and the vertical pattern flag from the decoder 61. Perform reverse vertical processing to return to the image.
  • step S53 the inverse vertical processing unit 63 supplies the L image after horizontal processing and the R image after horizontal processing obtained by the inverse vertical processing to the inverse horizontal processing unit 64, and the process proceeds to step S54. move on.
  • step S54 the reverse horizontal processing unit 64 performs reverse horizontal processing to return the L image after horizontal processing and the R image after horizontal processing from the reverse vertical processing unit 63 to the thinned L image and thinned R image.
  • step S54 the reverse horizontal processing unit 64 supplies the thinned L image and the thinned R image obtained by the reverse horizontal processing to the interpolation unit 65, and the process proceeds to step S55.
  • step S55 the interpolation unit 65 interpolates the pixels of the thinned L image and the thinned R image supplied from the reverse horizontal processing unit 64 and supplies them to the filter unit 66.
  • the filter unit 66 filters the image from the interpolation unit 65, decodes the L image and the R image, supplies the decoded image to the 3D format conversion unit 67, and the process proceeds from step S55 to step S56.
  • step S56 the 3D format conversion unit 67 converts the L image and the R image from the filter unit 66 into a signal having a format corresponding to the 3D display of the 3D image on the 3D display device 68, and the 3D display device 68. To supply.
  • the 3D display device 68 displays a 3D image corresponding to the signal from the 3D format conversion unit 67.
  • the decoding device in FIG. 16 can be configured without the 3D display device 68 and the 3D format conversion unit 67, for example.
  • the 16 can be configured without the interpolation unit 65 and the filter unit 66 in addition to the 3D display device 68 and the 3D format conversion unit 67, for example.
  • the encoding device in FIG. 5 and the decoding device in FIG. 16 are arranged in a horizontal direction as shown in FIG. 1B in addition to the thinned L image and thinned R image in which pixels are arranged in a check pattern.
  • An image with the spatial resolution in the direction halved, or an image with the spatial resolution in the vertical direction halved as shown in Fig. 1C (image rotated 90 degrees) It is also applicable to.
  • FIG. 19 is a block diagram showing a configuration example of another embodiment of an encoding apparatus to which the image processing apparatus of the present invention is applied.
  • the encoding device of FIG. 19 is different from the case of FIG. 5 in that it includes imaging devices 101L and 101R. Further, the encoding apparatus of FIG. 19 also includes a synthesizing device 102 instead of the filter unit 11, the thinning unit 12, the horizontal processing unit 31, the vertical processing unit 32, the mixing unit 33, and the control unit 35. This is different from the case of 5.
  • the encoding device in FIG. 19 is suitable for encoding an L image and an R image that are images of the interlaced method.
  • the imaging devices 101L and 101R are video cameras that capture interlaced images, capture images with parallax, and supply the images to the combining device 102.
  • the imaging device 101L captures an interlaced image that is an L image and supplies the image to the synthesizing device 102.
  • the image capturing apparatus 101R captures an interlaced image that is an R image in synchronization with the L image capturing by the image capturing apparatus 101L, and supplies the image to the synthesizing apparatus 102.
  • the synthesizing device 102 thins out the pixels of the L image from the imaging device 101L and performs preprocessing described later, thereby generating a thinned L image and thins out the pixels of the R image from the imaging device 101R and performs preprocessing. Thus, a thinned-out R image is generated.
  • the synthesizing apparatus 102 performs a separation flag and a horizontal processing unit 31, a vertical processing unit 32, and a mixing unit 33 in FIG. 5 on the thinned L image and the thinned R image obtained by the preprocessing.
  • a mixed image is generated by performing the same processing as the horizontal processing, vertical processing, and mixing processing performed when the vertical pattern flag is 1, and is supplied to the encoder 34.
  • the encoding apparatus in FIG. 5 performs horizontal processing as described in FIG. 12 and FIG.
  • the vertical processing unit 32 separates the odd lines and the even lines from the L image after the horizontal processing in the vertical processing, and the odd lines and the even lines from the R image after the horizontal processing.
  • the odd line image after the vertical processing and the vertical processing are arranged by interleaving the odd line and the even line separated from the L image after the horizontal processing and the R image after the horizontal processing, respectively. After that, an even line image is generated.
  • the mixing unit 33 generates a mixed image by arranging the odd line image after the vertical processing and the even line image after the vertical processing side by side.
  • the mixing process is also collectively referred to as an interleave mixing process.
  • FIG. 20 is a block diagram illustrating a configuration example of the synthesizing apparatus 102 in FIG.
  • the synthesizing apparatus 102 includes a filter unit 121, a thinning unit 122, a preprocessing unit 123, an interleave mixing processing unit 124, and a control unit 125.
  • the filter unit 121 is supplied with the L image from the imaging device 101L and the R image from the imaging device 101R.
  • the filter unit 121 prevents the aliasing distortion from occurring in the thinned L image and the thinned R image obtained by thinning the pixels of the L image and the R image. Filtering is performed to cut high frequency components of the L image and the R image.
  • the filtering in the filter unit 121 cuts the high-frequency component in the diagonal direction. Is done.
  • the filter unit 121 performs filtering of the interlaced L image and R image for each of the odd field and the even field constituting the frame of the L image and the R image.
  • the odd-numbered field and even-numbered field constituting the frame of the interlaced image are captured at different times.
  • the filter unit 121 performs filtering on the interlaced L and R images by dividing them into odd and even fields constituting the frame.
  • the filter unit 121 supplies to the thinning-out unit 122 the filtering results of the odd and even fields constituting the L image frame and the odd and even fields constituting the R image frame.
  • odd field and the even field constituting the frame of the L image and the odd field and the even field constituting the frame of the R image are respectively represented as the L odd field and the L even field, and Also referred to as R odd field and R even field.
  • the thinning-out part 122 thins out the pixels in the L odd field every other line in the diagonal direction in the same manner as the thinning part 12 in FIG. To a field in which pixels are arranged (hereinafter also referred to as a thinned-out L odd field).
  • the thinning unit 122 checks the L even field by thinning out the pixels in the L even field every other line in the diagonal direction in the same manner as the thinning unit 12 thins out the pixels of the L image in FIG.
  • the field is converted into a field in which pixels are arranged in a pattern (hereinafter also referred to as a thinned-out L even field).
  • the thinning unit 122 thins out the pixels of the R odd field and the R even field every other line in the diagonal direction in the same manner as the thinning unit 12 of FIG. 5 thins out the pixels of the R image.
  • the R odd field and the R even field are converted into fields in which pixels are arranged in a check pattern.
  • the fields after thinning out pixels in the thinning unit 122 in the R odd field and the R even field are also referred to as the thinning R odd field and the thinning R even field, respectively.
  • the thinning unit 122 supplies the thinning L odd field, the thinning L even field, the thinning R odd field, and the thinning R even field to the preprocessing unit 123.
  • the preprocessing unit 123 uses the thinned-out L odd field and the thinned-out L even field, and the thinned-out R odd field and the thinned-out R even field from the thinned-out unit 122, and used for the thinned-out L image and the thinned-out R image. Perform pre-processing to compose the frame.
  • the pre-processing unit 123 includes the thinned-out L odd field and the thinned-out L even field from the thinning-out unit 122, that is, the odd field and the even number that configure the frame of the interlaced L image captured by the imaging device 101L.
  • the pre-processing unit 123 performs the thinning R odd field and the thinning R even field from the thinning unit 122, that is, the odd field and the even field forming the frame of the interlaced R image captured by the imaging device 101R.
  • the preprocessing unit 123 supplies the thinned L image and the thinned R image obtained as a result of the preprocessing to the interleave mixing processing unit 124.
  • the interleave mixing unit 124 includes a horizontal processing unit 131, a vertical processing unit 132, and a mixing unit 133, and performs an interleave mixing process.
  • the horizontal processing unit 131 is supplied with the thinned-out L image and the thinned-out R image (frame) from the pre-processing unit 123.
  • the horizontal processing unit 131 performs horizontal processing on each of the thinned L image and the thinned R image (frames thereof) from the preprocessing unit 123, and the horizontal processing obtained as a result thereof
  • the post-L image and the horizontal post-processing R image are supplied to the vertical processing unit 132.
  • the vertical processing unit 132 is supplied with an L image after horizontal processing and an R image after horizontal processing from the horizontal processing unit 131, and also from the control unit 125, a separate flag indicating line separation, and a vertical flag indicating interleaved arrangement. A pattern flag is supplied.
  • the vertical processing unit 132 follows the horizontal flag L and the horizontal processing R from the horizontal processing unit 131 according to the separation flag and the vertical pattern flag from the control unit 125. Apply vertical processing to the image.
  • the vertical processing unit 132 follows the horizontal flag from the horizontal processing unit 131 and the R image after horizontal processing (frames) from the horizontal processing unit 131 according to the separate flag indicating the line separation from the control unit 125. Separate even lines.
  • the vertical processing unit 132 interleaves the odd-numbered lines of the L image after horizontal processing and the odd-numbered lines of the R image after horizontal processing in accordance with the vertical pattern flag representing the interleaved arrangement from the control unit 125, and then the odd-numbered post-processing odd lines.
  • Two images are generated as a plurality of post-vertical processing images, an image, an L-image after horizontal processing, and an even-line image after vertical processing in which even-numbered lines of the horizontal image R are arranged by interleaving. 133.
  • the mixing unit 133 is supplied with a vertical processed odd line image and a vertical processed even line image as a plurality of vertical processed images from the vertical processing unit 132, and from the control unit 125, a separation flag and a vertical A pattern flag and an arrangement pattern flag are supplied.
  • the mixing unit 133 arranges a plurality of vertically processed images from the vertical processing unit 132 according to the separate flag, vertical pattern flag, and arrange pattern flag from the control unit 125. As a result, a mixed image obtained by mixing the plurality of post-vertical images is generated and output to the encoder 34 as an image to be subjected to predictive encoding.
  • the separate flag from the control unit 125 represents line separation
  • the vertical pattern flag represents interleaved arrangement
  • the vertical processing unit 132 performs a plurality of post-vertical processing operations in accordance with the separation flag indicating line separation and the vertical pattern flag indicating interleaved arrangement. It is recognized that the image supplied as an image is two images of an odd line image after vertical processing and an even line image after vertical processing, and regardless of the arrangement pattern flag, an odd line image after vertical processing, and By arranging the even line images after the vertical processing in a predetermined arrangement, a mixed image is generated.
  • the control unit 125 sets the separation flag to 1 indicating line separation, the vertical pattern flag to 1 indicating interleaved arrangement, and the arrangement pattern flag to an arbitrary value (or default value), and mixes them. To the unit 133 and the encoder 34. Further, the control unit 125 supplies the separation flag and the vertical pattern flag to the vertical processing unit 132.
  • composition device 102 [Processing of composition device 102]
  • FIG. 21 is a diagram for explaining the processing of the synthesizing device 102 in FIG. 20 when the L image and the R image are progressive images.
  • LO is a pixel of an odd line of an L image (frame)
  • LE is a pixel of an even line of an L image
  • RO is a frame of an R image (frame).
  • RE represents the pixels of the even lines of the R image.
  • pixels with diagonal lines represent even-numbered columns from the left, and pixels without diagonal lines represent odd-numbered columns from the left.
  • pixels with diagonal lines represent even-numbered columns from the left, and pixels without diagonal lines represent odd-numbered columns from the left.
  • the filter unit 121 (FIG. 20) performs the filtering of the progressive L image and the R image on the frame of the L image and the R image, and the thinning unit 122.
  • the thinning unit 122 (FIG. 20) thins out the pixels of the L image and R image frames from the filter unit 121 every other line in the diagonal direction as shown in FIG. Are converted into a thinned L image frame and a thinned R image frame in which pixels are arranged in a check pattern, and supplied to the preprocessing unit 123.
  • the preprocessing unit 123 (FIG. 20) performs the preprocessing, and the frame of the thinned L image and the thinned R image from the thinning unit 122 is used as it is. This is supplied to the horizontal processing unit 131 of the interleave mixing processing unit 124.
  • the horizontal processing unit 131 (FIG. 20) performs horizontal alignment in which the pixels of the thinned L image and the thinned R image in which pixels are arranged in a check pattern from the preprocessing unit 123 are horizontally aligned. By performing the horizontal processing, an L image after horizontal processing and an R image (frame) after horizontal processing shown in FIG. 21 are generated and supplied to the vertical processing unit 132.
  • the vertical processing unit 132 (FIG. 20) separates the odd-numbered lines and the even-numbered lines from the horizontal image L and the horizontal image R from the horizontal processing unit 131, respectively.
  • the vertical processing unit 132 interleaves the odd lines (LO) of the L image after horizontal processing and the odd lines (RO) of the R image after horizontal processing by interleaving them.
  • An odd line image after vertical processing (frame) in which odd lines (LO) of the L image after horizontal processing and odd lines (RO) of the R image after horizontal processing are alternately arranged is generated.
  • the vertical processing unit 132 interleaves the even lines (LE) of the L image after horizontal processing and the even lines (RE) of the R image after horizontal processing by interleaving them.
  • An even line image after vertical processing (frame) in which even lines (LE) of the L image after horizontal processing and even lines (RE) of the R image after horizontal processing are alternately arranged is generated.
  • the vertical processing unit 132 supplies the odd-numbered line image after vertical processing and the even-numbered line image after vertical processing to the mixing unit 133.
  • the mixing unit 133 (FIG. 20) arranges the odd-numbered line image after the vertical processing on the left side and arranges the even-line image after the vertical processing on the right side. (Frame) is generated and supplied to the encoder 34.
  • the odd field (odd line) is only the pixel of the odd line (LO) of the L image.
  • the even field (even line) is composed only of pixels of the odd line (RO) of the R image.
  • the odd field is composed of only the pixels of the even line (LE) of the L image
  • the even field is the pixels of the even line (RE) of the R image. Consists of only.
  • FIG. 22 to FIG. 24 are diagrams for explaining processing of the synthesizing apparatus 102 in FIG. 20 when the L image and the R image are interlaced images.
  • FIG. 22 is a diagram for explaining processing of the filter unit 121 and the thinning-out unit 122 when the L image and the R image are interlaced images.
  • LOO is an odd line of an odd field (L odd field) of an L image (frame)
  • LOE is an even line of an L odd field
  • LEO is an even field (L even) of an L image.
  • REO represents an odd line of the even field (R even field) of the R image
  • REE represents an even line of the R even field.
  • the filter unit 121 (FIG. 20) performs filtering of the interlaced L image and R image on the fields of the L image and R image, This is supplied to the thinning unit 122.
  • the filter unit 121 includes an L odd field and an L even field that configure an L image frame, and an R odd field and an R even field that configure an R image frame. Each is filtered and supplied to the thinning unit 122.
  • the thinning-out unit 122 (FIG. 20) displays the pixels of the L odd field, the L even field, the R odd field, and the R even field from the filter unit 121 in the diagonal direction.
  • the L odd field, the L even field, and the R odd field and the R even field are thinned out in the check pattern like the thinned L odd field, and
  • the thinned-out L even field, the thinned-out R odd field, and the thinned-out R even field are converted and supplied to the preprocessing unit 123.
  • the preprocessing unit 123 performs the preprocessing, the thinning L image and the thinning R from the thinning unit 122.
  • the image frame is supplied to the horizontal processing unit 131 of the interleave mixing processing unit 124 as it is.
  • the preprocessing unit 123 does not perform the preprocessing, and the thinning L odd field and the thinning L even field from the thinning unit 122.
  • the decimation R odd field and the decimation R even field are supplied as they are to the interleave mixing processing unit 124 (the horizontal processing unit 131 thereof), the mixed image obtained by the interleave mixing processing by the interleave mixing processing unit 124 Will be described.
  • FIG. 3 is a diagram illustrating frames of a thinned-out L image and a thinned-out R image that are supplied to and subjected to horizontal processing.
  • the frame of the thinned L image is a frame in which the thinned L odd field is an odd field and the thinned L even field is an even field.
  • the frame of the thinned R image is a frame having the thinned R odd field as an odd field and the thinned R even field as an even field.
  • the odd field includes a line composed only of pixels of the odd line (LOO) of the L odd field and an even line (LOE) of the L odd field.
  • Lines consisting of only pixels are mixed, and even fields are composed only of pixels of odd lines (LEO) in L even fields and pixels of even lines (LEE) in L even fields.
  • Mixed lines are composed only of pixels of odd lines (LEO) in L even fields and pixels of even lines (LEE) in L even fields.
  • the 4n + 2 line is only the pixel of the odd line (LEO) of the L even field and the 4n + 3 line is the pixel of the even line (LOE) of the L odd field.
  • Each line is composed only of pixels in the even line (LEE) of the L even field.
  • two pixels are arranged every two pixels in the vertical direction, and the pixels are not arranged in a check pattern.
  • the odd field includes a line composed only of pixels of the odd line (ROO) of the R odd field and an even line (ROE) of the R odd field.
  • a line consisting of only pixels is mixed, and the even field is composed of only the odd line (REO) pixels in the R even field and the even line (REE) pixels in the R even field.
  • the 4n + 1 line is only the pixel of the odd line (ROO) of the R odd field
  • the 4n + 2 line is only the pixel of the odd line (REO) of the R even field
  • the 4n + 3 line is composed only of pixels of the even line (ROE) of the R odd field
  • the 4n + 4 line is composed of only pixels of the even line (REE) of the R even field.
  • FIG. 24 is a diagram for explaining horizontal processing and vertical processing respectively performed by the horizontal processing unit 131 and the vertical processing unit 132 in FIG. 20 for the frames of the thinned L image and thinned R image in FIG.
  • the horizontal processing unit 131 (FIG. 20) performs horizontal alignment as a horizontal process for horizontally aligning the pixels of the thinned-out L image and thinned-out R image frames from the preprocessing unit 123, thereby performing FIG. 24.
  • the L image after horizontal processing and the R image (frame) after horizontal processing are generated and supplied to the vertical processing unit 132.
  • the 4n + 1 line is only the pixel of the odd line (LOO) of the L odd field
  • the 4n + 2 line is the odd line of the L even field ( (LEO) pixels only
  • the 4n + 3 line is only the pixels of the even line (LOE) of the L odd field
  • the 4n + 4 line is only the pixels of the even line (LEE) of the L even field, respectively.
  • the 4n + 1 line is only the pixel of the odd line (ROO) of the R odd field
  • the 4n + 2 line is only the pixel of the odd line (REO) of the R even field
  • the 4n + 3 line is composed only of pixels of the even line (ROE) of the R odd field
  • the 4n + 4 line is composed of only pixels of the even line (REE) of the R even field.
  • the fourth n + 1 line is only the pixel of the odd line (LOO) of the L odd field
  • the fourth n + 2 line is the pixel of the odd line (LEO) of the L even field
  • the fourth n + 3 line is composed only of pixels in the even line (LOE) of the L odd field
  • the fourth n + 4 line is composed of only pixels of the even line (LEE) in the L even field.
  • the 4n + 1 line is only the pixel of the odd line (ROO) of the R odd field
  • the 4n + 2 line is the odd line (REO) of the R even field
  • the 4n + 3 line is composed only of pixels of the even line (ROE) of the R odd field
  • the 4n + 4 line is composed of only pixels of the even line (REE) of the R even field.
  • the vertical processing unit 132 (FIG. 20) separates the odd-numbered lines and the even-numbered lines from the horizontal image L and the horizontal image R from the horizontal processing unit 131, respectively.
  • the vertical processing unit 132 arranges the odd lines of the frame of the L image after horizontal processing and the odd lines of the frame of the R image after horizontal processing by interleaving and arranging them. After that, an odd line image (frame) is generated.
  • the odd lines of the L image after horizontal processing include the 4n + 1 line and the 4n + 3 line, and as described above, the 4n + 1 line is the pixel of the odd line (LOO) of the L odd field.
  • the 4n + 3 line is composed only of pixels of the even line (LOE) of the L odd field.
  • odd lines of the R image after horizontal processing include the 4n + 1 line and the 4n + 3 line, and as described above, the 4n + 1 line is the odd line (ROO) of the R odd field.
  • the fourth n + 3 line is composed of only the pixels of the even line (ROE) of the R odd field.
  • the 4n + 1 line includes only pixels of the odd line (LOO) of the L odd field
  • the 4n + 2 line includes only pixels of the odd line (ROO) of the R odd field
  • the 4n + 3 line is composed of only pixels in the even line (LOE) of the L odd field
  • the fourth n + 4 line is composed of only pixels of the even line (ROE) in the R odd field.
  • the vertical processing unit 132 interleaves the even lines of the frame of the L image after horizontal processing and the even lines of the frame of the R image after horizontal processing, thereby arranging the vertical processing. After that, an even line image (frame) is generated.
  • the even lines of the L image after vertical processing include the 4n + 2 line and the 4n + 4 line, and as described above, the 4n + 2 line is the pixel of the odd line (LEO) of the L even field.
  • the 4n + 4th line is composed only of pixels of the even line (LEE) of the L even field.
  • the even lines of the R image after horizontal processing include the 4n + 2 line and the 4n + 4 line, and as described above, the 4n + 2 line is the odd line (REO) of the R even field.
  • the 4n + 4 line is composed of only pixels of the even line (REE) of the R even field.
  • the 4n + 1 line includes only pixels in the odd line (LEO) of the L even field
  • the 4n + 2 line includes only pixels of the odd line (REO) in the R even field
  • the 4n + 3 line is composed of only the pixels of the even line (LEE) of the L even field
  • the 4n + 4 line is composed of only the pixels of the even line (REE) of the R even field.
  • the vertical processing unit 132 supplies the odd-numbered line image after the vertical processing and the even-numbered line image after the vertical processing as described above to the mixing unit 133.
  • the mixing unit 133 (FIG. 20) arranges the odd-numbered line image after the vertical processing on the left side and arranges the even-line image after the vertical processing on the right side. (Frame) is generated and supplied to the encoder 34.
  • Odd-numbered line odd-numbered line
  • L odd lines odd fields
  • LOE even lines
  • the odd line (ROO) of the R odd field and the even line (ROE) of the R odd field alternately in the even field (even line). Lined up.
  • the pixels of the odd line (LOO) of the odd line (LOO) and even line (LOE) of the L odd field that constitute the odd field of the odd line image after vertical processing are hatched. Therefore, as described in FIG. 21, the pixels in the odd-numbered columns of the L odd field and the pixels in the even-numbered line (LOE) are hatched.
  • L is a pixel in an even column of an odd field.
  • the odd line (LOO) pixels of the L odd field and the even line (LOE) pixels constituting the odd field of the odd line image after the vertical processing are horizontally (horizontal) in the L odd field.
  • the phase (position) of the pixel is shifted by one pixel, and the (spatial) correlation is low (the change in the pixel value is not continuous and a high frequency component is generated).
  • odd-numbered odd line (ROO) pixels of the R odd field and the even-numbered line (ROE) pixels of the R odd field that make up the even field of the odd-numbered line image after vertical processing, which is the left half of the mixed image are also R In the odd field, the phase in the horizontal direction is shifted by one pixel, and the correlation is low.
  • the preprocessing unit 123 does not perform preprocessing, in the even line image after vertical processing that is the right half of the mixed image,
  • the odd line (LEO) of the L even field and the even line (LEE) of the L even field are alternately arranged.
  • the odd line (REO) of the R even field and the even line of the R even field ( REE) are lined up alternately.
  • odd line (LEO) pixels of the L even field and the even line (LEE) pixels of the L even field that make up the odd field of the even line image after vertical processing, which is the right half of the mixed image are correlated.
  • the odd line (REO) pixels of the R even field and the even line (REE) pixels of the R even field, which constitute an even field have a low correlation.
  • the preprocessing unit 123 performs preprocessing.
  • FIG. 25 is a diagram for explaining preprocessing performed by the preprocessing unit 123.
  • the preprocessing unit 123 configures, for example, an image in which the thinned-out L odd field and the thinned-out L even field from the thinning unit 122 are arranged in the vertical direction as a frame of the thinned-out L image. Processing is performed as preprocessing.
  • the preprocessing unit 123 uses, as a frame of the thinned R image, an image in which the thinned R odd field and the thinned R even field from the thinning unit 122 are arranged in the vertical direction, for example.
  • the processing to be configured is performed as preprocessing.
  • the preprocessing unit 123 supplies the frame of the thinned L image and the thinned R image obtained as a result of the preprocessing to the interleave mixing processing unit 124.
  • the thinned-out L odd field is arranged on the upper side (upper half), and the thinned-out L even field is arranged on the lower side (lower half).
  • the thinned R odd field is arranged on the upper side, and the thinned R even field is arranged on the lower side.
  • FIG. 26 illustrates horizontal processing, vertical processing, and mixing processing, which are interleave mixing processing performed by the interleave mixing processing unit 124 of FIG. 20 for the thinned L image and thinned R image frames of FIG. It is a figure to do.
  • the horizontal processing unit 131 (FIG. 20) performs horizontal processing for horizontally compressing the pixels of the thinned L image and thinned R image frames from the preprocessing unit 123 in the horizontal direction as shown in FIG. 26.
  • the L image after horizontal processing and the R image (frame) after horizontal processing are generated and supplied to the vertical processing unit 132.
  • the thinned-out L odd field is arranged on the upper side, and the thinned-out L even field is arranged on the lower side.
  • the thinned-out R odd field is arranged on the upper side, and the thinned-out R even field is arranged on the lower side.
  • the odd lines (LOO) and even lines (LOE) of the L odd field are alternately arranged on the upper side, and the L even number on the lower side.
  • the odd lines (LEO) and even lines (LEE) of the field are arranged alternately.
  • the odd line becomes an odd line (LOO) of the L odd field
  • the even line becomes an even line (LOE) of the L odd field
  • odd lines become odd lines (LEO) in L even fields
  • even lines become even lines (LEE) in L even fields.
  • the odd lines (ROO) and even lines (ROE) of the R odd field are alternately arranged on the upper side, and on the lower side, R
  • the odd lines (REO) and even lines (REE) of the even field are alternately arranged.
  • the odd line becomes an odd line (ROO) of the R odd field
  • the even line becomes an even line (ROE) of the R odd field
  • odd lines become odd lines (REO) in R even fields
  • even lines become even lines (REE) in R even fields.
  • the vertical processing unit 132 (FIG. 20) separates the odd-numbered lines and the even-numbered lines from the horizontal image L and the horizontal image R from the horizontal processing unit 131, respectively.
  • the vertical processing unit 132 performs odd line (LOO and LEO) of the frame of the L image after horizontal processing and odd line (ROO and REO) of the frame of the R image after horizontal processing.
  • odd line image (frame) after vertical processing is generated, and an even line (LOE and LEE) of an L image frame after horizontal processing and an even line of an R image frame after horizontal processing
  • even line image (frame) is generated after vertical processing.
  • the odd line (LOO) of the L odd field and the odd line (ROO) of the R odd field are alternately arranged on the upper side.
  • odd-numbered lines (LEO) of L even fields and odd-numbered lines (REO) of R even fields are alternately arranged.
  • the odd line becomes the odd line (LOO) of the L odd field
  • the even line becomes the odd line (ROO) of the R odd field.
  • the odd line becomes the odd line (LEO) of the L even field
  • the even line becomes the odd line (REO) of the R even field.
  • the even line (LOE) of the L odd field and the even line (ROE) of the R odd field are alternately arranged on the upper side.
  • even lines (LEE) of L even fields and even lines (REE) of R even fields are alternately arranged.
  • the odd line becomes the even line (LOE) of the L odd field
  • the even line becomes the even line (ROE) of the R odd field.
  • the odd line becomes the even line (LEE) of the L even field
  • the even line becomes the even line (REE) of the R even field.
  • the vertical processing unit 132 supplies the odd-numbered line image after the vertical processing and the even-numbered line image after the vertical processing as described above to the mixing unit 133.
  • the mixing unit 133 (FIG. 20) arranges the odd-line image after vertical processing on the left side and the even-line image after vertical processing on the right side as in FIG. By arranging, a mixed image (frame) is generated and supplied to the encoder 34.
  • the preprocessing unit 123 when preprocessing is performed by the preprocessing unit 123, the upper half of the post-vertical odd line image that is the left half of the mixed image, that is, the mixed image In the upper left quarter region, as shown in FIG. 26, the odd lines become odd lines (LOO) in the L odd field, and the even lines become odd lines (ROO) in the R odd field.
  • LOO odd lines
  • ROO odd lines
  • the odd line is an odd number in the L even field.
  • Line (LEO) and even lines become odd lines (REO) of R even fields.
  • the upper left 1/4 region is only the pixel of the odd line (LOO) of the L odd field
  • the lower left 1/4 region is of the L even field.
  • the upper right 1/4 area is only the even line (LOE) pixel in the L odd field
  • the lower right 1/4 area is the even line in the L even field ( LEE) pixels only.
  • the upper left 1/4 region is only the odd line (ROO) pixel of the R odd field
  • the lower left 1/4 region is the R even field.
  • the odd-numbered line (REO) pixels only is only the R-odd field even line (ROE) pixels
  • the lower-right 1/4 area is the R-even field even line.
  • Each is composed of only (REE) pixels.
  • the odd field and the even field of the mixed image are divided into four regions of the upper left, lower left, upper right, and lower right, and one of the same fields (odd field, Alternatively, pixels in the same line (odd line or even line) in the even field are concentrated, so that the mixed image is assumed to be an interlaced image, and thus predictive coding is performed, so that high coding efficiency is achieved. Can be realized.
  • an image in which the thinned L odd field and the thinned L even field are arranged in the vertical direction is configured as a frame of the thinned L image, and the thinned R odd field and the thinned R even field are
  • the image arranged side by side in the vertical direction is configured as a frame of the thinned R image, but as the frame of the thinned L image, the thinned out L odd field and the thinned out L even field are arranged in the horizontal direction.
  • the mixing unit 133 arranges the odd-line image after vertical processing and the even-line image after vertical processing side by side in the horizontal direction (the odd-line image after vertical processing is arranged on the left side and after the vertical processing. Rather than generating a mixed image by placing the even line image on the right side), the mixed image is generated by arranging the odd line image after vertical processing and the even line image after vertical processing side by side in the vertical direction. Generate.
  • a thinning L image (frame thereof) is formed, and the thinning R odd field, and By arranging the thinned-out R even fields side by side in the vertical direction, a thinned-out R image can be configured.
  • an L odd field odd line image in which only the odd lines (LOO) of the thinned L odd field are collected an L odd field even line image in which only the even lines (LOE) of the thinned L odd field are collected, L even field odd line image which collected only odd lines (LEO) of thinned L even field, and L even field even line image which collected only even lines (LEE) of thinned L even field, and thinned R odd field R odd field odd line image collecting only odd lines (ROO), R odd field even line images collecting only even lines (ROE) of thinned R odd fields, and only odd lines (REO) of thinning R even fields collected Collected R even field odd line image and thinned R even field even line (REE) Constitute eight images of line image, using the eight images, thinned-out L image, and can be configured thinning R image.
  • the thinned-out L odd field and the thinned-out L even field side by side in the vertical direction a thinned-out L image is formed, and the thinned-out R odd field and the thinned-out R even field are arranged in the vertical direction.
  • the preprocessing that forms the thinned R image by arranging the images is also referred to as preprocessing of the first method.
  • preprocessing for forming eight images of the R even field even line image and using the eight images to form the thinned L image and the thinned R image is also referred to as preprocessing of the second method.
  • FIG. 27 is a diagram for explaining preprocessing of the second method.
  • the pre-processing unit 123 collects only the odd lines (LOO) of the thinned-out L odd fields to form an L-odd field odd-numbered line image, and at the same time, even-numbered lines (LOE) of the thinned-out L odd fields. Only L is collected to construct an L odd field even line image.
  • the pre-processing unit 123 collects only the odd lines (LEO) of the thinned-out L even fields to form an L even-field odd line image, and collects only the even-numbered lines (LEE) of the thinned-out L even fields, An even field even line image is formed.
  • the pre-processing unit 123 collects only the odd lines (ROO) of the thinned-out R odd fields to form an R odd-field odd line image, and collects only the even-numbered lines (ROE) of the thinned-out R odd fields, An odd field even line image is formed.
  • ROO odd lines
  • ROE even-numbered lines
  • the pre-processing unit 123 collects only the odd lines (REO) of the thinned-out R even field to form the R even-field odd line image, and collects only the even-line (REE) of the thinned-out R even field, An even field even line image is formed.
  • the preprocessing unit 123 arranges the L odd field odd line image (LOO) and the L even field odd line image (LEO) side by side in the vertical direction, thereby thinning out the L odd field and the thinning out L even.
  • L odd field odd line image in which only the odd lines of the field are arranged is formed.
  • the preprocessing unit 123 arranges the L odd field even line image (LOE) and the L even field even line image (LEE) side by side in the vertical direction, thereby thinning out the L odd field and the thinning out L even.
  • L odd field even line image LOE
  • L even field even line image LOE
  • the preprocessing unit 123 arranges the R odd field odd line image (ROO) and the R even field odd line image (REO) side by side in the vertical direction, thereby thinning out the R odd field and the thinning out R even.
  • R odd field odd line image ROI
  • REO R even field odd line image
  • the pre-processing unit 123 arranges the R odd field even line image (ROE) and the R even field even line image (REE) side by side in the vertical direction, thereby thinning the R odd field and the thinning R even.
  • An R field even line image in which only the even lines of the field are arranged is formed.
  • the pre-processing unit 123 performs the L field odd line image (first odd line field) in which only the odd lines of the thinned L odd field and the thinned L even field are arranged, the thinned L odd field, and L field even line image (first even line field) in which only even lines of thinning L even field are arranged, R field odd line image in which only odd lines in thinning R even field, and odd lines in thinning R even field (first field) 2 odd line field), and R field even line image (second even line field) in which only the even lines of the thinned R odd field and thinned R even field are arranged, and then the L field odd number Line image, L field even line image, and R field Odd line image, and, using the R field even-line image, thinning L image, and constitute the thinning R image.
  • an L field odd line image, an L field even line image, and an R field odd line image and an R field even line image are used to form a thinned L image and a thinned R image. It is a figure explaining the method to do.
  • the pre-processing unit 123 arranges the thinned-out L odd field and the thinned-out L even field side by side by forming a frame in which the L field odd line image is an odd field and the L field even line image is an even field.
  • the obtained image (FIG. 25) is configured as a thinned-out L image (frame).
  • the preprocessing unit 123 configures a frame in which the R field odd line image is an odd field and the R field even line image is an even field, thereby reducing the thinning R odd field and the thinning R even field.
  • the images arranged side by side are configured as thinned R images (frames thereof).
  • FIG. 29 is a flowchart for explaining preprocessing of the first method.
  • the thinned-out L image (frame) is configured by arranging the thinned-out L odd field and the thinned-out L even field from the thinning unit 122 side by side in the vertical direction.
  • step S101 the preprocessing unit 123 arranges the thinned R odd field and the thinned R even field from the thinning unit 122 in the vertical direction as shown in FIG. Configure.
  • the preprocessing unit 123 supplies the thinned L image and the thinned R image to the interleave mixing processing unit 124.
  • FIG. 30 is a flowchart for explaining pre-processing of the second method.
  • step S111 When the preprocessing unit 123 (FIG. 20) receives the thinning L odd field, the thinning L even field, and the thinning R odd field, and the thinning R even field from the thinning unit 122, in step S111, As shown in FIG. 27, only the odd lines (LOO) of the thinned-out L odd field are collected to form the L odd-field odd line image (LOO), and only the even-numbered lines (LOE) of the thinned-out L odd field are collected. Thus, an L odd field even line image (LOE) is formed.
  • the pre-processing unit 123 collects only the odd lines (LEO) of the thinned-out L even fields to form an L even-field odd line image (LEO) and Only even lines (LEE) are collected to form an L even field even line image (LEE).
  • the preprocessing unit 123 collects only the odd lines (ROO) of the thinned R odd fields to form an R odd field odd line image (ROO), and the thinned R odd fields. Only even lines (ROE) are collected to form an R odd field even line image (ROE).
  • the pre-processing unit 123 collects only the odd-numbered lines (REO) of the thinned-out R even field to form the R-even field odd-numbered line image (REO) and Only even lines (REE) are collected to form an R even field even line image (REE), and the process proceeds from step S111 to step S112.
  • step S112 the preprocessing unit 123 arranges the L odd field odd line image (LOO) and the L even field odd line image (LEO) side by side in the vertical direction as shown in FIG. Construct an L field odd line image.
  • L OF L odd field odd line image
  • LEO L even field odd line image
  • the preprocessing unit 123 arranges the L odd field even line image (LOE) and the L even field even line image (LEE) side by side in the vertical direction, thereby Construct even line images.
  • LOE L odd field even line image
  • LEE L even field even line image
  • the preprocessing unit 123 arranges the R odd field odd line image (ROO) and the R even field odd line image (REO) side by side in the vertical direction, thereby arranging the R field. Construct an odd line image.
  • the preprocessing unit 123 arranges the R odd field even line image (ROE) and the R even field even line image (REE) side by side in the vertical direction, thereby arranging the R field.
  • An even line image is constructed, and the process proceeds from step S112 to step S113.
  • step S113 the preprocessing unit 123 configures a frame having the L field odd line image as the odd field and the L field even line image as the even field, thereby reducing the thinning L.
  • An image (FIG. 25) in which the odd field and the thinned-out L even field are arranged side by side is configured as a frame of the thinned-out L image.
  • the preprocessing unit 123 configures a frame having the R field odd line image as an odd field and the R field even line image as an even field, thereby thinning out the R odd field.
  • an image (FIG. 25) in which thinned R even fields are arranged side by side is configured as a frame of the thinned R image.
  • the preprocessing unit 123 supplies the thinned L image and the thinned R image to the interleave mixing processing unit 124 (FIG. 20).
  • FIG. 31 is a block diagram showing a configuration example of another embodiment of a decoding device to which the image processing device of the present invention is applied.
  • the decoding device of FIG. 31 is common to the case of FIG. 16 in that it includes a decoder 61 and a 3D display device 68.
  • the decoding device in FIG. 31 is configured by replacing the separation unit 62, the reverse vertical processing unit 63, the reverse horizontal processing unit 64, the interpolation unit 65, the filter unit 66, and the 3D format conversion unit 67 with a 3D image composition device 141. This is different from the case of FIG.
  • the decoder 61 of the decoding device is supplied with the encoded data output from the encoding device of FIG. 18, and the decoder 61 decodes the encoded data into a mixed image and supplies it to the 3D image construction device 141.
  • the 3D image construction device 141 constructs a 3D image composed of an L image and an R image from the mixed image from the decoder 61 and supplies the 3D image to the 3D display device 68.
  • FIG. 32 is a block diagram showing a configuration example of the 3D image construction device 141 of FIG.
  • the 3D image construction device 141 includes a decomposition unit 151, a post-processing unit 152, an interpolation unit 153, a filter unit 154, and a 3D format conversion unit 155.
  • the decomposition unit 151 includes a separation unit 161, an inverse vertical processing unit 162, and an inverse estimation processing unit 163, and the mixed image from the decoder 61 obtained by the interleave mixing processing of the interleave mixing processing unit 124 in FIG.
  • the image is decomposed into a thinned L image and a thinned R image.
  • the decoder 61 extracts a separation flag, a vertical pattern flag, and an arrangement pattern flag included in the encoded data supplied thereto, and supplies them to the separation unit 161.
  • the decoder 61 supplies a separate flag and a vertical pattern flag to the inverse vertical processing unit 162.
  • the decoder 61 decodes the encoded data in the same manner as the encoding method of the encoder 34 (FIG. 19), and the resulting mixed image, that is, the interleave mixing of the interleave mixing processing unit 124 of FIG.
  • the mixed image obtained by the processing is supplied to the separation unit 161.
  • the separation unit 161 performs separation processing to separate the mixed image from the decoder 61 into a plurality of post-vertical processing images in accordance with the separate flag, vertical pattern flag, and arrange pattern flag.
  • the plurality of vertical post-processing images obtained as a result are supplied to the inverse vertical processing unit 162.
  • the reverse vertical processing unit 162 converts the plurality of vertical processed images from the separation unit 161 back to the horizontal processed L image and the horizontal processed R image.
  • the horizontal processed L image and the horizontal processed R image obtained as a result are supplied to the inverse horizontal processing unit 163.
  • the separation flag and the vertical pattern flag included in the encoded data from the encoding device in FIG. 19 represent line separation and interleaved arrangement, respectively.
  • two images that is, an odd line image after vertical processing and an even line image after vertical processing as a plurality of images after vertical processing are arranged in the horizontal direction.
  • the separation unit 161 from the mixed image from the decoder 61, the post-vertical odd line image arranged as shown in FIG. After the vertical processing, the even line image is separated and supplied to the reverse vertical processing unit 162.
  • the inverse vertical processing unit 162 combines the odd-numbered line image after vertical processing from the separation unit 161 and a part of the lines of the even-line image after vertical processing, decodes the L image after horizontal processing, and The odd line image after vertical processing and the remaining lines of the even line image after vertical processing are synthesized, and the R image after horizontal processing is decoded.
  • the odd-numbered line image after the vertical processing includes the odd-numbered lines (LOO and LEO) of the frame of the L-image after horizontal processing and the odd-numbered lines (ROO and REO) of the frame of the R image after the horizontal processing Are interleaved images.
  • even line images after vertical processing are arranged by interleaving even lines (LOE and LEE) of L image frames after horizontal processing and even lines (ROE and REE) of R image frames after horizontal processing. The image has been changed.
  • the inverse vertical processing unit 162 outputs the odd line (LOO and LEO) and the even line (LOE) of the L image after the horizontal processing from the odd line image after the vertical processing and the even line image after the vertical processing from the separation unit 161, respectively. And LEE) are extracted, and the odd lines (LOO and LEO) and even lines (LOE and LEE) are returned to the original arrangement, thereby decoding the L image (frame) after horizontal processing.
  • the inverse vertical processing unit 162 outputs the odd-numbered lines (ROO and REO) and the even-numbered lines of the horizontal R-processed image from the vertical-processed odd-numbered line image and the vertical-processed even-numbered line image from the separation unit 161, respectively.
  • (ROE and REE) are extracted, and the odd line (ROO and REO) and the even line (ROE and REE) are returned to the original arrangement, thereby decoding the R image (frame) after the horizontal processing.
  • the inverse horizontal processing unit 163 converts the L image after horizontal processing and the R image after horizontal processing from the inverse vertical processing unit 162 into a thinned L image and a thinned R image.
  • the reverse horizontal processing is performed so that the thinned L image and thinned R image obtained as a result are supplied to the post-processing unit 152.
  • the separation unit 161 when the separate flag and the vertical pattern flag represent line separation and interleaved arrangement, respectively, the separation unit 161, the reverse vertical processing unit 162, and the reverse horizontal processing unit.
  • the separation process, the reverse vertical process, and the reverse horizontal process performed in 163 are collectively referred to as an interleave decomposition process.
  • the decimation L image (frame) obtained as a result of the interleave decomposition process in the decomposition unit 151 (the separation unit 161, the reverse vertical processing unit 162, and the reverse horizontal processing unit 163) is as described with reference to FIG.
  • the thinned-out L odd field is arranged on the upper side
  • the thinned-out L even field is arranged on the lower side.
  • the thinned R image (frame) obtained as a result of the interleave decomposition process is an image in which the thinned R odd field is arranged on the upper side, and the thinned R even field is arranged on the lower side.
  • the post-processing unit 152 returns the thinned-out L image (frame thereof) from the decomposing unit 151 (the inverse horizontal processing unit 163) to the thinning-out L odd field and the thinning-out L even field, and the thinning-out R from the decomposing unit 151. Post-processing is performed to return the image (frame) to the thinning-out R odd field and the thinning-out R even field.
  • post-processing unit 152 post-processing of the first method that is the reverse of the pre-processing of the first method, and the second method that is the reverse of the pre-processing of the second method. With post-processing.
  • the post-processing unit 152 supplies the thinning-out L odd field, the thinning-out L even field, the thinning-out R odd field, and the thinning-out R even field obtained by the post-processing to the interpolation unit 153.
  • the interpolation unit 153 performs the thinning L odd field, the thinning L even field, the thinning R odd field, and the thinning R even field from the post-processing unit 152. Then, the pixels thinned out by the thinning unit 122 in FIG. 20 are interpolated, and the resulting images are respectively interpolated L odd field, interpolated L even field, interpolated R odd field, and interpolated R.
  • the even field is supplied to the filter unit 154.
  • the filter unit 154 filters each of the interpolated L odd field, the interpolated L even field, and the interpolated R odd field and the interpolated R even field.
  • the field, the L even field, and the R odd field and the R even field are decoded.
  • the filter unit 154 includes an L-interlaced L-image having an L odd field and an L even field as an odd field and an even field, respectively, an R odd field and an R even field as an odd field, The interlaced R image for the even field is supplied to the 3D format conversion unit 155.
  • the 3D format conversion unit 155 displays the L image and the R image (image data thereof) from the filter unit 154 in the subsequent 3D display device 68 in the same manner as the 3D format conversion unit 67 of FIG. Is converted to a signal having a format corresponding to the above, and supplied to the 3D display device 68.
  • FIG. 33 is a flowchart for explaining post-processing of the first method.
  • the post-processing unit 152 sends a thinned L image (frame of the thinned L odd field and thinned L even field shown in FIG. 25 arranged in the vertical direction from the decomposing unit 151 (the inverse horizontal processing unit 163). ) And a thinned R image in which thinned R odd fields and thinned R even fields are arranged in the vertical direction, the thinned L image from the decomposing unit 151 is divided into two in the vertical direction in step S131. (Separately), the thinned-out L odd field and the thinned-out L even field are decoded.
  • the post-processing unit 152 bisects the thinned R image from the decomposing unit 151 in the vertical direction, and decodes the thinned R odd field and the thinned R even field.
  • the post-processing unit 152 supplies the thinning-out L odd field, the thinning-out L even field, the thinning-out R odd field, and the thinning-out R even field to the interpolation unit 153.
  • FIG. 34 is a flowchart for explaining post-processing of the second method.
  • the post-processing unit 152 receives from the decomposition unit 151 a thinned-out L image (frame) in which the thinned-out L odd field and the thinned-out L even field shown in FIG.
  • a thinned R image in which thinned R even fields are arranged in the vertical direction is supplied, in step S141, the frame of the thinned L image from the decomposing unit 151 is the odd field shown in FIG. Separated into an L field odd line image and an L field even line image which is an even field.
  • the post-processing unit 152 separates the frame of the thinned R image from the decomposing unit 151 into an R field odd line image that is an odd field and an R field even line image that is an even field, as shown in FIG. .
  • step S141 sequentially proceeds from step S141 to step S142 and thereafter, and the post-processing unit 152 performs an L field odd line image (first odd line field) and an L field even line image (first even line field).
  • L field odd line image first odd line field
  • L field even line image first even line field
  • second odd line field R field odd line image
  • R The field even line image (second even line field) is returned to the thinning R odd field (second thinning odd field) and the thinning R even field (second thinning even field).
  • step S142 the post-processing unit 152 calculates the L odd field odd line image, the L field odd line image, the L field even line image, the R field odd line image, the R field even line image, and the R field even line image of FIG. Odd field even line image, L even field odd line image, L even field even line image, R odd field even line image, R odd field even line image, R even field odd line image, and R even field even line image Decrypt.
  • the L field odd line image includes the L odd field odd line image (LOO) and the L even field odd line image (LEO)
  • the L field even line image includes the L odd line image.
  • the R field even line image is an image in which an R odd field even line image (ROE) and an R even field even line image (REE) are arranged side by side in the vertical direction.
  • the post-processing unit 152 bisects the L field odd line image in the vertical direction to decode the L odd field odd line image (LOO) and the L even field odd line image (LEO),
  • the even line image is bisected in the vertical direction to decode the L odd field even line image (LOE) and the L even field even line image (LEE).
  • the post-processing unit 152 bisects the R field odd line image in the vertical direction to decode the R odd field odd line image (ROO) and the R even field odd line image (REO), and The even line image is bisected in the vertical direction to decode the R odd field even line image (ROE) and the R even field even line image (REE).
  • step S142 the process proceeds from step S142 to step S143, and the post-processing unit 152 interleaves each line (horizontal line) of the L odd field odd line image (LOO) and the L odd field even line image (LOE).
  • L odd field odd line image L odd field odd line image
  • LOE L odd field even line image
  • the post-processing unit 152 arranges each line of the L even field odd line image (LEO) and the L even field even line image (LEE) by interleaving and decodes the thinned L even field of FIG. .
  • the post-processing unit 152 arranges each line of the R odd field odd line image (ROO) and the R even field odd line image (REO) by interleaving, and decodes the thinned R odd field of FIG. .
  • the post-processing unit 152 arranges the lines of the R odd field even line image (ROE) and the R even field even line image (REE) by interleaving and decodes the thinned R even field of FIG. To do.
  • the post-processing unit 152 supplies the thinning-out L odd field, the thinning-out L even field, the thinning-out R odd field, and the thinning-out R even field to the interpolation unit 153.
  • the L odd field (decimated L odd field), the L even field (decimated L even field), and the R odd field (decimated R) where pixels are thinned out By interpolating the odd field) and R even field (decimating R even field)
  • L odd field decimated L odd field
  • L even field decimated L even field
  • R odd field decimated R
  • FIG. 35 shows a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance in a hard disk 205 or ROM 203 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 211.
  • a removable recording medium 211 can be provided as so-called package software.
  • examples of the removable recording medium 211 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), a MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be installed in the computer from the removable recording medium 211 as described above, or can be downloaded to the computer via the communication network or the broadcast network and installed in the built-in hard disk 205. That is, the program is transferred from a download site to a computer wirelessly via a digital satellite broadcasting artificial satellite, or wired to a computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the computer incorporates a CPU (Central Processing Unit) 202, and an input / output interface 210 is connected to the CPU 202 via the bus 201.
  • a CPU Central Processing Unit
  • the CPU 202 executes a program stored in a ROM (Read Only Memory) 203 according to the command. .
  • the CPU 202 loads a program stored in the hard disk 205 into a RAM (Random Access Memory) 204 and executes it.
  • the CPU 202 performs processing according to the flowchart described above or processing performed by the configuration of the block diagram described above. Then, the CPU 202 outputs the processing result as necessary, for example, via the input / output interface 210, from the output unit 206, or from the communication unit 208, and further recorded in the hard disk 205.
  • the input unit 207 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 206 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor), or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.

Abstract

　本発明は、画像の予測符号化の符号化効率を向上させることができる画像処理装置、及び、画像処理方法に関する。　水平処理部３１は、第１の画像、及び、第１の画像とは異なる第２の画像それぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる、チェック模様状に画素が配置された第１の間引き画像、及び、第２の間引き画像それぞれの画素の水平方向の配置を操作する水平処理として、第１及び第２の間引き画像の画素を、水平方向に詰める横詰めを行う。混合部３３は、水平処理後の第１及び第２の間引き画像を並べて配置することにより混合した混合画像を、予測符号化の対象となる画像として生成する。本発明は、例えば、3D画像を構成するL(Left)画像及びR(Right)画像等の、第１及び第２の画像を予測符号化する場合に適用できる。

Description

画像処理装置、及び、画像処理方法
　本発明は、画像処理装置、及び、画像処理方法に関し、特に、例えば、画像の予測符号化の符号化効率を向上させることができるようにする画像処理装置、及び、画像処理方法に関する。
　近年、画像情報をディジタル信号として取り扱い、その際、効率の高い情報の送信、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG(Moving Picture Expert Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
　すなわち、例えば、MPEGや、H.26x等の、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償を採用する符号化方式によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルTV、インターネットなどのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置及び復号装置が普及しつつある。
　例えば、MPEG2（ISO／IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像（インターレース方式の画像）及び順次走査画像（プログレッシブ方式の画像）の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、横×縦が、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４～８Mbps、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８～２２Mbpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
　MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまり、より高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO／IEC 14496-2としてその規格が国際標準に承認された。
　さらに、近年、当初テレビ会議用の画像符号化を目的として、H.264(ITU-T Q6/16 VCEG)という標準の規格化が進んでいる。H.264は、MPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.264をベースに、H.264ではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced－Compression Video Codingとして行われている。
　Joint Video Team で標準化が行われている符号化方式（JVT Codec）については、符号化効率を、MPEG2やMPEG4等の既存技術よりも向上させるために、様々な改善が検討されている。例えば、離散コサイン変換では、４×４画素のブロックを対象として、整数の変換係数への変換が行われる。また、動き補償については、ブロックサイズが可変であり、最適な動き補償を行うことができるようになっている。但し、符号化の基本的なアルゴリズムは、MPEG2やMPEG4等の既存技術と同様である。
　ところで、上述のような符号化の対象となる画像のコンテンツとしては、２次元画像（2D画像）のコンテンツの他、立体視が可能な立体視画像のコンテンツがある。
　立体視画像の表示には、専用のデバイス（以下、立体視用デバイス）が用いられ、そのような立体視用デバイスとしては、例えば、NHK（日本放送協会）が開発したIP(Integral Photography)立体画像システムがある。
　立体視画像の画像データは、複数の視点の画像データ（複数の視点から撮影された画像の画像データ）からなり、視点の数が多く、かつ、視点が広範囲にわたるほど、様々な方向から被写体を見ることができる、いわば「のぞけるテレビ」を実現することができる。
　ここで、立体視画像の画像データ、すなわち、複数の視点の画像データの符号化と復号の方法については、例えば、特許文献１に記載されている。
　立体視画像のうちの、視点の数が最も少ないのは、視点の数が２視点の3D(Dimensional)画像（ステレオ画像）であり、3D画像の画像データは、左眼で観察される画像である左眼画像（以下、L(Left)画像ともいう）の画像データと、右眼で観察される画像である右眼画像（以下、R(Right)画像ともいう）の画像データとからなる。
　3D画像（ステレオ画像）は、上述のように、L画像とR画像とから構成されるため、１画面の3D画像の表示に、L画像とR画像との２画面分（2D画像を表示する場合の２画面分）の画像データが必要となる。
　しかしながら、3D画像を送信する伝送路の伝送帯域や、3D画像を記録する記録媒体の記録容量、記録媒体への転送レートの制約等によっては、１画面の3D画像の表示のために、２画面分の画像データを伝送すること（記録媒体への記録を含む）が困難な場合がある。
　そこで、3D画像を構成するL画像及びR画像それぞれを、空間方向にサブサンプリングする（間引く）ことで、１画面の3D画像の表示のための画像データを、１画面分の画像データに変換する処理を行ってから、画像データの符号化を行う符号化装置が提案されている。
　図１は、3D画像を構成するL画像及びR画像（の画素）を間引く間引き方を説明する図である。
　図１のＡは、L画像及びR画像を示す図である。
　L画像及びR画像は、それぞれ、2D画像（２次元画像）の１画面分の画素を有する。
　図１のＢは、L画像及びR画像それぞれの画素を、垂直方向の１ラインおきに間引くことで、水平方向の空間解像度を、元の1/2にした画像を示している。
　なお、垂直方向の１ラインおきの間引きでは、L画像及びR画像の、左から奇数番目、及び、偶数番目のうちのいずれの画素を間引いても良いし、L画像及びR画像のうちのL画像については、奇数番目、及び、偶数番目のうちの一方の画素を間引き、R画像については、他方の画素を間引いても良い。
　図１のＣは、L画像及びR画像それぞれの画素を、水平方向の１ラインおきに間引くことで、垂直方向の空間解像度を、元の1/2にした画像を示している。
　なお、水平方向の１ラインおきの間引きでは、垂直方向の１ラインおきの間引きと同様に、L画像及びR画像の、上から奇数番目、及び、偶数番目のうちのいずれの画素を間引いても良いし、L画像及びR画像のうちのL画像については、奇数番目、及び、偶数番目のうちの一方の画素を間引き、R画像については、他方の画素を間引いても良い。
　図１のＤは、L画像及びR画像それぞれの画素を、斜め方向（左上がりの斜め方向、又は、右上がりの斜め方向）の１ラインおきに間引くことで、斜め方向の空間解像度を、元の1/2にした画像を示している。
　図１のＤの間引き後のL画像及びR画像は、画素の斜め方向の間引きによって、チェック模様状に画素が配置された画像になっている。
　画素の斜め方向の間引きにおいて、L画像及びR画像のうちの一方の画像から間引く画素は、他方の画像から間引く画素と同一の位置の画素であっても良いし、他方の画像から間引く画素以外の画素（他方の画像の間引き後の画像において画素が残っている位置の画素）であっても良い。
　図１のＢないし図１のＤのいずれの間引きによっても、間引き後のL画像及びR画像の画素数は、元の1/2となり、その結果、間引き後のL画像及びR画像の全体のデータ量（画素数）は、2D画像の１画面分の画像データのデータ量と等しくなる。
　なお、画素を間引くにあたっては、その間引きによって、折り返し歪みが生じるのを防止するために、高域成分をカットするフィルタリングが必要となり、そのフィルタリングによって、間引き後のL画像及びR画像には、ぼけが生じる。
　人間の視覚特性は、水平方向や垂直方向と比較して、斜め方向に鈍感であるため、画素の間引きを、斜め方向に行うことで、見た目のぼけを低減することができる。
　図２は、L画像及びR画像それぞれの画素を、図１のＤで説明したように、斜め方向の１ラインおきに間引き、その結果得られる、チェック模様状に画素が配置された間引きL画像、及び、間引きR画像を符号化する、従来の符号化装置の一例の構成を示すブロック図である。
　図２の符号化装置において、フィルタ部１１には、例えば、動画像である3D画像（の画像データ）が、１画面単位で供給される。
　すなわち、フィルタ部１１には、１画面の3D画像を構成するL画像及びR画像が供給される。
　フィルタ部１１は、L画像、及び、R画像それぞれを間引いた間引きL画像、及び、間引きR画像において、折り返し歪みが生じるのを防止するために、L画像、及び、R画像の（斜め方向の空間周波数の）高域成分をカットするためのフィルタリングを行う。
　すなわち、フィルタ部１１は、ローパスフィルタであるフィルタ１１Ｌ及び１１Ｒから構成される。
　フィルタ１１Ｌは、フィルタ部１１に供給されるL画像をフィルタリングし、間引き部１２に供給する。フィルタ１１Ｒは、フィルタ部１１に供給されるR画像をフィルタリングし、間引き部１２に供給する。
　間引き部１２は、フィルタ部１１から供給されるL画像の画素を、図１のＤで説明したように、斜め方向の１ラインおきに間引くことで、フィルタ部１１からのL画像を、チェック模様状に画素が配置された間引きL画像に変換する。
　さらに、間引き部１２は、フィルタ部１１から供給されるR画像についても、同様に、斜め方向の間引きを行うことで、フィルタ部１１からのR画像を、チェック模様状に画素が配置された間引きR画像に変換する。
　すなわち、間引き部１２は、間引き部１２Ｌ及び１２Ｒから構成される。
　間引き部１２Ｌは、フィルタ部１１から供給されるL画像の画素を、図１のＤで説明したように、斜め方向の１ラインおきに間引き、その結果得られる、チェック模様（市松模様）状に画素が配置された間引きL画像を、混合部１３に供給する。
　間引き部１２Ｒは、フィルタ部１１から供給されるR画像の画素を、図１のＤで説明したように、斜め方向の１ラインおきに間引き、その結果得られる、チェック模様状に画素が配置された間引きR画像を、混合部１３に供給する。
　なお、間引き部１２Ｒは、R画像から、例えば、間引き部１２Ｌが間引くL画像の画素以外の画素を間引くこととする。
　したがって、間引きL画像（又は、間引きR画像）は、間引きR画像（又は、間引きL画像）において、画素がない位置に画素がある画像となる。
　混合部１３は、間引き部１２から供給される間引きL画像と間引きR画像とを混合し、2D画像の１画面分の画像データのデータ量に等しい混合画像を生成して、エンコーダ１４に供給する。
　エンコーダ１４は、混合部１３から供給される混合画像を、例えば、MPEG2方式や、H.264/AVC方式等で符号化し、その結果得られる符号化データを出力する。エンコーダ１４が出力する符号化データは、伝送媒体を介して送信され、又は、記録媒体に記録される。
　図３は、図２の混合部１３での間引きL画像と間引きR画像との混合を説明する図である。
　図３のＡは、混合部１３での混合の対象となる間引きL画像、及び、間引きR画像を示している。
　間引きL画像、及び、間引きR画像は、（間引き後に残っている）画素が、チェック模様状に配置された画像になっている。
　すなわち、間引きL画像を構成する、左からx番目で、上からy番目の画素（の画素値）を、Lx,yと表すとともに、間引きR画像を構成する、左からx番目で、上からy番目の画素を、Rx,yと表すこととする。
　また、AをBで除算した余りがCであることを、式mod(A,B)=Cで表すこととする。
　間引きL画像は、例えば、式mod(x,2)=mod(y,2)=0を満たす位置(x,y)と、式mod(x,2)=mod(y,2)=1を満たす位置(x,y)とに（又は、式mod(x,2)=1かつ式mod(y,2)=0を満たす位置(x,y)と、式mod(x,2)=0かつ式mod(y,2)=1を満たす位置(x,y)とに）、画素Lx,yが配置された画像になっている。
　また、間引きR画像は、例えば、式mod(x,2)=1かつ式mod(y,2)=0を満たす位置(x,y)と、式mod(x,2)=0かつ式mod(y,2)=1を満たす位置(x,y)とに（又は、mod(x,2)=mod(y,2)=0を満たす位置(x,y)と、式mod(x,2)=mod(y,2)=1を満たす位置(x,y)とに）、画素Rx,yが配置された画像になっている。
　図３のＢは、図２の混合部１３において、間引きL画像と間引きR画像とを混合して得られる混合画像を示している。
　混合部１３は、例えば、間引きL画像に対して、間引きL画像の画素Lx,yが配置されていない位置に、間引きR画像の画素Rx,yを、いわばはめ込むように配置することで、間引きL画像の画素Lx,yと、間引きR画像の画素Rx,yとが、チェック模様状に配置された混合画像を生成する。
　すなわち、混合部１３は、例えば、式mod(x,2)=mod(y,2)=0を満たす位置(x,y)と、式mod(x,2)=mod(y,2)=1を満たす位置(x,y)とに、間引きL画像の画素Lx,yを配置するとともに、式mod(x,2)=1かつ式mod(y,2)=0を満たす位置(x,y)と、式mod(x,2)=0かつ式mod(y,2)=1を満たす位置(x,y)とに、間引きR画像の画素Rx,yを配置することで、2D画像の１画面分の画像データのデータ量に等しい混合画像を生成する。
　したがって、混合画像の位置(x,y)の画素（の画素値）を、Cx,yと表すこととすると、画素Cx,yは、式mod(x,2)=mod(y,2)=0を満たす位置(x,y)と、式mod(x,2)=mod(y,2)=1を満たす位置(x,y)とでは、間引きL画像の画素Lx,yに等しい(Cx,y=Lx,y)。
　また、画素Cx,yは、式mod(x,2)=1かつ式mod(y,2)=0を満たす位置(x,y)と、式mod(x,2)=0かつ式mod(y,2)=1を満たす位置(x,y)とでは、間引きR画像の画素Rx,yに等しい(Cx,y=Rx,y)。
　図４は、図２の符号化装置が出力する符号化データを復号する、従来の復号装置の一例の構成を示すブロック図である。
　図４の復号装置において、デコーダ２１には、符号化装置が出力する符号化データが供給される。
　デコーダ２１は、図２のエンコーダ３４が符号化を行う方式に対応する方式で復号を行う。
　すなわち、デコーダ２１は、そこに供給される符号化データを、例えば、MPEG2方式や、H.264/AVC方式等で復号し、その結果得られる混合画像を、3D表示装置２２に供給する。
　3D表示装置２２は、図３のＢに示した、間引きL画像の画素Lx,yと、間引きR画像の画素Rx,yとが、チェック模様状に配置された混合画像の3D表示（3D画像として表示すること）に対応した立体視用デバイスであり、デコーダ２１からの混合画像に応じて、例えば、L画像、及び、R画像を表示することにより、3D画像を表示する。
特開2008-182669号公報
　間引きL画像と、間引きR画像とは、視差がある画像であり、図２の符号化装置の混合部１３で得られる混合画像は、そのような間引きL画像の画素Lx,yと、間引きR画像の画素Rx,yとが、チェック模様状に配置された画像である。
　このため、あるシーンの１画面の3D画像（１画面のL画像、及び、１画面のR画像）から得られる混合画像は、そのシーンと同一のシーンの2D画像（あるいは、その3D画像を構成するL画像、又は、R画像）と比較して、データ量（画素数）は同一になっているが、画像の時間方向や空間方向の相関が、著しく低い画像となる。
　具体的には、例えば、3D画像に、垂直方向や水平方向等のある方向に連続的に（滑らかに）延びるエッジが写っている場合には、視差がある間引きL画像と間引きR画像とを、図３で説明したように混合した混合画像では、3D画像に写る連続的なエッジは、不連続なエッジとして現れる。
　その結果、混合画像では、空間方向の相関（１画面の混合画像のある画素と、その画素の周辺の画素との相関（特に、間引きL画像の画素と、その画素に近接する、間引きR画像の画素との相関））が低くなる。
　また、例えば、3D画像に、一定の速度で動いている物体（動体）が写っている場合には、視差がある間引きL画像と間引きR画像とを、図３で説明したように混合した混合画像では、3D画像に写る物体の一定の速度の動きが、画素によって異なる動きとして現れる。
　その結果、混合画像では、時間方向の相関（ある画面と、その画面の直前、又は、直後の画面との相関）が低くなる。
　以上のように、混合画像の空間方向や時間方向の相関が低いため、図２の符号化装置のエンコーダ１４において、例えば、MPEG2方式や、H.264/AVC方式の符号化等の、画像の時間方向や空間方向の相関を利用して、画像を符号化する予測符号化（例えば、画像の符号化の対象の部分について、その部分に時間的又は空間的に近い部分を予測値として、符号化の対象の部分と予測値との差分を符号化すること）が行われる場合には、混合画像の予測符号化の符号化効率が劣化する。
　このような符号化効率の劣化は、3D画像を構成するL画像及びR画像を予測符号化する場合だけでなく、異なる任意の２つの画像から、混合画像を生成して予測符号化を行う場合にも生じる。
　本発明は、このような状況に鑑みてなされたものであり、画像の予測符号化の符号化効率を向上させることができるようにするものである。
　本発明の第１の側面の画像処理装置は、第１の画像の画素を斜め方向に間引くことにより得られ第１の間引き画像、及び、前記第１の画像とは異なる第２の画像の画素を斜め方向に間引くことにより得られる第２の間引き画像を対象として、画素の水平方向の配置を操作する水平処理として、前記第１の間引き画像の画素及び前記第２の間引き画像の画素を水平方向に詰める横詰めを行う水平処理手段と、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像を並べて配置することにより混合した混合画像を、予測符号化の対象となる符号化対象画像として生成する混合手段とを備える画像処理装置である。
　本発明の第１の側面の画像処理方法は、画像処理装置が、第１の画像の画素を斜め方向に間引くことにより得られ第１の間引き画像、及び、前記第１の画像とは異なる第２の画像の画素を斜め方向に間引くことにより得られる第２の間引き画像を対象として、画素の水平方向の配置を操作する水平処理として、前記第１の間引き画像の画素及び前記第２の間引き画像の画素を水平方向に詰める横詰めを行い、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像を並べて配置することにより混合した混合画像を、予測符号化の対象となる符号化対象画像として生成するステップを含む画像処理方法である。
　以上のような第１の側面においては、第１の画像の画素を斜め方向に間引くことにより得られ第１の間引き画像、及び、前記第１の画像とは異なる第２の画像の画素を斜め方向に間引くことにより得られる第２の間引き画像を対象として、画素の水平方向の配置を操作する水平処理として、前記第１の間引き画像の画素及び前記第２の間引き画像の画素を水平方向に詰める横詰めが行われ、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像を並べて配置することにより混合した混合画像が、予測符号化の対象となる符号化対象画像として生成される。
　本発明の第２の側面の画像処理装置は、第１の画像の画素を斜め方向に間引くことにより得られ第１の間引き画像、及び、前記第１の画像とは異なる第２の画像の画素を斜め方向に間引くことにより得られる第２の間引き画像を対象として、画素の水平方向の配置を操作する水平処理として、前記第１の間引き画像の画素及び前記第２の間引き画像の画素を水平方向に詰める横詰めを行い、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像を並べて配置することにより混合した混合画像の予測符号化を行って得られる符号化データを復号することにより得られる前記混合画像を、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像に分離する分離手段と、前記分離手段により分離された、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像を、前記第１の間引き画像及び前記第２の間引き画像に戻す逆水平処理を行う逆水平処理手段とを備える画像処理装置である。
　本発明の第２の側面の画像処理方法は、画像処理装置が、第１の画像の画素を斜め方向に間引くことにより得られ第１の間引き画像、及び、前記第１の画像とは異なる第２の画像の画素を斜め方向に間引くことにより得られる第２の間引き画像を対象として、画素の水平方向の配置を操作する水平処理として、前記第１の間引き画像の画素及び前記第２の間引き画像の画素を水平方向に詰める横詰めを行い、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像を並べて配置することにより混合した混合画像の予測符号化を行って得られる符号化データを復号することにより得られる前記混合画像を、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像に分離し、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像を、前記第１の間引き画像及び前記第２の間引き画像に戻す逆水平処理を行うステップを含む画像処理方法である。
　以上のような第２の側面においては、第１の画像の画素を斜め方向に間引くことにより得られ第１の間引き画像、及び、前記第１の画像とは異なる第２の画像の画素を斜め方向に間引くことにより得られる第２の間引き画像を対象として、画素の水平方向の配置を操作する水平処理として、前記第１の間引き画像の画素及び前記第２の間引き画像の画素を水平方向に詰める横詰めを行い、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像を並べて配置することにより混合した混合画像の予測符号化を行って得られる符号化データを復号することにより得られる前記混合画像が、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像に分離され、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像を、前記第１の間引き画像及び前記第２の間引き画像に戻す逆水平処理が行われる。
　なお、第１及び第２の側面の画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、第１及び第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
　さらに、第１の画像処理装置で得られる混合画像を予測符号化した符号化データ、並びに、第１及び第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して送信することにより、又は、記録媒体に記録して、提供することができる。
　本発明の第１及び第２の側面によれば、画像の予測符号化の符号化効率を向上させることができる。
3D画像を構成するL画像及びR画像を間引く間引き方を説明する図である。 従来の符号化装置の一例の構成を示すブロック図である。 混合部１３での間引きL画像と間引きR画像との混合を説明する図である。 従来の復号装置の一例の構成を示すブロック図である。 本発明を適用した符号化装置の一実施の形態の構成例を示すブロック図である。 デコーダ３４の構成例を示すブロック図である。 符号化装置の処理を説明するフローチャートである。 水平処理部３１が行う水平処理を説明する図である。 セパレートフラグが、非分離を表している場合の、符号化装置の処理を説明する図である。 垂直処理部３２で行われる垂直処理を説明する図である。 混合部３３で行われる混合処理を説明する図である。 垂直処理部３２で行われる垂直処理を説明する図である。 混合部３３で行われる混合処理を説明する図である。 セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを説明する図である。 セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従って行われる垂直処理、及び、混合処理の詳細を説明するフローチャートである。 本発明を適用した復号装置の一実施の形態の構成例を示すブロック図である。 デコーダ６１の構成例を示すブロック図である。 復号装置の処理を説明するフローチャートである。 本発明を適用した符号化装置の他の一実施の形態の構成例を示すブロック図である。 合成装置１０２の構成例を示すブロック図である。 合成装置１０２の処理を説明する図である。 L画像及びR画像が、インターレース方式の画像である場合の、フィルタ部１２１、及び、間引き部１２２の処理を説明する図である。 L画像及びR画像が、インターレース方式の画像であり、かつ、前処理が行われない場合の、水平処理の対象となる間引きL画像、及び、間引きR画像のフレームを示す図である。 水平処理と垂直処理を説明する図である。 前処理を説明する図である。 インターリーブ混合処理である水平処理、垂直処理、及び、混合処理を説明する図である。 第２方式の前処理を説明する図である。 Lフィールド奇数ライン画像、及び、Lフィールド偶数ライン画像、並びに、Rフィールド奇数ライン画像、及び、Rフィールド偶数ライン画像を用いて、間引きL画像、及び、間引きR画像を構成する方法を説明する図である。 第１方式の前処理を説明するフローチャートである。 第２方式の前処理を説明するフローチャートである。 本発明を適用した復号装置の他の一実施の形態の構成例を示すブロック図である。 3D画像構成装置１４１の構成例を示すブロック図である。 第１方式の後処理を説明するフローチャートである。 第２方式の後処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜第１実施の形態＞
　［符号化装置の一実施の形態］
　図５は、本発明の画像処理装置を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
　図５において、図２の符号化装置と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　すなわち、図５の符号化装置は、フィルタ部１１、及び、間引き部１２を有する点で、図２の場合と共通する。
　但し、図５の符号化装置は、水平処理部３１、垂直処理部３２、及び、制御部３５を有する点で、図２の場合と相違する。さらに、図５の符号化装置は、混合部１３、及び、エンコーダ１４に代えて、それぞれ、混合部３３、及び、エンコーダ３４を有する点でも、図２の場合と相違する。
　水平処理部３１には、間引き部１２から、L画像、及び、R画像それぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる、チェック模様状に画素が配置された間引きL画像、及び、間引きR画像が供給される。
　すなわち、図５の符号化装置では、フィルタ部１１及び間引き部１２において、3D画像を構成するL画像、及び、R画像が、図２の場合と同様に処理され、その結果得られる間引きL画像、及び、間引きR画像（第１の間引き画像、及び、第２の間引き画像）が、水平処理部３１に供給される。
　なお、ここでは、3D画像を構成するL画像、及び、R画像の２つの画像を、符号化装置での処理の対象とするが、符号化装置での処理の対象は、L画像、及び、R画像に限定されるものではない。
　すなわち、符号化装置では、3D画像を構成するL画像、及び、R画像以外の、視差のある２つの画像、具体的には、例えば、ある被写体を、ある位置Aから撮影した画像と、被写体を始点として、位置Aを通る半直線上の位置以外の任意の位置から撮影した画像との２つの画像を、処理の対象とすることができる。
　また、符号化装置では、任意の第１の画像と、第１の画像とは異なる第２の画像、具体的には、例えば、ある動画像の奇数番目のフレームと偶数番目のフレームとの２つの画像や、任意の２つの動画像の先頭から同一番目のフレーム等を、処理の対象とすることができる。
　水平処理部３１は、間引き部１２からの間引きL画像、及び、間引きR画像それぞれの画素の水平方向の配置を操作する水平処理として、間引きL画像、及び、間引きR画像の画素を、水平方向に詰める横詰めを行う。
　すなわち、水平処理部３１は、水平処理部３１Ｌ及び３１Ｒから構成される。
　水平処理部３１Ｌは、間引き部１２からの間引きL画像に、水平処理を施し、その結果得られる画像（以下、水平処理後L画像ともいう）を、垂直処理部３２に供給する。
　すなわち、間引きL画像は、チェック模様状に画素が配置された画像であるから、画素が、同一サイズの2D画像と比較して、いわば隙間を空けて配置されている。
　水平処理部３１Ｌは、間引きL画像の画素を、隙間がなくなるように、水平方向にシフトすることで、間引きL画像の画素を横詰めにした状態の画像を、水平処理後L画像として生成する。
　水平処理部３１Ｒは、水平処理部３１Ｌと同様に、間引き部１２からの間引きR画像に、水平処理を施し、その結果得られる画像（以下、水平処理後R画像ともいう）を、垂直処理部３２に供給する。
　垂直処理部３２は、水平処理部３１からの水平処理後L画像、及び、水平処理後R画像（水平処理後の第１の間引き画像、及び、水平処理後の第２の間引き画像）それぞれの画素の垂直方向の配置を操作する垂直処理として、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離し、奇数ラインのみを配置した画像と、偶数ラインのみを配置した画像とを含む複数の垂直処理後画像を生成する処理を行う。
　すなわち、垂直処理部３２は、分離部３２Ｌ及び３２Ｒから構成される。
　分離部３２Ｌは、水平処理部３１からの水平処理後L画像から、奇数ラインと偶数ラインとを分離する。
　分離部３２Ｒは、水平処理部３１からの水平処理後R画像から、奇数ラインと偶数ラインとを分離する。
　ここで、垂直処理部３２には、水平処理部３１から、水平処理後L画像、及び、水平処理後R画像が供給される他、後述する制御部３５から、セパレート(Separate)フラグ、及び、バーティカルパターン(Vertical_pattern)フラグが供給される。
　セパレートフラグは、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離するかどうかを表す（水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとが分離されているかどうかを表す）フラグである。
　また、バーティカルパターンフラグは、垂直処理部３２で得られる複数の垂直処理後画像における、水平処理後L画像、及び、水平処理後R画像の奇数ラインと偶数ラインとの配置を表すフラグである。
　垂直処理部３２は、制御部３５からのセパレートフラグが、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離しないことを表している場合には、制御部３５からのバーティカルパターンフラグによらず、水平処理部３１からの水平処理後L画像、及び、水平処理後R画像を、そのまま、複数の垂直処理後画像として、混合部３３に供給する。
　したがって、セパレートフラグが、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離しないことを表している場合、垂直処理部３２では、垂直処理は行われず、水平処理部３１からの水平処理後L画像、及び、水平処理後R画像が、そのまま、複数の垂直処理後画像として、混合部３３に供給される。
　また、垂直処理部３２は、制御部３５からのセパレートフラグが、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離することを表している場合には、分離部３２Ｌに、水平処理部３１からの水平処理後L画像から、奇数ラインと偶数ラインとを分離させるとともに、分離部３２Ｒに、水平処理部３１からの水平処理後R画像から、奇数ラインと偶数ラインとを分離させる。
　そして、垂直処理部３２は、制御部３５からのバーティカルパターンフラグに従い、水平処理後L画像の奇数ラインのみを配置した画像と、水平処理後L画像の偶数ラインのみを配置した画像と、水平処理後R画像の奇数ラインのみを配置した画像と、水平処理後R画像の偶数ラインのみを配置した画像との４つの画像、又は、水平処理後L画像、及び、水平処理後R画像の奇数ラインをインターリーブして配置した垂直処理後奇数ライン画像と、水平処理後L画像、及び、水平処理後R画像の偶数ラインをインターリーブして配置した垂直処理後偶数ライン画像との２つの画像を、複数の垂直処理後画像として生成し、混合部３３に供給する。
　ここで、以下、水平処理後L画像の奇数ラインのみを配置した画像を、奇数ラインL画像ともいい、水平処理後L画像の偶数ラインのみを配置した画像を、偶数ラインL画像ともいう。また、水平処理後R画像の奇数ラインのみを配置した画像を、奇数ラインR画像ともいい、水平処理後R画像の偶数ラインのみを配置した画像を、偶数ラインR画像ともいう。
　混合部３３には、垂直処理部３２から、複数の垂直処理後画像が供給される他、制御部３５から、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターン(Arrange_pattern)フラグが供給される。
　ここで、アレンジパターンフラグは、複数の垂直処理後画像が、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像である場合に、その４つの画像を配置して混合画像とするときの、その４つの画像の配置パターンを表すフラグである。
　混合部３３は、制御部３５からのセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従い、垂直処理部３２からの複数の垂直処理後画像を並べて配置することにより、その複数の垂直処理後画像を混合した混合画像（１画面のL画像、又は、R画像と同一のデータ量の、１画面分の画像）を生成し、後段のエンコーダ３４での予測符号化の対象となる画像として出力する。
　ここで、セパレートフラグが、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離しないことを表している場合、上述したように、垂直処理部３２は、水平処理後L画像、及び、水平処理後R画像を、そのまま、複数の垂直処理後画像として、混合部３３に供給する。
　この場合、混合部３３は、垂直処理部３２から、複数の垂直処理後画像として供給される水平処理後L画像、及び、水平処理後R画像を、あらかじめ決められた配置に並べることで、混合画像を生成する。
　また、混合部３３は、制御部３５からのセパレートフラグが、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離することを表している場合、制御部３５からのバーティカルパターンフラグを参照することにより、垂直処理部３２から、複数の垂直処理後画像として供給される画像が、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像であるのか、又は、垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の２つの画像であるのかを認識する。
　そして、垂直処理部３２から、混合部３３に対して、垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の２つの画像が、複数の垂直処理後画像として供給される場合には、混合部３３は、その複数の垂直処理後画像としての垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像を、あらかじめ決められた配置に並べることで、混合画像を生成する。
　また、垂直処理部３２から、混合部３３に対して、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像が、複数の垂直処理後画像として供給される場合には、混合部３３は、その複数の垂直処理後画像としての奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像を、制御部３５からのアレンジパターンフラグが表す配置パターンの配置に並べることで、混合画像を生成する。
　エンコーダ３４には、混合部３３が出力する混合画像と、制御部３５が出力するセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグとが供給される。
　エンコーダ３４は、混合部３３が出力する混合画像を、例えば、MPEG2方式や、H.264/AVC方式等に従って予測符号化し、その予測符号化の結果得られる符号化データに、制御部３５が出力するセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを多重化すること等によって含める。
　エンコーダ３４で得られる、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを含む符号化データは、伝送媒体を介して送信され、又は、記録媒体に記録される。
　制御部３５は、オペレータ（ユーザ）の操作等に従って、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを設定し、混合部３３、及び、エンコーダ３４に供給する。さらに、制御部３５は、セパレートフラグ、及び、バーティカルパターンフラグを、垂直処理部３２に供給する。
　なお、エンコーダ３４において、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグは、符号化データの、例えば、システムレイヤやピクチャレイヤのヘッダ等に含めることができる。具体的には、例えば、エンコーダ３４において、例えば、AVC/H.264方式で符号化が行われる場合には、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグは、例えば、ユーザデータであるSEI (Supplemental Enhancement Information) に含めることができる。但し、エンコーダ３４は、符号化データと、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグとを、各種の方法で伝送することができる。すなわち、符号化データと、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグとの伝送とは、上述のように、符号化データの中のSEI等のシンタクスとして、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを記述して、符号化データと、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグとを送信することの他、符号化データと、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグとを、記録媒体に記録することや、符号化データと、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグとを別個に送信すること等を含む。
　ここで、図５の符号化装置では、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグの３つのフラグを用意し、その３つのフラグの設定によって、画素の配置が様々なパターンの混合画像を生成することができるようにしているが、符号化装置で生成する混合画像は、画素の配置が特定の１パターンの画像とすることができる。
　すなわち、図５の符号化装置では、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグが、ある特定の値に設定されている場合に得られる、画素の配置が特定のパターンの混合画像を生成することができる。
　この場合、符号化データには、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに代えて、混合画像が、図３で説明したように、間引きL画像に対して、間引きL画像の画素が配置されていない位置に、間引きR画像の画素をはめ込んだ従来と同様の画像（図３のＢ）となっているのか、又は、画素の配置が特定のパターンの画像になっているのかを表すフラグを含めることで、符号化データをデコードする復号装置において、デコードの結果得られる混合画像が、その２つの画像のうちのいずれであるのかを認識することができる。
　［エンコーダ３４の構成例］
　図６は、図５のエンコーダ３４の構成例を示すブロック図である。
　エンコーダ３４は、例えば、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報符号化装置である。
　符号化対象の画像データは、A／D(Analog/Digital)変換部４１に供給される。
　ここで、本実施の形態では、A／D変換部４１に供給される符号化対象の画像データは、混合部３３（図５）で生成される混合画像の画像データである。
　A／D変換部４１は、そこに供給される画像データがアナログ信号の画像データ（信号）である場合に、その画像データをA/D変換することで、ディジタル信号の画像データに変換し、画面並べ替えバッファ４２に供給する。
　画面並べ替えバッファ４２は、A/D変換部４１からの画像データを一時記憶し、必要に応じて読み出すことで、エンコーダ３４の出力である符号化データのGOP(Group of Pictures)構造に応じて、画像データのピクチャ（フレーム）（フィールド）を符号化順に並べ替える並べ替えを行う。
　画面並べ替えバッファ４２から読み出されたピクチャのうちの、イントラ符号が行われるイントラピクチャは、演算部４３に供給される。
　演算部４３は、画面並べ替えバッファ４２から供給されるイントラピクチャの画素値から、必要に応じて、イントラ予測部５４から供給される予測画像の画素値を減算し、直交変換部４４に供給する。
　直交変換部４４は、イントラピクチャ（の画素値、又は、予測画像が減算された減算値）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部４５に供給する。
　量子化部４５は、直交変換部４４からの変換係数を量子化し、その結果得られる量子化値を、可逆符号化部４６に供給する。
　可逆符号化部４６は、量子化部４５からの量子化値に対して、可変長符号化や、算術符号化等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ４７に供給する。
　蓄積バッファ４７は、可逆符号化部４６からの符号化データを一時記憶し、所定のレートで出力する。
　レート制御部４８は、蓄積バッファ４７の符号化データの蓄積量を監視しており、その蓄積量に基づき、量子化部４５の量子化ステップ等の、量子化部４５の挙動を制御する。
　量子化部４５で得られる量子化値は、可逆符号化部４６に供給される他、逆量子化部４９にも供給される。逆量子化部４９は、量子化部４５からの量子化値を、変換係数に逆量子化し、逆直交変換部５０に供給する。
　逆直交変換部５０は、逆量子化部４９からの変換係数を逆直交変換し、演算部５１に供給する。
　演算部５１は、逆直交変換部５０から供給されるデータに対して、必要に応じて、イントラ予測部５４から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得て、デブロックフィルタ５２に供給する。
　デブロックフィルタ５２は、演算器５１からの復号画像に対して、ブロック歪み等を低減するためのフィルタリング処理を施し、フレームメモリ５３に供給する。
　フレームメモリ５３は、演算部５１からデブロックフィルタ５２を介して供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部５４や動き予測／動き補償部５５に供給する。
　イントラ予測部５４は、イントラピクチャの中で、演算部４３で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ５３に記憶されている画素から予測画像を生成し、演算部４３及び５１に供給する。
　イントラ符号化が行われるピクチャについて、上述したようにして、イントラ予測部５４から演算部４３に予測画像が供給される場合、演算部４３では、画像並べ替えバッファ４２から供給されるピクチャから、イントラ予測部５４から供給される予測画像が減算される。
　また、演算部５１では、演算部４３で減算された予測画像が、逆直交変換部５０から供給されるデータに加算される。
　一方、インター符号化が行われるノンイントラピクチャは、画像並べ替えバッファ４２から、演算部４３、及び、動き予測／動き補償部５５に供給される。
　動き予測／動き補償部５５は、フレームメモリ５３から、画像並べ替えバッファ４２からのノンイントラピクチャの動き予測に際して参照する復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部５５は、フレームメモリ５３からの参照画像を用いて、画像並べ替えバッファ４２からのノンイントラピクチャについて、動きベクトルを検出する。
　そして、動き予測／動き補償部５５は、動きベクトルに従い、参照画像に動き補償を施すことで、ノンイントラピクチャの予測画像を生成し、演算部４３及び５１に供給する。
　演算部４３では、画像並べ替えバッファ４２から供給されるノンイントラピクチャから、イントラ予測部５４から供給される予測画像が減算され、以下、イントラピクチャの場合と同様にして、符号化が行われる。
　なお、イントラ予測部５４が予測画像を生成するモードを表すイントラ予測モードは、イントラ予測部５４から可逆符号化部４６に供給される。また、動き予測／動き補償部５５で得られる動きベクトル、及び、動き予測／動き補償部５５が動き補償を行うモードを表す動き補償予測モードは、動き予測／動き補償部５５から可逆符号化部４６に供給される。
　さらに、制御部３５（図５）からエンコーダ３４に供給されるセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグも、可逆符号化部４６に供給される。
　可逆符号化部４６では、イントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、復号に必要な情報が可逆符号化され、符号化データのヘッダに含められる。
　さらに、可逆符号化部４６では、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグが、符号化データに多重化することで含められる。
　［符号化装置の処理］
　図７は、図５の符号化装置の処理（符号化処理としての画像処理）を説明するフローチャートである。
　ステップＳ１１において、制御部３５は、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを設定し、混合部３３、及び、エンコーダ３４に供給する。さらに、制御部３５は、セパレートフラグ、及び、バーティカルパターンフラグを、垂直処理部３２に供給して、処理は、ステップＳ１１からステップＳ１２に進む。
　ステップＳ１２では、フィルタ部１１は、そこに１画面の3D画像を構成するL画像及びR画像が供給されるのを待って、そのL画像及びR画像を受信する。そして、フィルタ部１１は、L画像及びR画像それぞれをフィルタリングし、間引き部１２に供給して、処理は、ステップＳ１２からステップＳ１３に進む。
　ステップＳ１３では、間引き部１２は、フィルタ部１１から供給されるL画像及びR画像それぞれから、画素を間引き、その結果得られる、チェック模様状に画素が配置された間引きL画像、及び、間引きR画像を、水平処理部３１に供給する。
　その後、処理は、ステップＳ１３からステップＳ１４に進み、水平処理部３１は、間引き部１２からの間引きL画像、及び、間引きR画像それぞれに、水平処理を施す。
　そして、水平処理部３１は、水平処理の結果得られる水平処理後L画像、及び、水平処理後R画像を、垂直処理部３２に供給して、処理は、ステップＳ１４からステップＳ１５に進む。
　ステップＳ１５では、垂直処理部３２は、制御部３５から供給されるセパレートフラグ、及び、バーティカルパターンフラグに従い、水平処理部３１からの水平処理後L画像、及び、水平処理後R画像に、垂直処理を施すことで、複数の垂直処理後画像を生成する。
　そして、垂直処理部３２は、複数の垂直処理後画像を、混合部３３に供給し、処理は、ステップＳ１５からステップＳ１６に進む。
　ステップＳ１６では、混合部３３は、制御部３５からのセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従い、垂直処理部３２からの複数の垂直処理後画像を並べて配置することにより、その複数の垂直処理後画像を混合した混合画像を生成する混合処理を行う。
　さらに、混合部３３は、混合画像を、エンコーダ３４に供給して、処理は、ステップＳ１６からステップＳ１７に進む。
　ステップＳ１７では、エンコーダ３４は、混合部３３が出力する混合画像を、符号化対象として、例えば、MPEG2方式や、H.264/AVC方式等に従って予測符号化（エンコード）する。
　さらに、エンコーダ３４は、予測符号化の結果得られた符号化データに、制御部３５から供給されるセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを含めて出力する。
　エンコーダ３４が出力する符号化データは、伝送媒体を介して送信され、又は、記録媒体に記録される。
　なお、ステップＳ１１ないしＳ１７の処理は、3D画像の各画面を構成するL画像及びR画像を対象に行われる。
　但し、ステップＳ１１での、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグの設定は、例えば、ある１つの動画のコンテンツとしての3D画像の最初の画面についてだけ行うことができる。この場合、最初の画面について設定されたセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従った処理が、コンテンツとしての3D画像のすべての画面に施される。
　［水平処理］
　図８は、図５の水平処理部３１が行う水平処理を説明する図である。
　上述したように、水平処理部３１は、画素の水平方向の配置を操作する水平処理として、チェック模様状に画素が配置された間引きL画像、及び、間引きR画像の画素を、水平方向に詰める横詰めを行う。
　図８のＡは、間引きL画像に対する水平処理を示している。
　なお、図８において、LOは、間引きL画像（ひいては、L画像）の奇数ライン（上から奇数(odd)番目の水平ライン）の画素を表し、LEは、間引きL画像の偶数ライン（上から偶数(even)番目の水平ライン）の画素を表す。以降の図においても、同様である。
　間引きL画像では、チェック模様状に画素が配置されており、画素が、同一サイズの2D画像と比較して、隙間を空けて配置されている。
　間引きL画像に対する水平処理では、間引きL画像の画素を、隙間がなくなるように、水平方向にシフトすること、すなわち、図８のＡでは、左方向にシフトすることで、間引きL画像の画素を横詰めにした状態の画像が、水平処理後L画像として生成される。
　図８のＢは、間引きR画像に対する水平処理を示している。
　なお、図８において、ROは、間引きR画像（ひいては、R画像）の奇数ラインの画素を表し、REは、間引きR画像の偶数ラインの画素を表す。以降の図においても、同様である。
　間引きR画像では、チェック模様状に画素が配置されており、画素が、同一サイズの2D画像と比較して、隙間を空けて配置されている。
　間引きR画像に対する水平処理では、間引きR画像の画素を、隙間がなくなるように、水平方向にシフトすること、すなわち、図８のＢでは、左方向にシフトすることで、間引きR画像の画素を横詰めにした状態の画像が、水平処理後R画像として生成される。
　［セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従った処理］
　図９は、セパレートフラグが、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離しないこと（以下、非分離ともいう）を表している場合に、図５の符号化装置で行われる処理を説明する図である。
　セパレートフラグが、非分離を表している場合、垂直処理部３２は、水平処理部３１で生成された水平処理後L画像、及び、水平処理後R画像を、そのまま、複数の垂直処理後画像として、混合部３３に供給する。
　さらに、この場合、混合部３３は、垂直処理部３２から、複数の垂直処理後画像として供給される水平処理後L画像、及び、水平処理後R画像を、あらかじめ決められた配置に並べることで、混合画像を生成する。
　すなわち、混合部３３は、例えば、図９に示すように、水平処理後L画像を、左側に配置するとともに、水平処理後R画像を、右側に配置することで、混合画像を生成する。
　以上のように、セパレートフラグが非分離を表している場合に生成される混合画像においては、左側に、水平処理後L画像が配置され、右側に、水平処理後R画像が配置されている。
　そして、水平処理後L画像は、間引きL画像の画素を、隙間がなくなるように、水平方向にシフトすることで、間引きL画像の画素を横詰めにした状態の画像である。水平処理後R画像も、同様である。
　したがって、混合画像のうちの、水平処理後L画像、又は、水平処理後R画像の部分に注目した場合には、画像の空間方向及び時間方向の相関が低くなるのを防止することができ、その結果、混合画像が、図３で説明したように、間引きL画像に対して、間引きL画像の画素が配置されていない位置に、間引きR画像の画素をはめ込んだ画像になっている場合に比較して、混合画像の予測符号化の符号化効率を向上させることができる。
　すなわち、例えば、L画像に、水平方向に連続的に延びるエッジが写っている場合に、そのエッジの連続性は、間引きL画像の画素を横詰めにした水平処理後L画像でも維持される。したがって、水平方向に延びるエッジが写っている画素の空間方向及び時間方向の相関は維持されるので、符号化効率の劣化を防止することができる。
　R画像についても、同様である。
　なお、図５の符号化装置において、L画像及びR画像を、90度だけ回転し、その回転後のL画像及びR画像を、処理の対象とすることにより、元（回転前）のL画像及びR画像に、垂直方向に連続的に延びるエッジが写っている場合に、その垂直方向に延びるエッジが写っている画素の空間方向及び時間方向の相関を維持し、符号化効率の劣化を防止することができる。
　あるいは、上述の処理において、「水平」を「垂直」に読み替えるとともに、「垂直」を「水平」に読み替えた処理を行うことでも、L画像及びR画像に、垂直方向に連続的に延びるエッジが写っている場合に、その垂直方向に延びるエッジが写っている画素の空間方向及び時間方向の相関を維持し、符号化効率の劣化を防止することができる。
　なお、図９では、水平処理後L画像を、左側に、水平処理後R画像を、右側に、それぞれ配置することで、混合画像を生成することとしたが、混合画像の生成において、水平処理後L画像は、右側に、水平処理後R画像は、左側に、それぞれ配置することができる。
　また、水平処理後L画像、及び、水平処理後R画像それぞれを、混合画像の左側、又は、右側に配置するかは、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグの他のフラグを用意して、そのフラグによって制御することができる。但し、この場合、そのフラグも、符号化データに含める必要がある。
　ところで、複数の垂直処理後画像としての水平処理後L画像、及び、水平処理後R画像を、図９に示したように並べることで、混合画像を生成する場合には、水平方向に延びるエッジの連続性は維持されるが、垂直方向に延びるエッジの連続性は損なわれる。
　そこで、図１０は、セパレートフラグが、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離すること（以下、ライン分離ともいう）を表している場合に、図５の垂直処理部３２で行われる垂直処理を説明する図である。
　すなわち、図１０は、セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、複数の垂直処理後画像における、水平処理後L画像、及び、水平処理後R画像の奇数ラインと偶数ラインとの配置として、非インターリーブ配置を表している場合の、垂直処理を説明する図である。
　ここで、バーティカルパターンフラグが表す、複数の垂直処理後画像における、水平処理後L画像、及び、水平処理後R画像の奇数ラインと偶数ラインとの配置としては、インターリーブ配置と、非インターリーブ配置との２種類の配置がある。図１０では、非インターリーブ配置について説明し、インターリーブ配置については、後述する。
　セパレートフラグが、ライン分離を表している場合、垂直処理部３２は、水平処理後L画像から、奇数ラインと偶数ラインとを分離するとともに、水平処理後R画像から、奇数ラインと偶数ラインとを分離する。
　さらに、垂直処理部３２は、セパレートフラグが、ライン分離を表している場合には、バーティカルパターンフラグを参照する。
　そして、バーティカルパターンフラグが、非インタリーブ配置を表している場合には、垂直処理部３２は、水平処理後L画像、及び、水平処理後R画像それぞれから分離した奇数ラインと偶数ラインを、垂直方向にシフトすることで、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像を、複数の垂直処理後画像として生成する。
　すなわち、図１０のＡは、水平処理後L画像を対象とした垂直処理を説明する図である。
　垂直処理部３２は、水平処理後L画像から、奇数ライン(LO)だけを抽出するとともに、偶数ライン(LE)だけを抽出することで、奇数ラインと偶数ラインとを分離する。
　ここで、水平処理後L画像から抽出された奇数ラインだけからなる画像は、偶数ラインに対応する隙間が空いた画像になっている。水平処理後L画像から抽出された偶数ラインだけからなる画像も、奇数ラインに対応する隙間が空いた画像になっている。
　垂直処理部３２は、水平処理後L画像から抽出された奇数ラインだけからなる画像の奇数ラインを、偶数ラインに対応する隙間を詰めるように、垂直方向にシフトすることで、奇数ラインを縦詰めにした状態の画像を、水平処理後L画像の奇数ライン(LO)のみを配置した奇数ラインL画像として生成する。
　さらに、垂直処理部３２は、水平処理後L画像から抽出された偶数ラインだけからなる画像の偶数ラインを、奇数ラインに対応する隙間を詰めるように、垂直方向にシフトすることで、偶数ラインを縦詰めにした状態の画像を、水平処理後L画像の偶数ライン(LE)のみを配置した偶数ラインL画像として生成する。
　垂直処理部３２は、水平処理後R画像についても、同様の垂直処理を施す。
　すなわち、図１０のＢは、水平処理後R画像を対象とした垂直処理を説明する図である。
　垂直処理部３２は、水平処理後R画像から、奇数ライン(RO)だけを抽出するとともに、偶数ライン(RE)だけを抽出することで、奇数ラインと偶数ラインとを分離する。
　ここで、水平処理後R画像から抽出された奇数ラインだけからなる画像は、偶数ラインに対応する隙間が空いた画像になっている。水平処理後R画像から抽出された偶数ラインだけからなる画像も、奇数ラインに対応する隙間が空いた画像になっている。
　垂直処理部３２は、水平処理後R画像から抽出された奇数ラインだけからなる画像の奇数ラインを、偶数ラインに対応する隙間を詰めるように、垂直方向にシフトすることで、奇数ラインを縦詰めにした状態の画像を、水平処理後R画像の奇数ライン(RO)のみを配置した奇数ラインR画像として生成する。
　さらに、垂直処理部３２は、水平処理後R画像から抽出された偶数ラインだけからなる画像の偶数ラインを、奇数ラインに対応する隙間を詰めるように、垂直方向にシフトすることで、偶数ラインを縦詰めにした状態の画像を、水平処理後R画像の偶数ライン(RE)のみを配置した偶数ラインR画像として生成する。
　セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、非インターリーブ配置を表している場合、垂直処理部３２は、以上のようにして、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像を生成し、複数の垂直処理後画像として、混合部３３（図５）に供給する。
　図１１は、セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、非インターリーブ配置を表している場合に、図５の混合部３３で行われる混合処理を説明する図である。
　セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、非インターリーブ配置を表している場合、垂直処理部３２から混合部３３に対しては、図１０に示した奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像が、複数の垂直処理後画像として供給される。
　この場合、混合部３３は、複数の垂直処理後画像としての奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像を、アレンジパターンフラグが表す配置パターンの配置に並べることで、混合画像を生成する。
　アレンジパターンフラグが表す配置パターンとしては、例えば、パターン#0,#1,#2,#3,#4,#5の６パターンがある。
　図１１は、アレンジパターンフラグが表す配置パターンとしてのパターン#0ないし#5を示している。
　すなわち、図１１のＡは、パターン#0を、図１１のＢは、パターン#1を、図１１のＣは、パターン#2を、図１１のＤは、パターン#3を、図１１のＥは、パターン#4を、図１１のＦは、パターン#5を、それぞれ示している。
　アレンジパターンフラグが、パターン#0を表している場合、混合部３３は、図１１のＡに示すように、奇数ラインL画像(LO)が左上に、偶数ラインL画像(LE)が左下に、奇数ラインR画像(RO)が右上に、偶数ラインR画像(RE)が右下に、それぞれ配置された混合画像を生成する。
　アレンジパターンフラグが、パターン#1を表している場合、混合部３３は、図１１のＢに示すように、奇数ラインL画像(LO)が左上に、奇数ラインR画像(RO)が左下に、偶数ラインL画像(LE)が右上に、偶数ラインR画像(RE)が右下に、それぞれ配置された混合画像を生成する。
　アレンジパターンフラグが、パターン#2を表している場合、混合部３３は、図１１のＣに示すように、奇数ラインL画像(LO)が左上に、奇数ラインR画像(RO)が左下に、偶数ラインR画像(RE)が右上に、偶数ラインL画像(LE)が右下に、それぞれ配置された混合画像を生成する。
　アレンジパターンフラグが、パターン#3を表している場合、混合部３３は、図１１のＤに示すように、奇数ラインL画像(LO)が左上に、偶数ラインL画像(LE)が左下に、偶数ラインR画像(RE)が右上に、奇数ラインR画像(RO)が右下に、それぞれ配置された混合画像を生成する。
　アレンジパターンフラグが、パターン#4を表している場合、混合部３３は、図１１のＥに示すように、奇数ラインL画像(LO)が左上に、偶数ラインR画像(RE)が左下に、偶数ラインL画像(LE)が右上に、奇数ラインR画像(RO)が右下に、それぞれ配置された混合画像を生成する。
　アレンジパターンフラグが、パターン#5を表している場合、混合部３３は、図１１のＦに示すように、奇数ラインL画像(LO)が左上に、偶数ラインR画像(RE)が左下に、奇数ラインR画像(RO)が右上に、偶数ラインL画像(LE)が右下に、それぞれ配置された混合画像を生成する。
　ここで、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の、混合画像における配置パターンは、図１１に示した６パターンに限定されるものではない。すなわち、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像の配置パターンは、24(=4×3×2×1）通りだけ存在するので、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の、混合画像における配置パターンとしては、24通りのパターンから任意のパターンを採用することができる。
　なお、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像を並べて混合画像を生成する場合、符号化効率の観点からは、同一の画像の画素を近くに配置することが望ましい。
　したがって、間引きL画像から得られた奇数ラインL画像(LO)と偶数ラインL画像(LE)とは、斜め方向ではなく、上下方向、又は、左右方向に隣接するように配置することが望ましい。
　間引きR画像から得られた奇数ラインR画像と偶数ラインR画像も同様である。
　以上のように、水平処理後L画像から、その奇数ラインだけからなる奇数ラインL画像と、偶数ラインだけからなる偶数ラインL画像を生成するとともに、水平処理後R画像から、その奇数ラインだけからなる奇数ラインR画像と、偶数ラインだけからなる偶数ラインR画像を生成し、それらの奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像を並べて混合画像を生成することにより、その混合画像を構成する奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像それぞれの部分では、隣接する画素どうしの間で、位相ずれ（元のL画像やR画像において異なる行又は列に位置する画素が、奇数ラインL画像等において同一の行又は列に並ぶこと）が生じない。
　したがって、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像それぞれの部分において、不連続なエッジが現れ、また、一定の速度の動きが、画素によって異なる動きとして現れることによって、画像の空間方向及び時間方向の相関が低くなるのを防止することができ、混合画像が、図３で説明したように、間引きL画像に対して、間引きL画像の画素が配置されていない位置に、間引きR画像の画素をはめ込んだ画像になっている場合は勿論、図９の場合と比較しても、混合画像の予測符号化の符号化効率を向上させることができる。
　すなわち、例えば、奇数ラインL画像等においては、図９で説明した場合と同様に、水平方向に延びるエッジが写っている画素の他、垂直方向に延びるエッジが写っている画素の空間方向及び時間方向の相関も維持される。
　具体的には、例えば、図８のＡに示した間引きL画像の左から１番目の垂直方向に並ぶ３つの画素LOに、垂直方向に延びるエッジが写っている場合、その３つの画素LOは、図１０のＡに示した奇数ラインL画像の左から１番目の垂直方向に並ぶ３つ画素LOとなるので、混合画像における奇数ラインL画像の部分において、間引きL画像に写るエッジの連続性は維持される。
　したがって、その垂直方向に延びるエッジが写っている画素の空間方向及び時間方向の相関は維持されるので、符号化効率の劣化を防止することができる。
　なお、本件発明者が、ある3D画像を用いて行ったシミュレーションによれば、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像からなる混合画像の符号化データは、図３に示した混合画像の符号化データのデータ量の約1/4になることが確認されている。
　図１２は、セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、複数の垂直処理後画像における、水平処理後L画像、及び、水平処理後R画像の奇数ラインと偶数ラインとの配置として、インターリーブ配置を表している場合の、垂直処理を説明する図である。
　図１０で説明したように、セパレートフラグが、ライン分離を表している場合、垂直処理部３２は、水平処理後L画像、及び、水平処理後R画像それぞれから、奇数ラインと偶数ラインとを分離するとともに、バーティカルパターンフラグを参照する。
　そして、バーティカルパターンフラグが、インタリーブ配置を表している場合には、垂直処理部３２は、水平処理後L画像、及び、水平処理後R画像それぞれから分離した奇数ラインと偶数ラインを、インターリーブして配置することで、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像との２つの画像を、複数の垂直処理後画像として生成する。
　すなわち、垂直処理部３２は、図１０で説明した場合と同様に、水平処理後L画像、及び、水平処理後R画像それぞれから、奇数ラインだけを抽出するとともに、偶数ラインだけを抽出することで、奇数ラインと偶数ラインとを分離する（図１２）。
　そして、垂直処理部３２は、図１２に示すように、水平処理後L画像の奇数ラインと、水平処理後R画像の奇数ラインとを、インターリーブして配置することで、水平処理後L画像の奇数ライン(LO)と、水平処理後R画像の奇数ライン(RO)とが交互に配置された垂直処理後奇数ライン画像を生成する。
　同様に、垂直処理部３２は、水平処理後L画像の偶数ラインと、水平処理後R画像の偶数ラインとを、インターリーブして配置することで、水平処理後L画像の偶数ライン(LE)と、水平処理後R画像の偶数ライン(RE)とが交互に配置された垂直処理後偶数ライン画像を生成する。
　セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、インターリーブ配置を表している場合、垂直処理部３２は、以上のようにして、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像との２つの画像を生成し、複数の垂直処理後画像として、混合部３３（図５）に供給する。
　なお、図１２では、垂直処理後奇数ライン画像において、水平処理後L画像の奇数ライン(LO)が、上から奇数番目に配置され、水平処理後R画像の奇数ライン(RO)が、上から偶数番目に配置されているが、水平処理後L画像の奇数ライン(LO)を、偶数番目に、水平処理後R画像の奇数ライン(RO)を、奇数番目に、それぞれ配置することが可能である。
　同様に、図１２では、垂直処理後偶数ライン画像において、水平処理後L画像の偶数ライン(LE)が、奇数番目に配置され、水平処理後R画像の偶数ライン(RE)が、偶数番目に配置されているが、水平処理後L画像の偶数ライン(LE)を、偶数番目に、水平処理後R画像の偶数ライン(RE)を、奇数番目に、それぞれ配置することが可能である。
　但し、垂直処理後奇数ライン画像において、水平処理後L画像の奇数ライン(LO)を、奇数番目（又は偶数番目）に配置する場合には、垂直処理後偶数ライン画像において、水平処理後L画像の偶数ライン(LE)も、奇数番目（又は偶数番目）に配置することが望ましい。水平処理後R画像の奇数ライン(RO)、及び、偶数ライン(RE)についても、同様である。
　図１３は、セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、インターリーブ配置を表している場合に、図５の混合部３３で行われる混合処理を説明する図である。
　セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、インターリーブ配置を表している場合、垂直処理部３２から混合部３３に対しては、図１２に示した垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像との２つの画像が、複数の垂直処理後画像として供給される。
　この場合、混合部３３は、垂直処理部３２から、複数の垂直処理後画像として供給される垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像を、あらかじめ決められた配置に並べることで、混合画像を生成する。
　すなわち、混合部３３は、例えば、図１３に示すように、垂直処理後奇数ライン画像を、左側に配置するとともに、垂直処理後偶数ライン画像を、右側に配置することで、混合画像を生成する。
　以上のように、水平処理後L画像、及び、水平処理後R画像それぞれから分離した奇数ラインと偶数ラインを、インターリーブして配置することで、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを生成し、それらの垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを並べて、混合画像を生成する場合には、エンコーダ３４（図５）は、混合画像が、インターレース方式の画像であるとして、混合画像の予測符号化を行う。
　すなわち、セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、インターリーブ配置を表している場合、エンコーダ３４は、混合画像が、プログレッシブの画像であっても、インターレース方式の画像であるとして、混合画像の予測符号化を行う。
　この場合、エンコーダ３４が、例えば、H.264/AVC方式に従った予測符号化を行うこととし、混合画像の、時刻tのフレームである第tフレームを構成する奇数フィールド（奇数ラインからなるフィールド）、及び、偶数フィールド（偶数ラインからなるフィールド）のうちの、例えば、偶数フィールドに注目すると、エンコーダ３４では、第tフレームの偶数フィールドの予測符号化に際して、その偶数フィールドの予測画像を生成するのに、例えば、同一フレームである第tフレームの奇数フィールド、及び、１フレーム前の第t-1フレームの偶数フィールドのうちの、予測誤差が少なくなる方を参照することができる。
　ここで、セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、インターリーブ配置を表している場合に生成される混合画像は、図１３に示したように、水平処理後L画像、及び、水平処理後R画像それぞれから分離した奇数ラインと偶数ラインをインターリーブして配置することで得られる垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを水平方向に並べた画像である。
　したがって、混合画像の奇数フィールドでは、間引きL画像の奇数ライン(LO)と偶数ライン(LE)とが水平方向に並んでいるので、混合画像の奇数フィールドは、図１０のＡに示した奇数ラインL画像と偶数ラインL画像とが水平方向に並んだ画像になっている。
　同様に、混合画像の偶数フィールドでは、間引きR画像の奇数ライン(RO)と偶数ライン(RE)とが水平方向に並んでいるので、混合画像の偶数フィールドは、図１０のＢに示した奇数ラインR画像と偶数ラインR画像とが並んだ画像になっている。
　その結果、混合画像の第tフレームの偶数フィールドの予測符号化に際して、１フレーム前の第t-1フレームの偶数フィールドが参照される場合には、混合画像が、図１１に示したように、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像から構成される場合と同様の符号化効率を実現することができる。
　また、エンコーダ３４では、混合画像の第tフレームの偶数フィールドの予測符号化に際して、第t-1フレームの偶数フィールドを参照するよりも、第tフレームの奇数フィールドを参照した方が、予測誤差を少なくすることができるのであれば、第tフレームの奇数フィールドを参照することができる。
　したがって、セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、インターリーブ配置を表している場合に、エンコーダ３４において、混合画像が、インターレース方式の画像であるとして、混合画像の予測符号化を行うことにより、混合画像が、図１１に示したように、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像から構成される場合の符号化効率以上の符号化効率を実現することができる。
　なお、図１３では、垂直処理後奇数ライン画像を、左側に、垂直処理後偶数ライン画像を、右側に、それぞれ配置することで、混合画像を生成することとしたが、混合画像の生成において、垂直処理後奇数ライン画像は、右側に、垂直処理後偶数ライン画像は、左側に、それぞれ配置することができる。
　また、垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像それぞれを、混合画像の左側、又は、右側に配置するかは、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグの他のフラグを用意して、そのフラグによって制御することができる。但し、この場合、そのフラグも、符号化データに含める必要がある。
　［セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグ］
　図１４は、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを説明する図である。
　セパレートフラグ(separate_flag)は、非分離、又は、ライン分離、すなわち、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離するかどうかを表す。
　セパレートフラグが、例えば、0である場合、非分離を表し、1である場合、ライン分離を表す。
　バーティカルパターン(vertical_pattern)フラグは、複数の垂直処理後画像における、水平処理後L画像、及び、水平処理後R画像の奇数ラインと偶数ラインとの配置を表す。
　バーティカルパターンフラグが表す配置としては、非インターリーブ配置と、インターリーブ配置とがある。
　バーティカルパターンフラグが、例えば、0である場合、非インターリーブ配置（図１０）を表し、1である場合、インターリーブ配置（図１２）を表す。
　セパレートフラグが、ライン分離を表す1であり、バーティカルパターンフラグが、非インターリーブ配置を表す0である場合、垂直処理部３２（図５）は、図１０で説明したように、水平処理後L画像から、奇数ラインと偶数ラインとを分離するとともに、水平処理後R画像から、奇数ラインと偶数ラインとを分離する。
　さらに、垂直処理部３２は、図１０で説明したように、水平処理後L画像、及び、水平処理後R画像それぞれから分離した奇数ラインと偶数ラインのそれぞれを、垂直方向にシフトすることで、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像を、複数の垂直処理後画像として生成する。
　また、セパレートフラグが、ライン分離を表す1であり、バーティカルパターンフラグが、インターリーブ配置を表す1である場合、垂直処理部３２は、図１２で説明したように、水平処理後L画像から、奇数ラインと偶数ラインとを分離するとともに、水平処理後R画像から、奇数ラインと偶数ラインとを分離する。
　さらに、垂直処理部３２は、図１２で説明したように、水平処理後L画像、及び、水平処理後R画像それぞれから分離した奇数ラインと偶数ラインとのそれぞれを、インターリーブして配置することで、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像との２つの画像を、複数の垂直処理後画像として生成する。
　アレンジパターン(arrange_pattern)フラグは、複数の垂直処理後画像が、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像である場合に、混合画像での、その４つの画像の配置パターンを表す。
　本実施の形態では、アレンジパターンフラグは、0ないし5の範囲の整数値をとる。アレンジパターンフラグが、整数値iである場合、混合部３３では、複数の垂直処理後画像としての奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像を、図１１のパターン#iの配置となるように並べることで、混合画像が生成される。
　［垂直処理、及び、混合処理の詳細］
　図１５は、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従って行われる、図７のステップＳ１５の垂直処理、及び、ステップＳ１６の混合処理の詳細を説明するフローチャートである。
　ステップＳ３１において、図５の垂直処理部３２、及び、混合部３３は、制御部３５から供給されるセパレートフラグが、0、及び、1のうちのいずれであるかを判定する。
　ステップＳ３１において、セパレートフラグが0であると判定された場合、処理は、ステップＳ３２に進み、垂直処理部３２は、水平処理部３１から供給される水平処理後L画像、及び、水平処理後R画像を、そのまま、複数の垂直処理後画像として、混合部３３に供給する。
　混合部３３は、垂直処理部３２から、複数の垂直処理後画像として供給される水平処理後L画像、及び、水平処理後R画像を、図９に示したように、水平方向に並べることで、混合画像を生成する。
　一方、ステップＳ３１において、セパレートフラグが1であると判定された場合、処理は、ステップＳ３３に進み、垂直処理部３２は、水平処理部３１からの水平処理後L画像から、奇数ラインと偶数ラインとを分離するとともに、水平処理部３１からの水平処理後R画像から、奇数ラインと偶数ラインとを分離する。
　そして、処理は、ステップＳ３３からステップＳ３４に進み、垂直処理部３２、及び、混合部３３は、制御部３５から供給されるバーティカルパターンフラグが、0、及び、1のうちのいずれであるかを判定する。
　ステップＳ３４において、バーティカルパターンフラグが0であると判定された場合、処理は、ステップＳ３５に進み、垂直処理部３２は、図１０で説明したように、水平処理後L画像、及び、水平処理後R画像それぞれから分離した奇数ラインと偶数ラインを、垂直方向にシフトすることで、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像を、複数の垂直処理後画像として生成する。
　そして、垂直処理部３２は、複数の垂直処理後画像としての奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像を、混合部３３に供給して、処理は、ステップＳ３５からステップＳ３６に進む。
　ステップＳ３６では、混合部３３は、垂直処理部３２からの複数の垂直処理後画像としての奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像を、制御部３５から供給されるアレンジパターンフラグが表す配置パターンの配置に並べることで、図１１で説明した混合画像を生成する。
　一方、ステップＳ３４において、バーティカルパターンフラグが1であると判定された場合、処理は、ステップＳ３７に進み、垂直処理部３２は、図１２で説明したように、水平処理後L画像、及び、水平処理後R画像それぞれから分離した奇数ラインと偶数ラインのそれぞれを、インターリーブして配置することで、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像との２つの画像を、複数の垂直処理後画像として生成する。
　そして、垂直処理部３２は、複数の垂直処理後画像としての垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像を、混合部３３に供給して、処理は、ステップＳ３７からステップＳ３８に進む。
　ステップＳ３８では、混合部３３は、混合部３３は、垂直処理部３２から、複数の垂直処理後画像として供給される垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像を、あらかじめ決められた配置に並べることで、図１３で説明した混合画像を生成する。
　ステップＳ３２，Ｓ３６、又はＳ３８で生成された混合画像は、混合部３３からエンコーダ３４（図５）に供給され、図７のステップＳ１７で説明したように予測符号化される。
　［復号装置の一実施の形態］
　図１６は、本発明の画像処理装置を適用した復号装置の一実施の形態の構成例を示すブロック図である。
　復号装置のデコーダ６１には、図５の符号化装置が出力する符号化データが供給される。
　デコーダ６１は、そこに供給される符号化データを受け取り（受信し）、その符号化データに含まれるセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを抽出し、分離部６２に供給する。なお、上述したように、符号化データと、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグとは、別個に伝送（記録媒体からの再生を含む）されてくる場合があるが、その場合には、デコーダ６１は、別個に伝送されてくる符号化データと、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグとを受け取り、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを、分離部６２に供給する。
　さらに、デコーダ６１は、セパレートフラグ、及び、バーティカルパターンフラグを、逆垂直処理部６３に供給する。
　また、デコーダ６１は、エンコーダ３４の符号化の方式と同一の方式で、符号化データを復号し、その結果得られる混合画像を、分離部６２に供給する。
　分離部６２は、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従い、デコーダ６１からの混合画像を、複数の垂直処理後画像に分離し、逆垂直処理部６３に供給する。
　逆垂直処理部６３は、合成部６３Ｌ及び６３Ｒを有する。逆垂直処理部６３は、分離部６２からの複数の垂直処理後画像を、水平処理後L画像、及び、水平処理後R画像に戻す逆垂直処理を行い、その結果得られる水平処理後L画像、及び、水平処理後R画像を、逆水平処理部６４に供給する。
　ここで、符号化データに含まれるセパレートフラグが、非分離を表す場合、混合画像は、複数の垂直処理後画像としての水平処理後L画像、及び、水平処理後R画像を、図９に示したように水平方向に並べた画像となっている。
　そこで、分離部６２は、デコーダ６１から供給されるセパレートフラグが、非分離を表す場合には、デコーダ６１からの混合画像から、図９に示したように並べられている複数の垂直処理後画像としての水平処理後L画像、及び、水平処理後R画像を分離し、逆垂直処理部６３に供給する。
　そして、逆垂直処理部６３は、デコーダ６１から供給されるセパレートフラグが、非分離を表す場合に、逆分離部６２から供給される複数の垂直処理後画像としての水平処理後L画像、及び、水平処理後R画像を、そのまま、逆水平処理部６４に供給する。
　また、符号化データに含まれるセパレートフラグが、ライン分離を表し、かつ、符号化データに含まれるバーティカルパターンフラグが、非インタリーブ配置を表す場合、混合画像は、複数の垂直処理後画像としての奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像が、図１１で説明したように、符号化データに含まれるアレンジパターンフラグに従って配置された画像になっている。
　そこで、分離部６２は、デコーダ６１から供給されるセパレートフラグが、ライン分離を表し、かつ、デコーダ６１から供給されるバーティカルパターンフラグが、非インタリーブ配置を表す場合には、デコーダ６１からの混合画像から、同じくデコーダ６１からのアレンジパターンフラグに従って、図１１に示したように配置された奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像を区別して分離し、逆垂直処理部６３に供給する。
　逆垂直処理部６３では、合成部６３Ｌが、分離部６２からの奇数ラインL画像、及び、偶数ラインL画像を合成し、水平処理後L画像を復号する。
　すなわち、合成部６３Ｌは、分離部６２からの奇数ラインL画像の各ライン（水平方向のライン）を、水平処理後L画像の奇数ラインに配置するとともに、分離部６２からの偶数ラインL画像の各ラインを、水平処理後L画像の偶数ラインに配置することで、水平処理後L画像を復号する。
　さらに、逆垂直処理部６３では、合成部６３Ｒが、分離部６２からの奇数ラインR画像、及び、偶数ラインR画像を合成し、水平処理後R画像を復号する。
　すなわち、合成部６３Ｒは、分離部６２からの奇数ラインR画像の各ラインを、水平処理後R画像の奇数ラインに配置するとともに、分離部６２からの偶数ラインR画像の各ラインを、水平処理後R画像の偶数ラインに配置することで、水平処理後R画像を復号する。
　また、符号化データに含まれるセパレートフラグが、ライン分離を表し、かつ、符号化データに含まれるバーティカルパターンフラグが、インタリーブ配置を表す場合、混合画像は、複数の垂直処理後画像としての垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の２つの画像を、図１３で説明したように、水平方向に並べた画像になっている。
　そこで、分離部６２は、デコーダ６１から供給されるセパレートフラグが、ライン分離を表し、かつ、デコーダ６１から供給されるバーティカルパターンフラグが、インタリーブ配置を表す場合には、デコーダ６１からの混合画像から、図１３に示したように並べられた垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像を分離し、逆垂直処理部６３に供給する。
　逆垂直処理部６３では、合成部６３Ｌが、分離部６２からの垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の一部のラインを合成し、水平処理後L画像を復号する。
　すなわち、図１２で説明したことから、垂直処理後奇数ライン画像は、水平処理後L画像の奇数ライン(LO)を含んでおり、垂直処理後偶数ライン画像は、水平処理後L画像の偶数ライン(LE)を含んでいる。
　合成部６３Ｌは、分離部６２からの垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像それぞれから、水平処理後L画像の奇数ライン(LO)、及び、偶数ライン(LE)を抽出し、その奇数ライン(LO)、及び、偶数ライン(LE)を、元の配置に戻すことで、水平処理後L画像を復号する。
　さらに、逆垂直処理部６３では、合成部６３Ｒが、分離部６２からの垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の残りのラインを合成し、水平処理後R画像を復号する。
　すなわち、図１２で説明したことから、垂直処理後奇数ライン画像は、水平処理後R画像の奇数ライン(RO)を含んでおり、垂直処理後偶数ライン画像は、水平処理後R画像の偶数ライン(RE)を含んでいる。
　合成部６３Ｌは、分離部６２からの垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像それぞれから、水平処理後R画像の奇数ライン(RO)、及び、偶数ライン(RE)を抽出し、その奇数ライン(RO)、及び、偶数ライン(RE)を、元の配置に戻すことで、水平処理後R画像を復号する。
　逆水平処理部６４は、逆垂直処理部６３からの水平処理後L画像、及び、水平処理後R画像を、間引きL画像、及び、間引きR画像に戻す逆水平処理を行う。
　すなわち、逆水平処理部６４は、逆水平処理部６４Ｌ及び６４Ｒから構成される。
　逆水平処理部６４Ｌは、逆垂直処理部６３からの水平処理後L画像の画素を、図５の水平処理部３１Ｌとは逆方向にシフトすることで、間引きL画像を復号し、補間部６５に供給する。
　逆水平処理部６４Ｒは、逆垂直処理部６３からの水平処理後R画像の画素を、図５の水平処理部３１Ｒとは逆方向にシフトすることで、間引きR画像を復号し、補間部６５に供給する。
　補間部６５は、補間部６５Ｌ及び６５Ｒから構成される。
　補間部６５Ｌは、逆水平処理部６４から供給される間引きL画像に対し、図５の間引き部１２Ｌで間引かれた画素を補間し、補間後の画像（以下、補間L画像ともいう）を、フィルタ部６６に供給する。
　補間部６５Ｒは、逆水平処理部６４から供給される間引きR画像に対し、図５の間引き部１２Ｒで間引かれた画素を補間し、補間後の画像（以下、補間R画像ともいう）を、フィルタ部６６に供給する。
　フィルタ部６６は、ローパスフィルタであるフィルタ６６Ｌ及び６６Ｒから構成される。
　フィルタ６６Ｌは、補間部６５からの補間L画像をフィルタリングし、これにより、L画像を復号して、3Dフォーマット変換部６７に供給する。
　フィルタ６６Ｒは、補間部６５からの補間R画像をフィルタリングし、これにより、R画像を復号して、3Dフォーマット変換部６７に供給する。
　3Dフォーマット変換部６７は、フィルタ部６６からのL画像、及び、R画像（の画像データ）を、後段の3D表示装置６８が3D画像を表示するのに対応したフォーマットの信号に変換し、3D表示装置６８に供給する。
　3D表示装置６８は、3Dフォーマット変換部６７からの信号に対応して、3D画像を表示する。
　ここで、3D表示装置６８が、例えば、図４の3D表示装置２２と同様に、図３のＢに示した、間引きL画像の画素Lx,yと、間引きR画像の画素Rx,yとが、チェック模様状に配置された混合画像の3D表示に対応した立体視用デバイスである場合には、3Dフォーマット変換部６７では、例えば、図２のフィルタ部１１、間引き部１２、及び、混合部１３と同様の処理が行われることで、フィルタ部６６からのL画像、及び、R画像が、3D表示装置６８で3D画像を表示するのに対応したフォーマットの信号に変換される。
　［デコーダ６１の構成例］
　図１７は、図１６のデコーダ６１の構成例を示すブロック図である。
　デコーダ６１は、例えば、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報符号化装置であるエンコーダ３４（図６）で得られる符号化データを復号する画像情報復号装置である。
　デコーダ６１には、図５の符号化装置が出力する符号化データが、復号の対象となる符号化データとして供給される。
　復号の対象となる符号化データは、蓄積バッファ７１に供給される。蓄積バッファ７１は、そこに供給される符号化データを一時記憶し、可逆符号復号部７２に供給する。
　可逆符号復号部７２は、蓄積バッファ７１からの符号化データに対して、その符号化データのフォーマットに基づき、可変長復号や、算術復号等の処理を施すことで、量子化値と、符号化データのヘッダに含められたイントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、画像の復号に必要な情報を復号する。
　可逆符号復号部７２で得られる量子化値は、逆量子化部７３に供給され、イントラ予測モードは、イントラ予測部７８に供給される。また、可逆符号復号部７２で得られる動きベクトル(MV)、動き補償予測モード、及び、ピクチャタイプは、動き予測／動き補償部７９に供給される。
　さらに、可逆符号復号部７２は、符号化データから、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを抽出し、分離部６２（図１６）に供給する。また、可逆符号復号部７２は、セパレートフラグ、及び、バーティカルパターンフラグを、逆垂直処理部６３（図１６）に供給する。
　逆量子化部７３、逆直交変換部７４、演算部７５、デブロックフィルタ７６、フレームメモリ７７、イントラ予測部７８、及び、動き予測／動き補償部７９は、図６の逆量子化部４９、逆直交変換部５０、演算部５１、デブロックフィルタ５２、フレームメモリ５３、イントラ予測部５４、及び、動き予測／動き補償部５５とそれぞれ同様の処理を行い、これにより、画像が復号される（復号画像が得られる）。
　すなわち、逆量子化部７３は、可逆符号復号部７２からの量子化値を、変換係数に逆量子化し、逆直交変換部７４に供給する。
　逆直交変換部７４は、逆量子化部７３からの変換係数を逆直交変換し、演算部７５に供給する。
　演算部７５は、逆直交変換部７４から供給されるデータのうちの、イントラピクチャのデータについては、必要に応じて、イントラ予測部７８から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得る。また、演算部７５は、逆直交変換部７４から供給されるデータのうちの、ノンイントラピクチャのデータについては、動き予測／動き補償部７９から供給される予測画像の画素値を加算することで、ノンイントラピクチャの復号画像を得る。
　演算部７５で得られた復号画像は、デブロックフィルタ７６に供給される。
　デブロックフィルタ７６は、演算部７５からの復号画像に、図６のデブロックフィルタ５２と同様のフィルタリング処理を施し、必要に応じて、フレームメモリ７７に供給するとともに、画像並べ替えバッファ８０に供給する。
　フレームメモリ７７は、演算部７５からデブロックフィルタ７６を介して供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部７８や動き予測／動き補償部７９に供給する。
　イントラ予測部７８は、演算部７５で処理の対象となっているデータが、イントラピクチャのデータである場合、そのイントラピクチャの予測画像を、フレームメモリ７７からの参照画像としての復号画像を用いて、必要に応じて生成し、演算部７５に供給する。
　すなわち、イントラ予測部７８は、可逆符号復号部７２からのイントラ予測モードに従い、演算部７５で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ７７に記憶されている画素から予測画像を生成し、演算部７５に供給する。
　一方、動き予測／動き補償部７９は、演算部７５で処理の対象となっているデータが、ノンイントラピクチャのデータである場合、そのノンイントラピクチャの予測画像を生成し、演算部７５に供給する。
　すなわち、動き予測／動き補償部７９は、可逆符号復号部７２からのピクチャタイプ等に従い、フレームメモリ７７から、予測画像の生成に用いる復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部７９は、フレームメモリ７７からの参照画像に対して、可逆符号復号部７２からの動きベクトル、及び、動き補償予測モードに従った動き補償を施すことにより、予測画像を生成し、演算部７５に供給する。
　演算部７５では、以上のようにして、イントラ予測部７８、又は、動き予測／動き補償部７９から供給される予測画像を、逆直交変換部７４から供給されるデータに加算することで、ピクチャ（の画素値）が復号される。
　画像並べ替えバッファ８０は、演算部７５からデブロックフィルタ７６を介して供給されるピクチャ（復号画像）を一時記憶して読み出すことで、ピクチャの並びを、元の並び（表示順）に並び替え、D/A(Digital/Analog)変換部８１に供給する。
　D/A変換部８１は、画像並べ替えバッファ８０からの復号画像をアナログ信号で出力する必要がある場合に、その復号画像をD/A変換して出力する。
　［復号装置の処理］
　図１８は、図１６の復号装置の処理（復号処理としての画像処理）を説明するフローチャートである。
　なお、図１８のフローチャートに従った処理は、１画面の3D画像の符号化データに対して行われる処理である。
　ステップＳ５１において、デコーダ６１は、そこに、１画面の3D画像の符号化データが供給されるのを待って、その符号化データを受信する。そして、デコーダ６１は、符号化データから、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを抽出し、分離部６２に供給する。
　さらに、デコーダ６１は、セパレートフラグ、及び、バーティカルパターンフラグを、逆垂直処理部６３に供給する。
　また、デコーダ６１は、符号化データを復号（デコード）し、その結果得られる混合画像を、分離部６２に供給して、処理は、ステップＳ５１からステップＳ５２に進む。
　ステップＳ５２では、分離部６２は、デコーダ６１からのセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従い、デコーダ６１からの混合画像を、複数の垂直処理後画像に分離し、逆垂直処理部６３に供給して、処理は、ステップＳ５３に進む。
　ステップＳ５３では、逆垂直処理部６３は、デコーダ６１からのセパレートフラグ、及び、バーティカルパターンフラグに従い、分離部６２からの複数の垂直処理後画像を、水平処理後L画像、及び、水平処理後R画像に戻す逆垂直処理を行う。
　さらに、ステップＳ５３では、逆垂直処理部６３は、逆垂直処理によって得られる水平処理後L画像、及び、水平処理後R画像を、逆水平処理部６４に供給して、処理は、ステップＳ５４に進む。
　ステップＳ５４では、逆水平処理部６４は、逆垂直処理部６３からの水平処理後L画像、及び、水平処理後R画像を、間引きL画像、及び、間引きR画像に戻す逆水平処理を行う。
　さらに、ステップＳ５４では、逆水平処理部６４は、逆水平処理によって得られる間引きL画像、及び、間引きR画像を、補間部６５に供給して、処理は、ステップＳ５５に進む。
　ステップＳ５５では、補間部６５が、逆水平処理部６４から供給される間引きL画像、及び、間引きR画像の画素を補間し、フィルタ部６６に供給する。
　フィルタ部６６は、補間部６５からの画像をフィルタリングすることで、L画像、及び、R画像を復号し、3Dフォーマット変換部６７に供給して、処理は、ステップＳ５５からステップＳ５６に進む。
　ステップＳ５６では、3Dフォーマット変換部６７は、フィルタ部６６からのL画像、及び、R画像を、3D表示装置６８で3D画像を表示するのに対応したフォーマットの信号に変換し、3D表示装置６８に供給する。
　その後、3D表示装置６８では、3Dフォーマット変換部６７からの信号に対応して、3D画像が表示される。
　なお、図１６の復号装置は、例えば、3D表示装置６８、さらには、3Dフォーマット変換部６７を設けずに構成することができる。
　また、図１６の復号装置は、例えば、3D表示装置６８、及び、3Dフォーマット変換部６７の他、補間部６５、及び、フィルタ部６６をも設けずに構成することができる。
　さらに、図５の符号化装置、及び、図１６の復号装置は、チェック模様状に画素が配置された間引きL画像、及び、間引きR画像の他、図１のＢに示したように、水平方向の空間解像度を、元の1/2にした画像や、図１のＣに示したように、垂直方向の空間解像度を、元の1/2にした画像（を90度だけ回転した画像）にも適用可能である。
　＜第２実施の形態＞
　［符号化装置の他の一実施の形態］
　図１９は、本発明の画像処理装置を適用した符号化装置の他の一実施の形態の構成例を示すブロック図である。
　図１９において、図５の符号化装置と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　すなわち、図１９の符号化装置は、エンコーダ３４を有する点で、図５の場合と共通する。
　但し、図１９の符号化装置は、撮像装置１０１Ｌ及び１０１Ｒを有する点で、図５の場合と相違する。さらに、図１９の符号化装置は、フィルタ部１１、間引き部１２、水平処理部３１、垂直処理部３２、混合部３３、及び、制御部３５に代えて、合成装置１０２を有する点でも、図５の場合と相違する。
　上述の図５の符号化装置では、L画像及びR画像が、プログレッシブ（ノンインターレース方式）の画像であっても、また、インターレース方式の画像であっても、符号化を行うことが可能であるが、図１９の符号化装置は、L画像及びR画像が、インターレース方式の画像である場合に、そのインターレース方式の画像であるL画像及びR画像の符号化に適している。
　撮像装置１０１Ｌ及び１０１Ｒは、インターレース方式の画像を撮像するビデオカメラであり、視差のある画像を撮像して、合成装置１０２に供給する。
　すなわち、撮像装置１０１Ｌは、L画像となるインターレース方式の画像を撮像し、合成装置１０２に供給する。
　撮像装置１０１Ｒは、R画像となるインターレース方式の画像を、撮像装置１０１ＬによるL画像の撮像に同期して撮像し、合成装置１０２に供給する。
　合成装置１０２は、撮像装置１０１ＬからのL画像の画素を間引き、後述する前処理を行うことで、間引きL画像を生成するとともに、撮像装置１０１ＲからのR画像の画素を間引き、前処理を行うことで、間引きR画像を生成する。
　さらに、合成装置１０２は、前処理によって得られる間引きL画像、及び、間引きR画像に対して、図５の水平処理部３１、垂直処理部３２、及び、混合部３３が、セパレートフラグ、及び、バーティカルパターンフラグが、いずれも1である場合に行う水平処理、垂直処理、及び、混合処理と同様の処理を施すことで、混合画像を生成し、エンコーダ３４に供給する。
　ここで、セパレートフラグが、ライン分離を表す1であり、バーティカルパターンフラグが、インターリーブ配置を表す1である場合、図５の符号化装置では、図１２や図１４で説明したように、水平処理部３１での水平処理の後、垂直処理部３２が、垂直処理において、水平処理後L画像から、奇数ラインと偶数ラインとを分離するとともに、水平処理後R画像から、奇数ラインと偶数ラインとを分離し、水平処理後L画像、及び、水平処理後R画像それぞれから分離された奇数ラインと偶数ラインとのそれぞれを、インターリーブして配置することで、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを生成する。
　そして、混合部３３が、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを並べて配置することで、混合画像を生成する。
　以上のように、セパレートフラグ、及び、バーティカルパターンフラグが、いずれも1である場合に、図５の水平処理部３１、垂直処理部３２、及び、混合部３３でそれぞれ行われる水平処理、垂直処理、及び、混合処理を、以下、まとめて、インターリーブ混合処理ともいう。
　［合成装置１０２の構成例］
　図２０は、図１９の合成装置１０２の構成例を示すブロック図である。
　合成装置１０２は、フィルタ部１２１、間引き部１２２、前処理部１２３、インターリーブ混合処理部１２４、及び、制御部１２５を有する。
　フィルタ部１２１には、撮像装置１０１ＬからのL画像、及び、撮像装置１０１ＲからのR画像が供給される。
　フィルタ部１２１は、図５のフィルタ部１１と同様に、L画像、及び、R画像それぞれの画素を間引いた間引きL画像、及び、間引きR画像において、折り返し歪みが生じるのを防止するために、L画像、及び、R画像の高域成分をカットするためのフィルタリングを行う。
　ここで、フィルタ部１２１の後段の間引き部１２２では、図５の間引き部１２と同様に、画素が、斜め方向に間引かれるため、フィルタ部１２１では、斜め方向の高域成分をカットするフィルタリングが行われる。
　また、フィルタ部１２１は、インターレース方式のL画像及びR画像のフィルタリングを、そのL画像及びR画像のフレームを構成する奇数フィールドと、偶数フィールドとのそれぞれを対象として行う。
　すなわち、インターレース方式の画像のフレームを構成する奇数フィールドと、偶数フィールドとは、異なる時刻に撮像されている。
　したがって、そのような奇数フィールドと偶数フィールドとから構成されるフレームを対象としてフィルタリングを行うと、奇数フィールドと偶数フィールドのうちの一方のフィールドの画素のフィルタリング（例えば、ディジタルフィルタでの積和演算）に、その一方のフィールドとは異なる時刻に撮像された他方のフィールドの画素が用いられ、その画素の影響によって、フィルタリングの結果得られる画素が、一方のフィールドの画素のみを用いる場合に比較してぼける。
　このため、フィルタ部１２１では、インターレース方式のL画像及びR画像については、フレームを構成する奇数フィールドと偶数フィールドとに分けて、フィルタリングが行われる。
　フィルタ部１２１は、L画像のフレームを構成する奇数フィールド、及び、偶数フィールド、並びに、R画像のフレームを構成する奇数フィールド、及び、偶数フィールドのフィルタリング結果を、間引き部１２２に供給する。
　ここで、L画像のフレームを構成する奇数フィールド、及び、偶数フィールド、並びに、R画像のフレームを構成する奇数フィールド、及び、偶数フィールドを、それぞれ、L奇数フィールド、及び、L偶数フィールド、並びに、R奇数フィールド、及び、R偶数フィールドともいう。
　間引き部１２２は、図５の間引き部１２がL画像の画素を間引くのと同様に、L奇数フィールドの画素を、斜め方向の１ラインおきに間引くことで、そのL奇数フィールドを、チェック模様状に画素が配置されたフィールド（以下、間引きL奇数フィールドともいう）に変換する。
　さらに、間引き部１２２は、図５の間引き部１２がL画像の画素を間引くのと同様に、L偶数フィールドの画素を、斜め方向の１ラインおきに間引くことで、そのL偶数フィールドを、チェック模様状に画素が配置されたフィールド（以下、間引きL偶数フィールドともいう）に変換する。
　また、間引き部１２２は、図５の間引き部１２がR画像の画素を間引くのと同様に、R奇数フィールド、及び、R偶数フィールドそれぞれの画素を、斜め方向の１ラインおきに間引くことで、そのR奇数フィールド、及び、R偶数フィールドを、チェック模様状に画素が配置されたフィールドに変換する。
　ここで、R奇数フィールド、及び、R偶数フィールドの、間引き部１２２での画素の間引き後のフィールドを、それぞれ、間引きR奇数フィールド、及び、間引きR偶数フィールドともいう。
　間引き部１２２は、間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドを、前処理部１２３に供給する。
　前処理部１２３は、間引き部１２２からの間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドを用いて、間引きL画像、並びに、間引きR画像のフレームを構成する前処理を行う。
　すなわち、前処理部１２３は、間引き部１２２からの間引きL奇数フィールド、及び、間引きL偶数フィールド、つまり、撮像装置１０１Ｌで撮像されたインターレース方式のL画像のフレームを構成する奇数フィールド、及び、偶数フィールドそれぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる間引きL奇数フィールド（第１の間引き奇数フィールド）、及び、間引きL偶数フィールド（第１の間引き偶数フィールド）を並べて配置した画像を、間引きL画像（第１の間引き画像）として構成する処理を、前処理として行う。
　さらに、前処理部１２３は、間引き部１２２からの間引きR奇数フィールド、及び、間引きR偶数フィールド、つまり、撮像装置１０１Ｒで撮像されたインターレース方式のR画像のフレームを構成する奇数フィールド、及び、偶数フィールドそれぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる間引きR奇数フィールド（第２の間引き奇数フィールド）、及び、間引きR偶数フィールド（第２の間引き偶数フィールド）を並べて配置した画像を、間引きR画像（第２の間引き画像）として構成する処理を、前処理として行う。
　そして、前処理部１２３は、前処理の結果得られる間引きL画像、及び、間引きR画像を、インターリーブ混合処理部１２４に供給する。
　インターリーブ混合部１２４は、水平処理部１３１、垂直処理部１３２、及び、混合部１３３を有し、インターリーブ混合処理を行う。
　すなわち、水平処理部１３１には、前処理部１２３から、間引きL画像、及び、間引きR画像（のフレーム）が供給される。
　水平処理部１３１は、図５の水平処理部３１と同様に、前処理部１２３からの間引きL画像、及び、間引きR画像（のフレーム）それぞれに、水平処理を施し、その結果得られる水平処理後L画像、及び、水平処理後R画像を、垂直処理部１３２に供給する。
　垂直処理部１３２には、水平処理部１３１から、水平処理後L画像、及び、水平処理後R画像が供給される他、制御部１２５から、ライン分離を表すセパレートフラグと、インターリーブ配置を表すバーティカルパターンフラグが供給される。
　垂直処理部１３２は、図５の垂直処理部３２と同様に、制御部１２５からのセパレートフラグ、及び、バーティカルパターンフラグに従い、水平処理部１３１からの水平処理後L画像、及び、水平処理後R画像に、垂直処理を施す。
　すなわち、垂直処理部１３２は、制御部１２５からの、ライン分離を表すセパレートフラグに従い、水平処理部１３１からの水平処理後L画像、及び、水平処理後R画像（のフレーム）から、奇数ラインと偶数ラインとを分離する。
　さらに、垂直処理部１３２は、制御部１２５からの、インターリーブ配置を表すバーティカルパターンフラグに従い、水平処理後L画像、及び、水平処理後R画像の奇数ラインをインターリーブして配置した垂直処理後奇数ライン画像と、水平処理後L画像、及び、水平処理後R画像の偶数ラインをインターリーブして配置した垂直処理後偶数ライン画像との２つの画像を、複数の垂直処理後画像として生成し、混合部１３３に供給する。
　混合部１３３には、垂直処理部１３２から、複数の垂直処理後画像としての垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像が供給される他、制御部１２５から、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグが供給される。
　混合部１３３は、図５の混合部３３と同様に、制御部１２５からのセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従い、垂直処理部１３２からの複数の垂直処理後画像を並べて配置することにより、その複数の垂直処理後画像を混合した混合画像を生成し、予測符号化の対象となる画像として、エンコーダ３４に出力する。
　ここで、上述したように、制御部１２５からのセパレートフラグは、ライン分離を表し、バーティカルパターンフラグは、インターリーブ配置を表している。
　したがって、混合部１３３では、図５の混合部３３と同様に、ライン分離を表しているセパレートフラグと、インターリーブ配置を表しているバーティカルパターンフラグとに従い、垂直処理部１３２から、複数の垂直処理後画像として供給される画像が、垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の２つの画像であることが認識され、アレンジパターンフラグにかかわらず、垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像を、あらかじめ決められた配置に並べることで、混合画像が生成される。
　制御部１２５は、セパレートフラグを、ライン分離を表す1に、バーティカルパターンフラグを、インターリーブ配置を表す1に、アレンジパターンフラグを、任意の値（又は、デフォルトの値）に、それぞれ設定し、混合部１３３、及び、エンコーダ３４に供給する。さらに、制御部１２５は、セパレートフラグ、及び、バーティカルパターンフラグを、垂直処理部１３２に供給する。
　［合成装置１０２の処理］
　図２１は、L画像及びR画像が、プログレッシブの画像である場合の、図２０の合成装置１０２の処理を説明する図である。
　なお、図８で説明したように、図２１において、LOは、L画像（のフレーム）の奇数ラインの画素を、LEは、L画像の偶数ラインの画素を、ROは、R画像（のフレーム）の奇数ラインの画素を、REは、R画像の偶数ラインの画素を、それぞれ表す。
　さらに、図２１において、斜線を付してある画素は、左から偶数列目の画素を表し、斜線を付していない画素は、左から奇数列目の画素を表す。以降の図においても、同様である。
　L画像及びR画像が、プログレッシブの画像である場合、フィルタ部１２１（図２０）は、そのプログレッシブのL画像及びR画像のフィルタリングを、そのL画像及びR画像のフレームを対象として行い、間引き部１２２に供給する。
　間引き部１２２（図２０）は、フィルタ部１２１からのL画像及びR画像のフレームそれぞれの画素を、図２１に示すように、斜め方向の１ラインおきに間引くことで、そのL画像及びR画像のフレームを、それぞれ、チェック模様状に画素が配置された間引きL画像、及び、間引きR画像のフレームに変換し、前処理部１２３に供給する。
　L画像及びR画像が、プログレッシブの画像である場合、前処理部１２３（図２０）は、前処理を行わす、間引き部１２２からの間引きL画像、及び、間引きR画像のフレームを、そのまま、インターリーブ混合処理部１２４の水平処理部１３１に供給する。
　水平処理部１３１（図２０）は、前処理部１２３からの、チェック模様状に画素が配置された間引きL画像、及び、間引きR画像のフレームそれぞれの画素を、水平方向に詰める横詰めを、水平処理として行うことにより、図２１に示す、水平処理後L画像、及び、水平処理後R画像（のフレーム）を生成し、垂直処理部１３２に供給する。
　垂直処理部１３２（図２０）は、水平処理部１３１からの水平処理後L画像、及び、水平処理後R画像それぞれから、奇数ラインと偶数ラインとを分離する。
　さらに、垂直処理部１３２は、図２１に示すように、水平処理後L画像の奇数ライン(LO)と、水平処理後R画像の奇数ライン(RO)とを、インターリーブして配置することで、水平処理後L画像の奇数ライン(LO)と、水平処理後R画像の奇数ライン(RO)とが交互に配置された垂直処理後奇数ライン画像（のフレーム）を生成する。
　また、垂直処理部１３２は、図２１に示すように、水平処理後L画像の偶数ライン(LE)と、水平処理後R画像の偶数ライン(RE)とを、インターリーブして配置することで、水平処理後L画像の偶数ライン(LE)と、水平処理後R画像の偶数ライン(RE)とが交互に配置された垂直処理後偶数ライン画像（のフレーム）を生成する。
　そして、垂直処理部１３２は、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを、混合部１３３に供給する。
　混合部１３３（図２０）は、例えば、図１３で説明したように、垂直処理後奇数ライン画像を、左側に配置するとともに、垂直処理後偶数ライン画像を、右側に配置することで、混合画像（のフレーム）を生成し、エンコーダ３４に供給する。
　したがって、L画像及びR画像が、プログレッシブの画像である場合、混合画像の左半分である垂直処理後奇数ライン画像において、奇数フィールド（奇数ライン）は、L画像の奇数ライン(LO)の画素だけで構成され、偶数フィールド（偶数ライン）は、R画像の奇数ライン(RO)の画素だけで構成される。
　また、混合画像の右半分である垂直処理後偶数ライン画像において、奇数フィールドは、L画像の偶数ライン(LE)の画素だけで構成され、偶数フィールドは、R画像の偶数ライン(RE)の画素だけで構成される。
　したがって、混合画像を、インターレース方式の画像であるとして、予測符号化を行うことにより、図１３で説明したように、高い符号化効率を実現することができる。
　図２２ないし図２４は、L画像及びR画像が、インターレース方式の画像である場合の、図２０の合成装置１０２の処理を説明する図である。
　すなわち、図２２は、L画像及びR画像が、インターレース方式の画像である場合の、フィルタ部１２１、及び、間引き部１２２の処理を説明する図である。
　なお、図２２において、LOOは、L画像（のフレーム）の奇数フィールド（L奇数フィールド）の奇数ラインを、LOEは、L奇数フィールドの偶数ラインを、LEOは、L画像の偶数フィールド（L偶数フィールド）の奇数ラインを、LEEは、L偶数フィールドの偶数ラインを、ROOは、R画像（のフレーム）の奇数フィールド（R奇数フィールド）の奇数ラインを、ROEは、R奇数フィールドの偶数ラインを、REOは、R画像の偶数フィールド（R偶数フィールド）の奇数ラインを、REEは、R偶数フィールドの偶数ラインを、それぞれ表す。以降の図においても、同様である。
　L画像及びR画像が、インターレース方式の画像である場合、フィルタ部１２１（図２０）は、そのインターレース方式のL画像及びR画像のフィルタリングを、そのL画像及びR画像のフィールドを対象として行い、間引き部１２２に供給する。
　すなわち、フィルタ部１２１は、図２２に示すように、L画像のフレームを構成するL奇数フィールド、及び、L偶数フィールド、並びに、R画像のフレームを構成するR奇数フィールド、及び、R偶数フィールドのそれぞれをフィルタリングし、間引き部１２２に供給する。
　間引き部１２２（図２０）は、フィルタ部１２１からのL奇数フィールド、及び、L偶数フィールド、並びに、R奇数フィールド、及び、R偶数フィールドそれぞれの画素を、図２２に示すように、斜め方向の１ラインおきに間引くことで、そのL奇数フィールド、及び、L偶数フィールド、並びに、R奇数フィールド、及び、R偶数フィールドを、それぞれ、チェック模様状に画素が配置された間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドに変換し、前処理部１２３に供給する。
　ここで、L画像及びR画像が、プログレッシブの画像である場合、図２１で説明したように、前処理部１２３は、前処理を行わす、間引き部１２２からの間引きL画像、及び、間引きR画像のフレームを、そのまま、インターリーブ混合処理部１２４の水平処理部１３１に供給する。
　いま、仮に、L画像及びR画像が、プログレッシブの画像である場合と同様に、前処理部１２３が、前処理を行わず、間引き部１２２からの間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドを、そのまま、インターリーブ混合処理部１２４（の水平処理部１３１）に供給する場合に、そのインターリーブ混合処理部１２４によるインターリーブ混合処理によって得られる混合画像について説明する。
　図２３は、L画像及びR画像が、インターレース方式の画像であり、かつ、前処理部１２３が、前処理を行わない場合に、前処理部１２３から、インターリーブ混合処理部１２４の水平処理部１３１に供給され、水平処理の対象となる間引きL画像、及び、間引きR画像のフレームを示す図である。
　間引きL画像のフレームは、間引きL奇数フィールドを奇数フィールドとするとともに、間引きL偶数フィールドを偶数フィールドとするフレームとなる。また、間引きR画像のフレームは、間引きR奇数フィールドを奇数フィールドとするとともに、間引きR偶数フィールドを偶数フィールドとするフレームとなる。
　したがって、この場合、間引きL画像のフレームでは、図２３に示すように、縦（垂直方向）方向に、２画素おきに、２画素が並び、画素は、チェック模様状に配置されない。
　そして、間引きL画像のフレームでは、図２３に示すように、奇数フィールドには、L奇数フィールドの奇数ライン(LOO)の画素だけで構成されるラインと、L奇数フィールドの偶数ライン(LOE)の画素だけで構成されるラインとが混在し、偶数フィールドには、L偶数フィールドの奇数ライン(LEO)の画素だけで構成されるラインと、L偶数フィールドの偶数ライン(LEE)の画素だけで構成されるラインとが混在する。
　すなわち、間引きL画像のフレームにおいて、第4n+1ライン（上から4n+1（n=0,1,2,・・・）番目の水平ライン）は、L奇数フィールドの奇数ライン(LOO)の画素だけで、第4n+2ラインは、L偶数フィールドの奇数ライン(LEO)の画素だけで、第4n+3ラインは、L奇数フィールドの偶数ライン(LOE)の画素だけで、第4n+4ラインは、L偶数フィールドの偶数ライン(LEE)の画素だけで、それぞれ構成される。
　同様に、間引きR画像のフレームでも、図２３に示すように、縦方向に、２画素おきに、２画素が並び、画素は、チェック模様状に配置されない。
　そして、間引きR画像のフレームでは、図２３に示すように、奇数フィールドには、R奇数フィールドの奇数ライン(ROO)の画素だけで構成されるラインと、R奇数フィールドの偶数ライン(ROE)の画素だけで構成されるラインとが混在し、偶数フィールドには、R偶数フィールドの奇数ライン(REO)の画素だけで構成されるラインと、R偶数フィールドの偶数ライン(REE)の画素だけで構成されるラインとが混在する。
　すなわち、間引きR画像のフレームにおいて、第4n+1ラインは、R奇数フィールドの奇数ライン(ROO)の画素だけで、第4n+2ラインは、R偶数フィールドの奇数ライン(REO)の画素だけで、第4n+3ラインは、R奇数フィールドの偶数ライン(ROE)の画素だけで、第4n+4ラインは、R偶数フィールドの偶数ライン(REE)の画素だけで、それぞれ構成される。
　図２４は、図２３の間引きL画像、及び、間引きR画像のフレームを対象として、図２０の水平処理部１３１と垂直処理部１３２でそれぞれ行われる水平処理と垂直処理を説明する図である。
　水平処理部１３１（図２０）は、前処理部１２３からの間引きL画像、及び、間引きR画像のフレームそれぞれの画素を、水平方向に詰める横詰めを、水平処理として行うことにより、図２４に示す、水平処理後L画像、及び、水平処理後R画像（のフレーム）を生成し、垂直処理部１３２に供給する。
　ここで、上述したように、間引きL画像のフレームにおいて、第4n+1ラインは、L奇数フィールドの奇数ライン(LOO)の画素だけで、第4n+2ラインは、L偶数フィールドの奇数ライン(LEO)の画素だけで、第4n+3ラインは、L奇数フィールドの偶数ライン(LOE)の画素だけで、第4n+4ラインは、L偶数フィールドの偶数ライン(LEE)の画素だけで、それぞれ構成される。
　また、間引きR画像のフレームにおいて、第4n+1ラインは、R奇数フィールドの奇数ライン(ROO)の画素だけで、第4n+2ラインは、R偶数フィールドの奇数ライン(REO)の画素だけで、第4n+3ラインは、R奇数フィールドの偶数ライン(ROE)の画素だけで、第4n+4ラインは、R偶数フィールドの偶数ライン(REE)の画素だけで、それぞれ構成される。
　したがって、水平処理後L画像のフレームでも、第4n+1ラインは、L奇数フィールドの奇数ライン(LOO)の画素だけで、第4n+2ラインは、L偶数フィールドの奇数ライン(LEO)の画素だけで、第4n+3ラインは、L奇数フィールドの偶数ライン(LOE)の画素だけで、第4n+4ラインは、L偶数フィールドの偶数ライン(LEE)の画素だけで、それぞれ構成される。
　同様に、水平処理後R画像のフレームでは、第4n+1ラインは、R奇数フィールドの奇数ライン(ROO)の画素だけで、第4n+2ラインは、R偶数フィールドの奇数ライン(REO)の画素だけで、第4n+3ラインは、R奇数フィールドの偶数ライン(ROE)の画素だけで、第4n+4ラインは、R偶数フィールドの偶数ライン(REE)の画素だけで、それぞれ構成される。
　垂直処理部１３２（図２０）は、水平処理部１３１からの水平処理後L画像、及び、水平処理後R画像それぞれから、奇数ラインと偶数ラインとを分離する。
　さらに、垂直処理部１３２は、図２４に示すように、水平処理後L画像のフレームの奇数ラインと、水平処理後R画像のフレームの奇数ラインとを、インターリーブして配置することで、垂直処理後奇数ライン画像（のフレーム）を生成する。
　水平処理後L画像の奇数ラインには、第4n+1ラインと、第4n+3ラインとがあり、上述したように、第4n+1ラインは、L奇数フィールドの奇数ライン(LOO)の画素だけで、第4n+3ラインは、L奇数フィールドの偶数ライン(LOE)の画素だけで、それぞれ構成される。
　また、水平処理後R画像の奇数ラインには、第4n+1ラインと、第4n+3ラインとがあり、上述したように、第4n+1ラインは、R奇数フィールドの奇数ライン(ROO)の画素だけで、第4n+3ラインは、R奇数フィールドの偶数ライン(ROE)の画素だけで、それぞれ構成される。
　したがって、そのような水平処理後L画像のフレームの奇数ラインと、水平処理後R画像のフレームの奇数ラインとを、インターリーブして配置することで生成される垂直処理後奇数ライン画像のフレームでは、図２４に示すように、第4n+1ラインは、L奇数フィールドの奇数ライン(LOO)の画素だけで、第4n+2ラインは、R奇数フィールドの奇数ライン(ROO)の画素だけで、第4n+3ラインは、L奇数フィールドの偶数ライン(LOE)の画素だけで、第4n+4ラインは、R奇数フィールドの偶数ライン(ROE)の画素だけで、それぞれ構成される。
　また、垂直処理部１３２は、図２４に示すように、水平処理後L画像のフレームの偶数ラインと、水平処理後R画像のフレームの偶数ラインとを、インターリーブして配置することで、垂直処理後偶数ライン画像（のフレーム）を生成する。
　垂直処理後L画像の偶数ラインには、第4n+2ラインと、第4n+4ラインとがあり、上述したように、第4n+2ラインは、L偶数フィールドの奇数ライン(LEO)の画素だけで、第4n+4ラインは、L偶数フィールドの偶数ライン(LEE)の画素だけで、それぞれ構成される。
　また、水平処理後R画像の偶数ラインには、第4n+2ラインと、第4n+4ラインとがあり、上述したように、第4n+2ラインは、R偶数フィールドの奇数ライン(REO)の画素だけで、第4n+4ラインは、R偶数フィールドの偶数ライン(REE)の画素だけで、それぞれ構成される。
　したがって、そのような水平処理後L画像のフレームの偶数ラインと、水平処理後R画像のフレームの偶数ラインとを、インターリーブして配置することで生成される垂直処理後偶数ライン画像のフレームでは、図２４に示すように、第4n+1ラインは、L偶数フィールドの奇数ライン(LEO)の画素だけで、第4n+2ラインは、R偶数フィールドの奇数ライン(REO)の画素だけで、第4n+3ラインは、L偶数フィールドの偶数ライン(LEE)の画素だけで、第4n+4ラインは、R偶数フィールドの偶数ライン(REE)の画素だけで、それぞれ構成される。
　垂直処理部１３２は、以上のような垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを、混合部１３３に供給する。
　混合部１３３（図２０）は、例えば、図１３で説明したように、垂直処理後奇数ライン画像を、左側に配置するとともに、垂直処理後偶数ライン画像を、右側に配置することで、混合画像（のフレーム）を生成し、エンコーダ３４に供給する。
　したがって、L画像及びR画像が、インターレース方式の画像である場合に、前処理部１２３で前処理を行わないときには、混合画像の左半分である垂直処理後奇数ライン画像において、奇数フィールド（奇数ライン）には、　L奇数フィールドの奇数ライン(LOO)と、L奇数フィールドの偶数ライン(LOE)とが、交互に並ぶ。
　さらに、混合画像の左半分である垂直処理後奇数ライン画像において、偶数フィールド（偶数ライン）には、R奇数フィールドの奇数ライン(ROO)と、R奇数フィールドの偶数ライン(ROE)とが、交互に並ぶ。
　図２４において、垂直処理後奇数ライン画像の奇数フィールドを構成する、L奇数フィールドの奇数ライン(LOO)、及び、偶数ライン(LOE)のうちの、奇数ライン(LOO)の画素は、斜線が付されていないので、図２１で説明したように、L奇数フィールドの奇数列目の画素であり、偶数ライン(LOE)の画素は、斜線が付されているので、図２１で説明したように、L奇数フィールドの偶数列目の画素である。
　したがって、垂直処理後奇数ライン画像の奇数フィールドを構成する、L奇数フィールドの奇数ライン(LOO)の画素と、偶数ライン(LOE)の画素とは、L奇数フィールドにおいて、横方向（水平方向）の位相（位置）が、1画素分だけずれた画素であり、（空間的な）相関が低い（画素値の変化が連続的でなく、高周波数成分が発生する）。
　同様に、混合画像の左半分である垂直処理後奇数ライン画像の偶数フィールドを構成する、R奇数フィールドの奇数ライン(ROO)の画素と、R奇数フィールドの偶数ライン(ROE)の画素も、R奇数フィールドにおいて、横方向の位相が、1画素分だけずれた画素であり、相関が低い。
　さらに、混合画像の右半分である垂直処理後偶数ライン画像でも、同様である。
　すなわち、L画像及びR画像が、インターレース方式の画像である場合に、前処理部１２３で前処理を行わないときには、混合画像の右半分である垂直処理後偶数ライン画像において、奇数フィールドには、L偶数フィールドの奇数ライン(LEO)と、L偶数フィールドの偶数ライン(LEE)とが、交互に並び、偶数フィールドには、R偶数フィールドの奇数ライン(REO)と、R偶数フィールドの偶数ライン(REE)とが、交互に並ぶ。
　そして、混合画像の右半分である垂直処理後偶数ライン画像の奇数フィールドを構成する、L偶数フィールドの奇数ライン(LEO)の画素と、L偶数フィールドの偶数ライン(LEE)の画素とは、相関が低く、偶数フィールドを構成する、R偶数フィールドの奇数ライン(REO)の画素と、R偶数フィールドの偶数ライン(REE)の画素も、相関が低い。
　したがって、混合画像を、インターレース方式の画像であるとして、予測符号化を行っても、高い符号化効率を実現することは困難である。
　また、図２３に示したように、間引きL画像、及び、間引きR画像のフレームでは、縦方向に、２画素おきに、２画素が並び、画素は、チェック模様状に配置されないため、画素が、チェック模様状に配置される場合に比較して、空間解像度が劣化する。
　そこで、合成装置１０２（図２０）では、L画像及びR画像が、インターレース方式の画像である場合には、前処理部１２３において、前処理が行われる。
　［前処理］
　図２５は、前処理部１２３が行う前処理を説明する図である。
　前処理部１２３は、図２５に示すように、間引き部１２２からの間引きL奇数フィールド、及び、間引きL偶数フィールドを、例えば、垂直方向に並べて配置した画像を、間引きL画像のフレームとして構成する処理を、前処理として行う。
　さらに、前処理部１２３は、図２５に示すように、間引き部１２２からの間引きR奇数フィールド、及び、間引きR偶数フィールドを、例えば、垂直方向に並べて配置した画像を、間引きR画像のフレームとして構成する処理を、前処理として行う。
　そして、前処理部１２３は、前処理の結果得られる間引きL画像、及び、間引きR画像のフレームを、インターリーブ混合処理部１２４に供給する。
　図２５の間引きL画像のフレームでは、上側（上半分）に、間引きL奇数フィールドが、下側（下半分）に、間引きL偶数フィールドが、それぞれ配置されている。同様に、間引きR画像のフレームでは、上側に、間引きR奇数フィールドが、下側に、間引きR偶数フィールドが、それぞれ配置されている。
　図２６は、図２５の間引きL画像、及び、間引きR画像のフレームを対象として、図２０のインターリーブ混合処理部１２４で行われるインターリーブ混合処理である水平処理、垂直処理、及び、混合処理を説明する図である。
　水平処理部１３１（図２０）は、前処理部１２３からの間引きL画像、及び、間引きR画像のフレームそれぞれの画素を、水平方向に詰める横詰めを、水平処理として行うことにより、図２６に示す、水平処理後L画像、及び、水平処理後R画像（のフレーム）を生成し、垂直処理部１３２に供給する。
　ここで、上述したように、前処理で得られる間引きL画像のフレームでは、上側に、間引きL奇数フィールドが、下側に、間引きL偶数フィールドが、それぞれ配置され、前処理で得られる間引きR画像のフレームでは、上側に、間引きR奇数フィールドが、下側に、間引きR偶数フィールドが、それぞれ配置される。
　したがって、水平処理後L画像のフレームでは、図２６に示すように、上側には、L奇数フィールドの奇数ライン(LOO)と偶数ライン(LOE)とが交互に並び、下側には、L偶数フィールドの奇数ライン(LEO)と偶数ライン(LEE)とが交互に並ぶ。
　すなわち、水平処理後L画像のフレームの上側では、奇数ラインが、L奇数フィールドの奇数ライン(LOO)になり、偶数ラインが、L奇数フィールドの偶数ライン(LOE)になる。
　さらに、水平処理後L画像のフレームの下側では、奇数ラインが、L偶数フィールドの奇数ライン(LEO)になり、偶数ラインが、L偶数フィールドの偶数ライン(LEE)になる。
　また、水平処理後R画像のフレームでは、図２６に示すように、上側には、R奇数フィールドの奇数ライン(ROO)と偶数ライン(ROE)とが交互に並んでおり、下側には、R偶数フィールドの奇数ライン(REO)と偶数ライン(REE)とが交互に並んでいる。
　すなわち、水平処理後R画像のフレームの上側では、奇数ラインが、R奇数フィールドの奇数ライン(ROO)になり、偶数ラインが、R奇数フィールドの偶数ライン(ROE)になる。
　また、水平処理後R画像のフレームの下側では、奇数ラインが、R偶数フィールドの奇数ライン(REO)になり、偶数ラインが、R偶数フィールドの偶数ライン(REE)になる。
　垂直処理部１３２（図２０）は、水平処理部１３１からの水平処理後L画像、及び、水平処理後R画像それぞれから、奇数ラインと偶数ラインとを分離する。
　さらに、垂直処理部１３２は、図２６に示すように、水平処理後L画像のフレームの奇数ライン(LOOとLEO)と、水平処理後R画像のフレームの奇数ライン(ROOとREO)とを、インターリーブして配置することで、垂直処理後奇数ライン画像（のフレーム）を生成するとともに、水平処理後L画像のフレームの偶数ライン(LOEとLEE)と、水平処理後R画像のフレームの偶数ライン(ROEとREE)とを、インターリーブして配置することで、垂直処理後偶数ライン画像（のフレーム）を生成する。
　したがって、垂直処理後奇数ライン画像のフレームでは、図２６に示すように、上側に、L奇数フィールドの奇数ライン(LOO)と、R奇数フィールドの奇数ライン(ROO)とが、交互に並び、下側に、L偶数フィールドの奇数ライン(LEO)と、R偶数フィールドの奇数ライン(REO)とが、交互に並ぶ。
　すなわち、垂直処理後奇数ライン画像のフレームの上側では、奇数ラインが、L奇数フィールドの奇数ライン(LOO)となり、偶数ラインが、R奇数フィールドの奇数ライン(ROO)となる。
　さらに、垂直処理後奇数ライン画像のフレームの下側では、奇数ラインが、L偶数フィールドの奇数ライン(LEO)となり、偶数ラインが、R偶数フィールドの奇数ライン(REO)となる。
　一方、垂直処理後偶数ライン画像のフレームでは、図２６に示すように、上側に、L奇数フィールドの偶数ライン(LOE)と、R奇数フィールドの偶数ライン(ROE)とが、交互に並び、下側に、L偶数フィールドの偶数ライン(LEE)と、R偶数フィールドの偶数ライン(REE)とが、交互に並ぶ。
　すなわち、垂直処理後偶数ライン画像のフレームの上側では、奇数ラインが、L奇数フィールドの偶数ライン(LOE)となり、偶数ラインが、R奇数フィールドの偶数ライン(ROE)となる。
　さらに、垂直処理後偶数ライン画像のフレームの下側では、奇数ラインが、L偶数フィールドの偶数ライン(LEE)となり、偶数ラインが、R偶数フィールドの偶数ライン(REE)となる。
　垂直処理部１３２は、以上のような垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを、混合部１３３に供給する。
　混合部１３３（図２０）は、例えば、図２６に示すように、図１３の場合と同様に、垂直処理後奇数ライン画像を、左側に配置するとともに、垂直処理後偶数ライン画像を、右側に配置することで、混合画像（のフレーム）を生成し、エンコーダ３４に供給する。
　したがって、L画像及びR画像が、インターレース方式の画像である場合に、前処理部１２３で前処理を行うときには、混合画像の左半分である垂直処理後奇数ライン画像の上側、つまり、混合画像の左上側の1/4の領域では、図２６に示すように、奇数ラインは、L奇数フィールドの奇数ライン(LOO)となり、偶数ラインは、R奇数フィールドの奇数ライン(ROO)となる。
　また、混合画像の左半分である垂直処理後奇数ライン画像の下側、つまり、混合画像の左下側の1/4の領域では、図２６に示すように、奇数ラインは、L偶数フィールドの奇数ライン(LEO)となり、偶数ラインは、R偶数フィールドの奇数ライン(REO)となる。
　さらに、混合画像の右半分である垂直処理後偶数ライン画像の上側、つまり、混合画像の右上の1/4の領域では、図２６に示すように、奇数ラインが、L奇数フィールドの偶数ライン(LOE)となり、偶数ラインが、R奇数フィールドの偶数ライン(ROE)となる。
　また、混合画像の右半分である垂直処理後偶数ライン画像の下側、つまり、混合画像の右下の1/4の領域では、図２６に示すように、奇数ラインが、L偶数フィールドの偶数ライン(LEE)となり、偶数ラインが、R偶数フィールドの偶数ライン(REE)となる。
　したがって、混合画像の奇数フィールド（奇数ライン）のうちの、左上の1/4領域は、L奇数フィールドの奇数ライン(LOO)の画素のみで、左下の1/4の領域は、L偶数フィールドの奇数ライン(LEO)の画素のみで、右上の1/4の領域は、L奇数フィールドの偶数ライン(LOE)の画素のみで、右下の1/4の領域は、L偶数フィールドの偶数ライン(LEE)の画素のみで、それぞれ構成される。
　また、混合画像の偶数フィールド（偶数ライン）のうちの、左上の1/4の領域は、R奇数フィールドの奇数ライン(ROO)の画素のみで、左下の1/4の領域は、R偶数フィールドの奇数ライン(REO)の画素のみで、右上の1/4の領域は、R奇数フィールドの偶数ライン(ROE)の画素のみで、右下の1/4の領域は、R偶数フィールドの偶数ライン(REE)の画素のみで、それぞれ構成される。
　以上のように、混合画像の奇数フィールド、及び、偶数フィールドでは、左上、左下、右上、及び、右下の４つの領域に分かれて、L画像及びR画像の一方の同一のフィールド（奇数フィールド、又は、偶数フィールド）の同一のライン（奇数ライン、又は、偶数ライン）の画素が集中するので、混合画像を、インターレース方式の画像であるとして、予測符号化を行うことにより、高い符号化効率を実現することができる。
　なお、図２５では、間引きL奇数フィールド、及び、間引きL偶数フィールドを、垂直方向に並べて配置した画像を、間引きL画像のフレームとして構成するとともに、間引きR奇数フィールド、及び、間引きR偶数フィールドを、垂直方向に並べて配置した画像を、間引きR画像のフレームとして構成することとしたが、間引きL画像のフレームとしては、間引きL奇数フィールド、及び、間引きL偶数フィールドを、水平方向に並べて配置した画像を採用するとともに、間引きR画像のフレームとして、間引きR奇数フィールド、及び、間引きR偶数フィールドを、水平方向に並べて配置した画像を採用することが可能である。
　但し、この場合、混合部１３３では、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを水平方向に並べて配置する（垂直処理後奇数ライン画像を、左側に配置するとともに、垂直処理後偶数ライン画像を、右側に配置する）ことで、混合画像を生成するのではなく、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを垂直方向に並べて配置することで、混合画像を生成する。
　また、前処理部１２３では、例えば、間引きL奇数フィールド、及び、間引きL偶数フィールドを、垂直方向に並べて配置することで、間引きL画像（のフレーム）を構成するとともに、間引きR奇数フィールド、及び、間引きR偶数フィールドを、垂直方向に並べて配置することにより、間引きR画像を構成することができる。
　さらに、前処理部１２３では、間引きL奇数フィールドの奇数ライン(LOO)のみを集めたL奇数フィールド奇数ライン画像、間引きL奇数フィールドの偶数ライン(LOE)のみを集めたL奇数フィールド偶数ライン画像、間引きL偶数フィールドの奇数ライン(LEO)のみを集めたL偶数フィールド奇数ライン画像、及び、間引きL偶数フィールドの偶数ライン(LEE)のみを集めたL偶数フィールド偶数ライン画像、並びに、間引きR奇数フィールドの奇数ライン(ROO)のみを集めたR奇数フィールド奇数ライン画像、間引きR奇数フィールドの偶数ライン(ROE)のみを集めたR奇数フィールド偶数ライン画像、間引きR偶数フィールドの奇数ライン(REO)のみを集めたR偶数フィールド奇数ライン画像、及び、間引きR偶数フィールドの偶数ライン(REE)のみを集めたR偶数フィールド偶数ライン画像の８つの画像を構成し、その８つの画像を用いて、間引きL画像、及び、間引きR画像を構成することができる。
　ここで、間引きL奇数フィールド、及び、間引きL偶数フィールドを、垂直方向に並べて配置することで、間引きL画像を構成するとともに、間引きR奇数フィールド、及び、間引きR偶数フィールドを、垂直方向に並べて配置することにより、間引きR画像を構成する前処理を、第１方式の前処理ともいう。
　また、L奇数フィールド奇数ライン画像、L奇数フィールド偶数ライン画像、L偶数フィールド奇数ライン画像、L偶数フィールド偶数ライン画像、R奇数フィールド奇数ライン画像、R奇数フィールド偶数ライン画像、R偶数フィールド奇数ライン画像、及び、R偶数フィールド偶数ライン画像の８つの画像を構成し、その８つの画像を用いて、間引きL画像、及び、間引きR画像を構成する前処理を、第２方式の前処理ともいう。
　図２７は、第２方式の前処理を説明する図である。
　第２方式の前処理では、前処理部１２３は、間引きL奇数フィールドの奇数ライン(LOO)のみを集めて、L奇数フィールド奇数ライン画像を構成するとともに、間引きL奇数フィールドの偶数ライン(LOE)のみを集めて、L奇数フィールド偶数ライン画像を構成する。
　さらに、前処理部１２３は、間引きL偶数フィールドの奇数ライン(LEO)のみを集めて、L偶数フィールド奇数ライン画像を構成するとともに、間引きL偶数フィールドの偶数ライン(LEE)のみを集めて、L偶数フィールド偶数ライン画像を構成する。
　また、前処理部１２３は、間引きR奇数フィールドの奇数ライン(ROO)のみを集めて、R奇数フィールド奇数ライン画像を構成するとともに、間引きR奇数フィールドの偶数ライン(ROE)のみを集めて、R奇数フィールド偶数ライン画像を構成する。
　さらに、前処理部１２３は、間引きR偶数フィールドの奇数ライン(REO)のみを集めて、R偶数フィールド奇数ライン画像を構成するとともに、間引きR偶数フィールドの偶数ライン(REE)のみを集めて、R偶数フィールド偶数ライン画像を構成する。
　そして、前処理部１２３は、L奇数フィールド奇数ライン画像(LOO)と、L偶数フィールド奇数ライン画像(LEO)とを、垂直方向に並べて配置することにより、間引きL奇数フィールド、及び、間引きL偶数フィールドの奇数ラインのみを配置したLフィールド奇数ライン画像を構成する。
　さらに、前処理部１２３は、L奇数フィールド偶数ライン画像(LOE)と、L偶数フィールド偶数ライン画像(LEE)とを、垂直方向に並べて配置することにより、間引きL奇数フィールド、及び、間引きL偶数フィールドの偶数ラインのみを配置したLフィールド偶数ライン画像を構成する。
　また、前処理部１２３は、R奇数フィールド奇数ライン画像(ROO)と、R偶数フィールド奇数ライン画像(REO)とを、垂直方向に並べて配置することにより、間引きR奇数フィールド、及び、間引きR偶数フィールドの奇数ラインのみを配置したRフィールド奇数ライン画像を構成する。
　さらに、前処理部１２３は、R奇数フィールド偶数ライン画像(ROE)と、R偶数フィールド偶数ライン画像(REE)とを、垂直方向に並べて配置することにより、間引きR奇数フィールド、及び、間引きR偶数フィールドの偶数ラインのみを配置したRフィールド偶数ライン画像を構成する。
　以上のように、前処理部１２３は、間引きL奇数フィールド、及び、間引きL偶数フィールドの奇数ラインのみを配置したLフィールド奇数ライン画像（第１の奇数ラインフィールド）、間引きL奇数フィールド、及び、間引きL偶数フィールドの偶数ラインのみを配置したLフィールド偶数ライン画像（第１の偶数ラインフィールド）、間引きR奇数フィールド、及び、間引きR偶数フィールドの奇数ラインのみを配置したRフィールド奇数ライン画像（第２の奇数ラインフィールド）、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドの偶数ラインのみを配置したRフィールド偶数ライン画像（第２の偶数ラインフィールド）を構成した後、それらのLフィールド奇数ライン画像、及び、Lフィールド偶数ライン画像、並びに、Rフィールド奇数ライン画像、及び、Rフィールド偶数ライン画像を用いて、間引きL画像、及び、間引きR画像を構成する。
　すなわち、図２８は、Lフィールド奇数ライン画像、及び、Lフィールド偶数ライン画像、並びに、Rフィールド奇数ライン画像、及び、Rフィールド偶数ライン画像を用いて、間引きL画像、及び、間引きR画像を構成する方法を説明する図である。
　前処理部１２３は、Lフィールド奇数ライン画像を、奇数フィールドとし、かつ、Lフィールド偶数ライン画像を偶数フィールドとするフレームを構成することにより、間引きL奇数フィールド、及び、間引きL偶数フィールドを並べて配置した画像（図２５）を、間引きL画像（のフレーム）として構成する。
　さらに、前処理部１２３は、Rフィールド奇数ライン画像を、奇数フィールドとし、かつ、Rフィールド偶数ライン画像を偶数フィールドとするフレームを構成することにより、間引きR奇数フィールド、及び、間引きR偶数フィールドを並べて配置した画像（図２５）を、間引きR画像（のフレーム）として構成する。
　図２９は、第１方式の前処理を説明するフローチャートである。
　前処理部１２３（図２０）は、間引き部１２２から、間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドが供給されると、ステップＳ１０１において、図２５に示したように、間引き部１２２からの間引きL奇数フィールド、及び、間引きL偶数フィールドを、垂直方向に並べて配置することで、間引きL画像（のフレーム）を構成する。
　さらに、ステップＳ１０１では、前処理部１２３は、図２５に示したように、間引き部１２２からの間引きR奇数フィールド、及び、間引きR偶数フィールドを、垂直方向に並べて配置することにより、間引きR画像を構成する。
　そして、前処理部１２３は、間引きL画像、及び、間引きR画像を、インターリーブ混合処理部１２４に供給する。
　図３０は、第２方式の前処理を説明するフローチャートである。
　前処理部１２３（図２０）は、間引き部１２２から、間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドが供給されると、ステップＳ１１１において、図２７に示したように、間引きL奇数フィールドの奇数ライン(LOO)のみを集めて、L奇数フィールド奇数ライン画像(LOO)を構成するとともに、間引きL奇数フィールドの偶数ライン(LOE)のみを集めて、L奇数フィールド偶数ライン画像(LOE)を構成する。
　さらに、前処理部１２３は、図２７に示したように、間引きL偶数フィールドの奇数ライン(LEO)のみを集めて、L偶数フィールド奇数ライン画像(LEO)を構成するとともに、間引きL偶数フィールドの偶数ライン(LEE)のみを集めて、L偶数フィールド偶数ライン画像(LEE)を構成する。
　また、前処理部１２３は、図２７に示したように、間引きR奇数フィールドの奇数ライン(ROO)のみを集めて、R奇数フィールド奇数ライン画像(ROO)を構成するとともに、間引きR奇数フィールドの偶数ライン(ROE)のみを集めて、R奇数フィールド偶数ライン画像(ROE)を構成する。
　さらに、前処理部１２３は、図２７に示したように、間引きR偶数フィールドの奇数ライン(REO)のみを集めて、R偶数フィールド奇数ライン画像(REO)を構成するとともに、間引きR偶数フィールドの偶数ライン(REE)のみを集めて、R偶数フィールド偶数ライン画像(REE)を構成し、処理は、ステップＳ１１１からステップＳ１１２に進む。
　ステップＳ１１２では、前処理部１２３は、図２７に示したように、L奇数フィールド奇数ライン画像(LOO)と、L偶数フィールド奇数ライン画像(LEO)とを、垂直方向に並べて配置することにより、Lフィールド奇数ライン画像を構成する。
　さらに、前処理部１２３は、図２７に示したように、L奇数フィールド偶数ライン画像(LOE)と、L偶数フィールド偶数ライン画像(LEE)とを、垂直方向に並べて配置することにより、Lフィールド偶数ライン画像を構成する。
　また、前処理部１２３は、図２７に示したように、R奇数フィールド奇数ライン画像(ROO)と、R偶数フィールド奇数ライン画像(REO)とを、垂直方向に並べて配置することにより、Rフィールド奇数ライン画像を構成する。
　さらに、前処理部１２３は、図２７に示したように、R奇数フィールド偶数ライン画像(ROE)と、R偶数フィールド偶数ライン画像(REE)とを、垂直方向に並べて配置することにより、Rフィールド偶数ライン画像を構成し、処理は、ステップＳ１１２からステップＳ１１３に進む。
　ステップＳ１１３では、前処理部１２３は、図２８に示したように、Lフィールド奇数ライン画像を、奇数フィールドとし、かつ、Lフィールド偶数ライン画像を偶数フィールドとするフレームを構成することにより、間引きL奇数フィールド、及び、間引きL偶数フィールドを並べて配置した画像（図２５）を、間引きL画像のフレームとして構成する。
　さらに、前処理部１２３は、図２８に示したように、Rフィールド奇数ライン画像を、奇数フィールドとし、かつ、Rフィールド偶数ライン画像を偶数フィールドとするフレームを構成することにより、間引きR奇数フィールド、及び、間引きR偶数フィールドを並べて配置した画像（図２５）を、間引きR画像のフレームとして構成する。
　そして、前処理部１２３は、間引きL画像、及び、間引きR画像を、インターリーブ混合処理部１２４（図２０）に供給する。
　［復号装置の他の一実施の形態］
　図３１は、本発明の画像処理装置を適用した復号装置の他の一実施の形態の構成例を示すブロック図である。
　図３１において、図１６の復号装置と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　すなわち、図３１の復号装置は、デコーダ６１、及び、3D表示装置６８を有する点で、図１６の場合と共通する。
　但し、図３１の復号装置は、分離部６２、逆垂直処理部６３、逆水平処理部６４、補間部６５、フィルタ部６６、及び、3Dフォーマット変換部６７に代えて、3D画像構成装置１４１を有する点で、図１６の場合と相違する。
　復号装置のデコーダ６１には、図１８の符号化装置が出力する符号化データが供給され、デコーダ６１は、符号化データを、混合画像に復号し、3D画像構成装置１４１に供給する。
　3D画像構成装置１４１は、デコーダ６１からの混合画像から、L画像及びR画像からなる3D画像を構成し、3D表示装置６８に供給する。
　［3D画像構成装置１４１の構成例］
　図３２は、図３１の3D画像構成装置１４１の構成例を示すブロック図である。
　3D画像構成装置１４１は、分解部１５１、後処理部１５２、補間部１５３、フィルタ部１５４、及び、3Dフォーマット変換部１５５を有する。
　分解部１５１は、分離部１６１、逆垂直処理部１６２、及び、逆推定処理部１６３を有し、図２０のインターリーブ混合処理部１２４のインターリーブ混合処理によって得られる、デコーダ６１からの混合画像を、間引きL画像と間引きR画像とに分解する。
　すなわち、デコーダ６１は、そこに供給される符号化データに含まれるセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを抽出し、分離部１６１に供給する。
　さらに、デコーダ６１は、セパレートフラグ、及び、バーティカルパターンフラグを、逆垂直処理部１６２に供給する。
　また、デコーダ６１は、エンコーダ３４（図１９）の符号化の方式と同一の方式で、符号化データを復号し、その結果得られる混合画像、すなわち、図２０のインターリーブ混合処理部１２４のインターリーブ混合処理によって得られる混合画像を、分離部１６１に供給する。
　分離部１６１は、図１６の分離部６２と同様に、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従い、デコーダ６１からの混合画像を、複数の垂直処理後画像に分離する分離処理を行い、その結果得られる複数の垂直処理後画像を、逆垂直処理部１６２に供給する。
　逆垂直処理部１６２は、図１６の逆垂直処理部６３と同様に、分離部１６１からの複数の垂直処理後画像を、水平処理後L画像、及び、水平処理後R画像に戻す逆垂直処理を行い、その結果得られる水平処理後L画像、及び、水平処理後R画像を、逆水平処理部１６３に供給する。
　ここで、図１９の符号化装置からの符号化データに含まれるセパレートフラグ、及び、バーティカルパターンフラグは、上述したように、それぞれ、ライン分離、及び、インタリーブ配置を表しており、混合画像は、複数の垂直処理後画像としての垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の２つの画像を、図２６で説明したように、水平方向に並べた画像になっている。
　この場合、分離部１６１は、デコーダ６１から供給されるセパレートフラグ、及び、バーティカルパターンフラグに従い、デコーダ６１からの混合画像から、図２６に示したように並べられた垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像を分離し、逆垂直処理部１６２に供給する。
　逆垂直処理部１６２は、分離部１６１からの垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の一部のラインを合成し、水平処理後L画像を復号するとともに、分離部１６１からの垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の残りのラインを合成し、水平処理後R画像を復号する。
　すなわち、図２６で説明したように、垂直処理後奇数ライン画像は、水平処理後L画像のフレームの奇数ライン（LOO及びLEO）と、水平処理後R画像のフレームの奇数ライン（ROO及びREO）とを、インターリーブして配置した画像になっている。
　同様に、垂直処理後偶数ライン画像は、水平処理後L画像のフレームの偶数ライン（LOE及びLEE）と、水平処理後R画像のフレームの偶数ライン（ROE及びREE）とを、インターリーブして配置した画像になっている。
　逆垂直処理部１６２は、分離部１６１からの垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像それぞれから、水平処理後L画像の奇数ライン（LOO及びLEO）、及び、偶数ライン（LOE及びLEE）を抽出し、その奇数ライン（LOO及びLEO）、及び、偶数ライン（LOE及びLEE）を、元の配置に戻すことで、水平処理後L画像（のフレーム）を復号する。
　さらに、逆垂直処理部１６２は、分離部１６１からの垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像それぞれから、水平処理後R画像の奇数ライン（ROO及びREO）、及び、偶数ライン（ROE及びREE）を抽出し、その奇数ライン（ROO及びREO）、及び、偶数ライン（ROE及びREE）を、元の配置に戻すことで、水平処理後R画像（のフレーム）を復号する。
　逆水平処理部１６３は、図１６の逆水平処理部６４と同様に、逆垂直処理部１６２からの水平処理後L画像、及び、水平処理後R画像を、間引きL画像、及び、間引きR画像に戻す逆水平処理を行い、その結果得られる間引きL画像、及び、間引きR画像を、後処理部１５２に供給する。
　ここで、以上のように、セパレートフラグ、及び、バーティカルパターンフラグが、それぞれ、ライン分離、及び、インタリーブ配置を表している場合に、分離部１６１、逆垂直処理部１６２、及び、逆水平処理部１６３でそれぞれ行われる分離処理、逆垂直処理、及び、逆水平処理を、以下、まとめて、インターリーブ分解処理ともいう。
　分解部１５１（の分離部１６１、逆垂直処理部１６２、及び、逆水平処理部１６３）でのインターリーブ分解処理の結果得られる得られる間引きL画像（のフレーム）は、図２５で説明したように、上側に、間引きL奇数フィールドが、下側に、間引きL偶数フィールドが、それぞれ配置された画像になっている。
　また、インターリーブ分解処理の結果得られる間引きR画像（のフレーム）は、上側に、間引きR奇数フィールドが、下側に、間引きR偶数フィールドが、それぞれ配置された画像になっている。
　後処理部１５２は、分解部１５１（の逆水平処理部１６３）からの間引きL画像（のフレーム）を、間引きL奇数フィールドと、間引きL偶数フィールドとに戻すとともに、分解部１５１からの間引きR画像（のフレーム）を、間引きR奇数フィールドと、間引きR偶数フィールドとに戻す後処理を行う。
　なお、後処理部１５２が行う後処理としては、第１方式の前処理の、いわば逆の処理である第１方式の後処理と、第２方式の前処理の逆の処理である第２方式の後処理とがある。
　後処理部１５２は、後処理によって得られる間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドを、補間部１５３に供給する。
　補間部１５３は、図１６の補間部６５と同様に、後処理部１５２からの間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドのそれぞれに対して、図２０の間引き部１２２で間引かれた画素を補間し、その結果得られる画像を、それぞれ、補間L奇数フィールド、及び、補間L偶数フィールド、並びに、補間R奇数フィールド、及び、補間R偶数フィールドとして、フィルタ部１５４に供給する。
　フィルタ部１５４は、図１６のフィルタ部６６と同様に、補間L奇数フィールド、及び、補間L偶数フィールド、並びに、補間R奇数フィールド、及び、補間R偶数フィールドのそれぞれをフィルタリングすることにより、L奇数フィールド、及び、L偶数フィールド、並びに、R奇数フィールド、及び、R偶数フィールド（図２２）を復号する。
　そして、フィルタ部１５４は、L奇数フィールド、及び、L偶数フィールドを、それぞれ奇数フィールド、及び、偶数フィールドとするインターレース方式のL画像と、R奇数フィールド、及び、R偶数フィールドを、それぞれ奇数フィールド、及び、偶数フィールドとするインターレース方式のR画像とを、3Dフォーマット変換部１５５に供給する。
　3Dフォーマット変換部１５５は、図１６の3Dフォーマット変換部６７と同様に、フィルタ部１５４からのL画像、及び、R画像（の画像データ）を、後段の3D表示装置６８が3D画像を表示するのに対応したフォーマットの信号に変換し、3D表示装置６８に供給する。
　［後処理］
　図３３は、第１方式の後処理を説明するフローチャートである。
　後処理部１５２は、分解部１５１（の逆水平処理部１６３）から、図２５に示した、間引きL奇数フィールド、及び、間引きL偶数フィールドを、垂直方向に並べて配置した間引きL画像（のフレーム）と、間引きR奇数フィールド、及び、間引きR偶数フィールドを、垂直方向に並べて配置した間引きR画像とが供給されると、ステップＳ１３１において、分解部１５１からの間引きL画像を、垂直方向に二分して（分離して）、間引きL奇数フィールド、及び、間引きL偶数フィールドを復号する。
　さらに、後処理部１５２は、分解部１５１からの間引きR画像を、垂直方向に二分して、間引きR奇数フィールド、及び、間引きR偶数フィールドを復号する。
　そして、後処理部１５２は、間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドを、補間部１５３に供給する。
　図３４は、第２方式の後処理を説明するフローチャートである。
　後処理部１５２は、分解部１５１から、図２５に示した、間引きL奇数フィールド、及び、間引きL偶数フィールドを、垂直方向に並べて配置した間引きL画像（のフレーム）と、間引きR奇数フィールド、及び、間引きR偶数フィールドを、垂直方向に並べて配置した間引きR画像とが供給されると、ステップＳ１４１において、分解部１５１からの間引きL画像のフレームを、図２８に示した、奇数フィールドであるLフィールド奇数ライン画像と、偶数フィールドであるLフィールド偶数ライン画像とに分離する。
　さらに、後処理部１５２は、分解部１５１からの間引きR画像のフレームを、図２８に示した、奇数フィールドであるRフィールド奇数ライン画像と、偶数フィールドであるRフィールド偶数ライン画像とに分離する。
　そして、処理は、ステップＳ１４１からステップＳ１４２以降に順次進み、後処理部１５２は、Lフィールド奇数ライン画像（第１の奇数ラインフィールド）、及び、Lフィールド偶数ライン画像（第１の偶数ラインフィールド）を、間引きL奇数フィールド（第１の間引き奇数フィールド）、及び、間引きL偶数フィールド（第１の間引き偶数フィールド）に戻すとともに、Rフィールド奇数ライン画像（第２の奇数ラインフィールド）、及び、Rフィールド偶数ライン画像（第２の偶数ラインフィールド）を、間引きR奇数フィールド（第２の間引き奇数フィールド）、及び、間引きR偶数フィールド（第２の間引き偶数フィールド）に戻す。
　すなわち、ステップＳ１４２では、後処理部１５２は、Lフィールド奇数ライン画像、Lフィールド偶数ライン画像、Rフィールド奇数ライン画像、及び、Rフィールド偶数ライン画像から、図２７のL奇数フィールド奇数ライン画像、L奇数フィールド偶数ライン画像、L偶数フィールド奇数ライン画像、L偶数フィールド偶数ライン画像、R奇数フィールド奇数ライン画像、R奇数フィールド偶数ライン画像、R偶数フィールド奇数ライン画像、及び、R偶数フィールド偶数ライン画像を復号する。
　ここで、図２８で説明したように、Lフィールド奇数ライン画像は、L奇数フィールド奇数ライン画像(LOO)と、L偶数フィールド奇数ライン画像(LEO)とを、Lフィールド偶数ライン画像は、L奇数フィールド偶数ライン画像(LOE)と、L偶数フィールド偶数ライン画像(LEE)とを、Rフィールド奇数ライン画像は、R奇数フィールド奇数ライン画像(ROO)と、R偶数フィールド奇数ライン画像(REO)とを、Rフィールド偶数ライン画像は、R奇数フィールド偶数ライン画像(ROE)と、R偶数フィールド偶数ライン画像(REE)とを、それぞれ、垂直方向に並べて配置した画像になっている。
　そこで、後処理部１５２は、Lフィールド奇数ライン画像を、垂直方向に二分して、L奇数フィールド奇数ライン画像(LOO)と、L偶数フィールド奇数ライン画像(LEO)とを復号するとともに、Lフィールド偶数ライン画像を、垂直方向に二分して、L奇数フィールド偶数ライン画像(LOE)と、L偶数フィールド偶数ライン画像(LEE)とを復号する。
　さらに、後処理部１５２は、Rフィールド奇数ライン画像を、垂直方向に二分して、R奇数フィールド奇数ライン画像(ROO)と、R偶数フィールド奇数ライン画像(REO)とを復号するとともに、Rフィールド偶数ライン画像を、垂直方向に二分して、R奇数フィールド偶数ライン画像(ROE)と、R偶数フィールド偶数ライン画像(REE)とを復号する。
　その後、処理は、ステップＳ１４２からステップＳ１４３に進み、後処理部１５２は、L奇数フィールド奇数ライン画像(LOO)と、L奇数フィールド偶数ライン画像(LOE)との各ライン（水平ライン）を、インターリーブして配置し、図２７の間引きL奇数フィールドを復号する。
　さらに、後処理部１５２は、L偶数フィールド奇数ライン画像(LEO)と、L偶数フィールド偶数ライン画像(LEE)との各ラインを、インターリーブして配置し、図２７の間引きL偶数フィールドを復号する。
　また、後処理部１５２は、R奇数フィールド奇数ライン画像(ROO)と、R偶数フィールド奇数ライン画像(REO)との各ラインを、インターリーブして配置し、図２７の間引きR奇数フィールドを復号する。
　さらに、後処理部１５２は、R奇数フィールド偶数ライン画像(ROE)と、R偶数フィールド偶数ライン画像(REE)との各ラインを、インターリーブして配置して、図２７の間引きR偶数フィールドを復号する。
　そして、後処理部１５２は、間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドを、補間部１５３に供給する。
　以上のように、L画像及びR画像が、インターレース方式の画像である場合には、符号化装置（図２０）において、L画像の奇数フィールド（L奇数フィールド）、及び、偶数フィールド（L偶数フィールド）、並びに、R画像の奇数フィールド（R奇数フィールド）、及び、偶数フィールド（R偶数フィールド）の画素の間引き後に、前処理を施してから、インターリーブ混合処理を行うとともに、復号装置（図３２）において、インターリーブ分解処理後に、後処理を行ってから、画素が間引かれたL奇数フィールド（間引きL奇数フィールド）、及び、L偶数フィールド（間引きL偶数フィールド）、並びに、R奇数フィールド（間引きR奇数フィールド）、及び、R偶数フィールド（間引きR偶数フィールド）の補間を行うことで、インターレース方式の3D画像について、空間解像度の劣化を防止しつつ、高い符号化効率を実現することができる。
　［本発明を適用したコンピュータの説明］
　次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　そこで、図３５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブル記録媒体２１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク２０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)２０２を内蔵しており、CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されている。
　CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、CPU２０２は、ハードディスク２０５に格納されたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。
　これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
　なお、入力部２０７は、キーボードや、マウス、マイク等で構成される。また、出力部２０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　１１　フィルタ部，　１１Ｌ，１１Ｒ　フィルタ，　１２，１２Ｌ，１２Ｒ　間引き部，　１３　混合部，　１４　エンコーダ，　２１　デコーダ，　２２　3D表示装置，　３１，３１Ｌ，３１Ｒ　水平処理部，　３２　垂直処理部，　３２Ｌ，３２Ｒ　分離部，　３３　混合部，　３４　エンコーダ，　３５　制御部，　４１　A/D変換部，　４２　画像並べ替えバッファ，　４３　演算部，　４４　直交変換部，　４５　量子化部，　４６　可逆符号化部，　４７　蓄積バッファ，　４８　レート制御部，　４９　着量子化部，　５０　逆直交変換部，　５１　演算部，　５２　デブロックフィルタ，　５３　フレームメモリ，　５４　イントラ予測部，　５５　動き予測／動き補償部，　６１　デコーダ，　６２　分離部，　６３　逆垂直処理部，　６３Ｌ，６３Ｒ　合成部，　６４，６４Ｌ，６４Ｒ　逆水平処理部，　６５，６５Ｌ，６５Ｒ　補間部，　６６　フィルタ部，　６６Ｌ，６６Ｒ　フィルタ，　６７　3Dフォーマット変換部，　６８　3D表示装置，　７１　蓄積バッファ，　７２　可逆符号復号部，　７３　逆量子化部，　７４　逆直交変換部，　７５　演算部，　７６　デブロックフィルタ，　７７　フレームメモリ，　７８　イントラ予測部，　７９　動き予測／動き補償部，　８０　画像並べ替えバッファ，　８１　D/A変換部，　１０１Ｌ，１０１Ｒ　撮像装置，　１０２　合成装置，　１２１　フィルタ部，　１２２　間引き部，　１２３　前処理部，　１２４　インターリーブ混合処理部，　１２５　制御部，　１３１　水平処理部，　１３２　垂直処理部，　１３３　混合部，　１４１　3D画像構成装置，　１５１　分解部，　１５２　後処理部，　１５３　補間部，　１５４　フィルタ部，　１５５　3Dフォーマット変換部，　１６１　分離部，　１６２　着垂直処理部，　１６３　逆水平処理部，　２０１　バス，　２０２　CPU，　２０３　ROM，　２０４　RAM，　２０５　ハードディスク，　２０６　出力部，　２０７　入力部，　２０８　通信部，　２０９　ドライブ，　２１０　入出力インタフェース，　２１１　リムーバブル記録媒体

Claims (20)

  1. 　第１の画像の画素を斜め方向に間引くことにより得られ第１の間引き画像、及び、前記第１の画像とは異なる第２の画像の画素を斜め方向に間引くことにより得られる第２の間引き画像を対象として、画素の水平方向の配置を操作する水平処理として、前記第１の間引き画像の画素及び前記第２の間引き画像の画素を水平方向に詰める横詰めを行う水平処理手段と、
    　前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像を並べて配置することにより混合した混合画像を、予測符号化の対象となる符号化対象画像として生成する混合手段と
    　を備える画像処理装置。
  2. 　前記水平処理手段により横詰めされた第１の間引き画像及び第２の間引き画像を対象として、画素の垂直方向の配置を操作する垂直処理として、前記水平処理手段により横詰めされた第１の間引き画像及び第２の間引き画像から、奇数ラインと偶数ラインとを分離して、前記奇数ラインのみを配置した画像と前記偶数ラインのみを配置した画像とを含む垂直処理後画像を生成する垂直処理手段をさらに備え、
    　前記混合手段は、前記垂直処理手段により生成された垂直処理後画像を並べて配置することにより、前記混合画像を生成する
    　請求項１に記載の画像処理装置。
  3. 　前記混合手段により生成された混合画像に対して予測符号化を行い、符号化データを生成する符号化手段と、
    　前記水平処理手段により横詰めされた第１の間引き画像及び第２の間引き画像から、奇数ラインと偶数ラインとが分離されているかを表すセパレートフラグを生成するフラグ生成手段と、
    　前記符号化手段により生成された符号化データと前記フラグ生成手段により生成されたセパレートフラグとを伝送する伝送手段と
    　をさらに備える
    　請求項２に記載の画像処理装置。
  4. 　前記垂直処理手段は、
    　　前記水平処理手段により横詰めされた第１の間引き画像の奇数ラインのみを配置した第１奇数画像と、
    　　前記水平処理手段により横詰めされた第１の間引き画像の偶数ラインのみを配置した第１偶数画像と、
    　　前記水平処理手段により横詰めされた第２の間引き画像の奇数ラインのみを配置した第２奇数画像と、
    　　前記水平処理手段により横詰めされた第２の間引き画像の偶数ラインのみを配置した第２偶数画像とを、前記垂直処理後画像として生成する
    　請求項２に記載の画像処理装置。
  5. 　前記混合手段により生成された混合画像に対して予測符号化を行い、符号化データを生成する符号化手段と、
    　前記第１奇数画像と前記第１偶数画像と前記第２奇数画像と前記第２偶数画像との配置パターンを表すアレンジパターンフラグを生成するフラグ生成手段と、
    　前記符号化手段により生成された符号化データと前記フラグ生成手段により生成されたアレンジパターンフラグとを伝送する伝送手段と
    　をさらに備える
    　請求項４に記載の画像処理装置。
  6. 　前記垂直処理手段は、
    　　前記水平処理手段により横詰めされた第１の間引き画像の奇数ライン及び第２の間引き画像の奇数ラインをインターリーブして配置した垂直処理後奇数ライン画像と、
    　　前記水平処理手段により横詰めされた第１の間引き画像の偶数ライン及び第２の間引き画像の偶数ラインをインターリーブして配置した垂直処理後偶数ライン画像と
    　を、前記垂直処理後画像として生成し、
    　　請求項２に記載の画像処理装置。
  7. 　前記第１の画像及び前記第２の画像は、インターレース方式の画像であり、
    　　前記第１の画像のフレームを構成する奇数フィールドの画素を斜め方向に間引くことにより得られる第１の間引き奇数フィールドと前記第１の画像のフレームを構成する偶数フィールの画素を斜め方向に間引くことにより得られる第１の間引き偶数フィールドとを並べて配置した画像を構成し、前記第１の間引き画像として出力するとともに、
    　　前記第２の画像のフレームを構成する奇数フィールドの画素を斜め方向に間引くことにより得られる第２の間引き奇数フィールドと前記第２の画像のフレームを構成する偶数フィールドの画素を斜め方向に間引くことにより得られる第２の間引き偶数フィールドとを並べて配置した画像を構成し、前記第２の間引き画像として出力する前処理手段をさらに備える
    　請求項６に記載の画像処理装置。
  8. 　前記前処理手段は、
    　　前記第１の間引き奇数フィールドの奇数ライン及び前記第１の間引き偶数フィールドの奇数ラインのみを配置した第１の奇数ラインフィールドと、
    　　前記第１の間引き奇数フィールドの偶数ライン及び前記第１の間引き偶数フィールドの偶数ラインのみを配置した第１の偶数ラインフィールドと、
    　　前記第２の間引き奇数フィールドの奇数ライン及び前記第２の間引き偶数フィールドの奇数ラインのみを配置した第２の奇数ラインフィールドと、
    　　前記第２の間引き奇数フィールドの偶数ライン及び前記第２の間引き偶数フィールドの偶数ラインのみを配置した第２の偶数ラインフィールドと
    　を構成し、
    　　前記第１の奇数ラインフィールドを奇数フィールドとし、かつ、前記第１の偶数ラインフィールドを偶数フィールドとするフレームを構成することにより、前記第１の間引き奇数フィールド及び前記第１の間引き偶数フィールドを並べて配置した画像を構成するとともに、
    　　前記第２の奇数ラインフィールドを奇数フィールドとし、かつ、前記第２の偶数ラインフィールドを偶数フィールドとするフレームを構成することにより、前記第２の間引き奇数フィールド及び前記第２の間引き偶数フィールドを並べて配置した画像を構成する
    　請求項７に記載の画像処理装置。
  9. 　前記垂直処理手段は、
    　　前記水平処理手段により横詰めされた第１の間引き画像の奇数ラインのみを配置した画像と、
    　　前記水平処理手段により横詰めされた第１の間引き画像の偶数ラインのみを配置した画像と、
    　　前記水平処理手段により横詰めされた第２の間引き画像の奇数ラインのみを配置した画像と、
    　　前記水平処理手段により横詰めされた第２の間引き画像の偶数ラインのみを配置した画像と
    　の４つの画像、又は、
    　　前記水平処理手段により横詰めされた第１の間引き画像の奇数ライン及び第２の間引き画像の奇数ラインをインターリーブして配置した垂直処理後奇数ライン画像と、
    　　前記水平処理により横詰めされた第１の間引き画像の偶数ライン及び第２の間引き画像の偶数ラインをインターリーブして配置した垂直処理後偶数ライン画像と
    　の２つの画像を、前記垂直処理後画像として生成し、
    　前記混合画像の予測符号化を行い、符号化データを生成する符号化手段と、
    　前記垂直処理手段により生成された垂直処理後画像において、前記水平処理手段より横詰めされた第１の間引き画像の奇数ライン及び第２の間引き画像の奇数ラインと、前記第１の間引き画像の偶数ライン及び第２の間引き画像の偶数ラインとの配置を表すバーティカルパターンフラグを生成するフラグ生成手段と、
    　前記符号化手段により生成された符号化データと前記フラグ生成手段により生成されたバーティカルパターンフラグとを伝送する伝送手段と
    　をさらに備える
    　請求項２に記載の画像処理装置。
  10. 　画像処理装置が、
    　第１の画像の画素を斜め方向に間引くことにより得られ第１の間引き画像、及び、前記第１の画像とは異なる第２の画像の画素を斜め方向に間引くことにより得られる第２の間引き画像を対象として、画素の水平方向の配置を操作する水平処理として、前記第１の間引き画像の画素及び前記第２の間引き画像の画素を水平方向に詰める横詰めを行い、
    　前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像を並べて配置することにより混合した混合画像を、予測符号化の対象となる符号化対象画像として生成する
    　ステップを含む画像処理方法。
  11. 　　第１の画像の画素を斜め方向に間引くことにより得られ第１の間引き画像、及び、前記第１の画像とは異なる第２の画像の画素を斜め方向に間引くことにより得られる第２の間引き画像を対象として、画素の水平方向の配置を操作する水平処理として、前記第１の間引き画像の画素及び前記第２の間引き画像の画素を水平方向に詰める横詰めを行い、
    　　前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像を並べて配置することにより混合した混合画像の予測符号化を行って得られる符号化データを復号することにより得られる
    　前記混合画像を、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像に分離する分離手段と、
    　前記分離手段により分離された、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像を、前記第１の間引き画像及び前記第２の間引き画像に戻す逆水平処理を行う逆水平処理手段と
    　を備える画像処理装置。
  12. 　前記混合画像は、
    　　前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像を対象として、画素の垂直方向の配置を操作する垂直処理として、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像から、奇数ラインと偶数ラインとを分離して、前記奇数ラインのみを配置した画像と前記偶数ラインのみを配置した画像とを含む垂直処理後画像を生成する処理を行い、
    　　前記垂直処理後画像を並べて配置する
    　ことにより得られた画像であり、
    　前記分離手段は、前記混合画像を、前記垂直処理後画像に分離し、
    　前記分離手段により分離された前記垂直処理後画像を、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像に戻す逆垂直処理を行う逆垂直処理手段をさらに備える
    　請求項１１に記載の画像処理装置。
  13. 　前記符号化データと、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像から、奇数ラインと偶数ラインとが分離されているかどうかを表すセパレートフラグとを受け取る受け取り手段をさらに備え、
    　前記受け取り手段により受け取ったセパレートフラグが、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像から、奇数ラインと偶数ラインとが分離されていることを表している場合、
    　　前記逆垂直処理手段は、前記逆垂直処理を行う
    　請求項１２に記載の画像処理装置。
  14. 　前記垂直処理後画像は、
    　　前記水平処理により横詰めされた第１の間引き画像の奇数ラインのみを配置した第１奇数画像と、
    　　前記水平処理により横詰めされた第１の間引き画像の偶数ラインのみを配置した第１偶数画像と、
    　　前記水平処理により横詰めされた第２の間引き画像の奇数ラインのみを配置した第２奇数画像と、
    　　前記水平処理により横詰めされた第２の間引き画像の偶数ラインのみを配置した第２偶数画像と
    　であり、
    　前記分離手段は、前記混合画像を、前記第１奇数画像と前記第１偶数画像と前記第２奇数画像と前記第２偶数画像とに分離し、
    　前記逆垂直処理手段は、前記分離手段により分離された前記第１奇数画像と前記第１偶数画像と前記第２奇数画像と前記第２偶数画像とを、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像に戻す
    　請求項１２に記載の画像処理装置。
  15. 　前記符号化データと、前記第１奇数画像と前記第１偶数画像と前記第２奇数画像と前記第２偶数画像との配置パターンを表すアレンジパターンフラグとを受け取る受け取り手段をさらに備え、
    　前記分離手段は、前記受け取り手段により受け取ったアレンジパターンフラグに基づき、前記混合画像から、前記第１奇数画像と前記第１偶数画像と前記第２奇数画像と前記第２偶数画像とを区別して分離する
    　請求項１４に記載の画像処理装置。
  16. 　前記垂直処理後画像は、
    　　前記水平処理により横詰めされた第１の間引き画像の奇数ライン及び第２の間引き画像の奇数ラインをインターリーブして配置した垂直処理後奇数ライン画像と、
    　　前記水平処理により横詰めされた第１の間引き画像の偶数ライン及び第２の間引き画像の偶数ラインをインターリーブして配置した垂直処理後偶数ライン画像と
    　であり、
    　前記分離手段は、前記混合画像を、前記垂直処理後奇数ライン画像と前記垂直処理後偶数ライン画像とに分離し、
    　前記逆垂直処理手段は、前記分離手段により分離された垂直処理後奇数ライン画像と垂直処理後偶数ライン画像とを、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像に戻す
    　請求項１２に記載の画像処理装置。
  17. 　前記第１の画像及び前記第２の画像は、インターレース方式の画像であり、
    　前記第１の間引き画像は、前記第１の画像のフレームを構成する奇数フィールドの画素を斜め方向に間引くことにより得られる第１の間引き奇数フィールドと前記第１の画像のフレームを構成する偶数フィールドの画素を斜め方向に間引くことにより得られる第１の間引き偶数フィールドとを並べて配置した画像であり、
    　前記第２の間引き画像は、前記第２の画像のフレームを構成する奇数フィールドの画素を斜め方向に間引くことにより得られる第２の間引き奇数フィールドと前記第２の画像のフレームを構成する偶数フィールドの画素を斜め方向に間引くことにより得られる第２の間引き偶数フィールドとを並べて配置した画像であり、
    　　前記逆水平処理によって得られる前記第１の間引き画像を、前記第１の間引き奇数フィールドと前記第１の間引き偶数フィールドとに戻すとともに、
    　　前記逆水平処理によって得られる前記第２の間引き画像を、前記第２の間引き奇数フィールドと前記第２の間引き偶数フィールドとに戻す後処理手段をさらに備える
    　請求項１６に記載の画像処理装置。
  18. 　前記後処理手段は、
    　　前記第１の間引き画像を、
    　　　前記第１の間引き奇数フィールドの奇数ライン及び前記第１の間引き偶数フィールドの奇数ラインのみを配置した、前記第１の間引き画像の奇数フィールドになっている第１の奇数ラインフィールドと、
    　　　前記第１の間引き奇数フィールドの偶数ライン及び前記第１の間引き偶数フィールドの偶数ラインのみを配置した、前記第１の間引き画像の偶数フィールドになっている第１の偶数ラインフィールドと
    　　に分離するとともに、
    　　前記第２の間引き画像を、
    　　　前記第２の間引き奇数フィールドの奇数ライン及び前記第２の間引き偶数フィールドの奇数ラインのみを配置した、前記第２の間引き画像の奇数フィールドになっている第２の奇数ラインフィールドと、
    　　　前記第２の間引き奇数フィールドの偶数ライン及び前記第２の間引き偶数フィールドの偶数ラインのみを配置した、前記第２の間引き画像の偶数フィールドになっている第２の偶数ラインフィールドと
    　　に分離し、
    　　前記第１の奇数ラインフィールド及び前記第１の偶数ラインフィールドを、前記第１の間引き奇数フィールド及び前記第１の間引き偶数フィールドに戻すとともに、
    　　前記第２の奇数ラインフィールド及び前記第２の偶数ラインフィールドを、前記第２の間引き奇数フィールド及び前記第２の間引き偶数フィールドに戻す
    　請求項１７に記載の画像処理装置。
  19. 　前記符号化データと、前記垂直処理後画像において、前記水平処理により横詰めされた第１の間引き画像の奇数ライン及び第２の間引き画像の奇数ラインと、前記第１の間引き画像の偶数ライン及び第２の間引き画像の偶数ラインとの配置を表すバーティカルパターンフラグとを受け取る受け取り手段をさらに備え、
    　前記垂直処理後画像は、
    　　前記水平処理により横詰めされた第１の間引き画像の奇数ラインのみを配置した画像と、
    　　前記水平処理により横詰めされた第１の間引き画像の偶数ラインのみを配置した画像と、
    　　前記水平処理により横詰めされた第２の間引き画像の奇数ラインのみを配置した画像と、
    　　前記水平処理により横詰めされた第２の間引き画像の偶数ラインのみを配置した画像と
    　の４つの画像、又は、
    　　前記水平処理により横詰めされた第１の間引き画像の奇数ライン及び第２の間引き画像の奇数ラインをインターリーブして配置した垂直処理後奇数ライン画像と、
    　　前記水平処理により横詰めされた第１の間引き画像の偶数ライン及び第２の間引き画像の偶数ラインをインターリーブして配置した垂直処理後偶数ライン画像と
    　の２つの画像であり、
    　前記分離手段は、前記受け取り手段により受け取ったバーティカルパターンフラグに基づいて、前記混合画像を、前記４つの画像又は前記２つの画像に分離し、
    　前記逆垂直処理手段は、前記バーティカルパターンフラグに基づいて、前記４つの画像又は前記２つの画像を、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像に戻す
    　請求項１４に記載の画像処理装置。
  20. 　画像処理装置が、
    　　第１の画像の画素を斜め方向に間引くことにより得られ第１の間引き画像、及び、前記第１の画像とは異なる第２の画像の画素を斜め方向に間引くことにより得られる第２の間引き画像を対象として、画素の水平方向の配置を操作する水平処理として、前記第１の間引き画像の画素及び前記第２の間引き画像の画素を水平方向に詰める横詰めを行い、
    　　前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像を並べて配置することにより混合した混合画像の予測符号化を行って得られる符号化データを復号することにより得られる
    　前記混合画像を、前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像に分離し、
    　前記水平処理により横詰めされた第１の間引き画像及び第２の間引き画像を、前記第１の間引き画像及び前記第２の間引き画像に戻す逆水平処理を行う
    　ステップを含む画像処理方法。
PCT/JP2010/060604 2009-07-01 2010-06-23 画像処理装置、及び、画像処理方法 WO2011001864A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US13/378,744 US8787691B2 (en) 2009-07-01 2010-06-23 Image processing device and image processing method of images with pixels arrayed in a checkerboard fashion
RU2011152877/08A RU2541882C2 (ru) 2009-07-01 2010-06-23 Способ и устройство обработки изображения
CN2010800280055A CN102474645A (zh) 2009-07-01 2010-06-23 图像处理设备和图像处理方法
EP10794033A EP2451177A4 (en) 2009-07-01 2010-06-23 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
BRPI1014340A BRPI1014340A2 (pt) 2009-07-01 2010-06-23 dispositivo e método de processamento de imagem.

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-156562 2009-07-01
JP2009156562 2009-07-01
JP2010012952A JP2011030184A (ja) 2009-07-01 2010-01-25 画像処理装置、及び、画像処理方法
JP2010-012952 2010-01-25

Publications (1)

Publication Number Publication Date
WO2011001864A1 true WO2011001864A1 (ja) 2011-01-06

Family

ID=43410940

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/060604 WO2011001864A1 (ja) 2009-07-01 2010-06-23 画像処理装置、及び、画像処理方法

Country Status (9)

Country Link
US (1) US8787691B2 (ja)
EP (1) EP2451177A4 (ja)
JP (1) JP2011030184A (ja)
KR (1) KR20120038414A (ja)
CN (1) CN102474645A (ja)
BR (1) BRPI1014340A2 (ja)
RU (1) RU2541882C2 (ja)
TW (1) TW201112767A (ja)
WO (1) WO2011001864A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071231A1 (en) * 2012-09-11 2014-03-13 The Directv Group, Inc. System and method for distributing high-quality 3d video in a 2d format
CN109429054A (zh) * 2017-08-18 2019-03-05 北京传送科技有限公司 Vr图像压缩方法及其装置
CN109587504A (zh) * 2017-09-29 2019-04-05 北京传送科技有限公司 Vr影像数据压缩方法

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8902321B2 (en) 2008-05-20 2014-12-02 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
KR101824672B1 (ko) 2010-05-12 2018-02-05 포토네이션 케이맨 리미티드 이미저 어레이 구조 및 어레이 카메라
FR2962291B1 (fr) * 2010-07-01 2012-08-24 St Microelectronics Grenoble 2 Procede de traitement d'images 3d, et systeme correspondant
US9049426B2 (en) * 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US20120236115A1 (en) * 2011-03-14 2012-09-20 Qualcomm Incorporated Post-filtering in full resolution frame-compatible stereoscopic video coding
JP2014519741A (ja) 2011-05-11 2014-08-14 ペリカン イメージング コーポレイション アレイカメラ画像データを伝送および受信するためのシステムおよび方法
TWI478575B (zh) * 2011-06-22 2015-03-21 Realtek Semiconductor Corp 3d影像處理裝置
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
TWI448146B (zh) * 2011-10-14 2014-08-01 Au Optronics Corp 可改善鬼影現象之立體影像處理方法及其立體顯示裝置
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN107346061B (zh) 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
CN104685860A (zh) 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US8804813B1 (en) * 2013-02-04 2014-08-12 Faroudja Enterprises Inc. Progressive scan video processing
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
JP2015225232A (ja) * 2014-05-28 2015-12-14 株式会社デンソー 映像信号伝送システム及び表示装置
JP2016001290A (ja) * 2014-06-12 2016-01-07 株式会社ジャパンディスプレイ 表示装置
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
CN108470330B (zh) * 2017-02-21 2021-10-01 北京君正集成电路股份有限公司 图像检测方法及系统
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
KR102447016B1 (ko) * 2017-11-01 2022-09-27 삼성디스플레이 주식회사 디스플레이 구동 집적 회로, 디스플레이 시스템, 및 디스플레이 구동 집적 회로의 구동 방법
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
EP4042366A4 (en) 2019-10-07 2023-11-15 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR AUGMENTING SENSOR SYSTEMS AND IMAGING SYSTEMS WITH POLARIZATION
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
CN115552486A (zh) 2020-01-29 2022-12-30 因思创新有限责任公司 用于表征物体姿态检测和测量系统的系统和方法
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03187693A (ja) * 1989-12-18 1991-08-15 Canon Inc 符号化装置
JPH09271042A (ja) * 1996-03-31 1997-10-14 Sony Corp 立体視化方法及び装置
JP2001268596A (ja) * 2000-03-16 2001-09-28 Nippon Hoso Kyokai <Nhk> 符号化装置及び復号化装置
JP2006135783A (ja) * 2004-11-08 2006-05-25 Nec Fielding Ltd 立体動画コンテンツ配信システム
JP2008182669A (ja) 2006-10-13 2008-08-07 Victor Co Of Japan Ltd 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
JP2010049607A (ja) * 2008-08-25 2010-03-04 Mitsubishi Electric Corp コンテンツ再生装置および方法
JP2010171522A (ja) * 2009-01-20 2010-08-05 Toshiba Corp 符号化装置および方法、ならびに、復号装置および方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5767898A (en) 1994-06-23 1998-06-16 Sanyo Electric Co., Ltd. Three-dimensional image coding by merger of left and right images
JPH0870475A (ja) * 1994-06-23 1996-03-12 Sanyo Electric Co Ltd 立体動画像の符号化・復号化方法及び装置
JP3187693B2 (ja) 1995-10-25 2001-07-11 株式会社クボタ 精穀装置
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
US8373744B2 (en) * 2007-06-07 2013-02-12 Reald Inc. Stereoplexing for video and film applications
US8121191B1 (en) * 2007-11-13 2012-02-21 Harmonic Inc. AVC to SVC transcoder
WO2010120804A1 (en) * 2009-04-13 2010-10-21 Reald Inc. Encoding, decoding, and distributing enhanced resolution stereoscopic video

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03187693A (ja) * 1989-12-18 1991-08-15 Canon Inc 符号化装置
JPH09271042A (ja) * 1996-03-31 1997-10-14 Sony Corp 立体視化方法及び装置
JP2001268596A (ja) * 2000-03-16 2001-09-28 Nippon Hoso Kyokai <Nhk> 符号化装置及び復号化装置
JP2006135783A (ja) * 2004-11-08 2006-05-25 Nec Fielding Ltd 立体動画コンテンツ配信システム
JP2008182669A (ja) 2006-10-13 2008-08-07 Victor Co Of Japan Ltd 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
JP2010049607A (ja) * 2008-08-25 2010-03-04 Mitsubishi Electric Corp コンテンツ再生装置および方法
JP2010171522A (ja) * 2009-01-20 2010-08-05 Toshiba Corp 符号化装置および方法、ならびに、復号装置および方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071231A1 (en) * 2012-09-11 2014-03-13 The Directv Group, Inc. System and method for distributing high-quality 3d video in a 2d format
US9743064B2 (en) * 2012-09-11 2017-08-22 The Directv Group, Inc. System and method for distributing high-quality 3D video in a 2D format
CN109429054A (zh) * 2017-08-18 2019-03-05 北京传送科技有限公司 Vr图像压缩方法及其装置
CN109587504A (zh) * 2017-09-29 2019-04-05 北京传送科技有限公司 Vr影像数据压缩方法

Also Published As

Publication number Publication date
EP2451177A1 (en) 2012-05-09
EP2451177A4 (en) 2013-04-03
CN102474645A (zh) 2012-05-23
BRPI1014340A2 (pt) 2016-04-05
TW201112767A (en) 2011-04-01
JP2011030184A (ja) 2011-02-10
US20120114260A1 (en) 2012-05-10
KR20120038414A (ko) 2012-04-23
RU2541882C2 (ru) 2015-02-20
RU2011152877A (ru) 2013-06-27
US8787691B2 (en) 2014-07-22

Similar Documents

Publication Publication Date Title
WO2011001864A1 (ja) 画像処理装置、及び、画像処理方法
JP7357125B2 (ja) ビデオ符号化及び復号化におけるタイリング
US10523953B2 (en) Frame packing and unpacking higher-resolution chroma sampling formats
US9961357B2 (en) Multi-layer interlace frame-compatible enhanced resolution video delivery
US9282343B2 (en) Multiview and bitdepth scalable video delivery
US10484678B2 (en) Method and apparatus of adaptive intra prediction for inter-layer and inter-view coding
US8761252B2 (en) Method and apparatus for scalably encoding and decoding video signal
JP2020058055A (ja) 多視点信号コーデック
JP5594536B2 (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
US20100150229A1 (en) Method of Encoding and Decoding Video Images With Spatial Scalability
WO2014066182A1 (en) Band separation filtering / inverse filtering for frame packing / unpacking higher-resolution chroma sampling formats
JP2962348B2 (ja) 画像符号変換方式
JP2011087195A (ja) 画像処理装置および画像処理方法
EP1878249B1 (en) Method for scalably decoding a video signal
JP2010232878A (ja) ステレオ画像符号化方法、及び、ステレオ画像復号化方法
WO2010055675A1 (ja) 動画像符号化装置及び動画像復号装置
JPH10145749A (ja) デジタルビデオ信号をダウンコンバートするための装置及び方法
JP5436501B2 (ja) 映像符号化装置及び映像復号装置
JP2004147352A (ja) 画像信号生成装置および方法、並びに、画像信号再生装置および方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080028005.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10794033

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13378744

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010794033

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10135/DELNP/2011

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 2011152877

Country of ref document: RU

Kind code of ref document: A

Ref document number: 20117030931

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: PI1014340

Country of ref document: BR

ENP Entry into the national phase

Ref document number: PI1014340

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20111223