WO2012108315A1 - 予測情報生成方法、画像符号化方法、画像復号方法、予測情報生成装置、予測情報生成プログラム、画像符号化装置、画像符号化プログラム、画像復号装置および画像復号プログラム - Google Patents

予測情報生成方法、画像符号化方法、画像復号方法、予測情報生成装置、予測情報生成プログラム、画像符号化装置、画像符号化プログラム、画像復号装置および画像復号プログラム Download PDF

Info

Publication number
WO2012108315A1
WO2012108315A1 PCT/JP2012/052253 JP2012052253W WO2012108315A1 WO 2012108315 A1 WO2012108315 A1 WO 2012108315A1 JP 2012052253 W JP2012052253 W JP 2012052253W WO 2012108315 A1 WO2012108315 A1 WO 2012108315A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
prediction
block
reference information
Prior art date
Application number
PCT/JP2012/052253
Other languages
English (en)
French (fr)
Inventor
貴也 山本
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2012108315A1 publication Critical patent/WO2012108315A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to a prediction information generation method, an image encoding method, an image decoding method, a prediction information generation device, a prediction information generation program, an image encoding device, an image encoding program, an image decoding device, and an image decoding program.
  • MPEG Motion Compensation Picture Experts Group
  • MPEG-4 Motion Compensation interframe predictive coding
  • H. H.264 a coding system that uses a temporal correlation of moving pictures called motion compensation interframe predictive coding to reduce the amount of code.
  • motion compensation interframe predictive coding an image coding apparatus divides an image to be coded into blocks and obtains a motion vector for each block, thereby realizing efficient coding.
  • the image encoding device in order to improve the compression rate of the motion vector, the image encoding device generates prediction information and encodes the difference between the motion vector of the encoding target block and the prediction information.
  • the image encoding device includes a block adjacent on the encoding target block, a block adjacent on the upper right side toward the encoding target block, and an adjacent block on the left toward the encoding target block.
  • the median value of each of the horizontal and vertical components of the motion vector (mv_a, mv_b, mv_c) of the current block is generated as prediction information.
  • the motion vector of the adjacent block is determined based on the temporal relationship between the encoding target image, the reference image of the encoding target block, and the reference image of the adjacent block or their time information. By scaling, the difference between the motion vector of the encoding target block and the prediction information is reduced.
  • MVC Multiview Video Coding
  • the present invention has been made in view of the above problems, and a prediction information generation method, an image encoding method, a prediction information generation device, and prediction information that can obtain excellent encoding efficiency in image encoding.
  • the present invention has been made to solve the above-described problems, and one aspect of the present invention divides a target image to be encoded or decoded into blocks, and is to be encoded or decoded.
  • a prediction information generation method executed by a prediction information generation device that generates the prediction information, used when encoding or decoding a difference between reference information of a target block that is a block and prediction information that is prediction of the reference information.
  • the target Based on the relationship between the positions of the reference image of the target block, the reference image of the adjacent block adjacent to the target block, and the target image, and the reference information of the adjacent block, the target A prediction information generation method characterized by having a reference information prediction procedure for generating prediction information in a block.
  • the prediction information generation method uses the position where the target image is captured as a reference position, and the reference position and the target block.
  • a first distance that is a distance from a position at which a reference image referred to in order to detect the reference information is detected, and a reference to detect reference information of an adjacent block adjacent to the reference position and the target block
  • An inter-viewpoint distance calculating procedure for calculating a second distance that is a distance from the position where the reference image is captured, the calculated first distance, the calculated second distance,
  • a prediction information generation procedure for generating prediction information of the target block based on reference information of adjacent blocks.
  • the other aspect of this invention is the above-mentioned prediction information generation method, Comprising:
  • the said prediction information generation procedure is based on ratio of the 1st distance with respect to the said 2nd distance. It further includes a parallax correction procedure for correcting reference information, and a representative value calculation procedure for calculating a representative value based on the corrected reference information of adjacent blocks.
  • the prediction information generation procedure is such that both the reference information of the target block and the reference information of the adjacent block are disparity vectors.
  • a reference information determination procedure for both blocks that determines whether or not there is a block, and the representative value calculation procedure uses the reference information of the adjacent block when the determination result by the reference information determination procedure for both blocks is not a disparity vector.
  • the representative value is calculated from the reference information of the excluded adjacent blocks.
  • the prediction information generation procedure determines whether or not the reference information of the target block is a disparity vector.
  • An information determination procedure wherein the disparity correction procedure corrects the reference information of the adjacent block when the reference information of the target block is determined to be a disparity vector by the reference information determination procedure for the target block. It is characterized by.
  • the prediction information generation procedure includes a representative value calculation procedure for calculating a representative vector based on reference information of the adjacent block. And a parallax vector scaling procedure for correcting the representative vector based on a ratio of the first distance to the second distance.
  • the prediction information generation method described above wherein the prediction information generation procedure is an adjacent process for determining whether or not the reference information selected as the representative vector is a disparity vector.
  • a block reference information determination procedure wherein the parallax correction procedure determines that the reference vector is determined to be a disparity vector when the reference information selected as the representative vector is determined by the adjacent block reference information determination procedure. It is characterized by correcting.
  • the other aspect of this invention divides
  • An image code comprising a reference information prediction procedure for generating prediction information in the target block based on a relationship between positions at which the image and the target image are captured and the reference information of the adjacent block It is a conversion method.
  • the entire target image to be decoded is divided into blocks, the target image to be decoded is divided into blocks, and reference information of the target block that is a block to be decoded
  • reference information of the target block that is a block to be decoded Is a picture decoding method executed by an image decoding device that decodes the reference information by decoding a difference between the reference information and prediction information that is prediction of the reference information, and is adjacent to the reference image of the target block and the target block
  • a target image to be encoded or decoded is divided into blocks, and reference information of a target block that is a block to be encoded or decoded and the reference information
  • a prediction information generation apparatus that generates the prediction information, used when encoding or decoding a difference from prediction information that is prediction, and that refers to a reference image of the target block and an adjacent block adjacent to the target block Prediction information, comprising: a reference information prediction unit that generates prediction information in the target block based on a relationship between positions where the image and the target image are captured and the reference information of the adjacent block It is a generation device.
  • a target image to be encoded or decoded is divided into blocks, and reference information of a target block that is a block to be encoded or decoded and the reference information
  • the prediction information generating apparatus that generates the prediction information is used when encoding or decoding the difference from the prediction information that is the prediction.
  • the reference image of the target block and the reference of the adjacent block adjacent to the target block are referred to.
  • a prediction information generation program for executing a reference information prediction step for generating prediction information in the target block based on a relationship between positions where the image and the target image are captured and the reference information of the adjacent block It is.
  • a target image to be encoded is divided into blocks, and reference information of a target block that is a block to be encoded and prediction that is prediction of the reference information
  • An image encoding apparatus that encodes the reference information by encoding a difference from information, wherein a reference image of the target block, a reference image of an adjacent block adjacent to the target block, and the target image
  • An image encoding apparatus comprising: a reference information prediction unit that generates prediction information in the target block based on a relationship between each imaged position and the reference information of the adjacent block.
  • a target image to be encoded is divided into blocks, and reference information of a target block that is a block to be encoded and prediction that is prediction of the reference information
  • reference information of a target block that is a block to be encoded
  • prediction that is prediction of the reference information
  • a target image to be decoded is divided into blocks, reference information of a target block that is a block to be decoded, and prediction information that is prediction of the reference information
  • the image decoding device that decodes the reference information by decoding the difference between the reference image, the position at which the reference image of the target block, the reference image of the adjacent block adjacent to the target block, and the target image are respectively captured.
  • a reference information prediction unit that generates prediction information in the target block based on the relationship and the reference information of the adjacent block.
  • a target image to be decoded is divided into blocks, reference information of a target block that is a block to be decoded, and prediction information that is prediction of the reference information;
  • the position where the reference image of the target block, the reference image of the adjacent block adjacent to the target block, and the target image are captured by the computer of the image decoding device that decodes the reference information by decoding the difference between And a reference information prediction step for generating prediction information in the target block based on the relationship and the reference information of the adjacent block.
  • the image encoding apparatus 100 appropriately scales the reference information (vector from an adjacent block to a region most similar to the adjacent block in the reference image) NR of the adjacent block, An object is to encode an image with high encoding efficiency.
  • the image encoding device 100 When the reference image of the encoding target block is an image of a different viewpoint from the encoding target image, the image encoding device 100 includes the target image to be encoded, the reference image of the block to be encoded, The relationship between the position where the block reference image is captured is calculated based on the camera parameter CP, the reference information NR of the adjacent block is scaled based on the position relationship, and predicted from the reference information SNR of the scaled adjacent block Information PV is generated. Then, the difference between the reference information TR of the encoding target block and the prediction information PV is taken, and the reference information TR of the encoding target block is encoded by expressing the reference information TR of the encoding target block by the difference.
  • the image encoding apparatus 100 can reduce the difference between the reference information TR of the block to be encoded and the prediction information PV, and can increase the encoding efficiency.
  • FIG. 1 is a functional block diagram illustrating a configuration of an image encoding device 100 according to the first embodiment.
  • the image encoding device 100 encodes (compresses) a two-viewpoint moving image for stereoscopic display.
  • an image encoding device 100 according to this embodiment includes an image input unit 101, a block matching execution unit 102, a predicted image generation unit 103, a difference image encoding unit 104, and a difference image decoding unit.
  • the image input unit 101 receives input of image data GD of an image to be encoded (hereinafter referred to as an encoding target image) from the outside of the apparatus.
  • the encoding target image is a two-viewpoint moving image for stereoscopic display.
  • the image input unit 101 outputs the received image data GD to the block matching execution unit 102 and the second subtraction unit 114.
  • the block matching execution unit 102 divides the image of the image data GD received by the image input unit 101 into blocks of a predetermined size (hereinafter referred to as encoding target blocks).
  • the block matching execution unit 102 refers to the reference image memory 106 and uses, for each of the encoding target blocks, an image with the latest encoding time among the already encoded images for prediction of the block. Select as reference image.
  • the block matching execution unit 102 outputs information indicating the selected reference image to the reference image selection unit 111.
  • the block matching execution unit 102 reads the selected reference image data from the reference image memory 106.
  • the block matching execution unit 102 performs block matching for extracting, from each of the encoding target blocks, an area most similar to the encoding target block (hereinafter referred to as a corresponding area) in the previously selected reference image. Do. Then, the block matching execution unit 102 generates, for each of the encoding target blocks, a vector from the encoding target block to a corresponding region in the reference image as reference information TR of the encoding target block.
  • this vector is called a motion vector when the encoded image is an image of the same viewpoint and different frame (time) as the divided image, and the encoded image is the divided image.
  • a parallax vector when the image to be encoded is the same image as the image to be encoded.
  • the block matching execution unit 102 divides the encoding target block into a predetermined number of sections (for example, 9 sections of 3 rows and 3 columns). Further, the block matching execution unit 102 creates a window having the same size as the encoding target block, and the window has the same size and the same number of partitions as the encoding target block (for example, 9 partitions of 3 rows and 3 columns). ).
  • the block matching execution unit 102 determines the luminance value of the section in the encoding target block and the section of the section in the encoding target block.
  • the absolute value of the difference from the brightness value of the section in the window corresponding to the position is calculated for each section of the encoding target block.
  • the block matching execution unit 102 calculates a sum of absolute values of differences calculated in each section (hereinafter referred to as a matching residual).
  • the block matching execution unit 102 extracts a region having the smallest matching residual as a corresponding region, and uses a vector from the encoding target block of the encoding target image to the corresponding region as reference information TR of the encoding target block. calculate.
  • the block matching execution unit 102 calculates the code amount by processing the matching residual in the order of DCT transform, quantization, and variable length coding, and performs the coding on the reference information TR of the encoding target block. Also, the amount of code is calculated by performing variable length encoding, and the sum of the amounts of both is calculated as the cost of the encoding mode. Then, the block matching execution unit 102 performs this cost calculation process in each encoding mode, selects the encoding mode with the lowest cost as the encoding mode with the highest encoding efficiency, and sets the encoding mode as the encoding mode. In order to designate a necessary reference image, reference image designation information RA, which is information for designating a reference image, is output to the reference image selection unit 111.
  • reference image designation information RA which is information for designating a reference image
  • the block matching execution unit 102 stores the reference information R of each block including the reference information TR of the encoding target block obtained by block matching in the reference information storage memory 107. Also, the block matching execution unit 102 outputs the reference information TR of the encoding target block to the predicted image generation unit 103 together with the reference image designation information RA. Further, the block matching execution unit 102 outputs the generated reference information TR of the encoding target block to the first subtraction unit 113.
  • the block matching execution unit 102 selects an image with the latest encoding time after the previously selected reference image as a reference image.
  • the block matching execution unit 102 reads data of the selected reference image from the reference image memory 106, and performs block matching again using the selected reference image.
  • the block matching execution unit 102 repeats these processes until there is no target encoded image in the reference image memory 106.
  • the reference image memory 106 stores the reference image data RD generated by the adding unit 115.
  • the reference image memory 106 is emptied by the adder 115 at regular intervals. Therefore, the number of reference images is finite. For example, when the reference image memory 106 is emptied by the adder 115 every time 15 frames are encoded, the block matching execution unit 102 stores data for 15 frames of the encoded image stored in the reference image memory 106. Perform block matching on.
  • the block matching execution unit 102 uses only images of the same viewpoint as the coding target image and different frames (time) as reference images.
  • the block matching performing unit 102 uses an image that has a different viewpoint from the encoding target image and has the same imaging time as the encoding target image as a reference image.
  • an already encoded image that is a candidate for searching for a corresponding block is different from an image at the same viewpoint and a different time as the divided image and the divided image.
  • a viewpoint and the image of the same time it is not limited to this.
  • the predicted image generation unit 103 generates predicted image data PD of the encoding target block based on the reference image of the encoding target block which is a block to be encoded and the reference information TR of the encoding target block.
  • the predicted image generation unit 103 in the present embodiment uses a vector from the encoding target block to a reference image area corresponding to the encoding target block as reference information TR of the encoding target block.
  • the prediction image generation unit 103 refers to the reference image memory 106 based on the reference information TR and the reference image designation information RA of the encoding target block input from the block matching execution unit 102, and designates a reference image.
  • the reference image data designated by the information RA the image data of the area indicated by the reference information TR of the encoding target block is read.
  • the predicted image generation unit 103 reads the image data of the region corresponding to the encoding target block in the reference image data obtained by the block matching execution unit 102 in each block of the encoding target image.
  • the predicted image generation unit 103 arranges the read image data at a position corresponding to the position of the encoding target block of the encoding target image.
  • the predicted image generation unit 103 generates the predicted image data PD by performing the above process on all the blocks of the encoding target image, and the generated predicted image data PD is sent to the second subtracting unit 114 and the adding unit 115. Output.
  • the second subtracting unit 114 for each pixel constituting the image data GD received by the image input unit 101, the pixel value of the pixel and the pixels constituting the predicted image data PD generated by the predicted image generating unit 103 Then, the difference image data DF is generated by subtracting the pixel value of the pixel at the position corresponding to the pixel of the image data GD, and the difference image data DF is output to the difference image encoding unit 104.
  • the differential image encoding unit 104 performs DCT transform (Discrete Cosine Transform) on the differential image data DF generated by the second subtracting unit 114, quantizes the quantized data, and performs quantization
  • the encoded data is encoded by variable length encoding.
  • the DCT transform is a process of transforming a discrete signal into the frequency domain by discrete cosine transform.
  • Quantization is a process of converting a DCT coefficient value calculated by DCT conversion into one of discrete (jumping) representative values.
  • the variable length coding is coding in which a short code is assigned to a value having a high appearance frequency and a long code is assigned to a value having a low appearance frequency.
  • the difference image encoding unit 104 generates encoded difference image encoded data DE, and outputs the generated difference image encoded data DE to the difference image decoding unit 105 and the outside of the own apparatus.
  • the difference image decoding unit 105 performs variable length decoding on the difference image encoded data DE encoded by the difference image encoding unit 104, dequantizes the variable length decoded data, and performs inverse DCT conversion on the dequantized data.
  • the decoded difference image data DF is output to the adding unit 115.
  • the variable-length decoding is a process for restoring the variable-length encoded data.
  • Inverse quantization is a process for restoring quantized data.
  • the inverse DCT transform is an inverse transform of DCT transform.
  • the addition unit 115 is a pixel that constitutes the pixel value of the pixel and the difference image data DF decoded by the difference image decoding unit 105, and is predicted.
  • the reference image data RD is generated by adding the pixel value of the pixel at the position corresponding to the pixel of the image, and the generated reference image data RD is stored in the reference image memory 106.
  • the reference information storage memory 107 stores reference information R of each block stored by the block matching execution unit 102.
  • the reference image selection unit 111 outputs the reference image designation information RA selected for each coding target block by the block matching execution unit 102 to the reference image designation information encoding unit 112. Further, the reference image selection unit 111 stores the reference image designation information RA of each encoding target block in the reference image designation information storage memory 110.
  • the reference image designation information storage memory 110 stores reference image designation information RA of each encoding target block stored by the reference image selection unit 111.
  • the reference information prediction unit 108 accepts an input from the outside of the own device of the camera parameter CP including the position of the camera where the image data GD is captured and the time when the image data GD is captured.
  • the camera parameter CP includes at least information capable of deriving the coordinate positions of all the cameras in which the image data GD is captured.
  • the reference information prediction unit 108 reads the reference information NR of the block adjacent to the encoding target block from the reference information storage memory 107. Further, the reference information prediction unit 108 reads the reference image designation information RA of the encoding target block from the reference image designation information storage memory 110.
  • the adjacent blocks are encoded in the raster scan order in which the image is scanned for each block row from the upper left to the lower right, for example, the left side toward the target block and the target block. There are three blocks on the upper right side toward the target block.
  • the adjacent blocks are not limited to the above three blocks, and may be any blocks that are encoded before the encoding symmetric block is processed and are adjacent blocks.
  • the reference information prediction unit 108 is such that the position of the adjacent block on the upper right toward the encoding target block is outside the screen.
  • the upper left adjacent block toward the encoding target block may be selected instead of the upper right adjacent block toward the encoding target block.
  • the reference information prediction unit 108 uses the camera parameter CP and the reference image designation information RA to calculate the distance between the imaging positions or the difference in the imaging time between the encoding target image and the reference image of the encoding target block, and performs encoding. A distance between imaging positions or a difference in imaging time between the target image and a reference image of a block adjacent to the encoding target block is calculated. The reference information prediction unit 108 scales the reference information NR of each adjacent block based on the distance or the difference between the imaging times.
  • the reference information prediction unit 108 generates prediction information PV by taking median values for each of the horizontal component and the vertical component with respect to the reference information SNR of a plurality of adjacent blocks after scaling, and generates the generated prediction information PV Is output to the first subtractor 113. Details of the processing of the reference information prediction unit 108 will be described later.
  • the number of blocks that the reference information prediction unit 108 selects as adjacent blocks is not limited to three, but may be one or more.
  • the number of adjacent blocks is an even number such as two or four, the reference information prediction unit 108 has an even number of components of the reference information SNR of the plurality of adjacent blocks after scaling. Therefore, the prediction information PV may be generated by taking an average value for each component, for example.
  • the reference image designation information encoding unit 112 performs variable length coding on the reference information designation information RA that designates the reference image of each block input from the reference image selection unit 111, and obtains reference image designation information obtained by variable length coding.
  • the encoded data RAE is output to the outside of the own device.
  • the first subtraction unit 113 uses the encoding target block reference information TR generated by the block matching execution unit 102 to generate the prediction information PV of the encoding target block generated by the reference information prediction unit 108.
  • the difference reference information encoding 109 encodes the difference reference information DR input from the first subtraction unit 113 by variable length encoding, and transmits the difference reference information encoded data DRE obtained by the encoding to the outside of the own apparatus. Output.
  • FIG. 2 is a functional block diagram showing the configuration of the reference information prediction unit 108 in the first embodiment.
  • the reference information prediction unit 108 includes an inter-viewpoint distance calculation unit 201, a frame interval calculation unit 202, and a prediction information generation unit 210.
  • the prediction information generation unit 210 includes a target block reference information determination unit 211, a parallax vector scaling unit (parallax correction unit) 213, a motion vector scaling unit 214, and a representative value calculation unit 215.
  • FIG. 3 is a diagram for explaining adjacent blocks in prediction information generation in the present embodiment.
  • the adjacent block A adjacent to the upper side toward the encoding target block D the adjacent block B adjacent to the upper right toward the encoding target block D, and the left adjacent to the encoding target block D
  • An adjacent block C is shown.
  • Each adjacent block shows a motion vector.
  • the motion vector in the adjacent block A is mv_a
  • the motion vector in the adjacent block B is mv_b
  • the motion vector in the adjacent block C is mv_c.
  • the prediction information PV in the encoding target block D is a vector having a horizontal component and a vertical component as the median value of the horizontal component and the median value of the vertical component of the three motion vectors (mv_a, mv_b, mv_c), respectively.
  • FIG. 4 is a diagram illustrating a coding target block and disparity vectors of adjacent blocks.
  • an image 301 is an image to be encoded
  • an image 302 is a reference image of the block to be encoded
  • images 303a, 303b, and 303c are reference images of adjacent block A, adjacent block B, and adjacent block C, respectively. It is. Further, (DVaX, DVaY), (DVbX, DVbY), and (DVcX, DVcY) represent reference information of adjacent block A, adjacent block B, and adjacent block C, respectively.
  • (DVaX ′, DVaY ′), (DVbX ′, DVbY ′), (DVcX ′, DVcY ′) are the values of the adjacent blocks after the reference information NR of each adjacent block is scaled by the disparity vector scaling unit 213.
  • Reference information SNR is represented.
  • the viewpoints V0, Vr, Va, Vb, and Vc are adjacent to the encoding target image 301, the encoding target block reference image 302, the adjacent block A reference image 303a, and the adjacent block B reference image 303b, respectively.
  • the position where the reference image 803c of the block C is captured is shown.
  • ⁇ Vr, ⁇ Va, ⁇ Vb, and ⁇ Vc represent distances from the viewpoint V0 to the viewpoints Vr, Va, Vb, and Vc, respectively.
  • the inter-viewpoint distance calculation unit 201 receives the camera parameter CP as an input.
  • the inter-viewpoint distance calculation unit 201 captures the distance ( ⁇ Va, ⁇ Vb, ⁇ Vc) from the position V0 where the encoding target image is captured to the position where the reference image of each adjacent block is captured, and the encoding target image.
  • a distance ⁇ Vr from the position V0 to the position where the reference image of the encoding target block is captured is calculated using the camera parameter CP.
  • the inter-viewpoint distance calculation unit 201 includes information indicating the distances ( ⁇ Va, ⁇ Vb, ⁇ Vc) from the position V0 where the encoding target image is captured to the position where the reference image of each adjacent block is captured, and the encoding target image is Information indicating the distance ⁇ Vr from the imaged position V0 to the position where the reference image of the encoding target block is imaged is output to the parallax vector scaling unit 213.
  • the target block reference information determination unit 211 reads the reference information NR of the adjacent block from the reference information storage memory 107. The target block reference information determination unit 211 determines whether the reference information NR of the encoding target block is a disparity vector or a motion vector. Then, when the reference information TR of the encoding target block is a disparity vector, the target block reference information determination unit 211 outputs the reference information NR of the adjacent block to the disparity vector scaling unit 213, and the encoding target block When the block reference information TR is a motion vector, the reference information NR of the adjacent block is output to the motion vector scaling unit 214.
  • the disparity vector scaling unit 213 determines the adjacent block based on the relationship between the reference image of the encoding target block, the reference image of the adjacent block adjacent to the encoding target block, and the encoding target image.
  • the reference information NR is corrected.
  • the parallax vector scaling unit 213 performs this correction on all selected adjacent blocks.
  • the disparity vector scaling unit 213 receives the reference information NR of the adjacent block from the target block reference information determination unit 211
  • the encoding target image input from the inter-viewpoint distance calculation unit 201 is captured.
  • the size of the reference information NR of each adjacent block is adjusted (scaled).
  • the disparity vector scaling unit 213 includes the distance Dr between the position V0 where the encoding target image is captured and the position Vr where the encoding target block reference image is captured, and the encoding target image. Is a distance ⁇ Vi between the position V0 where the image is captured and the position Vi where i is the reference image of the i-th adjacent block (i is an index of the adjacent block, a positive integer), the i-th adjacent block
  • the reference information NR of the i-th adjacent block is corrected by multiplying the reference information NR by the distance ⁇ Vr and dividing by the distance ⁇ Vi.
  • the disparity vector scaling unit 213 uses the reference information (DVaX ′, DVaY ′) obtained by scaling the reference information (DVaX, DVaY) of the adjacent block A illustrated in FIG. 4 by the following formulas (1) and (2). Calculated by
  • DVaX ′ DVaX ⁇ ⁇ Vr / ⁇ Va (1)
  • DVaY ′ DVaY ⁇ ⁇ Vr / ⁇ Va (2)
  • the disparity vector scaling unit 213 obtains reference information (DVbX ′, DVbY ′) obtained by scaling the reference information (DVbX, DVbY) of the adjacent block B shown in FIG. ).
  • DVbX ′ DVbX ⁇ ⁇ Vr / ⁇ Vb (3)
  • DVbY ′ DVbY ⁇ ⁇ Vr / ⁇ Vb (4)
  • the disparity vector scaling unit 213 obtains reference information (DVcX ′, DVcY ′) obtained by scaling the reference information (DVcX, DVcY) of the adjacent block C shown in FIG. ).
  • DVcX ′ DVcX ⁇ ⁇ Vr / ⁇ Vc (5)
  • DVcY ′ DVcY ⁇ ⁇ Vr / ⁇ Vc (6)
  • the parallax vector scaling unit 213 does not perform scaling. Then, the disparity vector scaling unit 213 outputs the reference information SNR of the adjacent blocks after each scaling to the prediction information generation unit 605.
  • FIG. 5 is a diagram showing an encoding target block and motion vectors of adjacent blocks.
  • an image 401 is a target image to be encoded
  • an image 402 is a reference image of an encoding target block
  • images 403a, 403b, and 403c are adjacent block A, adjacent block B, and adjacent block C, respectively.
  • This is a reference image.
  • (MVaX, MVaY), (MVbX, MVbY), and (MVcX, MVcY) represent the reference information NR of the adjacent block A, the adjacent block B, and the adjacent block C, respectively.
  • (MVaX ′, MVaY ′), (MVbX ′, MVbY ′), (MVcX ′, MVcY ′) are the reference information NR of each adjacent block after the reference information SNR of the adjacent block after scaling in the motion vector scaling unit 214.
  • the encoding target image 401, the encoding target block reference image 402, the adjacent block A reference image 403a, and the adjacent block B reference image 403b are adjacent to each other. This is the time when the reference image 403c of block C was captured.
  • the frame interval calculation unit 202 receives the camera parameter CP from the outside of the own apparatus.
  • the frame interval calculation unit 202 captures, from the camera parameter CP, the time T0 when the encoding target image 401 is captured, the time Tr when the encoding target block reference image 402 is captured, and the reference image 403a of the adjacent block A.
  • the extracted time Ta, the time Tb when the reference image 403b of the adjacent block B is captured, and the time Tc when the reference image 403c of the adjacent block C is captured are extracted.
  • the frame interval calculation unit 202 captures the time ( ⁇ Ta, ⁇ Tb, ⁇ Tc) from the time when the encoding target image is captured to the time when the reference image of each adjacent block is captured, and the encoding target image is captured.
  • the time ⁇ Tr from the time to the time when the reference image of the encoding target block is captured is calculated using the camera parameter CP, and information indicating the time ( ⁇ Ta, ⁇ Tb, ⁇ Tc) and information indicating the time ⁇ Tr Are output to the motion vector scaling unit 214.
  • the motion vector scaling unit 214 When receiving the adjacent block reference information NR from the target block reference information determining unit 211, the motion vector scaling unit 214 captures the reference image of the encoding target block, the reference image of the adjacent block, and the encoding target image, respectively. The reference information NR of the adjacent block is corrected based on the relationship of the determined times. The motion vector scaling unit 214 performs this correction on all selected adjacent blocks.
  • the motion vector scaling unit 214 receives the reference information NR of the adjacent block from the target block reference information determination unit 211, the encoding target image input from the frame interval calculation unit 202 is captured.
  • the size of the reference information NR of each adjacent block is adjusted (scaled) based on the information indicating the time ⁇ Tr until the time.
  • the motion vector scaling unit 214 includes the time difference ⁇ Tr between the time T0 when the encoding target image is captured and the time Tr when the encoding target block reference image is captured, and the encoding target image.
  • the time difference ⁇ Tj between the time T0 when the reference image is captured and the time Tj when the reference image of the jth adjacent block is captured j is an index of the adjacent block and is a positive integer
  • the reference information NR of the adjacent block is corrected by multiplying the time difference ⁇ Tr and dividing by the time difference ⁇ Tj.
  • the motion vector scaling unit 214 scales the reference information (MVaX, MVaY) of the adjacent block A shown in FIG. 5 based on the information indicating the time ⁇ Ta and the information indicating the time ⁇ Tr. ', MVaY') is calculated by the following formulas (7) and (8).
  • MVaX ′ MVaX ⁇ ( ⁇ Tr) / ( ⁇ Ta) (7)
  • MVaY ′ MVaY ⁇ ( ⁇ Tr) / ( ⁇ Ta) (8)
  • the motion vector scaling unit 214 scales the reference information (MVbX, MVbY) of the adjacent block B shown in FIG. 5 based on the information indicating the time ⁇ Tb and the information indicating the time ⁇ Tr.
  • MVbX ′, MVbY ′) are calculated by the following formulas (9) and (10).
  • the motion vector scaling unit 214 scales the reference information (MVcX, MVcY) of the adjacent block C shown in FIG. 5 based on the information indicating the time ⁇ Tc and the information indicating the time ⁇ Tr.
  • MVcX ′ and MVcY ′) are calculated by the following equations (11) and (12).
  • MVcX ′ MVcX ⁇ ( ⁇ Tr) / ( ⁇ Tc) (11)
  • MVcY ′ MVcY ⁇ ( ⁇ Tr) / ( ⁇ Tc) (12)
  • the motion vector scaling unit 214 outputs the reference information SNR of the adjacent block after scaling to the representative value calculation unit 215.
  • the representative value calculation unit 215 uses the reference information SNR of the adjacent blocks after scaling input by the parallax vector scaling unit 213 or the motion vector scaling unit 214, and uses a predetermined number (three as an example in the present embodiment).
  • the median of the horizontal component and the median of the vertical component in the reference information are calculated.
  • the representative value calculation unit 215 generates prediction information PV having the horizontal component median as the horizontal component and the vertical component median as the vertical component, and outputs information indicating the prediction information PV to the first subtraction unit 113.
  • the representative value calculation unit 215 calculates the median value of each component of the reference information SNR of the adjacent block after the predetermined number of scalings.
  • the average value of the respective components of the reference information SNR of the adjacent block may be calculated, or the mode value of a predetermined number of reference information may be extracted.
  • FIG. 6 is a flowchart illustrating processing of the image encoding device 100 according to the first embodiment.
  • a plurality of images with the same viewpoint as the encoding target image and an image with a different viewpoint at the same time as the encoding target image have already been encoded, and the encoding target image is also up to the block immediately before the encoding target image.
  • the data has been encoded and the result is stored in the reference image memory 106, the reference information storage memory 107, and the reference image designation information storage memory 110.
  • image data GD of an image to be encoded is input from the image input unit 101 (step S101).
  • the block matching execution unit 102 divides the input encoding target image into blocks.
  • the block matching execution unit 102 performs encoding for each block.
  • the image encoding apparatus 100 repeatedly executes the following processing (steps S102 to S115) until all blocks in the encoding target image are encoded.
  • the block matching execution unit 102 outputs information indicating the encoding mode to be applied to the encoding target block to the reference image selection unit 111, and the reference image selection unit 111 converts the reference image data necessary based on the information into the reference image.
  • the block matching execution unit 102 reads the designated reference image data from the reference image memory 106.
  • the reference image data is image data decoded by the difference image decoding unit 105 with respect to the difference image encoded data DE that has already been encoded by the difference image encoding unit 104.
  • the block matching unit 102 performs block matching in all coding modes (motion compensation interframe prediction coding, parallax compensation prediction coding) for each block (step S103).
  • the block matching execution unit 102 selects an encoding mode with the highest encoding efficiency based on the matching residual that is the result of the block matching and the reference information (step S104).
  • the block matching execution unit 102 stores the reference information in the reference information storage memory 107 (step S105).
  • the reference image selection unit 111 stores the reference image designation information RA output from the block matching execution unit 102 in the reference image designation information storage memory 110 (step S106).
  • the reference information prediction unit 108 generates prediction information (step S107).
  • the subtraction unit 113 takes the difference between the reference information and the prediction information and generates difference reference information DR (step S108).
  • the reference image selection unit 111 reads the reference image data designated by the reference image designation information RA from the reference image memory 106 and causes the read reference image data to be output to the predicted image generation unit 103.
  • the predicted image generation unit 103 generates predicted image data from the received reference image data and reference information.
  • the subtraction unit 113 takes the difference between the encoding target block and the generated predicted image data, and generates difference image data (step S109).
  • the reference image designation information encoding unit 112 encodes the reference image designation information RA, and generates reference image designation information code data RAE as a result.
  • the difference reference information encoding unit 109 encodes the difference reference information DR and generates difference reference information encoded data DRE as a result.
  • the differential image encoding unit 104 encodes the differential image and generates differential image encoded data DE as a result (step S110). Then, the image encoding device 100 outputs these three encoded data to the outside of the own device.
  • step S111 When the encoding target image is used as a reference image in later encoding (step S111: YES), the difference image decoding unit 105 decodes the encoded difference image (step S112). Next, the adding unit 115 adds the pixel value of the pixel of the decoded difference image and the pixel value of the pixel corresponding to the position of the pixel in the predicted image to generate decoded image data (step S113). The generated decoded image data is stored in the reference image memory 106 (step S114). If all blocks in the encoding target image have not been processed, the image encoding apparatus 100 returns to step S103, and if all blocks in the encoding target image have been processed, the processing ends (step S115). .
  • step S111 when the encoding target image is not used as a reference image in later encoding (NO in step S111), the process proceeds to step S115.
  • step S115 the image encoding apparatus 100 returns to step S103 if it has not processed all blocks in the encoding target image, and ends the processing if it has processed all blocks in the encoding target image ( Step S115). Above, the process of this flowchart is complete
  • FIG. 7 is a flowchart showing the processing of the reference information prediction unit 108 in the first embodiment, and is a flowchart showing details of the processing in step S107 of FIG.
  • the reference information prediction unit 108 performs the following processing (steps S202 to S207) for each adjacent block by the number of adjacent blocks.
  • the target block reference information determination unit 211 acquires reference image designation information RA of an encoding target block and reference information NR of an adjacent block (step S202). Then, the target block reference information determination unit 211 determines whether or not the reference information of the encoding target block is a disparity vector (step S203).
  • the target block reference information determination unit 211 When the reference information of the encoding target block is a disparity vector (YES in step S203), the target block reference information determination unit 211 outputs the reference information NR of the adjacent block to the disparity vector scaling unit 213 for the process of step S204. move on. On the other hand, when the reference information of the encoding target block is not a disparity vector (NO in step S203), the target block reference information determination unit 211 outputs the reference information NR of the adjacent block to the motion vector scaling unit 214, and step S206. Proceed to the process.
  • step S204 the inter-viewpoint distance calculation unit 201 and the viewpoint Vr to which the reference image of the encoding target block (for example, 302 in FIG. 4) belongs and the reference image of the adjacent block (for example, 303a in FIG. 4).
  • the inter-viewpoint distance calculation unit 201 derives the coordinate position of the imaging device captured at each viewpoint V0, Vr, Va, Vb, Vc from the camera parameter CP, and the inter-viewpoint distances ⁇ Vr, ⁇ Va, ⁇ Vb and ⁇ Vc are calculated (see FIG. 4), and the process proceeds to step S205.
  • step S205 the parallax vector scaling unit 213 scales the reference information NR of adjacent blocks based on the above-described distances ⁇ Vr, ⁇ Va, ⁇ Vb, and ⁇ Vc between the viewpoints. Then, the parallax vector scaling unit 213 outputs the scaled adjacent block reference information to the representative value calculation unit 215.
  • step S206 the frame interval calculation unit 202 determines the time ( ⁇ Ta, ⁇ Tb, ⁇ Tc) from the time when the encoding target image is captured to the time when the reference image of each adjacent block is captured, and the encoding target image.
  • a time ⁇ Tr from the time when the reference image of the coding target block is captured to the time when the reference image of the encoding target block is captured is calculated using the camera parameter CP.
  • step S207 the motion vector scaling unit 214 converts the reference information NR of the adjacent block into the reference image of the encoding target block (for example, 402 in FIG. 5) and the reference image of the adjacent block (for example, FIG. 5).
  • 403a, 403b, and 403c) and an image to be encoded are scaled based on the time at which the images were captured.
  • the prediction information generation unit 210 proceeds to the process of step S209 if processing has been performed for all adjacent blocks, and returns to the process of step S202 if unprocessed adjacent blocks remain.
  • the representative value calculation unit 605 uses the reference information output from the disparity vector scaling unit 213 or the motion vector scaling unit 214 to calculate the median value of the horizontal component of the reference information and the median value of the vertical component of the reference information. Prediction information having a horizontal component and a vertical component, respectively, is generated (step S209). Above, the process of this flowchart is complete
  • the reference information prediction unit 108 performs scaling based on the viewpoint interval obtained from the camera parameter CP with respect to the reference information NR of the adjacent block. Therefore, the image encoding device 100 can reduce the difference between the disparity vector of the encoding target block and the prediction information. Thereby, the image coding apparatus 100 can improve coding efficiency.
  • Image decoding device Next, the image decoding apparatus 500 according to the first embodiment that decodes the data encoded by the above-described image encoding apparatus 100 will be described. First, an overview of the image decoding apparatus 500 in the first embodiment will be described.
  • the image decoding device 500 is intended to decode the image encoded by the image encoding device 100.
  • the image decoding device 500 When the reference image designation information RA designates a decoding target image and a different viewpoint image, the image decoding device 500 provides a space between the decoding target image, the reference image of the decoding target block, and the reference image of the adjacent block. Based on the camera parameter CP, the reference information NR of the adjacent block is scaled based on the relationship, and the prediction information PV is generated from the reference information SNR of the scaled adjacent block. Then, the sum of the difference reference information DR and the prediction information PV of the decoding target block is taken, and the reference information is decoded. Thereby, the image decoding apparatus 500 can decode the image encoded by the image encoding apparatus 100.
  • FIG. 8 is a functional block diagram illustrating a configuration of the image decoding device 500 according to the first embodiment.
  • the image decoding apparatus 500 includes a difference image decoding unit 501, a difference reference information decoding unit 502, a reference frame designation information decoding unit 503, a predicted image generation unit 504, a reference image memory 505, A reference information storage memory 506, a reference information prediction unit 108, a reference image designation information storage memory 507, a first addition unit 508, and a second addition unit 509 are provided.
  • the image decoding apparatus 500 includes a reference information prediction unit 108 as in the case of the image encoding apparatus 100.
  • the differential image decoding unit 501 receives differential image encoded data DE input from the outside. Similar to the difference image decoding unit 105 in FIG. 1, the difference image decoding unit 501 performs variable-length decoding on the difference image encoded data DE, further performs inverse quantization, and performs decoding by performing inverse DCT conversion. The DF is output to the second adder 509.
  • the difference reference information decoding unit 502 decodes the difference reference information encoded data DRE by variable length decoding, and outputs the difference reference information DR obtained by the decoding to the first addition unit 508.
  • the reference image designation information decoding unit 503 receives reference image designation information encoded data RAE input from the outside.
  • the reference image designation information decoding unit 503 decodes the reference image designation information encoded data RAE by variable length decoding, and outputs the decoded reference image designation information RA to the predicted image generation unit 504. Further, for subsequent decoding processing, the reference image designation information decoding unit 503 stores the decoded reference image designation information RA in the reference image designation information storage memory 507.
  • the data (difference image encoded data DE, difference reference information encoded data DRE, reference image designation information encoded data RAE) is input in units corresponding to blocks in the image encoding device 100, and the image decoding device 500 Decoding is performed in the input block order.
  • the reference information prediction unit 108 performs prediction information based on the camera parameters CP, the reference image designation information RA, and the reference information NR of each adjacent block.
  • a PV is generated, and information indicating the generated prediction information PV is output to the first addition unit 508.
  • the first addition unit 508 calculates the sum of the horizontal components and the vertical components of the difference reference information DR input from the difference reference information decoding unit 502 and the prediction information PV input from the prediction information generation unit 108.
  • the reference information TR of the decoding target block is calculated, and the calculated reference information is output to the predicted image generation unit 504.
  • the first addition unit 508 stores the acquired reference information TR of the decoding target block in the reference information storage memory 506 as reference information R.
  • the predicted image generation unit 504 reads the reference image data RD corresponding to the reference image designation information RA input from the reference image designation information decoding unit 503 from the reference image memory 505.
  • the predicted image generation unit 504 refers to each decoding target block based on the reference image data RD read from the reference image memory 505 and the decoding target block reference information TR input from the first addition unit 508.
  • Predictive image data PD is generated by arranging the image data in the region in the reference image indicated by the information TR at the position of the decoding target block.
  • the predicted image generation unit 504 outputs the generated predicted image data PD together with the reference image designation information RA to the second addition unit 509.
  • the second addition unit 509 receives the input of the difference image data DF from the difference image decoding unit 501 and receives the input of the prediction image data PD from the prediction image generation unit 504. For each pixel of the difference image data, the second addition unit 509 calculates the sum of the pixel value of the pixel and the pixel value of the pixel at the position corresponding to the pixel in the predicted image data PD, thereby obtaining decoded image data.
  • DD is generated, and the decoded image data DD is output to the outside of the device itself.
  • the second addition unit 509 determines whether or not the decoded image data DD is used as a reference image in subsequent decoding based on the reference image designation information input from the predicted image generation unit 504. When it is determined that the decoded image is used as a reference image in later decoding, the second adding unit 509 stores the decoded image data DD in the reference image memory 505.
  • FIG. 9 is a flowchart showing the processing of the image decoding apparatus 500 in the first embodiment.
  • a process executed when the image decoding apparatus 500 receives encoded data corresponding to a moving image of two viewpoints will be described according to this flowchart.
  • a plurality of images having the same viewpoint as the decoding target image and an image of another viewpoint having the same time axis as the decoding target image have already been decoded, and the decoding target image has also been decoded up to an intermediate block.
  • the difference image decoding unit 501, the difference reference information decoding unit 502, and the reference image designation information decoding unit 503 receive the difference image encoded data DE, the difference reference information encoded data DRE, and the reference image designation information encoded data RAE, respectively.
  • the data is input in units corresponding to blocks in the image encoding device 100 in FIG. 1, and the image decoding device 500 performs decoding in the order of the input blocks.
  • the image decoding apparatus 500 repeatedly executes the following processing until all blocks in the decoding target image are decoded (steps S303 to S313).
  • the reference image designation information decoding unit 503 decodes the reference image designation information encoded data RAE and acquires the reference image designation information RA (step S303).
  • the reference image designation information decoding unit 503 stores the decoded reference image designation information RA in the reference image designation information storage memory 507 (step S304).
  • the reference information prediction unit 108 performs the same processing as the reference information prediction unit 108 of the image encoding device 100, and generates prediction information PV (step S305).
  • the difference reference information decoding unit 502 decodes the difference reference information encoded data DRE and acquires the difference reference information DR (step S306).
  • the first addition unit 508 takes the sum of the difference reference information DR decoded by the difference reference information decoding unit 502 and the prediction information PV generated by the prediction information generation unit 108 to obtain the decoding target block.
  • Reference information TR is calculated (step S307).
  • the first addition unit 508 stores the generated reference information TR of the decoding target block as reference information R in the reference information storage memory 506 (step S308).
  • the predicted image generation unit 404 generates predicted image data PD from the reference image data RD read from the reference image memory 505 and the reference information TR of the decoding target block input from the first addition unit 208 (Ste S309).
  • the difference image decoding unit 501 decodes the difference image encoded data DE and obtains the difference image DF (step S310).
  • the second addition unit 409 is a pixel value of the pixel of the difference image DF acquired by the difference image decoding unit 401 and a position corresponding to the pixel of the difference image DF in the prediction image PD acquired by the prediction image generation unit 404.
  • the decoded image data DD is obtained by calculating the sum of the pixel values of all of the pixels for all the pixels (step S311), and the decoded image data DD is output to the outside of the image decoding apparatus 400 as an output.
  • the second adding unit 509 determines whether or not the decoded image data DD is used as reference image data RD in the subsequent decoding (step S312). When it is determined that the decoded image data DD is used as the reference image data RD in the subsequent decoding (step S312: YES), the second addition unit 509 stores the decoded image data DD in the reference image memory 505 (step S312). S313). If the second adder 509 does not determine that the decoded image data DD will be used as the reference image data RD in the subsequent decoding (NO in step S312), the process proceeds to step S314.
  • the image decoding apparatus 500 returns to step S303 and repeats the process until decoding of all the blocks included in the image is completed.
  • the second addition unit 509 outputs all the images displayed before the decoding target image in time, and then outputs the decoding target decoded image data DD to the outside of the device itself. Above, the process of this flowchart is complete
  • the reference information prediction unit 108 performs scaling based on the viewpoint interval obtained from the camera parameter CP with respect to the reference information NR of the adjacent block.
  • the prediction information PV is generated.
  • the image decoding apparatus 500 generates predicted image data PD by taking the sum of the prediction information PV and the difference reference information DR, and the predicted image data PD in the pixel value of the generated predicted image data PD and the difference image data DF.
  • the decoded image data DD is generated by calculating the sum of the pixel values corresponding to the pixel positions of all the pixels.
  • the image decoding apparatus 500 can decode the differential image encoded data DE encoded by the image encoding apparatus 100, thereby realizing the image encoding apparatus 100 with improved encoding efficiency. it can.
  • the moving picture coding apparatus disclosed in Patent Literature 1 corrects the motion vector of each adjacent block based on the temporal relationship or time information between the reference picture referred to by the encoding target block and the reference picture referenced by the neighboring block. To do. However, although the interval between frames in the time direction is constant, the interval between cameras in the viewpoint direction is not always constant.
  • the moving image encoding device of Patent Literature 1 cannot accurately correct the motion vector of the adjacent block. There was a problem that there was.
  • the reference image is an image of another viewpoint
  • the reference information prediction unit 108 in the present embodiment acquires the camera interval from the camera parameter and corrects the motion vector of the adjacent block using the camera interval. Therefore, the motion vector of the adjacent block can be accurately corrected.
  • the image coding apparatus 100 performs scaling on the reference information NR of each adjacent block, and then generates prediction information PV from the reference information SNR of the adjacent block after scaling.
  • the image encoding device 100a first generates a representative vector RV from the reference information SNR of adjacent blocks, and performs prediction information correction by correcting the representative vector RV by scaling in the time direction or the viewpoint direction. PV is generated.
  • the image coding apparatus 100a in this embodiment can reduce the frequency
  • FIG. 10 is a functional block diagram illustrating a configuration of the image encoding device 100a according to the second embodiment. Elements common to those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the configuration of the image encoding device 100a in FIG. 10 is obtained by changing the reference information prediction unit 108 to a reference information prediction unit 108a with respect to the configuration of the image encoding device 100 in FIG.
  • the reference information prediction unit 108 a Similar to the reference information prediction unit 108 in FIG. 1, the reference information prediction unit 108 a generates prediction information PV based on the camera parameter CP, the reference image designation information RA, and the reference information NR of each adjacent block, Information indicating the generated prediction information PV is output to the first subtraction unit 113.
  • FIG. 11 is a functional block diagram showing the configuration of the reference information prediction unit 108a in the second embodiment. Elements common to those in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the configuration of the reference information prediction unit 108a in FIG. 11 is different from the configuration of the reference information prediction unit 108 in FIG. 2 in that the inter-viewpoint distance calculation unit 201 is the inter-viewpoint distance calculation unit 201a and the frame interval calculation unit 202 is the frame interval calculation.
  • the prediction information generation unit 210 is changed to a prediction information generation unit 210a.
  • the prediction information generation unit 210a includes a representative value calculation unit 215a, an adjacent block reference information determination unit 601, a disparity vector scaling unit (disparity correction unit) 213a, and a motion vector scaling unit 214a.
  • the representative value calculation unit 215a uses the reference information NR of each adjacent block to set the horizontal value and the vertical value of the reference information NR of each adjacent block as the horizontal and vertical components of the representative vector, respectively. By calculating, information indicating the representative vector RV is generated.
  • the representative value calculation unit 215a outputs information indicating the generated representative vector RV to the adjacent block reference information determination unit 601, the inter-viewpoint distance calculation unit 201a, and the frame interval calculation unit 202a.
  • the adjacent block reference information determination unit 601 reads from the reference image designation information storage memory 110 an adjacent block having reference information selected as the representative vector RV from the information indicating the representative vector RV input from the representative value calculation unit 215a. .
  • the adjacent block reference information determination unit 601 determines whether the reference information selected for the representative vector RV is a disparity vector based on the read reference image designation information RA. If the reference information selected for the representative vector RV is a disparity vector, the adjacent block reference information determination unit 601 outputs information indicating the representative vector RV to the disparity vector scaling unit 603. On the other hand, if the reference information of the reference information selected as the representative vector RV is not a disparity vector, the adjacent block reference information determination unit 601 outputs information indicating the representative vector RV to the motion vector scaling unit 604.
  • the inter-viewpoint distance calculation unit 201a extracts, from the information indicating the representative vector RV, the position Vm at which the image pointed to by the representative vector RV is imaged from the camera parameter CP input from the outside based on each block of the encoding target image. . Further, the inter-viewpoint distance calculation unit 201a extracts the position Vr where the reference image of the block of the encoding target image is captured from the camera parameter CP input from the outside.
  • a distance ⁇ Vr ( V0 ⁇ Vr), which is a difference from the position Vr with reference to the above, is calculated.
  • the inter-viewpoint distance calculation unit 201a outputs information indicating the calculated distance ⁇ Vm and information indicating the distance ⁇ Vr to the parallax vector scaling unit 213a.
  • the disparity vector scaling unit 213a generates prediction information PV in which the representative vector is corrected by multiplying the representative vector RV by a value ( ⁇ Vr / ⁇ Vm) obtained by dividing the distance ⁇ Vr by the distance ⁇ Vm, and indicates the prediction information PV Is output to the first subtractor 113.
  • the frame interval calculation unit 202a extracts, from the information indicating the prediction information PV, the time Tm when the image indicated by the prediction information PV is captured from the camera parameter CP input from the outside with each block of the encoding target image as a reference.
  • the frame interval calculation unit 202a extracts the time Tr when the reference image of the block of the encoding target image is captured from the camera parameter CP input from the outside.
  • the frame interval calculation unit 202a outputs information indicating the calculated time ⁇ Tm and information indicating the time ⁇ Tr to the motion vector scaling unit 214a.
  • the motion vector scaling unit 214a generates prediction information PV in which the representative vector RV is corrected by multiplying the representative vector RV by a value ( ⁇ Tr / ⁇ Tm) obtained by dividing the time ⁇ Tr by the time ⁇ Tm.
  • the indicated information is output to the first subtraction unit 113.
  • FIG. 12 is a flowchart showing the processing of the reference information prediction unit 108a in the second embodiment.
  • a method of generating prediction information for one encoding target block will be described with reference to the flowchart of FIG.
  • the representative value calculation unit 215a obtains reference image designation information RA of adjacent blocks and reference information NR of adjacent blocks (Step S401). Then, the representative value calculation unit 215a generates a representative vector RV by taking the median value for each component using the reference information NR of the adjacent block (step S402).
  • the adjacent block reference information determination unit 601 determines whether or not the reference information selected as the representative vector RV is a disparity vector from the reference image specification information RA of the block specified by the prediction information (step S403).
  • the adjacent block reference information determination unit 601 outputs information indicating the representative vector RV to the disparity vector scaling unit 213a, and the process returns to step S404. move on.
  • the inter-viewpoint distance calculation unit 201a calculates the distance between the viewpoints (step S404).
  • the parallax vector scaling unit 213a generates the prediction information PV by scaling the representative vector RV based on the distance between the viewpoints (step S405).
  • the adjacent block reference information determination unit 601 outputs information indicating the prediction information PV to the motion vector scaling unit 214a.
  • the process proceeds to step S406.
  • the frame interval calculation unit 202a calculates the time between frames (step S404).
  • the motion vector scaling unit 214a generates the prediction information PV by scaling the representative vector RV based on the time between frames (step S407).
  • the reference information prediction unit 108a of the present embodiment does not scale the reference information NR of each adjacent block as in the first embodiment, but first represents the representative vector RV from the reference information NR of the adjacent block.
  • the prediction information PV is generated by scaling the representative vector RV in the time direction or the viewpoint direction, so that the number of times of scaling can be reduced as compared with the reference information prediction unit 108 of the first embodiment.
  • the processing time required to generate the prediction information can be shortened.
  • the image coding apparatus 100a of this embodiment can shorten the process time concerning encoding rather than the image coding apparatus 100 of 1st Embodiment.
  • FIG. 13 is a functional block diagram illustrating a configuration of the image decoding device 500a according to the second embodiment.
  • symbol is attached
  • the configuration of the image decoding device 500a in FIG. 13 is obtained by changing the reference information prediction unit 108 to a reference information prediction unit 108a with respect to the configuration of the image decoding device 500 in FIG.
  • the reference information prediction unit 108a can reduce the processing time required to generate prediction information as compared with the reference information prediction unit 108 according to the first embodiment.
  • the apparatus 500a can shorten the processing time required for decoding, compared to the image composition apparatus 500 of the first embodiment.
  • the image encoding device 100 performs scaling on the reference information NR of each adjacent block, and then generates prediction information PV from the reference information NR of the adjacent block after scaling.
  • the image encoding apparatus 100 performs prediction using the reference information of the adjacent block as the reference information of the adjacent block when the reference information of the block to be encoded is the disparity vector.
  • the information PV is calculated, the accuracy of the prediction information PV may deteriorate.
  • the image encoding device 100b uses the reference information NR of the adjacent block excluding the reference information whose reference information NR of the adjacent block is a motion vector. Prediction information PV is generated, or when the reference information TR of the encoding target block is a motion vector, prediction is performed using the reference information NR of the adjacent block excluding the reference information whose reference information NR of the adjacent block is a disparity vector Information PV is generated.
  • the image encoding device 100b calculates the prediction information PV based on the reference information in which the reference information NR of the adjacent block is a motion vector when the reference information TR of the encoding target block is a disparity vector, or
  • the prediction information PV can be prevented from being calculated based on the reference information whose reference information NR of the adjacent block is a disparity vector.
  • the image encoding device 100b can always maintain the accuracy of the prediction information at a predetermined accuracy.
  • FIG. 14 is a functional block diagram illustrating a configuration of the image encoding device 100b according to the third embodiment. Elements common to those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the configuration of the image encoding device 100b in FIG. 14 is obtained by changing the reference information prediction unit 108 to a reference information prediction unit 108b with respect to the configuration of the image encoding device 100 in FIG.
  • the reference information prediction unit 108b generates prediction information PV based on the camera parameter CP, the reference image designation information RA, and the reference information NR of each adjacent block, similarly to the reference information prediction unit 108 in FIG.
  • Information indicating the generated prediction information PV is output to the first subtraction unit 113.
  • FIG. 15 is a functional block diagram showing the configuration of the reference information prediction unit 108b in the third embodiment. Elements common to those in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the configuration of the reference information prediction unit 108b in FIG. 15 is obtained by changing the prediction information generation unit 210 to a prediction information generation unit 210b with respect to the configuration of the reference information prediction unit 108 in FIG.
  • the prediction information generation unit 210b includes a reference information determination unit for both blocks 602, a parallax vector scaling unit (parallax correction unit) 213b, a motion vector scaling unit 214b, and a representative value calculation unit 215b.
  • the reference information determination unit for both blocks 602 determines whether the reference information NR of the adjacent block and the reference information TR of the encoding target block are both disparity vectors or both are motion vectors. If both the reference information TR of the adjacent block and the encoding target block are disparity vectors, the reference information determination unit 602 for both blocks outputs the reference information NR of the adjacent block to the disparity vector scaling unit 213b. . On the other hand, when both reference information TR of the adjacent block and the encoding target block are motion vectors, the reference information determination unit 602 for both blocks outputs the reference information NR of the adjacent block to the motion vector scaling unit 214b. .
  • the reference information determination unit 602 for both blocks sets the horizontal component and the vertical component to 0.
  • the adjacent block reference information NR0 is output to the representative value calculation unit 215b.
  • the disparity vector scaling unit 213 b receives the reference information NR of the adjacent block input from the block reference information determination unit 602 from the inter-viewpoint distance calculation unit 201. Scaling is performed based on the information indicating the distance between the viewpoints, and the reference information SNR of the adjacent block after scaling is output to the representative value calculation unit 215b.
  • the motion vector scaling unit 214 b uses the reference information NR of the adjacent block input from the block reference information determination unit 602 as the frame input from the frame interval calculation unit 202. Scaling is performed based on the information indicating the time between, and the reference information SNR of the adjacent block after scaling is output to the representative value calculation unit 215b.
  • the representative value calculation unit 215b receives the reference information NR information of the adjacent block in which the horizontal component and the vertical component are set to 0 by the block reference information determination unit 602, or the parallax vector scaling unit 213b or the motion vector scaling unit 214b.
  • the generated reference information SNR of the adjacent block after scaling is received as an input.
  • the representative value calculation unit 215b refers to the reference information of the remaining one adjacent block. If the NR is the prediction information PV and the number is other than two, the prediction information PV is generated in which the median value of the horizontal component and the median value of the vertical component are the horizontal and vertical components of the prediction information PV, respectively.
  • the representative value calculation unit 215b outputs information indicating the generated prediction information PV to the first subtraction unit 113.
  • FIG. 16 is a flowchart showing the processing of the reference information prediction unit 108b in the third embodiment.
  • a method for generating prediction information of one encoding target block will be described with reference to the flowchart of FIG.
  • the reference information prediction unit 108b performs the following processing (steps S502 to S509) for each adjacent block.
  • the reference information determination unit for both blocks 602 acquires the reference image designation information RA of the encoding target block, the reference image designation information RA of the adjacent block, and the reference information NR of the adjacent block (step S502).
  • the reference information determination unit for both blocks 602 determines whether the reference direction of the encoding target block and the adjacent block is the same, that is, whether both the reference information of the adjacent block and the encoding target block are disparity vectors, or It is determined whether or not both are motion vectors (step S503).
  • step S503 if the reference direction of the encoding target block and the adjacent block are not the same (NO in step S503), the horizontal component and vertical component of the reference information NR of the adjacent block are set to 0 (step S509), and the adjacent The block reference information NR0 is output to the representative value calculation unit 215b.
  • the reference information prediction unit 108b proceeds to the process of step S511 if the processes from step S502 to step S509 are performed for all the adjacent blocks, and if the unprocessed adjacent block remains, the process of step S502 is performed. Return to.
  • step S503 the block reference information determination unit 602 proceeds to the process of step S504.
  • the reference information prediction unit 108b performs the processing from steps S505 to S508 in the same manner as the processing from steps S204 to S207 in FIG.
  • the representative value calculation unit 215b includes the reference information NR0 of the adjacent block in which the horizontal component and the vertical component output by the reference information determination unit 602 for both blocks are set to 0, or a scaling unit for the disparity vector. Prediction information is generated using the reference information SNR of the adjacent block after scaling output by 213b or the motion vector scaling unit 214b. Above, the process of this flowchart is complete
  • the reference information prediction unit 108b in the present embodiment uses the reference information excluding the reference information in which the reference information of the adjacent block is the motion vector when the reference information of the encoding target block is the disparity vector, to calculate the prediction information PV.
  • the prediction information PV is generated using the reference information excluding the reference information whose reference information of the adjacent block is a disparity vector.
  • the reference information prediction unit 108b calculates prediction information based on the reference information of the adjacent block that is a motion vector when the reference information of the encoding target block is a disparity vector, or refers to the encoding target block.
  • the information is a motion vector
  • prediction information can be prevented from being calculated based on reference information of adjacent blocks that are disparity vectors.
  • the reference information prediction unit 108b can always maintain the accuracy of the prediction information at a predetermined accuracy or higher, so that the image encoding device 100b always maintains the accuracy of the image encoding at a predetermined accuracy or higher.
  • FIG. 17 is a functional block diagram illustrating a configuration of an image decoding device 500b according to the third embodiment.
  • symbol is attached
  • the configuration of the image decoding device 500b in FIG. 17 is obtained by changing the reference information prediction unit 108 to a reference information prediction unit 108b with respect to the configuration of the image decoding device 500 in FIG.
  • the image decoding device 500b can decode the differential image encoded data DE encoded by the image encoding device 100b, so that the image encoding accuracy is always maintained at a predetermined accuracy or higher.
  • the image encoding device 100b that can be realized can be realized.
  • the representative value calculation unit (215, 215a, 215b) sets the median value for each component of the input information as the value of each component of the prediction information.
  • the average value or mode value for each component may be used as the value of each component of the prediction information. That is, the representative value calculation unit (215, 215a, 215b) may calculate a representative value for each component of each input information, and set each calculated representative value as a value of each component of the prediction information.
  • the reference information prediction unit (108, 108a, 108b) has been described as a part of the image encoding device (100, 100a, 100b), but is not limited thereto, and the reference information prediction unit (108, 108a, 108b). May be an independent device called a prediction information generation device.
  • a program for executing each process of the image encoding device (100, 100a, 100b), the image decoding device (500, 500a, 500b) or the reference information prediction unit (108, 108a, 108b) of the present embodiment An image encoding device (100, 100a, 100b) and an image decoding device (500, 500a) are recorded on a computer-readable recording medium, and the program recorded on the recording medium is read and executed by a computer system. 500b) or the reference information prediction unit (108, 108a, 108b) may be performed.
  • the “computer system” may include an OS and hardware such as peripheral devices. Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • the “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
  • the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (Dynamic) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc. that hold a program for a certain period of time.
  • the program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the program may be for realizing a part of the functions described above. Furthermore, what can implement
  • prediction information generation unit 211 ... target block reference information determination unit 213, 213a, 213b ... disparity vector Scaling unit (parallax correction unit) 214, 214a, 214b ... motion vector scaling units 215, 215a, 215b ... representative value calculation units 301, 401 ... encoding target images 302, 402 ... encoding target block reference images 303a, 403a ... adjacent block A reference Image 303b, 403b ... Reference image of adjacent block B 303c, 403c ... Reference image of adjacent block C 500, 500a, 500b ... Image decoding device 501 ... Differential image decoding unit 502 ... Differential reference information decoding unit 503 ... Reference image designation information decoding Unit 504 ...
  • predicted image generation unit 505 ... reference image memory 506 ; reference information storage memory 507 ... reference image designation information storage memory 508 ... first addition unit 509 ... second addition unit 601 ... reference information determination unit for adjacent block 602 ... Both block reference information determination unit

Abstract

画像符号化装置または画像復号装置が、対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と対象画像とがそれぞれ撮像された位置の関係に基づいて、該隣接ブロックの参照情報を補正する参照情報予測部を備える。

Description

予測情報生成方法、画像符号化方法、画像復号方法、予測情報生成装置、予測情報生成プログラム、画像符号化装置、画像符号化プログラム、画像復号装置および画像復号プログラム
　本発明は、予測情報生成方法、画像符号化方法、画像復号方法、予測情報生成装置、予測情報生成プログラム、画像符号化装置、画像符号化プログラム、画像復号装置および画像復号プログラムに関する。
　本願は、２０１１年２月７日に、日本に出願された特願２０１１－２３９４９号に基づき優先権を主張し、その内容をここに援用する。
従来の動画像符号化方式としてＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）－２、ＭＰＥＧ－４、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４方式などがある。これらの動画像符号化方式では、動き補償フレーム間予測符号化という動画像の時間方向の相関性を利用し符号量の削減を図る符号化方式を用いている。動き補償フレーム間予測符号化では、画像符号化装置は、符号化対象の画像をブロック単位に分割し、ブロックごとに動きベクトルを求めることで、効率的な符号化を実現している。　
さらに、非特許文献１にあるように、ＭＰＥＧ－４やＨ．２６４／ＡＶＣ規格では動きベクトルの圧縮率を向上させるために、画像符号化装置は、予測情報を生成し、符号化対象ブロックの動きベクトルと予測情報の差分を符号化している。具体的には、画像符号化装置は、符号化対象ブロックの上に隣接しているブロックと符号化対象ブロックに向かって右上に隣接しているブロックと、符号化対象ブロックに向かって左に隣接しているブロックの動きベクトル（ｍｖ＿ａ、ｍｖ＿ｂ、ｍｖ＿ｃ）の水平成分及び垂直成分それぞれの中央値を予測情報として生成する。
しかしながら、隣接ブロックが符号化対象ブロックの参照画像と異なる参照画像を用いて動き補償されていた場合、それらの動きベクトルを予測情報として用いると、参照画像の違いから予測情報が実際の動きベクトルから大きく外れ、符号化効率が低下するという問題がある。
この問題に対し、特許文献１では符号化対象画像と、符号化対象ブロックの参照画像と、隣接ブロックの参照画像との時間的な関係またはそれらの時刻情報に基づいて、隣接ブロックの動きベクトルをスケーリングすることによって、符号化対象ブロックの動きベクトルと予測情報の差が小さくなるようにしている。
また、近年、Ｈ．２６４規格にて、複数のカメラで同一の被写体や背景を撮影した複数の動画像である多視点動画像を符号化するための拡張規格であるＭＶＣ（Ｍｕｌｔｉｖｉｅｗ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）が策定された。この符号化方式では、カメラ間の相関性を表す視差ベクトルを利用して符号量の削減を図る視差補償予測符号化を用いている。また、視差補償予測の結果として検出される視差ベクトルに対しても、符号化対象ブロックの視差ベクトルと予測情報との差分を符号化することにより、符号量の削減が可能である。
特開２００９－２９０８８９号公報
大久保榮　監修、角野眞也、菊池義浩、鈴木輝彦　共編、改訂三版　Ｈ．２６４／ＡＶＣ教科書、インプレスＲ＆Ｄ
しかしながら、特許文献１の手法を視差ベクトルに対して適用しようとした場合、視点（映像が撮像された位置）間の距離間隔は、映像のフレーム方向の時間間隔（フレーム間隔）のように常に一定とは限らない。そのため、画像符号化装置が、視点間（映像が撮像された位置）の間隔として誤った値を用いることにより、隣接ブロックの視差ベクトルに対して誤ったスケーリングを行い、その結果、予測情報が符号化対象ブロックの視差ベクトルから外れ、符号化効率が低下するという問題がある。
そこで本発明は、上記問題に鑑みてなされたものであり、画像の符号化において優れた符号化効率を得ることを可能とする予測情報生成方法、画像符号化方法、予測情報生成装置、予測情報生成プログラム、画像符号化装置および画像符号化プログラムを提供する、またはその優れた符号化効率で符号化された画像を復号することを可能とする復号効率画像復号方法、画像復号装置および画像復号プログラムを提供することを課題とする。
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、符号化または復号の対象となる対象画像をブロックに分割し、符号化または復号の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を符号化もしくは復号するときに用いられる、前記予測情報を生成する予測情報生成装置が実行する予測情報生成方法であって、前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測手順を有することを特徴とする予測情報生成方法である。
（２）また、本発明の他の態様は、上述の予測情報生成方法であって、前記参照情報予測手順は、前記対象画像が撮像された位置を基準位置として、該基準位置と前記対象ブロックの参照情報を検出するために参照された参照画像が撮像された位置との距離である第１の距離と、前記基準位置と前記対象ブロックに隣接する隣接ブロックの参照情報を検出するために参照された参照画像が撮像された位置との距離である第２の距離とを算出する視点間距離算出手順と、前記算出された第１の距離と、前記算出された第２の距離と、前記隣接ブロックの参照情報とに基づいて、前記対象ブロックの予測情報を生成する予測情報生成手順と、を有することを特徴とする。
（３）また、本発明の他の態様は、上述の予測情報生成方法であって、前記予測情報生成手順は、前記第２の距離に対する第１の距離の比に基づいて、前記隣接ブロックの参照情報を補正する視差補正手順と、前記補正された隣接ブロックの参照情報に基づいて、代表値を算出する代表値算出手順と、を更に有することを特徴とする。
（４）また、本発明の他の態様は、上述の予測情報生成方法であって、前記予測情報生成手順は、前記対象ブロックの参照情報と、前記隣接ブロックの参照情報とが共に視差ベクトルであるか否か判定する両ブロック用参照情報判定手順を更に有し、前記代表値算出手順は、前記両ブロック用参照情報判定手順による判定結果が共に視差ベクトルでない場合、当該隣接ブロックの参照情報を除いた隣接ブロックの参照情報から代表値を算出することを特徴とする。
（５）また、本発明の他の態様は、上述の予測情報生成方法であって、前記予測情報生成手順は、前記対象ブロックの参照情報が視差ベクトルであるか否か判定する対象ブロック用参照情報判定手順を更に有し、前記視差補正手順は、前記対象ブロック用参照情報判定手順により前記対象ブロックの参照情報が視差ベクトルであると判定された場合、前記隣接ブロックの参照情報を補正することを特徴とする。
（６）また、本発明の他の態様は、上述の予測情報生成方法であって、前記予測情報生成手順は、前記隣接ブロックの参照情報に基づいて、代表ベクトルを算出する代表値算出手順と、前記第２の距離に対する第１の距離の比に基づいて、前記代表ベクトルを補正する視差ベクトル用スケーリング手順と、を更に有することを特徴とする。
（７）また、本発明の他の態様は、上述の予測情報生成方法であって、前記予測情報生成手順は、前記代表ベクトルに選ばれた参照情報が視差ベクトルであるか否か判定する隣接ブロック用参照情報判定手順を更に有し、前記視差補正手順は、前記隣接ブロック用参照情報判定手順により前記代表ベクトルに選ばれた参照情報が視差ベクトルであると判定された場合、前記代表ベクトルを補正することを特徴とする。
（８）また、本発明の他の態様は、符号化の対象となる対象画像をブロックに分割し、符号化の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を符号化することで、前記参照情報を符号化する画像符号化装置が実行する画像符号化方法であって、前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測手順を有することを特徴とする画像符号化方法である。
（９）また、本発明の他の態様は、復号の対象画像全体をブロックに分割し、復号の対象となる対象画像をブロックに分割し、復号の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を復号することで、前記参照情報を復号する画像復号装置が実行する画像復号方法であって、前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測手順を有することを特徴とする画像復号方法である。
（１０）また、本発明の他の態様は、符号化または復号の対象となる対象画像をブロックに分割し、符号化または復号の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を符号化もしくは復号するときに用いられる、前記予測情報を生成する予測情報生成装置であって、前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測部を備えることを特徴とする予測情報生成装置である。
（１１）また、本発明の他の態様は、符号化または復号の対象となる対象画像をブロックに分割し、符号化または復号の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を符号化もしくは復号するときに用いられる、前記予測情報を生成する予測情報生成装置のコンピュータに、前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測ステップを実行させるための予測情報生成プログラムである。
（１２）また、本発明の他の態様は、符号化の対象となる対象画像をブロックに分割し、符号化の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を符号化することで、前記参照情報を符号化する画像符号化装置であって、前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測部を備えることを特徴とする画像符号化装置である。
（１３）また、本発明の他の態様は、符号化の対象となる対象画像をブロックに分割し、符号化の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を符号化することで、前記参照情報を符号化する画像符号化装置のコンピュータに、前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測ステップを実行させるための画像符号化プログラムである。
（１４）また、本発明の他の態様は、復号の対象となる対象画像をブロックに分割し、復号の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を復号することで、前記参照情報を復号する画像復号装置であって、前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測部を備えることを特徴とする画像復号装置である。
（１５）また、本発明の他の態様は、復号の対象となる対象画像をブロックに分割し、復号の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を復号することで、前記参照情報を復号する画像復号装置のコンピュータに、前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測ステップを実行させるための画像復号プログラムである。
この発明によれば、画像の符号化において優れた符号化効率を得ることができる。また、その優れた符号化効率で符号化された画像を復号することができる。
第１の実施形態における画像符号化装置の構成を示す機能ブロック図である。 第１の実施形態における参照情報予測部の構成を示す機能ブロック図である。 本実施形態における予測情報生成における隣接ブロックを説明するための図である。 符号化対象ブロックと隣接ブロックの視差ベクトルとが示された図である。 符号化対象ブロックと隣接ブロックの動きベクトルとが示された図である。 第１の実施形態における画像符号化装置の処理を示したフローチャートである。 第１の実施形態における参照情報予測部の処理を示したフローチャートである。 第１の実施形態における画像復号装置の構成を示す機能ブロック図である。 第１の実施形態における画像復号装置の処理を示したフローチャートである。 第２の実施形態における画像符号化装置の構成を示す機能ブロック図である。 第２の実施形態における参照情報予測部の構成を示す機能ブロック図である。 第２の実施形態における参照情報予測部の処理を示したフローチャートである。 第２の実施形態における画像復号装置の構成を示す機能ブロック図である。 第３の実施形態における画像符号化装置の構成を示す機能ブロック図である。 第３の実施形態における参照情報予測部の構成を示す機能ブロック図である。 第３の実施形態における参照情報予測部の処理を示したフローチャートである。 第３の実施形態における画像復号装置の構成を示す機能ブロック図である。
以下、本発明の実施形態について、図面を参照して詳細に説明する。
　＜第１の実施形態＞
　＜画像符号化装置＞
　まず、第１の実施形態における画像符号化装置１００の概要について説明する。第１の実施形態における画像符号化装置１００は、隣接ブロックの参照情報（隣接ブロックから、参照画像内で当該隣接ブロックと最も類似している領域までのベクトル）ＮＲを適切にスケーリングすることにより、画像を高い符号化効率で符号化することを目的とする。
　画像符号化装置１００は、符号化対象ブロックの参照画像が符号化対象画像と別視点の画像の場合には、符号化の対象となる対象画像と、符号化対象のブロックの参照画像と、隣接ブロックの参照画像とが撮像された位置の関係をカメラパラメータＣＰに基づいて算出し、その位置の関係に基づいて隣接ブロックの参照情報ＮＲをスケーリングし、スケーリング後の隣接ブロックの参照情報ＳＮＲから予測情報ＰＶを生成する。そして、符号化対象ブロックの参照情報ＴＲと予測情報ＰＶとの差分を取り、符号化対象ブロックの参照情報ＴＲをその差分で表すことにより、符号化対象ブロックの参照情報ＴＲを符号化する。
これにより、画像符号化装置１００は、スケーリングにより予測情報の精度が上がるため、符号化対象ブロックの参照情報ＴＲと予測情報ＰＶの差分が小さくなり、符号化効率を高めることが出来る。
図１は、第１の実施形態における画像符号化装置１００の構成を示す機能ブロック図である。画像符号化装置１００は、立体表示用の２視点の動画像を符号化（圧縮）する。図１に示すように、本実施形態における画像符号化装置１００は、画像入力部１０１と、ブロックマッチング実施部１０２と、予測画像生成部１０３と、差分画像符号化部１０４と、差分画像復号部１０５と、参照画像メモリ１０６と、参照情報蓄積メモリ１０７と、参照情報予測部１０８と、差分参照情報符号化部１０９と、参照画像指定情報蓄積メモリ１１０と、参照画像選択部１１１と、参照画像指定情報符号化部１１２と、第１の減算部１１３と、第２の減算部１１４と、加算部１１５とを備える。
画像入力部１０１は、自装置の外部から符号化の対象となる画像（以下、符号化対象画像と称する）の画像データＧＤの入力を受け付ける。本実施形態において符号化対象画像は、立体表示用の２視点の動画像である。画像入力部１０１は、入力を受け付けた画像データＧＤをブロックマッチング実施部１０２と第２の減算部１１４とに出力する。
ブロックマッチング実施部１０２は、画像入力部１０１が受け付けた画像データＧＤの画像を所定の大きさのブロック（以下、符号化対象ブロックと称する）に分割する。ブロックマッチング実施部１０２は、参照画像メモリ１０６を参照して、該符号化対象ブロックの各々について、既に符号化済みの画像の中から符号化された時刻が最も遅い画像を該ブロックの予測に用いる参照画像として選択する。
　ブロックマッチング実施部１０２は、選択した参照画像を示す情報を参照画像選択部１１１に出力する。
ブロックマッチング実施部１０２は、選択した参照画像のデータを参照画像メモリ１０６から読み出す。ブロックマッチング実施部１０２は、該符号化対象ブロックの各々について、先に選択した参照画像において該符号化対象ブロックと最も類似している領域（以下、対応する領域と称する）を抽出するブロックマッチングを行う。そして、ブロックマッチング実施部１０２は、該符号化対象ブロックの各々について、該符号化対象ブロックから参照画像内の対応する領域までのベクトルを該符号化対象ブロックの参照情報ＴＲとして生成する。
ここで、このベクトルは、符号化済みの画像が、分割された画像と同一視点かつ異なるフレーム（時刻）の画像であるときは、動きベクトルといい、符号化済みの画像が、分割された画像と異なる視点の画像でかつ符号化対象画像と撮像時刻が同一の画像であるときは、視差ベクトルいう。
具体的には、例えば、ブロックマッチング実施部１０２は、符号化対象ブロックを所定の数の区画（例えば、３行３列の９区画）に分割する。また、ブロックマッチング実施部１０２は、符号化対象ブロックと同じ大きさのウインドウを作成し、そのウインドウを符号化対象ブロックと同じ大きさでかつ同じ数の区画（例えば、３行３列の９区画）に分割する。
ブロックマッチング実施部１０２は、そのウインドウを参照画像上で左上から右下まで所定の画素間隔で移動させる毎に、符号化対象ブロック内の区画の輝度値と、当該符号化対象ブロック内の区画の位置に相当するウインドウ内の区画の輝度値との差の絶対値を符号化対象ブロックの区画毎に算出する。そして、ブロックマッチング実施部１０２は、各区画において算出された差の絶対値の和（以下、マッチングの残差と称する）を算出する。ブロックマッチング実施部１０２は、マッチングの残差が最小となる領域を対応する領域として抽出し、符号化対象画像の符号化対象ブロックから対応する領域までのベクトルを符号化対象ブロックの参照情報ＴＲとして算出する。
ブロックマッチング実施部１０２は、マッチングの残差に対して、ＤＣＴ変換、量子化、可変長符号化の順に処理をすることにより、符号量を算出し、符号化対象ブロックの参照情報ＴＲに対しても可変長符号化を行うことにより符号量を算出し、両者の符号量の和を符号化モードのコストとして算出する。そして、ブロックマッチング実施部１０２は、このコストの算出処理を各符号化モードで行い、コストが最も小さくなった符号化モードを符号化効率の最も高い符号化モードとして選択し、該符号化モードに必要な参照画像を指定するために、参照画像を指定する情報である参照画像指定情報ＲＡを参照画像選択部１１１に出力する。
続いて、ブロックマッチング実施部１０２は、ブロックマッチングにより得られた符号化対象ブロックの参照情報ＴＲを含む各ブロックの参照情報Ｒを参照情報蓄積メモリ１０７に記憶させる。また、ブロックマッチング実施部１０２は、符号化対象ブロックの参照情報ＴＲを参照画像指定情報ＲＡとともに予測画像生成部１０３に出力する。また、ブロックマッチング実施部１０２は、生成した符号化対象ブロックの参照情報ＴＲを第１の減算部１１３に出力する。
ブロックマッチング実施部１０２は、ある符号化対象画像のブロックマッチング処理が終わると、先に選択された参照画像の次に符号化された時刻が遅い画像を参照画像として選択する。ブロックマッチング実施部１０２は、選択した参照画像のデータを参照画像メモリ１０６から読み出し、選択した参照画像を用いて再度ブロックマッチングを行う。ブロックマッチング実施部１０２は、これらの処理を、対象となる符号化済みの画像が参照画像メモリ１０６に無くなるまで繰り返す。   
ここで、参照画像メモリ１０６は、加算部１１５により生成された参照画像データＲＤが格納される。この参照画像メモリ１０６は一定周期ごとに加算部１１５により空にされる。そのため、参照画像の枚数は有限である。例えば、参照画像メモリ１０６が１５フレーム符号化するごとに加算部１１５により空にされる場合、ブロックマッチング実施部１０２は、参照画像メモリ１０６に記憶されている符号化済みの画像１５フレーム分のデータに対してブロックマッチングを行う。
ただし、符号化モード(動き補償フレーム間予測符号化モード、視差補償予測符号化モード)によって、ブロックマッチング実施部１０２が参照画像に設定できる符号化済みの画像に条件がある。
　動き補償フレーム間予測符号化モードの場合は、ブロックマッチング実施部１０２は符号化対象画像と同じ視点の画像で異なるフレーム（時刻）の画像のみを参照画像とする。
　一方、視差補償予測符号化モードの場合には、ブロックマッチング実施部１０２は符号化対象画像と異なる視点であり、且つ符号化対象画像と撮像時刻が同一の画像を参照画像とする。
なお、本実施形態において、ブロックマッチングを行う際に、対応するブロックを探す候補とする既に符号化済みの画像は、分割された画像と同一視点かつ異なる時刻の画像と、分割された画像と異なる視点かつ同一時刻の画像のみであるが、これに限定するものではない。
予測画像生成部１０３は、符号化の対象となるブロックである符号化対象ブロックの参照画像と該符号化対象ブロックの参照情報ＴＲとに基づいて符号化対象ブロックの予測画像データＰＤを生成する。本実施形態における予測画像生成部１０３は、一例として、符号化対象ブロックから該符号化対象ブロックに対応する参照画像の領域までのベクトルを符号化対象ブロックの参照情報ＴＲとして用いる。
具体的には、予測画像生成部１０３は、ブロックマッチング実施部１０２から入力された符号化対象ブロックの参照情報ＴＲと参照画像指定情報ＲＡとから、参照画像メモリ１０６を参照して、参照画像指定情報ＲＡが指定する参照画像データにおいて符号化対象ブロックの参照情報ＴＲが示す領域の画像データを読み出す。これにより、予測画像生成部１０３は、符号化対象画像の各ブロックにおいて、ブロックマッチング実施部１０２により得られた参照画像データにおいて符号化対象ブロックと対応する領域の画像データを読み出す。
予測画像生成部１０３は、読み出した画像データを符号化対象画像の符号化対象ブロックの位置に相当する位置に配置する。予測画像生成部１０３は、上記処理を符号化対象画像の全てのブロックで行うことにより予測画像データＰＤを生成し、生成した予測画像データＰＤを第２の減算部１１４と、加算部１１５とに出力する。
第２の減算部１１４は、画像入力部１０１により受け付けられた画像データＧＤを構成する各画素において、その画素の画素値と、予測画像生成部１０３により生成された予測画像データＰＤを構成する画素であって画像データＧＤの画素に相当する位置の画素の画素値を引くことにより差分画像データＤＦを生成し、差分画像データＤＦを差分画像符号化部１０４に出力する。
差分画像符号化部１０４は、第２の減算部１１４が生成した差分画像データＤＦに対して、ＤＣＴ変換（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）し、ＤＣＴ変換したデータに対して量子化し、量子化したデータに対して可変長符号化を施して符号化する。ここで、ＤＣＴ変換とは、離散コサイン変換により離散信号を周波数領域へ変換する処理である。また量子化とは、ＤＣＴ変換により算出されたＤＣＴ係数値を離散的(飛び飛び)な代表値の１つに変換する処理である。また可変長符号化とは、出現頻度の高い値には短い符号を割り振り、出現頻度の低い値には長い符号を割り振る符号化である。
差分画像符号化部１０４は、符号化した差分画像符号化データＤＥを生成し、生成した差分画像符号化データＤＥを差分画像復号部１０５と自装置の外部とに出力する。
差分画像復号部１０５は、差分画像符号化部１０４により符号化された差分画像符号化データＤＥを可変長復号し、可変長復号したデータを逆量子化し、逆量子化したデータを逆ＤＣＴ変換することにより復号し、復号した差分画像データＤＦを加算部１１５に出力する。ここで、可変長復号とは、可変長符号化されたデータを元に戻す処理である。また、逆量子化は量子化されたデータを元に戻す処理である。また、逆ＤＣＴ変換とは、ＤＣＴ変換の逆変換である。
加算部１１５は、予測画像生成部１０３が生成した予測画像データＰＤの各画素において、その画素の画素値と、差分画像復号部１０５により復号された差分画像データＤＦを構成する画素であって予測画像の画素に相当する位置の画素の画素値とを加算することにより参照画像データＲＤを生成し、生成した参照画像データＲＤを参照画像メモリ１０６に記憶させる。
参照情報蓄積メモリ１０７には、ブロックマッチング実施部１０２により記憶された各ブロックの参照情報Ｒが記憶されている。
　参照画像選択部１１１は、ブロックマッチング実施部１０２により各符号化対象ブロックについて選択された参照画像指定情報ＲＡを参照画像指定情報符号化部１１２に出力する。また、参照画像選択部１１１は、当該各符号化対象ブロックの参照画像指定情報ＲＡを参照画像指定情報蓄積メモリ１１０に記憶させる。
参照画像指定情報蓄積メモリ１１０には、参照画像選択部１１１により記憶された各符号化対象ブロックの参照画像指定情報ＲＡが記憶されている。
参照情報予測部１０８は、画像データＧＤが撮像されたカメラの位置と画像データＧＤが撮像された時刻とを含むカメラパラメータＣＰの自装置の外部からの入力を受け付ける。ここで、カメラパラメータＣＰは、少なくとも画像データＧＤが撮影された全てのカメラの座標位置を導出可能な情報が含まれているものとする。
参照情報予測部１０８は、参照情報蓄積メモリ１０７から符号化対象ブロックに隣接するブロックの参照情報ＮＲを読み出す。また、参照情報予測部１０８は、参照画像指定情報蓄積メモリ１１０から符号化対象ブロックの参照画像指定情報ＲＡを読み出す。
　ここで隣接するブロックとは、画像内を左上から右下へブロック列ごとに走査していくラスタスキャン順で符号化している場合、例えば、対象のブロックに向かって左側、対象のブロックに向かって上側、対象のブロックに向かって右上側の３つのブロックである。
なお、隣接するブロックとしては、上記の３つのブロックに限定されず、符号化対称ブロックが処理される前に符号化されてしまっているブロックで、かつ隣接するブロックであればよい。例えば、参照情報予測部１０８は、符号化対象ブロックが画像に向かって右端に接している場合には、その符号化対象ブロックに向かって右上の隣接ブロックの位置が画面の外側になってしまうため、その符号化対象ブロックに向かって右上の隣接ブロックの代わりにその符号化対象ブロックに向かって左上の隣接ブロックを選択してもよい。
参照情報予測部１０８は、カメラパラメータＣＰと参照画像指定情報ＲＡを用いて、符号化対象画像と符号化対象ブロックの参照画像とにおける撮像位置間の距離もしくは撮像時刻の差を算出し、符号化対象画像と当該符号化対象ブロックの隣接ブロックの参照画像とにおける撮像位置間の距離もしくは撮像時刻の差を算出する。参照情報予測部１０８は、それらの距離またはそれらの撮像時刻の差に基づき、各隣接ブロックの参照情報ＮＲをスケーリングする。そして、参照情報予測部１０８は、複数存在するスケーリング後の隣接ブロックの参照情報ＳＮＲに対して、水平成分および垂直成分それぞれについて中央値を取ることによって予測情報ＰＶを生成し、生成した予測情報ＰＶを示す情報を第１の減算部１１３に出力する。参照情報予測部１０８の処理の詳細は後述する。
なお、参照情報予測部１０８が隣接するブロックとして選択するブロック数は３に限らず、１つ以上あればよい。隣接ブロックが２つもしくは４つなどの偶数の場合には、参照情報予測部１０８は、複数のスケーリング後の隣接ブロックの参照情報ＳＮＲの各成分の数が偶数であるため、成分毎の中央値をとることが出来ないので、例えば成分毎の平均値をとることにより予測情報ＰＶを生成してもよい。
参照画像指定情報符号化部１１２は、参照画像選択部１１１から入力された各ブロックの参照画像を指定する参照情報指定情報ＲＡを可変長符号化し、可変長符号化により得られた参照画像指定情報符号化データＲＡＥを自装置の外部に出力する。
第１の減算部１１３は、各符号化対象ブロックにおいて、ブロックマッチング実施部１０２が生成した符号化対象ブロックの参照情報ＴＲから、参照情報予測部１０８が生成した当該符号化対象ブロックの予測情報ＰＶを引くことにより差分参照情報ＤＲ（＝ＴＲ－ＰＶ）を算出し、その差分参照情報ＤＲを差分参照情報符号化１０９に出力する。
差分参照情報符号化１０９は、第１の減算部１１３から入力された差分参照情報ＤＲを可変長符号化により符号化し、符号化により得られた差分参照情報符号化データＤＲＥを自装置の外部に出力する。
続いて、図２を用いて参照情報予測部１０８の処理の詳細について説明する。図２は、第１の実施形態における参照情報予測部１０８の構成を示す機能ブロック図である。図２に示すように、参照情報予測部１０８は、視点間距離算出部２０１と、フレーム間隔算出部２０２と、予測情報生成部２１０とを備える。
　また、予測情報生成部２１０は、対象ブロック用参照情報判定部２１１と、視差ベクトル用スケーリング部（視差補正部）２１３と、動きベクトル用スケーリング部２１４と、代表値算出部２１５とを備える。
図３は、本実施形態における予測情報生成における隣接ブロックを説明するための図である。同図において、符号化対象ブロックＤに向かって上に隣接する隣接ブロックＡと、符号化対象ブロックＤに向かって右上に隣接する隣接ブロックＢと、符号化対象ブロックＤに向かって左に隣接する隣接ブロックＣとが示されている。
またそれぞれの隣接ブロックには動きベクトルが示されており、隣接ブロックＡにおける動きベクトルはｍｖ＿ａで、隣接ブロックＢにおける動きベクトルはｍｖ＿ｂで、隣接ブロックＣにおける動きベクトルはｍｖ＿ｃである。符号化対象ブロックＤにおける予測情報ＰＶは、上記３つの動きベクトル（ｍｖ＿ａ、ｍｖ＿ｂ、ｍｖ＿ｃ）の水平成分の中央値及び垂直成分の中央値をそれぞれ水平成分、垂直成分とするベクトルである。
図４は、符号化対象ブロックと隣接ブロックの視差ベクトルとが示された図である。同図において、画像３０１は符号化対象の画像であり、画像３０２は符号化対象ブロックの参照画像であり、画像３０３ａ、３０３ｂ、３０３ｃはそれぞれ隣接ブロックＡ、隣接ブロックＢ、隣接ブロックＣの参照画像である。また、（ＤＶａＸ、ＤＶａＹ）、（ＤＶｂＸ、ＤＶｂＹ）、（ＤＶｃＸ、ＤＶｃＹ）はそれぞれ隣接ブロックＡ、隣接ブロックＢ、隣接ブロックＣの参照情報を表している。
また、（ＤＶａＸ’、ＤＶａＹ’）、（ＤＶｂＸ’、ＤＶｂＹ’）、（ＤＶｃＸ’、ＤＶｃＹ’）は、各隣接ブロックの参照情報ＮＲが視差ベクトル用スケーリング部２１３によってスケーリングされた後の隣接ブロックの参照情報ＳＮＲを表している。また、視点Ｖ０、Ｖｒ、Ｖａ、Ｖｂ、Ｖｃはそれぞれ符号化対象画像３０１と、符号化対象ブロックの参照画像３０２と、隣接ブロックＡの参照画像３０３ａと、隣接ブロックＢの参照画像３０３ｂと、隣接ブロックＣの参照画像８０３ｃとが撮影された位置を示す。また、ΔＶｒ、ΔＶａ、ΔＶｂ、ΔＶｃはそれぞれ視点Ｖ０から視点Ｖｒ、Ｖａ、Ｖｂ、Ｖｃまでの距離を表している。
図２に戻って、視点間距離算出部２０１は、カメラパラメータＣＰを入力として受け取る。そして、視点間距離算出部２０１は、符号化対象画像が撮像された位置Ｖ０から各隣接ブロックの参照画像が撮像された位置までの距離（ΔＶａ、ΔＶｂ、ΔＶｃ）と、符号化対象画像が撮像された位置Ｖ０から符号化対象ブロックの参照画像が撮像された位置までの距離ΔＶｒとを、カメラパラメータＣＰを用いて算出する。
視点間距離算出部２０１は、符号化対象画像が撮像された位置Ｖ０から各隣接ブロックの参照画像が撮像された位置までの距離（ΔＶａ、ΔＶｂ、ΔＶｃ）を示す情報と、符号化対象画像が撮像された位置Ｖ０から符号化対象ブロックの参照画像が撮像された位置までの距離ΔＶｒを示す情報とを、視差ベクトル用スケーリング部２１３に出力する。
対象ブロック用参照情報判定部２１１は、隣接ブロックの参照情報ＮＲを参照情報蓄積メモリ１０７から読み出す。対象ブロック用参照情報判定部２１１は、符号化対象ブロックの参照情報ＮＲが、視差ベクトルか、もしくは動きベクトルかを判定する。そして、対象ブロック用参照情報判定部２１１は、符号化対象ブロックの参照情報ＴＲが視差ベクトルであった場合には、視差ベクトル用スケーリング部２１３へ隣接ブロックの参照情報ＮＲを出力し、符号化対象ブロックの参照情報ＴＲが動きベクトルであった場合には、動きベクトル用スケーリング部２１４へ隣接ブロックの参照情報ＮＲを出力する。
視差ベクトル用スケーリング部２１３は、符号化対象ブロックの参照画像と該符号化対象ブロックに隣接する隣接ブロックの参照画像と符号化対象画像とがそれぞれ撮像された位置の関係に基づいて、当該隣接ブロックの参照情報ＮＲを補正する。視差ベクトル用スケーリング部２１３は、この補正を選択された隣接ブロック全てに対して行う。
より詳細には、視差ベクトル用スケーリング部２１３は、対象ブロック用参照情報判定部２１１から隣接ブロックの参照情報ＮＲを受け取った場合、視点間距離算出部２０１から入力された符号化対象画像が撮像された位置から各隣接ブロックの参照画像が撮像された位置までの距離（ΔＶａ、ΔＶｂ、ΔＶｃ）を示す情報と、符号化対象画像が撮像された位置から符号化対象ブロックの参照画像が撮像された位置までの距離ΔＶｒを示す情報とに基づいて、各隣接ブロックの参照情報ＮＲの大きさを調整する（スケーリングする）。
具体的には、視差ベクトル用スケーリング部２１３は、符号化対象の画像が撮像された位置Ｖ０と、符号化対象ブロックの参照画像が撮像された位置Ｖｒとの距離Ｄｒと、符号化対象の画像が撮像された位置Ｖ０とｉ番目の隣接ブロックの参照画像が撮像された位置Ｖｉ（ｉは隣接ブロックのインデックスで、正の整数）との距離ΔＶｉとした場合に、そのｉ番目の隣接ブロックの参照情報ＮＲに距離ΔＶｒを掛けて距離ΔＶｉで割ることによりｉ番目の隣接ブロックの参照情報ＮＲを補正する。
　例えば、視差ベクトル用スケーリング部２１３は、図４に示された隣接ブロックＡの参照情報（ＤＶａＸ、ＤＶａＹ）をスケーリングした参照情報（ＤＶａＸ’、ＤＶａＹ’）を、下記式（１）および（２）によって算出する。
　ＤＶａＸ’　＝　ＤＶａＸ×ΔＶｒ／ΔＶａ　　・・・・（１）
　ＤＶａＹ’　＝　ＤＶａＹ×ΔＶｒ／ΔＶａ　　・・・・（２）
同様に、視差ベクトル用スケーリング部２１３は、図４に示された隣接ブロックＢの参照情報（ＤＶｂＸ、ＤＶｂＹ）をスケーリングした参照情報（ＤＶｂＸ’、ＤＶｂＹ’）を、下記式（３）および（４）によって算出する。
　ＤＶｂＸ’　＝　ＤＶｂＸ×ΔＶｒ／ΔＶｂ　　・・・・（３）
　ＤＶｂＹ’　＝　ＤＶｂＹ×ΔＶｒ／ΔＶｂ　　・・・・（４）
同様に、視差ベクトル用スケーリング部２１３は、図４に示された隣接ブロックＣの参照情報（ＤＶｃＸ、ＤＶｃＹ）をスケーリングした参照情報（ＤＶｃＸ’、ＤＶｃＹ’）を、下記式（５）および（６）によって算出する。
　ＤＶｃＸ’　＝　ＤＶｃＸ×ΔＶｒ／ΔＶｃ　　・・・・（５）
　ＤＶｃＹ’　＝　ＤＶｃＹ×ΔＶｒ／ΔＶｃ　　・・・・（６）
ただし、視点間の距離ΔＶａ、ΔＶｂ、ΔＶｃが０の場合には、視差ベクトル用スケーリング部２１３は、スケーリングを行わない。
　そして、視差ベクトル用スケーリング部２１３は、各スケーリング後の隣接ブロックの参照情報ＳＮＲを予測情報生成部６０５へ出力する。
図５は、符号化対象ブロックと隣接ブロックの動きベクトルとが示された図である。同図において、画像４０１は符号化の対象となる対象画像であり、画像４０２は符号化対象ブロックの参照画像であり、画像４０３ａ、４０３ｂ、４０３ｃはそれぞれ隣接ブロックＡ、隣接ブロックＢ、隣接ブロックＣの参照画像である。また、（ＭＶａＸ、ＭＶａＹ）、（ＭＶｂＸ、ＭＶｂＹ）、（ＭＶｃＸ、ＭＶｃＹ）はそれぞれ隣接ブロックＡ、隣接ブロックＢ、隣接ブロックＣの参照情報ＮＲを表している。
また、（ＭＶａＸ’、ＭＶａＹ’）、（ＭＶｂＸ’、ＭＶｂＹ’）、（ＭＶｃＸ’、ＭＶｃＹ’）は各隣接ブロックの参照情報ＮＲを動きベクトル用スケーリング部２１４においてスケーリング後の隣接ブロックの参照情報ＳＮＲを表している。また、時刻Ｔ０、Ｔｒ、Ｔａ、Ｔｂ、Ｔｃはそれぞれ符号化対象画像４０１と、符号化対象ブロックの参照画像４０２と、隣接ブロックＡの参照画像４０３ａと、隣接ブロックＢの参照画像４０３ｂと、隣接ブロックＣの参照画像４０３ｃとが撮像された時刻である。
図２に戻って、フレーム間隔算出部２０２は、カメラパラメータＣＰを自装置の外部から受け取る。フレーム間隔算出部２０２は、カメラパラメータＣＰから、符号化対象画像４０１が撮像された時刻Ｔ０と、符号化対象ブロックの参照画像４０２が撮像された時刻Ｔｒと、隣接ブロックＡの参照画像４０３ａが撮像された時刻Ｔａと、隣接ブロックＢの参照画像４０３ｂが撮像された時刻Ｔｂと、隣接ブロックＣの参照画像４０３ｃが撮像された時刻Ｔｃとを抽出する。
そして、フレーム間隔算出部２０２は、符号化対象画像が撮像された時刻から各隣接ブロックの参照画像が撮像された時刻までの時間（ΔＴａ、ΔＴｂ、ΔＴｃ）と、符号化対象画像が撮像された時刻から符号化対象ブロックの参照画像が撮像された時刻までの時間ΔＴｒとを、カメラパラメータＣＰを用いて算出し、上記時間（ΔＴａ、ΔＴｂ、ΔＴｃ）を示す情報と、上記時間ΔＴｒを示す情報とを動きベクトル用スケーリング部２１４に出力する。
動きベクトル用スケーリング部２１４は、対象ブロック用参照情報判定部２１１から隣接ブロックの参照情報ＮＲを受け取った場合、符号化対象ブロックの参照画像と隣接ブロックの参照画像と符号化対象画像とがそれぞれ撮像された時刻の関係に基づいて、当該隣接ブロックの参照情報ＮＲを補正する。動きベクトル用スケーリング部２１４は、この補正を選択された隣接ブロック全てに対して行う。
より詳細には、動きベクトル用スケーリング部２１４は、対象ブロック用参照情報判定部２１１から隣接ブロックの参照情報ＮＲを受け取った場合、フレーム間隔算出部２０２から入力された符号化対象画像が撮像された時刻から各隣接ブロックの参照画像が撮像された時刻までの時間（ΔＴａ、ΔＴｂ、ΔＴｃ）を示す情報と、符号化対象画像が撮像された時刻から符号化対象ブロックの参照画像が撮像された時刻までの時間ΔＴｒを示す情報とに基づいて、各隣接ブロックの参照情報ＮＲの大きさを調整する（スケーリングする）。
具体的には、動きベクトル用スケーリング部２１４は、符号化対象の画像が撮像された時刻Ｔ０と、符号化対象ブロックの参照画像が撮像された時刻Ｔｒとの時間差ΔＴｒと、符号化対象の画像が撮像された時刻Ｔ０とｊ番目の隣接ブロックの参照画像が撮像された時刻Ｔｊ（ｊは隣接ブロックのインデックスで、正の整数）との時間差ΔＴｊとした場合に、隣接ブロックの参照情報ＮＲに時間差ΔＴｒを掛けて時間差ΔＴｊで割ることによりｊ番目の隣接ブロックのＮＲを補正する。
　例えば、動きベクトル用スケーリング部２１４は、時間ΔＴａを示す情報と時間ΔＴｒを示す情報とに基づいて、図５に示された隣接ブロックＡの参照情報（ＭＶａＸ、ＭＶａＹ）をスケーリングした参照情報（ＭＶａＸ’、ＭＶａＹ’）を下記式（７）および（８）によって算出する。
　ＭＶａＸ’　＝　ＭＶａＸ×（ΔＴｒ）／（ΔＴａ）　　・・・・（７）
　ＭＶａＹ’　＝　ＭＶａＹ×（ΔＴｒ）／（ΔＴａ）　　・・・・（８）
同様に、動きベクトル用スケーリング部２１４は、時間ΔＴｂを示す情報と時間ΔＴｒを示す情報とに基づいて、図５に示された隣接ブロックＢの参照情報（ＭＶｂＸ、ＭＶｂＹ）をスケーリングした参照情報（ＭＶｂＸ’、ＭＶｂＹ’）を、下記式（９）および（１０）によって算出する。
　ＭＶｂＸ’　＝　ＭＶｂＸ×（ΔＴｒ）／（ΔＴｂ）　　・・・・（９）
　ＭＶｂＹ’　＝　ＭＶｂＹ×（ΔＴｒ）／（ΔＴｂ）　　・・・・（１０）
同様に、動きベクトル用スケーリング部２１４は、時間ΔＴｃを示す情報と時間ΔＴｒを示す情報とに基づいて、図５に示された隣接ブロックＣの参照情報（ＭＶｃＸ、ＭＶｃＹ）をスケーリングした参照情報（ＭＶｃＸ’、ＭＶｃＹ’）を、下記式（１１）および（１２）によって算出する。
　ＭＶｃＸ’　＝　ＭＶｃＸ×（ΔＴｒ）／（ΔＴｃ）　　・・・・（１１）
　ＭＶｃＹ’　＝　ＭＶｃＹ×（ΔＴｒ）／（ΔＴｃ）　　・・・・（１２）
そして、動きベクトル用スケーリング部２１４は、スケーリング後の隣接ブロックの参照情報ＳＮＲを代表値算出部２１５に出力する。
　代表値算出部２１５は、視差ベクトル用スケーリング部２１３または動きベクトル用スケーリング部２１４により入力されたスケーリング後の隣接ブロックの参照情報ＳＮＲを用いて、所定の数（本実施形態では一例として３つ）の参照情報における水平成分の中央値と垂直成分の中央値とを算出する。代表値算出部２１５は、水平成分の中央値を水平成分および垂直成分の中央値を垂直成分とする予測情報ＰＶを生成し、予測情報ＰＶを示す情報を第１の減算部１１３に出力する。
なお、本実施形態では、代表値算出部２１５は、所定の数のスケーリング後の隣接ブロックの参照情報ＳＮＲのそれぞれの成分の中央値を算出したが、これに限らず、所定の数のスケーリング後の隣接ブロックの参照情報ＳＮＲのそれぞれの成分の平均値を算出してもよく、また、所定の数の参照情報のうちの最頻値を抽出してもよい。
図６は、第１の実施形態における画像符号化装置１００の処理を示したフローチャートである。ただし、既に符号化対象画像と同じ視点の複数の画像と、符号化対象画像と同じ時刻の別視点の画像を符号化済みであり、なおかつ符号化対象の画像も符号化対象の直前のブロックまで符号化済みであり、その結果が参照画像メモリ１０６、参照情報蓄積メモリ１０７、参照画像指定情報蓄積メモリ１１０に蓄積されている状態にあるものとして説明する。
まず、画像入力部１０１より符号化対象となる画像の画像データＧＤが入力される（ステップＳ１０１）。ブロックマッチング実施部１０２は、入力された符号化対象画像を、ブロック単位に分割する。ブロックマッチング実施部１０２は、符号化をこのブロックごとに行う。画像符号化装置１００は、符号化対象画像内の全ブロックを符号化するまで、以下の処理（ステップＳ１０２～ステップＳ１１５）を繰り返し実行する。
ブロックマッチング実施部１０２は、符号化対象ブロックに実施しようとしている符号化モードを示す情報を参照画像選択部１１１に出力し、参照画像選択部１１１はその情報に基づき必要な参照画像データを参照画像メモリ１０６から読み出し、読み出した参照画像データをブロックマッチング実施部１０２に出力する。ブロックマッチング実施部１０２は、参照画像メモリ１０６から指定された参照画像データを読み出す。なお、参照画像データとは既に差分画像符号化部１０４により符号化された差分画像符号化データＤＥに対して、差分画像復号部１０５により復号された画像データである。
次に、ブロックマッチング部１０２は、ブロック毎に全ての符号化モード(動き補償フレーム間予測符号化、視差補償予測符号化)でブロックマッチングを実施する（ステップＳ１０３）。ここで、ブロックマッチングの回数は、各符号化モードで用いる参照画像の枚数の総和になる。例えば、動き補償フレーム間予測符号化で参照画像が５枚、視差補償予測符号化では参照画像が１枚の場合には、ブロックマッチング部１０２は、合計６（＝５+１）回ブロックマッチングを行う。
そして、ブロックマッチング実施部１０２は、ブロックマッチングの結果であるマッチングの残差と参照情報とに基づいて、符号化効率の最も高い符号化モードを選択する（ステップＳ１０４)。
次に、後の符号化のために、ブロックマッチング実施部１０２は、参照情報を参照情報蓄積メモリ１０７に格納する（ステップＳ１０５）。次に、参照画像選択部１１１は、ブロックマッチング実施部１０２が出力した参照画像指定情報ＲＡを参照画像指定情報蓄積メモリ１１０に格納する（ステップＳ１０６）。次に、参照情報予測部１０８は予測情報を生成する（ステップＳ１０７）。次に、減算部１１３は、参照情報と予測情報との差分を取り、差分参照情報ＤＲを生成する（ステップＳ１０８）。
次に、参照画像選択部１１１は、参照画像指定情報ＲＡにより指定されている参照画像データを参照画像メモリ１０６から読み出し、読み出した参照画像データを予測画像生成部１０３へ出力させる。予測画像生成部１０３は受け取った参照画像データと参照情報とから予測画像データを生成する。そして、減算部１１３は、符号化対象ブロックと前記生成した予測画像データとの差分をとり、差分画像データを生成する（ステップＳ１０９）。
次に、参照画像指定情報符号化部１１２は、参照画像指定情報ＲＡを符号化し、その結果である参照画像指定情報符号データＲＡＥを生成する。差分参照情報符号化部１０９は、差分参照情報ＤＲを符号化し、その結果である差分参照情報符号化データＤＲＥを生成する。差分画像符号化部１０４は、差分画像を符号化し、その結果である差分画像符号化データＤＥを生成する（ステップＳ１１０）。そして、画像符号化装置１００は、これら３つの符号化データを自装置の外部に出力する。
符号化対象画像が後の符号化で参照画像として用いられる場合には（ステップＳ１１１　ＹＥＳ）、差分画像復号部１０５が符号化された差分画像を復号する（ステップＳ１１２）。次に、加算部１１５が、この復号された差分画像の画素の画素値と予測画像において当該画素の位置に相当する位置の画素の画素値とを加算し復号画像データを生成し（ステップＳ１１３）、生成した復号画像データを参照画像メモリ１０６に格納する（ステップＳ１１４）。符号化対象画像における全ブロックについて、処理していなければ、画像符号化装置１００は、ステップＳ１０３に戻り、符号化対象画像における全ブロックについて処理していれば、その処理を終了する（ステップＳ１１５）。
一方、ステップＳ１１１において、符号化対象画像が後の符号化で参照画像として用いられない場合は（ステップＳ１１１　ＮＯ）、ステップＳ１１５に進む。ステップＳ１１５において、画像符号化装置１００は、符号化対象画像における全ブロックについて処理していなければ、ステップＳ１０３に戻り、符号化対象画像における全ブロックについて処理していれば、その処理を終了する（ステップＳ１１５）。以上で、本フローチャートの処理を終了する。
図７は、第１の実施形態における参照情報予測部１０８の処理を示したフローチャートであり、図６のステップＳ１０７の処理の詳細を示したフローチャートである。参照情報予測部１０８は、以下の処理（ステップＳ２０２～Ｓ２０７）を各隣接ブロックについて隣接ブロックの数だけ行う。まず、対象ブロック用参照情報判定部２１１は、符号化対象ブロックの参照画像指定情報ＲＡと、隣接ブロックの参照情報ＮＲを取得する（ステップＳ２０２）。そして、対象ブロック用参照情報判定部２１１は、符号化対象ブロックの参照情報が視差ベクトルか否かを判定する（ステップＳ２０３）。
符号化対象ブロックの参照情報が視差ベクトルの場合（ステップＳ２０３　ＹＥＳ）、対象ブロック用参照情報判定部２１１は、隣接ブロックの参照情報ＮＲを視差ベクトル用スケーリング部２１３へ出力してステップＳ２０４の処理に進む。一方、符号化対象ブロックの参照情報が視差ベクトルではない時には（ステップＳ２０３　ＮＯ）、対象ブロック用参照情報判定部２１１は、隣接ブロックの参照情報ＮＲを動きベクトル用スケーリング部２１４へ出力してステップＳ２０６の処理に進む。
次に、ステップＳ２０４において、視点間距離算出部２０１は、符号化対象ブロックの参照画像（例えば、図４の３０２）が属している視点Ｖｒと、隣接ブロックの参照画像（例えば、図４の３０３ａ、３０３ｂ、３０３ｃ）が属している視点Ｖａ、Ｖｂ、Ｖｃと、符号化対象の画像（例えば、図４の３０１）が属している視点Ｖ０において、撮影された時のカメラパラメータＣＰを外部の撮像装置から取得する。そして、視点間距離算出部２０１は、カメラパラメータＣＰから各視点Ｖ０、Ｖｒ、Ｖａ、Ｖｂ、Ｖｃで撮影された撮像装置の座標位置を導出し、その座標位置から視点間の距離ΔＶｒ、ΔＶａ、ΔＶｂ、ΔＶｃを計算し（図４参照）、ステップＳ２０５の処理に進む。
次に、ステップＳ２０５において、視差ベクトル用スケーリング部２１３は、隣接ブロックの参照情報ＮＲを、上述した視点間の距離ΔＶｒ、ΔＶａ、ΔＶｂ、ΔＶｃに基づいてスケーリングする。そして、視差ベクトル用スケーリング部２１３は、スケーリングされた隣接ブロックの参照情報を代表値算出部２１５へ出力する。
一方、ステップＳ２０６において、フレーム間隔算出部２０２は、符号化対象画像が撮像された時刻から各隣接ブロックの参照画像が撮像された時刻までの時間（ΔＴａ、ΔＴｂ、ΔＴｃ）と、符号化対象画像が撮像された時刻から符号化対象ブロックの参照画像が撮像された時刻までの時間ΔＴｒとを、カメラパラメータＣＰを用いて算出する。
次に、ステップＳ２０７において、動きベクトル用スケーリング部２１４は、隣接ブロックの参照情報ＮＲを、符号化対象ブロックの参照画像（例えば、図５の４０２）と、隣接ブロックの参照画像（例えば、図５の４０３ａ、４０３ｂ、４０３ｃ）と、符号化対象の画像（例えば、図５の４０１）とがそれぞれ撮像された時刻に基づいてスケーリングする。
次に、予測情報生成部２１０は、全ての隣接ブロックについて処理をしていれば、ステップＳ２０９の処理に進み、未処理の隣接ブロックが残っている場合には、ステップＳ２０２の処理に戻る。
　次に、代表値算出部６０５は、視差ベクトル用スケーリング部２１３または動きベクトル用スケーリング部２１４が出力する参照情報を用いて、参照情報の水平成分の中央値および参照情報の垂直成分の中央値をそれぞれ水平成分、垂直成分とする予測情報を生成する（ステップＳ２０９）。以上で、本フローチャートの処理を終了する。
以上、参照情報予測部１０８は、符号化対象ブロックおよび隣接ブロックの参照情報が視差ベクトルであった場合には、隣接ブロックの参照情報ＮＲに対し、カメラパラメータＣＰから求めた視点間隔に基づいたスケーリングを行うので、画像符号化装置１００は、符号化対象ブロックの視差ベクトルと予測情報の差を小さくすることが出来る。これにより、画像符号化装置１００は、符号化効率を向上させることができる。
＜画像復号装置＞
　続いて、上述の画像符号化装置１００により符号化されたデータを復号する第１の実施形態の画像復号装置５００について説明する。まず、第１の実施形態における画像復号装置５００の概要について説明する。画像復号装置５００は、画像符号化装置１００で符号化された画像を復号することを目的とする。
画像復号装置５００は、参照画像指定情報ＲＡが復号対象画像と別視点の画像を指定している場合には、復号対象画像と、復号対象ブロックの参照画像と、隣接ブロックの参照画像との空間的な関係をカメラパラメータＣＰに基づいて算出し、その関係に基づいて隣接ブロックの参照情報ＮＲをスケーリングし、スケーリング後の隣接ブロックの参照情報ＳＮＲから予測情報ＰＶを生成する。そして、復号対象ブロックの差分参照情報ＤＲと予測情報ＰＶの和を取り、参照情報を復号する。これにより、画像復号装置５００は、画像符号化装置１００により符号化された画像を復号することができる。
図８は、第１の実施形態における画像復号装置５００の構成を示す機能ブロック図である。図８に示すように、画像復号装置５００は、差分画像復号部５０１と、差分参照情報復号部５０２と、参照フレーム指定情報復号部５０３と、予測画像生成部５０４と、参照画像メモリ５０５と、参照情報蓄積メモリ５０６と、参照情報予測部１０８と、参照画像指定情報蓄積メモリ５０７と、第１の加算部５０８と、第２の加算部５０９とを備える。
図５に示すように、画像復号装置５００は、画像符号化装置１００と同様に参照情報予測部１０８を備えている。
差分画像復号部５０１は、外部から入力された差分画像符号化データＤＥを受け付ける。差分画像復号部５０１は、図１の差分画像復号部１０５と同様に、差分画像符号化データＤＥを可変長復号し、更に逆量子化し、逆ＤＣＴ変換することにより復号し、復号した差分画像データＤＦを第２の加算部５０９に出力する。
差分参照情報復号部５０２は、差分参照情報符号化データＤＲＥを可変長復号することにより復号し、復号により得られた差分参照情報ＤＲを第１の加算部５０８に出力する。
参照画像指定情報復号部５０３は、外部から入力された参照画像指定情報符号化データＲＡＥを受け付ける。参照画像指定情報復号部５０３は、参照画像指定情報符号化データＲＡＥを可変長復号することにより復号し、復号した参照画像指定情報ＲＡを予測画像生成部５０４に出力する。また、後の復号処理のために、参照画像指定情報復号部５０３は、復号した参照画像指定情報ＲＡを参照画像指定情報蓄積メモリ５０７に記憶させる。
上記データ（差分画像符号化データＤＥ、差分参照情報符号化データＤＲＥ、参照画像指定情報符号化データＲＡＥ）は、画像符号化装置１００におけるブロックに対応する単位で入力され、画像復号装置５００は、入力されたブロック順に復号を行う。
参照情報予測部１０８は、図１の画像符号化装置１００の参照情報予測部１０８と同様にカメラパラメータＣＰと、参照画像指定情報ＲＡと、各隣接ブロックの参照情報ＮＲとに基づいて、予測情報ＰＶを生成し、生成した予測情報ＰＶを示す情報を第１の加算部５０８に出力する。
　第１の加算部５０８は、差分参照情報復号部５０２から入力された差分参照情報ＤＲと、予測情報生成部１０８から入力された予測情報ＰＶとの水平成分同士、垂直成分同士の和を取ることにより復号対象ブロックの参照情報ＴＲを算出し、算出した参照情報を予測画像生成部５０４に出力する。後の復号処理のために、第１の加算部５０８は、取得した復号対象ブロックの参照情報ＴＲを参照情報Ｒとして参照情報蓄積メモリ５０６に記憶させる。
　予測画像生成部５０４は、参照画像指定情報復号部５０３から入力された参照画像指定情報ＲＡに対応する参照画像データＲＤを参照画像メモリ５０５から読み出す。
　予測画像生成部５０４は、参照画像メモリ５０５から読み出された参照画像データＲＤと、第１の加算部５０８から入力された復号対象ブロックの参照情報ＴＲとに基づいて、各復号対象ブロックの参照情報ＴＲにより示される参照画像内の領域における画像データを、当該復号対象ブロックの位置に配置することにより予測画像データＰＤを生成する。予測画像生成部５０４は、生成した予測画像データＰＤを参照画像指定情報ＲＡと共に、第２の加算部５０９に出力する。
第２の加算部５０９は、差分画像復号部５０１から差分画像データＤＦの入力を受け、予測画像生成部５０４から予測画像データＰＤの入力を受ける。第２の加算部５０９は、差分画像データの各画素において、当該画素の画素値と、予測画像データＰＤにおける当該画素に相当する位置の画素の画素値との和を取ることにより、復号画像データＤＤを生成し、復号画像データＤＤを自装置の外部に出力する。
第２の加算部５０９は、予測画像生成部５０４から入力された参照画像指定情報に基づいて、この復号画像データＤＤが後の復号で参照画像として用いられるか否か判定する。第２の加算部５０９はこの復号画像が後の復号で参照画像として用いられると判定した場合には、この復号画像データＤＤを参照画像メモリ５０５に記憶させる。
　図９は、第１の実施形態における画像復号装置５００の処理を示したフローチャートである。このフローチャートに従って画像復号装置５００が、２視点の動画像に対応する符号化データが入力された際に実行する処理の説明をする。ただし、既に復号対象画像と同じ視点の複数の画像と復号対象画像と同じ時間軸の別視点の画像とが復号済みであり、なおかつ復号対象の画像も途中のブロックまで復号済みであり、その結果が参照画像メモリ５０５と、参照情報蓄積メモリ５０６と、参照画像指定情報蓄積メモリ５０７とに蓄積されている状態にあるものとして説明する。
　まず、差分画像復号部５０１、差分参照情報復号部５０２、参照画像指定情報復号部５０３は、それぞれ差分画像符号化データＤＥ、差分参照情報符号化データＤＲＥ、参照画像指定情報符号化データＲＡＥを受け取る（ステップＳ３０１）。上記データは、図１の画像符号化装置１００におけるブロックに対応する単位で入力され、画像復号装置５００は、入力されたブロック順に復号を行う。
画像復号装置５００は、復号対象画像内の全ブロックを復号するまで、以下の処理を繰り返し実行する（ステップＳ３０３～ステップＳ３１３）。まず、参照画像指定情報復号部５０３は、参照画像指定情報符号化データＲＡＥを復号し、参照画像指定情報ＲＡを取得する（ステップＳ３０３）。次に、後の復号処理のために、参照画像指定情報復号部５０３は、復号した参照画像指定情報ＲＡを、参照画像指定情報蓄積メモリ５０７に格納する（ステップＳ３０４）。
次に、参照情報予測部１０８は、画像符号化装置１００の参照情報予測部１０８と同様の処理を行い、予測情報ＰＶを生成する（ステップＳ３０５）。次に、差分参照情報復号部５０２は、差分参照情報符号化データＤＲＥを復号し、差分参照情報ＤＲを取得する（ステップＳ３０６）。次に、第１の加算部５０８は、差分参照情報復号部５０２により復号された差分参照情報ＤＲと、予測情報生成部１０８により生成された予測情報ＰＶとの和を取ることにより復号対象ブロックの参照情報ＴＲを算出する（ステップＳ３０７）。次に、後の復号処理のために、第１の加算部５０８は、生成した復号対象ブロックの参照情報ＴＲを参照情報Ｒとして参照情報蓄積メモリ５０６に記憶させる（ステップＳ３０８）。
次に、予測画像生成部４０４は、参照画像メモリ５０５から読み出した参照画像データＲＤと、第１の加算部２０８から入力された復号対象ブロックの参照情報ＴＲとから予測画像データＰＤを生成する（ステップＳ３０９）。差分画像復号部５０１は、差分画像符号化データＤＥを復号し、差分画像ＤＦを取得する（ステップＳ３１０）。第２の加算部４０９は、差分画像復号部４０１により取得された差分画像ＤＦの画素の画素値と、予測画像生成部４０４により取得された予測画像ＰＤにおいて上記差分画像ＤＦの画素に相当する位置の画素の画素値との和をすべての画素で算出することにより、復号画像データＤＤを取得し（ステップＳ３１１）、復号画像データＤＤを画像復号装置４００の出力として自装置の外部に出力する。
第２の加算部５０９は、この復号画像データＤＤが後の復号で参照画像データＲＤとして用いられるか否か判定する（ステップＳ３１２）。第２の加算部５０９は、この復号画像データＤＤが後の復号で参照画像データＲＤとして用いられると判定した場合（ステップＳ３１２　ＹＥＳ）、この復号画像データＤＤを参照画像メモリ５０５に格納する（ステップＳ３１３）。第２の加算部５０９は、この復号画像データＤＤが後の復号で参照画像データＲＤとして用いられると判定しない場合（ステップＳ３１２　ＮＯ）、ステップＳ３１４の処理に進む。
画像復号装置５００は、その画像に含まれるすべてのブロックの復号が完了するまで、ステップＳ３０３に戻って処理を繰り返す。
　なお、第２の加算部５０９は、復号対象の画像より時間的に前に表示される画像を全て出力してから、その復号対象の復号画像データＤＤを自装置の外部に出力する。以上で、本フローチャートの処理を終了する。
以上、参照情報予測部１０８は、復号対象ブロックおよび隣接ブロックの参照情報が視差ベクトルであった場合には、隣接ブロックの参照情報ＮＲに対し、カメラパラメータＣＰから求めた視点間隔に基づいたスケーリングを行うことにより予測情報ＰＶを生成する。画像復号装置５００は、予測情報ＰＶと差分参照情報ＤＲとの和を取ることにより予測画像データＰＤを生成し、生成した予測画像データＰＤの画素の画素値と差分画像データＤＦにおいて予測画像データＰＤの画素の位置に相当する画素の画素値との和をすべての画素で算出することにより復号画像データＤＤを生成する。
これにより、画像復号装置５００は、画像符号化装置１００により符号化された差分画像符号化データＤＥを復号することができるので、符号化効率を上昇させた画像符号化装置１００を実現することができる。
特許文献１の動画像符号化装置は、符号化対象ブロックが参照する参照画像と、隣接ブロックが参照する参照画像との時間的な関係または時刻情報に基づいて、各隣接ブロックの動きベクトルを補正する。しかし、時間方向のフレームの間隔は一定だが、視点方向のカメラの間隔は一定であるとは限らない。そのため、符号化対象ブロックが参照する画像と隣接ブロックが参照する画像が別の視点の画像の場合には、特許文献１の動画像符号化装置は、正確に隣接ブロックの動きベクトルを補正できない場合があるという問題があった。
それに対して、本実施形態における参照情報予測部１０８は、参照画像が別の視点の画像の場合には、カメラパラメータからカメラ間隔を取得し、そのカメラ間隔を用いて隣接ブロックの動きベクトルを補正するため、隣接ブロックの動きベクトルを正確に補正することができる。
＜第２の実施形態＞
　続いて、第２の実施形態について説明する。第１の実施形態における画像符号化装置１００は、各隣接ブロックの参照情報ＮＲに対してスケーリングを行い、その後にスケーリング後の隣接ブロックの参照情報ＳＮＲから予測情報ＰＶを生成した。一方、本実施形態における画像符号化装置１００ａは、まず隣接ブロックの参照情報ＳＮＲから代表ベクトルＲＶを生成し、その代表ベクトルＲＶに対して時間方向もしくは視点方向のスケーリングによる補正を行うことにより予測情報ＰＶを生成する。これにより、本実施形態における画像符号化装置１００ａは、第１の実施形態における画像符号化装置１００に比べてスケーリングの回数を減らすことができるので、予測情報ＰＶの生成にかかる処理時間を短縮することができる。
図１０は、第２の実施形態における画像符号化装置１００ａの構成を示す機能ブロック図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。図１０の画像符号化装置１００ａの構成は、図１の画像符号化装置１００の構成に対して、参照情報予測部１０８を、参照情報予測部１０８ａに変更したものとなっている。
参照情報予測部１０８ａは、図１の参照情報予測部１０８と同様に、カメラパラメータＣＰと、参照画像指定情報ＲＡと、各隣接ブロックの参照情報ＮＲとに基づいて、予測情報ＰＶを生成し、生成した予測情報ＰＶを示す情報を第１の減算部１１３に出力する。
続いて、参照情報予測部１０８ａの詳細について図１１を用いて説明する。図１１は、第２の実施形態における参照情報予測部１０８ａの構成を示す機能ブロック図である。なお、図２と共通する要素には同一の符号を付し、その具体的な説明を省略する。図１１の参照情報予測部１０８ａの構成は、図２の参照情報予測部１０８の構成に対して、視点間距離算出部２０１を視点間距離算出部２０１ａに、フレーム間隔算出部２０２をフレーム間隔算出部２０２ａに、予測情報生成部２１０を、予測情報生成部２１０ａに変更したものとなっている。
　予測情報生成部２１０ａは、代表値算出部２１５ａと、隣接ブロック用参照情報判定部６０１と、視差ベクトル用スケーリング部（視差補正部）２１３ａと、動きベクトル用スケーリング部２１４ａとを備える。
代表値算出部２１５ａは、各隣接ブロックの参照情報ＮＲを用いて、各隣接ブロックの参照情報ＮＲの水平成分の中央値と、垂直成分の中央値とをそれぞれ代表ベクトルの水平成分、垂直成分として算出することにより、代表ベクトルＲＶを示す情報を生成する。代表値算出部２１５ａは、生成した代表ベクトルＲＶを示す情報を隣接ブロック用参照情報判定部６０１と視点間距離算出部２０１ａとフレーム間隔算出部２０２ａに出力する。
隣接ブロック用参照情報判定部６０１は、代表値算出部２１５ａから入力された代表ベクトルＲＶを示す情報から、代表ベクトルＲＶに選ばれた参照情報を持つ隣接ブロックを参照画像指定情報蓄積メモリ１１０から読み出す。
　隣接ブロック用参照情報判定部６０１は、読み出した参照画像指定情報ＲＡに基づいて、代表ベクトルＲＶに選ばれた参照情報が視差ベクトルであるか否かを判定する。代表ベクトルＲＶに選ばれた参照情報が視差ベクトルであれば、隣接ブロック用参照情報判定部６０１は、視差ベクトル用スケーリング部６０３に代表ベクトルＲＶを示す情報を出力する。一方、代表ベクトルＲＶに選ばれた参照情報の参照情報が視差ベクトルでなければ、隣接ブロック用参照情報判定部６０１は、動きベクトル用スケーリング部６０４に代表ベクトルＲＶを示す情報を出力する。
視点間距離算出部２０１ａは、代表ベクトルＲＶを示す情報から、符号化対象画像の各ブロックを基準として代表ベクトルＲＶが指し示す画像が撮像された位置Ｖｍを外部から入力されたカメラパラメータＣＰから抽出する。また、視点間距離算出部２０１ａは、符号化対象画像の当該ブロックの参照画像が撮像された位置Ｖｒを外部から入力されたカメラパラメータＣＰから抽出する。
視点間距離算出部２０１ａは、符号化対象画像が撮像された位置Ｖ０を基準とした上記位置Ｖｍとの差である距離ΔＶｍ（＝Ｖ０－Ｖｍ）と、符号化対象画像が撮像された位置Ｖ０を基準とした上記位置Ｖｒとの差である距離ΔＶｒ（＝Ｖ０－Ｖｒ）とを算出する。
　視点間距離算出部２０１ａは、算出した距離ΔＶｍを示す情報と距離ΔＶｒを示す情報とを視差ベクトル用スケーリング部２１３ａに出力する。
視差ベクトル用スケーリング部２１３ａは、代表ベクトルＲＶに距離ΔＶｒを距離ΔＶｍで割った値（ΔＶｒ／ΔＶｍ）を乗じることにより、代表ベクトルが補正された予測情報ＰＶを生成し、予測情報ＰＶを示す情報を第１の減算部１１３に出力する。
フレーム間隔算出部２０２ａは、予測情報ＰＶを示す情報から、符号化対象画像の各ブロックを基準として予測情報ＰＶが指し示す画像が撮像された時刻Ｔｍを外部から入力されたカメラパラメータＣＰから抽出する。また、フレーム間隔算出部２０２ａは、符号化対象画像の当該ブロックの参照画像が撮像された時刻Ｔｒを外部から入力されたカメラパラメータＣＰから抽出する。
フレーム間隔算出部２０２ａは、符号化対象画像が撮像された時刻Ｔ０を基準とした上記時刻Ｔｍとの差である時間ΔＴｍ（＝Ｔ０－Ｔｍ）と、符号化対象画像が撮像された時刻Ｔ０を基準とした上記時刻Ｔｒとの差である時間ΔＴｒ（＝Ｔ０－Ｔｒ）とを算出する。
　フレーム間隔算出部２０２ａは、算出した時間ΔＴｍを示す情報と時間ΔＴｒを示す情報とを動きベクトル用スケーリング部２１４ａに出力する。
動きベクトル用スケーリング部２１４ａは、代表ベクトルＲＶに時間ΔＴｒを時間ΔＴｍで割った値（ΔＴｒ／ΔＴｍ）を乗じることにより、代表ベクトルＲＶが補正された予測情報ＰＶを生成し、その予測情報ＰＶを示す情報を第１の減算部１１３に出力する。
図１２は、第２の実施形態における参照情報予測部１０８ａの処理を示したフローチャートである。この図１２のフローチャートを用いて、一つの符号化対象ブロックの予測情報を生成する方法の説明をする。
　まず、代表値算出部２１５ａは、隣接ブロックの参照画像指定情報ＲＡと、隣接ブロックの参照情報ＮＲを取得する(ステップＳ４０１)。そして、代表値算出部２１５ａは、隣接ブロックの参照情報ＮＲを用いて、それぞれの成分毎に中央値を取ることにより代表ベクトルＲＶを生成する（ステップＳ４０２）。
次に、隣接ブロック用参照情報判定部６０１は、予測情報で指定されたブロックの参照画像指定情報ＲＡから、代表ベクトルＲＶに選ばれた参照情報が視差ベクトルか否かを判定する（ステップＳ４０３）。代表ベクトルＲＶに選ばれた参照情報が視差ベクトルの場合（ステップＳ４０３　ＹＥＳ）、隣接ブロック用参照情報判定部６０１は、視差ベクトル用スケーリング部２１３ａに代表ベクトルＲＶを示す情報を出力し、ステップＳ４０４に進む。
次に、視点間距離算出部２０１ａは、視点間の距離を算出する（ステップＳ４０４）。視差ベクトル用スケーリング部２１３ａは視点間の距離に基づいて、代表ベクトルＲＶをスケーリングすることにより予測情報ＰＶを生成する（ステップＳ４０５）。
一方、代表ベクトルＲＶで指定されたブロックの参照情報が動きベクトルの場合（ステップＳ４０３　ＮＯ）、隣接ブロック用参照情報判定部６０１は、動きベクトル用スケーリング部２１４ａに予測情報ＰＶを示す情報を出力し、ステップＳ４０６に進む。
　次に、フレーム間隔算出部２０２ａは、フレーム間の時間を算出する（ステップＳ４０４）。動きベクトル用スケーリング部２１４ａは、フレーム間の時間に基づいて、代表ベクトルＲＶをスケーリングすることにより予測情報ＰＶを生成する（ステップＳ４０７）。以上で、本フローチャートの処理を終了する。
以上、本実施形態の参照情報予測部１０８ａは、第１の実施形態のように、各隣接ブロックの参照情報ＮＲに対してスケーリングを行うのではなく、まず隣接ブロックの参照情報ＮＲから代表ベクトルＲＶを生成し、その代表ベクトルＲＶに対して時間方向もしくは視点方向にスケーリングすることにより予測情報ＰＶを生成するので、第１の実施形態の参照情報予測部１０８に比べてスケーリングの回数を減らすことができるので、予測情報の生成にかかる処理時間を短縮することが出来る。これにより、本実施形態の画像符号化装置１００ａは、第１の実施形態の画像符号化装置１００よりも、符号化にかかる処理時間を短縮することが出来る。
図１３は、第２の実施形態における画像復号装置５００ａの構成を示す機能ブロック図である。なお、図８と共通する要素には同一の符号を付し、その具体的な説明を省略する。図１３の画像復号装置５００ａの構成は、図８の画像復号装置５００の構成に対して、参照情報予測部１０８を、参照情報予測部１０８ａに変更したものとなっている。
同様に、本実施形態の参照情報予測部１０８ａは、第１の実施形態の参照情報予測部１０８に比べて予測情報の生成にかかる処理時間を短縮することが出来るので、本実施形態の画像複合装置５００ａは、第１の実施形態の画像複合装置５００よりも、復号にかかる処理時間を短縮することが出来る。
　＜第３の実施形態＞
　続いて、第３の実施形態について説明する。第１の実施形態における画像符号化装置１００は、各隣接ブロックの参照情報ＮＲに対してスケーリングを行い、その後にスケーリング後の隣接ブロックの参照情報ＮＲから予測情報ＰＶを生成した。しかし、動きベクトルと視差ベクトルの間には相関性が無いので、画像符号化装置１００が符号化対象ブロックの参照情報が視差ベクトルの時に、隣接ブロックの参照情報が動きベクトルのものを用いて予測情報ＰＶを算出した場合、予測情報ＰＶの精度が悪くなる場合がある。
一方、本実施形態における画像符号化装置１００ｂは、符号化対象ブロックの参照情報ＴＲが視差ベクトルの時に、隣接ブロックの参照情報ＮＲが動きベクトルである参照情報を除外した隣接ブロックの参照情報ＮＲを用いて予測情報ＰＶを生成し、または符号化対象ブロックの参照情報ＴＲが動きベクトルの時に、隣接ブロックの参照情報ＮＲが視差ベクトルである参照情報を除外した隣接ブロックの参照情報ＮＲを用いて予測情報ＰＶを生成する。
これにより、画像符号化装置１００ｂは、符号化対象ブロックの参照情報ＴＲが視差ベクトルの時に、隣接ブロックの参照情報ＮＲが動きベクトルである参照情報に基づいて予測情報ＰＶが算出されること、または符号化対象ブロックの参照情報ＴＲが動きベクトルの時に、隣接ブロックの参照情報ＮＲが視差ベクトルである参照情報に基づいて予測情報ＰＶが算出されることを無くすことができる。その結果、画像符号化装置１００ｂは予測情報の精度を常に所定の精度に維持することができる。
図１４は、第３の実施形態における画像符号化装置１００ｂの構成を示す機能ブロック図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。図１４の画像符号化装置１００ｂの構成は、図１の画像符号化装置１００の構成に対して、参照情報予測部１０８を、参照情報予測部１０８ｂに変更したものとなっている。
参照情報予測部１０８ｂは、図１の参照情報予測部１０８と同様に、カメラパラメータＣＰと、参照画像指定情報ＲＡと、各隣接ブロックの参照情報ＮＲとに基づいて、予測情報ＰＶを生成し、生成した予測情報ＰＶを示す情報を第１の減算部１１３に出力する。
続いて、参照情報予測部１０８ｂの詳細について図１５を用いて説明する。図１５は、第３の実施形態における参照情報予測部１０８ｂの構成を示す機能ブロック図である。なお、図２と共通する要素には同一の符号を付し、その具体的な説明を省略する。図１５の参照情報予測部１０８ｂの構成は、図２の参照情報予測部１０８の構成に対して、予測情報生成部２１０を、予測情報生成部２１０ｂに変更したものとなっている。
予測情報生成部２１０ｂは、両ブロック用参照情報判定部６０２と、視差ベクトル用スケーリング部（視差補正部）２１３ｂと、動きベクトル用スケーリング部２１４ｂと、代表値算出部２１５ｂとを備える。
両ブロック用参照情報判定部６０２は、隣接ブロックの参照情報ＮＲと符号化対象ブロックの参照情報ＴＲが、共に視差ベクトルか否か、もしくは共に動きベクトルか否かを判定する。そして、隣接ブロックと符号化対象ブロックの参照情報ＴＲが共に視差ベクトルであった場合には、両ブロック用参照情報判定部６０２は、視差ベクトル用スケーリング部２１３ｂへ隣接ブロックの参照情報ＮＲを出力する。一方、両ブロック用参照情報判定部６０２は、隣接ブロックと符号化対象ブロックの参照情報ＴＲが共に動きベクトルであった場合には、動きベクトル用スケーリング部２１４ｂへ隣接ブロックの参照情報ＮＲを出力する。
また、隣接ブロックの参照情報ＮＲと符号化対象ブロックの参照情報ＴＲが共に視差ベクトルまたは動きベクトルではなかった場合には、両ブロック用参照情報判定部６０２は、水平成分及び垂直成分を０が設定された隣接ブロックの参照情報ＮＲ０を代表値算出部２１５ｂへ出力する。
視差ベクトル用スケーリング部２１３ｂは、図２の視差ベクトル用スケーリング部２１３と同様に、両ブロック用参照情報判定部６０２から入力された隣接ブロックの参照情報ＮＲを、視点間距離算出部２０１から入力された視点間の距離を示す情報に基づいてスケーリングし、スケーリング後の隣接ブロックの参照情報ＳＮＲを代表値算出部２１５ｂに出力する。
動きベクトル用スケーリング部２１４ｂは図２の動きベクトル用スケーリング部２１４と同様に、両ブロック用参照情報判定部６０２から入力された隣接ブロックの参照情報ＮＲを、フレーム間隔算出部２０２から入力されたフレーム間の時間を示す情報に基づいてスケーリングし、スケーリング後の隣接ブロックの参照情報ＳＮＲを代表値算出部２１５ｂに出力する。
代表値算出部２１５ｂは、両ブロック用参照情報判定部６０２により水平成分及び垂直成分が０に設定された隣接ブロックの参照情ＮＲ報、もしくは視差ベクトル用スケーリング部２１３ｂまたは動きベクトル用スケーリング部２１４ｂにより生成されたスケーリング後の隣接ブロックの参照情報ＳＮＲを入力として受け取る。
そして、代表値算出部２１５ｂは、３つの隣接ブロックの参照情報ＮＲのうち、水平成分及び垂直成分が０に設定されたものが２つであった場合には、残り１つの隣接ブロックの参照情報ＮＲを予測情報ＰＶとし、２つ以外の場合には、水平成分の中央値、垂直成分の中央値をそれぞれ予測情報ＰＶの水平成分、垂直成分とする予測情報ＰＶを生成する。代表値算出部２１５ｂは、生成した予測情報ＰＶを示す情報を第１の減算部１１３に出力する。
図１６は、第３の実施形態における参照情報予測部１０８ｂの処理を示したフローチャートである。この図１６のフローチャートを用いて、一つの符号化対象ブロックの予測情報を生成する方法の説明をする。
　参照情報予測部１０８ｂは、以下の処理（ステップＳ５０２～ステップＳ５０９）を各隣接ブロックについて行う。まず、両ブロック用参照情報判定部６０２は、符号化対象ブロックの参照画像指定情報ＲＡと隣接ブロックの参照画像指定情報ＲＡと、隣接ブロックの参照情報ＮＲを取得する(ステップＳ５０２)。
次に、両ブロック用参照情報判定部６０２は、符号化対象ブロックと隣接ブロックの参照方向が同一か否か、すなわち、隣接ブロックと符号化対象ブロックの参照情報が共に視差ベクトルか否か、もしくは共に動きベクトルか否かを判定する（ステップＳ５０３）。ステップＳ５０３において、符号化対象ブロックと隣接ブロックの参照方向が同一でない場合には（ステップＳ５０３　ＮＯ）、隣接ブロックの参照情報ＮＲの水平成分および垂直成分を０に設定（ステップＳ５０９）し、その隣接ブロックの参照情報ＮＲ０を代表値算出部２１５ｂへ出力する。
参照情報予測部１０８ｂは、全ての隣接ブロックについてステップＳ５０２からステップＳ５０９までの処理をしていれば、ステップＳ５１１の処理に進み、未処理の隣接ブロックが残っている場合には、ステップＳ５０２の処理に戻る。
一方、両ブロック用参照情報判定部６０２は、参照方向が同一の時は（ステップＳ５０３　ＹＥＳ）、ステップＳ５０４の処理に進む。
　参照情報予測部１０８ｂは、ステップＳ５０５からＳ５０８までの処理を、それぞれ図７におけるステップＳ２０４からＳ２０７までの処理と同様に行う。
次に、ステップＳ５１１において、代表値算出部２１５ｂは、両ブロック用参照情報判定部６０２により出力される水平成分及び垂直成分を０が設定された隣接ブロックの参照情報ＮＲ０、もしくは視差ベクトル用スケーリング部２１３ｂ、もしくは動きベクトル用スケーリング部２１４ｂにより出力されるスケーリング後の隣接ブロックの参照情報ＳＮＲを用いて予測情報を生成する。以上で、本フローチャートの処理を終了する。
以上、本実施形態における参照情報予測部１０８ｂは、符号化対象ブロックの参照情報が視差ベクトルの時に、隣接ブロックの参照情報が動きベクトルである参照情報を除外した参照情報を用いて予測情報ＰＶを生成し、または符号化対象ブロックの参照情報が動きベクトルの時に、隣接ブロックの参照情報が視差ベクトルである参照情報を除外した参照情報を用いて予測情報ＰＶを生成する。
　これにより、参照情報予測部１０８ｂは、符号化対象ブロックの参照情報が視差ベクトルの時に、動きベクトルである隣接ブロックの参照情報に基づいて予測情報が算出されること、または符号化対象ブロックの参照情報が動きベクトルの時に、視差ベクトルである隣接ブロックの参照情報に基づいて予測情報が算出されることを無くすことができる。その結果、参照情報予測部１０８ｂは予測情報の精度を常に所定の精度以上に維持することができるので、画像符号化装置１００ｂは、画像の符号化の精度を常に所定の精度以上に維持する。
図１７は、第３の実施形態における画像復号装置５００ｂの構成を示す機能ブロック図である。なお、図８と共通する要素には同一の符号を付し、その具体的な説明を省略する。図１７の画像復号装置５００ｂの構成は、図８の画像復号装置５００の構成に対して、参照情報予測部１０８を、参照情報予測部１０８ｂに変更したものとなっている。
これにより、画像復号装置５００ｂは、画像符号化装置１００ｂにより符号化された差分画像符号化データＤＥを復号することができるので、画像の符号化の精度を常に所定の精度以上に維持することを可能とする画像符号化装置１００ｂを実現することができる。
なお、全ての実施形態で、代表値算出部（２１５、２１５ａ、２１５ｂ）は、入力された各情報に対して、それらの成分毎の中央値を予測情報の各成分の値としたが、これに限らず、それらの成分毎の平均値または最頻値を予測情報の各成分の値としてもよい。すなわち、代表値算出部（２１５、２１５ａ、２１５ｂ）は、入力された各情報の成分毎の代表値を算出し、算出した各代表値をそれぞれ予測情報の各成分の値とすればよい。
また、参照情報予測部（１０８、１０８ａ、１０８ｂ）は、画像符号化装置（１００、１００ａ、１００ｂ）の一部として説明したが、これに限らず、参照情報予測部（１０８、１０８ａ、１０８ｂ）は、予測情報生成装置という独立した装置であってもよい。
また、本実施形態の画像符号化装置（１００、１００ａ、１００ｂ）、画像復号装置（５００、５００ａ、５００ｂ）または参照情報予測部（１０８、１０８ａ、１０８ｂ）の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像符号化装置（１００、１００ａ、１００ｂ）、画像復号装置（５００、５００ａ、５００ｂ）または参照情報予測部（１０８、１０８ａ、１０８ｂ）に係る上述した種々の処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　１００、１００ａ、１００ｂ…画像符号化装置
　１０１…画像入力部
　１０２…ブロックマッチング実施部
　１０３…予測画像生成部
　１０４…差分画像符号化部
　１０５…差分画像復号部
　１０６…参照画像メモリ
　１０７…参照情報蓄積メモリ
　１０８、１０８ａ、１０８ｂ…参照情報予測部
　１０９…差分参照情報符号化部
　１１０…参照画像指定情報蓄積メモリ
　１１１…参照画像選択部
　１１２…参照画像指定情報符号化部
　１１３…第１の減算部
　１１４…第２の減算部
　１１５…加算部
　２０１…視点間距離算出部
　２０２…フレーム間隔算出部
　２１０、２１０ａ、２１０ｂ…予測情報生成部
　２１１…対象ブロック用参照情報判定部
　２１３、２１３ａ、２１３ｂ…視差ベクトル用スケーリング部（視差補正部）
　２１４、２１４ａ、２１４ｂ…動きベクトル用スケーリング部
　２１５、２１５ａ、２１５ｂ…代表値算出部
　３０１、４０１…符号化対象の画像
　３０２、４０２…符号化対象ブロックの参照画像
　３０３ａ、４０３ａ…隣接ブロックＡの参照画像
　３０３ｂ、４０３ｂ…隣接ブロックＢの参照画像
　３０３ｃ、４０３ｃ…隣接ブロックＣの参照画像
　５００、５００ａ、５００ｂ…画像復号装置
　５０１…差分画像復号部
　５０２…差分参照情報復号部
　５０３…参照画像指定情報復号部
　５０４…予測画像生成部
　５０５…参照画像メモリ
　５０６…参照情報蓄積メモリ
　５０７…参照画像指定情報蓄積メモリ
　５０８…第１の加算部
　５０９…第２の加算部
　６０１…隣接ブロック用参照情報判定部
　６０２…両ブロック用参照情報判定部

Claims (15)

  1. 符号化または復号の対象となる対象画像をブロックに分割し、符号化または復号の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を符号化もしくは復号するときに用いられる、前記予測情報を生成する予測情報生成装置が実行する予測情報生成方法であって、
    前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測手順を有することを特徴とする予測情報生成方法。
  2. 前記参照情報予測手順は、前記対象画像が撮像された位置を基準位置として、該基準位置と前記対象ブロックの参照情報を検出するために参照された参照画像が撮像された位置との距離である第１の距離と、前記基準位置と前記対象ブロックに隣接する隣接ブロックの参照情報を検出するために参照された参照画像が撮像された位置との距離である第２の距離とを算出する視点間距離算出手順と、前記算出された第１の距離と、前記算出された第２の距離と、前記隣接ブロックの参照情報とに基づいて、前記対象ブロックの予測情報を生成する予測情報生成手順と、を有することを特徴とする請求項１に記載の予測情報生成方法。
  3. 前記予測情報生成手順は、前記第２の距離に対する第１の距離の比に基づいて、前記隣接ブロックの参照情報を補正する視差補正手順と、前記補正された隣接ブロックの参照情報に基づいて、代表値を算出する代表値算出手順と、を更に有することを特徴とする請求項２に記載の予測情報生成方法。
  4. 前記予測情報生成手順は、前記対象ブロックの参照情報と、前記隣接ブロックの参照情報とが共に視差ベクトルであるか否か判定する両ブロック用参照情報判定手順を更に有し、
    　前記代表値算出手順は、前記両ブロック用参照情報判定手順による判定結果が共に視差ベクトルでない場合、当該隣接ブロックの参照情報を除いた隣接ブロックの参照情報から代表値を算出することを特徴とする請求項３に記載の予測情報生成方法。
  5. 前記予測情報生成手順は、前記対象ブロックの参照情報が視差ベクトルであるか否か判定する対象ブロック用参照情報判定手順を更に有し、前記視差補正手順は、前記対象ブロック用参照情報判定手順により前記対象ブロックの参照情報が視差ベクトルであると判定された場合、前記隣接ブロックの参照情報を補正することを特徴とする請求項３または請求項４に記載の予測情報生成方法。
  6. 前記予測情報生成手順は、前記隣接ブロックの参照情報に基づいて、代表ベクトルを算出する代表値算出手順と、前記第２の距離に対する第１の距離の比に基づいて、前記代表ベクトルを補正する視差ベクトル用スケーリング手順と、を更に有することを特徴とする請求項２に記載の予測情報生成方法。
  7. 　前記予測情報生成手順は、前記代表ベクトルに選ばれた参照情報が視差ベクトルであるか否か判定する隣接ブロック用参照情報判定手順を更に有し、
    前記視差補正手順は、前記隣接ブロック用参照情報判定手順により前記代表ベクトルに選ばれた参照情報が視差ベクトルであると判定された場合、前記代表ベクトルを補正することを特徴とする請求項６に記載の予測情報生成方法。
  8. 符号化の対象となる対象画像をブロックに分割し、符号化の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を符号化することで、前記参照情報を符号化する画像符号化装置が実行する画像符号化方法であって、
    前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測手順を有することを特徴とする画像符号化方法。
  9. 復号の対象となる対象画像をブロックに分割し、復号の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を復号することで、前記参照情報を復号する画像復号装置が実行する画像復号方法であって、
    前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測手順を有することを特徴とする画像復号方法。
  10. 符号化または復号の対象となる対象画像をブロックに分割し、符号化または復号の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を符号化もしくは復号するときに用いられる、前記予測情報を生成する予測情報生成装置であって、
    前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測部を備えることを特徴とする予測情報生成装置。
  11. 符号化または復号の対象となる対象画像をブロックに分割し、符号化または復号の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を符号化もしくは復号するときに用いられる、前記予測情報を生成する予測情報生成装置のコンピュータに、
    前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測ステップを実行させるための予測情報生成プログラム。
  12. 符号化の対象となる対象画像をブロックに分割し、符号化の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を符号化することで、前記参照情報を符号化する画像符号化装置であって、
    前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測部を備えることを特徴とする画像符号化装置。
  13. 符号化の対象となる対象画像をブロックに分割し、符号化の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を符号化することで、前記参照情報を符号化する画像符号化装置のコンピュータに、
    前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測ステップを実行させるための画像符号化プログラム。
  14. 復号の対象となる対象画像をブロックに分割し、復号の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を復号することで、前記参照情報を復号する画像復号装置であって、
    前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測部を備えることを特徴とする画像復号装置。
  15. 復号の対象となる対象画像をブロックに分割し、復号の対象となるブロックである対象ブロックの参照情報と該参照情報の予測である予測情報との差分を復号することで、前記参照情報を復号する画像復号装置のコンピュータに、
    前記対象ブロックの参照画像と該対象ブロックに隣接する隣接ブロックの参照画像と前記対象画像とがそれぞれ撮像された位置の関係と、該隣接ブロックの前記参照情報とに基づいて、前記対象ブロックにおける予測情報を生成する参照情報予測ステップを実行させるための画像復号プログラム。
     
PCT/JP2012/052253 2011-02-07 2012-02-01 予測情報生成方法、画像符号化方法、画像復号方法、予測情報生成装置、予測情報生成プログラム、画像符号化装置、画像符号化プログラム、画像復号装置および画像復号プログラム WO2012108315A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011023949 2011-02-07
JP2011-023949 2011-02-07

Publications (1)

Publication Number Publication Date
WO2012108315A1 true WO2012108315A1 (ja) 2012-08-16

Family

ID=46638531

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/052253 WO2012108315A1 (ja) 2011-02-07 2012-02-01 予測情報生成方法、画像符号化方法、画像復号方法、予測情報生成装置、予測情報生成プログラム、画像符号化装置、画像符号化プログラム、画像復号装置および画像復号プログラム

Country Status (1)

Country Link
WO (1) WO2012108315A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015056700A1 (ja) * 2013-10-17 2015-04-23 日本電信電話株式会社 映像符号化装置及び方法、及び、映像復号装置及び方法
WO2015056647A1 (ja) * 2013-10-17 2015-04-23 日本電信電話株式会社 映像符号化装置及び方法、及び、映像復号装置及び方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008053746A1 (fr) * 2006-10-30 2008-05-08 Nippon Telegraph And Telephone Corporation Procédé de génération d'informations de référence prédictives, procédé de codage et de décodage d'image dynamiques, leur dispositif, leur programme et support de stockage contenant le programme
JP2009510892A (ja) * 2005-09-29 2009-03-12 サムスン エレクトロニクス カンパニー リミテッド カメラパラメータを利用して視差ベクトルを予測する方法、その方法を利用して多視点映像を符号化及び復号化する装置、及びそれを行うためのプログラムが記録された記録媒体
JP2009543508A (ja) * 2006-07-12 2009-12-03 エルジー エレクトロニクス インコーポレイティド 信号処理方法及び装置
JP2010536242A (ja) * 2007-08-06 2010-11-25 トムソン ライセンシング 複数のインタービュー参照ピクチャを用いたモーションスキップモードのための方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009510892A (ja) * 2005-09-29 2009-03-12 サムスン エレクトロニクス カンパニー リミテッド カメラパラメータを利用して視差ベクトルを予測する方法、その方法を利用して多視点映像を符号化及び復号化する装置、及びそれを行うためのプログラムが記録された記録媒体
JP2009543508A (ja) * 2006-07-12 2009-12-03 エルジー エレクトロニクス インコーポレイティド 信号処理方法及び装置
WO2008053746A1 (fr) * 2006-10-30 2008-05-08 Nippon Telegraph And Telephone Corporation Procédé de génération d'informations de référence prédictives, procédé de codage et de décodage d'image dynamiques, leur dispositif, leur programme et support de stockage contenant le programme
JP2010536242A (ja) * 2007-08-06 2010-11-25 トムソン ライセンシング 複数のインタービュー参照ピクチャを用いたモーションスキップモードのための方法及び装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015056700A1 (ja) * 2013-10-17 2015-04-23 日本電信電話株式会社 映像符号化装置及び方法、及び、映像復号装置及び方法
WO2015056647A1 (ja) * 2013-10-17 2015-04-23 日本電信電話株式会社 映像符号化装置及び方法、及び、映像復号装置及び方法
CN105532006A (zh) * 2013-10-17 2016-04-27 日本电信电话株式会社 视频编码装置及方法以及视频解码装置及方法
JPWO2015056647A1 (ja) * 2013-10-17 2017-03-09 日本電信電話株式会社 映像符号化装置及び方法、及び、映像復号装置及び方法
JPWO2015056700A1 (ja) * 2013-10-17 2017-03-09 日本電信電話株式会社 映像符号化装置及び方法、及び、映像復号装置及び方法
CN105532006B (zh) * 2013-10-17 2019-06-25 日本电信电话株式会社 视频编码装置及方法以及视频解码装置及方法
US10972751B2 (en) 2013-10-17 2021-04-06 Nippon Telegraph And Telephone Corporation Video encoding apparatus and method, and video decoding apparatus and method

Similar Documents

Publication Publication Date Title
JP4938884B2 (ja) 予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラム
KR101374812B1 (ko) 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 다시점 영상 부호화 장치, 다시점 영상 복호 장치 및 프로그램
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
WO2012147621A1 (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
US9924197B2 (en) Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
JP6039178B2 (ja) 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
TWI499277B (zh) 多視點畫像編碼方法、多視點畫像解碼方法、多視點畫像編碼裝置、多視點畫像解碼裝置及這些程式
JP2015532061A (ja) 一連の画像における輝度変動を補償する方法と装置
JP6445026B2 (ja) ３ｄビデオコーディングにおけるカメラパラメータ処理方法および装置
KR20120095611A (ko) 다시점 비디오 부호화/복호화 방법 및 장치
JP6232075B2 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
Li et al. Imaging-correlated intra prediction for plenoptic 2.0 video coding
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
WO2012108315A1 (ja) 予測情報生成方法、画像符号化方法、画像復号方法、予測情報生成装置、予測情報生成プログラム、画像符号化装置、画像符号化プログラム、画像復号装置および画像復号プログラム
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
JP2013150071A (ja) 符号化装置、符号化方法、プログラム及び記憶媒体
JP7382186B2 (ja) 符号化装置、復号装置、及びプログラム
KR20160140622A (ko) 동화상 부호화 장치 및 방법, 및 동화상 복호 장치 및 방법
JP2012124946A (ja) 予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラム
JP2021044658A (ja) 符号化装置、復号装置、及びプログラム
JP2017055425A (ja) 画像符号化方法、画像復号方法、及び記録媒体
WO2015056647A1 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
JP2013179554A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12745055

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12745055

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP