WO2012121369A1 - 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム - Google Patents

画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム Download PDF

Info

Publication number
WO2012121369A1
WO2012121369A1 PCT/JP2012/056114 JP2012056114W WO2012121369A1 WO 2012121369 A1 WO2012121369 A1 WO 2012121369A1 JP 2012056114 W JP2012056114 W JP 2012056114W WO 2012121369 A1 WO2012121369 A1 WO 2012121369A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
block
reference image
predicted
unit
Prior art date
Application number
PCT/JP2012/056114
Other languages
English (en)
French (fr)
Inventor
大津　誠
内海　端
純生 佐藤
貴也 山本
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2012121369A1 publication Critical patent/WO2012121369A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the conventional technique seeks a combination of a block in the first reference frame and a second reference block in which the correlation between the obtained average block and the encoding target block is highest. Therefore, the conventional technique has a problem that the prediction accuracy is lowered depending on the scene of the subject and the coding efficiency is lowered.
  • the image decoding apparatus which concerns on the other aspect of this invention decodes two or more reference block information showing the reference image block which is one area
  • a predicted image generation unit that generates a predicted image by preferentially using a reference image block that indicates a shorter distance to the subject represented by the reference image block.
  • the subtraction unit 102 subtracts the predicted image signal input from the predicted image generation unit 104 from the input image signal input from the image input unit 101 for each frame, and generates a difference image signal for each frame.
  • the subtraction unit 102 outputs the generated difference image signal to the difference image encoding unit 105 for each frame.
  • the difference image encoding unit 105 encodes the difference image signal input from the subtraction unit 102 for each frame to generate a difference image code.
  • the difference image signal is subjected to, for example, DCT transform (discrete cosine transform) and frequency domain signal (for example, DCT transform). , DCT coefficients).
  • the predicted image generation unit 104 reads a reference image signal from the reference image memory 107 based on the reference block information and the reference image information input for each block from the reference image / reference block selection unit 103. When the L0 reference block information and the L1 reference block information are valid among the reference block information, the predicted image generation unit 104 further stores the frame corresponding to the reference image signal read from the reference image memory 107. Read the depth map. The predicted image generation unit 104 receives the input reference block information and the read reference image signal (when the L0 reference block information and the L1 reference block information out of the reference block information are valid (that is, based on the B picture). In addition, a predicted image block is generated based on the reference depth map.
  • the case where the input reference image block is extracted from the same type of reference image as the image of the future frame is, for example, that the input image signal is a B picture (B2, B3 or B4) and the reference image signal ( This is a case in which the L0 reference block information and the L1 reference block information (corresponding to either one) are P pictures (P1).
  • the depth use prediction image generation unit 1043 generates a depth use prediction image block based on the L0 reference image block, the L1 reference image block, the L0 depth block, and the L1 depth block input from the reference image / reference depth acquisition unit 1041. It outputs to the prediction image selection part 1044. The process of generating the depth use prediction image block in the depth use prediction image generation unit 1043 will be described later.
  • FIG. 4 is a conceptual diagram illustrating an example of a reference image block, a depth block, and a predicted image block in the present embodiment.
  • the upper left row shows the L0 reference image block (l0) and the L0 depth block (d0) of the past frame
  • the lower left row shows the L1 reference image block (l1) and the L1 depth block (d1) of the past frame. .
  • FIG. 5 is a flowchart showing a process of generating a depth use prediction image block performed by the depth use prediction image generation unit 1043 according to the present embodiment.
  • the depth use predicted image generation unit 1043 receives the L0 reference image block, the L1 reference image block, the L0 depth block, and the L1 depth block from the reference image / reference depth acquisition unit 1041. Thereafter, the process proceeds to step S102.
  • the depth use predicted image generation unit 1043 repeats the processing of the following steps S103 to S107 for each pixel (i, j) in the image block.
  • the coordinate values (i, j) of the processing target pixel are common to the L0 reference image block, the L1 reference image block, the L0 depth block, and the L1 depth block.
  • the process proceeds to step S103.
  • Step S305 The predicted image selection unit 1044 receives the first to n-th predicted image blocks input from the first to n-th predicted image blocks 1042-1 to 1042-n and the depth-based predicted image generation unit 1043, respectively.
  • One candidate prediction image block having the smallest index value for example, SAD between the block in the input image signal
  • the prediction image selection unit 1044 outputs prediction mode information corresponding to the selected candidate prediction image block to the prediction mode information encoding unit 108. Thereafter, the process proceeds to step S307.
  • FIG. 8 is a schematic diagram illustrating a configuration of the image decoding device 400 according to the present embodiment.
  • the image decoding apparatus 400 includes a difference image decoding unit 401, a reference image information decoding unit 402, a reference image information unpacking unit 403, a reference block information decoding unit 404, a reference block information unpacking unit 405, a prediction mode information decoding unit 406, a prediction
  • the image generation unit 407, the reference image memory 408, the addition unit 409, and the depth map decoding unit 410 are configured.
  • the reference image information decoding unit 402 decodes a reference image information code input from the outside (for example, the image encoding device 100), and generates reference image information for each frame.
  • the decoding process performed by the reference image information decoding unit 402 is a process (for example, variable length decoding) opposite to the encoding method (for example, variable length encoding) performed by the reference image information encoding unit 110.
  • the reference image information decoding unit 402 outputs the generated reference image information to the reference image information unpacking unit 403.
  • the reference image information unpacking unit 403 unpacks the reference image information input for each frame from the reference image information decoding unit 402 for each block, and extracts the reference image information for each unpacked block in the corresponding block.
  • the reference image signal is generated at the position.
  • the depth map decoding unit 410 decodes the depth map code input from the outside (for example, the image encoding device 100), and generates a depth map for each frame.
  • the decoding process performed by the depth map decoding unit 410 is a process (for example, variable length decoding) opposite to the encoding method (for example, variable length encoding) performed by the depth map encoding unit 114.
  • the depth map decoding unit 410 stores the generated depth map in the reference image memory 408 in association with the reference image of the same frame for each frame.
  • the reference image / reference depth acquisition unit 4071 acquires a reference image block based on the reference block information input from the reference block information unpacking unit 405 from the read reference image signal, and when the depth map is read. Gets the depth block.
  • the predicted image generation unit 407 reads a part of the stored reference image signal from the reference image memory 408, and the read reference image signal From a part, image blocks in the vicinity of the target image block (upper, left, upper left, and upper right image blocks) are acquired.
  • the reference image / reference depth acquisition unit 4071 acquires the reference image block and the depth block based on the reference image information in the same manner as the reference image / reference depth acquisition unit 1041.
  • FIG. 10 is a flowchart showing an image decoding process according to the present embodiment.
  • the difference image decoding unit 401, the reference image information decoding unit 402, the reference block information decoding unit 404, the prediction mode information decoding unit 406, and the depth map decoding unit 410 are respectively a difference image code, a reference image information code, and a reference.
  • Each of the block information code, the prediction mode information code, and the depth map code is input from the outside (for example, the image encoding device 100). Thereafter, the process proceeds to step S502.
  • Step S506 For all blocks in the frame, the predicted image generation unit 407 repeats the process of step S507.
  • Step S ⁇ b> 507 The predicted image generation unit 407 generates a reference image from the reference image memory 408 based on the reference image information input from the reference image information unpacking unit 403 and the reference block information input from the reference block information unpacking unit 405.
  • a signal (a reference depth map of the same frame as the read reference image signal when the reference block information is L0 reference block information or L1 reference block information indicating that the reference block information is valid) is read.
  • the predicted image generation unit 407 generates a predicted image block based on the reference image (or the read reference depth map when the reference depth map is read).
  • Step S508 If the process has not been completed for all the blocks in the frame, the predicted image generation unit 407 changes the block to be processed and returns to Step S507. If the process has been completed for all blocks in the frame, the process proceeds to step S509. (Step S509) The predicted image generation unit 407 generates a predicted image signal for each frame by arranging each of the generated predicted image blocks at the position of the corresponding block. The predicted image generation unit 407 outputs the generated predicted image signal to the addition unit 409. In addition, the process which produces
  • FIG. 11 is a flowchart illustrating a predicted image generation process performed by the predicted image generation unit 407 according to the present embodiment.
  • This predicted image generation processing corresponds to the processing in steps S506 to S509 shown in FIG. (Step S601)
  • the reference image / reference depth acquisition unit 4071 receives the reference image information from the reference image information unpacking unit 403 and the reference block information for each block from the reference block information unpacking unit 405. Thereafter, the process proceeds to step S602.
  • the image encoding apparatus 100 is not limited to this and may input every arbitrary number of frames. Good.
  • the image decoding apparatus 400 outputs the output image signal every 5 frames.
  • the image decoding apparatus 400 is not limited to this, and may output every arbitrary number of frames.
  • the image coding apparatus 100 includes the reference image / reference block selection unit 103 that generates the reference image information and the reference block information. Instead, a reference image selection unit that generates reference image information and a reference image block information selection unit that generates reference block information may be provided.
  • a part of the image encoding device 100 and the image decoding device 400 in the above-described embodiment for example, the subtraction unit 102, the reference image / reference block selection unit 103, the predicted image generation unit 104, the difference image encoding unit 105, the difference Image decoding unit 106, prediction mode information encoding unit 108, reference image information packing unit 109, reference image information encoding unit 110, reference block information packing unit 111, reference block information encoding unit 112, addition unit 113, depth map code Unit 114, depth map decoding unit 115, differential image decoding unit 401, reference image information decoding unit 402, reference image information plan packing unit 403, reference block information decoding unit 404, reference block information unpacking unit 405, prediction mode information Decoding unit 406, predicted image generation unit 407, addition unit 409 and depth It may be realized flop decoding unit 410 in the computer.
  • LSI Large Scale Integration
  • Each functional block of the image encoding device 100 and the image decoding device 400 may be individually made into a processor, or a part or all of them may be integrated into a processor.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, in the case where an integrated circuit technology that replaces LSI appears due to progress in semiconductor technology, an integrated circuit based on the technology may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　複数の参照画像を用いて入力画像を符号化する画像符号化装置において、参照画像選択部は前記複数の参照画像から参照画像を選択し、参照画像取得部は前記参照画像選択部が選択した参照画像の一領域である参照画像ブロックと前記入力画像を分割した画像ブロックとの相関に基づいて、当該参照画像ブロックを２以上取得し、予測画像生成部は前記参照画像取得部が取得した２以上の参照画像ブロックのうち、当該参照画像ブロックが表す被写体への距離情報がより短い距離を示す参照画像ブロックを優先して用いることにより予測画像を生成する。

Description

画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
　本発明は、画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラムに関する。
　本願は、２０１１年３月１０日に、日本に出願された特願２０１１－０５２８２７号に基づき優先権を主張し、その内容をここに援用する。
　従来の代表的な動画像符号化方式としてＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）－１、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）等の方式がある。これらの動画像符号化方式では、動き補償フレーム間予測という動画像の時間方向の相関性を利用して時間的冗長性を取り除き、高い符号化効率を実現している。
　Ｈ．２６４／ＡＶＣは、符号化対象のフレームの画像に対して過去及び未来のフレームの画像を参照画像として双方向のフレーム間予測符号化を行っている。このような符号化対象のフレームの画像を双方向予測符号化画像と呼ぶ。
　例えば、特許文献１及び非特許文献１記載の発明（以下、従来技術）は、双方向予測符号化画像の符号化効率を向上させることを目的に、第１の参照フレームの中から探索したブロックと、第２の参照フレームの中から探索したブロックとの平均化ブロックを求めている。
特開２００８－１１１５８号公報
角野眞也、大久保榮、菊池義浩、鈴木輝彦、Ｈ．２６４／ＡＶＣにおけるＢピクチャ、「改定三版　Ｈ．２６４／ＡＶＣ教科書」、株式会社インプレスＲ＆Ｄ、２００８年１２月２６日、ｐ．１２５－１３１
　しかしながら、従来技術は、求めた平均化ブロックと符号化対象ブロックとの相関が最も高くなる第１の参照フレーム中のブロックと第２の参照ブロックとの組み合わせを求めている。そのため、従来技術は被写体の場面によっては予測精度が低くなり符号化効率を低下させるという問題があった。
　本発明は上記の点に鑑みてなされたものであり、予測画像の予測精度を向上させる画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラムを提供する。
　（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様に係る画像符号化装置は、複数の参照画像を用いて入力画像を符号化する画像符号化装置であって、前記複数の参照画像から参照画像を選択する参照画像選択部と、前記参照画像選択部が選択した参照画像の一領域である参照画像ブロックと前記入力画像を分割した画像ブロックとの相関に基づいて、当該参照画像ブロックを２以上取得する参照画像ブロック取得部と、前記参照画像取得部が取得した２以上の参照画像ブロックのうち、当該参照画像ブロックが表す被写体の距離情報がより近距離を示す参照画像ブロックを優先して用いることにより予測画像を生成する予測画像生成部と、を備える。
　（２）前記予測画像生成部は、前記２以上の参照画像ブロックに含まれる画素毎の前記距離情報が、より短い距離を示す画素を優先して用いることにより予測画像を生成するように構成されていてもよい。
（３）前記予測画像生成部は、前記２以上の参照画像ブロックに含まれる画素毎の前記距離情報に基づいて参照画像ブロック間の重み係数を算出し、前記算出した重み係数に基づき当該画素の輝度値を算出するように構成されていてもよい。
（４）前記予測画像生成部は、前記２以上の参照画像ブロックのうち一の参照画像ブロックに含まれる画素に対応する前記距離情報が、他の参照画像ブロックに含まれる画素に対応する距離情報よりも予め設定された閾値よりも短い距離を示すとき、当該一の参照画像ブロックに含まれる画素を優先して用いることにより予測画像を生成するように構成されていてもよい。
（５）前記予測画像生成部は、前記２以上の参照画像ブロックのうち一の参照画像ブロックに含まれる画素に対応する前記距離情報が、他の参照画像ブロックに含まれる画素に対応する距離情報よりも予め設定された閾値ほど短い距離を示さないとき、当該一の参照画像ブロックに含まれる画素及び当該他の参照ブロックに含まれる画素を同等に用いることにより予測画像を生成するように構成されていてもよい。
（６）前記予測画像生成部において、前記閾値が、前記被写体の距離に基づく値であってもよい。
（７）また、本発明の他の態様に係る画像復号装置は、複数の参照画像を用いて、参照画像の一領域である参照画像ブロックを表す２以上の参照ブロック情報を復号して画像を生成する画像復号装置であって、前記複数の参照画像から前記２以上の参照ブロック情報各々に基づき参照画像ブロックを取得する参照画像取得部と、前記参照画像取得部が取得した参照画像ブロックのうち、当該参照画像ブロックが表す被写体への距離情報がより短い距離を示す参照画像ブロックを優先して用いることにより予測画像を生成する予測画像生成部と、を備える。
　（８）前記予測画像生成部は、前記２以上の参照画像ブロックに含まれる画素毎の前記距離情報が、より短い距離を示す画素を優先して用いることにより予測画像を生成するように構成されていてもよい。
（９）前記予測画像生成部は、前記２以上の参照画像ブロックに含まれる画素毎の前記距離情報に基づいて参照画像ブロック間の重み係数を算出し、前記算出した重み係数に基づき当該画素の輝度値を算出するように構成されていてもよい。
（１０）前記予測画像生成部は、前記２以上の参照画像ブロックのうち一の参照画像ブロックに含まれる画素に対応する前記距離情報が、他の参照画像ブロックに含まれる画素に対応する距離情報よりも予め設定された閾値よりも短い距離を示すとき、当該一の参照画像ブロックに含まれる画素を優先して用いることにより予測画像を生成するように構成されていてもよい。
（１１）前記予測画像生成部は、前記２以上の参照画像ブロックのうち一の参照画像ブロックに含まれる画素に対応する前記距離情報が、他の参照画像ブロックに含まれる画素に対応する距離情報よりも予め設定された閾値ほど短い距離を示さないとき、当該一の参照画像ブロックに含まれる画素及び当該他の参照ブロックに含まれる画素を同等に用いることにより予測画像を生成するように構成されていてもよい。
（１２）前記予測画像生成部において、前記閾値が、前記被写体の距離に基づく値であってもよい。
（１３）また、本発明の他の態様に係る画像符号化方法は、複数の参照画像を用いて入力画像を符号化する画像符号化装置における画像符号化方法であって、前記複数の参照画像から参照画像を選択する工程と、前記選択された参照画像の一領域である参照画像ブロックと前記入力画像を分割した画像ブロックとの相関に基づいて、当該参照画像ブロックを２以上取得する工程と、前記取得した２以上の参照画像ブロックのうち、当該参照画像ブロックが表す被写体への距離情報がより短い距離を示す参照画像ブロックを優先して用いることにより予測画像を生成する工程と、を有する。
　（１４）また、本発明の他の態様に係る画像復号方法は、複数の参照画像を用いて、参照画像の一領域である参照画像ブロックを表す２以上の参照ブロック情報を復号して画像を生成する画像復号装置における画像復号方法であって、前記複数の参照画像から前記２以上の参照ブロック情報各々に基づき参照画像ブロックを取得する工程と、前記取得した参照画像ブロックのうち、当該参照画像ブロックが表す被写体への距離情報がより短い距離を示す参照画像ブロックを優先して用いることにより予測画像を生成する工程と、を有する。
　（１５）また、本発明の他の態様に係る画像符号化プログラムは、複数の参照画像を用いて入力画像を符号化する画像符号化装置のコンピュータに、前記複数の参照画像から参照画像を選択する工程と、前記選択した参照画像の一領域である参照画像ブロックと前記入力画像を分割した画像ブロックとの相関に基づいて、当該参照画像ブロックを２以上取得する工程と、前記取得した２以上の参照画像ブロックのうち、当該参照画像ブロックが表す被写体への距離情報がより短い距離を示す参照画像ブロックを優先して用いることにより予測画像を生成する工程と、を実行させる。
（１６）また、本発明の他の態様に係る画像復号プログラムは、複数の参照画像を用いて、参照画像の一領域である参照画像ブロックを表す２以上の参照ブロック情報を復号して画像を生成する画像復号装置のコンピュータに、前記複数の参照画像から前記２以上の参照ブロック情報各々に基づき参照画像ブロックを取得する工程と、前記取得した参照画像ブロックのうち、当該参照画像ブロックが表す被写体への距離情報がより短い距離を示す参照画像ブロックを優先して用いることにより予測画像を生成する工程と、を実行させる。
　本発明によれば、予測画像の予測精度を向上させることができる。
本発明の第１の実施形態に係る画像符号化装置の構成を示す概略図である。 本実施形態に係る予測画像生成部の構成を示す概略図である。 本実施形態における入力画像、参照画像及びデプスマップの一例を示す概念図である。 本実施形態における参照画像ブロック、デプスブロック及び予測画像ブロックの一例を示す概念図である。 本実施形態に係るデプス利用予測画像生成部が行うデプス利用予測画像ブロックを生成する処理を示すフローチャートである。 本実施形態に係る画像符号化装置が行う画像符号化処理を示すフローチャートである。 本実施形態に係る予測画像生成部が行う予測画像生成処理を示すフローチャートである。 本実施形態に係る画像復号装置の構成を示す概略図である。 本実施形態に係る予測画像生成部の構成を示す概略図である。 本実施形態に係る画像復号処理を示すフローチャートである。 本実施形態に係る予測画像生成部が行う予測画像生成処理を示すフローチャートである。 従来技術を用いて生成した予測画像の一例を示す概念図である。
（第１の実施形態）
　以下、図面を参照しながら本発明の実施形態について説明する。
　図1は、本実施形態に係る画像符号化装置１００の構成を示す概略図である。
　画像符号化装置１００は、画像入力部１０１、減算部１０２、参照画像・参照ブロック選択部１０３、予測画像生成部１０４、差分画像符号化部１０５、差分画像復号部１０６、参照画像メモリ１０７、予測モード情報符号化部１０８、参照画像情報パッキング部１０９、参照画像情報符号化部１１０、参照ブロック情報パッキング部１１１、参照ブロック情報符号化部１１２、加算部１１３、デプスマップ符号化部１１４及びデプスマップ復号部１１５を含んで構成される。
　画像入力部１０１は、符号化の対象となる画像（入力画像）を示す画像信号（入力画像信号）を一例として５フレーム毎に入力され、減算部１０２、参照画像・参照ブロック選択部１０３及び予測画像生成部１０４に出力する。本実施形態において、画像符号化装置１００への入力画像は少なくとも基準画像（ベースビュー；ｂａｓｅ　ｖｉｅｗ）を含む。基準画像とは、立体表示用の多視点（マルチビュー；ｍｕｌｔｉ－ｖｉｅｗ）の動画像に含まれる予め定めた一つの視点の画像であって、デプスマップを算出する基礎となる画像である。デプスマップ（ｄｅｐｔｈ　ｍａｐ）は、基準画像に表された被写体の撮影装置からの奥行又は距離を表す距離情報であって、画素毎に与えられた量子化値を含んで構成される。その量子化値の各々をデプス（ｄｅｐｔｈ）値といい、例えば８ビットで量子化された値をとる。
　画像入力部１０１に入力される５フレームの画像信号は、例えばＩピクチャ（Ｉ０）、Ｂピクチャ（Ｂ３）、Ｂピクチャ（Ｂ２）、Ｂピクチャ（Ｂ４）及びＰピクチャ（Ｐ１）の画像信号を含む。画像入力部１０１は、例えば、この順序（以下、入力順序）で、この画像信号を入力される。ここで、符号（Ｉ０等）において、先頭のＩ等は画像の種類を示し、０等は符号化される順序（以下、符号化順序）を示す。Ｉピクチャとは、フレーム内画像（Ｉｎｔｒａ　Ｆｒａｍｅ　Ｐｉｃｔｕｒｅ）であって、これを符号化した符号だけを用いて入力画像を復号できる画像である。Ｐピクチャとは、フレーム間順方向予測画像（Ｐｒｅｄｉｃｔｉｖｅ　Ｐｉｃｔｕｒｅ）であって、これを符号化した符号と、過去のフレームの画像信号を符号化した符号を用いて入力画像を復号できる画像である。Ｂピクチャとは、双方向予測符号化画像（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ　Ｐｒｅｄｉｃｔｉｖｅ　Ｐｉｃｔｕｒｅ）であって、これを復号した符号と、過去もしくは未来の複数のフレームの画像信号を符号化した符号を用いて入力画像を復号できる画像である。
　参照画像・参照ブロック選択部１０３は、画像入力部１０１から入力された入力画像信号が表す入力画像フレームを予め定めた大きさ（例えば、垂直方向１６画素×水平方向１６画素）のブロックに分割する。参照画像・参照ブロック選択部１０３は、参照画像メモリ１０７に記憶された過去の入力画像信号のフレームに対応する参照画像信号であって、入力画像の種類に応じた参照画像信号を読み出す。また、参照画像・参照ブロック選択部１０３が参照画像信号を読み出す順序は、上述の符号化順序である。
　参照画像・参照ブロック選択部１０３は、入力画像であるＰピクチャ（Ｐ１）に対して、参照画像信号として参照画像メモリ１０７に記憶されている過去のフレームのＩピクチャ（Ｉ０）又は既に処理が完了したＰピクチャ（Ｐ１）の一部を読み出す。次に、参照画像・参照ブロック選択部１０３は、入力画像であるＢピクチャ（Ｂ２）に対して、参照画像信号として参照画像メモリ１０７に記憶されている過去のフレームのＩピクチャ（Ｉ０）、Ｐピクチャ（Ｐ１）又は既に処理が完了したＢピクチャ（Ｂ２）の一部のうち２つを読み出す。次に、参照画像・参照ブロック選択部１０３は、入力画像信号であるＢピクチャ（Ｂ３）に対して、参照画像信号として参照画像メモリ１０７に記憶されている過去のフレームのＩピクチャ（Ｉ０）、Ｐピクチャ（Ｐ１）又は既に処理が完了したＢピクチャ（Ｂ３）の各一部のうち２つを読み出す。参照画像・参照ブロック選択部１０３は、入力画像信号であるＢピクチャ（Ｂ４）に対して、参照画像信号として参照画像メモリ１０７に記憶されている過去のフレームのＩピクチャ（Ｉ０）、Ｐピクチャ（Ｐ１）、Ｂピクチャ（Ｂ２）又は既に処理が完了したＢピクチャ（Ｂ４）の各一部のうち２つを読み出す。
　これにより、参照画像・参照ブロック選択部１０３は、Ｂピクチャ（Ｂ２、Ｂ３又はＢ４）を処理する場合に、これよりも過去のフレームの参照画像信号（例えば、Ｉピクチャ（Ｉ０））と表示順において未来のフレームの参照画像信号（例えば、Ｐピクチャ（Ｐ１））を読み出すことができる。
　なお、参照画像・参照ブロック選択部１０３は、入力画像であるＩピクチャ（Ｉ０）について、参照画像メモリ１０７から参照画像信号を読み出さなくともよい。
　参照画像・参照ブロック選択部１０３は、分割したブロック毎に読み出した参照画像信号から当該ブロックに対応する領域におけるブロックを探し出し（ブロックマッチング）、探し出したブロックを表す参照ブロック情報を生成する。参照画像・参照ブロック選択部１０３は、ブロックマッチングを行う際、当該分割されたブロックとの間の指標値を領域毎に算出し、算出した指標値が最小となる領域を探し出す。入力画像信号がＢピクチャである場合は、参照画像・参照ブロック選択部１０３は、その指標値が最小となる参照画像の領域におけるブロックと、次に指標値が小さい参照画像の領域におけるブロックと、２つの領域を探し出す。
　指標値は、画像信号間の相関性や類似性を示すものであればよい。参照画像・参照ブロック選択部１０３は、例えば、分割されたブロックに含まれる画素の輝度値と参照画像のある領域における輝度値の差の絶対値和（ＳＡＤ；Ｓｕｍ　ｏｆ　Ａｂｓｏｌuｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）を用いる。入力画像信号から分割されたブロック（例えば、大きさがＮ×Ｎ画素）と参照画像信号のブロックとの間のＳＡＤは次の式で表される。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、Ｉｉｎ（ｉ０＋ｉ，ｊ０＋ｊ）は入力画像の座標（ｉ０＋ｉ，ｊ０＋ｊ）における輝度値、（ｉ０，ｊ０）は当該分割されたブロックの左上端の画素座標を示す。Ｉｒｅｆ（ｉ０＋ｉ＋ｐ，ｊ０＋ｊ＋ｑ）は参照画像の座標（ｉ０＋ｉ＋ｐ，ｊ０＋ｊ＋ｑ）における輝度値、（ｐ，ｑ）は当該分割されたブロックの左上端の座標を基準にしたシフト量（動きベクトル）である。
　即ち、参照画像・参照ブロック選択部１０３は、ブロックマッチングにおいて、（ｐ，ｑ）毎にＳＡＤ（ｐ，ｑ）を算出し、ＳＡＤ（ｐ，ｑ）を最小とする（ｐ，ｑ）を探し出す。（ｐ，ｑ）は入力画像から当該分割されたブロックから当該参照領域の位置までのベクトル（動きベクトル）を表す。
　参照画像・参照ブロック選択部１０３は、ブロック毎に読み出した参照画像のフレームを示す参照画像情報を生成する。参照画像・参照ブロック選択部１０３はまた、読み出した参照画像を用いてブロックマッチングを行って探し出したブロックの位置もしくは領域を示す情報（動きベクトル）を参照ブロック情報として生成する。
　１個のブロックについて各々Ｆ（Ｆは２以上の自然数、例えば２）個の参照画像情報、参照ブロック情報がある。例えば、２個の参照画像情報のうち、一方をＬ０参照画像情報、他方をＬ１参照画像情報と呼び、両者を組み合わせて画像の種類を示す。入力画像がＰピクチャである場合、Ｌ０参照画像情報が有効であって選択された参照画像を示し、Ｌ１参照画像情報が無効であることを示す。入力画像がＢピクチャである場合、Ｌ０参照画像情報、Ｌ１参照画像情報ともに有効であって、各々選択された参照画像を示す。
　また、例えば、２個の参照ブロック情報のうち、一方をＬ０参照ブロック情報、他方をＬ１参照ブロック情報と呼ぶ。ここで、入力画像がＰピクチャである場合、Ｌ０参照ブロック情報が探し出した画像ブロック（以下、参照画像ブロック）の位置を示し、Ｌ１参照ブロック情報が無効であることを示す。入力画像がＢピクチャである場合、Ｌ０参照ブロック情報、Ｌ１参照ブロック情報が、各々選択された参照画像ブロックの位置を示す。
　なお、入力画像がＩピクチャである場合には、参照画像情報を読み出さないため、参照画像・参照ブロック選択部１０３は、Ｌ０参照画像情報、Ｌ１参照画像情報、Ｌ０参照ブロック情報、及びＬ１参照ブロック情報ともに無効であることを示す情報を定める。
　参照画像・参照ブロック選択部１０３は、生成した参照ブロック情報を予測画像生成部１０４及び参照ブロック情報パッキング部１１１に出力する。また、参照画像・参照ブロック選択部１０３は、生成した参照画像情報を予測画像生成部１０４及び参照画像情報パッキング部１０９に出力する。
　参照画像情報パッキング部１０９は、参照画像・参照ブロック選択部１０３から入力された参照画像情報をフレーム毎にパッキング（ｐａｃｋｉｎｇ；詰込）し、パッキングした参照画像情報を参照画像情報符号化部１１０に出力する。
　参照画像情報符号化部１１０は、参照画像情報パッキング部１０９から入力された参照画像情報を、例えば上述の符号化順序でフレーム毎に符号化する。参照画像情報符号化部１１０は、参照画像情報を符号化する際、例えば可変長符号化を用い、情報量がより圧縮された参照画像情報符号を生成する。可変長符号化とは、エントロピー符号化ともいい、頻度が高い情報ほどより短い符号で、頻度が低い情報をより長い符号で表現するように符号化する方式である。
　参照画像情報符号化部１１０は、生成した参照画像情報符号を画像符号化装置１００の外部（例えば、画像復号装置４００）に出力する。
　参照ブロック情報パッキング部１１１は、参照画像・参照ブロック選択部１０３から入力された参照ブロック情報をフレーム毎にパッキングし、パッキングされた参照ブロック情報を参照ブロック情報符号化部１１２に出力する。
　参照ブロック情報符号化部１１２は、参照ブロック情報パッキング部１１１から入力された参照ブロック情報を、例えば上述の符号化順序でフレーム毎に符号化する。
　参照ブロック情報符号化部１１２は、参照ブロック情報を符号化する際、例えば可変長符号化を用いて情報量がより圧縮された参照ブロック情報符号を生成する。
　参照ブロック情報符号化部１１２は、生成した参照ブロック情報符号を画像符号化装置１００の外部（例えば、画像復号装置４００）に出力する。
　減算部１０２は、画像入力部１０１から入力された入力画像信号から予測画像生成部１０４から入力された予測画像信号をフレーム毎に減算して、差分画像信号をフレーム毎に生成する。減算部１０２は、生成した差分画像信号をフレーム毎に差分画像符号化部１０５に出力する。
　差分画像符号化部１０５は、減算部１０２から入力された差分画像信号をフレーム毎に符号化し、差分画像符号を生成する。
　差分画像符号化部１０５は、差分画像信号を符号化する際、その差分画像信号を、例えばＤＣＴ変換（離散コサイン変換；Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）して周波数領域信号（例えば、ＤＣＴ変換を行った場合は、ＤＣＴ係数）を生成する。差分画像符号化部１０５は、差分画像信号に基づき周波数領域信号を生成することができれば、ＤＣＴ変換に限らず、他の方法（例えば、ＦＦＴ（高速フーリエ変換；Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ））を用いてもよい。生成した周波数領域信号に含まれる係数値を量子化し、量子化信号を生成する。差分画像符号化部１０５は、生成された量子化信号を、例えば可変長符号化を用いて符号化し、情報量がより圧縮された差分画像符号を生成する。
　差分画像符号化部１０５は、生成した差分画像符号を差分画像復号部１０６及び画像符号化装置１００の外部（例えば、画像復号装置４００）に出力する。
　差分画像復号部１０６は、差分画像符号化部１０５から入力された差分画像符号を、例えば可変長復号を用いて復号し、復号量子化信号を生成する。可変長復号とは、上述の可変長符号化と逆の処理であり、より短い符号で表される頻度のより高い情報と、より長い符号で表される頻度のより低い情報と、を含んで構成される情報群に基づき元の（符号化前の）情報を復元する処理である。
　差分画像復号部１０６は、生成した復号量子化信号を逆量子化して復号周波数領域信号を生成する。差分画像復号部１０６は、生成した復号周波数領域信号を、例えば逆ＤＣＴ変換して空間領域信号である復号差分画像信号を生成する。差分画像復号部１０６は、復号周波数領域信号に基づき空間領域信号を生成することができれば、逆ＤＣＴ変換に限らず、他の方法（例えば、ＩＦＦＴ（高速フーリエ逆変換；Ｉｎｖｅｒｓｅ　Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ））を用いてもよい。
　差分画像復号部１０６は、生成した復号差分画像をフレーム毎に加算部１１３に出力する。
　加算部１１３は、予測画像生成部１０４から予測画像信号をフレーム毎に入力され、差分画像復号部１０６から復号差分信号をフレーム毎に入力される。加算部１１３は、予測画像信号に復号差分信号を加算して参照画像信号をフレーム毎に生成する。この参照画像信号は、後述する画像復号装置４００において生成されることになる。加算部１１３は、生成した参照画像信号を参照画像メモリ１０７に出力する。
　参照画像メモリ１０７は、加算部１１３から入力された参照画像信号をフレーム毎に記憶する。また、参照画像メモリ１０７は、後述するデプスマップ復号部１１５から復号されたデプスマップが入力され、対応するフレームの入力画像信号から生成された参照画像信号と対応付けて記憶する。ここに、記憶されたデプスマップを参照デプスマップと呼ぶ。
　デプスマップ符号化部１１４は、画像符号化装置１００の外部からデプスマップをフレーム毎に入力され、例えば上述の符号化順序でフレーム毎に符号化し、デプスマップ符号を生成する。デプスマップ符号化部１１４は、入力されたデプスマップを符号化する際、例えば可変長符号化を用いて情報量がより圧縮されたデプスマップ符号を生成する。
　デプスマップ符号化部１１４は、デプスマップ符号をデプスマップ復号部１１５及び画像符号化装置１００の外部（例えば、画像復号装置４００）に出力する。
　デプスマップ復号部１１５は、デプスマップ符号化部１１４から入力されたデプスマップ符号を、例えば可変長復号を用いて情報量がより多いデプスマップを復号する。デプスマップ復号部１１５は、復号したデプスマップを参照画像メモリ１０７に出力する。
　予測画像生成部１０４は、参照画像・参照ブロック選択部１０３からブロック毎に入力された参照ブロック情報と参照画像情報に基づき、参照画像メモリ１０７から参照画像信号を読み出す。また、参照ブロック情報のうちＬ０参照ブロック情報及びＬ１参照ブロック情報が有効であることを示す場合には、予測画像生成部１０４は、さらに参照画像メモリ１０７から読み出した参照画像信号に対応するフレームのデプスマップを読み出す。予測画像生成部１０４は、入力された参照ブロック情報及び読み出した参照画像信号（参照ブロック情報のうちＬ０参照ブロック情報及びＬ１参照ブロック情報が有効であることを示す場合（即ちＢピクチャに基づく場合）には、さらに参照デプスマップ）に基づき予測画像ブロックを生成する。
　なお、Ｌ０参照情報及びＬ１参照情報ともに無効であることを示す場合（即ち、入力画像がＩピクチャである場合）、参照画像メモリ１０７には1フレーム分のＩピクチャに基づく参照画像情報であって、処理が完了した直前のブロックまで記憶されている。この場合、予測画像生成部１０４は、参照画像メモリ１０７から、記憶されている参照画像信号を読み出し、読み出した参照画像信号の一部、例えば、対象となる画像ブロックの近傍の画像ブロック（真上、左、左上及び右上の画像ブロック）を抽出する。予測画像生成部１０４は、抽出した画像ブロックに基づき予測画像ブロックを生成する。
　予測画像生成部１０４は生成した予測画像ブロックを統合して予測画像信号をフレーム毎に生成し、生成した予測画像信号をフレーム毎に減算部１０２及び加算部１１３に出力する。
　図２は、本実施形態に係る予測画像生成部１０４の構成を示す概略図である。
　予測画像生成部１０４は、具体的には、参照画像・参照デプス取得部１０４１、第１予測画像生成部１０４２－１～第ｎ予測画像生成部１０４２－ｎ（ｎは１以上の自然数、例えば４）、デプス利用予測画像生成部１０４３、及び予測画像選択部１０４４を含んで構成される。
　参照画像・参照デプス取得部１０４１は、参照画像・参照ブロック選択部１０３から参照画像情報と参照ブロック情報をブロック毎に入力される。参照画像・参照デプス取得部１０４１は、参照画像情報と参照ブロック情報のＬ０情報又はＬ１情報の少なくとも一つが有効である場合は、参照画像情報に対応する参照画像信号と参照画像信号に対応するフレームの参照デプスマップを参照画像メモリ１０７から読み出す。
　参照画像・参照デプス取得部１０４１は、参照画像情報を基に参照画像メモリ１０７より読み出された参照画像信号から参照ブロック情報に対応する領域のブロックを抽出して参照画像ブロックを取得する。これにより、取得された参照画像ブロックの座標から参照ブロック情報が示す動きベクトルが差し引かれ、入力画像の画像ブロックの位置に参照画像ブロックの各座標が補正される。
　参照画像・参照デプス取得部１０４１は、Ｌ０参照ブロック情報が有効であることを示す場合、そのＬ０参照ブロック情報に基づき、同様にしてＬ０参照画像ブロックを取得する。参照画像・参照デプス取得部１０４１は、読み出されたデプスマップからＬ０参照ブロック情報が表す領域のブロックを抽出してＬ０デプスブロックを取得する。
　また、参照画像・参照デプス取得部１０４１は、Ｌ１参照ブロック情報が有効である場合、そのＬ１参照ブロック情報に基づき、同様にしてＬ１参照画像ブロックとＬ１デプスブロックを取得する。
　なお、Ｌ０参照情報及びＬ１参照情報ともに無効であることを示す場合、参照画像・参照デプス取得部１０４１は、参照画像メモリ１０７から、記憶されている参照画像信号を読み出す。参照画像・参照デプス取得部１０４１は、読み出した参照画像信号から、例えば、対象となる画像ブロックの近傍の画像ブロック（真上、左、左上及び右上の画像ブロック）を取得する。
　参照画像・参照デプス取得部１０４１は、取得した参照画像ブロック（該当する場合には、さらにＬ０参照画像ブロック並びにＬ１予測画像ブロック）を第１予測画像生成部１０４２－１～第ｎ予測画像生成部１０４２－ｎ及びデプス利用予測画像生成部１０４３に出力する。参照画像・参照デプス取得部１０４１は、取得したＬ０参照画像ブロックとＬ１参照画像ブロックとそれぞれの参照画像ブロックに対応するデプスブロックをデプス利用予測画像生成部１０４３に出力する。
　第１予測画像生成部１０４２－１～第ｎ予測画像生成部１０４２－ｎは、参照画像・参照デプス取得部１０４１から入力された参照画像ブロックから各予測モード（予測画像ブロックの生成方式）による処理に応じて第１～第ｎ予測画像ブロックをそれぞれ生成する。第１予測画像生成部１０４２－１～第ｎ予測画像生成部１０４２－ｎは、生成した第１～第ｎ予測画像ブロックを予測画像選択部１０４４に出力する。但し、後述するように、予測画像生成部は、予測モードに応じた入力（参照画像ブロック）が適切な場合に、その予測モードに応じた処理を行う。
　具体的には、第１予測画像生成部１０４２－１は、例えばイントラ予測（フレーム内予測）を行う。即ち、第１予測画像生成部１０４２－１は、入力された参照画像ブロックが現在のフレームの画像と同一の種類の参照画像信号から抽出されたものである場合、入力された参照画像ブロックを第１予測画像ブロックとして予測画像選択部１０４４に出力する。
　入力された参照画像ブロックが現在のフレームの画像信号と同一の種類の参照画像信号から抽出されたものである場合とは、例えば、入力画像がＩピクチャ（Ｉ０）である場合（参照画像信号もＩピクチャ（Ｉ０））、入力画像信号も参照画像信号もＰピクチャ（Ｐ１）である場合、及び入力画像信号も参照画像信号（Ｌ０参照ブロック情報とＬ１参照ブロック情報のうち何れか一方に対応）もＢピクチャ（Ｂ２）である場合である。
　第２予測画像生成部１０４２－２は、例えば順予測を行う。即ち、第２予測画像生成部１０４２－２は、入力された参照画像ブロックが過去のフレームの画像と同一の種類の参照画像から抽出されたものである場合、入力された参照画像ブロックを第２予測画像ブロックとして予測画像選択部１０４４に出力する。
　入力された参照画像ブロックが過去のフレームの画像信号と同一の種類の参照画像信号から抽出されたものである場合とは、例えば、入力画像信号がＰピクチャ（Ｐ１）であり参照画像信号がＩピクチャ（Ｉ０）である場合、入力画像信号がＢピクチャ（Ｂ２、Ｂ３又はＢ４）であり参照画像信号（Ｌ０参照ブロック情報とＬ１参照ブロック情報のうち何れか一方に対応）がＩピクチャ（Ｉ０）である場合、又は入力画像信号がＢピクチャ（Ｂ３、Ｂ４）であり参照画像信号（Ｌ０参照ブロック情報とＬ１参照ブロック情報のうち何れか一方に対応）もＢピクチャ（Ｂ２）である場合である。
　第３予測画像生成部１０４２－３は、例えば逆予測を行う。即ち、第３予測画像生成部１０４２－３は、入力された参照画像ブロックが未来のフレームの画像信号と同一の種類の参照画像信号から抽出されたものである場合、入力された参照画像ブロックを第３予測画像ブロックとして予測画像選択部１０４４に出力する。
　入力された参照画像ブロックが未来のフレームの画像信号と同一の種類の参照画像信号から抽出されたものである場合とは、例えば入力画像信号がＢピクチャ（Ｂ２、Ｂ３又はＢ４）であり参照画像信号（Ｌ０参照ブロック情報とＬ１参照ブロック情報のうち何れか一方に対応）がＰピクチャ（Ｐ１）である場合である。
　第４予測画像生成部１０４２－４は、例えば双予測を行う。即ち、第４予測画像生成部１０４２－４は、入力されたＬ０参照画像ブロック並びにＬ１参照画像ブロックのうち一方が未来のフレームの画像信号と同一の種類の参照画像信号から抽出されたものであり、他方が過去のフレームの画像信号と同一の種類の参照画像信号から抽出されたものである場合、入力されたＬ０参照画像ブロック内の画素値とＬ１参照画像ブロック内の画素値の平均値を算出する。第４予測画像生成部１０４２－４は、算出した平均値からなる画像ブロックを第４予測画像ブロックとして予測画像選択部１０４４に出力する。
　入力された参照画像ブロックが未来のフレームの画像と同一の種類の参照画像から抽出されたものである場合とは、例えば入力画像信号がＢピクチャ（Ｂ２、Ｂ３又はＢ４）であり参照画像信号（Ｌ０参照ブロック情報とＬ１参照ブロック情報のうち何れか一方に対応）がＰピクチャ（Ｐ１）である場合である。
　デプス利用予測画像生成部１０４３は、参照画像・参照デプス取得部１０４１から入力されたＬ０参照画像ブロック、Ｌ１参照画像ブロック、Ｌ０デプスブロック、及びＬ１デプスブロックに基づきデプス利用予測画像ブロックを生成し、予測画像選択部１０４４に出力する。
　デプス利用予測画像生成部１０４３においてデプス利用予測画像ブロックを生成する処理については後述する。
　予測画像選択部１０４４は、第１～第ｎ予測画像ブロック１０４２－１～１０４２－ｎからそれぞれ入力された第１～第ｎ予測画像ブロック、及びデプス利用予測画像生成部１０４３から入力されたデプス利用予測画像ブロック（以下、候補予測画像ブロックと総称する）の中から、最も指標値が小さくなる１つの候補予測画像ブロックを選択する。予測画像選択部１０４４は、その指標値として、例えば次式で示すように、画像入力部１０１から入力された入力画像に含まれる該当する画像ブロックの輝度値Ｉｉｎ（ｉ０＋ｉ，ｊ０＋ｊ）と候補予測画像ブロックの輝度値Ｉｐ，ｎ（ｉ０＋ｉ，ｊ０＋ｊ）とのＳＡＤを用いる。
Figure JPOXMLDOC01-appb-M000002
　式（２）において、ｎは予測モード（デプス利用予測画像生成部１０４３においてデプス利用予測画像ブロックを生成する処理も含む）を表すインデックス（予測モード情報）である。
　なお、本実施形態では、ＳＡＤ以外にも指標値として入力画像に含まれる画像ブロックと候補予測画像ブロックの相関、類似度、又は符号化後の情報量など、予測モード毎の処理の有効性を表す変数であれば利用することができる。
　予測画像選択部１０４４は、選択された候補予測画像ブロックに対応する予測モード情報を予測モード情報符号化部１０８に出力する。
　予測画像選択部１０４４は、各フレーム内の全画像ブロックについて選択が完了したら、選択された候補予測画像ブロックを各々対応するブロックの位置に配置してフレーム毎に予測画像信号を生成する。予測画像選択部１０４４は生成した予測画像信号をフレーム毎に減算部１０２及び加算部１１３に出力する。
　図１に戻り、予測モード情報符号化部１０８は、予測画像生成部１０４から入力された予測モード情報を、上述の符号化順序で符号化する。予測モード情報符号化部１０８は、予測モード情報を符号化する際、例えば可変長符号化を用いて情報量がより圧縮された予測モード情報符号を生成する。
　予測モード情報符号化部１０８は、画像符号化装置１００の外部（例えば、画像復号装置４００）に生成した予測モード情報符号を出力する。
　次に、デプス利用予測画像生成部１０４３が行うデプス利用予測画像ブロックを生成する処理について説明する。
　図３は、本実施形態における入力画像、参照画像及びデプスマップの一例を示す概念図である。
　図３において、左上段は過去のフレームの参照画像を、右上段は当該参照画像と同一のフレームのデプスマップを、左下段は現在のフレームの入力画像を示す。
　入力画像及び参照画像において、各座標における濃淡は、その画素の輝度値を示す。輝度値は大きくなるほど淡い色で表され、輝度値は小さくなるほど濃い色で表される。
　デプスマップにおいて、各座標における濃淡は、その画素のデプス値を示す。デプス値は大きくなる（即ち、被写体の距離が近い）ほど淡い色で表され、デプス値が小さくなる（即ち、被写体の距離が遠い）ほど濃い色で表される。
　図３の左上段において、記号ｌ０の破線はＬ０参照画像ブロックが示す領域を、記号ｌ１の実線はＬ１参照画像ブロックが示す領域を示す。図３の右上段において、記号ｄ０の破線はＬ０デプスブロックが示す領域を、記号ｄ１の実線はＬ１デプスブロックが示す領域を示す。図３の左下段において、記号ｒの実線は対応する入力画像ブロックが示す領域を示す。
　ここで、デプス利用予測画像生成部１０４３は、対応する参照画像ブロック（l０、l１）及びデプスブロック（ｄ０、ｄ１）に基づき、入力画像ブロック（ｒ）に近似する予測画像ブロックを生成する。
　図４は、本実施形態における参照画像ブロック、デプスブロック及び予測画像ブロックの一例を示す概念図である。
　図４において、左上段は過去のフレームのＬ０参照画像ブロック（ｌ０）とＬ０デプスブロック（ｄ０）を、左下段は過去のフレームのＬ１参照画像ブロック（ｌ１）とＬ１デプスブロック（ｄ１）を示す。
　ここで、デプス利用予測画像生成部１０４３は、Ｌ０デプスブロック（ｄ０）のデプス値と同じ座標におけるＬ１デプスブロック（ｄ１）のデプス値を比較する。
　Ｌ０デプスブロック（ｄ０）のデプス値とＬ１デプスブロック（ｄ１）のデプス値の差が、予め設定された値より大きい（即ち、Ｌ０デプスブロックのデプス値の方が撮影装置から被写体への距離が短い）とき、デプス利用予測画像生成部１０４３は、その座標におけるＬ０参照画像ブロック（ｌ０）の輝度値をＬ１参照画像ブロック（ｌ１）の輝度値よりも優先して、予測画像ブロックの輝度値を定める。デプス利用予測画像生成部１０４３は、例えば、Ｌ０参照画像ブロック（ｌ０）の輝度値をその座標における予測画像ブロックの輝度値と定める。このような場合又は画素を、以下「Ｌ０優先」と呼ぶ。
　図４において、右段の斜線で塗りつぶした部分（Ｌ０優先）は、そのようにして予測画像ブロックの輝度値が定められた部分を示す。
　Ｌ１デプスブロック（ｄ１）のデプス値とＬ０デプスブロック（ｄ０）のデプス値の差が、予め設定された値より大きい（即ち、Ｌ１デプスブロックのデプス値の方が撮影装置からの被写体の距離が短い）とき、デプス利用予測画像生成部１０４３は、その座標におけるＬ１参照画像ブロック（ｌ１）の輝度値をＬ０参照画像ブロック（ｌ０）の輝度値よりも優先して、予測画像ブロックの輝度値を定める。デプス利用予測画像生成部１０４３は、例えば、Ｌ１参照画像ブロック（ｌ１）の輝度値をその座標における予測画像ブロックの輝度値と定める。このような場合又は画素を、以下「Ｌ１優先」と呼ぶ。
　図４において、右段の縦線で塗りつぶした部分（Ｌ１優先）は、そのようにして予測画像ブロックの輝度値が定められた部分を示す。
　Ｌ１デプスブロック（ｄ１）のデプス値とＬ０デプスブロック（ｄ０）のデプス値の差の絶対値が予め設定された値より小さい（即ち、被写体の距離がほぼ同等）のとき、デプス利用予測画像生成部１０４３は、その座標におけるＬ１参照画像ブロック（ｌ１）の輝度値とＬ０デプスブロック（ｄ０）の輝度値のいずれも優先させず同等に考慮して取り扱い、予測画像ブロックの輝度値を定める。デプス利用予測画像生成部１０４３は、例えば、Ｌ０参照画像ブロック（ｌ０）輝度値又はＬ１参照画像ブロック（ｌ１）輝度値の何れか一方、又はそれらの平均値をその座標における予測画像ブロックの輝度値と定める。このような場合又は画素を、以下「非優先」と呼ぶ。なお、いずれか一方を選択する方法の一例として、ブロック毎に該座標のデプス値から予め定めた範囲内のデプス値を有する画素であって、デプス利用予測画像生成部１０４３は、Ｌ１デプスブロックのデプス値のほうが、Ｌ０デプスブロックのデプス値よりも大きい状態であるＬ１優先状態の画素数と、Ｌ１デプスブロックのデプス値のほうが、Ｌ０デプスブロックのデプス値よりも小さい状態であるＬ０優先状態の画素数をカウントする。デプス利用予測画像生成部１０４３は、画素数の多いほうの状態（Ｌ１優先状態又はＬ０優先状態）の画素を、その座標における予測画像ブロックの輝度値と定める。デプス利用予測画像生成部１０４３は、それ以外の画素の画素値については、それらの画素における輝度値の平均値を、その座標における予測画像ブロックの輝度値と定める。
　図４において、横線で塗りつぶした部分（非優先）は、そのようにして予測画像ブロックの輝度値が定められた部分を示す。
　比較のため、従来技術を用いて生成した予測画像ブロックを示す。
　図１２は、従来技術を用いて生成した予測画像の一例を示す概念図である。
　図１２において、四角の枠で囲われた部分（ｐ）が、Ｌ０参照画像ブロック（ｌ０）及びＬ１参照画像ブロック（ｌ１）に基づいて予測された予測画像ブロックを示す。
　従来技術（例えば双予測）では、予測画像ブロックに含まれる各画素の輝度値を、Ｌ０参照画像ブロック（ｌ０）及びＬ１参照画像ブロック（ｌ１）に各々含まれる画素の輝度値を平均して算出する。そのため、図１２は、予想画像ブロック（ｐ）が示す画像に、Ｌ０参照画像ブロック（ｌ０）及びＬ１参照画像ブロック（ｌ１）両者の画像が表れる。この画像は、図３左下段の入力画像ブロック（ｒ）のように撮影装置からの被写体の距離がより近い画像を、より遠い画像を覆い隠して表すものではない。即ち、従来技術を用いて生成した予測画像ブロック（ｐ）は、符号化対象の入力画像ブロック（ｒ）とは大きく異なり、予測精度が劣ることを示す。
　換言すれば、本実施形態は、デプス利用予測画像ブロックを生成する処理を用い、従来技術よりも高精度で被写体の距離に差異がある画像に基づき予測画像を生成でき、ひいては符号化効率を向上させることができる。
　デプス利用予測画像生成部１０４３は、具体的には次の処理を行う。
　図５は、本実施形態に係るデプス利用予測画像生成部１０４３が行うデプス利用予測画像ブロックを生成する処理を示すフローチャートである。
（ステップＳ１０１）デプス利用予測画像生成部１０４３は、参照画像・参照デプス取得部１０４１からＬ０参照画像ブロック、Ｌ１参照画像ブロック、Ｌ０デプスブロック、及びＬ１デプスブロックが入力される。その後、ステップＳ１０２に進む。
（ステップＳ１０２）デプス利用予測画像生成部１０４３は、画像ブロック内の各画素（ｉ，ｊ）について以下のステップＳ１０３～ステップＳ１０７の処理を繰り返す。ここで、Ｌ０参照画像ブロック、Ｌ１参照画像ブロック、Ｌ０デプスブロック、及びＬ１デプスブロック各々について、処理対象画素の座標値（ｉ，ｊ）は共通である。その後、ステップＳ１０３に進む。
（ステップＳ１０３）デプス利用予測画像生成部１０４３は、Ｌ０デプスブロックにおけるデプス値ＤＬ０（ｉ，ｊ）からＬ１デプスブロックにおけるデプス値ＤＬ１（ｉ，ｊ）の差分値が予め設定された閾値ＴＨｄ（ゼロよりも大きい任意の実数値）よりも大きいか否か判断する。デプス利用予測画像生成部１０４３は、その差分値が閾値ＴＨｄより大きいと判断したとき（ステップＳ１０３：Ｙes）、ステップＳ１０５に進む。デプス利用予測画像生成部１０４３は、その差分値が閾値ＴＨｄより大きくないと判断したとき（ステップＳ１０３：Ｎo）、ステップＳ１０４に進む。
（ステップＳ１０４）デプス利用予測画像生成部１０４３は、Ｌ１デプスブロックにおけるデプス値ＤＬ１（ｉ，ｊ）からＬ０デプスブロックにおけるデプス値ＤＬ０（ｉ，ｊ）の差分値が予め設定された閾値ＴＨｄ（ゼロよりも大きい任意の実数値）よりも大きいか否か判断する。デプス利用予測画像生成部１０４３は、その差分値が閾値ＴＨｄより大きいと判断したとき（ステップＳ１０４：Ｙes）、ステップＳ１０６に進む。デプス利用予測画像生成部１０４３は、その差分値が閾値ＴＨｄより大きくないと判断したとき（ステップＳ１０４：Ｎo）、ステップＳ１０７に進む。
（ステップＳ１０５）デプス利用予測画像生成部１０４３は、画素（ｉ，ｊ）における予測画像の輝度値Ｉｐｄ（ｉ，ｊ）を、Ｌ０参照画像ブロックにおける輝度値ＩＬ０（ｉ，ｊ）をＬ１参照画像ブロックにおける輝度値ＩＬ１（ｉ，ｊ）よりも優先して用いるように定める（Ｌ０優先）。例えば、予測画像の輝度値Ｉｐｄ（ｉ，ｊ）を輝度値ＩＬ０（ｉ，ｊ）と定める。その後、ステップＳ１０８に進む。
（ステップＳ１０６）デプス利用予測画像生成部１０４３は、画素（ｉ，ｊ）における予測画像の輝度値Ｉｐｄ（ｉ，ｊ）を、Ｌ１参照画像ブロックにおける輝度値ＩＬ１（ｉ，ｊ）をＬ０参照画像ブロックにおける輝度値ＩＬ１０（ｉ，ｊ）よりも優先して用いるように定める（Ｌ１優先）。例えば、予測画像の輝度値Ｉｐｄ（ｉ，ｊ）を輝度値ＩＬ１（ｉ，ｊ）と定める。その後、ステップＳ１０８に進む。
（ステップＳ１０７）デプス利用予測画像生成部１０４３は、画素（ｉ，ｊ）における予測画像の輝度値Ｉｐｄ（ｉ，ｊ）を、Ｌ１参照画像ブロックにおける輝度値ＩＬ１（ｉ，ｊ）とＬ０参照画像ブロックにおける輝度値ＩＬ０（ｉ，ｊ）のいずれも優先せず同等に用いて定める（非優先）。例えば、予測画像の輝度値Ｉｐｄ（ｉ，ｊ）を輝度値ＩＬ０（ｉ，ｊ）、輝度値ＩＬ１（ｉ，ｊ）又は輝度値ＩＬ０（ｉ，ｊ）と輝度値ＩＬ１（ｉ，ｊ）との平均値と定める。デプス利用予測画像生成部１０４３が、輝度値ＩＬ０（ｉ，ｊ）とＩＬ１（ｉ，ｊ）の平均値と設定することにより、Ｌ０優先の領域とＬ１優先の領域との境界において、輝度値が急激に変化せず不自然な視感を回避することができる。その後、ステップＳ１０８に進む。
（ステップＳ１０８）デプス利用予測画像生成部１０４３は、画像ブロック内の全画素（ｉ，ｊ）についてステップＳ１０３－ステップＳ１０７の処理が完了したとき、処理を終了する。デプス利用予測画像生成部１０４３は、画像ブロック内の全画素（ｉ，ｊ）についてステップＳ１０３－ステップＳ１０７の処理が完了していないとき、処理対象とする画素（ｉ，ｊ）を変更してステップＳ１０２に戻る。
　上述の例では、閾値ＴＨｄは任意の正の実数値（例えば、２）としたが、本実施形態は次式のように撮影装置から被写体までの実際の距離に基づく閾値ＴＨｐｍ（ｍ）を用いて定めた値を代わりに用いてもよい。
Figure JPOXMLDOC01-appb-M000003
　式（３）において、Ｄｍａｘは、デプス値の最大値（例えば、８ビットの量子化値である場合は２５５）を示す。ｄｉｓ１は、デプス値の最小値（例えば、ゼロ）に対応する予め設定された距離の最大値（ｍ）、ｄｉｓ２はデプス値の最大値（例えば、２５５）に対応する予め設定された距離の最小値（ｍ）である。
　このように閾値ＴＨｄをデプス利用予測画像生成部１０４３に設定する際、撮影装置から被写体までの実際の距離による閾値ＴＨｐｍを用いるため、設定が容易になる。
　なお、本実施形態では、デプス利用予測画像生成部１０４３は、上述の例とは異なりＬ０優先又はＬ１優先と判断した画素（ｉ，ｊ）に、輝度値ＩＬ０（ｉ，ｊ）又は輝度値ＩＬ１（ｉ，ｊ）を重み付けして算出した値を割り当ててもよい。ここで、デプス利用予測画像生成部１０４３は、Ｌ０優先と判断した画素（ｉ，ｊ）については、輝度値ＩＬ０（ｉ，ｊ）が輝度値ＩＬ１（ｉ，ｊ）よりも大きい重み係数を用いて算出する。また、デプス利用予測画像生成部１０４３は、Ｌ１優先と判断した画素（ｉ，ｊ）については、輝度値ＩＬ１（ｉ，ｊ）が輝度値ＩＬ０（ｉ，ｊ）よりも大きい重み係数を用いて算出する。
　例えば、デプス利用予測画像生成部１０４３は、その画素（ｉ，ｊ）の輝度値をαＩＬ０（ｉ，ｊ）＋（１－α）ＩＬ１（ｉ，ｊ）と定める。但し、Ｌ０優先の場合、αは０．５よりも大きく１より小さい実数値である。Ｌ１優先の場合、αは０よりも大きく０．５より小さい実数値である。
　ここで、デプス利用予測画像生成部１０４３は、例えば、αを次式に基づいて定めてもよい。
Figure JPOXMLDOC01-appb-M000004
　式（４）において、ＴＨｒは正の固定値であり、（ＤＬ０（ｉ，ｊ）－ＤＬ１（ｉ，ｊ））／ＴＨｒは１よりも大きいとき、１と定め、（ＤＬ０（ｉ，ｊ）－ＤＬ１（ｉ，ｊ））／ＴＨｒが－１よりも小さいとき、－１と定める。このとき、デプス利用予測画像生成部１０４３は、Ｌ０優先の場合、αを０．５よりも大きく１より小さい実数値と定め、Ｌ１優先の場合、αを０よりも大きく０．５より小さい実数値と定めることができる。
　即ち、デプス利用予測画像生成部１０４３は、Ｌ０優先、Ｌ１優先それぞれの場合において、Ｌ０デプス値とＬ１デプス値の差を用いて、輝度値ＩＬ０（ｉ，ｊ）と輝度値ＩＬ１（ｉ，ｊ）の合成比率を変化させることができる。
　これにより、デプス利用予測画像生成部１０４３は、Ｌ０予測画像ブロックにおける輝度値ＩＬ０（ｉ，ｊ）が優先される領域と、Ｌ１予測画像ブロックにおける輝度値ＩＬ１（ｉ，ｊ）が優先される領域との境界において画素値が急激に変化せず、滑らかな予測画像を生成できる。
　次に、本実施形態に係る画像符号化装置１００が行う画像符号化処理について説明する。図６は、本実施形態に係る画像符号化装置１００が行う画像符号化処理を示すフローチャートである。
（ステップＳ２０１）画像入力部１０１は、入力画像信号を画像符号化装置１００の外部からフレーム毎に入力され、減算部１０２、参照画像・参照ブロック選択部１０３及び予測画像生成部１０４に出力する。その後、ステップＳ２０２に進む。
（ステップＳ２０２）参照画像・参照ブロック選択部１０３は、画像入力部１０１から入力された入力画像信号のフレームを予め定めた大きさのブロックに分割する。
　画像符号化装置１００は、ステップＳ２０３～ステップＳ２０７の処理をフレーム内の画像ブロック毎に繰り返す。その後、ステップＳ２０３に進む。
（ステップＳ２０３）参照画像・参照ブロック選択部１０３は、参照画像メモリ１０７から入力画像信号の種類に応じた参照画像を読み出す。参照画像・参照ブロック選択部１０３は、分割されたブロック毎に、選択された参照画像とブロックマッチングを行う。参照画像・参照ブロック選択部１０３は、ブロックマッチングを行う際、当該分割されたブロックとの間の指標値（例えば、ＳＡＤ）が最小となる領域を探し出す。入力画像信号がＢピクチャである場合、参照画像・参照ブロック選択部１０３は、指標値が最小となる領域と、次に小さい領域を探し出す。ステップＳ２０４に進む。
（ステップＳ２０４）参照画像・参照ブロック選択部１０３は、分割されたブロックの位置からの相対的に探し出した領域の位置を示す予測ベクトルを生成し、その予測ベクトルを示す参照ブロック情報と参照画像を示す参照画像情報を生成する。入力画像信号がＢピクチャである場合、参照画像・参照ブロック選択部１０３は、２つの探し出された参照画像の領域のうち一方をＬ０参照画像情報、他方をＬ１参照画像情報として生成する。
　参照画像・参照ブロック選択部１０３は、対応する参照画像において対応する領域に含まれるブロックの画像情報を、その参照画像から抽出して参照ブロック情報として生成する。入力画像信号がＢピクチャである場合、参照画像・参照ブロック選択部１０３は、２つの探し出された参照画像の領域のブロックに含まれる画像情報のうち一方をＬ０参照画像情報、他方をＬ１参照画像情報として生成する。
　参照画像・参照ブロック選択部１０３は、生成した参照ブロック情報を予測画像生成部１０４及び参照ブロック情報パッキング部１１１に出力する。また、参照画像・参照ブロック選択部１０３は、生成した参照画像情報を予測画像生成部１０４及び参照画像情報パッキング部１０９に出力する。その後、ステップＳ２０５に進む。
（ステップＳ２０５）予測画像生成部１０４が備える予測画像・参照デプス取得部１０４１は、参照画像・参照ブロック選択部１０３から参照画像情報と参照ブロック情報をブロック毎に入力される。予測画像・参照デプス取得部１０４１は、参照画像情報に対応する参照画像と参照デプスマップを読み出し、読み出された参照画像から参照ブロック情報に対応する領域のブロックを抽出して予測画像ブロックを取得する。予測画像・参照デプス取得部１０４１は、読み出された参照デプスマップから参照ブロック情報に対応する領域の位置のブロックを抽出してデプスブロックを取得する。
　予測画像・参照デプス取得部１０４１は、入力画像信号がＢピクチャである場合、入力されたＬ０参照ブロック情報に基づき、Ｌ０予測画像ブロックとＬ０デプスブロックを取得する。また、予測画像・参照デプス取得部１０４１は、入力されたＬ１参照ブロック情報に基づき、同様にしてＬ１予測画像ブロックとＬ１デプスブロックを取得する。
　予測画像・参照デプス取得部１０４１は、取得した予測画像ブロックを第１予測画像生成部１０４２－１～第ｎ予測画像生成部１０４２－ｎ及びデプス利用予測画像生成部１０４３に出力する。予測画像・参照デプス取得部１０４１は、取得したデプスブロックをデプス利用予測画像生成部１０４３に出力する。
　第１予測画像生成部１０４２－１～第ｎ予測画像生成部１０４２－ｎは、入力された予測画像ブロックから各予測モードに応じた第１～第ｎ予測画像ブロックをそれぞれ生成し、生成した第１～第ｎ予測画像ブロックを予測画像選択部１０４４に出力する。
　デプス利用予測画像生成部１０４３は、予測画像・参照デプス取得部１０４１から入力されたＬ０予測画像ブロック、Ｌ１予測画像ブロック、Ｌ０デプスブロック、及びＬ１デプスブロックに基づきデプス利用予測画像ブロックを生成し、予測画像選択部１０４４に出力する。その後、ステップＳ２０６に進む。
（ステップＳ２０６）予測画像選択部１０４４は、第１～第ｎ予測画像ブロック１０４２－１～１０４２－ｎからそれぞれ入力された第１～第ｎ予測画像ブロック、及びデプス利用予測画像生成部１０４３から入力されたデプス利用予測画像ブロック各々について、入力画像信号に含まれる当該画像ブロックとの間の指標値（例えば、ＳＡＤ）を算出する。その後、ステップＳ２０７に進む。
（ステップＳ２０７）予測画像選択部１０４４は、最も指標値が小さくなる候補予測画像ブロックを選択し、選択された候補予測画像ブロックに対応する予測モード情報を決定する。予測画像選択部１０４４は、決定した予測モード情報を予測モード情報符号化部１０８に出力する。その後、ステップＳ２０８に進む。
（ステップＳ２０８）予測画像選択部１０４４が、フレーム内の全ブロックについてステップＳ２０３～Ｓ２０７の処理が完了していない場合、処理対象となるブロックを変更してステップＳ２０２に戻る。予測画像選択部１０４４が、フレーム内の全ブロックについてステップＳ２０３～Ｓ２０７の処理が完了した場合、選択された候補予測画像ブロックを各々対応するブロック位置に配置してフレーム毎の予測画像を生成する。予測画像選択部１０４４は生成した予測画像を減算部１０２及び加算部１１３に出力する。その後、ステップＳ２０９に進む。
　なお、予測画像生成部１０４が行う予測画像生成処理については後述する。
（ステップＳ２０９）減算部１０２は、画像入力部１０２から入力された入力画像信号から予測画像生成部から入力された予測画像信号をフレーム毎に減算して、差分画像信号を生成する。減算部１０２は、生成した差分画像信号を差分画像符号化部１０５に出力する。その後、ステップＳ２１０に進む。
（ステップＳ２１０）差分画像符号化部１０５は、減算部１０２から入力された差分画像信号をフレーム毎に符号化して、情報量がより圧縮された差分画像符号を差分画像復号部１０６及び画像符号化装置１００の外部（例えば、画像復号装置４００）に出力する。
　予測モード情報符号化部１０８は、予測画像生成部１０８から入力された予測モード情報を、例えば可変長符号化を用いて符号化し、情報量がより圧縮された予測モード情報符号を画像符号化装置１００の外部（例えば、画像復号装置４００）に出力する。
　参照画像情報パッキング部１０９は、参照画像・参照ブロック選択部１０３から入力された参照画像情報をフレーム毎にパッキングし、パッキングされた参照画像情報を参照画像情報符号化部１１０に出力する。参照画像情報符号化部１１０は、参照画像情報パッキング部１０９から入力された参照画像情報をフレーム毎に、例えば可変長符号化を用いて符号化し、情報量がより圧縮された参照画像情報符号を画像符号化装置１００の外部（例えば、画像復号装置４００）に出力する。
　参照ブロック情報パッキング部１１１は、参照画像・参照ブロック選択部１０３から入力された参照ブロック情報をフレーム毎にパッキングし、パッキングされた参照ブロック情報を参照ブロック情報符号化部１１２に出力する。
　参照ブロック情報符号化部１１２は、参照ブロック情報パッキング部１１１から入力された参照ブロック情報を、例えば可変長符号化を用いて符号化し、情報量がより圧縮された参照ブロック情報符号を画像符号化装置１００の外部（例えば、画像復号装置４００）に出力する。その後、ステップＳ２１１に進む。
（ステップＳ２１１）デプスマップ符号化部１１４は、画像符号化装置１００の外部からデプスマップをフレーム毎に入力され、入力されたデプスマップを、例えば可変長符号化を用いて情報量がより圧縮されたデプスマップ符号をデプスマップ復号部１１５及び画像符号化装置１００の外部（例えば、画像復号装置４００）に出力する。デプスマップ復号部１１５は、デプスマップ符号化部１１４から入力されたデプスマップ符号を、例えば可変長復号を用いて情報量がより多い参照デプスマップを復号する。デプスマップ復号部は、復号した参照デプスマップを参照画像メモリ１０７に出力する。その後、ステップＳ２１２に進む。
（ステップＳ２１２）差分画像復号部１０６は、差分画像符号化部１０５から入力された差分画像符号を復号し、復号差分画像信号を生成する。差分画像復号部１０６は、生成した復号差分画像信号を加算部１１３に出力する。その後、ステップＳ２１３に進む。
（ステップＳ２１３）加算部１１３は、予測画像生成部１０４から入力された予測画像信号と差分画像復号部１０６から入力された復号差分信号を加算して、参照画像信号を生成する。その後、ステップＳ２１４に進む。
（ステップＳ２１４）加算部１１３は、生成した参照画像信号を参照画像メモリ１０７に出力する。参照画像メモリ１０７は、加算部１１３から入力された参照画像信号をフレーム毎に記憶する。また、参照画像メモリ１０７は、画像符号化装置１００の外部からデプスマップをフレーム毎に入力され、デプスマップ復号部１１５から入力された参照デプスマップをフレーム毎に入力され、対応するフレームの入力画像信号から生成された参照画像信号と対応付けて記憶する。その後、処理を終了する。
　次に、本実施形態に係る予測画像生成部１０４が行う予測画像生成処理について説明する。図７は、本実施形態に係る予測画像生成部１０４が行う予測画像生成処理を示すフローチャートである。この予測画像生成処理は、図６に示すステップＳ２０５～Ｓ２０８の処理に相当する。
（ステップＳ３０１）参照画像・参照デプス取得部１０４１は、参照画像・参照ブロック選択部１０３から参照画像情報と参照ブロック情報をブロック毎に入力される。入力画像信号がＢピクチャである場合には、参照画像・参照デプス取得部１０４１は、Ｌ０参照ブロック情報及びＬ１参照ブロック情報がブロック毎に入力される。その後、ステップＳ３０２に進む。
（ステップＳ３０２）参照画像・参照デプス取得部１０４１は、参照画像メモリ１０７から参照画像情報に対応する参照画像信号と参照デプスマップを読み出し、さらに読み出された参照画像信号から参照ブロック情報に対応する領域のブロックを抽出して参照画像ブロックを取得する。参照画像・参照デプス取得部１０４１は、読み出されたデプスマップから参照ブロック情報に対応する領域のブロックを抽出してデプスブロックを取得する。入力画像がＢピクチャである場合には、参照画像・参照デプス取得部１０４１は、Ｌ０参照ブロック情報に基づき、Ｌ０参照画像ブロック及びＬ０デプスブロックを取得する。
　参照画像・参照デプス取得部１０４１は、Ｌ１参照ブロック情報に基づき、Ｌ１参照画像ブロック及びＬ１デプスブロックを取得する。参照画像・参照デプス取得部１０４１は、取得した参照画像ブロック（又はＬ０参照画像ブロック並びにＬ１参照画像ブロック）を第１予測画像生成部１０４２－１～第ｎ予測画像生成部１０４２－ｎ及びデプス利用予測画像生成部１０４３に出力する。予測画像・参照デプス取得部１０４１は、取得したデプスブロックをデプス利用予測画像生成部１０４３に出力する。その後、ステップＳ３０３－１に進む。
（ステップＳ３０３－１）第１予測画像生成部１０４２－１は、参照画像・参照デプス取得部１０４１から入力された参照画像ブロックから予測モード１に応じた第１予測画像ブロックを生成する。第１予測画像生成部１０４２－１は、生成した第１予測画像ブロックを予測画像選択部１０４４に出力する。その後、ステップＳ３０３－２に進む。
（ステップＳ３０３－ｉ）（ｉは、１より大きく、ｎより小さい自然数）において、第ｉ予測画像生成部１０４２－ｉは、参照画像・参照デプス取得部１０４１から入力された参照画像ブロックから予測モードｉに応じた第ｉ予測画像ブロックを生成する。予測画像生成部１０４２－ｉは、生成した第ｉ予測画像ブロックを予測画像選択部１０４４に出力する。その後、ステップＳ３０３－ｉ＋１に進む。
（ステップＳ３０３－ｎ）第ｎ予測画像生成部１０４２－ｎは、参照画像・参照デプス取得部１０４１から入力された参照画像ブロックから予測モードｎに応じた第ｎ予測画像ブロックを生成する。第ｎ予測画像生成部１０４２－ｎは、生成した第ｎ予測画像ブロックを予測画像選択部１０４４に出力する。その後、ステップＳ３０４に進む。
（ステップＳ３０４）デプス利用予測画像生成部１０４３は、参照画像・参照デプス取得部１０４１から入力されたＬ０参照画像ブロック、Ｌ１参照画像ブロック、Ｌ０デプスブロック、及びＬ１デプスブロックに基づきデプス利用予測画像ブロックを生成し、予測画像選択部１０４４に出力する。
　ここで、デプス利用予測画像生成部１０４３は、例えば図５に示す処理を用いて、デプス利用予測画像ブロックを生成する。その後、ステップＳ３０５に進む。
（ステップＳ３０５）予測画像選択部１０４４は、第１～第ｎ予測画像ブロック１０４２－１～１０４２－ｎからそれぞれ入力された第１～第ｎ予測画像ブロック、及びデプス利用予測画像生成部１０４３から入力されたデプス利用予測画像ブロックの中から、最も指標値（例えば、入力画像信号における当該ブロックとの間のＳＡＤ）が小さくなる１つの候補予測画像ブロックを選択する。その後、ステップＳ３０６に進む。
（ステップＳ３０６）予測画像選択部１０４４は、選択された候補予測画像ブロックに対応する予測モード情報を予測モード情報符号化部１０８に出力する。その後、ステップＳ３０７に進む。
（ステップＳ３０７）予測画像選択部１０４４は、フレーム内の全画像ブロックについて選択が完了したら、選択された候補予測画像ブロックを各々対応するブロックの位置に配置してフレーム毎の予測画像信号を生成する。予測画像選択部１０４４は生成した予測画像信号を減算部１０２及び加算部１１３に出力して処理を終了する。
　次に、本実施形態に係る画像復号装置４００について説明する。
　図８は、本実施形態に係る画像復号装置４００の構成を示す概略図である。
　画像復号装置４００は、差分画像復号部４０１、参照画像情報復号部４０２、参照画像情報アンパッキング部４０３、参照ブロック情報復号部４０４、参照ブロック情報アンパッキング部４０５、予測モード情報復号部４０６、予測画像生成部４０７、参照画像メモリ４０８、加算部４０９及びデプスマップ復号部４１０、を含んで構成される。
　差分画像復号部４０１は、外部（例えば、画像符号化装置１００）から入力された差分画像符号を復号してフレーム毎に差分画像信号を生成する。差分画像復号部４０１において差分画像符号に基づき差分画像信号を生成する処理は、差分画像符号化部１０６と同様である。差分画像復号部４０１は、生成した差分画像信号をフレーム毎に加算部４０９に出力する。
　ここで、差分画像復号部４０１は、上述の符号化順序と同一の順序（復号順序）で差分画像符号を入力される。
　参照画像情報復号部４０２は、外部（例えば、画像符号化装置１００）から入力された参照画像情報符号を復号してフレーム毎に参照画像情報を生成する。参照画像情報復号部４０２が行う復号処理は、参照画像情報符号化部１１０が行った符号化方法（例えば、可変長符号化）との逆の処理（例えば、可変長復号）である。参照画像情報復号部４０２は、生成した参照画像情報を参照画像情報アンパッキング部４０３に出力する。
　参照画像情報アンパッキング部４０３は、参照画像情報復号部４０２からフレーム毎に入力された参照画像情報をブロック毎にアンパック（ｕｎｐａｃｋ；取出）して、アンパックしたブロック毎の参照画像情報を該当するブロックの位置に配置して参照画像信号を生成する。このアンパックに係る処理において、参照画像情報アンパッキング部４０３は、Ｌ０参照画像情報とＬ１参照画像情報を分離する。参照画像情報アンパッキング部４０３はフレーム毎に生成した参照画像信号を上述の復号順序で参照画像メモリ４０８に記憶する。
　参照ブロック情報復号部４０４は、外部（例えば、画像符号化装置１００）から入力された参照ブロック情報符号を復号してフレーム毎に参照ブロック情報を生成する。参照ブロック情報復号部４０２が行う復号処理は、参照ブロック情報符号化部１１２が行った符号化方法（例えば、可変長符号化）との逆の処理（例えば、可変長復号）である。参照ブロック情報復号部４０４は、生成した参照ブロック情報を参照ブロック情報アンパッキング部４０５に出力する。
　参照ブロック情報アンパッキング部４０５は、参照ブロック情報復号部４０４からフレーム毎に入力された参照ブロック情報をブロック毎にアンパックして、アンパックした参照ブロック情報を予測画像生成部４０７に上述の復号順序で出力する。
　予測モード情報復号部４０６は、外部（例えば、画像符号化装置１００）から入力された予測モード情報符号を復号して入力されたフレームのブロック毎に予測モード情報を生成する。予測モード情報復号部４０６が行う復号処理は、予測モード情報符号化部１０８が行った符号化方法（例えば、可変長符号化）との逆の処理（例えば、可変長復号）である。予測モード情報復号部４０６は、予測モード情報符号を入力した順序とは異なるフレーム順序で生成した予測モード情報を上述の復号順序で予測画像生成部４０７に出力する。
　デプスマップ復号部４１０は、外部（例えば、画像符号化装置１００）から入力されたデプスマップ符号を復号してフレーム毎にデプスマップを生成する。デプスマップ復号部４１０が行う復号処理は、デプスマップ符号化部１１４が行った符号化方法（例えば、可変長符号化）との逆の処理（例えば、可変長復号）である。デプスマップ復号部４１０は、生成したデプスマップをフレーム毎に、同一のフレームの参照画像と対応付けて参照画像メモリ４０８に記憶する。
　予測画像生成部４０７は、参照画像情報アンパッキング部４０３から入力された参照画像情報に基づき参照画像メモリ４０８から参照画像信号を読み出す。参照画像情報のうちＬ０参照画像情報及びＬ１参照画像情報が有効であることを示す場合には、予測画像生成部４０７は、さらに各参照画像信号に対応する参照デプスマップを読みだす。予測画像生成部４０７は、参照画像情報（該当する場合には、参照デプスマップ）及び参照ブロック情報に基づき予測画像ブロックを生成する。
　なお、Ｌ０参照情報及びＬ１参照情報ともに無効であることを示す場合、予測画像生成部４０７は、参照画像メモリ４０８から、記憶されている参照画像信号の一部を読み出し、読み出した参照画像信号の一部から、例えば、対象となる画像ブロックの近傍の画像ブロック（真上、左、左上及び右上の画像ブロック）を抽出する。予測画像生成部１０４は、抽出した画像ブロックに基づき予測画像ブロックを生成する。
　参照画像・参照デプス取得部１０４１は、生成した予測画像ブロックをフレーム全体にわたり該当するブロックに配置することで統合して予測画像信号を生成し、生成した予測画像信号を加算部４０９に出力する。
　図９は、本実施形態に係る予測画像生成部４０７の構成を示す概略図である。
　予測画像生成部４０７は、具体的には、参照画像・参照デプス取得部４０７１、第１予測画像生成部４０７２－１～第ｎ予測画像生成部４０７２－ｎ（ｎは１以上の自然数、例えば４）、デプス利用予測画像生成部４０７３、及び予測画像選択部４０７４を含んで構成される。
　参照画像・参照デプス取得部４０７１は、参照画像情報アンパッキング部４０３から入力された参照画像情報に基づき、参照画像メモリ４０８から参照画像信号を読み出し、入力されたＬ０参照画像情報及びＬ１参照画像情報が有効であることを示す場合、さらに対応するデプスマップを読み出す。
　参照画像・参照デプス取得部４０７１は、読み出された参照画像信号から参照ブロック情報アンパッキング部４０５から入力された参照ブロック情報に基づき参照画像ブロックを取得し、デプスマップが読み出された場合にはデプスブロックを取得する。
　なお、Ｌ０参照情報及びＬ１参照情報ともに無効であることを示す場合、予測画像生成部４０７は、参照画像メモリ４０８から、記憶されている参照画像信号の一部を読み出し、読み出した参照画像信号の一部から、対象となる画像ブロックの近傍の画像ブロック（真上、左、左上及び右上の画像ブロック）を取得する。
　なお、参照画像・参照デプス取得部４０７１が参照画像情報に基づき参照画像ブロック及びデプスブロックを取得する処理は、参照画像・参照デプス取得部１０４１と同様である。
　参照画像・参照デプス取得部４０７１は、取得した参照画像ブロックを第１予測画像生成部４０７２－１～第ｎ予測画像生成部４０７２－ｎ及びデプス利用予測画像生成部４０７３に出力する。参照画像・参照デプス取得部４０７１は、取得したデプスブロックをデプス利用予測画像生成部４０７３に出力する。
　第１予測画像生成部４０７２－１～第ｎ予測画像生成部４０７２－ｎは、参照画像・参照デプス取得部４０７１から入力された参照画像ブロックから各予測モードに応じた第１～第ｎ予測画像ブロックをそれぞれ生成する。第１予測画像生成部４０７２－１～第ｎ予測画像生成部４０７２－ｎは、生成した第１～第ｎ予測画像ブロックを予測画像選択部４０７４に出力する。
　なお、第１予測画像生成部４０７２－１～第ｎ予測画像生成部４０７２－ｎが第１～第ｎ予測画像ブロックをそれぞれ生成する処理は、第１予測画像生成部１０４２－１～第ｎ予測画像生成部１０４２－ｎとそれぞれ同様である。
　デプス利用予測画像生成部４０７３は、参照画像・参照デプス取得部４０７１から入力されたＬ０参照画像ブロック、Ｌ１参照画像ブロック、Ｌ０デプスブロック、及びＬ１デプスブロックに基づきデプス利用予測画像ブロックを生成し、予測画像選択部４０７４に出力する。
　デプス利用予測画像生成部４０７３がデプス利用予測画像ブロックを生成する処理は、デプス利用予測画像生成部１０４３と同様である（図５参照）。
　予測画像選択部４０７４は、第１～第ｎ予測画像ブロック４０７２－１～４０７２－ｎからそれぞれ入力された第１～第ｎ予測画像ブロック、及びデプス利用予測画像生成部４０７３から入力されたデプス利用予測画像ブロックの中から、予測モード情報復号部４０６から入力された該当するブロックの予測モード情報に対応する候補予測画像ブロックを選択する。
　予測画像選択部４０７４は、各フレーム内の全画像ブロックについて候補予測画像ブロックの選択が完了したら、選択された候補予測画像ブロックを各々対応するブロックの位置に配置してフレーム毎の予測画像信号を生成する。予測画像選択部４０７４は、生成した予測画像信号を加算部４０９に出力する。
　図８に戻り、加算部４０９は、差分画像復号部４０１から入力された差分画像信号の各画素における輝度値と予測画像生成部４０７から入力された予測画像信号の対応する画素の輝度値を加算して出力画像信号を生成する。加算部４０９は、生成した出力画像信号をフレーム毎に参照画像メモリ４０８及び画像復号装置４００の外部に出力する。
　加算部４０９は、生成した出力画像信号を画像復号装置４００の外部に出力する際には、例えば上述の入力順序で５フレーム（Ｉピクチャ（Ｉ０）、Ｂピクチャ（Ｂ３）、Ｂピクチャ（Ｂ２）、Ｂピクチャ（Ｂ４）及びＰピクチャ（Ｐ１））毎に出力する。
　次に、本実施形態に係る画像復号装置４００が行う画像復号処理について説明する。
　図１０は、本実施形態に係る画像復号処理を示すフローチャートである。
（ステップＳ５０１）差分画像復号部４０１、参照画像情報復号部４０２、参照ブロック情報復号部４０４、予測モード情報復号部４０６、及びデプスマップ復号部４１０は、それぞれ差分画像符号、参照画像情報符号、参照ブロック情報符号、予測モード情報符号及びデプスマップ符号をそれぞれ外部（例えば、画像符号化装置１００）から入力される。その後、ステップＳ５０２に進む。
（ステップＳ５０２）参照画像情報復号部４０２は、参照画像情報符号を復号してフレーム毎に参照画像情報を生成し、生成した参照画像情報を参照画像情報アンパッキング部４０３に出力する。
　参照画像情報アンパッキング部４０３は、参照画像情報復号部４０２からフレーム毎に入力された参照画像情報をブロック毎にアンパックして、アンパックした参照画像情報を予測画像生成部４０７に出力する。
（ステップＳ５０３）参照ブロック情報復号部４０４は、参照ブロック情報符号を復号してフレーム毎に参照ブロック情報を生成し、生成した参照画像情報を参照ブロック情報アンパッキング部４０５に出力する。
　参照ブロック情報アンパッキング部４０５は、参照ブロック情報復号部４０４からフレーム毎に入力された参照ブロック情報をブロック毎にアンパックして、アンパックした参照ブロック情報を予測画像生成部４０７に出力する。その後、ステップＳ５０４に進む。
（ステップＳ５０４）予測モード情報復号部４０６は、予測モード情報符号を復号して各フレームのブロック毎に予測モード情報を生成し、生成した予測モード情報を予測画像生成部４０７に出力する。その後、ステップＳ５０５に進む。
（ステップＳ５０５）デプスマップ復号部４１０は、デプスマップ符号を復号してフレーム毎にデプスマップを生成し、生成したデプスマップをフレーム毎に、同一のフレームの参照画像信号と対応付けて参照画像メモリ４０８に記憶する。その後、ステップＳ５０６に進む。
（ステップＳ５０６）フレーム内の全ブロックについて、予測画像生成部４０７は、ステプＳ５０７の処理を繰り返す。
（ステップＳ５０７）予測画像生成部４０７は、参照画像情報アンパッキング部４０３から入力される参照画像情報と参照ブロック情報アンパッキング部４０５から入力された参照ブロック情報に基づき、参照画像メモリ４０８から参照画像信号を（参照ブロック情報が有効であることを示すＬ０参照ブロック情報又はＬ１参照ブロック情報のときは、さらに読み出された参照画像信号と同一のフレームの参照デプスマップ）を読み出す。予測画像生成部４０７は、参照画像（参照デプスマップが読み出された場合は、さらに読み出された参照デプスマップ）に基づき予測画像ブロックを生成する。
（ステップＳ５０８）フレーム内の全ブロックについて処理を完了していない場合には、予測画像生成部４０７は、処理対象のブロックを変更してステップＳ５０７に戻る。フレーム内の全ブロックについて、処理を完了した場合には、ステップＳ５０９に進む。
（ステップＳ５０９）予測画像生成部４０７は、生成した予測画像ブロックの各々を該当するブロックの位置に配置してフレーム毎の予測画像信号を生成する。予測画像生成部４０７は、生成した予測画像信号を加算部４０９に出力する。なお、予測画像生成部４０７が行う予測画像を生成する処理については後述する。その後、ステップＳ５１０に進む。
（ステップＳ５１０）差分画像復号部４０１は、差分画像符号を復号してフレーム毎に差分画像信号を生成し、生成した差分画像信号をフレーム毎に加算部４０９に出力する。その後、ステップＳ５１１に進む。
（ステップＳ５１１）加算部４０９は、差分画像復号部４０１から入力された差分画像信号と予測画像生成部４０７から入力された予測画像信号を加算して出力画像信号を生成する。加算部４０９は、生成した出力画像信号をフレーム毎に参照画像メモリ４０８及び画像復号装置４００の外部に出力し、処理を終了する。
　次に、予測画像生成部４０７が行う予測画像生成処理について説明する。
　図１１は、本実施形態に係る予測画像生成部４０７が行う予測画像生成処理を示すフローチャートである。この予測画像生成処理は、図１０に示すステップＳ５０６～Ｓ５０９の処理に相当する。
（ステップＳ６０１）参照画像・参照デプス取得部４０７１は、参照画像情報アンパッキング部４０３から参照画像情報と参照ブロック情報アンパッキング部４０５からブロック毎の参照ブロック情報を入力される。その後、ステップＳ６０２に進む。
（ステップＳ６０２）参照画像・参照デプス取得部４０７１は、入力された参照画像情報に基づき、参照画像メモリ４０８から参照画像信号（参照ブロック情報がＬ０参照ブロック情報又はＬ１参照ブロック情報の場合は、読み出された参照画像信号と同一のフレームのデプスマップ）を読み出す。参照画像・参照デプス取得部４０７１は、参照ブロック情報に基づき参照画像から参照画像ブロック（デプスマップが読み出された場合は、さらに取得した参照画像ブロックと同一の領域のデプスブロック）を取得する。
　参照画像・参照デプス取得部４０７１は、取得した参照画像ブロックを第１予測画像生成部４０７２－１～第ｎ予測画像生成部４０７２－ｎ及びデプス利用予測画像生成部４０７３に出力する。参照画像・参照デプス取得部４０７１は、取得したデプスブロックをデプス利用予測画像生成部４０７３に出力する。その後、ステップＳ６０３－１に進む。
（ステップＳ６０３－１）第１予測画像生成部４０７２－１は、参照画像・参照デプス取得部４０７１から入力された参照画像ブロックから予測モード１に応じた第１予測画像ブロックを生成する。第１予測画像生成部４０７２－１は、生成した第１予測画像ブロックを予測画像選択部４０７４に出力する。その後、ステップＳ６０３－２に進む。
（ステップＳ６０３－ｉ）において、第ｉ予測画像生成部１０４２－ｉは、参照画像・参照デプス取得部４０７１から入力された参照画像ブロックから予測モードｉに応じた第ｉ予測画像ブロックを生成する。予測画像生成部４０７２－ｉは、生成した第ｉ予測画像ブロックを予測画像選択部４０７４に出力する。その後、ステップＳ６０３－ｉ＋１に進む。
（ステップＳ６０３－ｎ）第ｎ予測画像生成部４０７２－ｎは、参照画像・参照デプス取得部４０７１から入力された参照画像ブロックから予測モードｎに応じた第ｎ予測画像ブロックを生成する。第ｎ予測画像生成部４０７２－ｎは、生成した第ｎ予測画像ブロックを予測画像選択部４０７４に出力する。その後、ステップＳ６０４に進む。
（ステップＳ６０４）デプス利用予測画像生成部４０７３は、参照画像・参照デプス取得部４０７１から入力されたＬ０参照画像ブロック、Ｌ１参照画像ブロック、Ｌ０デプスブロック、及びＬ１デプスブロックに基づきデプス利用予測画像ブロックを生成し、予測画像選択部４０７４に出力する。
　ここで、デプス利用予測画像生成部４０７３は、例えば図５に示す処理を用いて、デプス利用予測画像ブロックを生成する。その後、ステップＳ６０５に進む。
（ステップＳ６０５）予測画像選択部４０７４は、第１～第ｎ予測画像ブロック４０７２－１～４０７２－ｎからそれぞれ入力された第１～第ｎ予測画像ブロック、及びデプス利用予測画像生成部４０７３から入力されたデプス利用予測画像ブロックの中から、予測モード情報復号部４０６から入力された該当するブロックの予測モード情報に対応する候補予測画像ブロックを選択する。その後、ステップＳ６０６に進む。
（ステップＳ６０６）予測画像選択部４０７４は、各フレーム内の全画像ブロックについて選択が完了したら、選択された候補予測画像ブロックを各々該当するブロックの位置に配置してフレーム毎の予測画像を生成する。予測画像選択部４０７４は、生成した予測画像を加算部４０９に出力し、処理を終了する。
　なお、上述の例では、デプス利用予測画像を生成する処理（図５参照）は、Ｂピクチャ（入力画像）に基づき生成したＬ０参照画像とＬ１参照画像を用いていたが、本実施形態ではこれに限られない。本実施形態では、その他の種類の入力画像（例えばＰピクチャ）に基づく参照画像を用いても、３個以上の参照画像を用いてもよい。
　また、上述の画像符号化装置１００は、デプスマップ符号化部１１４を備え、画像復号装置４００は、デプスマップ復号部４１０を備えていたが、本実施形態ではこれに限られない。本実施形態では、画像符号化装置１００が入力画像に対応するデプスマップに関する情報を別途の手段で画像復号装置４００において利用できるようにしてもよい。例えば、オフラインでの受け渡し、あるいは外部に設置され映像情報と対応づけてデプスマップを記憶したサーバ装置から通信回線を介して、画像復号装置４００がデプスマップを受信するようにしてもよい。そのために、映像情報を示す映像のタイトルが、通信回線を通じて検索可能であって、その映像情報が選択されたときに、対応するデプスマップが受信できるようにする。
　また、本実施形態に係る画像符号化装置１００は、入力画像に含まれる画素と、入力画像とは異なる視点の画像に含まれる画素との間の視差を表す画素値として含むデプスマップを生成するデプスマップ生成部を備えてもよい。その場合、デプスマップ生成部は、生成したデプスマップを参照画像メモリ１０７及びデプスマップ符号化部１１４に出力する。
　また、本実施形態に係る画像復号装置４００は、出力画像と、その出力画像と同じフレームのデプスマップに基づいて出力画像とは異なる視点の第２の出力画像を生成し、外部に出力してもよい。
　また、上述の例では、画像符号化装置１００は、入力画像信号を５フレーム毎に入力していたが、本実施形態では、これに限らず、任意の数のフレーム数毎に入力してもよい。
　また、上述の例では、画像復号装置４００は、出力画像信号を５フレーム毎に出力していたが、本実施形態では、これに限らず、任意の数のフレーム数毎に出力してもよい
　また、上述の例では、画像符号化装置１００は、参照画像情報と参照ブロック情報を生成する参照画像・参照ブロック選択部１０３を備えているが、本実施形態では、これには限らず、その代わりに参照画像情報を生成する参照画像選択部と参照ブロック情報を生成する参照画像ブロック情報選択部を備えてもよい。
　このように、本実施形態によれば、２以上の参照画像を用いて予測画像を生成する際、参照画像に対応する距離情報がより近い距離を示す参照画像を優先して合成している。これにより、入力画像との残差を最小化し高効率の画像符号化及び復号を実現することができる。
　なお、上述した実施形態における画像符号化装置１００、画像復号装置４００の一部、例えば、減算部１０２、参照画像・参照ブロック選択部１０３、予測画像生成部１０４、差分画像符号化部１０５、差分画像復号部１０６、予測モード情報符号化部１０８、参照画像情報パッキング部１０９、参照画像情報符号化部１１０、参照ブロック情報パッキング部１１１、参照ブロック情報符号化部１１２、加算部１１３、デプスマップ符号化部１１４並びにデプスマップ復号部１１５、及び差分画像復号部４０１、参照画像情報復号部４０２、参照画像情報案パッキング部４０３、参照ブロック情報復号部４０４、参照ブロック情報アンパッキング部４０５、予測モード情報復号部４０６、予測画像生成部４０７、加算部４０９並びにデプスマップ復号部４１０をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１００又は画像復号装置４００に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　また、上述した実施形態における画像符号化装置１００及び画像復号装置４００の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像符号化装置１００及び画像復号装置４００の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
　以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
　本発明は、動画像を符号化する装置、方法などに利用できる。
　１００　　画像符号化装置
　１０１　　画像入力部
　１０２　　減算部
　１０３　　参照画像・参照ブロック選択部
　１０４　　予測画像生成部
　１０４１　　参照画像・参照デプス取得部
　１０４２－１～１０４２－ｎ　　第１～第ｎ予測画像生成部
　１０４３　　デプス利用予測画像生成部
　１０４４　　予測画像選択部
　１０５　　差分画像符号化部
　１０６　　差分画像復号部
　１０７　　参照画像メモリ
　１０８　　予測モード情報符号化部
　１０９　　参照画像情報パッキング部
　１１０　　参照画像情報符号化部
　１１１　　参照ブロック情報パッキング部
　１１２　　参照ブロック情報符号化部
　１１３　　加算部
　１１４　　デプスマップ符号化部
　４００　　画像復号装置
　４０１　　差分画像復号部
　４０２　　参照画像情報復号部
　４０３　　参照画像情報アンパッキング部
　４０４　　参照ブロック情報復号部
　４０５　　参照ブロック情報アンパッキング部
　４０６　　予測モード情報復号部
　４０７　　予測画像生成部
　４０７１　　参照画像・参照デプス取得部
　４０７２－１～４０７２－ｎ　　第１～第ｎ予測画像生成部
　４０７３　　デプス利用予測画像生成部
　４０７４　　デプス利用予測画像生成部
　４０８　　参照画像メモリ
　４０９　　加算部
　４１０　　デプスマップ復号部

Claims (16)

  1. 　複数の参照画像を用いて入力画像を符号化する画像符号化装置において、
    　前記複数の参照画像から参照画像を選択する参照画像選択部と、
    　前記参照画像選択部が選択した参照画像の一領域である参照画像ブロックと前記入力画像を分割した画像ブロックとの相関に基づいて、当該参照画像ブロックを２以上取得する参照画像ブロック取得部と、
    　前記参照画像取得部が取得した２以上の参照画像ブロックのうち、当該参照画像ブロックが表す被写体の距離情報がより近距離を示す参照画像ブロックを優先して用いることにより予測画像を生成する予測画像生成部と、
    　を備える画像符号化装置。
  2. 　前記予測画像生成部は、
    　前記２以上の参照画像ブロックに含まれる画素毎の前記距離情報が、より短い距離を示す画素を優先して用いることにより予測画像を生成する請求項１に記載の画像符号化装置。
  3. 　前記予測画像生成部は、
    　前記２以上の参照画像ブロックに含まれる画素毎の前記距離情報に基づいて参照画像ブロック間の重み係数を算出し、前記算出した重み係数に基づき当該画素の輝度値を算出する請求項２に記載の画像符号化装置。
  4. 　前記予測画像生成部は、
    　前記２以上の参照画像ブロックのうち一の参照画像ブロックに含まれる画素に対応する前記距離情報が、他の参照画像ブロックに含まれる画素に対応する距離情報よりも予め設定された閾値よりも短い距離を示すとき、当該一の参照画像ブロックに含まれる画素を優先して用いることにより予測画像を生成する請求項２に記載の画像符号化装置。
  5. 　前記予測画像生成部は、
    　前記２以上の参照画像ブロックのうち一の参照画像ブロックに含まれる画素に対応する前記距離情報が、他の参照画像ブロックに含まれる画素に対応する距離情報よりも予め設定された閾値ほど短い距離を示さないとき、当該一の参照画像ブロックに含まれる画素及び当該他の参照ブロックに含まれる画素を同等に用いることにより予測画像を生成する請求項４に記載の画像符号化装置。
  6. 　前記予測画像生成部において、
    　前記閾値が、前記被写体の距離に基づく値である請求項４又は５に記載の画像符号化装置。
  7. 　複数の参照画像を用いて、参照画像の一領域である参照画像ブロックを表す２以上の参照ブロック情報を復号して画像を生成する画像復号装置において、
    　前記複数の参照画像から前記２以上の参照ブロック情報各々に基づき参照画像ブロックを取得する参照画像取得部と、
    　前記参照画像取得部が取得した参照画像ブロックのうち、当該参照画像ブロックが表す被写体への距離情報がより短い距離を示す参照画像ブロックを優先して用いることにより予測画像を生成する予測画像生成部と、
    　を備える画像復号装置。
  8. 　前記予測画像生成部は、
    　前記２以上の参照画像ブロックに含まれる画素毎の前記距離情報が、より短い距離を示す画素を優先して用いることにより予測画像を生成する請求項７に記載の画像復号装置。
  9. 　前記予測画像生成部は、
    　前記２以上の参照画像ブロックに含まれる画素毎の前記距離情報に基づいて参照画像ブロック間の重み係数を算出し、前記算出した重み係数に基づき当該画素の輝度値を算出する請求項８に記載の画像復号装置。
  10. 　前記予測画像生成部は、
    　前記２以上の参照画像ブロックのうち一の参照画像ブロックに含まれる画素に対応する前記距離情報が、他の参照画像ブロックに含まれる画素に対応する距離情報よりも予め設定された閾値よりも短い距離を示すとき、当該一の参照画像ブロックに含まれる画素を優先して用いることにより予測画像を生成する請求項８に記載の画像復号装置。
  11. 　前記予測画像生成部は、
    　前記２以上の参照画像ブロックのうち一の参照画像ブロックに含まれる画素に対応する前記距離情報が、他の参照画像ブロックに含まれる画素に対応する距離情報よりも予め設定された閾値ほど短い距離を示さないとき、当該一の参照画像ブロックに含まれる画素及び当該他の参照ブロックに含まれる画素を同等に用いることにより予測画像を生成する請求項１０に記載の画像復号装置。
  12. 　前記予測画像生成部において、
    　前記閾値が、前記被写体の距離に基づく値である請求項１０又は１１に記載の画像復号装置。
  13. 　複数の参照画像を用いて入力画像を符号化する画像符号化装置における画像符号化方法であって、
    　前記複数の参照画像から参照画像を選択する工程と、
    　前記選択された参照画像の一領域である参照画像ブロックと前記入力画像を分割した画像ブロックとの相関に基づいて、当該参照画像ブロックを２以上取得する工程と、
    　前記取得した２以上の参照画像ブロックのうち、当該参照画像ブロックが表す被写体への距離情報がより短い距離を示す参照画像ブロックを優先して用いることにより予測画像を生成する工程と、を有する画像符号化方法。
  14. 　複数の参照画像を用いて、参照画像の一領域である参照画像ブロックを表す２以上の参照ブロック情報を復号して画像を生成する画像復号装置における画像復号方法であって、
    　前記複数の参照画像から前記２以上の参照ブロック情報各々に基づき参照画像ブロックを取得する工程と、
    　前記取得した参照画像ブロックのうち、当該参照画像ブロックが表す被写体への距離情報がより短い距離を示す参照画像ブロックを優先して用いることにより予測画像を生成する工程と、を有する画像復号方法。
  15. 　複数の参照画像を用いて入力画像を符号化する画像符号化装置のコンピュータに、
    　前記複数の参照画像から参照画像を選択する工程と、
    　前記選択した参照画像の一領域である参照画像ブロックと前記入力画像を分割した画像ブロックとの相関に基づいて、当該参照画像ブロックを２以上取得する工程と、
    　前記取得した２以上の参照画像ブロックのうち、当該参照画像ブロックが表す被写体への距離情報がより短い距離を示す参照画像ブロックを優先して用いることにより予測画像を生成する工程と、
    　を実行させる画像符号化プログラム。
  16. 　複数の参照画像を用いて、参照画像の一領域である参照画像ブロックを表す２以上の参照ブロック情報を復号して画像を生成する画像復号装置のコンピュータに、
    　前記複数の参照画像から前記２以上の参照ブロック情報各々に基づき参照画像ブロックを取得する工程と、
    　前記取得した参照画像ブロックのうち、当該参照画像ブロックが表す被写体への距離情報がより短い距離を示す参照画像ブロックを優先して用いることにより予測画像を生成する工程と、
    　を実行させる画像復号プログラム。
PCT/JP2012/056114 2011-03-10 2012-03-09 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム WO2012121369A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-052827 2011-03-10
JP2011052827 2011-03-10

Publications (1)

Publication Number Publication Date
WO2012121369A1 true WO2012121369A1 (ja) 2012-09-13

Family

ID=46798320

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/056114 WO2012121369A1 (ja) 2011-03-10 2012-03-09 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム

Country Status (1)

Country Link
WO (1) WO2012121369A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166381A (ja) * 2005-12-15 2007-06-28 Univ Of Tokyo 多視点画像の圧縮符号化方法及び復号化方法
JP2009003507A (ja) * 2007-06-19 2009-01-08 Victor Co Of Japan Ltd 画像処理方法、画像処理装置及び画像処理プログラム
JP2010135864A (ja) * 2007-03-29 2010-06-17 Toshiba Corp 画像符号化方法及び装置並びに画像復号化方法及び装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166381A (ja) * 2005-12-15 2007-06-28 Univ Of Tokyo 多視点画像の圧縮符号化方法及び復号化方法
JP2010135864A (ja) * 2007-03-29 2010-06-17 Toshiba Corp 画像符号化方法及び装置並びに画像復号化方法及び装置
JP2009003507A (ja) * 2007-06-19 2009-01-08 Victor Co Of Japan Ltd 画像処理方法、画像処理装置及び画像処理プログラム

Similar Documents

Publication Publication Date Title
TWI717586B (zh) 於視訊解碼器中導出運動向量資訊
JP5277257B2 (ja) 動画像復号化方法および動画像符号化方法
TWI643494B (zh) 畫像解碼裝置、畫像解碼方法、畫像編碼裝置、畫像編碼方法以及編碼資料的資料構造
KR20180055761A (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
JP5833757B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP4250638B2 (ja) 動画像符号化装置及びその方法
TW201215161A (en) Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
KR20080108774A (ko) 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
WO2011013253A1 (ja) 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置
WO2012035640A1 (ja) 動画像符号化方法及び動画像復号化方法
JP2022176940A (ja) Ｖｖｃにおける色変換のための方法及び機器
JP2013229674A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び画像復号プログラム
JP2017069866A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
KR101360279B1 (ko) 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치
KR20130046377A (ko) 화소 블록 코딩 및 재구성 방법 및 대응 장치
JPWO2015056712A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
WO2012121369A1 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
WO2015056700A1 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
JP5281597B2 (ja) 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム
WO2014156647A1 (ja) 複数の入力画像をエンコーディングする方法、プログラムを格納する記憶媒体および装置
JP5375697B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及びプログラム
WO2012153440A1 (ja) 予測ベクトル生成方法、予測ベクトル生成装置、予測ベクトル生成プログラム、画像符号化方法、画像符号化装置、画像符号化プログラム、画像復号方法、画像復号装置、及び画像復号プログラム
JP2006074520A (ja) 動きベクトル検出装置
JP2011182167A (ja) 画像符号化装置
KR20090078114A (ko) 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12754924

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12754924

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP