JP5372341B2

JP5372341B2 - 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム

Info

Publication number: JP5372341B2
Application number: JP2007133315A
Authority: JP
Inventors: 芳典鈴木; チュンセンブン
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2007-05-18
Filing date: 2007-05-18
Publication date: 2013-12-18
Anticipated expiration: 2027-05-18
Also published as: JP2008289005A

Description

本発明は、画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラムに関するもので、とりわけ、画像合成方法を用いて予測符号化および復号する画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラムに関するものである。

静止画像や動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ−１〜４やＩＴＵ（International Telecommunication Union）Ｈ．２６１〜Ｈ．２６４の方式が広く用いられている。

これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化・復号処理を行う。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（圧縮された画像データが復元されたもの）を用いて予測信号を生成した上で、その生成された予測信号を対象ブロックの信号から引き算した差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある隣接する既再生の画像信号を参照し、動きの補正を行ない、予測信号を生成し、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。

例えば、Ｈ．２６４の画面内予測符号化では、符号化の対象となるブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。図１４は、ＩＴＵＨ．２６４に用いられる画面内予測方法を説明するための模式図である。図１４（Ａ）において、対象ブロック１８０２は符号化の対象となるブロックであり、その対象ブロック１８０２の境界に隣接する画素Ａ〜Ｍからなる画素群１８０１は隣接領域であり、過去の処理において既に再生された画像信号である。

この場合、対象ブロック１８０２の真上にある隣接画素である画素群１８０１を下方に引き伸ばして予測信号を生成する。また図１４（Ｂ）では、対象ブロック１８０４の左にある既再生画素（Ｉ〜Ｌ）を右に引き伸ばして予測信号を生成する。このように図１４（Ａ）から（Ｉ）に示す方法で生成された９つの予測信号のそれぞれを対象ブロックの画素信号との差分をとり、差分値が最も小さいものを最適の予測信号とする。以上のように、画素を外挿することにより予測信号を生成することができる。以上の内容については、下記特許文献１に記載されている。

通常の画面間予測符号化では、符号化の対象となるブロックについて、その画素信号に類似する信号を既に再生済みの画面から探索するという方法で予測信号を生成する。そして、対象ブロックと探索した信号が構成する領域との間の空間的な変位量である動きベクトルと、対象ブロックの画素信号と予測信号との残差信号を符号化する。このようにブロック毎に動きベクトルを探索する手法はブロックマッチングと呼ばれる。図１５は、ブロックマッチング処理を説明するための模式図である。ここでは、符号化対象の画面１４０１上の対象ブロック１４０２を例に予測信号の生成手順を説明する。図１５（ａ）における画面１４０３は既に再生済みの画面であり、破線で示した領域１４０４は対象ブロック１４０２と空間的に同一位置の領域である。ブロックマッチングでは、領域１４０４を囲む探索範囲１４０５を設定し、この探索範囲の画素信号から対象ブロック１４０２の画素信号との絶対値誤差和が最小となる領域１４０６を検出する。領域１４０６の画素信号が予測信号となり、領域１４０４から領域１４０６への変位量が動きベクトルとして検出される。ＩＴＵＨ．２６４では、画像の局所的な特徴の変化に対応するため、動きベクトルを符号化するブロックサイズが異なる複数の予測タイプを用意している。ＩＴＵＨ．２６４の予測タイプについては、例えば特許文献２に記載されている。

また、動画像データの圧縮符号化では、各フレームの符号化順序は任意でよい。そのため、再生済み画面を参照して予測信号を生成する画面間予測にも、符号化順序について３種類の手法がある。第１の手法は、再生順で過去の再生済み画面を参照して予測信号を生成する前方向予測、第２の手法は、再生順で未来の再生済み画面を参照して後方向予測、第３の手法は、前方向予測と後方向予測を共に行い、２つの予測信号を平均化する双方向予測である。画面間予測の種類については、例えば特許文献３に記載されている。
米国特許公報第６７６５９６４号明細書米国特許公報第７００３０３５号明細書米国特許公報第６２５９７３９号明細書

従来技術では、符号化による歪（例えば量子化雑音）を含む再生画素値をコピーすることにより各画素の予測信号を生成するため、予測信号も符号化歪を含むことになる。このように符号化歪により汚された予測信号は、残差信号の符号量増加や再生画質劣化など符号化効率を低下させる要因となる。

符号化歪の影響は予測信号の平滑化にて抑制可能であるが、平滑化の対象となる複数の候補予測信号を指示するための付加情報が必要となり、情報量が多くなる。

そこで、本発明では、情報量を多くすることなく複数の候補予測信号を選択する画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラムを提供することを目的とする。

上述の課題を解決するために、本発明の画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された前記複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、前記予測信号生成手段により生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された前記残差信号を符号化する符号化手段と、を備え、前記予測信号生成手段は、前記対象画素信号からなる対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、少なくとも前記予測隣接領域の位置を示す座標情報を用いて、前記探索した複数の予測隣接領域から１つ以上の予測隣接領域を選択し、前記選択した予測隣接領域に基づいて、前記対象画素信号の候補予測信号を複数生成し、前記候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する構成を備えている。

この発明によれば、対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、少なくとも予測隣接領域の位置を示す座標情報を用いて、探索した複数の予測隣接領域から１つ以上の予測隣接領域を選択し、選択した予測隣接領域に基づいて、対象画素信号の候補予測信号を複数生成し、候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成することができる。これにより、対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域を用いて、情報量を多くすることなく平滑化に適した候補予測信号の組み合わせを、多様性をもたせて選択できるので、効率良く局所的な雑音特性を考慮した予測信号を生成することができ、効率的な符号化を行うことができる。

また、本発明の画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された前記複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、前記予測信号生成手段により生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された前記残差信号を符号化する符号化手段と、を備え、前記予測信号生成手段は、前記対象画素信号からなる対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、選択する予測隣接領域の数が２つ以上となるように設定し、少なくとも前記予測隣接領域の位置を示す座標情報を用いて、前記探索領域から前記設定した数の予測隣接領域を選択し、前記選択した予測隣接領域に基づいて前記対象画素信号の候補予測信号を前記設定した数だけ生成し、前記候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する構成を備えている。

この発明によれば、対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、選択する予測隣接領域の数が２つ以上となるように設定し、少なくとも予測隣接領域の位置を示す座標情報を用いて、探索領域から設定した数の予測隣接領域を選択し、選択した予測隣接領域に基づいて対象画素信号の候補予測信号を設定した数だけ生成し、候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成することができる。これにより、対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域を用いて、情報量を多くすることなく平滑化に適した候補予測信号の組み合わせを、多様性をもたせて選択できるので、効率良く局所的な雑音特性を考慮した予測信号を生成することができ、効率的な符号化を行うことができる。

また、本発明の画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された前記複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、前記予測信号生成手段により生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された前記残差信号を符号化する符号化手段と、を備え、前記予測信号生成手段は、前記対象画素信号からなる対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、少なくとも前記予測隣接領域の位置を示す座標情報を用いて、異なる数の予測隣接領域を含む予測隣接領域の組み合わせを２つ以上生成し、前記組み合わせに属する予測隣接領域の画素信号を予め定めた合成方法を用いて加工することにより、前記隣接画素信号に対する比較信号をそれぞれ生成し、前記比較信号と前記隣接画素信号との相関が高い予測隣接領域の組み合わせを前記生成した予測隣接領域の組み合わせの中から選択し、前記選択された組み合わせに属する予測隣接領域に基づいて、前記対象画素信号の候補予測信号を複数生成し、該候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する構成を備えている。

この発明によれば、対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、少なくとも予測隣接領域の位置を示す座標情報を用いて、異なる数の予測隣接領域を含む予測隣接領域の組み合わせを２つ以上生成し、組み合わせに属する予測隣接領域の画素信号を予め定めた合成方法を用いて加工することにより、隣接画素信号に対する比較信号をそれぞれ生成し、比較信号と隣接画素信号との相関が高い予測隣接領域の組み合わせを選択し、選択された組み合わせに属する予測隣接領域に基づいて、対象画素信号の候補予測信号を複数生成し、候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成することができる。これにより、対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域を用いて、情報量を多くすることなく平滑化に適した候補予測信号の組み合わせを、多様性をもたせて選択できるので、効率良く局所的な雑音特性を考慮した予測信号を生成することができ、効率的な符号化を行うことができる。

また、本発明の画像予測符号化装置において、前記予測信号生成手段は、時間または空間のいずれかあるいは時空間の位置情報を含んだ座標情報を用いて予測隣接領域を選択することが好ましい。

また、この発明によれば、時間または空間のいずれかあるいは時空間の位置情報を含んだ座標情報を用いて予測隣接領域を選択することができ、情報量を多くすることなく平滑化に適した候補予測信号の組み合わせを、多様性をもたせて選択できる。

また、本発明の画像予測符号化装置において、前記予測信号生成手段は、予測隣接領域が属する参照画像の識別番号を含んだ座標情報を用いて処理することが好ましい。

また、この発明によれば、予測隣接領域が属する参照画像の識別番号を含んだ座標情報を用いて処理することができ、情報量を多くすることなく平滑化に適した候補予測信号の組み合わせを、多様性をもたせて選択できる。

また、本発明の画像予測符号化装置において、前記予測信号生成手段は、予測隣接領域が属する参照画像上の空間位置情報を含んだ座標情報を用いて予測隣接領域を選択することが好ましい。

この発明によれば、予測隣接領域が属する参照画像上の空間位置情報を含んだ座標情報を用いて予測隣接領域を選択することができ、情報量を多くすることなく平滑化に適した候補予測信号の組み合わせを、多様性をもたせて選択できる。

また、本発明の画像予測符号化装置において、前記予測信号生成手段は、前記対象領域と前記予測隣接領域との間の空間的な位置関係を示す動きベクトルを含んだ座標情報を用いて予測隣接領域を選択することが好ましい。

この発明によれば、予測隣接領域の動きベクトルを含んだ座標情報を用いて予測隣接領域を選択することができ、情報量を多くすることなく平滑化に適した候補予測信号の組み合わせを、多様性をもたせて選択できる。

また、本発明の画像予測復号装置は、圧縮データ内の処理対象である対象領域に関する残差信号の符号化データを復号するデータ復号手段と、前記データ復号手段により復号されて得られた信号から再生残差信号を復元する残差信号復元手段と、前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、前記予測信号生成手段により生成された予測信号と前記残差信号復元手段にて復元された再生残差信号とを加算することによって、再生画像信号を生成する再生画像信号生成手段と、を備え、前記予測信号生成手段は、前記対象画素信号からなる対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、前記探索した複数の予測隣接領域のうち２つ以上の前記予測隣接領域の位置を示す座標情報を用いて、前記探索した複数の予測隣接領域から１つ以上の予測隣接領域を選択し、前記選択した予測隣接領域に基づいて、前記対象画素信号の候補予測信号を複数生成し、前記候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する構成を備えている。

この発明によれば、対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、２つ以上の予測隣接領域の位置を示す座標情報を用いて、探索した複数の予測隣接領域から１つ以上の予測隣接領域を選択し、選択した予測隣接領域に基づいて、対象画素信号の候補予測信号を複数生成し、候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成することができる。これにより、対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域を用いて、情報量を多くすることなく平滑化に適した候補予測信号の組み合わせを、多様性をもたせて選択できるので、効率良く局所的な雑音特性を考慮した予測信号を生成することができる。よって、このように生成された予測信号により効率的に符号化された符号化データを復号することができる。

また、本発明の画像予測復号装置は、圧縮データの処理対象である対象領域に関する残差信号の符号化データを復号するデータ復号手段と、前記データ復号手段により復号されて得られた信号から再生残差信号を復元する残差信号復元手段と、前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、前記予測信号生成手段により生成された予測信号と前記残差信号復元手段にて復元された再生残差信号とを加算することによって、再生画像信号を生成する再生画像信号生成手段と、を備え、前記予測信号生成手段は、前記対象画素信号に隣接する既再生の隣接画素信号からなる対象隣接領域に対して、上記対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、選択する予測隣接領域の数が２つ以上となるように設定し、少なくとも前記予測隣接領域の位置を示す座標情報を用いて、前記探索領域のあらゆる位置から前記設定した数の予測隣接領域を選択し、前記選択した予測隣接領域に基づいて、前記対象画素信号の候補予測信号を前記選択した数だけ生成し、前記候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する構成を備えている。

この発明によれば、対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、選択する予測隣接領域の数が２つ以上となるように設定し、少なくとも予測隣接領域の位置を示す座標情報を用いて、探索領域から設定した数の予測隣接領域を選択し、選択した予測隣接領域に基づいて対象画素信号の候補予測信号を設定した数だけ生成し、候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成することができる。これにより、対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域を用いて、情報量を多くすることなく平滑化に適した候補予測信号の組み合わせを、多様性をもたせて選択できるので、効率良く局所的な雑音特性を考慮した予測信号を生成することができる。よって、このように生成された予測信号により効率的に符号化された符号化データを復号することができる。

また、本発明の画像予測復号装置は、圧縮データ内の処理対象である対象領域に関する残差信号の符号化データを復号するデータ復号手段と、前記データ復号手段により復号されて得られた信号から再生残差信号を復元する残差信号復元手段と、前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、前記予測信号生成手段により生成された予測信号と前記残差信号復元手段にて復元された再生残差信号とを加算することによって、再生画像信号を生成する再生画像信号生成手段と、を備え、前記予測信号生成手段は、前記対象画素信号に隣接する既再生の隣接画素信号からなる対象隣接領域に対して、上記対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、選択する予測隣接領域の数を設定し、少なくとも前記予測隣接領域の位置を表す座標情報を用いて、異なる数の予測隣接領域を含む予測隣接領域の組み合わせを２つ以上生成し、前記組み合わせに属する予測隣接領域の画素信号を予め定めた合成方法を用いて加工することにより、前記隣接画素信号に対する比較信号をそれぞれ生成し、該比較信号と前記隣接画素信号との相関が高い組み合わせを前記生成した予測隣接領域の組み合わせの中から選択し、前記選択された組み合わせに属する予測隣接領域に基づいて、前記対象画素信号の候補予測信号を複数生成し、該候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する構成を備えている。

この発明によれば、対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、少なくとも予測隣接領域の位置を示す座標情報を用いて、異なる数の予測隣接領域を含む予測隣接領域の組み合わせを２つ以上生成し、組み合わせに属する予測隣接領域の画素信号を予め定めた合成方法を用いて加工することにより、隣接画素信号に対する比較信号をそれぞれ生成し、比較信号と隣接画素信号との相関が高い予測隣接領域の組み合わせを選択し、選択された組み合わせに属する予測隣接領域に基づいて、対象画素信号の候補予測信号を複数生成し、候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成することができる。これにより、対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域を用いて、情報量を多くすることなく平滑化に適した候補予測信号の組み合わせを、多様性をもたせて選択できるので、効率良く局所的な雑音特性を考慮した予測信号を生成することができる。よって、このように生成された予測信号により効率的に符号化された符号化データを復号することができる。

また、本発明の画像予測復号装置において、前記予測信号生成手段は、時間または空間のいずれかあるいは時空間の位置を含んだ座標情報を用いて予測隣接領域を選択することが好ましい。

また、本発明の画像予測復号装置において、前記予測信号生成手段は、予測隣接領域が属する参照画像の識別番号を含んだ座標情報を用いて予測隣接領域を選択することが好ましい。

また、本発明の画像予測復号装置において、前記予測信号生成手段は、予測隣接領域が属する参照画像上の空間位置を含んだ座標情報を用いて予測隣接領域を選択することが好ましい。

また、本発明の画像予測復号装置において、前記予測信号生成手段は、前記対象領域と前記予測隣接領域との間の空間的な位置関係を示す動きベクトルを含んだ座標情報を用いて予測隣接領域を選択することが好ましい。

ところで、本発明は、上記のように画像予測符号化装置または画像予測復号装置の発明として記述できる他に、以下のように、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、画像予測復号プログラムの発明としても記述することができる。これらはカテゴリーが異なるだけで、実質的に同一の発明であり、同様の作用・効果を奏する。

すなわち、本発明の画像予測符号化方法は、入力画像を複数の領域に分割する領域分割ステップと、前記領域分割ステップにより分割された前記複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、前記予測信号生成ステップにより生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成ステップと、前記残差信号生成ステップにより生成された前記残差信号を符号化する符号化ステップと、を備え、前記予測信号生成ステップは、前記対象画素信号からなる対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、少なくとも前記予測隣接領域の位置を示す座標情報を用いて、前記探索した複数の予測隣接領域から１つ以上の予測隣接領域を選択し、前記選択した予測隣接領域に基づいて、前記対象画素信号の候補予測信号を複数生成し、前記候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する構成を備えている。

また、本発明の画像予測復号方法は、圧縮データ内にある処理対象である対象領域に関する残差信号の符号化データを復号するデータ復号ステップと、前記データ復号ステップにより復号されて得られた信号から再生残差信号を復元する残差信号復元ステップと、前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、前記予測信号生成ステップにより生成された予測信号と前記残差信号復元ステップにて復元された再生残差信号とを加算することによって、再生画像信号を生成する再生画像信号生成ステップと、を備え、前記予測信号生成ステップは、前記対象画素信号からなる対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、前記探索した複数の予測隣接領域のうち２つ以上の前記予測隣接領域の位置を示す座標情報を用いて、前記探索した複数の予測隣接領域から１つ以上の予測隣接領域を選択し、前記選択した予測隣接領域に基づいて、前記対象画素信号の候補予測信号を複数生成し、前記候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する構成を備えている。

また、本発明の画像予測符号化プログラムは、入力画像を複数の領域に分割する領域分割モジュールと、前記領域分割モジュールにより分割された前記複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成モジュールと、前記予測信号生成モジュールにより生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成モジュールと、前記残差信号生成モジュールにより生成された前記残差信号を符号化する符号化モジュールと、を備え、前記予測信号生成モジュールは、前記対象画素信号からなる対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、少なくとも前記予測隣接領域の位置を示す座標情報を用いて、前記探索した複数の予測隣接領域から１つ以上の予測隣接領域を選択し、前記選択した予測隣接領域に基づいて、前記対象画素信号の候補予測信号を複数生成し、前記候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する構成を備えている。

また、本発明の画像予測復号プログラムは、圧縮データ内にある処理対象である対象領域に関する残差信号の符号化データを復号するデータ復号モジュールと、前記データ復号モジュールにより復号されて得られた信号から再生残差信号を復元する残差信号復元モジュールと、前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成モジュールと、前記予測信号生成モジュールにより生成された予測信号と前記残差信号復元モジュールにて復元された再生残差信号とを加算することによって、再生画像信号を生成する再生画像信号生成モジュールと、を備え、前記予測信号生成モジュールは、前記対象画素信号からなる対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、前記探索した複数の予測隣接領域のうち２つ以上の前記予測隣接領域の位置を示す座標情報を用いて、前記探索した複数の予測隣接領域から１つ以上の予測隣接領域を選択し、前記選択した予測隣接領域に基づいて、前記対象画素信号の候補予測信号を複数生成し、前記候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する構成を備えている。

本発明によれば、対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域を用いて、情報量を多くすることなく平滑化に適した候補予測信号の組み合わせを、多様性をもたせて選択できるので、効率良く局所的な雑音特性を考慮した予測信号を生成することができる。

本発明は、一実施形態のために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
＜第１の実施形態＞

図１は、本発明の実施形態による画像予測符号化方法を実行することができる画像予測符号化装置１００を示すブロック図である。この画像予測符号化装置１００は、入力端子１０１、ブロック分割器１０２（領域分割手段）、予測信号生成器１０３（予測信号生成手段）、フレームメモリ１０４、減算器１０５（残差信号生成手段）、変換器１０６（符号化手段）、量子化器１０７（符号化手段）、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、および出力端子１１２を含んで構成されている。変換器１０６と量子化器１０７とは符号化手段として機能する。

以上のように構成された画像予測符号化装置１００について、以下その構成について説明する。

入力端子１０１は、複数枚の画像からなる動画像の信号を入力する端子である。

ブロック分割器１０２は、入力端子１０１から入力された動画像の信号であって、符号化の対象となる画像を複数の領域に分割する。本発明による実施形態では、８ｘ８の画素からなるブロックに分割するが、それ以外のブロックの大きさまたは形に分割してもよい。

予測信号生成器１０３は、符号化処理の対象となる対象領域（対象ブロック）に対して予測信号を生成する部分である。この予測信号生成器１０３の具体的な処理については後述する。

減算器１０５は、ラインＬ１０２を経由して入力されたブロック分割器１０２で分割されて得られた対象領域で示される画素信号から、ラインＬ１０３を経由して入力された予測信号生成器１０３にて生成された予測信号を減算して、残差信号を生成する部分である。減算器１０５は、減算して得た残差信号を、ラインＬ１０５を経由して変換器１０６に出力する。

変換器１０６は、減算して得られた残差信号を離散コサイン変換する部分である。また、量子化器１０７は、変換器１０６により離散コサイン変換された変換係数を量子化する部分である。エントロピー符号化器１１１は、量子化器１０７により量子化された変換係数を圧縮符号化し、圧縮符号化された圧縮データを、ラインＬ１１１を経由で出力する。出力端子１１２は、エントロピー符号化器１１１から入力した情報である圧縮データを外部に出力する。

逆量子化器１０８は、量子化された変換係数を逆量子化し、逆変換器１０９は逆離散コサイン変換し、符号化された残差信号を復元する。加算器１１０は、復元された残差信号とラインＬ１０３から送られた予測信号とを加算し、対象ブロックの信号を再生して、再生画像信号を得て、この再生画像信号をフレームメモリ１０４に記憶する。本実施形態では変換器１０６と逆変換器１０９とを用いているが、これらの変換器に代わるほかの変換処理を用いてもよく、変換器１０６と逆変換器１０９とは必ずしも必須ではない。このように、後続の対象領域に対する画面内予測もしくは画面間予測を行うために、圧縮された対象領域の画素信号は逆処理にて復元され、フレームメモリ１０４に記憶される。

つぎに、予測信号生成器１０３について説明する。予測信号生成器１０３は、符号化処理の対象となる対象領域（以下、対象ブロックと称する）に対する予測信号を生成する部分である。本実施形態では、３種類の予測方法が用いられる。すなわち、予測信号生成器１０３は、後述する画面間予測方法と画面内予測方法との少なくともいずれか一方あるいは両方を用いて予測信号を生成する。

本実施形態における予測信号生成器１０３の処理について説明する。図２は、本実施形態による画像予測符号化装置１００に用いられる予測信号生成器１０３を示すブロック図であり、テンプレートマッチング器２０１と座標情報用メモリ２０２と候補予測信号の組み合わせ決定器２０３と予測領域取得器２０４と重み付け器２０５と加算器２０６とを含んで構成されている。

テンプレートマッチング器２０１では、ラインＬ１０４経由でフレームメモリ１０４から過去の処理で既に再生された画像信号（再生画像信号）が入力され、対象領域の対象画素信号に対する予測信号の候補（候補予測信号）を後述するテンプレートマッチングにより複数探索し、探索した候補予測信号にアクセスするための座標情報をラインＬ２０１a経由で座標情報用メモリ２０２に出力する。同時に、対象領域と各候補予測信号との間の関係を示す差分値データ（後述する絶対誤差値の和（ＳＡＤ（sumof absolute difference）に相当）をラインＬ２０１ｂ経由で候補予測信号の組み合わせ決定器２０３に出力する。

候補予測信号の組み合わせ決定器２０３では、ラインＬ２０１ｂ経由で入力された差分値データを利用して、候補予測信号の組み合わせを複数設定する。そして、ラインＬ２０２ａ経由で座標情報用メモリ２０２から入力される座標情報に従ってラインＬ１０４経由でフレームメモリから入力される画素信号を用いて、候補予測信号の組み合わせを決定し、候補予測信号の組み合わせ情報としてラインＬ２０３経由で予測領域取得器２０４に出力する。

予測領域取得器２０４は、ラインＬ２０３経由で入力された候補予測信号の組み合わせ情報に従って、この組み合わせに属する候補予測信号の座標情報をラインＬ２０２ｂ経由で取得する。そして、予測領域取得器２０４は、ラインＬ１０４経由でフレームメモリ１０４から、取得した座標情報に対応する候補予測信号を取得し、随時重み付け器２０５に出力する。重み付け器２０５は、ラインＬ２０４経由で入力された各候補予測信号に重み係数を掛け、ラインＬ２０５経由で加算器２０６に出力する。加算器２０６は重み付けされた候補予測信号を順次加算し、予測信号としてラインＬ１０３経由で図１の減算器１０５に出力する。なお、重み付け器の動作については、例えば、候補予測信号の数がＮのとき１／Ｎを各候補予測信号に掛ける手法などがあるが、他の手法でもよい。

さらに、テンプレートマッチング器２０１、候補予測信号の組み合わせ決定器２０３、予測領域取得器２０４の各構成について詳細に説明する。まず、テンプレートマッチング器２０１における処理内容について説明する。テンプレートマッチング器２０１は、ラインＬ１０４経由でフレームメモリ１０４に記憶されている再生画像信号にアクセスし、マッチング処理を行なう。ここで、このマッチング処理について説明する。図３と図４は、本発明の実施形態によるテンプレートマッチング処理を説明するための模式図である。ここでは対象ブロック４０２に対する候補予測信号を生成する処理について説明する。

まず、対象ブロックに対し予め決められた方法で「対象隣接領域」（テンプレートともいう）と「探索領域」とを設定する。図３では、対象ブロック４０２に接しており、それより前に再生され同じ画面内にある再生画像の一部（全部でもよい）が探索領域４０１として設定されている。ここでは、対象ブロック４０２を、８ｘ８の画素からなる符号化対象ブロックを分割した４ｘ４画素の小ブロックとしているが、それ以外のブロックの大きさまたは形に分割してもよいし、分割しなくてもよい。

さらに、図４では、対象ブロック４０２と異なる画面４１１で示される再生画像の一部が探索領域４１７として設定されている。また、対象ブロック４０２と異なる複数の画面にそれぞれ探索領域を設けても良い。「対象隣接領域」としては対象ブロック４０２に隣接する既再生の画素群（逆Ｌ文字の領域）４０３を用いる。なお、本実施形態では、２つの画面（図３と図４）内に探索領域を設定しているが、対象ブロックと同じ画面内のみに設定しても良いし（図３）、対象ブロックと異なる画面内のみに設定しても良い（図４）。

図３に示すように探索領域４０１と対象ブロック４０２とは接する必要はなく、探索領域４０１は対象ブロック４０２と全く接していなくてもよい。また、図４に示すように対象ブロックと異なる一の画面（画面４１１のみ）において探索領域を設定することに限る必要はなく、対象ブロックと異なる複数の画面（参照画像、再生済みであれば表示順で未来のフレームを含んでも良い）にそれぞれ探索領域を設定してもよい。

また、対象隣接領域４０３については、対象ブロック４０２と少なくとも１画素でも接していればよい。ここでは、対象隣接領域の形状は、逆Ｌ文字としているが、これに限定されない。よって、対象隣接領域は対象ブロック４０２の周囲の再生済み画素で構成されていれば、形と画素数は予め定めておけば任意でよく、シーケンス単位あるいはフレーム単位やブロック単位でテンプレートの形状とサイズ（画素数）を符号化してもよい。

テンプレートマッチング器２０１は、探索領域４０１と探索領域４１７あるいはいずれか一方の探索領域において、対象隣接領域４０３と同じ形状を有する画素群との間で、対応する画素間の絶対誤差値の和（ＳＡＤ値）を求め、ＳＡＤ値が小さいＭ個の領域を検索し、それらを「予測隣接領域」とする。検索精度は整数画素単位でもよいし、１／２画素、１／４画素等の小数精度の画素を生成し、小数画素精度で探索を行なってもよい。Ｍの値は予め設定しておけば任意の値でよい。図３および図４に示すように、Ｍ＝６であり、予測隣接領域４０４ａ、４０４ｂ、４０４ｃ、４１４a、４１４ｂおよび４１４ｃが探索されている。また、探索する予測隣接領域の数を決めずにＳＡＤ値がある閾値より小さい領域を探索してＭの値を決めても良いし、閾値より小さい領域の数と設定した数から小さい方をＭの値としてもよい。このとき閾値は、ＳＡＤ値そのものに対してではなく、最小のＳＡＤ値と２番目以降のＳＡＤ値との差分値に対して適用してもよい。後者では、テンプレートマッチング器２０１は、最小のＳＡＤ値が大きい場合でも閾値を変更せずに多くの予測隣接領域を検索できる。Ｍの上限値や閾値は、予め設定しておいても良いが、シーケンス単位あるいはフレーム単位やブロック単位で適切な値を符号化してもよい。

予測隣接領域４０４ａ、４０４ｂ、４０４ｃ、４１４a、４１４ｂおよび４１４ｃに接している領域４０５ａ、４０５ｂ、４０５ｃ、４１５a、４１５ｂおよび４１５ｃが対象ブロック４０２に対する予測領域に決定され、予測領域内の画素信号が候補予測信号に決定される。なお、ここでは、予測隣接領域と候補予測信号を示す予測領域との位置関係は、対象領域と対象隣接領域と同じ関係にあるが、そうでなくてもよい。本実施形態では、各予測隣接領域（および予測領域）をフレームメモリ１０４から取得するためのアクセス情報として、対象隣接領域（および対象領域）と予測隣接領域（および予測領域）との間の差分座標４０６ａ、４０６ｂ、４０６ｃ、４１６a、４１６ｂおよび４１６ｃと各予測隣接領域（および予測領域）が属する画面（参照画像）の識別番号が座標情報として座標情報用メモリ２０２に記憶される。

以上の通りの動作を行うためのテンプレートマッチング器２０１の構成について説明する。テンプレートマッチング器２０１は、対象隣接領域取得器２１１と予測隣接領域取得器２１２と比較器２１３とスイッチ２１４とを含んで構成される。まず、対象隣接領域取得器２１１は、フレームメモリ１０４からラインＬ１０４を経由して対象隣接領域４０３を取得する。

予測隣接領域取得器２１２は、ラインＬ１０４を経由してフレームメモリ１０４内の探索領域から対象隣接領域と同じ形状の領域の画素信号を取得し、ラインＬ２１１経由で対象隣接領域取得器２１１から得られる対象隣接領域の画素信号（隣接画素信号）と間でＳＡＤ値を算出する。比較器２１３は、算出したＳＡＤ値を、ラインＬ２１２ｂ経由で入力し、これまで取得されたＳＡＤ値のうちでＭ番目に小さいＳＡＤ値と比較する。そして、比較器２１３が入力されたＳＡＤ値の方が小さいと判断する場合には、比較器２１３は、そのＭ番目以内に入ったＳＡＤ値を一時的に記憶し、Ｍ＋１番目となったＳＡＤ値を消去する。なお、比較器２１３は、処理開始時にはＳＡＤ値の初期値として通常のＳＡＤ値と比較して十分大きな値を初期値として設定する。

この処理を行うとともに、予測隣接領域取得器２１２は、予測隣接領域（および予測領域）にアクセスするための情報として、比較器２１３によるスイッチ２１４に対する制御によりラインＬ２１２ａ経由で座標情報を座標情報用メモリ２０２に出力する。この際、ＳＡＤ値がＭ＋１番目となった座標情報は不要となるため、座標情報用メモリ２０２において上書きされて記憶されても良い。予測隣接領域取得器２１２による探索領域内を探索が終了したとき、比較器２１３は、一時的に記憶したＭ個のＳＡＤ値をラインＬ２０１ｂを経由して、候補予測信号の組み合わせ決定器２０３に出力する。

つぎに、候補予測信号の組み合わせ決定器２０３の動作を説明する。候補予測信号の組み合わせ決定器２０３は、組み合わせ設定器２３１、予測隣接領域取得器２３２、対象隣接領域取得器２３３、重み付け器２３４、加算器２３５、および比較・選択器２３６を含んで構成される。

組み合わせ設定器２３１は、ラインＬ２０１ｂを経由して入力されたＭ個のＳＡＤ値に基づいて、複数の予測隣接領域の組み合わせを設定する。予測隣接領域の組み合わせ決定器２０３における処理を図６における説明で詳述するように、入力されたＳＡＤ値の小さいＮ個の予測隣接領域を１つの組み合わせとして設定する。Ｎの値は、Ｍより小さい２の乗数であり、Ｍ＝６のとき、Ｎ＝１、２、４となる３つの組み合わせを作る。

このように、本発明の候補予測信号の組み合わせ処理を利用することにより、各対象ブロックに適切な候補予測信号の平滑化の強さ、つまり平均化する予測候補信号の数を決定することが可能となる。言い換えれば、隣接画素信号との間の絶対誤差値である差分ＳＡＤ値が小さいＮ個の予測隣接領域の画素信号を平均化した対象信号と隣接画素信号との間の差分ＳＡＤ値が最も小さいＮを定めることにより、探索したＭ個の候補予測信号から、予測信号の生成に適した候補予測信号を付加情報なしで選別できる。なお、Ｎの値を２の乗数としているのは、信号の平均化処理を加算とシフト演算のみにて行なうことを考慮したためである。

また、Ｍ値とＮ値およびＮ個の予測信号領域の組み合わせは、これに限定されない。１つの組み合わせに含まれる予測隣接領域の数は１〜Ｍ個から任意に設定できる。例えば、Ｍより小さいＮ個の予測隣接領域にて構成される組み合わせを作る場合、Ｍ個からＮ個を選び全ての組み合わせを設定することも可能である。この際、Ｎの値は固定でもよいし、１〜Ｍの間で２個以上を選択して組み合わせを設定しもよい。但し、符号化器である画像予測符号化装置１００と復号器である後述する画像予測復号装置３００にて同じ予測隣接領域の組み合わせを自動選択させるためには、両者の組み合わせの設定方法を一致させておく必要がある。

予測隣接領域取得器２３２は、予測隣接領域の組み合わせ情報がラインＬ２３１ａ経由で１つ入力されると、その組み合わせに含まれる予測隣接領域に対する座標情報をラインＬ２０２ａ経由で座標情報用メモリ２０２から取得する。そして、予測隣接領域取得器２３２は、座標情報に対応する予測隣接領域の画素信号をラインＬ１０４経由で取得し、随時重み付け器２３４に出力する。

重み付け器２３４は、ラインＬ２３２経由で入力された各予測隣接領域の画素信号に重み係数を掛け、ラインＬ２３４経由で加算器２３５に出力する。

加算器２３５は、重み付けされた予測隣接領域の画素信号を累積加算して積算することで、対象隣接領域の画素信号（隣接画素信号）と比較するための比較信号を生成し、生成された比較信号をラインＬ２３５経由で比較・選択器２３６に出力する。なお、重み付け器２３４の動作については、例えば、予測隣接領域の数がＮのとき１／Ｎを各予測隣接領域の画素信号に掛ける手法などがあるが、他の手法でもよい。例えば、Ｎ個の予測隣接領域の画素信号と隣接画素信号の差分値（絶対誤差和、二乗誤差和、分散など）を計算し、その比率に基づいて各予測隣接領域への重み付け係数を決める方法が考えられる。

ここで、重み付け器２０５と重み付け器２３４の重み付け方法を同じにすることにより、予測隣接領域を用いて、候補予測信号（予測領域の画素信号）の適切な組み合わせが推測できる。予測隣接領域は符号化器と復号器が共有できるため、本手法を用いた復号器であり、後述する画像予測復号装置３００は、符号化器である画像予測符号化装置１００にて選択した候補予測信号の組み合わせを付加情報なしで取得できるという効果がある。なお、重み付け器２０５と重み付け器２３４の重み付け方法は必ずしも同じとする必要はない。例えば、演算量削減のためには、重み付け器２３４には単純な重み付け処理を適用し、重み付け器２０５に、局所的な信号の特徴に応じた適応的な重み付け処理を適用するという方法も有効である。

対象隣接領域取得器２３３は、フレームメモリ１０４からラインＬ１０４を経由して対象隣接領域の画素信号（隣接画素信号）を取得し、比較・選択器２３６に出力する。

比較・選択器２３６は、複数の予測隣接領域の組み合わせに対応する比較信号と隣接画素信号と間でＳＡＤ値を算出し、その値が最小となる対象隣接領域の組み合わせを、候補予測信号の組み合わせとして選択する。選択された候補予測信号の組み合わせは、候補予測信号の組み合わせ情報としてラインＬ２０３経由で予測領域取得器２０４に出力される。

このように、本実施形態によれば、対象ブロック毎に、付加情報なしで、複数の候補予測信号から予測信号生成に有効な候補予測信号の組み合わせを選択することが可能となる。

図５は、本実施形態によるテンプレートマッチング器２０１にて、対象領域（対象ブロック）に画素信号（対象画素信号）に対する複数（Ｍ個）の候補予測信号を探索し、探索した候補予測信号にアクセスするための座標情報を取得する方法を示すフローチャートである。まず、対象隣接領域取得器２１１では、対象ブロックに対する対象隣接領域（テンプレート信号）がフレームメモリ１０４から取得される（Ｓ５０２）。

つぎに、テンプレートマッチング器２０１は、Ｍ個の候補予測信号を選択するための閾値を十分大きな値に初期化する（Ｓ５０３）。予測隣接領域取得器２１２では、対象隣接領域と探索領域内の対象隣接領域と同じ形状の画素群と差分絶対値和（ＳＡＤ）が求められる（Ｓ５０４）。テンプレートマッチング器２０１内の比較器２１３によりＳＡＤと閾値とが比較され（Ｓ５０５）、ＳＡＤ値が閾値より小さいと判断された場合、Ｓ５０６に進み、そうでないと判断された場合、Ｓ５０８に進む。

テンプレートマッチング器２０１内の比較器２１３では、求めたＳＡＤ値と、以前のＳＡＤ値と比較し、求めたＳＡＤ値が小さい順でＭ番までに含まれるとき、探索した画素群を候補予測信号（および予測隣接領域の画素信号）に追加し、候補信号を更新する。本実施形態では、候補予測信号（および予測隣接領域の画素信号）のかわりに、候補予測信号（および予測隣接領域の画素信号）にアクセスするための時空間の座標情報（空間位置と探索した画素群が含まれる画面の識別番号）を、スイッチ２１４による切換制御に基づいて座標情報用メモリ２０２に記憶することにより、座標情報を更新する（Ｓ５０６）。同時に、テンプレートマッチング器２０１は、閾値をＭ番目に小さいＳＡＤ値に更新する（Ｓ５０７）。

その後、予測隣接領域取得器２１２により、探索領域が全て探索済みであるか否か確認される（Ｓ５０８）。全て探索済みではないと判断された場合、Ｓ５０４に戻り、予測隣接領域取得器２１２により、対象隣接領域と探索領域内の対象隣接領域と同じ形状のつぎの画素群と差分絶対値和（ＳＡＤ）が求められる。

全部探索済みとなった時点で、ひとつの対象ブロックのテンプレートマッチング処理が終了となる（Ｓ５０９）

このようにテンプレートマッチング器２０１による処理により、対象隣接領域における画素信号と相関の高い画素信号を含んだ上位Ｍ個の予測隣接領域を特定することができる。

つぎに、候補予測信号の組み合わせ決定器２０３の処理について図を用いて説明する。図６は、本実施形態による候補予測信号の組み合わせ決定器２０３における、複数の候補予測信号の平滑化（加重平均）にて予測信号の生成に適したＮ個の候補予測信号の組み合わせを選択する方法を示すフローチャートである。まず、組み合わせ決定器２０３の組み合わせ設定器２３１は、候補予測信号の数Ｎを１に設定する（Ｓ６０２）。つぎに、対象隣接領域取得器２３３では、対象ブロックに対する対象隣接領域（テンプレート信号）がフレームメモリ１０４から取得される（Ｓ６０３）。

そして、予測隣接領域取得器２３２にて、組み合わせ設定器２３１により設定された組み合わせに属するＮ個の予測隣接領域が、ラインＬ１０４を経由して取得される。すなわち、予測隣接領域取得器２３２は、対象ブロックの画素信号と当該対象ブロックに対する対象隣接領域の隣接画素信号との差分値であるＳＡＤ値が小さいＮ個の予測隣接領域に対応する座標情報を座標情報用メモリ２０２から取得する。そして、取得した座標情報に対応するＮ個の予測隣接領域をフレームメモリ１０４から取得する（Ｓ６０４）。

その後、重み付け器２３４と加算器２３５とにおいて、Ｎ個の予測隣接領域の画素信号の平均化（加重平均でもよい）により比較信号を生成し（Ｓ６０５）、比較・選択器２３６にて、生成した比較信号と隣接画素信号との差分値であるＳＡＤ値を算出する（Ｓ６０６）。同時に、比較・選択器２３６では、算出したＳＡＤ値をそれまでの最小のＳＡＤ値と比較し（Ｓ６０７）、ＳＡＤ値が最小値と判断された場合、Ｓ６０８に進み、そうでないと判断された場合、Ｓ６０９に進む。なお、Ｓ６０７では、算出したＳＡＤ値とそれまでの最小のＳＡＤ値が同じ場合には、Ｓ６０９に進むが、Ｓ６０８に進むようにしてもよい。

算出したＳＡＤ値が、それまでの最小のＳＡＤ値である場合、比較・選択器２３６にて、Ｓ６０４にて取得した座標情報の組み合わせを記憶する（Ｓ６０８）。

ここで、組み合わせ決定器２０３は、Ｎの値を２倍に更新する（Ｓ６０９）。そして、更新したＮとＭの大きさを比較し（Ｓ６１０）、更新したＮの値がＭより小さい場合、Ｓ６０４に戻り、更新したＮの値がＭより大きい場合、Ｓ６０８にて記憶した座標情報の組み合わせを候補予測信号の組み合わせとして決定し、候補予測信号の組み合わせ選択処理を終了する（Ｓ６１１）。

このように、本実施形態の候補予測信号の組み合わせ処理を利用することにより、各対象ブロックに適切な候補予測信号の平滑化の強さ、つまり平均化する予測候補信号の数を決定することが可能となる。言い換えれば、隣接画素信号との間の差分値であるＳＡＤ値が小さいＮ個の予測隣接領域の画素信号を平均化した対象信号と隣接画素信号との間の差分ＳＡＤ値が最も小さいＮを定めることにより、探索したＭ個の候補予測信号から、予測信号の生成に適した候補予測信号を付加情報なしで選別できる。

なお、Ｎの値を２の乗数としているのは、信号の平均化処理を加算とシフト演算のみにて行なうことを考慮したためである。本実施形態においては、Ｎの値は２の乗数に限定されることはない。また、複数の予測隣接領域の組み合わせを設定する方法は、図６の方法には限定されない。１つの組み合わせに含まれる予測隣接領域の数は１〜Ｍ個から任意に設定できる。例えば、Ｍより小さいＮ個の予測隣接領域にて構成される組み合わせを作る場合、Ｍ個からＮ個を選ぶ、全ての組み合わせを設定することも可能である。この際、Ｎの値は固定でもよいし、１〜Ｍの間で２個以上を選択して組み合わせを設定しもよい。また、符号化器と復号器にて同じ予測隣接領域の組み合わせを自動選択させるためには、両者の組み合わせの設定方法を一致させておく必要がある。

図７は、本実施形態による複数候補予測信号の平滑化（加重平均）にて予測信号の生成方法を示すフローチャートである。

予測領域取得器２０４では、選択された座標情報に従って、フレームメモリ１０４から対象ブロックに対応する候補予測信号を１つ以上取得する（Ｓ７０２）。そして、重み付け器２０５と加算器２０６とにおいて、取得した候補予測信号を重み付け平均することにより、対象ブロックの予測信号が生成される（Ｓ７０３）。これで、ひとつの対象ブロックに対する処理が終了となる（Ｓ７０４）。

図８は、本実施形態による画像予測符号化装置１００における画像予測符号化方法を示すフローチャートである。まず、図２の予測信号生成器１０３にて、対象ブロックの予測信号を生成する（Ｓ１０２）。つぎに、対象ブロックの信号と対象ブロックの予測信号との差分を示す残差信号が、変換器１０６、量子化器１０７、およびエントロピー符号化器１１１により符号化される（Ｓ１０３）。そして、符号化された残差信号が出力端子１１２を介して出力される（Ｓ１０５）。

その後、後続の対象ブロックを予測符号化するために、符号化された残差信号は逆量子化器１０８および逆変換器１０９により復号される。そして、復号された残差信号に加算器１１０により予測信号が加算され、対象ブロックの信号が再生され、フレームメモリ１０４に参照画像として記憶される（Ｓ１０６）。そして、全ての対象ブロックの処理が完了していない場合にはＳ１０２に戻り、つぎの対象ブロックに対する処理が行われ、完了している場合には、処理を終了する（Ｓ１０７）。

以上説明したとおり、本実施形態の画像予測符号化装置１００においては、付加情報を用いることなく複数の予測信号を用いて平滑化した予測信号とすることができる。

つぎに、本実施形態における画像予測復号方法について説明する。図９は、本実施形態による画像予測復号装置３００を示すブロック図である。この画像予測復号装置３００は、入力端子３０１、エントロピー復号器３０２（データ復号手段）、逆量子化器３０３（残差信号復元手段）、逆変換器３０４（残差信号復元手段）、加算器３０５（再生画像信号生成手段）、出力端子３０６、フレームメモリ３０７、予測信号生成器３０８（予測信号生成手段）である。逆量子化器３０３と逆変換器３０４による残差信号復元手段は、それ以外のものを用いてもよい。また逆変換器３０４はなくてもよい。以下、各構成について説明する。

入力端子３０１は、上述した画像予測符号化方法で圧縮符号化された圧縮データを入力する。この圧縮データには、画像を複数のブロックに分割された対象ブロックを予測し符号化された残差信号が含まれている。

エントロピー復号器３０２は、入力端子３０１で入力した圧縮データをエントロピー復号することにより、対象ブロックの残差信号の符号化データを復号する。

逆量子化器３０３は、復号された対象ブロックの残差信号をラインＬ３０２経由で入力し、逆量子化する。逆変換器３０４は、逆量子化したデータを逆離散コサイン変換する。逆量子化器３０３および逆変換器３０４は、それぞれ逆量子化、逆離散コサイン変換して得た信号を差分信号（再生残差信号）として出力する。

予測信号生成器３０８は、基本的に図２に示した構成と同じ構成またはそれに相当する機能を持ち、図２の予測信号生成器１０３と同一の処理により予測信号を生成する。予測信号生成器３０８は、フレームメモリ３０７に記憶されている再生済み信号のみから予測信号を生成するため、フレームメモリ３０７と図１におけるフレームメモリ１０４への入力データを同じ方法で管理することにより、図１の予測信号生成器１０３と同じ予測信号が生成できる。この予測信号生成器３０８の構成の詳細については、図２にて説明済みのため割愛する。このように動作する予測信号生成器３０８は、生成した予測信号をラインＬ３０８経由で加算器３０５に出力する。

加算器３０５は、予測信号生成器３０８で生成された予測信号を、逆量子化器３０３および逆変換器３０４により復元された差分信号（再生残差信号）に加算して、対象ブロックの再生画像信号をラインＬ３０５経由で出力端子３０６およびフレームメモリ３０７に出力する。そして、出力端子３０６は、外部に（例えばディスプレイ）出力する。

フレームメモリ３０７は、つぎの復号処理のための参照用の再生画像として、加算器３０５から出力された再生画像を参照画像として記憶する。この際、図１の画像予測符号化装置１００と同様の方法で再生画像を管理する。

つぎに、図１０を用いて本実施形態による画像予測復号装置３００における画像予測復号方法を説明する。まず、入力端子３０１を介して、圧縮された圧縮データは入力される（Ｓ３０２）。そして、エントロピー復号器３０２において、圧縮データに対しエントロピー復号が行われ、量子化された変換係数が抽出される（Ｓ３０３）。ここで予測信号生成器３０８にて予測信号が生成される（Ｓ３０４）。Ｓ３０４の処理は、基本的に図８の処理Ｓ１０２と同じであり、図５〜７の処理が実施される。

一方、量子化された変換係数は、逆量子化器３０３において量子化パラメータを用いて逆量子化され、逆変換器３０４において逆変換が行われ、再生差分信号が生成される（Ｓ３０５）。そして、生成された予測信号と再生差分信号とが加算され再生信号が生成され、再生信号はつぎの対象ブロックを再生するためにフレームメモリに記憶される（Ｓ３０６）。つぎの圧縮データがある場合には、再度このプロセスを繰り返し（Ｓ３０７）、全てのデータは最後まで処理される（Ｓ３０８）。なお、必要に応じてＳ３０２に戻り、圧縮データを取り込むようにしても良い。

本実施形態における画像予測符号化方法および画像予測復号方法を、プログラムとして記録媒体に記憶して提供することもできる。記録媒体としては、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。

図１１は、画像予測符号化方法を実行することができるプログラムのモジュールを示すブロック図である。画像予測符号化プログラムＰ１００は、ブロック分割モジュールＰ１０２、予測信号生成モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０、エントロピー符号化モジュールＰ１１１を含んで構成されている。なお、予測信号生成モジュールＰ１０３は、図１２に示すように、テンプレートマッチングモジュールＰ２０１、候補予測信号の組み合わせ決定モジュールＰ２０２および予測信号合成モジュールＰ２０３を含んで構成されている。

上記各モジュールが実行されることにより実現される機能は、上述した画像予測符号化装置１００の各構成要素と同じである。すなわち、画像予測符号化プログラムＰ１００の各モジュールの機能は、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１の機能と同様であり、予測信号生成モジュールＰ１０３の各モジュールの機能は、テンプレートマッチング器２０１、候補予測信号の組み合わせ決定器２０３、信号合成のための予測領域取得器２０４〜加算器２０６の機能と同様である。

また、図１３は、画像予測復号方法を実行することができるプログラムのモジュールを示すブロック図である。画像予測復号プログラムＰ３００は、エントロピー復号モジュールＰ３０２、逆量子化モジュールＰ３０３、逆変換モジュールＰ３０４、加算モジュールＰ３０５、記憶モジュールＰ３０７、予測信号生成モジュールＰ３０８を含んで構成されている。

上記各モジュールが実行されることにより実現される機能は、上述した画像予測復号装置３００の各構成要素と同じである。すなわち、画像予測復号プログラムＰ３００の各モジュールの機能は、エントロピー復号器３０２、逆量子化器３０３、逆変換器３０４、加算器３０５、フレームメモリ３０７の機能と同様である。なお、予測信号生成モジュールＰ３０８は、画像予測符号化プログラムＰ１００における予測信号生成モジュールＰ１０３と同等の機能を有するものであって、テンプレートマッチング器２０１、候補予測信号の組み合わせ決定器２０３、信号合成のための予測領域取得器２０４〜加算器２０６の機能を備えている。

このように構成された画像予測符号化プログラムＰ１００または画像予測復号プログラムＰ３００は、記録媒体１０に記憶され、後述するコンピュータで実行される。

図１６は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１７は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。コンピュータとして、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。

図１６に示すように、コンピュータ３０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０およびキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に記憶された画像予測符号化プログラムＰ１００または画像予測復号プログラムＰ３００にアクセス可能になり、画像予測符号化プログラムＰ１００または画像予測復号プログラムＰ３００によって、本実施形態の画像予測符号化装置１００または画像予測復号装置３００として動作することが可能になる。

図１７に示すように、画像予測符号化プログラムＰ１００もしくは画像予測復号プログラムＰ３００は、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した画像予測符号化プログラムＰ１００もしくは画像予測復号プログラムＰ３００をメモリ１６に記憶し、当該画像予測符号化プログラムＰ１００もしくは画像予測復号プログラムＰ３００を実行することができる。

ここまで説明した本実施形態は、以下のように変形してもよい。図２の候補予測信号組み合わせ決定器２０３では、対象ブロックの対象隣接領域の画素信号と複数の隣接予測領域の画素信号とを加重平均した対象信号との間の差分値であるＳＡＤ値（絶対誤差値の和）を計算して、最適な候補予測信号の組み合わせを決定しているが、ＳＡＤ値ではなく、差分信号の二乗誤差の和（ＳＳＤ）や分散（ＶＡＲ）を用いても組み合わせの決定は可能である。３つの評価基準はＳＡＤ、ＳＳＤ、ＶＡＲの順で演算量は増加するが、その一方で、評価の精度は向上し、誤差信号の符号量を少なくできるという効果が見込まれる。

また、対象隣接信号と対象信号の差分値であるＳＡＤ値が同じ値となる組み合わせが複数得られたときに、ＳＳＤやＶＡＲを用いて最終的な組み合わせを決定するという方法も有効である。すなわち、比較・選択器２３６は、予測隣接領域取得器２３２において算出されたＳＡＤ値が、これまで算出した最小値と一致していた場合には、さらに、ＳＳＤまたはＶＡＲを比較対象として、いずれの値のものが小さいか比較する。ここでＳＳＤまたはＶＡＲが小さいと判断された組み合わせが比較・選択器２３６に最小値を有する組み合わせとして記憶されることになる。この場合、比較・選択器２３６は、ＳＳＤまたはＶＡＲをＳＡＤとともに算出することになり、一時的に記憶しておくことになる。

さらに、隣接予測領域の画素信号ではなく、複数の候補予測信号の組み合わせについて、その分散を計算し、組み合わせの決定に用いる方法も可能である。具体的には、図２の予測隣接領域取得器２３２、重み付け器２３４、加算器２３５は、それぞれ、予測領域取得器２０４、重み付け器２０５、加算器２０６に置き換えることにより実現できる。この変形例は、対象隣接領域取得器２３３の処理が不要であり、また、比較・選択器２３６から図１の減算器１０５に予測信号を出力することが可能となるため、回路規模が削減できるという効果がある。

テンプレートマッチング器２０１の比較器２１３においても、対象ブロックの対象隣接領域と探索された対象隣接領域と同じ形状の画素群の評価に差分値であるＳＡＤ値を用いているが、ＳＳＤやＶＡＲを替えてもよく、上記の候補予測信号組み合わせ決定器２０３のケースと同様の効果が期待できる。

図１の予測信号生成器１０３は、図２の構成に限定されない。例えば、図２では、テンプレートマッチング器にて検索した複数の候補予測信号について、その信号にアクセスするための座標情報を座標情報用メモリ２０２に記憶しているが、候補予測信号と予測隣接領域の画素信号とを記憶しておく構成でも良い。図２内のメモリ量は増加するが、フレームメモリ１０４へのアクセスを減らす効果がある。また、テンプレートマッチング器２０１は、対象隣接領域とＭ個の予測隣接領域との間の差分値であるＳＡＤ値をラインＬ２０１ｂ経由で候補予測信号の組み合わせ決定器２０３に出力しているが、組み合わせの設定に、これらの差分値であるＳＡＤ値を用いない場合には、ラインＬ２０１ｂは不要である。

本実施形態では、対象隣接領域を再生済み画素で構成しているが、隣接ブロックの予測信号で構成しても良い。誤差信号の符号化ブロック単位より、予測領域を小さくしたい場合や、符号化・復号処理を行なわずに対象隣接領域の信号を生成したい場合には有効である。

本実施形態は、テンプレートマッチングにて、確定しない数の候補信号を探索し、適切な数の候補信号を選択する手法に適用できる。

つぎに、本実施形態の画像予測符号化装置１００および画像予測復号装置３００の作用効果について説明する。

本実施形態の画像予測符号化装置１００において、テンプレートマッチング器２０１は、対象画素信号からなる対象領域（対象ブロック）４０２に隣接する既再生の隣接画素信号からなる対象隣接領域４０３との相関が高い複数の予測隣接領域４０４ａ〜４０４ｃ、４１４ａ〜４１４ｃを、既再生画像からなる探索領域４０１および４１７から探索する。候補予測信号の組み合わせ決定器２０３における組み合わせ設定器２３１は、探索した複数の予測隣接領域４０４ａ〜４０４ｃ、４１４ａ〜４１４ｃを少なくとも１つ含む、任意の予測隣接領域の組み合わせを２つ以上導出する。そして、予測隣接領域取得器２３２は、導出された予測隣接領域の画素信号を抽出し、重み付け器２３４および加算器２３５は、抽出された画素信号を予め定めた合成方法を用いて、例えば平均化することで加工することにより、組み合わせ毎に隣接画素信号に対する比較信号をそれぞれ生成する。そして、比較・選択器２３６は、重み付け器２３４等により生成された比較信号と対象隣接領域取得器２３３により取得された隣接画素信号との相関が高い組み合わせを選択する。予測領域取得器２０４は、選択された組み合わせに属する予測隣接領域に基づいて、対象画素信号の候補予測信号を１つ以上生成し、重み付け器２０５および加算器２０６は、候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する。このように生成された予測信号をブロック分割器１０２を介して取得された対象画素信号から減算器１０５が減算して残差信号を生成し、変換器１０６、量子化器１０７、およびエントロピー符号化器１１１は生成された残差信号を符号化する。

これにより、対象ブロックに隣接する既再生の隣接画素信号からなる対象隣接領域を用いて、情報量を多くすることなく平滑化に適した候補予測信号の組み合わせが選択できるので、効率良く局所的な雑音特性を考慮した予測信号を生成することができる。

また、本実施形態の画像予測符号化装置１００における比較・選択器２３６は、比較信号と隣接画素信号との差分の絶対値和であるＳＡＤ値が小さい組み合わせを選択することにより、より平滑化に適した候補予測信号の組み合わせを選択することができる。

また、本実施形態の画像予測符号化装置１００における重み付け器２３４および加算器２３５は、組み合わせ設定器２３１において設定された組み合わせに属する予測隣接領域の画素信号を重み付け平均することにより比較信号を生成することで、より平滑化に適した候補予測信号の組み合わせを選択するにあたっての適切な比較信号を生成することができる。

また、本実施形態の画像予測符号化装置１００における組み合わせ設定器２３１が設定する予測隣接領域の組み合わせが、対象隣接領域との相関が高い順に２のn乗個の予測隣接領域を含むようにしたことにより、加算とシフト演算のみで行うことができ、実装上簡易な構成をとることができる。ここで、ｎの値が０以上の整数であることが好ましい。

また、本実施形態の画像予測復号装置３００において、テンプレートマッチング器２０１は、対象画素信号からなる対象領域（対象ブロック）４０２に隣接する既再生の隣接画素信号からなる対象隣接領域４０３との相関が高い複数の予測隣接領域４０４ａ〜４０４ｃ、４１４ａ〜４１４ｃを、既再生画像からなる探索領域４０１および４１７から探索する。候補予測信号の組み合わせ決定器２０３における組み合わせ設定器２３１は、探索した複数の予測隣接領域４０４ａ〜４０４ｃ、４１４ａ〜４１４ｃを少なくとも１つ含む、任意の予測隣接領域の組み合わせを２つ以上導出する。そして、予測隣接領域取得器２３２は、導出された予測隣接領域の画素信号を抽出し、重み付け器２３４および加算器２３５は、抽出された画素信号を予め定めた合成方法を用いて、例えば平均化することで加工することにより、組み合わせ毎に隣接画素信号に対する比較信号をそれぞれ生成する。そして、比較・選択器２３６は、重み付け器２３４等により生成された比較信号と対象隣接領域取得器２３３により取得された隣接画素信号との相関が高い組み合わせを選択する。予測領域取得器２０４は、選択された組み合わせに属する予測隣接領域に基づいて、対象画素信号の候補予測信号を１つ以上生成し、重み付け器２０５および加算器２０６は、候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する。

そして、入力端子３０１を介して入力した圧縮データからエントロピー復号器３０２、逆量子化器３０３、逆変換器３０４が差分信号を復元し、加算器３０５は、上述した通りに生成された予測信号と復元した差分信号とを加算して、再生画像信号を生成する。

また、本実施形態の画像予測復号装置３００における比較・選択器２３６は、比較信号と隣接画素信号との差分の絶対値和であるＳＡＤ値が小さい組み合わせを選択することにより、より平滑化に適した候補予測信号の組み合わせを選択することができる。

また、本実施形態の画像予測復号装置３００における重み付け器２３４および加算器２３５は、組み合わせ設定器２３１において設定された組み合わせに属する予測隣接領域の画素信号を重み付け平均することにより比較信号を生成することで、より平滑化に適した候補予測信号の組み合わせを選択するにあたっての適切な比較信号を生成することができる。

また、本実施形態の画像予測復号装置３００における組み合わせ設定器２３１が設定する予測隣接領域の組み合わせが、対象隣接領域との相関が高い順に２のｎ乗個の予測隣接領域を含むようにしたことにより、加算とシフト演算のみで行うことができ、実装上簡易な構成をとることができる。ここで、ｎの値が０以上の整数であることが好ましい。

また、本実施形態の画像予測符号化プログラムＰ１００において、テンプレートマッチングモジュールＰ２０１は、対象画素信号からなる対象領域（対象ブロック）４０２に隣接する既再生の隣接画素信号からなる対象隣接領域４０３との相関が高い複数の予測隣接領域４０４ａ〜４０４ｃ、４１４ａ〜４１４ｃを、既再生画像からなる探索領域４０１および４１７から探索する。候補予測信号の組み合わせ決定モジュールＰ２０２は、探索した複数の予測隣接領域４０４ａ〜４０４ｃ、４１４ａ〜４１４ｃを少なくとも１つ含む、任意の予測隣接領域の組み合わせを２つ以上導出する。そして、候補予測信号の組み合わせ決定モジュールＰ２０２は、導出された予測隣接領域の画素信号を抽出し、抽出された画素信号を予め定めた合成方法を用いて、例えば平均化することで加工することにより、組み合わせ毎に隣接画素信号に対する比較信号をそれぞれ生成する。そして、予測信号合成モジュールＰ２０３は、生成された比較信号と取得された隣接画素信号との相関が高い組み合わせを選択する。候補予測信号の組み合わせ決定モジュールＰ２０２は、選択された組み合わせに属する予測隣接領域に基づいて、対象画素信号の候補予測信号を１つ以上生成し、候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する。このように生成された予測信号をブロック分割モジュールＰ１０２を介して取得された対象画素信号から減算モジュールＰ１０５が減算して残差信号を生成し、変換モジュールＰ１０６、量子化モジュールＰ１０７、およびエントロピー符号化モジュールＰ１１１は生成された残差信号を符号化する。

また、本実施形態の画像予測復号プログラムＰ３００において、テンプレートマッチングモジュールＰ２０１は、対象画素信号からなる対象領域（対象ブロック）４０２に隣接する既再生の隣接画素信号からなる対象隣接領域４０３との相関が高い複数の予測隣接領域４０４ａ〜４０４ｃ、４１４ａ〜４１４ｃを、既再生画像からなる探索領域４０１および４１７から探索する。予測信号合成モジュールＰ２０３は、探索した複数の予測隣接領域４０４ａ〜４０４ｃ、４１４ａ〜４１４ｃを少なくとも１つ含む、任意の予測隣接領域の組み合わせを２つ以上導出する。そして、予測信号合成モジュールＰ２０３は、導出された予測隣接領域の画素信号を抽出し、抽出された画素信号を予め定めた合成方法を用いて、例えば平均化することで加工することにより、組み合わせ毎に隣接画素信号に対する比較信号をそれぞれ生成する。そして、予測信号合成モジュールＰ２０３は、生成された比較信号と取得された隣接画素信号との相関が高い組み合わせを選択する。予測信号合成モジュールＰ２０３は、選択された組み合わせに属する予測隣接領域に基づいて、対象画素信号の候補予測信号を１つ以上生成し、予測信号合成モジュールＰ２０３は、候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する。

そして、入力した圧縮データからエントロピー復号モジュールＰ３０２、逆量子化モジュールＰ３０３、逆変換モジュールＰ３０４が差分信号を復元し、加算モジュールＰ３０５は、上述した通りに生成された予測信号と復元した差分信号とを加算して、再生画像信号を生成する。

＜第２の実施形態＞

つぎに、候補予測信号の組み合わせ決定器２０３（図２参照）ならびに候補予測信号の組み合わせ決定方法（図６参照）に関して、平滑化する候補予測信号に多様性を持たせることを可能とする別の実施形態を示す。これらの実施形態は、候補予測信号の組み合わせ決定器２０３（図２参照）と候補予測信号の組み合わせ決定方法（図６参照）以外の部分は、第１の実施形態の予測信号生成器１０３と同じ構成であるため、説明を割愛する。なお、本実施形態にかかる発明は画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化方法を実行することができるプログラム、ならびに記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成に適用できる。また、図２と図６とにおいて同じ番号で示される機能あるいは方法についても、上記と同じ動作ならびに処理であるため、以下では説明を割愛する。また、本実施形態は上述の画像予測符号化装置１００または画像予測復号装置３００に適用できるものである。

図１８は、第２の実施形態の予測信号生成器１０３ａの構成を示すブロック図である。この予測信号生成器１０３ａは、テンプレートマッチング器２０１と座標情報用メモリ２０２と候補予測信号の組み合わせ決定器２０３ｂと予測領域取得器２０４と重み付け器２０５と加算器２０６とを含んで構成されている。上述第1の実施形態における予測信号生成器１０３とは、候補予測信号の組み合わせ決定器２０３ｂの構成が異なる。すなわち、図２における候補予測信号の組み合わせ決定器２０３では、Ｌ２０１ｂを経由して入力されるＭ個のＳＡＤ値（対象隣接領域とＭ個の各予測隣接領域との間の絶対値誤差和）を用いて、予測隣接領域の組み合わせを設定しているが、図１８における候補予測信号の組み合わせ決定器２０３ｂでは、Ｌ２０１ｂを経由して入力されるＭ個のＳＡＤ値と、Ｌ２０２ｃを経由して入力される予測隣接領域の座標情報とを用いて、予測隣接領域の組み合わせを設定している。

より具体的には、図１８における組み合わせ設定器２３７の構成が、図２の組み合わせ設定器２３１の構成と異なっており、さらに、図１８の候補予測信号の組み合わせ決定器２０３ｂは、図２における候補予測信号の組み合わせ決定器２０３の構成に加えて予測隣接領域数の設定器２３０を含んで構成されている。

予測隣接領域数の設定器２３０は、テンプレートマッチング器２０１にて探索された予測隣接領域の数Ｍから、平滑化する予測隣接領域の数の候補を定める部分である。すなわち、予測隣接領域数の設定器２３０は、ラインＬ２０１ｂ経由で、テンプレートマッチング器２０１にて探索した予測隣接領域の数Ｍを入力する。そして、予測隣接領域数の設定器２３０は、Ｍ値より小さい２の乗数Ｎを１つ以上算出し、ラインＬ２３０経由で、順次、Ｎの値を変えて組み合わせ設定器２３７に出力する。例えば、Ｍが６の場合には、Ｎ＝１、２、４を出力し、Ｍが３０の場合には、Ｎ＝１、２、４、８、１６を出力する。

組み合わせ設定器２３７は、ラインＬ２３０経由で入力されるＮ値と、ラインＬ２０１ｂ経由で入力されるＭ個のＳＡＤ値と、ラインＬ２０２ｃ経由で入力されるＭ個の予測隣接領域の座標情報を用いて、Ｎ個の予測隣接領域を選択する部分である。そして、選択情報（選択した予測隣接領域を識別できる情報）を予測隣接領域の組み合わせ情報として、ラインＬ２３７経由で予測隣接領域取得器２３２に順次、Ｎ個の予測隣接領域の組み合わせを変えて複数出力する。

このように候補予測信号の組み合わせ決定器２０３ｂにおいては、異なるＮ値に対する予測隣接領域の組み合わせ情報を組み合わせ設定器２３７が生成し、図２に説明した手順にて１つの組み合わせ情報を選択する。

図１９は、組み合わせ設定器２３７の詳細な構成を示すブロック図である。この組み合わせ設定器２３７は、評価対象の予測隣接領域の決定器２８１、カウンター２８２、参照画像の評価器２８３および動きベクトルの評価器２８４を含んで構成されている。組み合わせ設定器２３７は、入力値Ｎに対して、テンプレートマッチング器２０１にて探索されたＭ個の予測隣接領域の座標情報を用いて、Ｎ個の予測隣接領域を選択し、選択情報を予測隣接領域の組み合わせ情報として出力する。なお、この実施形態では、座標情報、つまり参照画像の識別番号（参照画像番号）と、対象隣接領域と予測隣接領域との間の画面内における空間的な差分座標（以降、動きベクトルと呼ぶ）を用いて、Ｎ個の予測隣接領域から成る予測隣接領域の組み合わせを選択するとが、選択に用いるデータは、参照画像番号と動きベクトルには限定されない。この座標情報は、各候補予測信号の生成に関わり、かつ予測隣接領域を一意に定める情報であればよく、予測隣接領域にアクセスするための情報であればよい。例えば、予測隣接領域の画素信号を用いて、予め定めた複数の予測方法から１つの予測方法を決定するような場合には、選択に用いるデータに予測方法を含めてもよい。

評価対象の予測隣接領域の決定器２８１は、テンプレートマッチング器２０１にて探索したＭ個の予測隣接領域からＮ個の予測隣接領域を選択する前に、選択の対象とする予測隣接領域の数をＲ個に制限する部分である。このＲ値は、後述するとおりＭ個の予測隣接領域のうち所定の閾値以上のＳＡＤのものを計数することにより定められる数値である。このＲ値の決定は、Ｍ値に対してＮ値が非常に小さい場合に、対象隣接領域との間のＳＡＤ値が大きい予測隣接領域を選択しないようにする効果がある。

評価対象の予測隣接領域の決定器２８１には、ラインＬ２０１ｂ経由でテンプレートマッチング器２０１にて探索されたＭ個の予測隣接領域に対応するＭ個のＳＡＤ値（対象隣接領域とＭ個の予測隣接領域との間の差分データ）が入力され、同時にラインＬ２３０経由で選択すべき予測隣接領域の数Ｎが入力される。評価対象の予測隣接領域の決定器２８１は、入力されたＮ値に対して予め定められている閾値とＭ個のＳＡＤ値とを比較し、閾値より小さいＳＡＤ値の数を計数する。そして、このように計数された閾値より小さいＳＡＤ値の数を、評価対象の予測隣接領域の数Ｒとして、ラインＬ２８１経由で、カウンター２８２に出力する。但し、Ｒ値がＮ値より小さいまたは同じ場合には、予測隣接領域の選択は不要であるため、評価対象の予測隣接領域の決定器２８１はその情報をＮ個（Ｒ個）の予測隣接領域の組み合わせ情報としてラインＬ２３７経由で予測隣接領域取得器２３２に出力する。なお、上記で示したように、Ｒ値の決定は、Ｍ値に対してＮ値が小さすぎる場合に、対象隣接領域との差が大きい予測隣接領域を選択しないようにする効果がある。そのため、この条件を満たせば、Ｒ値の決定には閾値以外の手段を用いてもよい。例えば、２×Ｎ値とＭ値を比較し、小さい方をＲ値として出力してもよいし、閾値処理にて決定したＲ値が２×Ｎ値より大きい場合には、Ｒ値を２×Ｎ値に制限するようにしてもよい。また、閾値は予め定めておくのではなく、符号化するようにしてもよい。

カウンター２８２に、ラインＬ２８１経由で入力した評価対象の予測隣接領域の数Ｒ値が入力されると、カウンター２８２は、カウンター値Ｐを１からＲまで１刻みで更新しながら、ラインＬ２８２ａとラインＬ２８２ｂ経由で参照画像の評価器２８３と動きベクトルの評価器２８４とに出力する。

参照画像の評価器２８３では、Ｒ個の参照画像番号から、その多様性を考慮して、Ｎ個の参照画像番号を選択する部分である。この参照画像の評価器２８３は、まず、ラインＬ２８２ａ経由でＰ値が入力されると、対象隣接領域との間のＳＡＤ値がＰ番目に小さい予測隣接領域にアクセスするための参照画像番号をラインＬ２０２ｃ経由で座標情報用メモリ２０２から取得する。Ｒ個の参照画像番号を取得したのち、参照画像の評価器２８３は、探索領域内の各参照画像に含まれる予測隣接領域の数Ｒｅｆ［ｉ］（ｉ＝１，２，…,Ｆ；ｉは参照画像番号，Ｆはテンプレートマッチング器２０１にて探索対象とする参照画像の数）を確認する。つぎに、参照画像の評価器２８３は、対象隣接領域との間のＳＡＤ値が最も小さい予測隣接領域が属する参照画像番号ｉを初期値として、以下の動作を実施する。
１）参照画像番号ｉを選択する。
２）予測隣接領域の数Ｒｅｆ[ｉ]の値を１ずつ減らす。予測隣接領域の数Ｒｅｆ[ｉ]が０となった参照画像番号は選択対象から除外する。
３）参照画像番号ｉを１増やす。ｉがＦのときｉを１にリセットする。
この動作を、Ｎ個の参照画像を選択するまで巡回的に繰り返す。選択したＮ個の参照画像番号は、ラインＬ２８３経由で動きベクトルの評価器２８４に出力する。

例えば、図２６に示す、参照画像４５０と予測隣接領域の数Ｒｅｆ［ｉ］との関係を示す概念図においては、参照画像毎に予測隣接領域が形成されている。参照画像番号が１については、その予測隣接領域４０４ｉは３つ形成されていることが示されており、この場合Ｒｅｆ［１］＝３となる。上述処理１）−処理３）を繰り返すことにより、Ｒｅｆ［ｉ］値が上位Ｎ個までの参照画像番号が取得されることになる。

なお、参照画像の選択方法は、予測隣接領域の多様性を確保できれば良いので、識別番号をカウントアップする方法には限定されない。例えば、参照画像番号ｉに対応するＲｅｆ[ｉ]の比率Ｒｅｆ[ｉ]／Ｒを考慮して、参照画像を選択してもよい。また、符号化対象画像に対する参照画像の位置（過去、未来、現在）を考慮し、予め定めた比率で選ぶようにしてもよい。

動きベクトルの評価器２８４は、参照画像の評価器２８３からＮ個の参照画像番号が入力されると、動きベクトルの多様性を考慮しながら、Ｒ個の動きベクトルからＮ個の動きベクトルを選択する部分である。このＲ個の動きベクトルは、上述したＲ個の予測隣接領域に対応したものである。動きベクトルの評価器２８４は、Ｐ値がラインＬ２８２ｂ経由で入力されると、対象隣接領域との間のＳＡＤ値がＰ番目に小さい予測隣接領域にアクセスするための参照画像番号と動きベクトル情報をラインＬ２０２ｃ経由で取得する。Ｒ個の動きベクトルを取得したのち、動きベクトルの評価器２８４は、参照画像毎に、対象隣接領域との間のＳＡＤ値が最も小さい予測隣接領域に対応する動きベクトルＳＭＶ［ｉ］を確認する。つぎに、動きベクトルの評価器２８４は、ラインＬ２８３経由で入力されたＮ個の参照画像番号に対して、動きベクトルを対応づける。具体的には、
４）Ｒ個の動きベクトルを参照画像番号別に分類し、それぞれ、選択すべき動きベクトルの数ＮｕｍＭＶ［ｉ］を算出する。
５）つぎに、ＮｕｍＭＶ［ｉ］が１より大きい参照画像番号ｉのＳＭＶ［ｉ］を選択する。
６）そして、各参照画像番号ｉについて、ＳＭＶ［ｉ］との絶対値差分和が大きい順に“ＮｕｍＭＶ[ｉ]−１”個の動きベクトルを選択する。
このように選択した動きベクトルと参照画像番号との組に対応するＮ個の予測隣接領域の情報を、予測隣接領域の組み合わせ情報としてラインＬ２３７経由で予測隣接領域取得器２３２に出力する。

この動きベクトルに関する処理４）〜６）の処理概念について、図２７に示す。図２７によると、各参照画像には複数の予測隣接領域が存在しており、それに対応して動きベクトルも存在している。例えば、図２７の例では、参照画像番号１には、動きベクトルＭＶ１およびＭＶ２が存在していることにしている。この場合、ＮｕｍＭＶ［１］＝２となる。また、例えば動きベクトルＭＶ１がＭＶ２より小さい場合、ＳＭＶ［１］として動きベクトルＭＶ１が選択されることになる。
また、動きベクトルの数ＮｕｍＭＶ［３］＝０であるため、処理２）では、参照画像番号３は選択されず、他の参照画像番号１、２、４、５が選択されることになる。

なお、動きベクトルの選択方法は、多様性を確保できれば良いので、上記に示した方法には限定されない。例えば、選択した参照画像ｉの動きベクトルでＳＭＶ［ｉ］を更新することにより、直前に選択した動きベクトルとの絶対値差分和が大きい動きベクトルをつぎに選択するようにしてもよい。

また、図１９に示すように、各予測隣接領域にアクセスするための座標情報（参照画像番号および動きベクトル）を用いることにより、時空間方向に多様性を有する予測隣接領域を選択することが可能となる。なお、上記では、組み合わせ設定器２３７は、Ｒ個の予測隣接領域からＮ個の予測隣接領域を選択しているが、Ｎ個全部を座標情報を用いて選択する必要はない。例えば、Ｎ／２個については対象隣接領域との間のＳＡＤ値が小さい予測隣接領域を選択する方法も考えられ、その場合には予測性能を安定させる効果が見込める。また、ＳＭＶ［ｉ］との動きベクトルの絶対値差分和に制限をかけ、予め定めた閾値より大きい場合は、選択対象から外す手段も予測性能を安定させることがあると考えられる。なお、組み合わせ設定器２３７内の構成は、図１９に限定されない。例えば、Ｒ値をＭ値とする場合や、Ｒ値をＮ値に対して予め設定している場合には、評価対象の予測隣接領域の決定器２８１は必ずしも必要ない。この場合、予測隣接領域の選択は、座標情報、つまり動きパラメータのみで実施できる。

以上説明したように、図１９に示す多様性を考慮して予測隣接領域の組み合わせを選択することができる組み合わせ設定器２３７を、図１８に示す対象隣接領域と予測隣接領域との関係を用いて平滑化する候補予測信号の数を選択することができる候補予測信号の組み合わせ決定器２０３ｂ（予測信号生成器１０３ａ）と併せて用いることにより、時空間の多様性を考慮して、平滑化する候補予測信号の数の選択動作を実施することが可能となる。なお、候補予測信号の組み合わせ決定器２０３ｂ内の構成は、図１８に示される構成に限定されない。例えば、予測隣接領域数の設定器２３０は、組み合わせ設定器２３７に含まれていても良い。

つぎに、図１８と図１９とに示される予測信号生成器１０３ａの動作である、候補予測信号の組み合わせ決定方法について説明する。図２０は、組み合わせ設定器２３７を用いた予測信号生成器１０３ａの動作を示すフローチャートであり、平滑化する候補予測信号に多様性を持たせることを目的とした候補予測信号の組み合わせ決定方法を示したものである。図２０では、図６と異なり、予測隣接領域数の設定器２３０にて、候補予測信号の数Ｎを設定する処理（Ｓ６０２、Ｓ６０９）が実施される。

まず、組み合わせ決定器２０３の組み合わせ設定器２３７は、候補予測信号の数Ｎを１に設定する（Ｓ６０２）。つぎに、対象隣接領域取得器２３３では、対象ブロックに対する対象隣接領域（テンプレート信号）がフレームメモリ１０４から取得される（Ｓ６０３）。

一方、組み合わせ設定器２３７にて、予測隣接領域にアクセスするための座標情報（参照画像番号および動きベクトル）、および対象隣接領域と予測隣接領域との差分ＳＡＤ値を用いてＮ個の予測隣接領域が選択される（Ｓ６０４ａ）。以降の処理については、図６と同じである。

すなわち、予測隣接領域取得器２３２、重み付け器２３４、および加算器２３５において、Ｎ個の予測隣接領域の画素信号を取得し、その平均化（加重平均でもよい）により比較信号を生成し（Ｓ６０５）、比較・選択器２３６にて、生成した比較信号と隣接画素信号との差分値であるＳＡＤ値を算出する（Ｓ６０６）。同時に、比較・選択器２３６では、算出したＳＡＤ値をそれまでの最小のＳＡＤ値と比較し（Ｓ６０７）、ＳＡＤ値が最小値と判断された場合、Ｓ６０８に進み、そうでないと判断された場合、Ｓ６０９に進む。なお、Ｓ６０７では、算出したＳＡＤ値とそれまでの最小のＳＡＤ値が同じ場合には、Ｓ６０９に進むが、Ｓ６０８に進むようにしてもよい。

ここで、組み合わせ設定器２３７は、Ｎ値を２倍に更新する（Ｓ６０９）。そして、更新したＮ値とＭ値との大きさを比較し（Ｓ６１０）、更新したＮ値がＭ値より小さい場合、Ｓ６０４に戻り、更新したＮ値がＭ値より大きい場合、Ｓ６０８にて記憶した座標情報の組み合わせを候補予測信号の組み合わせとして決定し、候補予測信号の組み合わせ選択処理を終了する（Ｓ６１１）

つぎに、上述の処理Ｓ６０４ａの詳細な処理について説明する。図２１は、予測隣接領域の座標情報を用いてＮ個の予測隣接領域を選択するときの組み合わせ設定器２３７の動作を示すフローチャートである。この処理では、入力値Ｎに対して、テンプレートマッチング器２０１にて候補予測信号を探索する処理（図５参照）にて探索したＭ個の予測隣接領域の座標情報を用いて、Ｎ個の予測隣接領域が選択される。

なお、この実施形態における組み合わせ設定器２３７は、座標情報、つまり参照画像番号と動きベクトルとを用いてＮ個の予測隣接領域から成る組み合わせを選択するが、選択に用いるデータは、参照画像番号と動きベクトルとには限定されない。各候補予測信号の生成に関わり、かつ予測隣接領域を用いて一意に定まる情報であれば、選択に用いるデータに含めてもよく、予測隣接領域にアクセスするための情報であればよい。例えば、予め定めた複数の予測方法から、予測隣接領域の信号を用いて、１つの予測方法を決定するような場合には、選択に用いるデータに予測方法を含めてもよい。

まず、評価対象の予測隣接領域の決定器２８１において、テンプレートマッチング器２０１にて探索したＭ個の予測隣接領域からＮ個の予測隣接領域を選択する前に、選択の対象とする予測隣接領域の数をＲ個に設定することで制限する（Ｓ８０２）。このＲ値の設定は、Ｍ値に対してＮ値が非常に小さい場合に、対象隣接領域との間のＳＡＤ値が大きい予測隣接領域を選択しないようにする効果がある。そのため、この条件を満たせば、Ｒ値の決定法には閾値以外の方法を用いてもよい。例えば、２×ＮとＭを比較して、小さい方をＲとして出力してもよいし、閾値処理にて計算したＲが２×Ｎより大きい場合には、Ｒを２×Ｎに制限するようにしてもよい。また、閾値は予め定めておくのではなく、符号化するようにしてもよい。

つぎに、評価対象の予測隣接領域の決定器２８１は、Ｒ値とＮ値とを比較し、Ｒ値がＮ値より小さいまたは同じ場合には、予測隣接領域の選択は不要であるため、予測隣接領域の選択処理を終了する（Ｓ８０３：ＮＯ）。Ｒ値がＮ値より大きい場合には、カウンター２８２は、カウント値Ｐを初期化する（Ｓ８０４）。参照画像の評価器２８３と動きベクトルの評価器２８４とは、対象隣接領域との間のＳＡＤ値がＰ番目に小さい予測隣接領域にアクセスするための参照画像番号と動きベクトルとを座標情報用メモリ２０２から順次取得する（Ｓ８０５）。Ｐ値とＲ値とを比較し（Ｓ８０６）、Ｐ値がＲ値より小さい場合には（Ｓ８０６：ＹＥＳ）、カウント値Ｐに１を加算し（Ｓ８０７）、Ｓ８０５の処理を繰り返す。

Ｐ値がＲ値に達すると（Ｓ８０５：ＮＯ）、参照画像の評価器２８３は、Ｒ個の参照画像番号から、その多様性を考慮して、Ｎ個の参照画像番号を選択する（Ｓ８０８）。具体的には、まず、取得したＲ個の参照画像番号を対象として、探索領域内の各参照画像に含まれる予測隣接領域の数Ｒｅｆ［ｉ］(ｉ＝１，２，…，Ｆ；ｉは参照画像番号，Ｆはテンプレートマッチング器２０１にて探索対象とする参照画像の数)を確認する。つぎに、参照画像の評価器２８３は、対象隣接領域との間のＳＡＤ値が最も小さい予測隣接領域が属する参照画像番号ｉを初期値として、以下の処理を実施する。
１）参照画像番号ｉを選択する。
２）予測隣接領域の数Ｒｅｆ［ｉ］の値を１ずつ減らす。Ｒｅｆ［ｉ］が０となった参照画像番号は選択対象から除外する。
３）参照画像番号ｉを１増やす。ｉがＦのときｉを1にリセットする。
この処理を、Ｎ個の参照画像を選択するまで巡回的に繰り返す。なお、参照画像の選択方法は、多様性を確保できれば良いので、識別番号をカウントアップする方法には限定されない。例えば、参照画像番号ｉに対応する予測隣接領域の数Ｒｅｆ［ｉ］の比率Ｒｅｆ［ｉ］/Ｒを考慮して、参照画像を選択してもよい。また、符号化対象画像に対する参照画像の位置（過去、未来、現在）を考慮し、予め定めた比率で選ぶようにしてもよい。

つぎに、動きベクトルの評価器２８４は、Ｒ個の動きベクトルから、その多様性を考慮して、Ｎ個の動きベクトルを選択する（Ｓ８０９）。具体的には、まず、動きベクトルの評価器２８４は、参照画像毎に、対象隣接領域との間のＳＡＤ値が最も小さい動きベクトルＳＭＶ［ｉ］を確認する。つぎに、動きベクトルの評価器２８４は、Ｓ８０８にて選択したＮ個の参照画像番号に、動きベクトルを対応づける。具体的には、
４）Ｒ個の動きベクトルを参照画像番号別に分類し、それぞれ、選択すべき動きベクトルの数ＮｕｍＭＶ［ｉ］を算出する。
５）ＮｕｍＭＶ［ｉ］が１より大きい参照画像番号ｉのＳＭＶ［ｉ］を選択する。
６）そして、各参照画像番号ｉについて、ＳＭＶ［ｉ］との絶対値差分和が大きい順に“ＮｕｍＭＶ［ｉ］−１”個の動きベクトルを選択する。なお、動きベクトルの選択方法は、多様性を確保できれば良いので、上記に示した方法には限定されない。例えば、選択した参照画像ｉの動きベクトルでＳＭＶ［ｉ］を更新することで、直前に選択した動きベクトルとの絶対値差分和が大きい動きベクトルをつぎに選択するようにしてもよい。

このように対象隣接領域と複数の予測隣接領域との間の差分データに加えて、各予測隣接領域にアクセスするための動きパラメータを用いることにより、時空間方向に多様性を有する予測隣接領域を選択することが可能となる。なお、上記では、Ｒ個からＮ個の予測隣接領域を選択しているが、Ｎ個全部を動きパラメータを用いて選択する必要はない。例えば、Ｎ／２個は、対象隣接領域との間のＳＡＤ値が小さい予測隣接領域を選択する方法も、予測性能を安定させる効果が見込める。また、ＳＭＶ［ｉ］との動きベクトルの絶対値差分和に制限をかけ、予め定めた閾値より大きい場合は、選択対象から外す方法も予測性能を安定させる効果があると考えられる。なお、Ｒ値をＭ値とする場合や、Ｒ値をＮ値に対して予め設定している場合には、処理Ｓ８０３は不要であり、この場合、予測隣接領域の選択処理は、座標情報、つまり動きパラメータのみで実施できる。

また、図２１に示す「多様性を考慮して予測隣接領域の組み合わせを選択する処理」を、図２０に示す「対象隣接領域と予測隣接領域との関係を用いて平滑化する候補予測信号の数を選択する処理」と併せて用いることにより、時空間の多様性を考慮して、平滑化する候補予測信号の数の選択処理を実施することが可能となる。

本実施形態における画像予測符号化方法および画像予測復号方法を、プログラムとして記録媒体に記憶して提供することもできる。記録媒体としては、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。その具体的なモジュール構成は、図１１、図１２および図１３に示すとおりである。なお、ここでは予測信号生成モジュール１０３の機能は、上述予測信号生成器１０３ａに相当するものである。また、組み合わせ設定器２３７に相当する組み合わせ設定もジュールは、図２８に記載のとおりである。図２８は、組み合わせ設定モジュールＰ２３７のモジュール構成を示すブロック図である。この組み合わせ設定モジュールＰ２３７は、評価対象の予測隣接領域の決定モジュール、Ｐ２８１、カウンターモジュールＰ２８２、参照画像の評価モジュールＰ２８３、動きベクトルの評価モジュールＰ２８４から構成されている。これら各モジュールは、図１９に示す組み合わせ設定器２３７における評価対象の予測隣接領域の決定器２８１、カウンター２８２、参照画像の評価器２８３、動きベクトルの評価器２８４と同等の機能を有する。

このように構成された画像予測符号化プログラムＰ１００または画像予測復号プログラムＰ３００は、記録媒体１０に記憶され、上述図１６、図１７で示したコンピュータで実行される。

つぎに、この第２の実施形態における画像予測符号化装置１００および画像予測復号装置３００の作用効果について説明する。

第２の実施形態の画像予測符号化装置１００は、入力画像を複数の領域に分割するブロック分割器１０２と、割された前記複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成器１０３と、生成された予測信号と対象画素信号との残差信号を生成する残差信号生成手段として機能する減算器１０６と、生成された残差信号を符号化する変換器１０６、量子化器１０７およびエントロピー符号化器１１１とを備えている。

そして、予測信号生成器１０３ａにおいて、テンプレートマッチング器２０１が対象画素信号からなる対象領域４０２に隣接する既再生の隣接画素信号からなる対象隣接領域４０３との相関が高い複数の予測隣接領域４０４ａ−４１４ｃを、既再生画像からなる探索領域４０１、４１７から探索する。そして、組み合わせ設定器２３７は、少なくとも予測隣接領域の位置を示す座標情報を用いて、異なる数の予測隣接領域を含む予測隣接領域の組み合わせを２つ以上生成する。

予測隣接領域取得器２３２、重み付け器２３４、および加算器２３５は、組み合わせに属する予測隣接領域の画素信号を予め定めた合成方法を用いて加工することにより、隣接画素信号に対する比較信号をそれぞれ生成する。比較・選択器２３６は、比較信号と隣接画素信号との相関が高い予測隣接領域の組み合わせを選択し、予測領域取得器２０４に出力する。

予測領域取得器２０４は、選択された組み合わせに属する予測隣接領域に基づいて、対象画素信号の候補予測信号を１つ以上生成し、重み付け器２０５、および加算器２０６が候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する。

これにより、平滑化する候補予測信号に多様性を持たせることを可能となり、効率よく局所的な雑音特性を考慮した予測信号を生成することができる。よって、効率的に符号化データを生成することができる。

また、第２の実施形態の画像予測復号装置３００は、圧縮データ内にある処理対象である対象領域に関する残差信号の符号化データを復号するエントロピー復号器３０２と、復号されて得られた信号から再生残差信号を復元する逆量子化器３０３および逆変換器３０４と、対象領域の対象画素信号に対する予測信号を生成する予測信号生成器３０８と、生成された予測信号と復元された再生残差信号とを加算することによって、再生画像信号を生成する加算器３０５とを備えている。

そして、予測信号生成器１０３ａは、対象画素信号からなる対象領域４０１に隣接する既再生の隣接画素信号からなる対象隣接領域４０３との相関が高い複数の予測隣接領域４０４ａ−４１４ｃを、既再生画像からなる探索領域４０１、４１７から探索する。そして、組み合わせ設定器２３７は、少なくとも予測隣接領域の位置を示す座標情報を用いて、異なる数の予測隣接領域を含む予測隣接領域の組み合わせを２つ以上生成する。

これにより、平滑化する候補予測信号に多様性を持たせることを可能となり、効率よく局所的な雑音特性を考慮した予測信号を生成することができる。よって、効率的に符号化された符号化データを復号することができる。

＜第３の実施形態＞
上述のとおり図１８〜図２１では、「多様性を考慮して予測隣接領域の組み合わせを選択する処理」を、「対象隣接領域と予測隣接領域との関係を用いて平滑化する候補予測信号の数を選択する処理」と併せて用いていた。しかしながら、「多様性を考慮して予測隣接領域の組み合わせを選択する処理」は「対象隣接領域と予測隣接領域との関係を用いて平滑化する候補予測信号の数を選択する処理」と組み合わせない処理でも効果がある。以下にその実施形態を説明する。

本実施形態では、平滑化する候補予測信号の数ＦＮを設定してから、「多様性を考慮して予測隣接領域の組み合わせを選択する処理」を利用して、候補予測信号の組み合わせを決定することができる。すなわち、図１９に示した組み合わせ設定器２３７の動作と図２１に示した処理Ｓ６０４ａの処理とが、決められたＦＮ値に対してのみ実施され、組み合わせ設定器２３７によりＭ個の予測隣接領域からＦＮ個の予測隣接領域が選択される。そして、選択されたＦＮ個の予測隣接領域の組み合わせに基づいて、ＦＮ個の候補予測信号の重み付け平均化処理が実施される。

図２２と図２３とは、対象隣接領域と予測隣接領域との関係を用いて平滑化する候補予測信号の数を選択する場合についての実施形態である。以下、第２の実施形態における予測信号生成器１０３ａと、本実施形態の予測信号生成器１０３ｂとの違いについて説明する。なお、当然ながら、本実施形態の予測信号生成器１０３ｂは、第１の実施形態に記載の画像予測符号化装置１００および画像予測復号装置３００に適用できる。

図２２は、第３の実施形態である、候補予測信号の組み合わせ設定器２３７を含んだ予測信号生成器１０３ｂの構成を示すブロック図である。図２２における候補予測信号の組み合わせ決定器２０３ｃでは、図１８における候補予測信号の組み合わせ決定器２０３ｂとは異なり、予測隣接領域数の設定器２３０から、複数の異なるＮ値（Ｎ個の予測隣接領域）が、組み合わせ設定器２３７を介すことなく、直接、予測隣接領域取得器２３２に入力される。

そして、図２にて説明したように、予測隣接領域数の設定器２３０は、Ｎ値を変化させ（つまりＭ値より小さい２の乗数Ｎを変化させて）、予測隣接領域取得器２３２にＮ値を出力し、予測隣接領域取得器２３２、重み付け器２３４および加算器２３５は複数のＮ値（Ｎ個の予測隣接領域）を用いて対象隣接領域とのＳＡＤ値が小さいＮ個の予測隣接領域を重み付け平均化し、比較信号をＮ個の予測隣接領域の組み合わせごとに複数生成する。比較・選択器２３６はこのＮ値が異なる複数の比較信号を対象隣接領域と比較し、差が最も小さいときのＮ値をＦＮ値として決定し、これを組み合わせ設定器２３７に出力する。なお、比較・選択器２３６は、Ｍ値を超えるまでＮ値を変えながら、上述の処理を行い、最小のＳＡＤ値を更新していく。

組み合わせ設定器２３７は、決定されたＦＮ値、ラインＬ２０１ｂ経由で入力されるＭ個のＳＡＤ値、およびラインＬ２０２ｃ経由で入力する予測隣接領域の座標情報を用いて、Ｍ個の予測隣接領域からＦＮ個の予測隣接領域を選択する。すなわち、組み合わせ設定器２３７は、ＦＮ値に対応付けて定められている閾値より小さいＳＡＤ値の数を計数し、その計数した値に基づいてＦＮ個の予測隣接領域を選択する。この詳細な処理は図１９に示したとおりである。

そして、組み合わせ設定器２３７は、予測隣接領域の組み合わせを候補予測信号の組み合わせ情報として、ラインＬ２０３経由で予測領域取得器２０４に出力する。組み合わせ設定器２３７における動作は、上述図１９にて説明したとおりである。

そして、予測領域取得器２０４では、ラインＬ２０３経由で入力された候補予測信号の組み合わせ情報に従って、この組み合わせに属する候補予測信号の座標情報をラインＬ２０２ｂ経由で取得する。そして、予測領域取得器２０４は、ラインＬ１０４経由でフレームメモリ１０４から、取得した座標情報に対応する候補予測信号を取得し、随時重み付け器２０５に出力する。重み付け器２０５は、ラインＬ２０４経由で入力された各候補予測信号に重み係数を掛け、ラインＬ２０５経由で加算器２０６に出力する。加算器２０６は重み付けされた候補予測信号を順次加算し、予測信号としてラインＬ１０３経由で図１の減算器１０５に出力する。

図２３は、第３の実施形態である予測信号生成器１０３ｂによる予測隣接領域を選択するときの処理を示すフローチャートである。この方法では、図６に示す処理と同様に、予測隣接領域数の設定器２３０は、候補予測信号の数Ｎを１に設定し（Ｓ６０２）、対象隣接領域取得器２３３では、対象ブロックに対する対象隣接領域（テンプレート信号）がフレームメモリ１０４から取得され（Ｓ６０３）、予測隣接領域取得器２３２にて、予測隣接領域数の設定器２３０により設定された組み合わせに属するＮ個の予測隣接領域が、ラインＬ１０４を経由して取得される（Ｓ６０４）。

その後、予測隣接領域取得器２３２、重み付け器２３４および加算器２３５において、Ｎ個の予測隣接領域の画素信号の平均化（加重平均でもよい）により比較信号を生成し（Ｓ６０５）、比較・選択器２３６にて、生成した比較信号と隣接画素信号との差分値であるＳＡＤ値を算出する（Ｓ６０６）。同時に、比較・選択器２３６では、算出したＳＡＤ値をそれまでの最小のＳＡＤ値と比較し（Ｓ６０７）、ＳＡＤ値が最小値と判断された場合、Ｓ６０８ａに進み、そうでないと判断された場合、Ｓ６０９に進む。なお、Ｓ６０７では、算出したＳＡＤ値とそれまでの最小のＳＡＤ値が同じ場合には、Ｓ６０９に進むが、Ｓ６０８ａに進むようにしてもよい。

そして、比較・選択器２３６によりＳ６０６において算出されたＳＡＤ値がこれまで算出されたＳＡＤの最小値より小さいと判断されると、新たに算出されたＳＡＤ値に最小値は更新されるとともに、そのときのＮ値が候補予測信号の数ＦＮとして決定される（Ｓ６０８ａ）。

そして、Ｎ値が２倍に更新され（Ｓ６０９）、更新したＮ値がＭ値より小さい場合、Ｓ６０４に戻り、更新したＮ値がＭ値より大きい場合、Ｓ６０８ａにて決定した座標情報の組み合わせを候補予測信号の組み合わせとして決定する。そして、組み合わせ設定器２３７にて、予測隣接領域にアクセスするための座標情報（参照画像番号および動きベクトル）、および対象隣接領域と予測隣接領域との差分ＳＡＤ値を用いて、Ｍ個の予測隣接領域からＦＮ個の予測隣接領域が選択され、ＦＮ個の予測隣接領域の再生信号を対象領域の候補予測信号とする（Ｓ６１０ａ）。このＳ６１０ａの処理は、Ｓ６０４ａ（図２１参照）と同じであるため、説明を割愛する。

本実施形態における画像予測符号化方法および画像予測復号方法を、プログラムとして記録媒体に記憶して提供することもできる。記録媒体としては、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。その具体的なモジュール構成は、図１１、図１２、図１３、および図２８に示すとおりである。なお、ここでは予測信号生成モジュール１０３の機能は、上述予測信号生成器１０３ｂに相当するものである。このように構成された画像予測符号化プログラムＰ１００または画像予測復号プログラムＰ３００は、記録媒体１０に記憶され、上述図１６、図１７で示したコンピュータで実行される。

つぎに、第３の実施形態の画像予測符号化装置１００および画像予測復号装置３００の作用効果について説明する。

第３の実施形態の画像予測符号化装置１００は、入力画像を複数の領域に分割するブロック分割器１０２と、割された前記複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成器１０３と、生成された予測信号と対象画素信号との残差信号を生成する残差信号生成手段として機能する減算器１０６と、生成された残差信号を符号化する変換器１０６、量子化器１０７およびエントロピー符号化器１１１とを備えている。

そして、予測信号生成器１０３におけるテンプレートマッチング器２０１が対象画素信号からなる対象領域４０２に隣接する既再生の隣接画素信号からなる対象隣接領域４０３との相関が高い複数の予測隣接領域４０４ａ−４１４ｃを、既再生画像からなる探索領域４０１、４１１から探索する。

一方、予測隣接領域数の設定器２３０は、選択する予測隣接領域の数Ｎを設定する。

そして、組み合わせ設定器２３７は、少なくとも予測隣接領域の位置を示す座標情報を用いて、探索領域から設定した数の予測隣接領域を選択する。予測領域取得器２０４は、選択した予測隣接領域に基づいて対象画素信号の候補予測信号を設定した数だけ生成し、重み付け器２０５および加算器２０６は、候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する。

なお、本実施形態においては、予測隣接領域２３０により設定された予測隣接領域の数Ｎに基づいて、予測隣接領域取得器２３２、重み付け器２３４、および加算器２３５により比較信号が生成される。ここでＮ値の値が適宜変更されて予測隣接領域取得器２３２に入力され、Ｎ値に応じて比較信号が生成される。その比較信号に基づいて比較・選択器２３６により対象隣接領域の画素信号との差分ＳＡＤ値が最小となる比較信号が選択され、その選択された比較信号のもととなるＮ個の予測隣接領域を特定するためのＮ値が組み合わせ設定器２３７に出力されることになる。

また、第３の実施形態の画像予測復号装置３００は、圧縮データ内にある処理対象である対象領域に関する残差信号の符号化データを復号するエントロピー復号器３０２と、復号されて得られた信号から再生残差信号を復元する逆量子化器３０３および逆変換器３０４と、対象領域の対象画素信号に対する予測信号を生成する予測信号生成器３０８と、生成された予測信号と復元された再生残差信号とを加算することによって、再生画像信号を生成する加算器３０５とを備えている。

なお、第３の実施形態においては、予測隣接領域２３０により設定された予測隣接領域の数Ｎに基づいて、予測隣接領域取得器２３２、重み付け器２３４、および加算器２３５により比較信号が生成される。ここでＮ値の値が適宜変更されて予測隣接領域取得器２３２に入力され、Ｎ値に応じて比較信号が生成される。その比較信号に基づいて比較・選択器２３６により対象隣接領域の画素信号との差分ＳＡＤ値が最小となる比較信号が選択され、その選択された比較信号のもととなるＮ個の予測隣接領域を特定するためのＮ値が組み合わせ設定器２３７に出力されることになる。

これにより、平滑化する候補予測信号に多様性を持たせることを可能となり、効率よく局所的な雑音特性を考慮した予測信号を生成することができる。よって、この予測信号を用いて効率的に符号化された符号化データを復号することができる。

＜第４の実施形態＞
図２４は、第４の実施形態である候補予測信号の組み合わせ決定器の構成を示すブロック図である。この第４の実施形態は、対象隣接領域と予測隣接領域との間のＳＡＤ値を用いた閾値処理にて平滑化する候補予測信号の数を決める場合のついての実施形態である。この第４の実施形態における予測信号生成器１０３ｃにおいては、候補予測信号の組み合わせ決定器２０３ｄが、他の予測信号生成器１０３、１０３ａ、または１０３ｂと相違している。以下、相違点である候補予測信号の組み合わせ決定器２０３ｄについて説明する。

図２４における候補予測信号の組み合わせ決定器２０３ｄは、候補予測信号数の決定器２３８と組み合わせ設定器２３７ｄとを含んで構成される。

候補予測信号数の決定器２３８は、ラインＬ２０１ｂ経由で、対象隣接領域とＭ個の各予測隣接領域との間のＭ個のＳＡＤ値を入力し、予め定めた閾値より小さいＳＡＤ値の数を計算する。そして、閾値より小さいＳＡＤ値の数を、平滑化する候補予測信号の数ＦＮとして、組み合わせ設定器２３７ｄに出力する。

組み合わせ設定器２３７ｄは、図１９に示す構成をとるものであって、予測隣接領域の座標情報を用いて、Ｍ個の予測隣接領域からＦＮ個の予測隣接領域を選択し、予測隣接領域の組み合わせを候補予測信号の組み合わせ情報として、Ｌ２０３経由で、予測領域取得器２０４に出力する。より具体的には、この組み合わせ設定器２３７ｄは、ＦＮ値がＭ値より小さいと判断した場合には、予測隣接領域の座標情報を用いて、Ｍ個の予測隣接領域からＦＮ個の予測隣接領域を選択し、それらに隣接するＦＮ個の予測領域の再生信号を対象領域の候補予測信号とする処理を行う。ＦＮ値がＭ値と同じである場合には、選択する処理は行われず、ＦＮ個の予測隣接領域の組み合わせが出力されることになる。

つぎに、候補予測信号の組み合わせ決定器２０３ｄの動作について説明する。図２５は、候補予測信号の組み合わせ決定器２０３ｄの動作を示すフローチャートである。

候補予測信号の決定器２３８にて、対象隣接領域とＭ個の各予測隣接領域との間のＳＡＤ値と、予め定めた閾値とが比較され、閾値より小さいＳＡＤ値の数が、平滑化する候補予測信号の数ＦＮとして決定される（Ｓ６１５）。そして、組み合わせ設定器２３７においてＦＮ値とＭ値とが比較される（Ｓ６１６）。そして、組み合わせ設定器２３７においてＦＮ値がＭ値より小さいと判断された場合には、予測隣接領域の座標情報を用いて、Ｍ個の予測隣接領域からＦＮ個の予測隣接領域が選択され、それらに隣接するＦＮ個の予測領域の再生信号を対象領域の候補予測信号とされる（Ｓ６１７）。

なお、ここでの処理Ｓ６１７は、図２３における処理Ｓ６１０ａと同じ処理である。また、Ｍ値とＦ値とが同じである場合（Ｓ６１６：ＮＯ）、選択処理は行われず、そのままＭ個の予測隣接領域の組み合わせが予測領域取得器２０４に出力され、候補予測信号の決定器２３８における処理は終了する。

以上図１８から図２５に示したように、「座標情報や動きパラメータを用いて、時空間方向に多様性のある予測隣接領域の組み合わせを生成する動作ならびに処理」は、指定した数の候補予測信号あるいは予測隣接領域の組み合わせを選択する装置ならびに方法にすべて適用できる。

さらに、上記では、Ｎ個の参照フレームとＮ個の動きベクトルを個別に評価して選択しているが、この評価方法には限定されない。Ｐ番目の予測隣接信号を、λ＊(“Ｐ−１”番目に選択された参照画像番号−評価対象の参照画像番号)＋（“Ｐ−１”番目に選択された動きベクトル−評価対象の動きベクトル）の差分絶対値和のような評価関数（λは換算係数）を用いて、同時に評価するようにしてもよい。

またさらに、図２の組み合わせ設定器２３１の出力データと、図１８、図２２ならびに図２４に示した候補予測信号の組み合わせ決定器の出力データは共に予測隣接領域の組み合わせ情報であるため、図２の組み合わせ設定器２３１を図１８と図２２と図２４の機能を含むように構成することも可能である。つまり、図２の組み合わせ設定器２３１と、図１８、図２２および図２４の組み合わせ設定器２３７（２３７ｄ）とにおいて、出力する２つ以上の予測隣接領域の組み合わせ情報を生成し、図２の候補予測信号の組み合わせ決定器２０３にて、１つを選択するように構成することも可能である。

本実施形態における画像予測符号化方法および画像予測復号方法を、プログラムとして記録媒体に記憶して提供することもできる。記録媒体としては、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。その具体的なモジュール構成は、図１１、図１２、図１３、および図２８に示すとおりである。なお、ここでは予測信号生成モジュール１０３の機能は、上述予測信号生成器１０３ｃに相当するものである。このように構成された画像予測符号化プログラムＰ１００または画像予測復号プログラムＰ３００は、記録媒体１０に記憶され、上述図１６、図１７で示したコンピュータで実行される。

つぎに、第４の実施形態の画像予測符号化装置１００および画像予測復号装置３００の作用効果について説明する。第４の実施形態の画像予測符号化装置１００は、入力画像を複数の領域に分割するブロック分割器１０２と、割された前記複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成器１０３と、生成された予測信号と対象画素信号との残差信号を生成する残差信号生成手段として機能する減算器１０６と、生成された残差信号を符号化する変換器１０６、量子化器１０７およびエントロピー符号化器１１１とを備えている。

そして、予測信号生成器１０３ｃにおいて、テンプレートマッチング器２０１が対象画素信号からなる対象領域４０２に隣接する既再生の隣接画素信号からなる対象隣接領域４０３との相関が高い複数の予測隣接領域４０４ａ−４１４ｃを、既再生画像からなる探索領域４０１および４１７から探索する。そして、組み合わせ設定器２３７は、少なくとも予測隣接領域の位置を示す座標情報、例えば参照画像番号および動きベクトルを用いて、探索した複数の予測隣接領域から１つ以上の予測隣接領域を選択する。

予測領域取得器２０４は、選択した予測隣接領域に基づいて、対象画素信号の候補予測信号を１つ以上生成し、重み付け器２０５および加算器２０６は、候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成する。

なお、第４の実施形態においては、候補予測信号数の決定器２３８により予測隣接領域の数Ｎを設定し、組み合わせ設定器２３７は、その設定した数の予測隣接領域を選択するようにしている。

また、第４の実施形態の画像予測復号装置３００は、圧縮データ内にある処理対象である対象領域に関する残差信号の符号化データを復号するエントロピー復号器３０２と、復号されて得られた信号から再生残差信号を復元する逆量子化器３０３および逆変換器３０４と、対象領域の対象画素信号に対する予測信号を生成する予測信号生成器３０８と、生成された予測信号と復元された再生残差信号とを加算することによって、再生画像信号を生成する加算器３０５とを備えている。

そして、予測信号生成器１０３において、テンプレートマッチング器２０１が対象画素信号からなる対象領域４０２に隣接する既再生の隣接画素信号からなる対象隣接領域４０３との相関が高い複数の予測隣接領域４０４ａ−４１４ｃを、既再生画像からなる探索領域４０１および４１７から探索する。そして、組み合わせ設定器２３７は、少なくとも予測隣接領域の位置を示す座標情報、例えば参照画像番号および動きベクトルを用いて、探索した複数の予測隣接領域から１つ以上の予測隣接領域を選択する。

本発明の実施形態による画像予測符号化装置を示すブロック図である。画像予測符号化装置に用いられる予測信号生成器１０３を示すブロック図である。テンプレートマッチング器２０１において、テンプレートマッチング処理および予測隣接領域と予測領域の候補を検索する処理を説明するための模式図である。テンプレートマッチング器２０１において、テンプレートマッチング処理および予測隣接領域と予測領域の候補を検索する処理を説明するための第２の模式図である。テンプレートマッチング器２０１におけるテンプレートマッチングおよび予測隣接領域と予測領域の候補を検索する方法を説明するためのフローチャートである。候補予測信号の組み合わせ決定器２０３における候補予測信号の組み合わせ決定方法を説明するためのフローチャートである。候補予測信号を合成して予測信号を生成する方法を説明するためのフローチャートである。画像予測符号化装置１００における画像予測符号化方法を示すフローチャートである。画像予測復号装置３００を示すブロック図である。画像予測復号装置３００の画像予測復号方法を示すフローチャートである。画像予測符号化方法を実行することができるプログラムのモジュールを示すブロック図である。予測信号生成モジュールＰ１０３のモジュールを示すブロック図である。画像予測復号方法を実行することができるプログラムのモジュールを示すブロック図である。画面内予測方法を説明するための模式図である。ブロックマッチング処理を説明するための模式図である。記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。第２の実施形態の予測信号生成器１０３ａの構成を示すブロック図である。組み合わせ設定器２３７の詳細な構成を示すブロック図である。組み合わせ設定器２３７を用いた予測信号生成器１０３ａの動作を示すフローチャートである。予測隣接領域の座標情報を用いてＮ個の予測隣接領域を選択するときの組み合わせ設定器２３７の動作を示すフローチャートである。第３の実施形態である、候補予測信号の組み合わせ設定器２３７を含んだ予測信号生成器１０３ｂの構成を示すブロック図である。第３の実施形態である予測信号生成器１０３ｂによる予測隣接領域を選択するときの処理を示すフローチャートである。第４の実施形態である候補予測信号の組み合わせ決定器の構成を示すブロック図である。候補予測信号の組み合わせ決定器２０３ｄの動作を示すフローチャートである。参照画像の評価器２８３の処理概念を示す概念図である。動きベクトルの評価器２８４の処理概念を示す概念図である。組み合わせ設定モジュールＰ２３７のモジュール構成を示すブロック図である。

符号の説明

１００…画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、２０１…テンプレートマッチング器、２０２…座標情報用メモリ、２０３…候補予測信号の組み合わせ決定器、２０４…予測領域取得器、２０５…重み付け器、２０６…加算器、２１１…対象隣接領域取得器、２１２…予測隣接領域取得器、２１３…比較器、２１４…スイッチ、２３０…予測隣接領域の設定器、２３１、２３７、２３７ｄ…組み合わせ設定器、２３２…予測隣接領域取得器、２３３対象隣接領域取得器、２３４…重み付け器、２３５…加算器、２３６…比較・選択器、２８１…評価対象の予測隣接領域の決定器、２３８…候補予測信号数の決定器、２８２…カウンター、２８３…参照画像の評価器、２８４…動きベクトルの評価器、３００…画像予測復号装置、３０１…入力端子、３０２…エントロピー復号器、３０３…逆量子化器、３０４…逆変換器、３０５…加算器、３０６…出力端子、３０７…フレームメモリ、３０８…予測信号生成器、Ｐ１００…画像予測符号化プログラム、Ｐ１０２…ブロック分割モジュール、Ｐ１０３…予測信号生成モジュール、Ｐ１０４…記憶モジュール、Ｐ１０５…減算モジュール、Ｐ１０６…変換モジュール、Ｐ１０８…逆量子化モジュール、Ｐ１０９…逆変換モジュール、Ｐ１１０…加算モジュール、Ｐ１１１…エントロピー符号化モジュール、Ｐ２０１…テンプレートマッチングモジュール、Ｐ２０２…決定モジュール、Ｐ２０３…予測信号合成モジュール、Ｐ３００…画像予測復号プログラム、Ｐ３０２…エントロピー復号モジュール、Ｐ３０３…逆量子化モジュール、Ｐ３０４…逆変換モジュール、Ｐ３０５…加算モジュール、Ｐ３０７…記憶モジュール、Ｐ３０８…予測信号生成モジュール。

Claims

入力画像を複数の領域に分割する領域分割手段と、
前記領域分割手段により分割された前記複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
前記予測信号生成手段により生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、
前記残差信号生成手段により生成された前記残差信号を符号化する符号化手段と、を備え、
前記予測信号生成手段は、
前記対象画素信号からなる対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、
少なくとも前記予測隣接領域の位置を示す座標情報を用いて、前記探索した複数の予測隣接領域から１つ以上の予測隣接領域を選択し、
前記選択した予測隣接領域に基づいて、前記対象画素信号の候補予測信号を複数生成し、前記候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測符号化装置。
入力画像を複数の領域に分割する領域分割手段と、
前記領域分割手段により分割された前記複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
前記予測信号生成手段により生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、
前記残差信号生成手段により生成された前記残差信号を符号化する符号化手段と、を備え、
前記予測信号生成手段は、
前記対象画素信号からなる対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、
選択する予測隣接領域の数が２つ以上となるように設定し、
少なくとも前記予測隣接領域の位置を示す座標情報を用いて、前記探索領域から前記設定した数の予測隣接領域を選択し、
前記選択した予測隣接領域に基づいて前記対象画素信号の候補予測信号を前記設定した数だけ生成し、前記候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測符号化装置。
入力画像を複数の領域に分割する領域分割手段と、
前記領域分割手段により分割された前記複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
前記予測信号生成手段により生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、
前記残差信号生成手段により生成された前記残差信号を符号化する符号化手段と、を備え、
前記予測信号生成手段は、
前記対象画素信号からなる対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、
少なくとも前記予測隣接領域の位置を示す座標情報を用いて、異なる数の予測隣接領域を含む予測隣接領域の組み合わせを２つ以上生成し、
前記組み合わせに属する予測隣接領域の画素信号を予め定めた合成方法を用いて加工することにより、前記隣接画素信号に対する比較信号をそれぞれ生成し、前記比較信号と前記隣接画素信号との相関が高い予測隣接領域の組み合わせを前記生成した予測隣接領域の組み合わせの中から選択し、
前記選択された組み合わせに属する予測隣接領域に基づいて、前記対象画素信号の候補予測信号を複数生成し、該候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測符号化装置。
前記予測信号生成手段は、時間または空間のいずれかあるいは時空間の位置情報を含んだ座標情報を用いて予測隣接領域を選択することを特徴とする請求項１から３のいずれか１項に記載の画像予測符号化装置。
前記予測信号生成手段は、予測隣接領域が属する参照画像の識別番号を含んだ座標情報を用いて処理することを特徴とする請求項１から３のいずれか１項に記載の画像予測符号化装置。
前記予測信号生成手段は、予測隣接領域が属する参照画像上の空間位置情報を含んだ座標情報を用いて予測隣接領域を選択することを特徴とする請求項１から３のいずれか１項に記載の画像予測符号化装置。
前記予測信号生成手段は、前記対象領域と前記予測隣接領域との間の空間的な位置関係を示す動きベクトルを含んだ座標情報を用いて予測隣接領域を選択することを特徴とする請求項１から３のいずれか１項に記載の画像予測符号化装置。
圧縮データ内の処理対象である対象領域に関する残差信号の符号化データを復号するデータ復号手段と、
前記データ復号手段により復号されて得られた信号から再生残差信号を復元する残差信号復元手段と、
前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
前記予測信号生成手段により生成された予測信号と前記残差信号復元手段にて復元された再生残差信号とを加算することによって、再生画像信号を生成する再生画像信号生成手段と、を備え、
前記予測信号生成手段は、
前記対象画素信号からなる対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、
前記探索した複数の予測隣接領域のうち２つ以上の前記予測隣接領域の位置を示す座標情報を用いて、前記探索した複数の予測隣接領域から１つ以上の予測隣接領域を選択し、
前記選択した予測隣接領域に基づいて、前記対象画素信号の候補予測信号を複数生成し、前記候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測復号装置。
圧縮データの処理対象である対象領域に関する残差信号の符号化データを復号するデータ復号手段と、
前記データ復号手段により復号されて得られた信号から再生残差信号を復元する残差信号復元手段と、
前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
前記予測信号生成手段により生成された予測信号と前記残差信号復元手段にて復元された再生残差信号とを加算することによって、再生画像信号を生成する再生画像信号生成手段と、を備え、
前記予測信号生成手段は、
前記対象画素信号に隣接する既再生の隣接画素信号からなる対象隣接領域に対して、上記対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、
選択する予測隣接領域の数が２つ以上となるように設定し、
少なくとも前記予測隣接領域の位置を示す座標情報を用いて、前記探索領域のあらゆる位置から前記設定した数の予測隣接領域を選択し、
前記選択した予測隣接領域に基づいて、前記対象画素信号の候補予測信号を前記選択した数だけ生成し、前記候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測復号装置。
圧縮データ内の処理対象である対象領域に関する残差信号の符号化データを復号するデータ復号手段と、
前記データ復号手段により復号されて得られた信号から再生残差信号を復元する残差信号復元手段と、
前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、前記予測信号生成手段により生成された予測信号と前記残差信号復元手段にて復元された再生残差信号とを加算することによって、再生画像信号を生成する再生画像信号生成手段と、を備え、
前記予測信号生成手段は、
前記対象画素信号に隣接する既再生の隣接画素信号からなる対象隣接領域に対して、上記対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、
選択する予測隣接領域の数を設定し、
少なくとも前記予測隣接領域の位置を表す座標情報を用いて、異なる数の予測隣接領域を含む予測隣接領域の組み合わせを２つ以上生成し、
前記組み合わせに属する予測隣接領域の画素信号を予め定めた合成方法を用いて加工することにより、前記隣接画素信号に対する比較信号をそれぞれ生成し、該比較信号と前記隣接画素信号との相関が高い組み合わせを前記生成した予測隣接領域の組み合わせの中から選択し、
前記選択された組み合わせに属する予測隣接領域に基づいて、前記対象画素信号の候補予測信号を複数生成し、該候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測復号装置。
前記予測信号生成手段は、時間または空間のいずれかあるいは時空間の位置を含んだ座標情報を用いて予測隣接領域を選択することを特徴とする請求項８から１０のいずれか１項に記載の画像予測復号装置。
前記予測信号生成手段は、予測隣接領域が属する参照画像の識別番号を含んだ座標情報を用いて予測隣接領域を選択することを特徴とする請求項８から１０のいずれか１項に記載の画像予測復号装置。
前記予測信号生成手段は、予測隣接領域が属する参照画像上の空間位置を含んだ座標情報を用いて予測隣接領域を選択することを特徴とする請求項８から１０のいずれか１項に記載の画像予測復号装置。
前記予測信号生成手段は、前記対象領域と前記予測隣接領域との間の空間的な位置関係を示す動きベクトルを含んだ座標情報を用いて予測隣接領域を選択することを特徴とする請求項８から１０のいずれか１項に記載の画像予測復号装置。
入力画像を複数の領域に分割する領域分割ステップと、
前記領域分割ステップにより分割された前記複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、
前記予測信号生成ステップにより生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成ステップと、
前記残差信号生成ステップにより生成された前記残差信号を符号化する符号化ステップと、を備え、
前記予測信号生成ステップは、
前記対象画素信号からなる対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、
少なくとも前記予測隣接領域の位置を示す座標情報を用いて、前記探索した複数の予測隣接領域から１つ以上の予測隣接領域を選択し、
前記選択した予測隣接領域に基づいて、前記対象画素信号の候補予測信号を複数生成し、前記候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測符号化方法。
圧縮データ内にある処理対象である対象領域に関する残差信号の符号化データを復号するデータ復号ステップと、
前記データ復号ステップにより復号されて得られた信号から再生残差信号を復元する残差信号復元ステップと、
前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、
前記予測信号生成ステップにより生成された予測信号と前記残差信号復元ステップにて復元された再生残差信号とを加算することによって、再生画像信号を生成する再生画像信号生成ステップと、を備え、
前記予測信号生成ステップは、
前記対象画素信号からなる対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、
前記探索した複数の予測隣接領域のうち２つ以上の前記予測隣接領域の位置を示す座標情報を用いて、前記探索した複数の予測隣接領域から１つ以上の予測隣接領域を選択し、
前記選択した予測隣接領域に基づいて、前記対象画素信号の候補予測信号を複数生成し、前記候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測復号方法。
入力画像を複数の領域に分割する領域分割モジュールと、
前記領域分割モジュールにより分割された前記複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成モジュールと、
前記予測信号生成モジュールにより生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成モジュールと、
前記残差信号生成モジュールにより生成された前記残差信号を符号化する符号化モジュールと、を備え、
前記予測信号生成モジュールは、
前記対象画素信号からなる対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、
少なくとも前記予測隣接領域の位置を示す座標情報を用いて、前記探索した複数の予測隣接領域から１つ以上の予測隣接領域を選択し、
前記選択した予測隣接領域に基づいて、前記対象画素信号の候補予測信号を複数生成し、前記候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測符号化プログラム。
圧縮データ内にある処理対象である対象領域に関する残差信号の符号化データを復号するデータ復号モジュールと、
前記データ復号モジュールにより復号されて得られた信号から再生残差信号を復元する残差信号復元モジュールと、
前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成モジュールと、
前記予測信号生成モジュールにより生成された予測信号と前記残差信号復元モジュールにて復元された再生残差信号とを加算することによって、再生画像信号を生成する再生画像信号生成モジュールと、を備え、
前記予測信号生成モジュールは、
前記対象画素信号からなる対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い複数の予測隣接領域を、既再生画像からなる探索領域から探索し、
前記探索した複数の予測隣接領域のうち２つ以上の前記予測隣接領域の位置を示す座標情報を用いて、前記探索した複数の予測隣接領域から１つ以上の予測隣接領域を選択し、
前記選択した予測隣接領域に基づいて、前記対象画素信号の候補予測信号を複数生成し、前記候補予測信号を予め定めた合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測復号プログラム。