JP5254565B2 - 動画像予測符号化装置、方法及びプログラム、並びに、動画像予測復号装置、方法及びプログラム - Google Patents

Description

本発明は、動画像予測符号化装置、方法及びプログラム、並びに、動画像予測復号装置、方法及びプログラムに関するものである。

動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合はＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。動画像の符号化では、時間方向で隣接する他の画像を用いて符号化の対象となる対象画像についての予測信号を生成して、対象画像の画像信号と予測信号との差分を符号化することにより、データ量の削減を実現する。

例えばＨ．２６４では、１フレームの画像を１６×１６画素からなるブロックの領域に分割し、当該画像をこのブロック単位で符号化処理を行う。フレーム間符号化では、符号化対象となる画像内の対象ブロックについて、符号化済で復元された他のフレームを参照画像として動き検出を行い、誤差の最も少ない予測信号を決定する。次にこの対象ブロックの画像信号と該予測信号との差分値を求めて、離散コサイン変換と量子化処理を行う。そして、量子化された離散コサイン変換の係数と、予測信号を特定するための動きベクトルとをエントロピー符号化し符号化データを生成する。

画面内の符号化効率を高めるため、画面内においても予測符号化を行う。Ｈ．２６４の場合、対象ブロックと同じ画面内の隣接する画素群の既再生の画像信号（一旦圧縮された画像データから復元されたもの）を用いて予測信号を生成し、該予測信号を対象ブロックの画像信号から引き算して得られた差分（残差信号）を符号化する。

画面間の予測信号を生成する具体的な方法は例えば特許文献１に、画面内の予測信号を生成する具体的な方法は例えば特許文献２に、それぞれ記載されている。

一方、フェードインやフェードアウトのように部分的な輝度変化がある場合、画面間の予測信号について、さらに輝度の補正を行った上で、対象ブロックの画像信号と予測信号との差分を符号化する手法が知られている。このような輝度補正に関する従来技術は例えば特許文献３に記載されている。
米国特許公報第５２００８２０号 米国特許公報第６７６５９６４号 米国特許公報第６９３４３３１号

しかし、従来技術における輝度補正方法では、その補正に用いられる近似パラメータ（補正パラメータや補助情報ともいう）は、受信側で正しく予測信号を補正するために必要不可欠なものであるため、これらの近似パラメータは、残差信号とともに符号化され、蓄積もしくは伝送される必要がある。したがって、圧縮されたデータの量は近似パラメータの分だけ増加してしまう。

また、予測信号の性能を高めるには、画像を従来より細かい領域に分割して、それぞれの小領域に対し輝度補正を行うことが望ましい。しかし、増加する小領域の数に比例して近似パラメータのデータ量が急増するため、全体のデータ量が増大してしまう。

更に、従来技術では、例えば輝度信号をスケーリングした上でオフセット値を加える場合、近似パラメータとして２つのパラメータが含まれることとなるが、もし対象ブロックの画像信号が予測信号に対し非線形的な変化を示す場合には、近似パラメータのパラメータ数がさらに増えることとなり、近似パラメータ等の補助情報のデータ量はさらに増大してしまう。

本発明は、上記の課題を解決し、少ない補助情報で予測信号を補正し、より精度良く対象信号に近似させることができる動画像予測符号化装置、方法及びプログラム、並びに、動画像予測復号装置、方法及びプログラムを提供することを目的とする。

本発明に係る動画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号についての近似信号を生成する予測信号生成手段と、予測信号生成手段により生成された近似信号と対象画素信号との残差信号を生成する残差信号生成手段と、残差信号生成手段により生成された残差信号を符号化する符号化手段と、を備え、予測信号生成手段は、所定の方法で対象領域についての予測信号を決定し、対象領域に隣接する既再生画素からなる対象隣接画素群と、予測信号を含む参照領域に対し、対象領域と対象隣接画素群の位置関係と同じ位置関係にある、既再生画素からなる予測隣接画素群とを用いて、予測隣接画素群を対象隣接画素群に近似させるための近似パラメータを決定し、近似パラメータをもとに対象領域についての予測信号を変換することで、当該対象領域の対象画素信号についての近似信号を生成する、ことを特徴とする。

また、本発明に係る動画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号についての近似信号を生成する予測信号生成手段と、予測信号生成手段により生成された近似信号と対象画素信号との残差信号を生成する残差信号生成手段と、残差信号生成手段により生成された残差信号を符号化する符号化手段と、を備え、予測信号生成手段は、対象領域より前に再生された画素から構成される領域を参照領域とし、対象領域に隣接する既再生画素からなる対象隣接画素群に対して、参照領域の中から最も相関の高い画素群を予測隣接画素群として導出し、対象隣接画素群と対象領域の位置関係と同じ位置関係にある、予測隣接画素群に対応した参照領域の画素信号を、対象領域についての予測信号として取得し、予測隣接画素群と対象隣接画素群とを用いて予測隣接画素群を対象隣接画素群に近似させるための近似パラメータを決定し、近似パラメータをもとに対象領域についての予測信号を変換することで、当該対象領域の対象画素信号についての近似信号を生成する、ことを特徴とする。

本発明に係る動画像予測復号装置は、圧縮データの中から、処理対象である対象領域についての残差信号の符号化データを抽出するデータ解析手段と、データ解析手段により抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、対象領域の対象画素信号についての近似信号を生成する予測信号生成手段と、予測信号生成手段により生成された近似信号と残差信号復元手段により復元された再生残差信号とを加算することによって、対象領域の対象画素信号を復元する画像復元手段と、を備え、予測信号生成手段は、所定の方法で対象領域についての予測信号を取得し、対象領域に隣接する既再生画素からなる対象隣接画素群と、予測信号を含む参照領域に対し、対象領域と対象隣接画素群の位置関係と同じ位置関係にある、既再生画素からなる予測隣接画素群とを用いて、予測隣接画素群を対象隣接画素群に近似させるための近似パラメータを決定し、近似パラメータをもとに対象領域についての予測信号を変換することで、当該対象領域の対象画素信号についての近似信号を生成する、ことを特徴とする。

また、本発明に係る動画像予測復号装置は、圧縮データの中から、処理対象である対象領域についての残差信号の符号化データを抽出するデータ解析手段と、データ解析手段により抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、対象領域の対象画素信号についての近似信号を生成する予測信号生成手段と、予測信号生成手段により生成された近似信号と残差信号復元手段により復元された再生残差信号とを加算することによって、対象領域の対象画素信号を復元する画像復元手段と、を備え、予測信号生成手段は、対象領域より前に再生された画素から構成される領域を参照領域とし、対象領域に隣接する既再生画素からなる対象隣接画素群に対して、参照領域の中から最も相関の高い画素群を予測隣接画素群として導出し、予測隣接画素群と対象隣接画素群とを用いて予測隣接画素群を対象隣接画素群に近似させるための近似パラメータを決定し、対象隣接画素群と対象領域の位置関係と同じ位置関係にある、予測隣接画素群に対応した参照領域の画素信号を近似パラメータに基づいて変換することで、対象領域についての近似信号を生成する、ことを特徴とする。

本発明に係る動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、入力画像を複数の領域に分割する領域分割ステップと、領域分割ステップにより分割された複数の領域のうちの処理対象である対象領域の対象画素信号についての近似信号を生成する予測信号生成ステップと、予測信号生成ステップにより生成された近似信号と対象画素信号との残差信号を生成する残差信号生成ステップと、残差信号生成ステップにより生成された残差信号を符号化する符号化ステップと、を備え、予測信号生成ステップでは、所定の方法で対象領域についての予測信号を決定し、対象領域に隣接する既再生画素からなる対象隣接画素群と、予測信号を含む参照領域に対し、対象領域と対象隣接画素群の位置関係と同じ位置関係にある、既再生画素からなる予測隣接画素群とを用いて、予測隣接画素群を対象隣接画素群に近似させるための近似パラメータを決定し、近似パラメータをもとに対象領域についての予測信号を変換することで、当該対象領域の対象画素信号についての近似信号を生成する、ことを特徴とする。

また、本発明に係る動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、入力画像を複数の領域に分割する領域分割ステップと、領域分割ステップにより分割された複数の領域のうちの処理対象である対象領域の対象画素信号についての近似信号を生成する予測信号生成ステップと、予測信号生成ステップにより生成された近似信号と対象画素信号との残差信号を生成する残差信号生成ステップと、残差信号生成ステップにより生成された残差信号を符号化する符号化ステップと、を備え、予測信号生成ステップでは、対象領域より前に再生された画素から構成される領域を参照領域とし、対象領域に隣接する既再生画素からなる対象隣接画素群に対して、参照領域の中から最も相関の高い画素群を予測隣接画素群として導出し、対象隣接画素群と対象領域の位置関係と同じ位置関係にある、予測隣接画素群に対応した参照領域の画素信号を、対象領域についての予測信号として取得し、予測隣接画素群と対象隣接画素群とを用いて予測隣接画素群を対象隣接画素群に近似させるための近似パラメータを決定し、近似パラメータをもとに対象領域についての予測信号を変換することで、当該対象領域の対象画素信号についての近似信号を生成する、ことを特徴とする。

本発明に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、圧縮データの中から、処理対象である対象領域についての残差信号の符号化データを抽出するデータ解析ステップと、データ解析ステップにより抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元ステップと、対象領域の対象画素信号についての近似信号を生成する予測信号生成ステップと、予測信号生成ステップにより生成された近似信号と残差信号復元ステップにより復元された再生残差信号とを加算することによって、対象領域の対象画素信号を復元する画像復元ステップと、を備え、予測信号生成ステップでは、所定の方法で対象領域についての予測信号を取得し、対象領域に隣接する既再生画素からなる対象隣接画素群と、予測信号を含む参照領域に対し、対象領域と対象隣接画素群の位置関係と同じ位置関係にある、既再生画素からなる予測隣接画素群とを用いて、予測隣接画素群を対象隣接画素群に近似させるための近似パラメータを決定し、近似パラメータをもとに対象領域についての予測信号を変換することで、当該対象領域の対象画素信号についての近似信号を生成する、ことを特徴とする。

また、本発明に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、圧縮データの中から、処理対象である対象領域についての残差信号の符号化データを抽出するデータ解析ステップと、データ解析ステップにより抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元ステップと、対象領域の対象画素信号についての近似信号を生成する予測信号生成ステップと、予測信号生成ステップにより生成された近似信号と残差信号復元ステップにより復元された再生残差信号とを加算することによって、対象領域の対象画素信号を復元する画像復元ステップと、を備え、予測信号生成ステップでは、対象領域より前に再生された画素から構成される領域を参照領域とし、対象領域に隣接する既再生画素からなる対象隣接画素群に対して、参照領域の中から最も相関の高い画素群を予測隣接画素群として導出し、予測隣接画素群と対象隣接画素群とを用いて予測隣接画素群を対象隣接画素群に近似させるための近似パラメータを決定し、対象隣接画素群と対象領域の位置関係と同じ位置関係にある、予測隣接画素群に対応した参照領域の画素信号を近似パラメータに基づいて変換することで、対象領域についての近似信号を生成する、ことを特徴とする。

本発明に係る動画像予測符号化プログラムは、コンピュータを、特許請求の範囲の請求項１又は２に記載の動画像予測符号化装置として機能させるための動画像予測符号化プログラムである。

本発明に係る動画像予測復号プログラムは、コンピュータを、特許請求の範囲の請求項３又は４に記載の動画像予測復号装置として機能させるための動画像予測復号プログラムである。

本発明によれば、対象領域に隣接する既再生画素からなる対象隣接画素群と、予測信号を含む参照領域に対し、対象領域と対象隣接画素群の位置関係と同じ位置関係にある、既再生画素からなる予測隣接画素群とを用いて、予測隣接画素群を対象隣接画素群に近似させるための近似パラメータを決定し、該近似パラメータを用いて予測信号を変換することで対象領域についての近似信号を求める。このため、受信側でも近似パラメータを正しく導出することができ、近似パラメータを残差信号とともに符号化した上で蓄積もしくは伝送する必要がなくなり、近似パラメータによるデータ量の増加を抑えることができる。

これに伴い、画像を従来よりも細かい領域に分割して、それぞれの小領域に対し輝度補正を行う場合や、対象信号が予測信号に対し非線形的な変化を示す場合でも、近似パラメータの増加に起因した補助情報のデータ量の増加を回避しつつ、高精度な近似信号を生成することできる。

以上より、本発明によれば、少ない補助情報で高精度の近似信号を生成することができる。このため、残差信号が減少し、動画像全体の符号量を大きく減らすことができる。

以下、本発明に係る実施形態について、図１から図１４を用いて説明する。

［動画像予測符号化装置について］
図１は、本実施形態に係る動画像予測符号化装置１００のブロック図を示す。図１に示すように、動画像予測符号化装置１００は、入力端子１０１、ブロック分割器１０２、信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、及び、出力端子１１２を備えている。

［動画像予測符号化装置における動作概要］
このような動画像予測符号化装置１００について、以下、各構成部の動作を述べる。複数枚の画像からなる動画像の信号は入力端子１０１に入力される。入力された画像に対し、ブロック分割器１０２は、符号化処理の対象となる画像を複数の領域に分割する。本実施形態では、例えば、８×８の画素からなるブロックに分割するが、それ以外のブロックの大きさ又は形に分割してもよい。次に、信号生成器１０３は、符号化処理の対象となる領域（以下「対象ブロック」とよぶ）についての近似信号を生成する。本実施形態では、信号生成器１０３は画面間予測と画面内予測の少なくとも一方で近似信号を生成する。その生成処理は、後述する。

信号生成器１０３で生成された近似信号は、減算器１０５に送られる。減算器１０５は、ラインＬ１０２経由で入力される対象ブロックの信号から、ラインＬ１０３経由で入力される近似信号を引き算することで残差信号を生成する。この残差信号は変換器１０６により離散コサイン変換され、変換後の各係数は量子化器１０７により量子化される。量子化された変換後の各係数は、エントロピー符号化器１１１により符号化され出力端子１１２より送出される。

一方、後続の対象ブロックについて画面間予測と画面内予測の少なくとも一方を行うために、量子化器１０７により量子化された変換後の各係数は、以下のように逆変換処理され復元される。すなわち、量子化された変換後の各係数は、逆量子化器１０８にて逆量子化された後、逆変換器１０９にて逆離散コサイン変換される。これにより、残差信号が復元される。復元された残差信号は、加算器１１０により、ラインＬ１０３から入力された予測信号と加算される。これにより、対象ブロックの信号が再生され、該再生された信号はフレームメモリ１０４に格納される。なお、本実施形態では、変換器１０６と逆変換器１０９を用いているが、これらの変換器に代わる他の変換処理を用いてもよい。場合によっては、動画像予測符号化装置１００が変換器１０６と逆変換器１０９を備えずに、変換処理及び逆変換処理を実行しない態様を採用してもよい。

次に、図２を用いて、動画像予測符号化装置１００に設けられた信号生成器１０３の構成・動作について説明する。図２に示すように信号生成器１０３は、予測信号を生成する予測信号生成器２０１、近似パラメータを推定するパラメータ推定器２０２、及び、近似信号を生成する近似信号生成器２０３を備える。以下、信号生成器１０３の動作について、(1)画面間予測の場合、(2)画面内予測の場合の順に説明する。

［(1)画面間予測の場合］
本実施形態の画面間予測では、信号生成器１０３に設けられた予測信号生成器２０１は、過去に符号化された後に復元された再生画像を参照画像として、該参照画像から、対象ブロックについての誤差の最も小さい予測信号を与える動き情報（「動きベクトル」ともいうが本明細書では「動き情報」を用いる。）を求める。具体的には、対象ブロックの画像信号はラインＬ１０２経由で、参照画像の画像信号はＬ１０４経由で、それぞれ予測信号生成器２０１に入力され、予測信号生成器２０１は、参照画像から、対象ブロックについての誤差の最も小さい予測信号（最適な予測信号）を与える動き情報を、ブロックマッチングの方法で検出する。なお、動き情報の検出の一例は、前述した特許文献１に記載されている。本実施形態では、過去に符号化された後に復元された１枚もしくは複数枚の画像を参照画像として用いるが、場合に応じて、対象ブロックを再分割し、再分割された小領域について画面間予測を行い、動き情報を求めてもよい。この場合、各種の分割方法の各々で、対象ブロックを再分割して画面間予測を行い動き情報を求めてみて、対象ブロック全体のトータルの誤差が最も小さくなる（対象ブロック全体に対し最も効率のよい）分割方法及び該分割方法で得られた動き情報を決定することが望ましい。

このように決定された動き情報は、ラインＬ１１２経由で図１のエントロピー符号化器１１１に送られ、エントロピー符号化器１１１により符号化され出力端子１１２から送出される。また、上記動き情報はラインＬ２０１経由でパラメータ推定器２０２に送られる。パラメータ推定器２０２は、予測信号生成器２０１にて決定された動き情報により与えられる最適な予測信号をさらに近似させるための近似パラメータを以下のようにして推定する。

図３を用いて、パラメータ推定器２０２の動作を説明する。図３に示す領域３０２は、現在の処理対象とする対象ブロック３０２である。対象画像３０１のうち、対象ブロック３０２を含まない領域３０４は既に符号化された後に復元された画素（以下「既再生画素」という）からなる領域であり、対象ブロック３０２を含む領域３０５は符号化及び復元が未だ行われていない画素からなる領域である。

パラメータ推定器２０２は、対象ブロック３０２の位置情報に基づいて、該対象ブロック３０２に隣接する画素群３０３を、ラインＬ１０４経由でフレームメモリ１０４から取得する。本実施形態では、画素群３０３を「対象隣接画素群３０３」とよび、対象ブロック３０２の上と左に隣接するＮ／２画素を含む逆「Ｌ」字の領域にある既再生画素から構成されている。ここでＮは対象ブロック３０２の縦または横の画素数である。

次に、パラメータ推定器２０２は、ラインＬ２０１経由で入力された動き情報に基づいて、参照画像３０６において該動き情報により与えられる最適予測信号３０７に隣接する画素群３０８を取得する。本実施形態では、動き情報によって予測信号３０７の左上端の画素が特定され、該左上端の画素から上と左にＮ／２画素を離れた逆「Ｌ」字の画素群３０８を取得する。この画素群３０８を「予測隣接画素群３０８」とよぶ。図３より明らかなように、予測信号３０７と予測隣接画素群３０８との位置関係は、対象ブロック３０２と対象隣接画素群３０３との位置関係に等しいことがわかる。なお、逆「Ｌ」字のほかに、対象画像３０１において対象ブロック３０２の上に位置するＮ×Ｎ個の画素からなるブロックを対象隣接画素群としてもよいし、対象ブロック３０２の左に位置するＮ×Ｎ個の画素からなるブロックを対象隣接画素群としてもよいし、さらに、対象ブロック３０２の上に位置するＮ×Ｎ個の画素からなるブロックと、対象ブロック３０２の左に位置するＮ×Ｎ個の画素からなるブロックの計２個のブロックを対象隣接画素群としてもよい。これらの場合、予測隣接画素群３０８は、対象隣接画素群３０３に対応させる必要がある。

さらに、パラメータ推定器２０２は、取得された対象隣接画素群３０３と予測隣接画素群３０８とを用いて近似パラメータを以下のように導出する。本実施形態では、以下の式（１）により、予測隣接画素群３０８を対象隣接画素群３０３の近似とする。

ここで、ｘ（ｉ，ｊ）は対象隣接画素群３０３にある（ｉ，ｊ）番目の画素であり、ｙ（ｉ，ｊ）は予測隣接画素群３０８にある（ｉ，ｊ）番目の画素である。また、近似パラメータｓとｖを用いて予測隣接画素群３０８を変換する。これら近似パラメータｓとｖは最小２乗法で決定する。即ち、以下の式（２）に示す評価式の最小点を与えるｓとｖを求める。ｓとｖはそれぞれ式（３）と式（４）に示すように対象隣接領域と予測隣接領域の全ての画素によって決定される。ここで、Ｍは対象隣接領域（または予測隣接領域）に含まれる画素の数である。

なお、式（１）の代わりにそれ以外の近似式（例えば上記の式（５））を用いてもよい。式（５）を用いる場合、近似パラメータはａ，ｂ，ｃとなる。この場合、予測信号を湾曲させて近似することができる。

このようにして求められた近似パラメータは、動き情報とともに、図２のラインＬ２０２経由で近似信号生成器２０３に送られる。近似信号生成器２０３は、近似パラメータを用いて近似信号を生成する。具体的には、近似信号生成器２０３は、ラインＬ２０２経由で送られた動き情報に基づいて、ラインＬ１０４経由でフレームメモリ１０４から、図３の予測信号３０７を取得する。この予測信号３０７の各画素を以下の式（６）のｙ^＊（ｉ，ｊ）として、近似パラメータｓとｖを用いて式（６）に示すように予測信号を変換し、近似信号の各画素ｘ^＊（ｉ，ｊ）を得る。このように求めた近似信号は、ラインＬ１０３経由で図１の減算器１０５に送られる。

なお、近似信号生成器２０３は、必ずしもフレームメモリ１０４から予測信号を取得する必要はなく、例えば予測信号生成器２０１により決定された最適な予測信号を予測信号生成器２０１から取得してもよい。本実施形態では、上記の近似パラメータｓとｖは、符号化されて蓄積又は送信されることはない。

図４は、信号生成器１０３により実行される、近似信号を生成するための画面間予測処理の流れ図を示す。図４のステップ４１１では、予測信号生成器２０１は、前述したようにブロックマッチングの方法で対象ブロックに対する最適な予測信号を求める。これにより、最適な予測信号のアドレスを示す動き情報が決定され、パラメータ推定器２０２に入力される。ステップ４１２では、パラメータ推定器２０２は、対象ブロックに隣接する対象隣接画素群の画素を取得する。対象隣接画素群としては、例えば図３に示す対象隣接画素群３０３が用いられる。ステップ４１３では、パラメータ推定器２０２は、ステップ４１１にて決定された動き情報によって特定される予測信号、に隣接する図３の予測隣接画素群３０８を取得する。

次に、パラメータ推定器２０２は、対象隣接画素群と予測隣接画素群とを用いて近似パラメータを求める（ステップ４１４）。具体的には、上記式（２）の最小値を与える式（３）と式（４）を用いて、近似パラメータｓとｖを求める。求められた近似パラメータｓとｖは、動き情報とともに、近似信号生成器２０３に入力される。

そして、ステップ４１５では、近似信号生成器２０３は、近似パラメータｓとｖを用いて、動き情報によって特定される図３の予測信号３０７を式（６）のように変換し、近似信号ｘ^＊（ｉ，ｊ）を算出する。最後に、近似信号生成器２０３は、算出された近似信号を減算器１０５に送出する（ステップ４１６）。以上の図４の処理は、符号化対象の画像にある対象ブロックの全部について実行してもよいし、符号化対象の画像にある対象ブロックの一部について実行してもよい。

［(2)画面内予測の場合］
次に、本実施形態の画面内予測の場合について説明する。画面内予測では、信号生成器１０３に設けられた予測信号生成器２０１は、対象ブロックに空間的に隣接する既再生の画素値を用いて画面内予測信号を生成する。予測信号生成器２０１は、フレームメモリ１０４から、対象ブロックと同じ画面内にある既再生の画素信号を取得し、例えば図５（Ａ）〜図５（Ｉ）に示す９通りの方法で画面内の予測信号を生成し、生成された９通りの予測信号の中から対象ブロックに最も近い（誤差の少ない）予測信号を決定し、該最も近い予測信号（最適な予測信号）を生成するための補間方法を上記９通りの方法の中から決定する。

なお、図５（Ａ）〜図５（Ｉ）は、画面内予測で予測信号を生成する具体的な方法を示す模式図であり、該具体的な方法は例えば前述した特許文献２に記載されている。図５（Ａ）〜図５（Ｉ）のうち、例えば図５（Ａ）では、ブロック５０２は対象ブロックを示し、その対象ブロック５０２の境界に隣接する画素Ａ〜Ｍからなる画素群５０１は、過去の処理において既に再生された画像信号（既再生の画像信号）である。この図５（Ａ）では、対象ブロック５０２の各列に下向きの矢印が示されているように、対象ブロック５０２における最も左側の列の４つの画素の画像信号は全て、真上にある画素Ａの画像信号と同じとする。対象ブロック５０２における他の列についても同様に、それぞれの真上にある画素Ｂ〜Ｄの画像信号と同じとする。このようにして対象ブロック５０２についての予測信号を生成する。また、図５（Ｂ）では、対象ブロック５０４の各列に右向きの矢印が示されているように、対象ブロック５０４における最も上の行の４つの画素の画像信号は全て、当該行の左にある画素Ｉの画像信号と同じとする。対象ブロック５０４における他の行についても同様に、それぞれの左にある画素Ｊ〜Ｌの画像信号と同じとする。このようにして対象ブロック５０４についての予測信号を生成する。また、図５（Ｃ）では、対象ブロック５０６の各画素の画像信号は全て、計８つの画素Ａ〜Ｄ、Ｉ〜Ｌの画像信号の平均値とすることで、対象ブロック５０６についての予測信号を生成する。その他の図５（Ｄ）〜図５（Ｉ）では、各図内の矢印に沿った方向に位置する複数の画素の既再生画像信号に対し、該矢印に相関した所定の加重平均演算式による加重平均演算を行うことで、対象ブロックの各画素の画像信号を求め、対象ブロックについての予測信号を生成する。

このように図５（Ａ）〜図５（Ｉ）に示す方法で生成された９通りの予測信号のそれぞれについて、対象ブロックの画素信号との差分を算出し、該差分が最も小さい予測信号を最適な予測信号として決定し、該最適な予測信号を求める際に用いた方法を最適な補間方法として決定する。

このようにして決定された補間方法に関する情報は、ラインＬ１１２経由で図１のエントロピー符号化器１１１に送られ、エントロピー符号化器１１１により符号化された上で出力端子１１２から出力される。また、上記補間方法に関する情報は、ラインＬ２０１経由でパラメータ推定器２０２に送られ、パラメータ推定器２０２は、以下のようにして、予測信号生成器２０１にて決定された最適な予測信号をさらに近似させるための近似パラメータを推定する。

図６を用いてパラメータ推定器２０２の動作を説明する。ブロック６０１は現在の処理対象とする対象ブロックである。パラメータ推定器２０２は、対象ブロック６０１の位置情報に基づいて、該対象ブロック６０１に隣接する画素群６０２をラインＬ１０４経由でフレームメモリ１０４から取得する。本実施形態では、対象ブロック６０１に隣接する画素群６０２を「対象隣接画素群６０２」とよび、対象隣接画素群６０２は、対象ブロック６０１の上と左に隣接するＮ／２画素を含む逆「Ｌ」字の領域にある既再生画素から構成されている。ここでＮは対象ブロック６０１の縦または横の画素数である。

次に、パラメータ推定器２０２は、ラインＬ２０１経由で入力された補間方法に関する情報によって指定される補間方法で、対象隣接画素群６０２に隣接する画素６０３〜６２１を用いて、対象隣接画素群６０２に対応する補間信号を生成する。生成された補間信号は対象隣接画素群６０２と同じ形状をもち、同じ数の画素から構成される。この生成された補間信号は、画面内予測の場合の「予測隣接画素群」である。なお、上記の逆「Ｌ」字のほかに、対象ブロック６０１の上に位置するＮ×Ｎ個の画素からなるブロックを対象隣接画素群としてもよいし、対象ブロック６０１の左に位置するＮ×Ｎ個の画素からなるブロックを対象隣接画素群としてもよいし、さらに、対象ブロック６０１の上に位置するＮ×Ｎ個の画素からなるブロックと、対象ブロック６０１の左に位置するＮ×Ｎ個の画素からなるブロックの計２個のブロックを対象隣接画素群としてもよい。これらの場合、予測隣接画素群は、対象隣接画素群に対応させる必要がある。

次に、パラメータ推定器２０２は、対象隣接画素群６０２と上記のように補間により生成した予測隣接画素群とを用いて近似パラメータを以下のように導出する。本実施形態では、前述した式（１）により、予測隣接画素群を対象隣接画素群６０２の近似とする。

式（１）でのｘ（ｉ，ｊ）は対象隣接画素群６０２にある（ｉ，ｊ）番目の画素であり、ｙ（ｉ，ｊ）は予測隣接画素群にある（ｉ，ｊ）番目の画素である。ｓとｖは近似パラメータであり、これら近似パラメータｓとｖは、前述した式（２）に示す評価式の最小点を与えるｓとｖを算出することで求める。なお、式（１）の代わりにそれ以外の近似式（例えば前述した式（５））を用いてもよい。式（５）を用いる場合、近似パラメータはａ，ｂ，ｃとなる。この場合、予測信号を湾曲させて近似することができる。

このようにして求めた近似パラメータは、補間方法に関する情報とともに、図２のラインＬ２０２経由で近似信号生成器２０３に送られる。近似信号生成器２０３は、近似パラメータを用いて近似信号を生成する。具体的には、近似信号生成器２０３は、ラインＬ１０４経由でフレームメモリ１０４から、対象ブロックに隣接する画素（図５の画素Ａ〜Ｍ）を取得し、ラインＬ２０２経由で入力された補間方法に関する情報に基づいて、予測信号を生成する。この予測信号の各画素を前述した式（６）のｙ^＊（ｉ，ｊ）として、近似パラメータｓとｖを用いて式（６）に示すように予測信号を変換し、近似信号の各画素ｘ^＊（ｉ，ｊ）を得る。このように求めた近似信号は、ラインＬ１０３経由で図１の減算器１０５に送られる。

なお、近似信号生成器２０３は、必ずしも予測信号を生成する必要はなく、例えば予測信号生成器２０１により決定された最適な予測信号を予測信号生成器２０１から取得してもよい。本実施形態では、上記の近似パラメータｓとｖは、符号化されて蓄積又は送信されることはない。

図７は、信号生成器１０３により実行される、近似信号を生成するための画面内予測処理の流れ図を示す。図７のステップ７１１では、予測信号生成器２０１は、前述したように図５（Ａ）〜図５（Ｉ）に示す９通りの方法の中から、周辺画素を用いて対象ブロックについての最適な予測信号を決定し、該最適な予測信号を求めることができる補間方法（即ち、最適な補間方法）を決定する。これにより、最適な補間方法が決定され、該補間方法に関する情報はパラメータ推定器２０２に入力される。ステップ７１２では、パラメータ推定器２０２は、対象ブロックに隣接する対象隣接画素群の画素を取得する。対象隣接画素群としては、例えば図６に示す対象隣接画素群６０２が用いられる。ステップ７１３では、パラメータ推定器２０２は、ステップ７１１にて決定された補間方法に従って、対象隣接画素群の周辺画素（図６の画素６０３〜６２１）を用いて対象隣接画素群６０２に対応する予測隣接画素群の補間信号を生成する。

次に、パラメータ推定器２０２は、対象隣接画素群と予測隣接画素群とを用いて近似パラメータを求める（ステップ７１４）。具体的には、前述した式（２）の最小値を与える式（３）と式（４）を用いて、近似パラメータｓとｖを求める。求められた近似パラメータｓとｖは、ステップ７１１にて決定された補間方法に関する情報とともに、近似信号生成器２０３に入力される。

そして、ステップ７１５では、近似信号生成器２０３は、近似パラメータを用いて近似信号を生成する。具体的には、近似信号生成器２０３は、ラインＬ１０４経由でフレームメモリ１０４から、対象ブロックに隣接する画素（図５の画素Ａ〜Ｍ）を取得し、ラインＬ２０２経由で入力された補間方法に関する情報に基づいて、予測信号を生成する。さらに近似信号生成器２０３は、近似パラメータｓとｖを用いて、上記予測信号を、前述した式（６）により変換し、近似信号ｘ^＊（ｉ，ｊ）を算出する。最後に、近似信号生成器２０３は、算出された近似信号を減算器１０５に送出する（ステップ７１６）。以上の図７の処理は、符号化対象の画像にある対象ブロックの全部について実行してもよいし、符号化対象の画像にある対象ブロックの一部について実行してもよい。

［信号生成器の別の形態］
図８は、本実施形態に係る信号生成器１０３の別の形態を示すブロック図である。この図８に示す信号生成器１０３には、図１のラインＬ１０２とラインＬ１１２が接続されていない。それ以外の構成については、図８の信号生成器１０３は図２の信号生成器と同じである。なお、動画像予測符号化装置に図８の信号生成器と図２の信号生成器の両方を設け、これらの信号生成器を切り替えて動作させる構成としてもよい。以下、図８に示す信号生成器１０３の動作を述べる。

信号生成器１０３に設けられた予測信号生成器８０１は、対象ブロックについての最適な予測信号を生成する。再び図３を用いて予測信号生成器８０１の処理を説明する。現在の処理対象となる対象ブロック３０２は、システム全体の制御部（不図示）によって管理されている位置情報によって特定される。予測信号生成器８０１は、対象ブロック３０２の位置情報に基づいて、該対象ブロック３０２に隣接する画素群３０３を、ラインＬ１０４経由でフレームメモリ１０４から取得する。本実施形態では、画素群３０３を「対象隣接画素群３０３」とよび、この対象隣接画素群は、対象ブロック３０２の上と左に隣接するＮ／２画素を含む逆「Ｌ」字の領域にある既再生された画素から構成されている。ここでＮは対象ブロック３０２の縦または横の画素数である。

次に、予測信号生成器８０１は、対象画像３０１とは異なる参照画像３０６にある参照領域３０９の範囲内で、対象隣接画素群３０３との間で最も誤差の少ない画素群を求める。具体的には、予測信号生成器８０１は、参照領域３０９の範囲内にある画素群を一画素ずつ、ずらしながら、該画素群と対象隣接画素群３０３とのマッチングをとり、画素群同士の差分の絶対値の和が最も小さいものを見つけ、該差分の絶対値の和が最も小さくなる画素群を対象隣接画素群３０３についての予測信号とする。この予測信号を「予測隣接画素群」とよぶ。図３では画素群３０８を、対象隣接画素群３０３についての予測隣接画素群３０８として取得する。そして、予測信号生成器８０１は、対象隣接画素群３０３と対象ブロック３０２の位置関係と同じ位置関係にある、予測隣接画素群３０８に対応した領域３０７の画素信号を、対象ブロック３０２についての予測信号３０７として取得する。このようなマッチング方法はテンプレートマッチングと呼ぶ。上記のように逆「Ｌ」字の対象隣接画素群を用いたマッチングを行うことにより、対象ブロックについての予測信号を特定することができる。そのため、予測信号を特定するための動き情報を符号化する必要がない。

次に、パラメータ推定器８０２は、上記のように取得した対象隣接画素群３０３と予測隣接画素群３０８とを用いて、前述した方法で近似パラメータを導出する。導出した近似パラメータは近似信号生成器８０３に送られ、近似信号生成器８０３は、前述した方法で近似パラメータを用いて予測信号３０７を変換することで、対象ブロック３０２についての近似信号を生成する。生成された近似信号は、ラインＬ１０３経由で図１の減算器１０５に送られる。

なお、上記の方法では、対象画像３０１とは異なる参照画像３０６を参照領域としたが、対象画像３０１にある既再生画素からなる領域３０４又は該領域３０４の一部を参照領域とし、上記と同様にマッチング処理を行うことにより画面内予測を実現することができる。この場合、受信側でも、同じマッチング処理を行うことにより対象ブロックについての予測信号を特定することができる。そのため、動画像予測符号化装置において、予測信号を生成するための補間方法に関する情報を符号化し送信する必要がない。

図９は、図８に示した実施形態による近似信号を生成するための予測処理の流れ図である。図９のステップ９１１では、予測信号生成器８０１は、対象ブロック３０２の位置情報に基づいて、該対象ブロック３０２に隣接する対象隣接画素群３０３を、ラインＬ１０４経由でフレームメモリ１０４から取得し、前述したテンプレートマッチングの方法で、対象隣接画素群３０３との間で最も誤差の少ない予測隣接画素群３０８を参照領域から取得する。次のステップ９１２で予測信号生成器８０１は、対象隣接画素群３０３と対象ブロック３０２の位置関係と同じ位置関係にある、予測隣接画素群３０８に対応した領域３０７の画素信号を、対象ブロック３０２についての予測信号３０７として取得する。

次にステップ９１３では、パラメータ推定器８０２は、上記のように取得した対象隣接画素群３０３と予測隣接画素群３０８とを用いて、前述した方法で近似パラメータを求める。具体的には、前述した式（２）の最小値を与える式（３）と式（４）を用いて、近似パラメータｓとｖを求める。

求められた近似パラメータｓとｖは近似信号生成器８０３に送られ、近似信号生成器８０３は、前述した方法で近似パラメータｓとｖを用いて予測信号を式（６）のように変換することで、対象ブロック３０２についての近似信号ｘ^＊（ｉ，ｊ）を生成する（ステップ９１４）。最後に、近似信号生成器８０３は、生成した近似信号を図１の減算器１０５に出力する（ステップ９１５）。

なお、以上の図９の処理は、符号化対象の画像にある対象ブロックの全部について実行してもよいし、符号化対象の画像にある対象ブロックの一部について実行してもよい。また、ステップ９１４で変換される予測信号は、近似信号生成器８０３が生成したものでもよいし、ステップ９１２で予測信号生成器８０１により生成され近似信号生成器８０３に送られたものでもよい。

［動画像予測復号装置について］
次に、本実施形態に係る動画像予測復号装置について説明する。図１０は、本実施形態に係る動画像予測復号装置１０００のブロック図を示す。図１０に示すように、動画像予測復号装置１０００は、入力端子１００１、データ解析器１００２、逆量子化器１００３、逆変換器１００４、加算器１００５、信号生成器１００８、フレームメモリ１００７、及び、出力端子１００６を備えている。

［動画像予測復号装置における動作概要］
このような動画像予測復号装置１０００について、以下、各構成部の動作を述べる。上述した図１の動画像予測符号化装置１００により圧縮符号化された圧縮データは入力端子１００１から入力される。この圧縮データには、符号化された残差信号、量子化パラメータ、及び、近似信号の生成に関連する情報が含まれている。近似信号の生成に関連する情報としては、前述した画面間予測のための動き情報、及び画面内予測のための補間方法に関する情報の少なくとも一方が含まれる。なお、テンプレートマッチングにより近似信号を生成する場合には、近似信号の生成に関連する情報は含まれない。

データ解析器１００２は、圧縮データより、対象ブロックの残差信号、近似信号の生成に関連する情報、量子化パラメータを抽出する。このうち対象ブロックの残差信号と量子化パラメータはラインＬ１００２経由で逆量子化器１００３に送られ、逆量子化器１００３は量子化パラメータをもとに対象ブロックの残差信号を逆量子化する。逆量子化後の残差信号はラインＬ１００３経由で逆変換器１００４に送られ、逆変換器１００４は該逆量子化後の残差信号を逆離散コサイン変換する。これにより残差信号は復元され、復元された残差信号はラインＬ１００４経由で加算器１００５に送られる。

一方、近似信号の生成に関連する情報はラインＬ１００２ｂ経由で信号生成器１００８に送られ、信号生成器１００８は、近似信号の生成に関連する情報をもとに、ラインＬ１００７経由でフレームメモリ１００７から参照信号を取得し、後述する方法で近似信号を生成する。この近似信号はラインＬ１００８経由で加算器１００５に送られ、加算器１００５は上記復元された残差信号と近似信号とを加算することで対象ブロック信号を再生する。再生された対象ブロック信号は、ラインＬ１００５経由で、出力端子１００６から外部へ出力されるとともにフレームメモリ１００７に格納される。

次に、図１１を用いて、動画像予測復号装置１０００に設けられた信号生成器１００８の構成・動作について説明する。図１１に示すように信号生成器１００８は、近似パラメータを推定するパラメータ推定器１１０１、及び、近似信号を生成する近似信号生成器１１０２を備える。以下、信号生成器１００８の動作について、(1)画面間予測の場合、(2)画面内予測の場合の順に説明する。

［(1)画面間予測の場合］
本実施形態の画面間予測では、信号生成器１００８に設けられたパラメータ推定器１１０１は、予測信号を変換するための近似パラメータを以下のようにして推定する。具体的には、パラメータ推定器１１０１は、現在の復号対象となる対象ブロックの位置情報に基づいて、該対象ブロックに隣接する画素群をラインＬ１００７経由でフレームメモリ１００７から取得する。対象ブロックの位置情報は、システム全体の制御部（不図示）によって管理されている。本実施形態では、対象ブロックに隣接する画素群を「対象隣接画素群」とよび、図３では対象隣接画素群３０３が該当する。

次に、パラメータ推定器１１０１は、参照画像からラインＬ１００２ｂ経由で送られた動き情報によって特定される予測信号に隣接する画素群を取得する。この画素群を「予測隣接画素群」とよぶ。予測隣接画素群と予測信号との位置関係は、対象隣接画素群と対象ブロックとの位置関係と同じである。

そして、パラメータ推定器１１０１は、取得した対象隣接画素群ｘ（ｉ，ｊ）と予測隣接画素群ｙ（ｉ，ｊ）とを用いて近似パラメータを導出する。本実施形態では、前述した式（２）の最小値を与える式（３）と式（４）を用いて、近似パラメータｓとｖを求める。これらの近似パラメータｓとｖはラインＬ１１０１経由で近似信号生成器１１０２に送られる。

近似信号生成器１１０２は、ラインＬ１００２ｂ経由で送られた動き情報をもとに、対象ブロックに対応した予測信号をフレームメモリ１００７から取得する。次に、近似信号生成器１１０２は、近似パラメータｓとｖを用いて、予測信号を式（６）のように変換し、近似信号の各画素ｘ^＊（ｉ，ｊ）を得る。このように求めた近似信号は、ラインＬ１００８経由で図１０の加算器１００５に送られる。

［(2)画面内予測の場合］
画面内予測の場合も画面間予測と類似する処理で近似信号が生成される。具体的には、パラメータ推定器１１０１は、現在の復号対象となる対象ブロックの位置情報に基づいて、該対象ブロックに隣接する画素群（対象隣接画素群）をラインＬ１００７経由でフレームメモリ１００７から取得する。対象ブロックの位置情報はシステム全体の制御部（不図示）によって管理されている。対象隣接画素群は例えば図６の画素群６０２に該当する。

次に、パラメータ推定器１１０１は、ラインＬ１００２ｂ経由で送られた補間方法に関する情報に基づいて対象隣接画素群についての補間信号を生成する。具体的には、パラメータ推定器１１０１は、ラインＬ１００２ｂ経由で送られた補間方法に関する情報によって特定される補間方法で、対象隣接画素群に隣接する画素（図６の画素６０３〜６２１）を用いて、対象隣接画素群に対応した補間信号（予測隣接画素群）を生成する。生成された予測隣接画素群は対象隣接画素群と同じ形状をもち、同じ数の画素から構成される。

さらに、パラメータ推定器１１０１は、このようにして生成された予測隣接画素群ｙ（ｉ，ｊ）と対象隣接画素群ｘ（ｉ，ｊ）とを用いて近似パラメータを導出する。本実施形態では、前述した式（２）の最小値を与える式（３）と式（４）を用いて近似パラメータｓとｖを求める。これらの近似パラメータｓとｖはラインＬ１１０１経由で近似信号生成器１１０２に送られる。

近似信号生成器１１０２は、ラインＬ１００２ｂ経由で入力される補間方法に関する情報により特定される補間方法で、対象ブロックの周辺にある既に再生された画素を用いて予測信号を生成する。具体的には、近似信号生成器１１０２は、ラインＬ１００７経由でフレームメモリ１００７から、対象ブロックに隣接する画素（図５の画素Ａ〜Ｍ）を取得し、ラインＬ１００２ｂ経由で送られた補間方法に関する情報に基づいて、予測信号を生成する。この予測信号の各画素を式（６）のｙ^＊（ｉ，ｊ）とし、近似パラメータｓとｖを用いて式（６）に示すように予測信号を変換することで、近似信号の各画素ｘ^＊（ｉ，ｊ）を求める。求められた近似信号はラインＬ１００８経由で加算器１００５に送られる。

図１２は、信号生成器１００８により実行される、近似信号を生成するための予測処理の流れ図を示す。この流れ図は、画面間予測の場合と画面内予測の場合で共通なので、以下、両方の場合を併せて説明する。

図１２のステップ１２１１では、パラメータ推定器１１０１は、現在の復号対象となる対象ブロックの位置情報に基づいて、該対象ブロックに隣接する画素群（対象隣接画素群）をラインＬ１００７経由でフレームメモリ１００７から取得する。次にステップ１２１２では、パラメータ推定器１１０１は、外部から入力された識別情報に基づいて、予測隣接画素群の信号を取得もしくは生成する。画面間予測の場合は、識別情報は動き情報であり、パラメータ推定器１１０１は動き情報に基づいて予測隣接画素群を取得する。一方、画面内予測の場合は、識別情報は補間方法に関する情報であり、パラメータ推定器１１０１は、補間方法に関する情報に基づいて予測隣接画素群を生成する。次のステップ１２１３では、パラメータ推定器１１０１は、対象隣接画素群と予測隣接画素群とから上述した方法で近似パラメータを求める。求められた近似パラメータは、近似信号生成器１１０２へ送られる。

次のステップ１２１４では、近似信号生成器１１０２は、ステップ１２１２と同じ識別情報に基づいて、予測信号を取得もしくは生成する。画面間予測の場合は、識別情報は動き情報であり、近似信号生成器１１０２は動き情報に基づいて予測信号を取得する。一方、画面内予測の場合は、識別情報は補間方法に関する情報であり、近似信号生成器１１０２は、補間方法に関する情報に基づいて予測信号を生成する。さらにステップ１２１５では、近似信号生成器１１０２は、取得または生成された予測信号を、ステップ１２１３で求められた近似パラメータにより変換することで、近似信号を生成する。生成された近似信号はラインＬ１００８経由で加算器１００５に出力される（ステップ１２１６）。

なお、動画像予測符号化装置における図２の信号生成器１０３は、動画像予測復号装置における図１１の信号生成器１００８に対応し、信号生成処理の流れ図（画面間予測の場合は図４、画面内予測の場合は図７）は図１２の流れ図に対応する。

ところで、図８に示す信号生成器１０３の別の形態は、動画像予測符号化装置に設けられた場合と、動画像予測復号装置に設けられた場合とで同じ動作をし、図９の信号生成処理の流れ図も同様に、符号化処理と復号処理とで同じ処理となる。即ち、動画像予測復号装置に設けられた信号生成器１０３は、前述した動画像予測符号化装置に設けられた場合の動作と同じ動作をするため、ここでは、重複した説明は省略する。

つまり、受信側となる動画像予測復号装置の信号生成器１０３でも、動画像予測符号化装置の信号生成器と同じマッチング処理を行うことにより、対象ブロックについての予測信号を特定することができる。そのため、動画像予測復号装置は、動画像予測符号化装置から、予測信号を生成するための補間方法に関する情報を受信する必要がない。

［動画像予測符号化プログラム・動画像予測復号プログラムと動作環境］
ところで、動画像予測符号化装置に係る発明は、コンピュータを動画像予測符号化装置として機能させるための動画像予測符号化プログラムに係る発明として捉えることができる。また、動画像予測復号装置に係る発明は、コンピュータを動画像予測復号装置として機能させるための動画像予測復号プログラムに係る発明として捉えることができる。動画像予測符号化プログラム及び動画像予測復号プログラムは、例えば、記録媒体に格納されて提供される。記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体や、半導体メモリ等が例示される。

図１３は、記録媒体１０に記録されたプログラムを実行するためのコンピュータ３０のハードウェア構成を示す図であり、図１４は、記録媒体１０に記録されたプログラムを実行するためのコンピュータ３０の斜視図である。ここでのコンピュータ３０としては、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。

図１３に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読み取り装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイ１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読み取り装置１２に挿入されると、読み取り装置１２から記録媒体１０に格納された動画像予測符号化プログラム及び動画像予測復号プログラムにアクセス可能になり、当該動画像予測符号化プログラム及び動画像予測復号プログラムによって、コンピュータ３０は、本実施形態に係る動画像予測符号化装置及び動画像予測復号装置として動作することが可能になる。

図１４に示すように、動画像予測符号化プログラム及び動画像予測復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０として、有線ネットワーク・無線ネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像予測符号化プログラム及び動画像予測復号プログラムをメモリ１６に格納し、当該動画像予測符号化プログラム及び動画像予測復号プログラムを実行することができる。

以上説明した本実施形態によれば、既再生画素からなる対象隣接画素群と、予測信号を含む予測ブロックに対し、対象隣接画素群と対象ブロックの位置関係と同じ位置関係にある、既再生画素からなる予測隣接画素群とを用いて、予測隣接画素群を対象隣接画素群に近似させるための近似パラメータを決定し、該近似パラメータを用いて予測信号を変換することで対象ブロックについての近似信号を求めるため、受信側でも近似パラメータを正しく導出することができ、近似パラメータを残差信号とともに符号化した上で蓄積もしくは伝送する必要がなくなり、近似パラメータによるデータ量の増加を抑えることができる。

これに伴い、画像を従来よりも細かいブロックに分割して、それぞれの小ブロックに対し輝度補正を行う場合や、対象信号が予測信号に対し非線形的な変化を示す場合でも、近似パラメータの増加に起因した補助情報のデータ量の増加を回避しつつ、高精度な近似信号を生成することできる。

以上より、少ない補助情報で高精度の近似信号を生成することができ、残差信号が減少し、動画像全体の符号量を大きく減らすことができる。

なお、受信側で上述の方法に従い近似パラメータを導出せずに、圧縮データの中に近似パラメータを示す関連情報（近似パラメータそのものか、あらかじめ定められた近似パラメータを識別するための識別情報）を含め、受信側でその近似パラメータを示す関連情報を抽出した上で、補間方法によって指定された方法に従い生成した予測信号、もしくはテンプレートマッチングで決定した予測信号にその近似パラメータを適用して近似信号を生成する。また、図５に示す補間方法の場合、近似パラメータを対象ブロックの境界に隣接する画素群（図５のＡ〜Ｍ）に直接に適用した上で予測信号を生成してもよい。

また、上記の近似方法を予測信号に適用するかどうかについて動画像予測符号化装置が決定した上で、近似方法を適用する場合に識別情報「１」を、近似方法を適用しない場合に「０」を、動画像予測復号装置に送信してもよい。この識別情報はシーケンス単位、フレーム単位または小領域単位で送受信される。識別情報の決定方法としては、例えば、予測信号と対象ブロックの信号との誤差値Ａと、予測信号に近似パラメータを適用することによって生成された近似信号と対象ブロックの信号との誤差値Ｂとを求め、誤差値Ａが誤差値Ｂより大きい場合に識別情報を「１」とし、誤差値Ｂが誤差値Ａより大きい場合に識別情報を「０」とする方法を採用することができる。そして、動画像予測復号装置は、受信された識別情報をもとに近似信号を生成する。すなわち、動画像予測復号装置は、識別情報が「１」のときには上述した方法で予測信号を生成した上で近似パラメータを適用して近似信号を生成し、識別情報が「０」のときには近似パラメータを適用しないで予測信号をそのまま近似信号とする。

本実施形態の動画像予測符号化装置を示すブロック図である。 動画像予測符号化装置に用いられる信号生成器を示すブロック図である。 近似信号の生成を説明するための模式図である。 動画像予測符号化装置で実行される画面間予測に係る近似信号生成の第１の処理を示す流れ図である。 画面内予測で予測信号を生成する具体的な方法を示す模式図である。 画面内における近似信号の生成を説明するための模式図である。 動画像予測符号化装置で実行される画面内予測に係る近似信号生成の第２の処理を示す流れ図である。 動画像予測符号化装置及び動画像予測復号装置に用いられる別の信号生成器を示すブロック図である。 図８の信号生成器によりテンプレートマッチングで近似信号を生成するため第３の処理を示す流れ図である。 本実施形態の動画像予測復号装置を示すブロック図である。 動画像予測復号装置に用いられる信号生成器を示すブロック図である。 動画像予測復号装置で実行される画面間予測及び画面内予測に係る近似信号生成の処理を示す流れ図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。

符号の説明

１０…記録媒体、１２…読み取り装置、１４…作業用メモリ、１６…メモリ、１８…ディスプレイ、２０…マウス、２２…キーボード、２４…通信装置、３０…コンピュータ、４０…コンピュータデータ信号、１００…動画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、２０１…予測信号生成器、２０２…パラメータ推定器、２０３…近似信号生成器、８０１…予測信号生成器、８０２…パラメータ推定器、８０３…近似信号生成器、１０００…動画像予測復号装置、１００１…入力端子、１００２…データ解析器、１００３…逆量子化器、１００４…逆変換器、１００５…加算器、１００６…出力端子、１００７…フレームメモリ、１００８…信号生成器、１１０１…パラメータ推定器、１１０２…近似信号生成器。

Claims (10)

1. 入力画像を複数の領域に分割する領域分割手段と、
   前記領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号についての近似信号を生成する予測信号生成手段と、
   前記予測信号生成手段により生成された近似信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、
   前記残差信号生成手段により生成された残差信号を符号化する符号化手段と、
   を備え、
   前記予測信号生成手段は、所定の方法で前記対象領域についての予測信号を決定し、前記対象領域に隣接する既再生画素からなる対象隣接画素群と、前記予測信号を含む参照領域に対し、前記対象領域と前記対象隣接画素群の位置関係と同じ位置関係にある、既再生画素からなる予測隣接画素群とを用いて、前記予測隣接画素群を前記対象隣接画素群に近似させるための近似パラメータを決定し、前記近似パラメータをもとに前記対象領域についての予測信号を変換することで、当該対象領域の対象画素信号についての近似信号を生成する、
   ことを特徴とする動画像予測符号化装置。
2. 入力画像を複数の領域に分割する領域分割手段と、
   前記領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号についての近似信号を生成する予測信号生成手段と、
   前記予測信号生成手段により生成された近似信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、
   前記残差信号生成手段により生成された残差信号を符号化する符号化手段と、
   を備え、
   前記予測信号生成手段は、前記対象領域より前に再生された画素から構成される領域を参照領域とし、前記対象領域に隣接する既再生画素からなる対象隣接画素群に対して、前記参照領域の中から最も相関の高い画素群を予測隣接画素群として導出し、前記対象隣接画素群と前記対象領域の位置関係と同じ位置関係にある、前記予測隣接画素群に対応した参照領域の画素信号を、前記対象領域についての予測信号として取得し、前記予測隣接画素群と前記対象隣接画素群とを用いて前記予測隣接画素群を前記対象隣接画素群に近似させるための近似パラメータを決定し、前記近似パラメータをもとに前記対象領域についての予測信号を変換することで、当該対象領域の対象画素信号についての近似信号を生成する、
   ことを特徴とする動画像予測符号化装置。
3. 圧縮データの中から、処理対象である対象領域についての残差信号の符号化データを抽出するデータ解析手段と、
   前記データ解析手段により抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、
   前記対象領域の対象画素信号についての近似信号を生成する予測信号生成手段と、
   前記予測信号生成手段により生成された近似信号と前記残差信号復元手段により復元された再生残差信号とを加算することによって、前記対象領域の対象画素信号を復元する画像復元手段と、
   を備え、
   前記予測信号生成手段は、所定の方法で前記対象領域についての予測信号を取得し、前記対象領域に隣接する既再生画素からなる対象隣接画素群と、前記予測信号を含む参照領域に対し、前記対象領域と前記対象隣接画素群の位置関係と同じ位置関係にある、既再生画素からなる予測隣接画素群とを用いて、前記予測隣接画素群を前記対象隣接画素群に近似させるための近似パラメータを決定し、前記近似パラメータをもとに前記対象領域についての予測信号を変換することで、当該対象領域の対象画素信号についての近似信号を生成する、
   ことを特徴とする動画像予測復号装置。
4. 圧縮データの中から、処理対象である対象領域についての残差信号の符号化データを抽出するデータ解析手段と、
   前記データ解析手段により抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、
   前記対象領域の対象画素信号についての近似信号を生成する予測信号生成手段と、
   前記予測信号生成手段により生成された近似信号と前記残差信号復元手段により復元された再生残差信号とを加算することによって、前記対象領域の対象画素信号を復元する画像復元手段と、
   を備え、
   前記予測信号生成手段は、前記対象領域より前に再生された画素から構成される領域を参照領域とし、前記対象領域に隣接する既再生画素からなる対象隣接画素群に対して、前記参照領域の中から最も相関の高い画素群を予測隣接画素群として導出し、前記予測隣接画素群と前記対象隣接画素群とを用いて前記予測隣接画素群を前記対象隣接画素群に近似させるための近似パラメータを決定し、前記対象隣接画素群と前記対象領域の位置関係と同じ位置関係にある、前記予測隣接画素群に対応した参照領域の画素信号を前記近似パラメータに基づいて変換することで、前記対象領域についての近似信号を生成する、
   ことを特徴とする動画像予測復号装置。
5. 動画像予測符号化装置により実行される動画像予測符号化方法であって、
   入力画像を複数の領域に分割する領域分割ステップと、
   前記領域分割ステップにより分割された複数の領域のうちの処理対象である対象領域の対象画素信号についての近似信号を生成する予測信号生成ステップと、
   前記予測信号生成ステップにより生成された近似信号と前記対象画素信号との残差信号を生成する残差信号生成ステップと、
   前記残差信号生成ステップにより生成された残差信号を符号化する符号化ステップと、
   を備え、
   前記予測信号生成ステップでは、所定の方法で前記対象領域についての予測信号を決定し、前記対象領域に隣接する既再生画素からなる対象隣接画素群と、前記予測信号を含む参照領域に対し、前記対象領域と前記対象隣接画素群の位置関係と同じ位置関係にある、既再生画素からなる予測隣接画素群とを用いて、前記予測隣接画素群を前記対象隣接画素群に近似させるための近似パラメータを決定し、前記近似パラメータをもとに前記対象領域についての予測信号を変換することで、当該対象領域の対象画素信号についての近似信号を生成する、
   ことを特徴とする動画像予測符号化方法。
6. 動画像予測符号化装置により実行される動画像予測符号化方法であって、
   入力画像を複数の領域に分割する領域分割ステップと、
   前記領域分割ステップにより分割された複数の領域のうちの処理対象である対象領域の対象画素信号についての近似信号を生成する予測信号生成ステップと、
   前記予測信号生成ステップにより生成された近似信号と前記対象画素信号との残差信号を生成する残差信号生成ステップと、
   前記残差信号生成ステップにより生成された残差信号を符号化する符号化ステップと、
   を備え、
   前記予測信号生成ステップでは、前記対象領域より前に再生された画素から構成される領域を参照領域とし、前記対象領域に隣接する既再生画素からなる対象隣接画素群に対して、前記参照領域の中から最も相関の高い画素群を予測隣接画素群として導出し、前記対象隣接画素群と前記対象領域の位置関係と同じ位置関係にある、前記予測隣接画素群に対応した参照領域の画素信号を、前記対象領域についての予測信号として取得し、前記予測隣接画素群と前記対象隣接画素群とを用いて前記予測隣接画素群を前記対象隣接画素群に近似させるための近似パラメータを決定し、前記近似パラメータをもとに前記対象領域についての予測信号を変換することで、当該対象領域の対象画素信号についての近似信号を生成する、
   ことを特徴とする動画像予測符号化方法。
7. 動画像予測復号装置により実行される動画像予測復号方法であって、
   圧縮データの中から、処理対象である対象領域についての残差信号の符号化データを抽出するデータ解析ステップと、
   前記データ解析ステップにより抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元ステップと、
   前記対象領域の対象画素信号についての近似信号を生成する予測信号生成ステップと、
   前記予測信号生成ステップにより生成された近似信号と前記残差信号復元ステップにより復元された再生残差信号とを加算することによって、前記対象領域の対象画素信号を復元する画像復元ステップと、
   を備え、
   前記予測信号生成ステップでは、所定の方法で前記対象領域についての予測信号を取得し、前記対象領域に隣接する既再生画素からなる対象隣接画素群と、前記予測信号を含む参照領域に対し、前記対象領域と前記対象隣接画素群の位置関係と同じ位置関係にある、既再生画素からなる予測隣接画素群とを用いて、前記予測隣接画素群を前記対象隣接画素群に近似させるための近似パラメータを決定し、前記近似パラメータをもとに前記対象領域についての予測信号を変換することで、当該対象領域の対象画素信号についての近似信号を生成する、
   ことを特徴とする動画像予測復号方法。
8. 動画像予測復号装置により実行される動画像予測復号方法であって、
   圧縮データの中から、処理対象である対象領域についての残差信号の符号化データを抽出するデータ解析ステップと、
   前記データ解析ステップにより抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元ステップと、
   前記対象領域の対象画素信号についての近似信号を生成する予測信号生成ステップと、
   前記予測信号生成ステップにより生成された近似信号と前記残差信号復元ステップにより復元された再生残差信号とを加算することによって、前記対象領域の対象画素信号を復元する画像復元ステップと、
   を備え、
   前記予測信号生成ステップでは、前記対象領域より前に再生された画素から構成される領域を参照領域とし、前記対象領域に隣接する既再生画素からなる対象隣接画素群に対して、前記参照領域の中から最も相関の高い画素群を予測隣接画素群として導出し、前記予測隣接画素群と前記対象隣接画素群とを用いて前記予測隣接画素群を前記対象隣接画素群に近似させるための近似パラメータを決定し、前記対象隣接画素群と前記対象領域の位置関係と同じ位置関係にある、前記予測隣接画素群に対応した参照領域の画素信号を前記近似パラメータに基づいて変換することで、前記対象領域についての近似信号を生成する、
   ことを特徴とする動画像予測復号方法。
9. コンピュータを、請求項１又は２に記載の動画像予測符号化装置として機能させるための動画像予測符号化プログラム。
10. コンピュータを、請求項３又は４に記載の動画像予測復号装置として機能させるための動画像予測復号プログラム。
    

Images