JP5318827B2 - 画像予測符号化装置、方法およびプログラム、並びに、画像予測復号装置、方法およびプログラム - Google Patents

Description

本発明は、画像予測符号化装置、方法およびプログラム、並びに、画像予測復号装置、方法およびプログラムに関するものであり、とりわけ、画面内予測を伴う予測符号化又は復号を行う装置、方法およびプログラムに関するものである。

画像データ（静止画像データおよび動画像データ）の伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像データの場合はＭＰＥＧ１〜４やＩＴＵ（International Telecommunication Union） Ｈ．２６１〜Ｈ．２６４等の方式が広く用いられている。

これらの符号化方式では、符号化の対象となる画像データを複数のブロックに分割した上で符号化処理又は復号処理を行う。ＭＰＥＧ４やＨ．２６４においては、符号化効率をさらに高めるため、画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（圧縮された画像データが復元されたもの）を用いて予測信号を生成した上で、その予測信号を対象ブロックの信号から引き算することによって得られる差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある隣接する既再生の画像信号を参照し、動きの補正を行ない、予測信号を生成し、その予測信号を対象ブロックの信号から引き算することによって得られる差分信号を符号化する。

具体的には、Ｈ．２６４の画面内予測符号化では、符号化の対象となるブロック（以下「対象ブロック」という）に隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。図９は、Ｈ．２６４に用いられる画面内予測方法を説明するための模式図である。図９の（Ａ）においてブロック９０２は対象ブロックであり、この対象ブロック９０２の境界に隣接する画素Ａ〜Ｍ（９０１）からなる画素群は隣接領域であり、過去の処理において既に再生された画像信号である。

図９の（Ａ）に示す場合、対象ブロック９０２の真上にある隣接画素である画素群９０１を下方に引き伸ばすことにより予測信号を生成する。また図９の（Ｂ）に示す場合では、対象ブロック９０４の左にある既再生画素（Ｉ〜Ｌ）を右に引き伸ばすことにより予測信号を生成する。予測信号を生成する具体的な方法は、例えば特許文献１に記載されている。このように図９の（Ａ）〜（Ｉ）に示す方法で生成された９つの予測信号のそれぞれと対象ブロックの画素信号との差分値を求め、差分値が最も小さいものに対応する方法を最適な予測方法とする。

この最適な予測方法の情報は、モード情報として、各対象ブロックの符号化された差分信号とともに出力される。

米国特許公報第６７６５９６４号

しかし、従来技術の画面内予測信号生成方法では、図９からわかるように、予測される対象ブロックの信号は、直線で近似できることを前提としている。図９の（Ａ）と（Ｂ）に加えて、図９の（Ｄ）〜（Ｉ）においても、既再生の画素信号を用いて、ある方向もしくは角度に傾いた直線で対象ブロックの信号を近似する。

ところが、一般の画像に見られる物体や絵柄は、必ずしも直線の境界やパターンから構成されているとは限らず、むしろ、曲線で表される場合が一般的である。例えば、図１０に示すブロック１００１内にある円形１００２の場合、ブロック１００１の境界に隣接する画素（図示されていない)を用いて、図９により説明した直線の外挿方法に基づく外挿を行っても、円形１００２を予測することは困難である。

図９に示す従来技術によって円形を予測するためには、円形の境界を直線で近似できるようにブロック１００１を細かく再分割しなければならない。図１０に示すブロック１００３は、ブロック１００１が４×４の小ブロックに分割された例を示す。ここで、各小ブロック（例えば小ブロック１００４）の境界を直線で近似することはできる。しかしながら、予測の精度は決して高いとは言えない。また、直線で近似できない信号については、図９の外挿方法に基づく外挿は実施できず、当該信号と既再生の信号との差分を求めて差分信号を送らないといけない。さらに、各小ブロックについて、それぞれの予測方法に関するモード情報をあわせて送る必要があるため、ブロック１００１を細かく再分割する場合には、上記モード情報などの付加情報（サイド情報）の量が増加し、全体として符号量を効率よく抑えることができなくなる場合がある。

本発明は、上記の課題を解決し、対象ブロック内の非直線の絵柄（境界やパターン・テクスチャー）に対しても効率よく予測し、符号化効率を高めることを目的とする。

本発明の一側面は、画像予測符号化に関する。本発明の一側面に係る画像予測符号化装置は、入力画像を複数のブロックに分割する領域分割手段と、前記複数のブロックのうち処理対象である対象ブロックに含まれる画素信号に対し、予測信号を生成する予測信号生成手段と、前記対象ブロックの画素信号と前記予測信号との残差信号を生成する残差信号生成手段と、前記残差信号を符号化し圧縮信号を生成する信号符号化手段と、前記圧縮信号を復元し、復元された信号を再生画素信号として格納する格納手段と、を備え、前記予測信号生成手段は、前記対象ブロックと同じ画面内にあり前記対象ブロックに隣接する既再生の参照画素群を用いて、前記対象ブロック内の対象画素を生成する際に、前記参照画素群を、当該参照画素群と前記対象画素との相対的位置座標により指定し、前記相対的位置座標の水平方向成分と垂直方向成分のうち、一方の座標成分を他方の座標成分の関数で表し、前記関数に関する情報を予測信号生成関連情報として符号化して出力する。

本発明の一側面に係る画像予測符号化方法は、画像予測符号化装置により実行される画像予測符号化方法であって、入力画像を複数のブロックに分割する領域分割ステップと、前記複数のブロックのうち処理対象である対象ブロックに含まれる画素信号に対し、予測信号を生成する予測信号生成ステップと、前記対象ブロックの画素信号と前記予測信号との残差信号を生成する残差信号生成ステップと、前記残差信号を符号化し圧縮信号を生成する信号符号化ステップと、前記圧縮信号を復元し、復元された信号を再生画素信号として格納する格納ステップと、を備え、前記予測信号生成ステップにおいて、画像予測符号化装置は、前記対象ブロックと同じ画面内にあり前記対象ブロックに隣接する既再生の参照画素群を用いて、前記対象ブロック内の対象画素を生成する際に、前記参照画素群を、当該参照画素群と前記対象画素との相対的位置座標により指定し、前記相対的位置座標の水平方向成分と垂直方向成分のうち、一方の座標成分を他方の座標成分の関数で表し、前記関数に関する情報を予測信号生成関連情報として符号化して出力する。

また、本発明の画像予測符号化プログラムは、コンピュータを上述した画像予測符号化装置の各手段として機能させる。

本発明の上述した一側面によれば、より柔軟に予測信号を生成することができ、対象ブロック内の非直線の絵柄（境界やパターン・テクスチャー）に対しても効率よく予測し、符号化効率を高めることができる。即ち、対象ブロックを細かく再分割しなくても非直線の絵柄を近似することができるため、サイド情報の量を少なく抑えることができる。

一実施形態においては、前記関数は、前記他方の座標成分を変数とする少なくとも２次の関数である。

また、一実施形態においては、前記予測信号生成関連情報は、少なくとも第１と第２のパラメータを有し、前記第１のパラメータは、前記関数に基づく曲線又は直線の傾きを示し、前記第２のパラメータは、前記他方の座標成分の変化に応じた前記一方の座標成分の増分を示す。

本発明の別の一側面は画像予測復号に関する。本発明の別の一側面に係る画像予測復号装置は、画像を複数のブロックに分割し前記ブロックを予測符号化することにより生成された残差信号と、前記ブロックの予測信号の生成方法を示す予測信号生成関連情報とを含む圧縮画像データを入力する入力手段と、前記圧縮画像データから、処理対象となる対象ブロックの残差信号を抽出して再生残差信号として復元する復元手段と、前記予測信号生成関連情報に基づいて前記対象ブロックの予測信号を生成する予測信号生成手段と、前記予測信号と前記再生残差信号とを加算することによって、前記対象ブロックの画素信号を復元する画像復元手段と、復元された画素信号を再生画素信号として格納する格納手段と、を備え、前記予測信号生成手段が、前記対象ブロックと同じ画面内にあり前記対象ブロックに隣接する既再生の参照画素群を用いて前記対象ブロック内の対象画素を生成する際に、前記参照画素群は、当該参照画素群と前記対象画素との相対的位置座標により指定され、前記相対的位置座標の水平方向成分と垂直方向成分のうち、一方の座標成分は他方の座標成分の関数で表され、前記関数は前記予測信号生成関連情報によって定義される。

本発明の別の一側面係る画像予測復号方法は、画像予測復号装置により実行される画像予測復号方法であって、画像を複数のブロックに分割し前記ブロックを予測符号化することにより生成された残差信号と、前記ブロックの予測信号の生成方法を示す予測信号生成関連情報とを含む圧縮画像データを入力する入力ステップと、前記圧縮画像データから、処理対象となる対象ブロックの残差信号を抽出して再生残差信号として復元する復元ステップと、前記予測信号生成関連情報に基づいて前記対象ブロックの予測信号を生成する予測信号生成ステップと、前記予測信号と前記再生残差信号とを加算することによって、前記対象ブロックの画素信号を復元する画像復元ステップと、復元された画素信号を再生画素信号として格納する格納ステップと、を備え、前記予測信号生成ステップにおいて、前記画像予測復号装置が、前記対象ブロックと同じ画面内にあり前記対象ブロックに隣接する既再生の参照画素群を用いて前記対象ブロック内の対象画素を生成する際に、前記参照画素群は、当該参照画素群と前記対象画素との相対的位置座標により指定され、前記相対的位置座標の水平方向成分と垂直方向成分のうち、一方の座標成分は他方の座標成分の関数で表され、前記関数は前記予測信号生成関連情報によって定義される。

また、本発明の別の一側面に係る画像予測復号プログラムは、コンピュータを上述した画像予測復号装置の各手段として機能させる。

本発明の別の一側面によれば、上述した画像予測符号化によって生成される圧縮データから画像を復号することができる。

一実施形態においては、前記関数は、前記他方の座標成分を変数とする少なくとも２次の関数である。

また、一実施形態においては、前記予測信号生成関連情報は、少なくとも第１と第２のパラメータを有し、前記第１のパラメータは、前記関数に基づく曲線又は直線の傾きを示し、前記第２のパラメータは、前記他方の座標成分の変化に応じた前記一方の座標成分の増分を示す。

本発明によれば、より柔軟に予測信号を生成することができ、対象ブロック内の非直線の絵柄（境界やパターン・テクスチャー）に対しても効率よく予測し、符号化効率を高めることができる。即ち、対象ブロックを細かく再分割しなくても非直線の絵柄を近似することができるため、サイド情報の量を少なく抑えることができる。

一実施形態に係る画像予測符号化装置を示すブロック図である。 一実施形態に係る画像予測復号装置を示すブロック図である。 一実施形態に係る予測信号生成方法を示す流れ図である。 一実施形態に係る予測信号生成方法を示す模式図である。 一実施形態に係る予測信号生成方法によって生成された予測信号の第１の例を示す図である。 一実施形態に係る予測信号生成方法によって生成された予測信号の第２の例を示す図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの概観図である。 従来技術に係る対象ブロックの予測信号を生成する方法を示す模式図である。 従来技術の課題を説明するための図である。 画像予測符号化プログラムのモジュールを示すブロック図である。 画像予測復号プログラムのモジュールを示すブロック図である。

以下、本発明に係る一実施形態について、図１〜図８、図１１、図１２を用いて説明する。

［画像予測符号化について］
図１は、一実施形態に係る画像予測符号化装置１００を示すブロック図である。この画像予測符号化装置１００は、入力端子１０１、ブロック分割器１０２、予測信号生成・選択器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、出力端子１１２を備えている。このうち予測信号生成・選択器１０３は、予測信号生成器１１３および予測信号選択器１１４を含んでいる。各構成要件の機能・動作については、以下の画像予測符号化装置１００の動作の中で説明する。

以上のように構成された画像予測符号化装置１００について、以下、その動作を述べる。複数枚の画像からなる動画像の信号は入力端子１０１に入力される。符号化の対象となる画像はブロック分割器１０２にて、複数の領域に分割される。一実施形態では、簡単化のため８×８の画素からなるブロックに分割されるが、それ以外のブロックの大きさ又は形に分割してもよい。後述するようにブロックのサイズが大きいほうが本発明の効果が一層大きくなる（例えば、１６×１６画素からなるブロックや３２×３２画素からなるブロック）。次に、符号化処理の対象となる領域（以下「対象ブロック」とよぶ）に対して予測信号を生成する。一実施形態では、画面間予測と画面内予測の両方を用いるが、本発明は特に画面内予測に関するものであるため、以下では画面内予測について詳細を説明する。画面間予測は従来技術であるＭＰＥＧ−２，ＭＰＥＧ−４、Ｈ．２６４のうちいずれかの方法と同じであるため、詳細はそれらの技術を参照されたい。

一実施形態に係る画面内予測方法では、対象ブロックと同じ画面内にある隣接する既再生の画素値を用いて画面内予測信号を生成する。具体的には予測信号生成・選択器１０３では、フレームメモリ１０４から同じ画面内にある既再生の画素信号を取得し、予測信号を生成するための画面内予測方法を所定の方法で決定し、その予測方法をもとに画面内予測信号を生成する。なお、予測信号生成・選択器１０３における画面内の予測信号生成の詳細は後に説明する。一方で、予測方法に関する情報は、ラインＬ１１２経由でエントロピー符号化器１１１に送られ、エントロピー符号化器１１１により符号化された上で、出力端子１１２から送出される。

上述のように求められた画面内予測信号と従来技術により求められた画面間予測信号のうち、誤差の最も小さいものが選択され、減算器１０５に送られる。但し、一枚目の画像については、過去の画像がないため、全ての対象ブロックは画面内予測で処理される。なお、下記に述べる画面内予測信号生成方法は、動画像のみでなく、写真などの静止画像の符号化・復号にも適用できる。

減算器１０５には、ラインＬ１０２経由で対象ブロックの画素信号が、ラインＬ１０３経由で予測信号が、それぞれ入力され、減算器１０５が対象ブロックの画素信号から予測信号を引き算することで残差信号を生成する。この残差信号は変換器１０６にて離散コサイン変換され、その各係数は量子化器１０７にて量子化される。最後に、量子化された変換係数（量子化パラメータ）は、エントロピー符号化器１１１により符号化され、符号化後の量子化パラメータは、予測方法に関する情報とともに出力端子１１２より出力される。

また、画像予測符号化装置１００では、後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、圧縮された対象ブロックの信号は以下のように逆処理され復元される。即ち、量子化された変換係数は逆量子化器１０８にて逆量子化されたのちに逆変換器１０９にて逆離散コサイン変換され、これにより残差信号が復元される。そして、復元された残差信号とラインＬ１０３から送られた予測信号とは加算器１１０により加算されることで対象ブロックの画素信号が再生され、再生された対象ブロックの画素信号はフレームメモリ１０４に格納される。なお、一実施形態では、変換器１０６と逆変換器１０９を用いているが、これらの変換器に代わるほかの変換処理を用いてもよいし、場合によっては、変換器１０６と逆変換器１０９がなくてもよい。

次に、図３〜図６を用いて予測信号生成・選択器１０３における画面内の予測信号生成方法を説明する。図４は、予測信号生成方法を説明するための模式図であり、符号化の対象となる対象ブロック４０１を示す。図４の各升目は１つの画素を示す。図４では、対象ブロック４０１は８×８個の画素から構成されている。対象ブロック４０１の上方にある一行の画素群Ｔ、および対象ブロック４０１の左辺にある一列の画素群Ｌは、既に符号化し再生された画素信号であり、これ以降「参照画素群」とよぶ。これらの信号は図１のフレームメモリ１０４に格納されている。

対象ブロック４０１内のそれぞれの画素に対し画面内予測信号を生成するが、ここでは、図４に示す対象ブロック４０１内の対象画素（ｘ，ｙ）を例にして説明する。対象画素の予測信号Ｐ（ｘ，ｙ）は、参照画素群Ｔの一部を用いて生成される。図４では、参照画素Ｔ（ｘ’）＝Ｔ（ｘ＋Δｘ_ｙ）を中心とした複数の参照画素から対象画素の予測信号Ｐ（ｘ，ｙ）を算出する。本実施形態では、以下の式（１Ａ）を用いて対象画素の予測信号Ｐ（ｘ，ｙ）を算出する。

この式（１Ａ）ではｘ’によって演算式が異なる。即ち、ｘ’が整数の場合は、Ｔ（ｘ’）を中心とした３画素のローパスフィルタで求める。ここではａ＝１、ｂ＝２である。一方、ｘ’が整数でない場合は、ｘ’の近傍にある２画素の線形補間で求める。この線形補間の係数はそれぞれ

と

である。

はｘ’以上の最小の整数、

はｘ’以下の最大の整数を示す。本実施形態では上述の関数を用いているが、それ以外の関数を用いてもよい。ここでの要点は、ｘ’を計算する際のΔｘ_ｙの求め方にある。

以下の式（２Ａ）はΔｘ_ｙの求め方を示す。

Δｘ_ｙはα_ｘ、β_ｘをパラメータとしたｙの関数である。即ち、垂直座標ｙが変わっていくうちに、Δｘ_ｙが変化する。数学的に式（２Ａ）は、以下の式（５）に整理しなおすことができる。言い換えると、Δｘ_ｙは垂直座標ｙの２次多項式で表すことができ、弧の形を表すことができる。

図５は、上記の式（１Ａ）と式（２Ａ）を用いて、参照画素群Ｔから対象ブロック５０１の予測信号を生成した例を示す。対象ブロック５０１内にある各升目の数値は画素の値を示し、弧の形をする絵柄の生成が可能であることがわかる。即ち、図５において画素の値が高い部分（ハッチングが付された部分）と画素の値が低い部分（ハッチングが付されていない部分）とで異なる絵柄が存在することがわかり、それらの絵柄の境界線が概ね弧の形をしていることがわかる。本実施形態ではα_ｘ、β_ｘに対し各対象ブロックによって異なる値を設定することで、さまざまな非直線の絵柄に対応させることができる。

図６はβ_ｘをゼロにした場合を示し、この場合、Δｘ_ｙは垂直座標ｙの１次多項式になり、図６に示すように対象ブロック６０１に対する予測信号は斜めの直線からなる絵柄を作ることができる。即ち、図６において画素の値が高い部分（ハッチングが付された部分）と画素の値が低い部分（ハッチングが付されていない部分）との境界線が斜めの直線になっていることがわかる。つまり、式（２Ａ）は非直線の絵柄だけではなくて、直線の絵柄の生成にも使うことができる。直線の絵柄を予測するにはβを常にゼロに設定するように画像予測復号装置側と約束しておけば、常に直線による近似予測を行うことができる。

上述した実施形態では、図４の参照画素群Ｔを用いた場合を説明したが、同様に図４の参照画素群Ｌを用いて予測信号を生成することもできる。この場合、式（１Ａ）に代わり以下の式（１Ｂ）を用い、式（２Ａ）に代わり以下の式（２Ｂ）を用いればよい。

対象ブロックの絵柄に応じて、参照画素群Ｔ又は参照画素群Ｌが選択的に用いられ、またそれぞれの場合に用いられるパラメータ（α_ｘ、β_ｘ）又は（α_ｙ、β_ｙ）の値は、対象ブロックごとに決定される。

これらの決定処理は、以下のように、図１の符号化装置における予測信号生成・選択器１０３によって行われる。予測信号選択器１１４は、予測信号を生成するために試すべきパラメータをラインＬ１１４経由で予測信号生成器１１３に送る。予測信号を生成するために試すべきパラメータは複数の組合せにより構成される。例えば、第１のパラメータセット（例えば、参照画素群Ｔを利用、α_ｘ＝１、β_ｘ＝１）に対し、予測信号生成器１１３は、式（１Ａ）と式（２Ａ）を用いて予測信号を生成する。生成された予測信号はラインＬ１１３経由で予測信号選択器１１４に送られる。そして、予測信号選択器１１４は、生成された予測信号と対象ブロックの信号との差分値を求め、その差分値を記録する。

また、第２のパラメータセット（例えば、参照画素群Ｌを利用、α_ｙ＝１、β_ｙ＝０）に対し、予測信号生成器１１３は、式（１Ｂ）と式（２Ｂ）を用いて予測信号を生成する。生成された予測信号はラインＬ１１３経由で予測信号選択器１１４に送られる。そして、予測信号選択器１１４は、生成された予測信号と対象ブロックの信号との差分を求め、今回の差分値と前回の差分値とを比較し、小さい方の差分値、および当該小さい方の差分値に対応するパラメータセットを記録する。ここでは、２つのパラメータセットの例を示したが、３つ以上のパラメータセットが存在する場合も同様に、予測信号選択器１１４は、全てのパラメータセットに対する評価を行った上で、最も小さい差分値を与えるパラメータセットを当該対象ブロックの最適パラメータセットとして決定し、当該最適パラメータセットを「予測方法に関する情報」としてエントロピー符号化器１１１に送る。また、「予測方法に関する情報」は予測信号生成器１１３にも送られ、予測信号生成器１１３は、この「予測方法に関する情報」に基づいて対象ブロックに対する最適画面内予測信号を生成し、ラインＬ１０３経由で減算器１０５および加算器１１０に送る。

図３は、予測信号生成器１１３により実行される処理の流れを示す。ステップ３０２では、予測信号生成器１１３は「予測方法に関する情報」を予測信号選択器１１４から受け取る。この「予測方法に関する情報」には、参照画素群Ｔ、Ｌの何れを参照するかを示す予測モード情報、およびパラメータα、βが含まれている。次のステップ３０３で予測信号生成器１１３は予測モード情報に従い、参照画素群Ｔを参照するかどうかを判断する。ここで、参照画素群Ｔを参照すると判断された場合はステップ３０４に進み、一方、参照画素群Ｌを参照すると判断された場合はステップ３０９に進む。

ステップ３０４では、予測信号生成器１１３は、パラメータαをパラメータα_ｘに、パラメータβをパラメータβ_ｘにそれぞれ代入し、ステップ３０５にて式（２Ａ）を用いてΔｘ_ｙを算出する。そして、予測信号生成器１１３はステップ３０６にて、算出されたΔｘ_ｙをもとに式（１Ａ）を用いて対象画素の予測信号Ｐ（ｘ，ｙ）を算出する。その後、ステップ３０６の処理は全てのｘについて実行され（ステップ３０７）、そして、ステップ３０５〜３０７の処理は全ての行（全てのｙ）について実行される（ステップ３０８）。このようにして、対象ブロックの全ての画素について予測信号が算出される。

一方、ステップ３０９に進んだ場合、予測信号生成器１１３は、パラメータαをパラメータα_ｙに、パラメータβをパラメータβ_ｙにそれぞれ代入し、ステップ３１０にて式（２Ｂ）を用いてΔｙ_ｘを算出する。そして、予測信号生成器１１３はステップ３１１にて、算出されたΔｙ_ｘをもとに式（１Ｂ）を用いて対象画素の予測信号Ｐ（ｘ，ｙ）を算出する。その後、ステップ３１１の処理は全てのｙについて実行され（ステップ３１２）、そして、ステップ３１０〜３１２の処理は全ての列（全てのｘ）について実行される（ステップ３１３）。このようにして、対象ブロックの全ての画素について予測信号が算出される。

本実施形態に係る「予測方法に関する情報」については、上記の予測モードと、パラメータαとβの組合せとは、それぞれ１つの符号（コード）が割り当てられてエントロピー符号化器１１１により符号化される。また、これらの符号（コード）はテーブル化され、画像予測復号装置側と共有化される。なお、自由度を高めるために、予測モードと、パラメータαとβの組合せとを別々に符号化してもよい。

本実施形態では、図４に示すように、参照画素群は当該参照画素群と対象画素との相対的位置座標（Δｘ_ｙ，ｙ）により指定され、相対的位置座標の水平方向成分と垂直方向成分のうち、一方の座標成分Δｘ_ｙは他方の座標成分ｙの関数（例えば、式（５）の２次多項式）で表されるが、上記の「予測方法に関する情報」は、少なくとも、上記関数に基づく曲線又は直線の傾きを示す第１のパラメータと、上記の相対的位置座標における他方の座標成分の変化に応じた一方の座標成分の増分を示す第２のパラメータとを含めばよい。これら第１、第２のパラメータは、それぞれ単独のパラメータにより構成される必要はなく、複数のパラメータの組合せにより構成されてもよい。例えば、本実施形態では、第２のパラメータがパラメータβに対応するが、第１のパラメータはパラメータαとβの組合せに対応する。

上述した実施形態では、２次多項式を利用することで非直線の絵柄を予測することができるようになり、非直線の絵柄について直線近似で予測信号を生成する場合と比べて、対象信号と予測信号との差分を小さく抑えることができる。また非直線を直線に近似させるための対象ブロックの再分割の必要性が低減するために、各ブロックに付加しないといけない「予測方法に関する情報」の個数を抑えることができる。このように、差分信号の量を抑えることに加え、「予測方法に関する情報」等のサイド情報の量も低減できるため、全体として符号量を低く抑えることができる。

さらに多くの絵柄に対応させるには、以下の式（３Ａ）、又は式（３Ａ）から導出される３次以上の多項式（４Ａ）を用いることもできるし、以下の式（３Ｂ）、又は式（３Ｂ）から導出される３次以上の多項式（４Ｂ）を用いることもできる。但し、α、βに加え、新たな係数（γなど）を「予測方法に関する情報」として符号化する必要がある。

なお、上記実施形態では、参照画素群Ｔと参照画素群Ｌのうち１つを選択して用いる例を説明したが、参照画素群Ｔと参照画素群Ｌの両方を同時に用いることもできる。この場合、参照画素群Ｔを用いて生成された予測信号と参照画素群Ｌを用いて生成された予測信号とを重み加算して得られた結果を、最終の予測信号として用いる。このような予測方法は、水平・垂直の両方向に変化がある絵柄の場合に有効である。

また、最初から片方の参照画像群しか使わないと判明している場合は、ブロックごとに予測モード情報（どの画素群を用いるかに関する情報）を付加する必要はなく、画像の先頭（ヘッダ部）にだけ予測モード情報を付加すればよい。また、使用される片方の参照画像群を画像予測復号装置側と予め約束しておけば、予測モード情報を送る必要もなくなる。

また、上述の実施形態では、α、β、γなどのパラメータを用いて、多項式で対象ブロックの絵柄の曲線を算出するが、多項式を用いずに、各行・各列における曲線の傾きや方向に関するデータを用いて対象ブロックの絵柄の曲線を算出してもよい。

［画像予測復号について］
次に、一実施形態に係る画像予測復号方法について説明する。図２は、一実施形態に係る画像予測復号装置２００のブロック図を示す。この画像予測復号装置２００は、入力端子２０１、データ解析器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、出力端子２０６、フレームメモリ２０７、予測信号生成器２０８を備えている。各構成要件の機能・動作については、以下の画像予測復号装置２００の動作の中で説明する。なお、逆量子化器２０３および逆変換器２０４は、特許請求の範囲における復元手段に対応する。ただし、復元手段としては、これら以外のものを用いてもよいし、逆変換器２０４がなくてもよい。

以上のように構成された画像予測復号装置２００について、以下、その動作を述べる。前述した画像予測符号化方法で圧縮符号化された圧縮データは入力端子２０１から画像予測復号装置２００に入力される。この圧縮データには、画像を分割して得られた対象ブロックの残差信号、予測方法に関する情報、および量子化パラメータが含まれている。このうち予測方法に関する情報には、画面内予測もしくは画面間予測を示す情報が含まれ、画面内予測の場合は、さらに、参照画素群Ｔ、Ｌの何れを参照するかを示す予測モード情報、およびパラメータα、βが含まれている。一方、画面間予測の場合は、動き補償に関する動き情報が含まれているが、画面間予測の詳細は割愛する。

データ解析器２０２は、入力された圧縮データから、対象ブロックの残差信号、予測方法に関する情報、および量子化パラメータを抽出する。対象ブロックの残差信号および量子化パラメータは、ラインＬ２０２経由で逆量子化器２０３に送られ、逆量子化器２０３は量子化パラメータをもとに、残差信号に対し逆量子化を行う。さらに、逆量子化の結果は、逆変換器２０４によって逆離散コサイン変換され、これにより、残差信号が復元される。復元された残差信号は加算器２０５に送られる。

一方、予測方法に関する情報は、ラインＬ２０２ｂ経由で予測信号生成器２０８に送られる。予測信号生成器２０８は、後述する方法で、予測方法に関する情報をもとに、フレームメモリ２０７から参照信号を取得し予測信号を生成する。生成された予測信号はラインＬ２０８経由で加算器２０５に送られ、加算器２０５によって、上記復元された残差信号と予測信号とが加算され、対象ブロックの画素信号が再生される。再生された対象ブロックの画素信号は、ラインＬ２０５経由で、外部に出力されるとともに、フレームメモリ２０７に格納される。

予測信号生成器２０８は、前述した図３と同様の処理を行う。即ち、予測信号生成器２０８は、ステップ３０２にて「予測方法に関する情報」をデータ解析器２０２から受け取る。この「予測方法に関する情報」には、参照画素群Ｔ、Ｌの何れを参照するかを示す予測モード情報、およびパラメータα、βが含まれている。次のステップ３０３で予測信号生成器２０８は予測モード情報に従い、参照画素群Ｔを参照するかどうかを判断する。ここで、参照画素群Ｔを参照すると判断された場合はステップ３０４に進み、一方、参照画素群Ｌを参照すると判断された場合はステップ３０９に進む。

ステップ３０４では、予測信号生成器２０８は、パラメータαをパラメータα_ｘに、パラメータβをパラメータβ_ｘにそれぞれ代入し、ステップ３０５にて式（２Ａ）を用いてΔｘ_ｙを算出する。そして、予測信号生成器２０８はステップ３０６にて、算出されたΔｘ_ｙをもとに式（１Ａ）を用いて対象画素の予測信号Ｐ（ｘ，ｙ）を算出する。その後、ステップ３０６の処理は全てのｘについて実行され（ステップ３０７）、そして、ステップ３０５〜３０７の処理は全ての行（全てのｙ）について実行される（ステップ３０８）。このようにして、対象ブロックの全ての画素について予測信号が算出される。

一方、ステップ３０９に進んだ場合、予測信号生成器２０８は、パラメータαをパラメータα_ｙに、パラメータβをパラメータβ_ｙにそれぞれ代入し、ステップ３１０にて式（２Ｂ）を用いてΔｙ_ｘを算出する。そして、予測信号生成器２０８はステップ３１１にて、算出されたΔｙ_ｘをもとに式（１Ｂ）を用いて対象画素の予測信号Ｐ（ｘ，ｙ）を算出する。その後、ステップ３１１の処理は全てのｙについて実行され（ステップ３１２）、そして、ステップ３１０〜３１２の処理は全ての列（全てのｘ）について実行される（ステップ３１３）。このようにして、対象ブロックの全ての画素について予測信号が算出される。

以上のようにして、予測信号生成器２０８は、予測方法に関する情報をもとに予測信号を生成することができる。また、画像予測復号装置２００は、入力された圧縮データから対象ブロックの画素信号を再生し、再生された対象ブロックの画素信号を外部に出力するとともにフレームメモリ２０７に格納することができる。

［画像予測符号化プログラムおよび画像予測復号プログラムについて］
本実施形態に係る画像予測符号化方法および画像予測復号方法を、プログラムとして記録媒体に格納して提供することもできる。記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。

図１１は、画像予測符号化方法を実行することができるプログラム（画像予測符号化プログラム）のモジュールを示すブロック図である。画像予測符号化プログラムＰ１００は、入力モジュールＰ１０１、ブロック分割モジュールＰ１０２、予測信号生成・選択モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０、エントロピー符号化モジュールＰ１１１、および出力モジュールＰ１１２を備えている。上記各モジュールがコンピュータで実行されることにより実現される機能は、上述した図１の画像予測符号化装置１００の機能と同じである。即ち、入力モジュールＰ１０１、ブロック分割モジュールＰ１０２、予測信号生成・選択モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０、エントロピー符号化モジュールＰ１１１、出力モジュールＰ１１２は、入力端子１０１、ブロック分割器１０２、予測信号生成・選択器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、出力端子１１２とそれぞれ同様の機能をコンピュータに実行させる。

また、図１２は、画像予測復号方法を実行することができるプログラム（画像予測復号プログラム）のモジュールを示すブロック図である。画像予測復号プログラムＰ２００は、入力モジュールＰ２０１、データ解析モジュールＰ２０２、逆量子化モジュールＰ２０３、逆変換モジュールＰ２０４、加算モジュールＰ２０５、出力モジュールＰ２０６、記憶モジュールＰ２０７、および予測信号生成モジュールＰ２０８を備えている。上記各モジュールが実行されることにより実現される機能は、上述した画像予測復号装置２００の各構成要素と同じである。即ち、入力モジュールＰ２０１、データ解析モジュールＰ２０２、逆量子化モジュールＰ２０３、逆変換モジュールＰ２０４、加算モジュールＰ２０５、出力モジュールＰ２０６、記憶モジュールＰ２０７、予測信号生成モジュールＰ２０８は、入力端子２０１、データ解析器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、出力端子２０６、フレームメモリ２０７、予測信号生成器２０８と、それぞれ同様の機能をコンピュータに実行させる。

このように構成された画像予測符号化プログラムＰ１００又は画像予測復号プログラムＰ２００は、記録媒体１０に記憶され、後述するコンピュータで実行される。

図７は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図８は、記録媒体に記憶されたプログラムを実行するためのコンピュータの概観図である。なお、記録媒体に記憶されたプログラムを実行するものはコンピュータに限定されず、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などでもよい。

図７に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０およびキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された画像予測符号化プログラム又は画像予測復号プログラムにアクセス可能になり、画像予測符号化プログラムによって本実施形態に係る画像予測符号化装置として動作すること、又は、画像予測復号プログラムによって本実施形態に係る画像予測復号装置として動作することが可能になる。

図８に示すように、画像予測符号化プログラムおよび画像予測復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した画像予測符号化プログラムもしくは画像予測復号プログラムをメモリ１６に格納し、当該画像予測符号化プログラムもしくは画像予測復号プログラムを実行することができる。

以上、本発明を一実施形態に基づいて詳細に説明した。しかし、本発明はさらに上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

１００…画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成・選択器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、１１３…予測信号生成器、１１４…予測信号選択器、２００…画像予測復号装置、２０１…入力端子、２０２…データ解析器、２０３…逆量子化器、２０４…逆変換器、２０５…加算器、２０６…出力端子、２０７…フレームメモリ、２０８…予測信号生成器。

Claims (10)

1. 入力画像を複数のブロックに分割する領域分割手段と、
   前記複数のブロックのうち処理対象である対象ブロックに含まれる画素信号に対し、予測信号を生成する予測信号生成手段と、
   前記対象ブロックの画素信号と前記予測信号との残差信号を生成する残差信号生成手段と、
   前記残差信号を符号化し圧縮信号を生成する信号符号化手段と、
   前記圧縮信号を復元し、復元された信号を再生画素信号として格納する格納手段と、
   を備え、
   前記予測信号生成手段は、
   前記対象ブロックと同じ画面内にあり前記対象ブロックに隣接する既再生の参照画素群を用いて、前記対象ブロック内の対象画素を生成する際に、前記参照画素群を、当該参照画素群と前記対象画素との相対的位置座標により指定し、前記相対的位置座標の水平方向成分と垂直方向成分のうち、一方の座標成分を他方の座標成分の関数で表し、前記関数に関する情報を予測信号生成関連情報として符号化して出力する、
   ことを特徴とする画像予測符号化装置。
2. 前記関数は、前記他方の座標成分を変数とする少なくとも２次の関数であることを特徴とする請求項１に記載の画像予測符号化装置。
3. 前記予測信号生成関連情報は、少なくとも第１と第２のパラメータを有し、前記第１のパラメータは、前記関数に基づく曲線又は直線の傾きを示し、前記第２のパラメータは、前記他方の座標成分の変化に応じた前記一方の座標成分の増分を示すことを特徴とする請求項１記載の画像予測符号化装置。
4. 画像予測符号化装置により実行される画像予測符号化方法であって、
   入力画像を複数のブロックに分割する領域分割ステップと、
   前記複数のブロックのうち処理対象である対象ブロックに含まれる画素信号に対し、予測信号を生成する予測信号生成ステップと、
   前記対象ブロックの画素信号と前記予測信号との残差信号を生成する残差信号生成ステップと、
   前記残差信号を符号化し圧縮信号を生成する信号符号化ステップと、
   前記圧縮信号を復元し、復元された信号を再生画素信号として格納する格納ステップと、
   を備え、
   前記予測信号生成ステップにおいて、画像予測符号化装置は、
   前記対象ブロックと同じ画面内にあり前記対象ブロックに隣接する既再生の参照画素群を用いて、前記対象ブロック内の対象画素を生成する際に、前記参照画素群を、当該参照画素群と前記対象画素との相対的位置座標により指定し、前記相対的位置座標の水平方向成分と垂直方向成分のうち、一方の座標成分を他方の座標成分の関数で表し、前記関数に関する情報を予測信号生成関連情報として符号化して出力する、
   ことを特徴とする画像予測符号化方法。
5. コンピュータを、
   入力画像を複数のブロックに分割する領域分割手段と、
   前記複数のブロックのうち処理対象である対象ブロックに含まれる画素信号に対し、予測信号を生成する予測信号生成手段と、
   前記対象ブロックの画素信号と前記予測信号との残差信号を生成する残差信号生成手段と、
   前記残差信号を符号化し圧縮信号を生成する信号符号化手段と、
   前記圧縮信号を復元し、復元された信号を再生画素信号として格納する格納手段、
   として機能させ、
   前記予測信号生成手段は、
   前記対象ブロックと同じ画面内にあり前記対象ブロックに隣接する既再生の参照画素群を用いて、前記対象ブロック内の対象画素を生成する際に、前記参照画素群を、当該参照画素群と前記対象画素との相対的位置座標により指定し、前記相対的位置座標の水平方向成分と垂直方向成分のうち、一方の座標成分を他方の座標成分の関数で表し、前記関数に関する情報を予測信号生成関連情報として符号化して出力する、
   ことを特徴とする画像予測符号化プログラム。
6. 画像を複数のブロックに分割し前記ブロックを予測符号化することにより生成された残差信号と、前記ブロックの予測信号の生成方法を示す予測信号生成関連情報とを含む圧縮画像データを入力する入力手段と、
   前記圧縮画像データから、処理対象となる対象ブロックの残差信号を抽出して再生残差信号として復元する復元手段と、
   前記予測信号生成関連情報に基づいて前記対象ブロックの予測信号を生成する予測信号生成手段と、
   前記予測信号と前記再生残差信号とを加算することによって、前記対象ブロックの画素信号を復元する画像復元手段と、
   復元された画素信号を再生画素信号として格納する格納手段と、
   を備え、
   前記予測信号生成手段が、前記対象ブロックと同じ画面内にあり前記対象ブロックに隣接する既再生の参照画素群を用いて前記対象ブロック内の対象画素を生成する際に、前記参照画素群は、当該参照画素群と前記対象画素との相対的位置座標により指定され、前記相対的位置座標の水平方向成分と垂直方向成分のうち、一方の座標成分は他方の座標成分の関数で表され、前記関数は前記予測信号生成関連情報によって定義される、
   ことを特徴とする画像予測復号装置。
7. 前記関数は、前記他方の座標成分を変数とする少なくとも２次の関数であることを特徴とする請求項６に記載の画像予測復号装置。
8. 前記予測信号生成関連情報は、少なくとも第１と第２のパラメータを有し、前記第１のパラメータは、前記関数に基づく曲線又は直線の傾きを示し、前記第２のパラメータは、前記他方の座標成分の変化に応じた前記一方の座標成分の増分を示すことを特徴とする請求項６に記載の画像予測復号装置。
9. 画像予測復号装置により実行される画像予測復号方法であって、
   画像を複数のブロックに分割し前記ブロックを予測符号化することにより生成された残差信号と、前記ブロックの予測信号の生成方法を示す予測信号生成関連情報とを含む圧縮画像データを入力する入力ステップと、
   前記圧縮画像データから、処理対象となる対象ブロックの残差信号を抽出して再生残差信号として復元する復元ステップと、
   前記予測信号生成関連情報に基づいて前記対象ブロックの予測信号を生成する予測信号生成ステップと、
   前記予測信号と前記再生残差信号とを加算することによって、前記対象ブロックの画素信号を復元する画像復元ステップと、
   復元された画素信号を再生画素信号として格納する格納ステップと、
   を備え、
   前記予測信号生成ステップにおいて、前記画像予測復号装置が、前記対象ブロックと同じ画面内にあり前記対象ブロックに隣接する既再生の参照画素群を用いて前記対象ブロック内の対象画素を生成する際に、前記参照画素群は、当該参照画素群と前記対象画素との相対的位置座標により指定され、前記相対的位置座標の水平方向成分と垂直方向成分のうち、一方の座標成分は他方の座標成分の関数で表され、前記関数は前記予測信号生成関連情報によって定義される、
   ことを特徴とする画像予測復号方法。
10. コンピュータを、
    画像を複数のブロックに分割し前記ブロックを予測符号化することにより生成された残差信号と、前記ブロックの予測信号の生成方法を示す予測信号生成関連情報とを含む圧縮画像データを入力する入力手段と、
    前記圧縮画像データから、処理対象となる対象ブロックの残差信号を抽出して再生残差信号として復元する復元手段と、
    前記予測信号生成関連情報に基づいて前記対象ブロックの予測信号を生成する予測信号生成手段と、
    前記予測信号と前記再生残差信号とを加算することによって、前記対象ブロックの画素信号を復元する画像復元手段と、
    復元された画素信号を再生画素信号として格納する格納手段、
    として機能させ、
    前記予測信号生成手段が、前記対象ブロックと同じ画面内にあり前記対象ブロックに隣接する既再生の参照画素群を用いて前記対象ブロック内の対象画素を生成する際に、前記参照画素群は、当該参照画素群と前記対象画素との相対的位置座標により指定され、前記相対的位置座標の水平方向成分と垂直方向成分のうち、一方の座標成分は他方の座標成分の関数で表され、前記関数は前記予測信号生成関連情報によって定義される、
    ことを特徴とする画像予測復号プログラム。
    

Images