JP6109354B2 - 画像復号装置、方法及びプログラム - Google Patents

Description

本発明は、画像符号化装置、方法及びプログラム、並びに、画像復号装置、方法及びプログラムに関するものである。

静止画像データや動画像データの伝送や蓄積を効率よく行うために、従来から画像データを圧縮符号化技術により圧縮することが行われている。このような圧縮符号化技術としては、動画像の場合はＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４等の方式が広く用いられている。

これらの符号化方式では、符号化の対象となる画像データを複数のブロックに分割した上で符号化処理及び復号処理を行う。さらに、ＭＰＥＧ４やＨ．２６４等の方式においては、符号化効率を更に高めるため、画面内の対象ブロックの符号化に際して、対象ブロックと同じ画面内にある隣接する既再生の画素信号を用いて予測信号を生成する。既再生の画素信号とは、いったん圧縮された画像データから復元されたものを意味する。そして、予測信号を対象ブロックの画素信号から差し引いた差分信号を符号化する。

ＭＰＥＧ４では、対象ブロックの画像信号を離散コサイン変換した上で符号化する。すなわち、対象ブロックの直流成分及び第１行若しくは第１列の交流成分の係数に対し、該当対象ブロックの上又は左にあるブロックの同一成分の係数を予測値とし、両者の差分を符号化する。この予測値の決定は、対象ブロックの斜め上にあるブロックと対象ブロックの上又は左にあるブロックとの直流成分の勾配の大きさに基づいて行われる。このような画面内予測信号生成方法は、下記特許文献１に記載されている。

一方、Ｈ．２６４では、対象ブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。この画素領域での画面内予測信号生成は、画像の細部を予測できるメリットがある。図１９（ａ）には、Ｈ．２６４に用いられる画面内予測信号生成方法を説明するための模式図、図１９（ｂ）には、Ｈ．２６４の画面内予測信号生成方法における画素信号の引き伸ばし方向を示す。図１９（ａ）において、ブロック１９０１は対象ブロックであり、ブロック１９０２〜１９０４は隣接するブロックで、過去の処理において既に再生された画素信号を含むブロックである。ここでは、ブロック１９０１の対象ブロックの境界に隣接する既再生画素群１９０５を用いて、９つのテキスチャ信号生成方法（即ち、図１９（ｂ）に示す８つの方向に沿ったテキスチャ信号の生成、及び、画素値の平均値をテキスチャ信号として生成）によりテキスチャ信号を生成する。たとえば、図１９（ｂ）に示す方向“０”の場合、ブロック１９０１の真上にある隣接画素を下方に引き伸ばしてテキスチャ信号を生成し、図１９（ｂ）に示す方向“１”の場合、ブロック１９０１の左にある既再生画素を右に引き伸ばしてテキスチャ信号を生成する。また、画素値の平均値を採用する方法では、画素群１９０５の全体の画素値の平均値をテキスチャ信号として生成する。テキスチャ信号を生成する際のより具体的な方法については、たとえば下記非特許文献１に記載されている。Ｈ．２６４では、このようにして生成された９つのテキスチャ信号のそれぞれと対象ブロックの画素信号との差分をとり、差分値が最も小さいテキスチャ信号の生成方法を最適の予測方法（以下、予測方法を「モード」とも言う）とする。差分信号は離散コサイン変換により変換係数行列に変換され、量子化された後、量子化された各変換係数は走査順にエントロピー符号化される。

画像データを伝送もしくは蓄積する際には、画像データを復元するためこのようにして決定された最適予測方法を示す識別情報を送信側に送る必要がある。この識別情報を符号化するには、ブロック１９０２とブロック１９０３の２つのブロックに対して決定された予測方法を参照して行なう。すなわち、ブロック１９０２の予測方法の識別情報とブロック１９０３の予測方法の識別情報とを比較し、値の小さいものを参照モード情報として決定する。そして、対象ブロックの最適予測方法に関する識別情報をこの参照モード情報から相対的に符号化する。

最適予測方法に関する識別情報をさらに効率よく符号化するには、特許文献２では、対象ブロックに隣接する隣接領域に対し、Ｈ．２６４と同じ外挿方法で予測信号を生成した上で参照モード情報を決定する。ここでは、隣接領域に接しているが対象ブロックに接していない画素群を用いて外挿処理を行なっている。図２０は特許文献２に用いられる方法を説明するための模式図である。対象領域２００１の最適予測方法に関する識別情報を符号化するに当って、まずは対象領域２００１に隣接する隣接領域２００５の最適予測方法を決定する。具体的には、隣接領域２００５に隣接する画素群２００６を用いて、Ｈ．２６４と同じ９つの外挿方法で、隣接領域２００５に対する複数の予測信号を生成し、この複数の予測信号の中から、隣接領域２００５の画素に最も相関の高い予測信号を決定し、それを生成するための外挿方法を参照モード情報とする。このように参照モード情報を決定するには、対象ブロックに直に接していない画素群を用いて行なっている。

米国特許公報第６１４８１０９号 特開２００７−１１６３５１号公報

Iain E.G. Richardson, "H.264 and MPEG-4 video compression", Wiley 2003, pages pp.177-183.

Ｈ．２６４のように画素領域における画面内予測信号生成方法を用いる符号化方法では、多くのテキスチャ信号の生成方法（以下、テキスチャ信号の生成方法を「モード」とも言う）を設け、ブロック毎に適切な方法を選択することで予測精度を高めることが可能となる。しかしながら、選択されたテキスチャ信号の生成方法にかかわらず、対象ブロックの画素信号と予測信号との差分信号に同じ変換符号化方法を適用しているため、予測精度を高めても、差分信号の符号量が効率良く削減できない場合がある。

本発明は、上記の課題を解決するものであり、差分信号の符号量を抑制することを目的とする。

本発明に係る画像符号化装置、方法及びプログラム、並びに、画像復号装置、方法及びプログラムは、以下のような態様を採用可能である。

本発明に係る画像復号装置は、圧縮データの中から処理対象である対象領域に関する画面内予測モード情報と量子化された変換係数の１次元データとを抽出して復元する復号手段と、複数の画面内予測信号生成方法の中から前記画面内予測モード情報で指定された方法で既再生の画素を参照して画面内予測信号を生成する予測信号生成手段と、前記量子化された変換係数の１次元データを逆走査して、量子化された変換係数行列を生成し、生成した変換係数行列に逆量子化と逆変換を行うことで再生残差信号を復元し、前記画面内予測信号と前記再生残差信号を加算することによって、前記対象領域の画素信号を復元する画像復元手段と、前記復元された画素信号を、前記予測信号生成手段が参照可能な既再生の画素として蓄積する画像保存手段と、を備え、前記画像復元手段は、逆変換を実施する際の逆変換ブロックサイズが第１のサイズである場合には用意された複数の逆走査方法の中から、前記画面内予測モード情報に基づいて定まる逆走査方法を用い、前記逆変換ブロックサイズが前記第１のサイズよりも大きい第２のサイズである場合には規定の逆走査方法を用いて、前記量子化された変換係数の１次元データを逆走査して、前記量子化された変換係数行列を生成し、前記複数の逆走査方法には前記規定の逆走査方法が含まれる、
ことを特徴とする。

上記の予測信号生成手段は、前記対象領域に隣接する既再生の画素を参照する画面内予測信号生成方法により、１つ以上のテキスチャ信号を生成し、前記用意された複数の逆走査方法は、前記画面内予測信号生成方法により生成されるテキスチャ信号に適した逆走査方法を含んでもよい。

逆走査方法と画面内予測信号生成方法との対応は、予め決まっていてもよい。

上記の復号手段は、前記用意された複数の逆走査方法の中から、特定された予測信号生成方法に対応する逆走査方法を選択するための識別情報を抽出して復元し、前記画像復元手段は、前記用意された複数の逆走査方法の中から、前記画面内予測モード情報と前記識別情報とから定まる逆走査方法を用いて、前記量子化された変換係数行列を生成してもよい。

本発明に係る画像復号方法は、画像復号装置により実行される画像復号方法であって、圧縮データの中から処理対象である対象領域に関する画面内予測モード情報と量子化された変換係数の１次元データとを抽出して復元する復号ステップと、複数の画面内予測信号生成方法の中から前記画面内予測モード情報で指定された方法で既再生の画素を参照して画面内予測信号を生成する予測信号生成ステップと、前記量子化された変換係数の１次元データを逆走査して、量子化された変換係数行列を生成し、生成した変換係数行列に逆量子化と逆変換を行うことで再生残差信号を復元し、前記画面内予測信号と前記再生残差信号を加算することによって、前記対象領域の画素信号を復元する画像復元ステップと、前記復元された画素信号を、前記予測信号生成ステップで参照可能な既再生の画素として蓄積する画像保存ステップと、を備え、前記画像復元ステップでは、逆変換を実施する際の逆変換ブロックサイズが第１のサイズである場合には用意された複数の逆走査方法の中から、前記画面内予測モード情報に基づいて定まる逆走査方法を用い、前記逆変換ブロックサイズが前記第１のサイズよりも大きい第２のサイズである場合には規定の逆走査方法を用いて、前記量子化された変換係数の１次元データを逆走査して、前記量子化された変換係数行列を生成し、前記複数の逆走査方法には前記規定の逆走査方法が含まれる、ことを特徴とする。

本発明に係る画像復号プログラムは、コンピュータを、圧縮データの中から処理対象である対象領域に関する画面内予測モード情報と量子化された変換係数の１次元データとを抽出して復元する復号手段と、複数の画面内予測信号生成方法の中から前記画面内予測モード情報で指定された方法で既再生の画素を参照して画面内予測信号を生成する予測信号生成手段と、前記量子化された変換係数の１次元データを逆走査して、量子化された変換係数行列を生成し、生成した変換係数行列に逆量子化と逆変換を行うことで再生残差信号を復元し、前記画面内予測信号と前記再生残差信号を加算することによって、前記対象領域の画素信号を復元する画像復元手段と、前記復元された画素信号を、前記予測信号生成手段が参照可能な既再生の画素として蓄積する画像保存手段、として機能させるための画像復号プログラムであって、前記画像復元手段は、逆変換を実施する際の逆変換ブロックサイズが第１のサイズである場合には用意された複数の逆走査方法の中から、前記画面内予測モード情報に基づいて定まる逆走査方法を用い、前逆記変換ブロックサイズが前記第１のサイズよりも大きい第２のサイズである場合には規定の逆走査方法を用いて、前記量子化された変換係数の１次元データを逆走査して、前記量子化された変換係数行列を生成し、前記複数の逆走査方法には前記規定の逆走査方法が含まれる、ことを特徴とする。

また、本発明に係る画像復号装置、方法及びプログラムは、以下のような態様を採用可能である。

本発明に係る画像復号装置は、圧縮データの中から処理対象である対象領域に関する画面内予測モード情報と量子化された変換係数の１次元データとを抽出して復元する復号手段と、複数の画面内予測信号生成方法の中から前記画面内予測モード情報で指定された方法で既再生の画素を参照して画面内予測信号を生成する予測信号生成手段と、前記量子化された変換係数の１次元データを逆走査して、量子化された変換係数行列を生成し、生成した変換係数行列に逆量子化と逆変換を行うことで再生残差信号を復元し、前記画面内予測信号と前記再生残差信号を加算することによって、前記対象領域の画素信号を復元する画像復元手段と、を備え、前記画像復元手段は、逆変換を実施する際の逆変換ブロックサイズがある基準より小さい場合には用意された複数の逆走査方法の中から、前記画面内予測モード情報に基づいて定まる逆走査方法を用い、前記変換ブロックサイズがそれ以外の場合には規定の逆走査方法を用いて、前記量子化された変換係数の１次元データを逆走査して、前記量子化された変換係数行列を生成する、ことを特徴とする。

上記の予測信号生成手段は、前記対象領域に隣接する既再生の画素を参照する画面内予測信号生成方法により、１つ以上のテキスチャ信号を生成し、前記用意された複数の逆走査方法は、前記画面内予測信号生成方法により生成されるテキスチャ信号に適した逆走査方法を含んでもよい。

逆走査方法と画面内予測信号生成方法との対応は、予め決まっていてもよい。

上記の復号手段は、前記用意された複数の逆走査方法の中から、特定された予測信号生成方法に対応する逆走査方法を選択するための識別情報を抽出して復元し、画像復元手段は、前記用意された複数の逆走査方法の中から、前記画面内予測モード情報と前記識別情報とから定まる逆走査方法を用いて、前記量子化された変換係数行列を生成してもよい。

本発明に係る画像復号方法は、画像復号装置により実行される画像復号方法であって、圧縮データの中から処理対象である対象領域に関する画面内予測モード情報と量子化された変換係数の１次元データとを抽出して復元する復号ステップと、複数の画面内予測信号生成方法の中から前記画面内予測モード情報で指定された方法で既再生の画素を参照して画面内予測信号を生成する予測信号生成ステップと、前記量子化された変換係数の１次元データを逆走査して、量子化された変換係数行列を生成し、生成した変換係数行列に逆量子化と逆変換を行うことで再生残差信号を復元し、前記画面内予測信号と前記再生残差信号を加算することによって、前記対象領域の画素信号を復元する画像復元ステップと、を備え、前記画像復元ステップでは、逆変換を実施する際の逆変換ブロックサイズがある基準より小さい場合には用意された複数の逆走査方法の中から、前記画面内予測モード情報に基づいて定まる逆走査方法を用い、前記変換ブロックサイズがそれ以外の場合には規定の逆走査方法を用いて、前記量子化された変換係数の１次元データを逆走査して、前記量子化された変換係数行列を生成する、ことを特徴とする。

本発明に係る画像復号プログラムは、コンピュータを、圧縮データの中から処理対象である対象領域に関する画面内予測モード情報と量子化された変換係数の１次元データとを抽出して復元する復号手段と、複数の画面内予測信号生成方法の中から前記画面内予測モード情報で指定された方法で既再生の画素を参照して画面内予測信号を生成する予測信号生成手段と、前記量子化された変換係数の１次元データを逆走査して、量子化された変換係数行列を生成し、生成した変換係数行列に逆量子化と逆変換を行うことで再生残差信号を復元し、前記画面内予測信号と前記再生残差信号を加算することによって、前記対象領域の画素信号を復元する画像復元手段、として機能させるための画像復号プログラムであって、前記画像復元手段は、逆変換を実施する際の逆変換ブロックサイズがある基準より小さい場合には用意された複数の逆走査方法の中から、前記画面内予測モード情報に基づいて定まる逆走査方法を用い、前記変換ブロックサイズがそれ以外の場合には規定の逆走査方法を用いて、前記量子化された変換係数の１次元データを逆走査して、前記量子化された変換係数行列を生成する、ことを特徴とする。

また、本発明に係る画像復号装置は、以下のような態様も採用可能である。

本発明に係る画像復号装置は、上述した画像符号化装置による符号化によって得られた圧縮データを復号する画像復号装置であって、圧縮データの中から処理対象である対象領域に関する残差信号の符号化データを抽出し、残差信号に関わる変換係数の１次元データを復元する復号手段と、前記対象領域に含まれる対象画素信号に対する予測信号を生成する予測信号生成手段と、前記復号手段により復号された残差信号に関する変換係数又は量子化された変換係数の１次元データを逆走査して、変換係数行列又は量子化された変換係数行列を生成する逆走査手段と、前記逆走査手段により生成された前記変換係数行列に逆変換を行うか、又は、前記逆走査手段により生成された量子化された変換係数行列に逆量子化と逆変換の両方若しくは逆量子化のみを行うことで、再生残差信号を復元する逆変換手段と、前記予測信号生成手段により生成された予測信号と前記逆変換手段により復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、前記復元された対象画素信号を蓄積する画像保存手段と、を備え、前記復号手段は、圧縮データの中から、予測信号生成方法を指示するモード情報を抽出して復元し、前記予測信号生成手段は、前記画像保存手段に蓄積されている既再生の画素を参照して異なるテキスチャ信号を生成するための複数の予測信号生成方法の中から、前記復号手段により復号された前記モード情報に対応する予測信号生成方法を特定し、特定した予測信号生成方法により前記対象領域の予測信号を生成し、前記逆走査手段は、用意された複数の逆走査方法の中から、前記復号手段により復元された前記モード情報と変換ブロックサイズとに対応する逆走査方法を用いて、前記再生残差信号の変換係数行列又は量子化された変換係数行列を生成することを特徴とする。

さらに、本発明に係る画像復号装置は、以下のような態様も採用可能である。

本発明に係る画像復号装置は、圧縮データの中から処理対象である対象領域に関する残差信号の符号化データを抽出し、残差信号に関わる変換係数の１次元データを復元する復号手段と、前記対象領域に含まれる対象画素信号に対する予測信号を生成する予測信号生成手段と、前記復号手段により復号された残差信号に関する変換係数又は量子化された変換係数の１次元データを逆走査して、変換係数行列又は量子化された変換係数行列を生成する逆走査手段と、前記逆走査手段により生成された前記変換係数行列に逆変換を行うか、又は、前記逆走査手段により生成された量子化された変換係数行列に逆量子化と逆変換の両方若しくは逆量子化のみを行うことで、再生残差信号を復元する逆変換手段と、前記予測信号生成手段により生成された前記画面内予測信号と前記逆変換手段により復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、前記復元された対象画素信号を蓄積する画像保存手段と、を備え、前記復号手段は、圧縮データの中から、予測信号生成方法を指示するモード情報を抽出して復元し、前記予測信号生成手段は、前記画像保存手段に蓄積されている既再生の画素を参照して異なるテキスチャ信号を生成するための複数の予測信号生成方法の中から、前記復号手段により復号された前記モード情報に対応する予測信号生成方法を特定し、特定した予測信号生成方法により前記対象領域の予測信号を生成し、前記逆走査手段は、用意された複数の逆走査方法の中から、前記復号手段により復元された前記モード情報に対応する逆走査方法を用いて、前記再生残差信号の変換係数行列又は量子化された変換係数行列を生成することを特徴とする。

なお、上記の予測信号生成手段は、前記対象領域に隣接する既再生の画素を参照する画面内予測信号生成方法により、１つ以上のテキスチャ信号を生成し、前記用意された複数の逆走査方法は、前記画面内予測信号生成方法により生成されるテキスチャ信号に適した逆走査方法を含む構成とすることが望ましい。

また、前記逆走査方法と前記予測信号生成方法との対応が、予め決まっている構成としてもよいし、前記復号手段が、前記用意された複数の逆走査方法の中から、前記特定された予測信号生成方法に対応する逆走査方法を選択するための識別情報を抽出して復元し、前記逆走査手段が、前記用意された複数の逆走査方法の中から、前記復号手段により復元された前記モード情報と前記識別情報とから定まる逆走査方法を用いて、前記再生残差信号の変換係数行列又は量子化された変換係数行列を生成する構成としてもよい。

本発明に係る画像復号装置は、方法に係る発明又はプログラムに係る発明として捉えることもでき、以下のように記述することができる。方法に係る発明又はプログラムに係る発明は、同様の作用・効果を奏する

本発明に係る画像復号方法は、画像復号装置により実行される画像復号方法であって、圧縮データの中から処理対象である対象領域に関する残差信号の符号化データを抽出し、残差信号に関わる変換係数の１次元データを復元する復号ステップと、前記対象領域に含まれる対象画素信号に対する予測信号を生成する予測信号生成ステップと、前記復号ステップにより復号された残差信号に関する変換係数又は量子化された変換係数の１次元データを逆走査して、変換係数行列又は量子化された変換係数行列を生成する逆走査ステップと、前記逆走査ステップにより生成された前記変換係数行列に逆変換を行うか、又は、前記逆走査ステップにより生成された量子化された変換係数行列に逆量子化と逆変換の両方若しくは逆量子化のみを行うことで、再生残差信号を復元する逆変換ステップと、前記予測信号生成ステップにより生成された前記画面内予測信号と前記逆変換ステップにより復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元ステップと、前記復元された対象画素信号を蓄積する画像保存ステップと、を備え、前記復号ステップでは、圧縮データの中から、予測信号生成方法を指示するモード情報を抽出して復元し、前記予測信号生成ステップでは、前記画像保存ステップにより蓄積された既再生の画素を参照して異なるテキスチャ信号を生成するための複数の予測信号生成方法の中から、前記復号ステップにより復号された前記モード情報に対応する予測信号生成方法を特定し、特定した予測信号生成方法により前記対象領域の予測信号を生成し、前記逆走査ステップでは、用意された複数の逆走査方法の中から、前記復号ステップにより復元された前記モード情報に対応する逆走査方法を用いて、前記再生残差信号の変換係数行列又は量子化された変換係数行列を生成することを特徴とする。

本発明に係る画像復号プログラムは、画像復号装置に設けたコンピュータを、圧縮データの中から処理対象である対象領域に関する残差信号の符号化データを抽出し、残差信号に関わる変換係数の１次元データを復元する復号手段と、前記対象領域に含まれる対象画素信号に対する予測信号を生成する予測信号生成手段と、前記復号手段により復号された残差信号に関する変換係数又は量子化された変換係数の１次元データを逆走査して、変換係数行列又は量子化された変換係数行列を生成する逆走査手段と、前記逆走査手段により生成された前記変換係数行列に逆変換を行うか、又は、前記逆走査手段により生成された量子化された変換係数行列に逆量子化と逆変換の両方若しくは逆量子化のみを行うことで、再生残差信号を復元する逆変換手段と、前記予測信号生成手段により生成された前記画面内予測信号と前記逆変換手段により復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、前記復元された対象画素信号を蓄積する画像保存手段として機能させるための画像復号プログラムであって、前記復号手段は、圧縮データの中から、予測信号生成方法を指示するモード情報を抽出して復元し、前記予測信号生成手段は、前記画像保存手段に蓄積されている既再生の画素を参照して異なるテキスチャ信号を生成するための複数の予測信号生成方法の中から、前記復号手段により復号された前記モード情報に対応する予測信号生成方法を特定し、特定した予測信号生成方法により前記対象領域の予測信号を生成し、前記逆走査手段は、用意された複数の逆走査方法の中から、前記復号手段により復元された前記モード情報に対応する逆走査方法を用いて、前記再生残差信号の変換係数行列又は量子化された変換係数行列を生成することを特徴とする。

本発明によれば、異なる予測信号生成方法で複数のテキスチャ信号を生成し、生成した複数のテキスチャ信号のうち、所定の評価規則に照らし対象画素信号との相関が最も高いテキスチャ信号を、対象領域の予測信号として選択し、選択されたテキスチャ信号を生成する予測信号生成方法に応じて、変換係数の符号化方法を切り替えることにより予測差分信号の符号量を抑制することができる。

本発明の実施形態に係る画像符号化装置を示すブロック図である。 本発明の実施形態に係る画像符号化装置に用いられる画面内予測信号生成方法決定器を示すブロック図である。 本発明の実施形態に係る画像符号化装置に用いられる走査器を示すブロック図である。 本発明の実施形態に係る画像符号化装置にて実行される画像符号化処理を示す流れ図である。 本発明の実施形態に係る画像復号装置を示すブロック図である。 本発明の実施形態に係る画像符号化装置ならびに画像復号装置に用いられる逆走査器を示すブロック図である。 本発明の実施形態に係る画像復号装置にて実行される画像復号処理を示す流れ図である。 本発明の予測信号生成方法に係る対象領域の第１の画面内予測信号生成方法、及び対応する第１の変換係数走査方法を示す模式図である。 本発明の予測信号生成方法に係る対象領域の第２の画面内予測信号生成方法、及び対応する第２の変換係数走査方法を示す模式図である。 本発明の予測信号生成方法に係る対象領域の第３の画面内予測信号生成方法、及び対応する第３の変換係数走査方法を示す模式図である。 本発明の予測信号生成方法に係る対象領域の第４の画面内予測信号生成方法、及び対応する第４の変換係数走査方法を示す模式図である。 本発明の予測信号生成方法に係る対象領域の第５の画面内予測信号生成方法、及び対応する第５の変換係数走査方法を示す模式図である。 本発明の予測信号生成方法に係る対象領域の第６の画面内予測信号生成方法、及び対応する第６の変換係数走査方法を示す模式図である。 本発明の予測信号生成方法に係る対象領域の第７の画面内予測信号生成方法、及び対応する第７の変換係数走査方法を示す模式図である。 本発明の予測信号生成方法に係る対象領域の第８の画面内予測信号生成方法、及び対応する第８の変換係数走査方法を示す模式図である。 本発明の予測信号生成方法に係る対象領域の第９の画面内予測信号生成方法、及び対応する第９の変換係数走査方法を示す模式図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。 従来技術に用いられる画面内予測信号生成方法を説明するための模式図である。 従来技術に用いられる画面内予測信号生成方法を説明するための模式図である。 変換係数の走査方法の違いによる符号化効率の変化を説明するための模式図である。 本発明の実施形態に係る画像符号化プログラムの構成図である。 本発明の実施形態に係る画像復号プログラムの構成図である。

以下、本発明の実施の形態について、図１〜図２３を用いて説明する。

図１は本発明の実施形態に係る画像符号化装置１００を示すブロック図である。画像符号化装置１００は、入力端子１０１、ブロック分割器１０２、画面間予測信号生成方法決定器１０３、画面間予測信号生成器１０４、画面内予測信号生成方法決定器１０５、画面内予測信号生成器１０６、切り替えスイッチ１０７、減算器１０８、変換器１０９、量子化器１１０、走査器１２９、逆走査器１３０、逆量子化器１１１、逆変換器１１２、加算器１１３、フレームメモリ（画像保存手段）１１４、エントロピー符号化器１１５、及び出力端子１１６を備えている。

以上のように構成された画像符号化装置１００について、以下その動作を述べる。複数枚の画像からなる動画像の信号は入力端子１０１に入力される。符号化の対象なる画像はブロック分割器１０２にて、複数の領域に分割される。本発明に係る実施形態では８×８の画素からなるブロックに分割されるが、それ以外のブロックの大きさ又は形に分割してもよい。次に、符号化処理の対象となる領域（以下「対象ブロック」と言う）に対して、予測信号を生成する。本発明に係る実施形態では、２種類の予測方法が用いられる。すなわち画面間予測と画面内予測である。

画面間予測では、過去に符号化されたのちに復元された再生画像を参照画像として、この参照画像から対象ブロックに対する誤差の最も小さい予測信号を与える動き情報を求める。この処理は動き検出とよばれる。また場合に応じて、対象ブロックを再分割し、再分割された小領域に対し画面間予測方法を決定してもよい。この場合、各種の分割方法の中から、対象ブロック全体に対し最も効率のよい分割方法及びそれぞれの動き情報を決定する。本発明に係る実施形態では、この処理は画面間予測信号生成方法決定器１０３にて行われ、対象ブロックはラインＬ１０３経由で、参照画像はＬ１２１（フレームメモリ１１４に接続されているが図示されていない）経由で入力される。参照画像としては、過去に符号化され復元された複数の画像を参照画像として用いてもよい。詳細は従来の技術であるＭＰＥＧ−２，４、Ｈ．２６４のいつずれの方法と同じである。このように決定された動き情報及び小領域の分割方法は、ラインＬ１２２を経由して画面間予測信号生成器１０４に送られる。またこれらの情報はラインＬ１２４経由でエントロピー符号化器１１５に送られ符号化した上で出力端子１１６から送出される。画面間予測信号生成器１０４では、小領域の分割方法及びそれぞれの小領域に対応する動き情報をもとにフレームメモリ１１４（ラインＬ１２１経由）から参照信号を取得し、予測信号を生成する。このように生成された画面間予測信号は端子１０７ａ経由で次の処理ブロックに送られる。

画面内予測では、対象ブロックに空間的に隣接する既再生の画素値を用いて所定の方法で画面内予測信号を生成する。画面内予測信号を生成する方法は、画面内予測信号生成方法決定器１０５にて決定される。画面内予測信号生成方法決定器１０５の処理は後に説明するが、ここでは対象ブロックに直に隣接する複数の画素を用いて補間する方法を用いている。このように決定された予測方法に関する情報（又はモード情報ともいう）はラインＬ１２３経由で画面内予測信号生成器１０６に送られる。これらのモード情報はラインＬ１２５経由でエントロピー符号化器１１５に送られ符号化した上で出力端子１１６から送出される。画面内予測信号生成器１０６では、画面内予測信号生成方法を指示するモード情報をもとにフレームメモリ１１４（ラインＬ１２０経由）から同じ画面内にあり対象ブロックに直に隣接する既再生の画素信号を取得し、モード情報に従って予測信号を生成する。このように生成された画面間予測信号は端子１０７ｂ経由で次の処理ブロックに送られる。

上述のように求められた画面間予測信号と画面内予測信号に対し、切り替えスイッチ１０７によって誤差の最も小さいものが選択され、減算器１０８に送られる。選択情報は、予測信号生成方法を指示するモード情報に含まれる。但し、一枚目の画像については、過去の画像がないため、全ての対象ブロックは画面内予測で処理され、当該画像を処理する際にはスイッチ１０７は常に端子１０７ｂに接続される。同様にシーンカットの直後や周期的に画面内予測の画像を導入する必要がある場合においては、画面一面に対し画面内予測のみとなる場合がある。なお、下記に述べる画面内予測信号生成方法は静止画像の符号化・復号にも適用できる。

減算器１０８にて対象ブロックの信号（ラインＬ１０２経由）から予測信号（ラインＬ１２７経由）を引き算し、残差信号を生成する。この残差信号は変換器１０９にて離散コサイン変換される。ここで、変換係数行列（変換ブロック）は、順次、量子化器１１０に入力され、量子化される（量子化変換係数行列の生成）。量子化された変換係数行列内の量子化変換係数は、走査器１２９にて量子化変換係数の１次元データに走査される。走査器１２９における走査方法については後で説明するが、選択した予測方法に応じて異なる方法が用いられる。最後にエントロピー符号化器１１５にて量子化された変換係数を符号化して、予測信号生成方法に関する情報（予測信号生成方法を指示するモード情報や動きベクトル）や量子化方法を指示する量子化パラメータ（図示なし）とともに出力端子１１６より送出される。

次の対象ブロックに対する画面内予測もしくは画面間予測を行うために、圧縮された対象ブロックの信号は逆処理した上で復元される。すなわち、逆走査器１３０にて量子化変換係数の１次元データから量子化変換係数行列（量子化変換ブロック）に逆走査される。量子化変換係数は逆量子化器１１１にて逆量子化されたのち、逆変換器１１２にて逆離散コサイン変換され、残差信号を復元する。加算器１１３にて復元された残差信号とラインＬ１２８から送られた予測信号とを加算し、対象ブロックの信号を再生し、フレームメモリ１１４に格納する。

次に、画面内予測処理について説明する。図２は本発明の実施形態に係る画像符号化装置１００に用いられる第１の画面内予測信号生成方法決定器を示すブロック図である。図２に示すように、画面内予測信号生成法決定器１０５は、予測方法決定器２０１、及び予測信号生成器２０２を備えている。本実施形態においては、予測信号生成器２０２にて対象ブロックに直に接する複数の既再生画素を用いて、９つの方法で予測信号を生成する。この９つの予測信号の生成方法について図８（ａ）、図９（ａ）、図１０（ａ）、図１１（ａ）、図１２（ａ）、図１３（ａ）、図１４（ａ）、図１５（ａ）、図１６（ａ）を用いて説明する。図８（ａ）は対象領域の第１の画面内予測信号生成方法を示す。この図８（ａ）において、各升目は画素を示し、画素Ａ〜Ｍの画素群８０１は既再生画素群であり、ラインＬ１２０経由で画面内予測信号生成法決定器１０５内の予測信号生成器２０２に入力される。また画素ａ〜ｐの画素群８０２は対象ブロックに含まれる画素である。本実施形態では４×４画素からなる対象ブロックを用いているが、それ以外の画素数からなるブロックを対象ブロックとしてもよい。その場合対象ブロックのサイズに合わせて対象ブロックに隣接する再生画素群を定義すればよい。対象ブロックの第１の画面内予測信号生成方法は、既再生画素群８０１の一部である画素Ａ〜Ｄを用いて、それぞれの画素を下方に引き伸ばしてテキスチャ信号（予測信号）を生成する。具体的な演算は式８０６に示されている。８０６では、ｐｒｅｄ（ａ，ｅ，ｉ，ｍ）＝Ａは、対象ブロック８０２にあるａ、ｅ、ｉ、ｍの各画素の予測値はＡとすることを意味する。対象領域の第２の画面内予測信号生成方法は図９（ａ）に示され、この場合既再生画素群９０１の一部であるＩ，Ｊ，Ｋ，Ｌを右に引き伸ばして対象ブロック９０２の予測信号として生成する。具体的な演算は式９０６に示されている。対象領域の第３の画面内予測信号生成方法は図１０（ａ）に示され、この場合既再生画素群１００１に含まれる画素Ａ〜ＤとＩ〜Ｌの平均値を対象ブロック１００２の予測信号として用いる。具体的な演算は式１００６に示されている。対象ブロックに対する残りの画面内予測信号生成方法は、それぞれ図１１（ａ）、図１２（ａ）、図１３（ａ）、図１４（ａ）、図１５（ａ）、図１６（ａ）に示されている。詳細について省略する。なお、９つのテキスチャ信号のほかに、より多い又は少ないテキスチャ信号を用いてもよい。また上述と異なる方法、たとえばスプライン外挿などの方法でテキスチャ信号を生成してもよい。

図２に戻り、このように作られた９つのテキスチャ信号は、ラインＬ２０２経由で予測方法決定器２０１に送られる。予測方法決定器２０１には、さらにラインＬ１０３経由で対象ブロックの信号が入力される。そこにおいて、ラインＬ２０２経由で送られた９つのテキスチャ信号に対し、対象ブロックとの差分を求め、最も小さい差分値を与えるテキスチャ信号を対象ブロックの予測信号とする。この最適なテキスチャ信号を生成する予測信号生成方法を指示するモード情報はラインＬ１２３経由で図１にある画面内予測信号生成器１０６に送られる。画面内予測信号生成器１０６では、このモード情報にしたがい、上述の方法で既再生画素群を用いて対象ブロックの予測信号を生成する。

次に、本発明における変換係数の走査方法について説明する。差分信号のエントロピー符号化では、ブロック内の量子化変換係数を、１以上の大きさを持つ有意係数と連続する０係数の数に分けて符号化する。そのため、エントロピー符号化器に入力される量子化変換係数の１次元データの並びに、有意係数と０係数が混在していると符号化効率が低下する。図２１に量子化変換係数の１次元データの例を示す。各枡の値が量子化変換係数を示している。図２１（ａ）と図２１（ｂ）では、量子化係数の値の構成は同じであるが、符号化される順番が異なる。図２１（ｂ）の例では、７番目以降の量子化変換係数が０値であることを示す情報を送ることにより、符号化処理を打ち切ることが可能となる。一方、図２１（ａ）では、１６番目の量子化係数まですべて送る必要があり、かつ、連続する０の数を４回送る必要があるため、図２１（ｂ）に対して符号化効率が悪い。このように、変換係数の走査順が符号化効率に影響を与える。

図３に示すように、走査器１２９は、９つの画面内予測信号生成方法に対して用意された走査器３０１〜３０９、スイッチ３２３、及び走査方法選択器３２２を備えている。なお、ここでは、図１のスイッチ１０７にて画面内予測を選択した場合について説明する。画面間予測を選択した場合の説明は割愛するが、画面間予測用の走査器を用いる（走査順序としては、例えば、図１０（ｂ）で説明するジグザグ走査が採用される）。

図３の走査器１２９では、最初にＬ１２５経由で選択された画面内予測信号生成方法を指示するモード情報が走査方法選択器３２２に送られる。走査方法選択器３２２は、モード情報に従って、スイッチ３２３を切り替える。これにより、量子化変換係数行列（量子化変換ブロック）の各変換係数は、Ｌ１０６経由で走査器３０１〜３０９のいずれかにラスタスキャン順に入力される。なお、変換係数の入力順は予め定めておけば別の順序でもよい。各走査器３０１〜３０９は、入力された複数個の変換係数を下記に説明する走査方法で１次元データに並べ替え、Ｌ１３０経由で図１のエントロピー符号化器１１５に出力する。また、モード情報に画面間予測と画面間予測の判定結果を含めるようにすれば、画面間予測にも対応できる。画面間予測用の走査器を別途用意しても良い。

ここで、図８（ｂ）、図９（ｂ）、図１０（ｂ）、図１１（ｂ）、図１２（ｂ）、図１３（ｂ）、図１４（ｂ）、図１５（ｂ）、図１６（ｂ）を用いて、各走査器３０１〜３０９における変換係数の走査方法を説明する。本実施の形態においては、９つの画面内予測信号生成方法が定義されている。これらの予測方法は、図１０（ａ）を除いて、図８（ａ）〜図１６（ａ）に示されるように１３個の既再生画素（Ａ〜Ｍ）の一部を特定の方向に引き伸ばして対象領域内の予測信号を生成する。そのため、生成される予測信号は特定の方向に強い相関を持ち、この特性は差分信号を離散コサイン変換したブロックの変換係数にも影響を与える。図８（ｂ）は図８（ａ）に示される第１の画面内予測信号生成方法が選択された場合の変換係数の走査方法を示している。この場合、差分信号は縦方向に強い相関を持っており、大きな値を持つ変換係数は相関の弱い横方向、つまり予測方向に対して９０度の方向に現れる可能性が高い。そこで、量子化変換係数行列（量子化変換ブロック）８０３内の変換係数を矢印に示すように左から右、上から下に向かって走査し、係数０〜係数１５の並びとなる１次元データを生成する。図９（ｂ）のブロック９０３は図９（ａ）に示される第２の画面内予測信号生成方法が選択された場合の変換係数の走査方法を示している。図８（ｂ）の場合と同様に予測方向に９０度の方向、つまり縦方向に大きな値を持つ変換係数が現れる可能性が高いため、量子化変換ブロック９０３内の変換係数を矢印に示すように上から下、左から右に向かって走査し、係数０〜係数１５の並びとなる１次元データを生成する。図１０（ｂ）では、８個の再生画素の平均値が対象ブロック内の各画素の予測信号となる。この場合には、予測方向に偏りはないため、変換係数の低周波成分から高周波成分に向かってジグザグに走査する。同様に図１１（ｂ）、図１２（ｂ）、図１３（ｂ）、図１４（ｂ）、図１５（ｂ）、図１６（ｂ）については、図８（ｂ）や図９（ｂ）と同様に予測方向に対して９０度の方向に変換係数を走査する。

次に、本発明における変換係数の逆走査方法について説明する。ここでは、図１のスイッチ１０７にて画面内予測を選択した場合について説明する。図６に示すように、逆走査器１３０（図１にも示す）は、９つの画面内予測信号生成方法に対して用意された逆走査器６０１〜６０９、逆走査方法選択器６２２、及びスイッチ６２３を備えている。逆走査方法選択器６２２は、図３の走査方法選択器と同様の機能を持つ。つまり、Ｌ１２５経由で選択された画面内予測信号生成方法を指示するモード情報が逆走査方法選択器６２２に送られると、逆走査方法選択器６２２は、モード情報に従って、スイッチ６２３を切り替える。これにより、量子化変換係数に関する１次元データの変換係数列は、Ｌ１３０経由で逆走査器６０１〜６０９のいずれかに入力される。各逆走査器６０１〜６０９は、それぞれ、図８（ｂ）、図９（ｂ）、図１０（ｂ）、図１１（ｂ）、図１２（ｂ）、図１３（ｂ）、図１４（ｂ）、図１５（ｂ）、図１６（ｂ）に示す矢印の順に従って、入力された量子化変換係数に関する１次元データの変換係数を、量子化変換係数行列（量子化変換ブロック）上にマッピングする。量子化変換ブロックは、Ｌ１３１経由で図１の逆量子化器１１１に出力される。なお、画面間予測を選択した場合の説明は割愛するが（図示なし）、予測方法を指示するモード情報に画面間予測と画面間予測の判定結果を含めるようにすれば、画面間予測にも対応できる。画面間予測用の逆走査器を用いる（走査順序としては、例えば、図１０（ｂ）で説明するジグザグ走査が採用される、画面間予測用の逆走査器を別途用意しても良い）。

図４は、本発明の実施形態に係る画像符号化装置１００における画面内符号化処理を示す流れ図である。ステップ４０２では、対象ブロックに直に隣接する複数の既再生画素（例えば図８（ａ）の８０１）をフレームメモリから取得し、９つの画面内予測信号生成方法について、対象ブロックの予測信号を生成する。そして、対象ブロックの信号との差分値が最小となる１つの予測信号生成方法を選択する。ステップ４０３では、対象ブロックの信号と予測信号との差分信号を生成し、ステップ４０４にて、差分信号にＤＣＴを施し、変換係数行列を生成する。ステップ４０５では、変換係数行列の各変換係数を量子化する。続いて、ステップ４０６では、ステップ４０２で選択した予測信号生成方法に対応する走査方法を図８（ｂ）〜図１６（ｂ）から選択し、量子化変換係数行列内の変換係数を１次元データに並べ替える。量子化された変換係数、及び、ステップ４０２にて選択した予測信号生成方法を指示するモード情報は、エントロピー符号化される（ステップ４０７）。最後に、ステップ４０８にて、上記符号化されたモード情報及び量子化変換係数を出力する。

次に、本発明の逆走査方法を実施する画像復号装置ならびに復号方法について説明する。図５は本発明の実施形態に係る画像復号装置５００のブロック図を示す。画像復号装置５００は、入力端子５００Ａ、エントロピー復号器５０１、逆走査器５１３、逆量子化器５０２、逆変換器５０３、加算器５０４、画面内予測信号生成器５０５、フレームメモリ（画像保存手段）５０６、画面内予測信号生成方法取得器５０７、画面間予測信号生成器５０８、切り替えスイッチ５０９、及び出力端子５１２を備えている。

以上のように構成された画像復号装置５００について、以下その動作を述べる。上述した方法で圧縮符号化された圧縮データは入力端子５００Ａから入力される。この圧縮データには、画像を複数のブロックに分割された対象ブロックの予測残差信号の符号化データ及び予測信号生成方法を指示するモード情報が含まれている。エントロピー復号器５０１にて、圧縮データより、対象ブロックの残差信号の符号化データ、予測信号生成方法を指示するモード情報（フレーム内予測の場合はさらに画面内予測信号生成方法を指示するモード情報を含む）、量子化パラメータ、フレーム間予測の場合はさらに動き情報（動きベクトル）を抽出し、復号する。対象ブロックの残差信号の符号化データ、すなわち量子化変換係数の１次元データは、逆走査器５１３にて、量子化変換係数行列に逆走査し、ラインＬ５１３経由で逆量子化器５０２に出力される。なお、逆走査器５１３における逆走査方法については後で説明するが、選択した予測方法に応じて異なる方法が用いられる。量子化変換行列内の量子化変換係数は逆量子化器５０２では量子化パラメータ（ラインＬ５１１ｃ経由）をもとに逆量子化され、ラインＬ５０３経由で逆変換器５０３に出力される。逆変換器５０３では、逆量子化により得られた変換係数行列に逆離散コサイン変換を施す。次にラインＬ５１１ｂ経由で予測信号生成方法を指示するモード情報に含まれる画面内予測と画面間予測の切り替え情報が切り替えスイッチ５０９に送られる。画面間予測を行なう場合、切り替えスイッチ５０９は端子５１０ａに倒される。復元の対象となる対象ブロックに対する動きベクトルはラインＬ５１１ａ経由で画面間予測信号生成器５０８に送られ、フレームメモリ５０６にアクセスし動きベクトルによって指定された予測信号を生成する。画面内予測を行なう場合、切り替えスイッチ５０９は端子５１０ｂに倒される。この場合、ラインＬ５１１ｄ経由で予測信号生成方法を指示するモード情報に含まれる画面内予測信号生成方法を指示するモード情報が画面内予測信号生成器５０５に送られる。画面内予測信号生成器５０５では、フレームメモリ５０６から対象ブロックに直に接する既再生画素群を取得し、モード情報に対応する画面内予測信号生成方法（図８（ａ）から図１６（ａ）のいずれか）にて予測信号を生成する。画面間予測信号生成器５０８や画面内予測信号生成器５０５より生成された予測信号はラインＬ５１０経由で加算器５０４に送られ、復元された残差信号に加算され、対象ブロック信号を再生し、ラインＬ５１２経由で出力すると同時にフレームメモリ５０６に格納される。

次に本発明に係る逆走査器５１３について説明する。逆走査器５１３の機能は、図１の逆走査器１３０と同じである。まず、図５のスイッチ５０９にて画面内予測を選択される場合について説明する。図６に示すように、逆走査器５１３は、９つの画面内予測信号生成方法に対して用意された逆走査器６０１〜６０９、逆走査方法選択器６２２、及びスイッチ６２３を備えている。Ｌ５１１ｄ経由で選択された画面内予測信号生成方法を指示するモード情報が逆走査方法選択器６２２に送られると、逆走査方法選択器６２２は、モード情報に従って、スイッチ６２３を切り替える。これにより、図５のエントロピー復号器５０１から出力される量子化変換係数に関する１次元データの変換係数列は、Ｌ５０３経由で逆走査器６０１〜６０９のいずれかに入力される。各逆走査器６０１〜６０９は、それぞれ、図８（ｂ）、図９（ｂ）、図１０（ｂ）、図１１（ｂ）、図１２（ｂ）、図１３（ｂ）、図１４（ｂ）、図１５（ｂ）、図１６（ｂ）に示す矢印の順に従って、入力された量子化変換係数の１次元データの変換係数を、量子化変換係数行列（量子化変換ブロック）上にマッピングする。量子化変換ブロックは、Ｌ５１３経由で図５の逆量子化器５０２に出力される。図５のスイッチ５０９にて画面間予測を選択される場合については、画面内予測と画面間予測の切り替え情報を、予測信号生成方法を指示するモード情報に含めることで対応できる。図１０（ｂ）に示す矢印の順に従って、入力された量子化変換係数の１次元データの変換係数を、変換ブロック上にマッピングする（図示なし）。この際、逆走査器５１３に、画面間予測用の逆走査器を別途用意しても良い。

図７は、本発明の実施形態に係る画像復号装置５００における画面内復号処理を示す流れ図である。ステップ７０２では、圧縮データから対象ブロックの復号処理に要するデータを入力する。ステップ７０３では、ステップ７０２で取得した対象ブロックの圧縮データをエントロピー復号し、量子化変換係数と予測信号生成方法を指示するモード情報を復元する。ステップ７０４では、復元したモード情報に対応する逆走査方法により、量子化変換係数の１次元データを逆走査し、量子化変換係数行列に復元する。ステップ７０５では、復元した量子化変換係数を逆量子化し、変換係数行列を復元する。ステップ７０５では、復元した変換係数行列はステップ７０６にて逆ＤＣＴ処理され、対象ブロックの差分信号が復元される。最後にステップ７０７にて、復元した差分信号と復元したモード情報に従って生成した画面内予測信号を加算し、対象ブロックの再生信号を生成する。

次に、コンピュータを本発明に係る画像符号化装置として動作させるための画像符号化プログラム、及び、コンピュータを本発明に係る画像復号装置として動作させるための画像復号プログラムについて説明する。図２２は画像符号化プログラムＰ１００の構成を、記録媒体１０と共に示す図であり、図２３は画像復号プログラムＰ５００の構成を、記録媒体１０と共に示す図である。このように画像符号化プログラムＰ１００及び画像復号プログラムＰ５００は、記録媒体１０に格納されて提供される。記録媒体１０としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。

図２２に示すように、画像符号化プログラムＰ１００は、本発明に係る画像符号化装置が備える領域分割手段に相当する領域分割モジュールＰ１０１と、予測信号生成手段に相当する予測信号生成モジュールＰ１０２と、残差信号生成手段に相当する残差信号生成モジュールＰ１０３と、変換手段に相当する変換モジュールＰ１０４と、走査手段に相当する走査モジュールＰ１０５と、符号化手段に相当する符号化モジュールＰ１０６と、復号手段に相当する復号モジュールＰ１０７と、逆走査手段に相当する逆走査モジュールＰ１０８と、逆変換手段に相当する逆変換モジュールＰ１０９と、画像復元手段に相当する画像復元モジュールＰ１１０と、画像保存手段に相当する画像保存モジュールＰ１１１とを備えている。

また、図２３に示すように、画像復号プログラムＰ５００は、本発明に係る画像復号装置が備える復号手段に相当する復号モジュールＰ５０１と、予測信号生成手段に相当する予測信号生成モジュールＰ５０２と、逆走査手段に相当する逆走査モジュールＰ５０３と、逆変換手段に相当する逆変換モジュールＰ５０４と、画像復元手段に相当する画像復元モジュールＰ５０５と、画像保存手段に相当する画像保存モジュールＰ５０６とを備えている。

図１７は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１８は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。コンピュータとして、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。

図１７に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された画像符号化プログラムＰ１００及び画像復号プログラムＰ５００にアクセス可能になり、当該画像符号化プログラムＰ１００及び画像復号プログラムＰ５００によって、本発明に係る画像符号化装置・画像復号装置として動作することが可能になる。

図１８に示すように、画像符号化プログラムもしくは画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した画像符号化プログラムもしくは画像復号プログラムをメモリ１６に格納し、当該画像符号化プログラムもしくは画像復号プログラムを実行することができる。

以上のように本発明における変換係数の走査方法ならびに逆走査方法によれば、特定の方向に強い相関を持つ予測信号の差分符号化において、予測方向等の特徴に応じて変換係数の走査方法ならびに逆走査方法を切り替えることが可能となるため、符号化効率が向上する。

上記では、予測方向に対して９０度の方向に変換係数を走査しているが、走査方法は、量子化変換係数行列内の変換係数を符号化する順番を定めるものであり、その順番は符号化効率を高める走査方法であればよい。従って、最適な角度は、予測方法や画像の特徴に応じて異なるものであり、限定されるものではない。また、図８（ｂ）〜図１６（ｂ）では、量子化変換係数行列の走査は１本線で実施されているが、最適な走査方法は、予測方法や画像の特徴に応じて異なるものであり、数本の組み合わせで変換係数の１次元データを走査する場合もある。また、特定の量子化変換係数を０に既定するような場合には、必ずしも量子化変換係数内の全ての変換係数を走査する必要もない。逆走査方法も、走査方法を逆にたどって、量子化変換係数の１次元データを量子化変換係数行列に復元するものであり、走査方法と同じく、上記の実施形態の方法には限定されない。

上記の実施形態では、複数の予測信号の生成方法に対する走査方法ならびに逆走査方法は予め定めているが、シーケンス単位やフレーム単位、あるいはブロック単位で符号化してもよい。

シーケンス単位やフレーム単位では、予め定めた逆走査方法を用いるか、あるいは逆走査方法を指示するデータを送るかを示すフラグを送る。この際、予測信号生成方法毎にフラグを送っても良いし、複数の予測信号生成方法毎に（すべての予測信号生成方法を含む）フラグを送っても良い。逆走査方法を指示するデータのフォーマットとしては、１次元データの各変換係数と逆走査後の量子化変換係数行列内における座標との対応を、量子化変換係数の復号順に並べる場合が考えられるが、このフォーマットには限定されない。例えば、量子化変換係数行列内の各係数のindexを予め決めておき、座標の代わりに該indexを符号化してもよいし、量子化変換係数行列内の各係数を所定の順番に並べ、その順序で１次元データとの対応を符号化するようにしてもよい。さらに、逆走査方法を指示するデータを送るのではなく、予め定めた複数の逆走査方法にそれぞれ識別番号を与えておき、各予測信号生成方法に対応する逆走査方法の識別情報を選択的に送る方法も考えられる。

ブロック単位では、上記のように逆走査方法を符号化してもよいが、予測信号生成方法に対応した逆走査方法を用いるか、又は、デフォルトの逆走査方法（例えば図１０（ｂ））を用いるか、のいずれかを示す識別情報を送っても良い。識別情報には、シーケンス単位あるいはフレーム単位で送った逆走査方法を示すデータを選択肢に含んでも良いし、さらに、識別情報には、逆走査方法を示すデータを送るという選択肢を含んでも良い。識別情報が逆走査方法を示すデータを送ることを示すブロックでは、識別情報に続いて、逆走査方法を示すデータが伝送される。なお、これら４種類のいずれかの２つあるいは３つの組み合わせで識別情報を構成してもよい。

このように逆走査方法に関する情報をフレームやブロック単位で送る場合には、符号化側ではテキスチャ信号の特徴に基づいて、各予測信号生成方法に対応する逆走査方法を決める必要がある。その手順としては、まず、候補となる走査方法を実際に試してみて、符号量が少ない方法を選択する。そして、適切な走査方法の対となる逆走査方法をデコーダに通知するという方法がある。復号側では、復号された予測信号生成方法を指示するモード情報と逆走査方法に関する情報から、各予測信号生成方法に対応する逆走査方法を選択し、復元した量子化変換係数の１次元データから量子化変換係数行列を生成する。

本発明の実施は、予測信号生成方法の数には限定されないし、生成される予測信号が特定の特徴を有する場合には、走査方法ならびに逆走査方法切り替えの効果は期待できる。

本実施形態では予測信号生成と同じく量子化変換係数行列（量子化変換ブロック）を４×４画素としているが、それ以外の画素数（例えば８×８画素）からなるブロックを量子化変換ブロックとしてもよい。また、変換ブロックのサイズを予測信号生成の対象ブロックと異なるサイズにしてもよい。変換ブロックのサイズが対象ブロックのサイズよりも小さい場合、予測方向の違いが変換係数に与える影響は予測に用いる既再生画素から空間的に離れるほど小さくなる。このように予測方向の影響が小さい量子化変換ブロックに対しては、一般的なジグザグ走査を用いるように走査方法を設定してもよい。

上記では差分信号の変換方法として離散コサイン変換（ＤＣＴ）を用いているが、変換方法はＤＣＴには限定されない。Ｈ．２６４に定義されるような整数変換でもよいし、ＫＬＴ等の別の変換方法を用いてもよいし、あるいは周波数変換を行わなくてよい。この際、適用される量子化変換係数行列の走査方法ならびに量子化変換係数の１次元データの逆走査方法は、変換方法によって異なる。例えば、周波数変換を行わない場合には、既再生画素から空間的に離れた画素ほど予測差分値が大きくなる傾向があるため、図８（ｂ）〜図１６（ｂ）に示した矢印を逆方向に走査し（走査方法）、量子化変換係数の１次元データを矢印の逆方向から量子化変換係数行列にマッピングする（逆走査方法）手順が効果的と考えられる。また、本発明は、エントロピー符号化の方法にも限定されない。算術符号化や可変長符号化など、あらゆる方法が適用可能である。また、量子化器が存在しない場合にも適用可能である。この場合には、量子化変換行列並びに量子化変換係数の１次元データは、それぞれ変換行列並びに変換係数の１次元データに置き換えられる。さらに、周波数変換を行わない場合には、差分行列（差分ブロック）並びに差分信号の１次元データに置き換えられる。

図１では、走査器を変換器ならびに量子化器とは別に設けているが、変換器あるいは量子化器に含まれるような構成であってもよいし、量子化器に変換器に含まれる構成でも本発明の走査方法は適用可能である。同様に、図１と図５の逆走査器は逆変換器あるいは逆量子化器に含まれるような構成であってもよいし、逆量子化器に逆変換器が含まれる構成でも本発明の逆走査方法は適用可能である。また、図１と図５は、画面内予測信号生成器への再生済み信号の入力はフレームメモリから行う構成となっているが、フレームメモリを介さずに加算器１１３（図１）や加算器５０４（図５）から行う構成であっても、本発明の逆走査方法は適用できる。

１００…画像符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…画面間予測信号生成方法決定器、１０４…画面間予測信号生成器、１０５…画面内予測信号生成方法決定器、１０６…画面内予測信号生成器、１０７…切り替えスイッチ、１０８…減算器、１０９…変換器、１１０…量子化器、１１１…逆量子化器、１１２…逆変換器、１１３…加算器、１１４…フレームメモリ、１１５…エントロピー符号化器、１１６…出力端子、１２９…走査器、１３０…逆走査器、５００…画像復号装置、５００Ａ…入力端子、５０１…エントロピー復号器、５０２…逆量子化器、５０３…逆変換器、５０４…加算器、５０５…画面内予測信号生成器、５０６…フレームメモリ、５０８…画面間予測信号生成器、５０９…切り替えスイッチ、５１２…出力端子、５１３…逆走査器。

Claims (6)

1. 圧縮データの中から処理対象である対象領域に関する画面内予測モード情報と量子化された変換係数の１次元データとを抽出して復元する復号手段と、
   複数の画面内予測信号生成方法の中から前記画面内予測モード情報で指定された方法で既再生の画素を参照して画面内予測信号を生成する予測信号生成手段と、
   前記量子化された変換係数の１次元データを逆走査して、量子化された変換係数行列を生成し、生成した変換係数行列に逆量子化と逆変換を行うことで再生残差信号を復元し、前記画面内予測信号と前記再生残差信号を加算することによって、前記対象領域の画素信号を復元する画像復元手段と、
   前記復元された画素信号を、前記予測信号生成手段が参照可能な既再生の画素として蓄積する画像保存手段と、
   を備え、
   前記画像復元手段は、逆変換を実施する際の逆変換ブロックサイズが第１のサイズである場合には用意された複数の逆走査方法の中から、前記画面内予測モード情報に基づいて定まる逆走査方法を用い、前記逆変換ブロックサイズが前記第１のサイズよりも大きい第２のサイズである場合には規定の逆走査方法を用いて、前記量子化された変換係数の１次元データを逆走査して、前記量子化された変換係数行列を生成し、
   前記複数の逆走査方法には前記規定の逆走査方法が含まれる、
   ことを特徴とする画像復号装置。
2. 前記予測信号生成手段は、前記対象領域に隣接する既再生の画素を参照する画面内予測信号生成方法により、１つ以上のテキスチャ信号を生成し、
   前記用意された複数の逆走査方法は、前記画面内予測信号生成方法により生成されるテキスチャ信号に適した逆走査方法を含む、
   ことを特徴とする請求項１に記載の画像復号装置。
3. 前記逆走査方法と前記画面内予測信号生成方法との対応は、予め決まっていることを特徴とする請求項１に記載の画像復号装置。
4. 前記復号手段は、前記用意された複数の逆走査方法の中から、特定された予測信号生成方法に対応する逆走査方法を選択するための識別情報を抽出して復元し、
   前記画像復元手段は、前記用意された複数の逆走査方法の中から、前記画面内予測モード情報と前記識別情報とから定まる逆走査方法を用いて、前記量子化された変換係数行列を生成する、
   ことを特徴とする請求項１に記載の画像復号装置。
5. 画像復号装置により実行される画像復号方法であって、
   圧縮データの中から処理対象である対象領域に関する画面内予測モード情報と量子化された変換係数の１次元データとを抽出して復元する復号ステップと、
   複数の画面内予測信号生成方法の中から前記画面内予測モード情報で指定された方法で既再生の画素を参照して画面内予測信号を生成する予測信号生成ステップと、
   前記量子化された変換係数の１次元データを逆走査して、量子化された変換係数行列を生成し、生成した変換係数行列に逆量子化と逆変換を行うことで再生残差信号を復元し、前記画面内予測信号と前記再生残差信号を加算することによって、前記対象領域の画素信号を復元する画像復元ステップと、
   前記復元された画素信号を、前記予測信号生成ステップで参照可能な既再生の画素として蓄積する画像保存ステップと、
   を備え、
   前記画像復元ステップでは、逆変換を実施する際の逆変換ブロックサイズが第１のサイズである場合には用意された複数の逆走査方法の中から、前記画面内予測モード情報に基づいて定まる逆走査方法を用い、前記逆変換ブロックサイズが前記第１のサイズよりも大きい第２のサイズである場合には規定の逆走査方法を用いて、前記量子化された変換係数の１次元データを逆走査して、前記量子化された変換係数行列を生成し、
   前記複数の逆走査方法には前記規定の逆走査方法が含まれる、
   ことを特徴とする画像復号方法。
6. コンピュータを、
   圧縮データの中から処理対象である対象領域に関する画面内予測モード情報と量子化された変換係数の１次元データとを抽出して復元する復号手段と、
   複数の画面内予測信号生成方法の中から前記画面内予測モード情報で指定された方法で既再生の画素を参照して画面内予測信号を生成する予測信号生成手段と、
   前記量子化された変換係数の１次元データを逆走査して、量子化された変換係数行列を生成し、生成した変換係数行列に逆量子化と逆変換を行うことで再生残差信号を復元し、前記画面内予測信号と前記再生残差信号を加算することによって、前記対象領域の画素信号を復元する画像復元手段と、
   前記復元された画素信号を、前記予測信号生成手段が参照可能な既再生の画素として蓄積する画像保存手段、
   として機能させるための画像復号プログラムであって、
   前記画像復元手段は、逆変換を実施する際の逆変換ブロックサイズが第１のサイズである場合には用意された複数の逆走査方法の中から、前記画面内予測モード情報に基づいて定まる逆走査方法を用い、前逆記変換ブロックサイズが前記第１のサイズよりも大きい第２のサイズである場合には規定の逆走査方法を用いて、前記量子化された変換係数の１次元データを逆走査して、前記量子化された変換係数行列を生成し、
   前記複数の逆走査方法には前記規定の逆走査方法が含まれる、
   ことを特徴とする画像復号プログラム。

Images