JP5298082B2 - 適応的に直交変換係数の走査順序を決定する符号化装置及び復号装置 - Google Patents

Description

本発明は、直交変換を使用して多次元の信号を符号化する方式に関連し、直交変換した信号を伝送する際の走査順序（スキャニングオーダー）を適応的に決定し、効率的な符号化を実現するための符号化装置及び復号装置に関する。

多次元の信号を符号化する代表的な方式として、映像の符号化を行うＭＰＥＧ−２やＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などがある。これらの符号化方式では、入力信号を直交変換（例えば、ＤＣＴ）により周波数成分のエネルギーによる表現に変換する。例えば、２次元ＤＣＴの場合、周波数の低い信号成分は２次元配列で表すと左上に、周波数の高い信号成分は右下に配置される。一般的に、ＤＣＴが用いられるような信号では、エネルギーが低周波成分に偏り、また、例えば映像信号の場合、人間の視覚特性として周波数の低い信号に対する感度が高いことが知られており、低い周波数成分の信号が重要視される。

このような性質から、信号を伝送するために１次元信号に並べ替える際に低周波数成分からジグザグに係数を並べ替えるジグザグスキャンが使用される。

また、このような１次元信号への並び替えによると、信号列は降順に整列されることになることが期待され、先頭から幾つかの係数を伝送し、以降の係数を打ち切ることで、信号の持つ情報の大部分を伝送でき、且つ、伝送するデータ量を減らすことができる。

このような走査順序の変更によって符号化性能を改善する技法として、信号に含まれる特徴に応じて直交変換係数の分布が特定の偏りを持つことを利用して、信号分析により予め定めた複数の走査順序から適切なものを選択し、符号化効率を改善する技術が知られている（例えば、特許文献１参照）。

また、符号化方式で予め定められた予測方式（画像の性質に依存して選択される）に依存する走査順序を選択的に切り換え、符号化効率を改善する技術が知られている（例えば、特許文献２参照）。

特許第４１２８６０４号公報 特開２００９−２７５４１号公報

映像の符号化を行うＭＰＥＧ−２やＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などの符号化方式では、より信号を少ない表現にするためにさまざまな信号予測技術（例えば、動き補償予測、イントラ予測）が採用されている。信号予測技術を使用し、実際に直交変換される信号は、信号源そのものではなく、予測された信号と実際の信号との差分信号である。この予測差分信号の直交変換結果は必ずしもエネルギーが低い周波成分に集中せず、しばしば符号化効率が好適とはならない。

また、走査順序の変更によって符号化性能を改善する技法を開示する特許文献１，２の技術では、走査順序を決定する際に、予め設計した順序のパターンを複数用意して選択的に切り換える必要があり、この予め設計した順序のパターン数に利得が依存することとなり、これを防止するには多数のパターンを予め用意しておかなければならず、さらに、この多数のパターンのうちのいずれを用いたかを示す多数ビットの制御フラグを伝送しなければならない。

本発明の目的は、上述の問題に鑑みて、事前に用意された複数のパターンを用いることなく、直交変換した信号を伝送する際の走査順序（スキャニングオーダー）を適応的に決定し、効率的な符号化を実現するための符号化装置及び復号装置を提供することにある。
また、本発明の目的は、上述の問題に鑑みて、事前に用意された複数パターンのスキャニングオーダーが用意されている場合でも少ない切り替え情報でパターンの切り替えを行うことが可能な符号化装置及び復号装置を提供することにある。

映像信号や音声信号は、時間あるいは空間的に隣接する信号の相関が高い信号である。このような信号では、例えばＭＰＥＧなどの映像符号化方式では動き補償予測やイントラ予測などの信号予測技術が使用される。例えば、動き補償予測では、異なるフレームに含まれる符号化領域に類似した信号を検出し、予測に用いる。異なる時間のフレーム信号との相関の高さを利用しているが、一方で、同じフレーム内の隣接する領域間の相関を利用していない。

そこで、本発明では、信号の並び替えにおいて、係数の持つエネルギーをより適切に降順になるように並べ替えるようにする。

より具体的には、本発明に係る符号化装置は、復号済の信号から符号化対象の信号を予測する符号化装置において、符号化対象の信号と予測信号の差分信号（予測差分信号）を２次元直交変換処理し、予測信号と処理領域周囲の既復号信号の隣接する信号間の差分信号に基づいて、適応的に２次元信号を１次元信号に並べ替え、この１次元信号を符号化するように構成される。この２次元信号を１次元信号に並べ替える走査手段は、予測信号と処理領域周囲の既復号信号の隣接する信号間の差分信号を１次元直交変換し、直交変換係数のエネルギー分布を基に直交変換した信号の並べ替え順序を決定する。

一方、本発明に係る復号装置は、復号対象の信号を復号済みの信号から予測し、予測信号と処理領域範囲の既復号信号の隣接する信号間の差分信号に基づいて適応的に１次元信号を２次元信号に並べ替え、逆直交変換によって復号された予測差分信号と予測信号とを加算することで画像を復号する。復号装置側においても、この２次元信号を１次元信号に並べ替える走査手段は、予測信号と処理領域周囲の既復号信号の隣接する信号間の差分信号を１次元直交変換し、直交変換係数のエネルギー分布を基に直交変換した信号の並べ替え順序を決定する。

即ち、本発明の符号化装置は、動画像の符号化を行う符号化装置であって、動画像における符号化対象のブロック信号について、局部復号したブロック信号から予測した予測信号を生成する信号予測手段と、前記符号化対象のブロック信号と前記予測信号の差分からなる予測差分信号に対して２次元直交変換を施し、２次元配列の直交変換係数に基づく２次元信号を生成する直交変換手段と、前記予測信号を構成する画素群と、該予測信号に対して上下左右のいずれか１つ以上に隣接する既復号のブロック信号を構成する画素群について、前記予測信号を構成する画素と前記既復号のブロック信号を構成する画素が隣接する位置から所定の画素数からなる処理対象領域内で差分して、前記上下左右のいずれか１つ以上に隣接する既復号のブロック信号に対する隣接画素差分信号を生成し、それぞれの隣接画素差分信号に対して１次元直交変換を施してエネルギー分布を算出し、算出したエネルギーの値に基づいて前記２次元配列の列及び／又は行の並べ替え順序を決定し、該並べ替え順序を表す制御信号を生成するエネルギー順位予測手段と、該制御信号に基づいて、前記２次元配列の直交変換係数に基づく２次元信号の信号成分を１次元信号に並べ替える走査手段と、前記１次元信号に対して符号化を施す符号化手段と、を備えることを特徴とする。この符号化処理は、適応的に直交変換係数の走査順序を決定することに相当する。尚、予測信号に対して上下左右のいずれか１つ以上に隣接する既復号のブロック信号とは、例えば、予測信号に対して上側、下側、左側、及び右側に隣接する既に復号済みのブロック信号を云うものであり、符号化方式に応じて先に復号するブロック信号の順序が定められているため、その符号化方式に応じた順序に従う隣接するブロック信号を選択するのが好適である。

また、本発明の符号化装置において、前記エネルギー順位予測手段は、前記上下左右のいずれか１つ以上に隣接する既復号のブロック信号に対する隣接画素差分信号をそれぞれ生成し、それぞれの隣接画素差分信号に対して１次元直交変換を施してエネルギー分布を算出し、算出したエネルギーの値について周波数成分別に重み付けを施した上で、最も大きいものから降順となるよう前記２次元配列の列及び／又は行の並べ替え順序をそれぞれ決定し、該並べ替え順序を表す制御信号を生成する手段を有することを特徴とする。

また、本発明の符号化装置において、前記エネルギー順位予測手段は、前記左側及び上側に隣接する既復号のブロック信号に対する隣接画素差分信号をそれぞれ生成し、それぞれの隣接画素差分信号に対して１次元直交変換を施してエネルギー分布を算出し、算出したエネルギーの値が最も大きいものから降順となるよう前記２次元配列の列及び／又は行の並べ替え順序をそれぞれ決定し、該並べ替え順序を表す制御信号を生成する手段を有することを特徴とする。

また、本発明の符号化装置において、前記処理対象領域は、互いに隣接する前記予測信号を構成する画素と前記既復号のブロック信号を構成する画素を含む複数の画素数からなることを特徴とする。

また、本発明の符号化装置において、前記２次元信号の信号成分を１次元信号に並べ替えるパターンが、事前に用意された複数パターンからなり、前記走査手段は、前記エネルギー順位予測手段からの制御信号によって前記複数パターンの切り替えを行う手段を有することを特徴とする。

また、本発明の符号化装置において、前記走査手段は、前記２次元配列の直交変換係数に基づく２次元信号のうち、行についてエネルギー分布を算出して決定された当該制御信号に基づいて行について並べ替えを行う第１の走査手段、前記２次元配列の直交変換係数に基づく２次元信号のうち、列についてエネルギー分布を算出して決定された当該制御信号に基づいて列について並べ替えを行う第２の走査手段、前記２次元配列の直交変換係数に基づく２次元信号のうち、行及び／又は列についてエネルギー分布を算出して決定された当該制御信号に基づいて行及び／又は列について並べ替えを行う第３の走査手段、及び、前記２次元配列の直交変換係数に基づく２次元信号のうち、該予め定めた並べ替え順序で走査する第４の走査手段を切り替えて、前記２次元配列の直交変換係数に基づく２次元信号の信号成分を１次元信号に並べ替える切り替え手段を有し、該並べ替えの切り替えについて前記符号化手段による符号化効率を比較するよう前記切り換え手段を制御し、当該行又は列、或いはその双方の並べ替えを利用した場合と、当該並べ替えについて非利用の場合における符号化効率を比較して、最も符号化効率の高いほうを選択する出力判定手段を更に備えることを特徴とする。

さらに、本発明の復号装置は、動画像について符号化された信号を復号する復号装置であって、動画像について符号化されたビットストリームを入力して、前記１次元信号を復号する復号手段と、既に復号したブロック信号から予測信号を生成する信号予測手段と、該予測信号を構成する画素群と、該予測信号に対して上下左右のいずれか１つ以上に隣接する既復号のブロック信号を構成する画素群について、前記予測信号を構成する画素と前記既復号のブロック信号を構成する画素が隣接する位置から所定の画素数からなる処理対象領域内で差分して、前記上下左右のいずれか１つ以上に隣接する既復号のブロック信号に対する隣接画素差分信号を生成し、それぞれの隣接画素差分信号に対して１次元直交変換を施してエネルギー分布を算出し、算出したエネルギーの値に基づいて逆直交変換処理で用いる２次元配列の列及び／又は行の並べ替え順序を決定し、該並べ替え順序を表す制御信号を生成するエネルギー順位予測手段と、該制御信号に基づいて、前記１次元信号の信号成分を前記２次元配列の直交変換係数に基づく２次元信号に並べ替える走査手段と、前記２次元信号に対して逆直交変換を施す逆直交変換手段と、前記逆直交変換を施して得られる信号と前記予測信号と加算して、当該動画像におけるブロック信号を復元する加算手段と、を備えることを特徴とする。この復号処理は、適応的に直交変換係数の走査順序を決定することに相当する。

また、本発明のプログラムは、動画像の符号化を行う符号化装置として構成するコンピュータに、動画像における符号化対象のブロック信号について、局部復号したブロック信号から予測した予測信号を生成するステップと、前記符号化対象のブロック信号と前記予測信号の差分からなる予測差分信号に対して２次元直交変換を施し、２次元配列の直交変換係数に基づく２次元信号を生成するステップと、前記予測信号を構成する画素群と、該予測信号に対して上下左右のいずれか１つ以上に隣接する既復号のブロック信号を構成する画素群について、前記予測信号を構成する画素と前記既復号のブロック信号を構成する画素が隣接する位置から所定の画素数からなる処理対象領域内で差分して、前記上下左右のいずれか１つ以上に隣接する既復号のブロック信号に対する隣接画素差分信号を生成し、それぞれの隣接画素差分信号に対して１次元直交変換を施してエネルギー分布を算出し、算出したエネルギーの値に基づいて前記２次元配列の列及び／又は行の並べ替え順序を決定し、該並べ替え順序を表す制御信号を生成するステップと、該制御信号に基づいて、前記２次元配列の直交変換係数に基づく２次元信号の信号成分を１次元信号に並べ替えるステップと、前記１次元信号に対して符号化を施すステップと、を実行させるためのプログラムである。

また、本発明のプログラムは、動画像について符号化された信号を復号する復号装置として構成するコンピュータに、動画像について符号化されたビットストリームを入力して、前記１次元信号を復号するステップと、既に復号したブロック信号から予測信号を生成するステップと、該予測信号を構成する画素群と、該予測信号に対して上下左右のいずれか１つ以上に隣接する既復号のブロック信号を構成する画素群について、前記予測信号を構成する画素と前記既復号のブロック信号を構成する画素が隣接する位置から所定の画素数からなる処理対象領域内で差分して、前記上下左右のいずれか１つ以上に隣接する既復号のブロック信号に対する隣接画素差分信号を生成し、それぞれの隣接画素差分信号に対して１次元直交変換を施してエネルギー分布を算出し、算出したエネルギーの値に基づいて逆直交変換処理で用いる２次元配列の列及び／又は行の並べ替え順序を決定し、該並べ替え順序を表す制御信号を生成するステップと、該制御信号に基づいて、前記１次元信号の信号成分を前記２次元配列の直交変換係数に基づく２次元信号に並べ替えるステップと、前記２次元信号に対して逆直交変換を施すステップと、前記逆直交変換を施して得られる信号と前記予測信号と加算して、当該動画像におけるブロック信号を復元するステップと、を実行させるためのプログラムである。

本発明によれば、符号化対象の信号を少ない係数列に並べ替えることより効率的な伝送が可能となり、符号化効率を向上させることができる。

本発明による一実施例の符号化装置のブロック図である。 （ａ），（ｂ），（ｃ）は、スキャニング例を示す図である。 係数列の入れ替えを説明する図である。 動き補償予測によって予測された予測画像の信号と、隣接既復号信号の関係を示す図である。 （ａ），（ｂ），（ｃ）は、本発明による一実施例の符号化装置における隣接画素差分信号を示す図である。 本発明による一実施例の符号化装置における係数の入れ替え例を示す図である。 本発明による一実施例の符号化装置における垂直方向の隣接する上側既復号信号の下端画素と、水平方向の隣接する左側既復号信号の右端画素と、イントラ予測又は動き補償予測によって生成された予測信号の関係を例示する図である。 本発明による一実施例の符号化装置における１次元信号列への変換例を示す図である。 本発明による一実施例の復号装置を示す図である。 本発明による変形例の係数並べ替え部のブロック図である。 本発明による変形例の係数並べ替え部のブロック図である。

まず、本発明による一実施例の符号化装置について説明する。

［符号化装置］
図１は、本発明による一実施例の符号化装置のブロック図である。一般的に動画像の符号化では動き補償予測、直交変換、量子化、エントロピー符号化によって画像を符号化する。動き補償予測や画面内予測を用いる符号化方式の場合、復号された画像を予測に用いるため符号化装置内に復号装置（ローカルデコーダ）を内包している。本実施例では、入力信号に対し、信号予測を伴う符号化方式で予測信号と入力信号の差分を直交変換し、量子化処理を行った上で直交変換係数の並べ替えを行い、エントロピー符号化を行う場合を例としている。

本実施例の符号化装置１は、前処理部１０と、減算部１１と、直交変換部１２と、量子化部１３と、２次元信号から１次元信号に並べ替える係数並べ替え部１４と、エントロピー符号化部１５と、１次元信号から２次元信号に並べ替える係数逆並べ替え部１６と、逆量子化部１７と、逆直交変換部１８と、加算部１９と、メモリ２０と、信号予測部２１と、エネルギー順位予測部２２とを備える。

前処理部１０は、フレーム並べ替えやフォーマット変換など符号化処理に必要な前処理を行う機能部であり、より具体的な例として、フレーム画像を入力してバッファ（図示せず）に保持し、このバッファから例えば１６×１６画素のマクロブロックに分割し、このマクロブロックを８×８画素に分割して予め定めた順で減算部１１に送出する。尚、ブロックサイズやその分割は、適宜決定して採用することができ、以下では、８×８画素に分割した小領域の画素ブロック単位で処理する例を代表的に説明する。尚、符号化対象のマクロブロックは、信号予測部２１にも送出される。

また、信号予測部２１は、信号予測部は参照信号として用いられる信号を入力とし、符号化方式で予め定めた予測方法のうち最適な予測を与える方法を選択し、予測信号を出力する機能部であり、より具体例としては、イントラ予測及び動き補償予測の双方を総括して、符号化対象のマクロブロックを予測する予測画像を生成する機能部であり、動き補償予測の場合、前処理部１０から供給される符号化対象ブロックに対して、メモリ２０から取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を減算部１１及び加算部１９に出力する。動きベクトルの情報は、エントロピー符号化部１５に送出される。イントラ予測の場合、信号予測部２１は、メモリ２０から取得する参照画像を用いて外挿補間を行って、その結果得られた予測画像を減算部１１及びエネルギー順位予測部２２に出力する。尚、信号予測方法としてはＭＰＥＧなどで広く用いられている動き補償予測やＡＶＣ／Ｈ．２６４で用いられているイントラ予測などがあるが予測方法に制限されるものではない。

以下、イントラ予測及び動き補償予測のいずれも同様の処理が施されるため、動き補償予測の場合を説明する。

減算部１１は、前処理部１０からの符号化対象ブロックと、信号予測部２１からの予測画像との差分信号を生成して直交変換部１２に送出する。

直交変換部１２は、減算部１１から供給される８×８ブロックの差分信号に対して直交変換を施し、量子化部１３に送出する。

量子化部１３は、直交変換部１２から供給される８×８ブロックの差分信号の直交変換係数に対応する配列で量子化を行うための量子化マトリクスを用いて、８×８ブロックの差分信号の直交変換係数に対して量子化処理を行い、得られた量子化ブロックを係数並べ替え部１４に送出する。

係数並べ替え部１４は、量子化部１３によって量子化される直交変換行列の並べ替え順序について、エネルギー順位予測部２２からの制御信号に応じて適応的に量子化ブロックの読出しを行い、即ち直交変換行列に対応する量子化ブロックの２次元信号を、エントロピー符号化を行うための１次元信号に並べ替えを行い、エントロピー符号化部１５に送出する。

エントロピー符号化部１５は、量子化部１３から供給される１次元信号の量子化ブロックについてエントロピー符号化処理（適応的な可変長符号化処理や算術符号化処理を選択可能）を施しビットストリームを生成するとともに、信号予測部２１から供給される動きベクトルの情報もエントロピー符号化処理を施して出力する。

係数逆並べ替え部１６は、エネルギー順位予測部２２からの制御信号で指定される並べ替え順序で適応的に量子化ブロックの読出し、即ちエントロピー符号化を行うための１次元信号を、直交変換行列に対応する量子化ブロックの２次元信号に並べ替えを行い、逆量子化部１７に送出する。つまり、係数逆並べ替え部１６は、係数並べ替え部１４で並べ替えられた１次元信号を、元の直交変換係数の２次元配列の列及び／又は行の順序となるよう、２次元信号に並べ替える。

逆量子化部１７は、係数逆並べ替え部１６から供給される量子化ブロックについて逆量子化処理を行って逆直交変換部１８に出力する。

逆直交変換部１８は、逆量子化部１７から供給される直交変換係数に対して逆直交変換を施し、加算部１９に出力する。

加算部１９では、逆直交変換部１８から得られる逆直交変換した信号と、信号予測部２１を経て得られる予測画像とを加算処理して復号画像を生成し、メモリ２０に格納する。メモリ２０に格納された画像は、動き補償予測における参照画像（ただし、イントラ予測の場合、フレーム内の参照画像）として用いられる。

映像符号化方式における本実施例では、映像信号の符号化では多くの場合、２次元の画像情報を直交変換により符号化する例である。非可逆な符号化処理では直交変換係数を量子化処理により符号量の削減を行うことができる。信号予測を備える符号化方式では符号化装置内に復号装置（ローカルデコーダ）を備え、復号処理により復号済み隣接信号及び信号予測に用いる参照信号を供給することになる。本実施例では、ＡＶＣ／Ｈ．２６４などで用いられるループフィルタ（デブロッキングフィルタ）などは図示しないが、ループフィルタを備えていてもよい。

エネルギー順位予測部２２は、信号予測部２１からの予測画像と、メモリ２０に格納された参照画像のうち、この予測画像に隣接する復号済みの画素群（以下、「隣接既復号信号」と称する）とを用いて、隣接既復号信号の画素群と、この画素群に近傍する予測画像の画素群とを水平方向及び垂直方向に差分演算を行い、それぞれ水平方向及び垂直方向に差分して得られる差分信号に対して、それぞれ水平方向及び垂直方向における１次元直交変換（例えば、ＤＣＴ）を施し、直交変換係数の２次元配列の行ごとのエネルギー分布（例えば、振幅の絶対値）を算出し、直交変換係数の２次元配列の行ごとの信号列の絶対値について降順ソートするとともに、直交変換係数の２次元配列の列ごとの信号列の絶対値について降順ソートし、エネルギーの高いものから低いものの順に順位付けした直交変換係数の２次元配列の列及び／又は行の並べ替え順序を表す制御信号を生成して、係数並べ替え部１４及び係数逆並べ替え部１６に送出する。

従って、係数並べ替え部１４では、この制御信号を用いることにより、エネルギーの高いものから低いものの順に順位付けした直交変換係数の２次元配列の列及び／又は行の並べ替え順序で、２次元信号を１次元信号に並べ替えることができ、係数逆並べ替え部１６では、この制御信号を用いることにより、係数並べ替え部１４で並べ替えられた１次元信号を、元の直交変換係数の２次元配列の列及び／又は行の順序となるよう、２次元信号を１次元信号に並べ替えることができる。

尚、２次元信号から１次元信号に並べ替える際に低周波数成分からジグザグに係数を並べ替えるジグザグスキャン、あるいは信号特性に応じて変化させた垂直優先スキャンや水平優先スキャンなどが使用される（図２（ａ），（ｂ），（ｃ）参照）。

例えば、図３に示す例では、従来技術の低域優先によるジグザグ走査で１００，５０，４２，３２，４５，３０，２０，１４，３６，９，２０，１５，２０，１２，０，８，０，０，１３，５，０，０，０，０，０，０，０，６，（以下、３７係数は伝送せず）であった場合に、本実施例によれば、５行目と６行目を入れ替えた状態にすることによって伝送すべき係数列は、１００，５０，４２，３２，４５，３０，２０，１４，３６，９，２０，１５，２０，１２，８，０，６，０，１３，５（以下、４４係数は伝送せず）となりより短くすることができ、且つ符号化効率は改善する。

エネルギー順位予測部２２、係数並べ替え部１４及び係数逆並べ替え部１６の動作について、より詳細に説明する。

図４に、動き補償予測によって予測された予測画像の信号と、隣接既復号信号の関係を示す。動き補償予測では、異なるフレームに含まれる符号化領域に類似した信号を検出し、予測に用いる。異なる時間のフレーム信号との相関の高さを利用しているが、一方で、同じフレーム内の隣接する領域間の相関を利用していない。

一般に画像信号は空間方向に高い相関を持つことから、予測差分信号を加えて復号された予測画像の信号もまた隣接領域と高い相関を持つ。別の見方をすれば、予測差分信号は、空間方向の相関を用いないで予測された動き補償予測の予測画像の信号に対して、符号化領域の予測信号と隣接領域の相関を高める成分といえる。

隣接画素間の相関が極めて高いと仮定すると、符号化対象領域の隣接領域近傍画素における予測差分信号は、符号化対象領域の予測信号の隣接領域近傍画素と、隣接領域の符号化対象近傍画素の差分で近似できる。このことから、例えば図５（ａ）を参照するに、符号化対象領域（予測信号の領域）に対して左側隣接領域の隣接画素差分信号Ｒと、符号化対処領域に対して上側隣接領域の隣接画素差分信号Ｑを予測差分信号の隣接領域近傍の近似値として用いる。これらの近傍信号を周波数分析することにより、予測差分信号の周波数分析の近似を行うことができ、これを利用してスキャニングの最適化を図る（図６参照）。

尚、例えば図５（ａ）の例では、隣接する画素間の差分を算出する例を示すものであるが、図５（ｂ）に示すように、符号化対象領域（予測信号の領域）の各行における複数画素の単純平均又は２乗平均等を含む平均値と、当該左側隣接領域の画素との隣接画素差分信号Ｒを生成し、あるいは符号化対象領域（予測信号の領域）の各列における複数画素の単純平均又は２乗平均等を含む平均値と、当該上側隣接領域の画素との隣接画素差分信号Ｑを生成するように構成することができる。或いは又、符号化対象領域（予測信号の領域）に対して、当該左側隣接領域の各行における複数画素の単純平均又は２乗平均等を含む平均値による隣接画素差分信号Ｒを生成し、あるいは符号化対象領域（予測信号の領域）に対して、当該左側隣接領域の各列における複数画素の単純平均又は２乗平均等を含む平均値による隣接画素差分信号Ｑを生成するように構成することができる。

また、図５（ｃ）に示すように、隣接ブロック間の近傍領域の画素群を用いる例として、符号化対象領域（予測信号の領域）の各行における複数画素の単純平均又は２乗平均等を含む平均値と、当該左側隣接領域の各行における複数画素の単純平均又は２乗平均等を含む平均値との隣接画素差分信号Ｒを生成し、あるいは符号化対象領域（予測信号の領域）の各列における複数画素の単純平均又は２乗平均等を含む平均値と、当該上側隣接領域の各列における複数画素の単純平均又は２乗平均等を含む平均値との隣接画素差分信号Ｑを生成するように構成することができる。或いは又、符号化対象領域における列及び／又は行の画素列にフィルタ処理を施し、また、左側領域及び／又は上側領域にフィルタ処理を行い、各差分信号Ｑ，Ｒを生成するように構成することができる。この場合、入れ替えを行う処理対象の隣接画素の列及び／又は行の１次元画素列に対してローパス処理を施すことになるので、高域成分に対する感度を抑制する効果がある。

つまり、エネルギー順位予測部２２における具体的な処理手順を説明するに、垂直方向の既復号信号と予測信号の隣接差分信号をＱ、水平方向の既復号信号と予測信号の隣接差分信号をＲとして、Ｑ及びＲを１次元直交変換することにより、信号相関を高める信号の周波数成分を求める。

水平方向又は垂直方向の１次元直交変換係数Ｑ’，Ｒ’の周波数成分のエネルギー（例えば、係数の絶対値）を比較し、エネルギーが降順となるように周波数成分のインデックスを入れ替える。

例えば、Ｑ’［０］＝１２，Ｑ’［１］＝−３０，Ｑ’［２］＝４，Ｑ’［３］＝−７のとき、インデックスを１，０，３，２に入れ替える。

例えば、Ｒ’［０］＝８，Ｒ’［１］＝−２，Ｒ’［２］＝−４，Ｒ’［３］＝０のとき、インデックスを０，２，１，３に入れ替える。

入れ替えたインデックスを用いて２次元直交変換係数を入れ替え、ジグザグスキャンを行う（図６参照）。

同様の読み出し順の予測は、復号装置側でも実施可能であり、１次元で伝送された係数情報はジグザグスキャンを逆に適用することにより２次元配列に配置し、推定される差分信号のエネルギー順に行い、列及び／又は行を入れ替え、正しい順に係数を配置しなおすことで正しく情報を復元できる。

動き補償予測を例に説明したが、本発明による信号のエネルギー順の予測は、イントラ予測においても同様に実施することができる。イントラ予測の場合、幾つかのモードで隣接画素差分信号が０となる場合がある。この場合は当該行や当該列の入れ替えは行わない。

エネルギー順位予測部２２の処理例についてさらに説明する。もっとも広く採用されているＭＰＥＧによる映像符号化方式を例に説明する。ＭＰＥＧの映像符号化方式では画面をブロック単位に分割し、順次符号化処理を行う。そのため上側及び左側のブロックは既に符号化処理が終了し、デコーダで利用できる信号として符号化装置で復号処理が直ちに行われ、次のブロックの符号化のために利用する。このような信号を隣接既復号信号とする。

信号予測方法として例えばＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４の場合、イントラ予測と動き補償予測がある。イントラ予測は画面内の既復号済み隣接ブロックの信号を用いて信号を予測する方法であり、既復号済み隣接ブロックの信号は信号予測部２１への入力信号である参照信号と時間的に同一のフレームである。一方、動き補償予測の場合、時間的に異なるフレームの映像信号が参照信号として信号予測部２１へ入力される。

図７に、垂直方向の隣接する上側既復号信号の下端画素Ａ［ｘ］と、水平方向の隣接する左側既復号信号の右端画素Ｂ[ｙ]と、イントラ予測又は動き補償予測によって生成された予測信号Ｐ[ｙ]［ｘ］の関係を示す。

隣接する既復号画素Ａ及びＢと、予測画素Ｐの上端及び左端信号の差分信号を１次元直交変換し、エネルギー順に各次数のインデックスを入れ替える。ここで、Ｑ［ｘ］を上側既復号信号の下側画素と予測画像の上側画素の差とすると、
Ｑ［ｘ］＝Ａ［ｘ］−Ｐ［０］［ｘ］，
ｘ＝０，１，２，・・・，Ｎ−１
ここで、当該ブロックの直交変換符号化にＤＣＴを用いる場合、Ｑ［ｘ］に１次元ＤＣＴを行う。直交変換として、ＤＣＴ以外、例えばＤＳＴなどが採用される場合は直交変換として１次元のＤＳＴにより変換する。

本実施例では、ＤＣＴを用いる場合を例として説明を行う。信号Ｑの１次元ＤＣＴの係数Ｑ’［ｍ］は以下となる。

ここに、ｍ＝０，１，２，・・・，Ｎ−１である。

Ｓｏｒｔ（）を、信号列の絶対値について降順ソートしてインデックス列を返す関数として、Ｑ’をソートしたインデックス列をＩ_ｈｏｒ［ｍ］に保存する。

Ｉ_ｈｏｒ＝Ｓｏｒｔ（Ｑ’）
ｍ＝０，１，２，・・・，Ｎ−１

例えば、Ｎ＝４でＱ’が以下の係数列であった場合、
Ｑ’＝１２，−３０，４，−７
Ｉ_ｈｏｒ［ｍ］は、
Ｉ_ｈｏｒ＝１，０，３，２
となる。

同様に、Ｒ［ｙ］を左側既復号信号の右端画素と予測画像の左端画素の差とすると、
Ｒ［ｙ］＝Ｂ［ｙ］−Ｐ［ｙ］［０］

ここに、ｙ＝０，１，２，・・・，Ｎ−１である。

信号列Ｒの１次元ＤＣＴの係数Ｒ’［ｎ］は以下となる。

ここに、ｎ＝０，１，２，・・・，Ｎ−１である。

係数Ｒ’をソートしたインデックス列をＩ_ｖｅｒｔ［ｎ］に保存する。
Ｉ_ｖｅｒｔ＝Ｓｏｒｔ（Ｒ’）
ｎ＝０，１，２，・・・，Ｎ−１

例えば、Ｎ＝４で係数Ｒ’が以下の係数列であった場合、
Ｒ’＝８，−２，−４，０
Ｉ_ｖｅｒｔ［ｎ］は、
Ｉ_ｖｅｒｔ＝０，２，１，３
となる。

映像信号は、隣接する信号間の相関が極めて高い信号であることが知られており、予測画像と復号済み隣接信号の差分信号の直交変換係数分布は予測誤差信号の持つ隣接画素間の相関を高める成分であることが期待できる。得られた水平成分及び垂直成分の直交変換係数のエネルギー分布もまた予測差分信号のエネルギー分布を反映していることが期待できる。そこで、得られたインデックス列Ｉ_ｈｏｒ，Ｉ_ｖｅｒｔを予測差分信号の水平成分及び垂直成分のエネルギー順位として利用する。

ここで、実際の信号と予測信号Ｐの差分信号の直交変換係数をＥ［ｎ］［ｍ］とする。Ｅ［ｎ］［ｍ］は、符号化方式の必要に応じて量子化を行う。インデックスを入れ替えた直交変換係数Ｅ’［ｎ］［ｍ］は、Ｉ_ｈｏｒ［ｍ］，Ｉ_ｖｅｒｔ［ｎ］を用いて以下で実現する。
Ｅ’［ｎ］［ｍ］＝Ｅ［Ｉ_ｖｅｒｔ［［ｎ］］［Ｉ_ｈｏｒ［ｍ］］
ｎ，ｍ＝０，１，２，・・・，Ｎ−１

たとえばＮ＝４でＩ_ｈｏｒ＝１，０，３，２，Ｉｖｅｒｔ＝０，２，１，３であるならばＥ’［ｎ］「ｍ」はＥ［ｎ］［ｍ］によって図８のように構成される。

インデックスを入れ替えた直交変換係数Ｅ’［ｎ］［ｍ］はジグザグスキャンによって係数列を１次元信号に変換する。

例えば、図８に示すように、１次元信号列への変換例として、Ｅ［０］［１］，Ｅ［０］［０］，Ｅ［２］［１］，Ｅ［１］［１］，Ｅ［２］［０］，Ｅ［０］［３］，Ｅ［０］［２］，Ｅ［２］［３］，Ｅ［１］［０］，Ｅ［３］［１］，Ｅ［３］［０］，Ｅ［１］［３］，Ｅ［２］［２］，Ｅ［１］［２］，Ｅ［３］［３］，Ｅ［３］［２］となる。

このように、本実施例の符号化装置１は、復号済の信号から符号化対象の信号を予測する際に、符号化対象の信号と予測信号の差分信号（予測差分信号）を２次元直交変換処理し、予測信号と処理領域周囲の既復号信号の隣接する信号間の差分信号を１次元直交変換し、直交変換係数のエネルギー分布を基に直交変換した信号の並べ替え順序を決定することにより、適応的に２次元信号を１次元信号に並べ替え、この１次元信号をエントロピー符号化するように構成したため、符号化対象の信号を少ない係数列に並べ替えることができ、効率的な伝送が可能となり、符号化効率を向上させることができる。

尚、エネルギー順位予測部２２は、上下左右のいずれか１つ以上に隣接する既復号のブロック信号に対する隣接画素差分信号をそれぞれ生成し、それぞれの隣接画素差分信号に対して１次元直交変換を施してエネルギー分布を算出し、算出したエネルギーの値について周波数成分別に重み付けを施した上で、最も大きいものから降順となるよう２次元配列の列及び／又は行の並べ替え順序をそれぞれ決定し、該並べ替え順序を表す制御信号を生成するように構成することができる。この重み付けには、低周波成分ほど先にスキャニングを行うような重み付けを行うことが好ましい。例えば、一例として、信号Ｑの１次元ＤＣＴの係数Ｑ’［ｍ］（ｍ＝０，１，２，・・・，Ｎ−１）のとき、ｍ＝０からｍ＝Ｎ−１に向かって順に小さくなる重み係数を振幅の絶対値に乗じた後、エネルギー分布を算出する。

次に、本発明による一実施例の復号装置について説明する。

［復号装置］
図９は、本発明による一実施例の復号装置のブロック図を示す。本実施例の復号装置５は、エントロピー復号部５１と、係数逆並べ替え部５２と、逆量子化部５３と、逆直交変換部５４と、加算部５５と、後処理部５６と、メモリ５７と、信号予測部５８と、エネルギー順位予測部５９とを備える。本実施例の復号装置５は、図１に示す符号化装置によって符号化された信号を復号する装置である。

エントロピー復号部５１は、符号化されたビットストリームを入力して、エントロピー復号処理（符号化装置側で指定される適応的な可変長復号処理や算術符号化の復号処理）を施し、係数逆並べ替え部５２に送出する。

係数逆並べ替え部５２は、エネルギー順位予測部５９からの制御信号で指定される並べ替え順序で量子化ブロックを読み出し、逆量子化部５３に送出する。動きベクトルの情報は、信号予測部５８に送出される。つまり、係数逆並べ替え部５２は、符号化側で並べ替えられた１次元信号を、元の直交変換係数の２次元配列の列及び／又は行の順序となるよう、２次元信号に並べ替える。

逆量子化部５３は、エントロピー復号部５１から供給される量子化ブロックの量子化信号に対して逆量子化処理を施して８×８ブロックの差分信号の直交変換係数を取得し、逆直交変換部５４に送出する。

逆直交変換５４は、逆量子化部５３から供給される８×８ブロックの差分信号の直交変換係数に対して、逆直交変換を施し、得られる当該８×８ブロックの差分信号を加算部５５に送出する。

信号予測部５８は、メモリ５７から得られる参照画像とエントロピー復号部５１から得られる動きベクトルとを用いて予測画像を生成し、加算部５５に出力する。

加算部５５は、逆直交変換部５４から得られる当該差分信号と、信号予測部５８から供給される予測画像とを加算して８×８画素ブロックの画像信号を復元し、復元した画像信号を後処理部５６に送出するとともに、メモリ５７に格納する。

エネルギー順位予測部５９は、信号予測部５８からの予測画像と、メモリ５７に格納された参照画像のうち、この予測画像に隣接する復号済みの画素群（つまり、「隣接既復号信号」）とを用いて、隣接既復号信号の画素群と、この画素群に近傍する予測画像の画素群とを水平方向及び垂直方向に差分演算を行い、それぞれ水平方向及び垂直方向に差分して得られる差分信号に対して、それぞれ水平方向及び垂直方向における１次元直交変換（例えば、ＤＣＴ）を施し、直交変換係数の２次元配列の行ごとのエネルギー分布（振幅の絶対値）を算出し、直交変換係数の２次元配列の行ごとの信号列の絶対値について降順ソートするとともに、直交変換係数の２次元配列の列ごとの信号列の絶対値について降順ソートし、エネルギーの高いものから低いものの順に順位付けした直交変換係数の２次元配列の列及び／又は行の並べ替え順序を表す制御信号を生成して、係数逆並べ替え部５２に送出する。

このように、復号処理は、受信された符号化信号をエントロピー復号部において復号し、エネルギー順位予測部５９からの制御信号に従い復号処理が制御される。復号された１次元直交変換係数にジグザグスキャンを逆に処理することにより２次元信号に変換し、Ｅ’［ｎ］［ｍ］が取得される。隣接する上側及び下側の既復号済み隣接信号と予測信号から求められるＩ_ｈｏｒ［ｍ］，Ｉ_ｖｅｒｔ［ｎ］によって得られるインデックス列による並べ替えによりＥ［ｎ］［ｍ］が復号される。得られたＥ［ｎ］［ｍ］は、逆量子化後に、逆直交変換部５４により逆変換され、予測信号と加算され復号信号が再現される。

本実施例の復号装置５は、既存の一般的なブロックベース符号化（例えばＭＰＥＧ−１，２，４、ＡＶＣ／Ｈ．２６４）などで信号を上及び左の領域から順次符号化処理を行う場合を例に説明したため、既符号化済ブロックを該符号化ブロックの上側及び下側ブロックとしたが、符号化順序を右又は下を先に処理する符号化方式の場合でも同様に隣接する信号を用いてスキャニングの順序を決定することができる。

上述した実施例の応用例として、事前に用意された複数パターンのスキャニングオーダーが用意されている場合に、エネルギー順位予測部２２の制御信号によってパターンの切り替えを行うように構成することができる。例えば、図１０に示すように、係数並べ替え部１４を、複数パターンに基づいてスキャニングオーダーを切り換える際に、水平方向か、垂直方向の有意な係数列を比較して、この係数列が長いほうを優先的に走査するように構成する。図１０の例では、エネルギー順位予測部２２の制御信号が、垂直方向の有意な係数列が水平方向の有意な係数列よりも長い旨を示す場合には、垂直優先用係数並べ替え部１４ｅのパターンを用いるよう選択し、水平方向の有意な係数列が垂直方向の有意な係数列よりも長い旨を示す場合には、水平優先用係数並べ替え部１４ｆのパターンを用いるよう選択し、上記以外は、ジグザグスキャン用係数並べ替え部１４ｇを用いるよう選択する切り替え手段を、係数並べ替え部１４に設けることができる。尚、スキャニングオーダーのパターンを予め符号化側及び復号側で規定しておくことで、符号化装置１によって、この切り替えに関する特別な制御フラグを別途伝送することなしに、復号装置５によって復号処理を行うことができる。例えば、復号装置５の係数逆並べ替え部５２を、図１０に示すように構成することによって、エネルギー順位予測部５９によって生成される制御信号に応じて切り替えを行うことができる。

上述した実施例の応用例として、図１１に示すように、係数並べ替え部１４は、２次元配列の直交変換係数に基づく信号のうち、行についてエネルギー分布を算出して決定された当該制御信号に基づいて行について並べ替えを行う係数並べ替え部１４ａと、列についてエネルギー分布を算出して決定された当該制御信号に基づいて列について並べ替えを行う係数並べ替え部１４ｂと、行及び／又は列についてエネルギー分布を算出して決定された当該制御信号に基づいて行及び／又は列について並べ替えを行う係数並べ替え部１４ｃと、予め定めた並べ替え順序（例えば、エネルギー分布に基づかないデフォルトの順序）で走査する係数並べ替え部１４ｄとを並列配置した構成とすることができ、それぞれの並べ替えについてエントロピー符号化部１５の符号化結果を比較し、最も符号化効率のよいものを選択する出力判定手段をエントロピー符号化部１５に設けるように構成することができる。この場合には、上記４種類のうちいずれを選択したかを示す制御フラグ（２ビットあればよい）を復号側に送出する。復号装置５は、係数逆並べ替え部５２において、この制御フラグを取得して、この制御フラグに応じた係数並べ替えを行うことで、正しく復号することができる。

更に、本発明の一態様として、符号化装置１及び復号装置５をコンピュータとして構成させることができる。コンピュータに、前述した符号化装置１及び復号装置５の各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。

以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。

本発明によれば、映像を直交変換によって表現し、直交変換係数を必要に応じて量子化、可変長符号化することによって少ない信号表現で品質を損なわずに、或いは最小限の品質の低下によって信号を伝送する映像符号化技術に有用であり、映像の符号化分野などで利用することができる。

１ 符号化装置
５ 復号装置
１０ 前処理部
１１ 減算部
１２ 直交変換部
１３ 量子化部
１４，１４ａ，１４ｂ，１４ｃ，１４ｄ，１４ｅ，１４ｆ，１４ｇ 係数並べ替え部
１５ エントロピー符号化部
１６ 係数逆並べ替え部
１７ 逆量子化部
１８ 逆直交変換部
１９ 加算部
２０ メモリ
２１ 信号予測部
２２ エネルギー順位予測部
５１ エントロピー復号部
５２ 係数逆並べ替え部
５３ 逆量子化部
５４ 逆直交変換部
５５ 加算部
５６ 後処理部
５７ メモリ
５８ 信号予測部
５９ エネルギー順位予測部

Claims (9)

1. 動画像の符号化を行う符号化装置であって、
   動画像における符号化対象のブロック信号について、局部復号したブロック信号から予測した予測信号を生成する信号予測手段と、
   前記符号化対象のブロック信号と前記予測信号の差分からなる予測差分信号に対して２次元直交変換を施し、２次元配列の直交変換係数に基づく２次元信号を生成する直交変換手段と、
   前記予測信号を構成する画素群と、該予測信号に対して上下左右のいずれか１つ以上に隣接する既復号のブロック信号を構成する画素群について、前記予測信号を構成する画素と前記既復号のブロック信号を構成する画素が隣接する位置から所定の画素数からなる処理対象領域内で差分して、前記上下左右のいずれか１つ以上に隣接する既復号のブロック信号に対する隣接画素差分信号を生成し、それぞれの隣接画素差分信号に対して１次元直交変換を施してエネルギー分布を算出し、算出したエネルギーの値に基づいて前記２次元配列の列及び／又は行の並べ替え順序を決定し、該並べ替え順序を表す制御信号を生成するエネルギー順位予測手段と、
   該制御信号に基づいて、前記２次元配列の直交変換係数に基づく２次元信号の信号成分を１次元信号に並べ替える走査手段と、
   前記１次元信号に対して符号化を施す符号化手段と、
   を備えることを特徴とする、符号化装置。
2. 前記エネルギー順位予測手段は、前記上下左右のいずれか１つ以上に隣接する既復号のブロック信号に対する隣接画素差分信号をそれぞれ生成し、それぞれの隣接画素差分信号に対して１次元直交変換を施してエネルギー分布を算出し、算出したエネルギーの値について周波数成分別に重み付けを施した上で、最も大きいものから降順となるよう前記２次元配列の列及び／又は行の並べ替え順序をそれぞれ決定し、該並べ替え順序を表す制御信号を生成する手段を有することを特徴とする、請求項１に記載の符号化装置。
3. 前記エネルギー順位予測手段は、前記左側及び上側に隣接する既復号のブロック信号に対する隣接画素差分信号をそれぞれ生成し、それぞれの隣接画素差分信号に対して１次元直交変換を施してエネルギー分布を算出し、算出したエネルギーの値が最も大きいものから降順となるよう前記２次元配列の列及び／又は行の並べ替え順序をそれぞれ決定し、該並べ替え順序を表す制御信号を生成する手段を有することを特徴とする、請求項１又は２に記載の符号化装置。
4. 前記処理対象領域は、互いに隣接する前記予測信号を構成する画素と前記既復号のブロック信号を構成する画素を含む複数の画素数からなることを特徴とする、請求項１〜３のいずれか一項に記載の符号化装置。
5. 前記２次元信号の信号成分を１次元信号に並べ替えるパターンが、事前に用意された複数パターンからなり、
   前記走査手段は、前記エネルギー順位予測手段からの制御信号によって前記複数パターンの切り替えを行う手段を有することを特徴とする、請求項１〜４のいずれか一項に記載の符号化装置。
6. 前記走査手段は、
   前記２次元配列の直交変換係数に基づく２次元信号のうち、行についてエネルギー分布を算出して決定された当該制御信号に基づいて行について並べ替えを行う第１の走査手段、
   前記２次元配列の直交変換係数に基づく２次元信号のうち、列についてエネルギー分布を算出して決定された当該制御信号に基づいて列について並べ替えを行う第２の走査手段、
   前記２次元配列の直交変換係数に基づく２次元信号のうち、行及び／又は列についてエネルギー分布を算出して決定された当該制御信号に基づいて行及び／又は列について並べ替えを行う第３の走査手段、及び、
   前記２次元配列の直交変換係数に基づく２次元信号のうち、該予め定めた並べ替え順序で走査する第４の走査手段を切り替えて、前記２次元配列の直交変換係数に基づく２次元信号の信号成分を１次元信号に並べ替える切り替え手段を有し、
   該並べ替えの切り替えについて前記符号化手段による符号化効率を比較するよう前記切り換え手段を制御し、当該行又は列、或いはその双方の並べ替えを利用した場合と、当該並べ替えについて非利用の場合における符号化効率を比較して、最も符号化効率の高いほうを選択する出力判定手段を更に備えることを特徴とする、請求項１〜４のいずれか一項に記載の符号化装置。
7. 動画像について符号化された信号を復号する復号装置であって、
   動画像について符号化されたビットストリームを入力して、前記１次元信号を復号する復号手段と、
   既に復号したブロック信号から予測信号を生成する信号予測手段と、
   該予測信号を構成する画素群と、該予測信号に対して上下左右のいずれか１つ以上に隣接する既復号のブロック信号を構成する画素群について、前記予測信号を構成する画素と前記既復号のブロック信号を構成する画素が隣接する位置から所定の画素数からなる処理対象領域内で差分して、前記上下左右のいずれか１つ以上に隣接する既復号のブロック信号に対する隣接画素差分信号を生成し、それぞれの隣接画素差分信号に対して１次元直交変換を施してエネルギー分布を算出し、算出したエネルギーの値に基づいて逆直交変換処理で用いる２次元配列の列及び／又は行の並べ替え順序を決定し、該並べ替え順序を表す制御信号を生成するエネルギー順位予測手段と、
   該制御信号に基づいて、前記１次元信号の信号成分を前記２次元配列の直交変換係数に基づく２次元信号に並べ替える走査手段と、
   前記２次元信号に対して逆直交変換を施す逆直交変換手段と、
   前記逆直交変換を施して得られる信号と前記予測信号と加算して、当該動画像におけるブロック信号を復元する加算手段と、
   を備えることを特徴とする、復号装置。
8. 動画像の符号化を行う符号化装置として構成するコンピュータに、
   動画像における符号化対象のブロック信号について、局部復号したブロック信号から予測した予測信号を生成するステップと、
   前記符号化対象のブロック信号と前記予測信号の差分からなる予測差分信号に対して２次元直交変換を施し、２次元配列の直交変換係数に基づく２次元信号を生成するステップと、
   前記予測信号を構成する画素群と、該予測信号に対して上下左右のいずれか１つ以上に隣接する既復号のブロック信号を構成する画素群について、前記予測信号を構成する画素と前記既復号のブロック信号を構成する画素が隣接する位置から所定の画素数からなる処理対象領域内で差分して、前記上下左右のいずれか１つ以上に隣接する既復号のブロック信号に対する隣接画素差分信号を生成し、それぞれの隣接画素差分信号に対して１次元直交変換を施してエネルギー分布を算出し、算出したエネルギーの値に基づいて前記２次元配列の列及び／又は行の並べ替え順序を決定し、該並べ替え順序を表す制御信号を生成するステップと、
   該制御信号に基づいて、前記２次元配列の直交変換係数に基づく２次元信号の信号成分を１次元信号に並べ替えるステップと、
   前記１次元信号に対して符号化を施すステップと、
   を実行させるためのプログラム。
9. 動画像について符号化された信号を復号する復号装置として構成するコンピュータに、
   動画像について符号化されたビットストリームを入力して、前記１次元信号を復号するステップと、
   既に復号したブロック信号から予測信号を生成するステップと、
   該予測信号を構成する画素群と、該予測信号に対して上下左右のいずれか１つ以上に隣接する既復号のブロック信号を構成する画素群について、前記予測信号を構成する画素と前記既復号のブロック信号を構成する画素が隣接する位置から所定の画素数からなる処理対象領域内で差分して、前記上下左右のいずれか１つ以上に隣接する既復号のブロック信号に対する隣接画素差分信号を生成し、それぞれの隣接画素差分信号に対して１次元直交変換を施してエネルギー分布を算出し、算出したエネルギーの値に基づいて逆直交変換処理で用いる２次元配列の列及び／又は行の並べ替え順序を決定し、該並べ替え順序を表す制御信号を生成するステップと、
   該制御信号に基づいて、前記１次元信号の信号成分を前記２次元配列の直交変換係数に基づく２次元信号に並べ替えるステップと、
   前記２次元信号に対して逆直交変換を施すステップと、
   前記逆直交変換を施して得られる信号と前記予測信号と加算して、当該動画像におけるブロック信号を復元するステップと、
   を実行させるためのプログラム。

Images