JPWO2011016251A1 - 符号化方法、復号方法、符号化装置及び復号装置 - Google Patents

Abstract

本発明に係る符号化方法は、入力信号を変換することで、変換出力信号を生成する変換ステップ（Ｓ１１０）と、変換出力信号を量子化することで、量子化係数を生成する量子化ステップ（Ｓ１２０）と、量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化ステップ（Ｓ１３０）とを含み、変換ステップ（Ｓ１１０）は、第１変換係数を用いて入力信号に第１変換を行うことで、第１変換出力信号を生成する第１変換ステップ（Ｓ１１２）と、第１変換出力信号の一部である第１部分信号に、第２変換係数を用いて第２変換を行うことで、第２変換出力信号を生成する第２変換ステップ（Ｓ１１６）とを含み、エントロピー符号化ステップ（Ｓ１３０）では、第２変換係数又は第２逆変換係数に含まれる要素と所定値との差分を算出し、算出した差分を圧縮符号化することで、第２変換係数又は第２逆変換係数を圧縮符号化する。

Description

本発明は、オーディオ、静止画像、及び動画像を符号化する符号化方法に関し、特に、時空間ドメインから周波数ドメインへ入力信号を変換する変換処理を含む符号化方法に関する。

音声データや動画像データを圧縮するために、複数の音声符号化規格、動画像符号化規格が開発されてきた。動画像符号化規格の例として、Ｈ．２６ｘと称されるＩＴＵ−Ｔ規格やＭＰＥＧ−ｘと称されるＩＳＯ／ＩＥＣ規格が挙げられる。最新の動画像符号化規格は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣと称される規格である。

図１は、従来の符号化装置９００の構成を示すブロック図である。図１に示すように、符号化装置９００は、変換部９１０と、量子化部１２０と、エントロピー符号化部９３０とを備え、音声データや動画像データを低ビットレートで符号化する。

変換部９１０は、各種データである入力信号、又は入力信号に何らかの処理を加えた変換入力信号を時空間ドメインから周波数ドメインへ変換することで、相関を軽減した変換出力信号を生成する。生成された変換出力信号は、量子化部１２０に出力される。

量子化部１２０は、変換部９１０から出力された変換出力信号を量子化することで、総データ量の少ない量子化係数を生成する。生成された量子化係数は、エントロピー符号化部９３０に出力される。

エントロピー符号化部９３０は、量子化部１２０から出力された量子化係数を、エントロピー符号化アルゴリズムを用いて符号化することで、残りのデータを圧縮した符号化信号を生成する。生成された符号化信号は、例えば、記録媒体に記録され、あるいは、ネットワークを介して復号装置などに送信される。

以下では、変換部９１０が行う変換処理について詳細に説明する。

変換部９１０には、変換対象信号（すなわち、変換入力信号）であるｎ点のベクトル（ｎ次元信号）が変換入力（Ｔｒａｎｓｆｏｒｍ Ｉｎｐｕｔ）ベクトルｘⁿとして入力される。変換部９１０は、変換入力ベクトルｘⁿに、所定の変換処理（変換Ｔ）を行い、変換出力信号として、変換出力（Ｔｒａｎｓｆｏｒｍ Ｏｕｔｐｕｔ）ベクトルｙⁿを出力する（式１参照）。

変換Ｔが線形変換である場合、式２に示すように、変換Ｔは、ｎ×ｎの正方行列である変換行列（Ｔｒａｎｓｆｏｒｍ Ｍａｔｒｉｘ）Ａと変換入力ベクトルｘⁿとの行列積として表現できる。なお、式３は、変換出力ベクトルｙⁿを、変換行列Ａの各要素である変換係数ａ_ikを用いて要素ｙ_i毎に算出するための式であり、式１と式２とから導出される。

変換行列Ａは、入力信号の相関を軽減し、変換出力ベクトルｙⁿの要素のうち小さいnを持つ要素（いわゆる低域側）へエネルギーが集中するように設計される。変換行列Ａの設計にあたり、ＫＬＴ（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ：カルーネンレーベ変換）という変換係数導出方法、又は変換方法が知られている。

ＫＬＴは、入力信号の統計的性質に基づいて、最適な変換係数を導出する方法、又は、導出した最適な変換係数を用いた変換方法である。ＫＬＴは、入力信号の相関性を完全に無くすことが可能で、最も効率良くエネルギーを低域へ集中させることができる技術として知られている。

つまり、ＫＬＴは、理想的な変換処理であり、優れた符号化効率で、ＫＬＴによって変換された符号化対象信号を符号化することができる。

しかしながら、上記従来技術に示すＫＬＴには、演算量が大きく、かつ、変換に用いる係数である変換行列のデータ量が多いという課題がある。具体的には、以下の通りである。

図２に示すように、バタフライ構成などの高速アルゴリズムの存在するＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）では、入力信号の次元数（以下、入力点数とも記載）がＭの場合の乗算回数はＭ×Ｌｏｇ₂（Ｍ）である。これに対して、ＫＬＴでは、乗算回数はＭ×Ｍになる。例えば、ＤＣＴの乗算回数は、入力点数が４点の場合８回、入力点数が８点の場合２４回である。これに対して、ＫＬＴの乗算回数は、例えば、入力点数が４点の場合１６回（ＤＣＴ比２倍）、８点の場合６４回（ＤＣＴ比２．６倍）、１６点の場合はＤＣＴ比４．０倍である。変換サイズが大きくなるほど、ＫＬＴの演算量の増加傾向は著しくなるため、ＫＬＴは、ＤＣＴと比べて演算量が膨大になるという課題がある。

また、ＫＬＴでは、入力信号ベクトルｘⁿを含む集合Ｓ_Aの統計的性質に基づいて、変換行列Ａを導出する。変換行列Ａを用いた変換は、集合Ｓ_Aに含まれる入力信号ベクトルｘⁿに対して、最適な無相関化と低域へのエネルギー圧縮とを行うことができる。しかし、設計時に想定した集合Ｓ_Aと異なる統計的特性を持つ集合Ｓ_Bに含まれる入力信号ベクトルが入力された場合、変換行列Ａを用いた変換結果は、最適にならない。逆に、常に最適を求めて、入力の統計的性質のわずかな変化毎に変換係数を生成すれば、変換係数のデータ量が膨大になる。

以上のように、ＫＬＴには、演算量が大きく、かつ、変換係数のデータ量が多いという課題があるため、従来の符号化の際にＫＬＴを利用するのは困難であった。

そこで、本発明は、上記課題を解決するためになされたものであって、演算量の増加、及び、変換係数のデータ量の増加を抑制し、符号化効率を高めることができる符号化方法及び符号化装置を提供することを目的とする。さらに、本発明は、本発明に係る符号化方法及び符号化装置によって符号化された信号を正しく復号することができる復号方法及び復号装置を提供することを目的とする。

上記目的を達成するため、本発明に係る符号化方法は、入力信号を変換することで、変換出力信号を生成する変換ステップと、前記変換出力信号を量子化することで、量子化係数を生成する量子化ステップと、前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化ステップとを含み、前記変換ステップは、第１変換係数を用いて前記入力信号に第１変換を行うことで、第１変換出力信号を生成する第１変換ステップと、前記第１変換出力信号の一部である第１部分信号に、第２変換係数を用いて第２変換を行うことで、第２変換出力信号を生成し、生成した第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを含む前記変換出力信号を出力する第２変換ステップとを含み、前記エントロピー符号化ステップでは、前記第２変換係数、又は、前記第２変換の逆変換に用いられる第２逆変換係数に含まれる要素と所定値との差分を算出し、算出した差分を圧縮符号化することで、前記第２変換係数又は前記第２逆変換係数を圧縮符号化する。

これにより、入力信号の統計特性に基づいて変換係数が決定されるため、決定した変換係数を符号化して復号装置に送信しなければいけない場合であっても、所定値との差分を符号化することで、符号化すべき情報量を削減することができる。したがって、符号化効率を高めることができる。具体的には、２段階の変換処理において、２段階目の変換処理に用いる変換係数を統計特性に基づいて決定することで、変換係数のデータ量の増加を抑制するとともに、符号化効率を高めることができる。例えば、精度の異なる変換を２段階で行うことで、高精度の変換を１段階で行う場合に比べて演算量を少なくすることができ、かつ、演算量の少ない変換を１段階で行う場合に比べて高精度で変換を行うことができる。

また、前記第２変換係数又は前記第２逆変換係数は、正方行列の係数であり、前記エントロピー符号化ステップでは、前記第２変換係数又は前記第２逆変換係数に含まれる対角要素と、当該対角要素がとりうる値の最大値との差分を算出してもよい。

これにより、統計特性に基づいて決定された変換係数又は逆変換係数の対角要素は、変換係数又は逆変換係数がとりうる値の最大値に近い値になるという性質を利用することができるので、符号化効率をより高めることができる。

また、前記第２変換係数又は前記第２逆変換係数は、正方行列の係数であり、前記エントロピー符号化ステップでは、前記第２変換係数又は前記第２逆変換係数に含まれる対角要素と、当該対角要素に隣接する対角要素との差分を算出してもよい。

これにより、統計特性に基づいて決定された変換係数又は逆変換係数の対角要素は、右下の対角要素ほど小さくなるという性質を利用することができるので、符号化効率をより高めることができる。

また、前記第２変換係数又は前記第２逆変換係数は、正方行列の係数であり、前記エントロピー符号化ステップでは、前記第２変換係数又は前記第２逆変換係数に含まれる対角要素の正方行列内の位置に基づいて予測値を算出し、算出した予測値と前記対角要素との差分を算出してもよい。

これにより、予測値を算出することで、さらに、所定値（予測値）との差分を小さくすることができるので、符号化効率をより高めることができる。

また、前記第２変換係数又は前記第２逆変換係数は、正方行列の係数であり、前記符号化方法は、さらに、前記入力信号の統計特性に基づいて、前記第２変換係数又は前記第２逆変換係数を決定する変換係数決定ステップを含み、前記変換係数決定ステップでは、前記第２変換係数又は前記第２逆変換係数に含まれる対角要素の符号が正となるように前記第２変換係数又は前記第２逆変換係数を決定してもよい。

これにより、対角要素の符号を符号化しなくて済むので、符号化効率をより高めることができる。

また、前記第２変換係数又は前記第２逆変換係数は、正方行列の係数であり、前記エントロピー符号化ステップでは、前記第２変換係数又は前記第２逆変換係数に含まれる非対角要素と、当該非対角要素を対角要素で折り返した位置の要素である折り返し要素との間の冗長性を取り除いた成分を圧縮符号化してもよい。

これにより、非対角要素とその折り返し要素との間の冗長性を取り除くことで、符号化効率をより高めることができる。

また、前記エントロピー符号化ステップでは、前記非対角要素の絶対値と前記折り返し要素の絶対値との平均値を算出し、算出した平均値と前記非対角要素の絶対値との差分を圧縮符号化してもよい。

これにより、非対角要素とその折り返し要素とは、互いに絶対値が近い値であるという性質があり、この性質を利用することができるので、符号化効率をより高めることができる。

また、前記エントロピー符号化ステップでは、さらに、前記非対角要素の符号と前記折り返し要素の符号とが同じであるか異なるかを示す情報を圧縮符号化してもよい。

これにより、非対角要素とその折り返し要素とは、互いに符号が反転していることが多いので、符号が異なっているか同じであるかを示す情報を送ることで、符号化効率をより高めることができる。

また、前記エントロピー符号化ステップでは、全ての位置における前記非対角要素の符号と前記折り返し要素の符号とが互いに反転していることを示す情報を圧縮符号化してもよい。

これにより、例えば、非対角要素とその折り返し要素とが全て反転している場合は、非対角要素と折り返し要素との符号が全て反転していることを示す情報を送るだけで済むので、符号化効率をより高めることができる。

また、前記エントロピー符号化ステップでは、さらに、前記非対角要素のうち上三角要素及び下三角要素のいずれか一方の正負を示す情報を圧縮符号化してもよい。

これにより、非対角要素の正負を全て符号化しなくても、上三角要素又は下三角要素の正負を示す情報を符号化するだけでよいので、符号化効率をより高めることができる。

また、前記エントロピー符号化ステップでは、さらに、前記非対角要素のうち全ての位置における上三角要素の符号は正であることを示す情報を圧縮符号化してもよい。

これにより、上三角要素は正であることが多いので、例えば、上三角要素の全てが正である場合は、上三角要素の符号が全て正であることを示す情報を符号化するだけでよいので、符号化効率を高めることができる。

また、前記量子化ステップでは、さらに、前記第２変換係数又は前記第２逆変換係数に含まれる要素の位置に応じて重み付けされた量子化ステップを用いて、前記第２変換係数又は前記第２逆変換係数を量子化し、前記エントロピー符号化ステップでは、量子化された第２変換係数又は量子化された第２逆変換係数を圧縮符号化してもよい。

これにより、符号化係数を量子化することで、さらに情報量を圧縮することができるので、符号化効率を高めることができる。

また、前記符号化方法は、さらに、前記入力信号を予測することで予測信号を生成する予測ステップと、前記予測信号と前記入力信号との差分である予測誤差信号を生成する減算ステップとを含み、前記変換ステップでは、前記予測誤差信号を変換してもよい。

これにより、予測符号化により符号化効率を高めることができる。

また、前記第２変換は、ＫＬＴ（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）である。

また、本発明に係る復号方法は、入力信号を変換及び量子化することで生成された符号化信号を復号することで、復号信号を生成する復号方法であって、前記符号化信号は、圧縮符号化された符号化量子化係数と、当該符号化信号を生成する際に行われた変換処理に用いた変換係数、又は、第２逆変換に用いられる第２逆変換係数に含まれる要素と所定値との差分とを含み、前記復号方法は、前記符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号ステップと、前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化ステップと、前記復号変換出力信号を逆変換することで、復号信号を生成する逆変換ステップとを含み、前記逆変換ステップは、前記第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号に前記第２逆変換を行うことで、第１復号部分信号を生成する第２逆変換ステップと、前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分である第２復号部分信号とを含む第１復号変換出力信号に、第１逆変換係数を用いて第１逆変換を行うことで、前記復号信号を生成する第１逆変換ステップとを含み、前記エントロピー復号ステップでは、前記符号化信号を復号することで前記差分を取得し、取得した差分と前記所定値とを加算することで、前記第２逆変換係数を生成する。

これにより、上記の符号化方法によって生成された符号化信号を復号することができる。

また、前記変換係数又は前記第２逆変換係数は、正方行列の係数であり、前記符号化信号は、前記変換係数又は前記第２逆変換係数の対角要素と当該対角要素がとりうる値の最大値との差分を含み、前記エントロピー復号ステップでは、前記符号化信号を復号することで前記差分を取得し、取得した差分と前記最大値とを加算して、前記対角要素を生成することで、前記第２逆変換係数を生成してもよい。

また、前記変換係数又は前記第２逆変換係数は、正方行列の係数であり、前記符号化信号は、前記変換係数又は前記第２逆変換係数の第１対角要素と当該対角要素に隣接する第２対角要素との差分を含み、前記エントロピー復号ステップでは、前記符号化信号を復号することで前記差分を取得し、取得した差分と前記隣接する第２対角要素とを加算して、前記第１対角要素を生成することで、前記第２逆変換係数を生成してもよい。

また、前記変換係数又は前記第２逆変換係数は、正方行列の係数であり、前記符号化信号は、前記変換係数又は前記第２逆変換係数の対角要素と当該対角要素の正方行列内の位置に基づいて算出された予測値との差分を含み、前記エントロピー復号ステップでは、前記符号化信号を復号することで前記差分を取得し、かつ、前記予測値を生成し、生成した予測値と取得した差分とを加算して、前記対角要素を生成することで、前記第２逆変換係数を生成してもよい。

また、前記変換係数又は前記第２逆変換係数は、正方行列の係数であり、前記エントロピー復号ステップでは、前記変換係数又は前記第２逆変換係数に含まれる非対角要素と、当該非対角要素を対角要素で折り返した位置の要素である折り返し要素との間の冗長性を取り除いた成分を復号して、前記非対角要素を生成することで、前記第２逆変換係数を生成してもよい。

また、前記符号化信号は、前記非対角要素の絶対値及び前記折り返し要素の絶対値の平均値と、当該平均値及び前記非対角要素の絶対値の差分とを含み、前記エントロピー復号ステップでは、前記符号化信号を復号することで、前記平均値と前記差分とを取得し、取得した平均値と前記差分とを加算することで、前記非対角要素を生成してもよい。

また、前記符号化信号は、前記非対角要素の符号と前記折り返し要素の符号とが同じであるか異なるかを示す符号反転情報を含み、前記エントロピー復号ステップでは、前記符号化信号を復号することで、前記符号反転情報を取得し、取得した符号反転情報に従って、前記非対角要素及び前記折り返し要素の符号を決定してもよい。

また、前記符号化信号は、全ての位置における前記非対角要素の符号と前記折り返し要素の符号とが互いに反転していることを示す全符号反転情報を含み、前記エントロピー復号ステップでは、前記符号化信号を復号することで、前記全符号反転情報を取得し、取得した全符号反転情報に従って、前記非対角要素及び前記折り返し要素の符号を決定してもよい。

また、前記符号化信号は、さらに、前記非対角要素のうち上三角要素及び下三角要素のいずれか一方の正負を示す符号情報を含み、前記エントロピー復号ステップでは、さらに、前記符号情報を取得し、取得した符号情報に従って、前記非対角要素の符号を決定してもよい。

また、前記符号化信号は、さらに、前記非対角要素のうち全ての位置における上三角要素の符号は正であることを示す上三角要素符号情報を取得し、前記エントロピー復号ステップでは、さらに、前記上三角要素符号情報を取得し、取得した上三角要素情報に従って、上三角要素の符号は正であると決定してもよい。

また、前記符号化信号は、前記変換係数又は前記第２逆変換係数を構成する要素の位置に応じて重み付けされた量子化ステップと、当該量子化ステップを用いて量子化された変換係数又は量子化された第２逆変換係数とを含み、前記エントロピー復号ステップでは、前記符号化信号を復号することで、前記量子化ステップと前記量子化された変換係数又は前記量子化された第２逆変換係数とを取得し、前記逆量子化ステップでは、さらに、前記量子化ステップを用いて、前記量子化された変換係数又は前記量子化された第２逆変換係数を逆量子化してもよい。

また、前記符号化信号は、予測誤差信号を変換及び量子化することで生成された信号であり、前記復号方法は、さらに、予測信号を生成する予測ステップを含み、前記逆変換ステップは、前記逆変換を行うことで、前記復号変換出力信号から復号予測誤差信号を生成し、前記予測信号と前記復号予測誤差信号とを加算することで、前記復号信号を生成してもよい。

また、前記第２逆変換は、ＫＬＴであってもよい。

以上のいずれの復号方法においても、符号化方法の場合と同様に、演算量の増加及び変換係数のデータ量の増加を抑制することができる。また、上記の符号化方法によって符号化された信号を正しく復号することができる。

なお、本発明は、符号化方法及び復号方法として実現できるだけではなく、当該符号化方法及び復号方法に含まれる処理ステップを行う処理部を備える符号化装置及び復号装置として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。

また、上記の符号化装置及び復号装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。

本発明に係る符号化方法及び符号化装置によれば、符号化処理における演算量の増加、及び、変換係数のデータ量の増加を抑制することができる。さらに、本発明に係る復号方法及び復号装置によれば、本発明に係る符号化方法及び符号化装置によって符号化された信号を正しく復号することができる。

図１は、従来の符号化装置の構成を示すブロック図である。 図２は、ＤＣＴとＫＬＴとの演算量の比較を示す図である。 図３は、実施の形態１に係る符号化装置の構成の一例を示すブロック図である。 図４は、実施の形態１に係る変換部の構成の一例を示すブロック図である。 図５は、実施の形態１に係る変換部におけるデータフローの一例を概念的に示す図である。 図６は、実施の形態１に係る変換部におけるＫＬＴによる変換係数の導出の一例を模式的に示す図である。 図７は、実施の形態１に係る符号化装置の動作の一例を示すフローチャートである。 図８は、実施の形態１に係る変換部の動作の一例を示すフローチャートである。 図９は、実施の形態１に係る変換係数符号化部の動作の一例を示すフローチャートである。 図１０Ａは、実施の形態１に係る第２変換部の入出力の一例を概念的に示す図である。 図１０Ｂは、実施の形態１に係る第２変換係数の一例を示す図である。 図１１Ａは、実施の形態１において、符号化対象要素が対角要素である場合の変換係数符号化部の動作の一例を示すフローチャートである。 図１１Ｂは、実施の形態１において、符号化対象要素が対角要素である場合の変換係数符号化部の動作の別の一例を示すフローチャートである。 図１２は、実施の形態１において、非対角要素である符号化対象要素、及び折り返し要素の一例を示す図である。 図１３は、実施の形態１において、符号化対象要素が非対角要素である場合の変換係数符号化部の動作の一例を示すフローチャートである。 図１４Ａは、実施の形態１における変換係数の一例を示す図である。 図１４Ｂは、実施の形態１における絶対平均値の一例を示す図である。 図１４Ｃは、実施の形態１におけるヘッダ記述値（すなわち、差分）の一例を示す図である。 図１５は、実施の形態１において、上三角要素と下三角要素との間の符号の関係を示す図である。 図１６は、実施の形態１において、非対角要素の符号を送信する際のシンタックスの一例を示す模式図である。 図１７Ａは、実施の形態１に係る符号化装置の構成の別の一例を示すブロック図である。 図１７Ｂは、実施の形態１に係る符号化装置の構成の別の一例を示すブロック図である。 図１８Ａは、実施の形態１の変形例において、変換係数用量子化ステップテーブルの一例を示す図である。 図１８Ｂは、実施の形態１の変形例において、ＴＷＬ配列のインデックステーブルの一例を示す図である。 図１８Ｃは、実施の形態１の変形例において、ＴＷＬ配列のインデックステーブルの一例を示す図である。 図１９は、実施の形態１の変形例における符号化装置の構成の一例を示すブロック図である。 図２０は、実施の形態１の変形例における符号化装置の動作の一例を示すフローチャートである。 図２１は、実施の形態２に係る復号装置の構成の一例を示すブロック図である。 図２２Ａは、実施の形態２に係る復号装置が備える逆変換部の構成の一例を示すブロック図である。 図２２Ｂは、実施の形態２に係る行列演算の一例を概念的に示す図である。 図２３は、実施の形態２に係る逆変換部におけるデータフローの一例を概念的に示す図である。 図２４は、実施の形態２に係る復号装置の動作の一例を示すフローチャートである。 図２５は、実施の形態２に係る逆変換部の動作の一例を示すフローチャートである。 図２６は、実施の形態２に係る変換係数復号部の動作の一例を示すフローチャートである。 図２７Ａは、実施の形態２において、復号対象要素が対角要素である場合の変換係数復号部の動作の一例を示すフローチャートである。 図２７Ｂは、実施の形態２において、復号対象要素が対角要素である場合の変換係数復号部の動作の一例を示すフローチャートである。 図２８は、実施の形態２において、復号対象要素が非対角要素である場合の変換係数復号部の動作の一例を示すフローチャートである。 図２９Ａは、実施の形態２に係る復号装置の構成の別の一例を示すブロック図である。 図２９Ｂは、実施の形態２に係る復号装置の構成の別の一例を示すブロック図である。 図３０は、実施の形態２の変形例における復号装置の構成の一例を示すブロック図である。 図３１は、実施の形態２の変形例における復号装置の動作の一例を示すフローチャートである。 図３２は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成の一例を示す模式図である。 図３３は、携帯電話の外観を示す図である。 図３４は、携帯電話の構成例を示すブロック図である。 図３５は、デジタル放送用システムの全体構成の一例を示す模式図である。 図３６は、テレビの構成例を示すブロック図である。 図３７は、光ディスクである記録メディアに情報の読み書きを行う情報再生記録部の構成例を示すブロック図である。 図３８は、光ディスクである記録メディアの構造例を示す図である。 図３９は、各実施の形態に係る動画像符号化方法及び動画像復号方法を実現する集積回路の構成例を示すブロック図である。

以下では、本発明に係る符号化方法、復号方法、符号化装置及び復号装置について、実施の形態に基づいて図面を用いて詳細に説明する。

（実施の形態１）
実施の形態１に係る符号化装置は、入力信号を符号化することで符号化信号を生成する符号化装置であって、変換処理を行うことで、入力信号から変換出力信号を生成する変換部と、変換出力信号を量子化することで、量子化係数を生成する量子化部と、量子化係数と変換係数とを圧縮符号化することで、符号化信号を生成する符号化部とを備える。変換部は、入力信号に基づいた信号であり、かつ、変換処理の対象となる変換対象信号を含む集合の統計特性に基づいて決定された正方行列の係数である変換係数を用いて、変換対象信号に変換処理を行い、符号化部は、変換係数、又は、上記変換処理の逆変換に用いられる逆変換係数に含まれる要素と所定値との差分を算出し、算出した差分を圧縮符号化することで、変換係数又は逆変換係数を圧縮符号化することを特徴とする。以下では、まず、実施の形態１に係る符号化装置の構成の一例について、図３を用いて説明する。なお、本明細書においては、変換行列と変換係数とはほぼ同義として用いる場合がある。

なお、バタフライ構成やシフトと加算の演算を用いる構成のように、単純な行列演算でなくとも実現できる変換であっても、本明細書では行列表現で記述する場合がある。このように行列表現で記述することは、バタフライ構成やシフトと加算の演算を用いる構成、あるいは、リフティング構造を用いる構成など、各種の演算量を軽減した変換を除外するものではない。

図３は、実施の形態１に係る符号化装置１００の構成の一例を示すブロック図である。符号化装置１００には、音声データ、静止画像データ、動画像データなどの各種データである入力信号が符号化対象信号として入力される。符号化装置１００は、変換部１１０と、量子化部１２０と、符号化部１３０とを備え、入力信号、すなわち、符号化対象信号を符号化する。

変換部１１０には、符号化対象信号が、変換対象信号（変換入力信号）として入力される。変換入力信号は、例えば、式４に示すようなベクトルｘⁿで表される。例えば、符号化対象信号は、複数の変換入力信号ｘⁿによって構成される。

変換部１１０は、変換処理を行うことで、変換入力信号から変換出力信号を生成する。変換処理は、変換処理の対象となる変換対象信号を含む集合の統計特性に基づいて決定された正方行列の係数である変換係数を用いて行われる変換処理である。

例えば、変換部１１０は、正方行列の係数である変換係数を用いて、入力された変換入力信号を時空間ドメインから周波数ドメインへ変換することで、相関を軽減した変換出力信号を生成する。生成された変換出力信号は、量子化部１２０に出力され、変換に用いた変換係数は、符号化部１３０に出力される。変換部１１０の具体的な構成については、図４を用いて後で説明する。

量子化部１２０は、変換部１１０から出力された変換出力信号を量子化することで、総データ量の少ない量子化係数を生成する。生成された量子化係数は、符号化部１３０に出力される。

符号化部１３０は、変換係数符号化部１３１とエントロピー符号化部１３２とを備え、量子化部１２０から出力された量子化係数と、変換部１１０から出力された変換係数とを圧縮符号化する。

変換係数符号化部１３１は、変換部１１０から出力された変換係数を所定の符号化方式に従って圧縮符号化することで、符号化変換係数を生成する。変換係数符号化部１３１が行う具体的な動作については、後で説明する。生成された符号化変換係数は、エントロピー符号化部１３２に出力される。

エントロピー符号化部１３２は、量子化係数と符号化変換係数とを、エントロピー符号化アルゴリズムを用いて圧縮符号化することで、残りの冗長性を更に圧縮した符号化信号を生成する。生成された符号化信号は、例えば、記録媒体に記録され、あるいは、ネットワークを介して復号装置などに送信される。

なお、変換係数符号化部１３１は、変換係数を符号化する際、変換係数に含まれる要素と所定値との差分を算出し、算出した差分を圧縮符号化することで変換係数を圧縮符号化する。具体的には、変換係数符号化部１３１は、正方行列の対角要素と非対角要素とで異なる符号化方式に従って、例えば、対角要素と非対角要素とでそれぞれ異なる基準値との差分を算出し、算出した差分を符号化することで、対角要素及び非対角要素をそれぞれ圧縮符号化する。変換係数を符号化する方法については、後で図面を用いて説明する。また、変換係数符号化部１３１は、復号装置で用いられる逆変換係数を、圧縮符号化してもよい。

次に、実施の形態１に係る変換部１１０の構成の一例について、より詳しく説明する。

図４は、実施の形態１に係る符号化装置１００が備える変換部１１０の構成の一例を示すブロック図である。図４に示すように、変換部１１０は、第１変換部２００と、第１メモリ２０１と、第１変換係数導出部２０２と、分割部２１０と、第２メモリ２１１と、分割統合情報生成部２１２と、第２変換部２２０と、第３メモリ２２１と、第２変換係数導出部２２２と、統合部２３０とを備える。

第１変換部２００は、第１変換行列Ａ₁ ⁿを用いて変換入力信号ｘⁿを変換することで、第１変換出力信号ｙ₁ ⁿを生成する。第１変換行列Ａ₁ ⁿを用いた変換を第１変換Ｔ₁と記載する。第１変換Ｔ₁は、時空間ドメインの信号である変換入力信号ｘⁿを、周波数ドメインの信号である第１変換出力信号ｙ₁ ⁿに変換する処理である。

このように、第１変換部２００は、変換入力信号ｘⁿに対して第１変換Ｔ₁を行うことで、第１変換出力信号ｙ₁ ⁿを生成する。生成した第１変換出力信号ｙ₁ ⁿは、分割部２１０及び第２メモリ２１１に出力される。

第１メモリ２０１は、変換入力信号ｘⁿを保持するメモリである。例えば、変換入力信号ｘⁿが音声データ、又は画像データである場合、１フレーム分のデータに相当する複数の変換入力信号ｘⁿを保持する。

第１変換係数導出部２０２は、第１メモリ２０１に保持された変換入力信号ｘⁿを用いて、第１変換行列Ａ₁ ⁿを導出する。第１変換行列Ａ₁ ⁿは、予め定められた固定値でもよく、又は、ＫＬＴによって決定される係数でもよい。なお、第１変換行列Ａ₁ ⁿは、予め定められた固定値である場合、変換部１１０は、第１メモリ２０１及び第１変換係数導出部２０２を備えていなくてもよく、代わりに、第１変換部２００が予め定められた固定値を内部メモリなどに記憶していればよい。ＫＬＴによって変換係数を決定する方法については、後で説明する。

分割部２１０は、第１変換出力信号ｙ₁ ⁿを第１部分信号ｙ_1L ^mと第２部分信号ｙ_1H ^n-mとに、第１部分信号ｙ_1L ^mの相関エネルギーが第２部分信号ｙ_1H ^n-mの相関エネルギーより大きくなるように分割する。第１部分信号ｙ_1L ^mは、第２変換部２２０及び第３メモリ２２１に出力される。第２部分信号ｙ_1H ^n-mは、統合部２３０に出力される。

例えば、分割部２１０は、第１変換出力信号ｙ₁ ⁿをどのように分割するかを示す情報である分割統合情報を用いて、Ｎ個の要素からなる（次元数Ｎの）第１変換出力信号ｙ₁ ⁿを、Ｍ個の要素からなる（次元数Ｍの）第１部分信号ｙ_1L ^mとＮ−Ｍ個の要素からなる（次元数Ｎ−Ｍの）第２部分信号ｙ_1H ^n-mとに分割する。ここで、Ｍは、Ｎより小さい自然数である。なお、分割部２１０は、第２変換の対象とするか否かを決めるものであり、データの明示的な分割に限定されるものではない。

なお、分割部２１０は、第１部分信号ｙ_1L ^m及び第２部分信号ｙ_1H ^n-mが予め定められた要素数を含むように、予め定められた分割位置で第１変換出力信号ｙ₁ ⁿを分割してもよい。この場合、変換部１１０は、第２メモリ２１１及び分割統合情報生成部２１２を備えていなくてもよく、代わりに、分割部２１０が、各部分信号の要素数及び分割位置などを示す分割統合情報を内部メモリなどに記憶していればよい。

第２メモリ２１１は、第１変換出力信号ｙ₁ ⁿを保持するメモリである。例えば、１フレーム分のデータに相当する複数の第１変換出力信号ｙ₁ ⁿを保持する。

分割統合情報生成部２１２は、第２メモリ２１１に保持された第１変換出力信号ｙ₁ ⁿを用いて、分割統合情報を生成する。分割統合情報は、例えば、低周波数帯域の要素を第１部分信号の要素として、かつ、高周波数帯域の要素を第２部分信号の要素として第１変換出力信号ｙ₁ ⁿを分割するように、分割部２１０に指示する制御情報である。あるいは、分割統合情報は、相関エネルギーの大きな要素を第１部分信号の要素として、かつ、相関エネルギーの小さな要素を第２部分信号の要素として第１変換出力信号ｙ₁ ⁿを分割するように、分割部２１０に指示する制御情報であってもよい。

分割統合情報生成部２１２は、複数の第１変換出力信号ｙ₁ ⁿのエネルギー状態の分布を鑑みて分割統合情報を生成する。例えば、分割統合情報生成部２１２は、所定の閾値より相関エネルギーが大きい要素を第１部分信号の要素として、かつ、当該閾値より相関エネルギーが小さい要素を第２部分信号の要素として、第１変換出力信号ｙ₁ ⁿを分割する。

第２変換部２２０は、第２変換行列Ａ₂ ^mを用いて第１部分信号ｙ_1L ^mを変換することで、第２変換出力信号ｙ₂ ^mを生成する。第２変換行列Ａ₂ ^mを用いた変換を第２変換Ｔ₂と記載する。すなわち、第２変換部２２０は、第１部分信号ｙ_1L ^mに対して第２変換Ｔ₂を行うことで、第２変換出力信号ｙ₂ ^mを生成する。生成した第２変換出力信号ｙ₂ ^mは、統合部２３０に出力される。

第３メモリ２２１は、第１部分信号ｙ_1L ^mを保持するメモリである。例えば、１フレーム分のデータに相当する複数の第１部分信号ｙ_1L ^mを保持する。なお、後述するように、第２変換係数導出部２２２は、第１変換行列Ａ₁ ⁿを導出するのに用いる集合よりも小さい集合を用いて、第２変換行列Ａ₂ ^mを導出する。したがって、第３メモリ２２１は、第１メモリ２０１より記憶容量が小さくてもよい。

第２変換係数導出部２２２は、第３メモリ２２１に保持された第１部分信号ｙ_1L ^mを用いて、第２変換行列Ａ₂ ^mを導出する。第２変換行列Ａ₂ ^mは、ＫＬＴによって決定される係数である。ＫＬＴによって変換係数を決定する方法については、後で説明する。

統合部２３０は、分割統合情報を用いて第２変換出力信号ｙ₂ ^mと第２部分信号ｙ_1H ^n-mとを統合することで、変換出力信号ｙⁿを生成する。生成された変換出力信号ｙⁿは、量子化部１２０に出力される。

第２変換行列Ａ₂ ^mは、ＫＬＴによって第１部分信号ｙ_1L ^mに対して最適に設計された変換係数であるため、第２変換部２２０は、第２変換Ｔ₂を行うことで、第１変換出力信号ｙ₁ ⁿに残された冗長性を削減することができる。これにより、符号化信号の圧縮に寄与する効果をもたらす。

このとき、第２変換部２２０は、第１変換出力信号ｙ₁ ⁿよりも要素数が少ない第１部分信号ｙ_1L ^mに対して第２変換Ｔ₂を行う。したがって、第２変換部２２０による演算量を削減することができるとともに、第２変換Ｔ₂に用いる第２変換行列Ａ₂ ^mのデータ量を削減することができる。

なお、本発明の実施の形態１に係る変換部１１０は、分割部２１０と統合部２３０とを備えなくてもよい。すなわち、変換部１１０は、第１変換出力信号ｙ₁ ⁿを明示的に分割するのではなく、第１変換出力信号ｙ₁ ⁿを構成する要素のうち、第２変換Ｔ₂の対象となる要素を決定し、決定した要素にのみ第２変換Ｔ₂を行えばよい。

例えば、第２変換部２２０には、第１変換出力信号ｙ₁ ⁿが入力され、入力された第１変換出力信号ｙ₁ ⁿに対して、第２変換係数を用いて第２変換Ｔ₂を行う。このとき、第２変換部２２０は、第１変換出力信号ｙ₁ ⁿを構成する要素のうち、第２変換Ｔ₂の対象とならない要素（すなわち、第２部分信号に含まれる要素）に乗じられる第２変換係数の係数値を１に設定する。これにより、第２変換部２２０は、第１変換出力信号ｙ₁ ⁿを構成する要素のうち、第２変換Ｔ₂の対象となる要素にのみ、第２変換Ｔ₂を行うことができる。

なお、このとき、分割統合情報生成部２１２が、第２変換Ｔ₂の対象となる要素を決定するための選択範囲情報を生成してもよい。第２変換部２２０は、分割統合情報生成部２１２が生成した選択範囲情報に基づいて、第２変換Ｔ₂の対象となる要素を決定してもよい。

なお、上述した分割統合情報は、選択範囲情報の一例である。

続いて、図５に示すような変換入力信号ｘⁿの一例を挙げて、変換部１１０におけるデータの流れについて説明する。なお、図５は、実施の形態１に係る変換部１１０におけるデータフローの一例を概念的に示す図である。

図５に示すように、変換部１１０には、１６個の要素から構成される（入力点数が１６点）変換入力信号ｘⁿが入力される。まず、第１変換部２００が変換入力信号ｘⁿに対して第１変換Ｔ₁を行うことで、第１変換出力信号ｙ₁ ⁿを生成する。第１変換出力信号ｙ₁ ⁿは、分割部２１０に出力される。

分割部２１０は、第１変換出力信号ｙ₁ ⁿを第１部分信号ｙ_1L ^mと第２部分信号ｙ_1H ^n-mとに分割する。このとき、分割部２１０は、第１部分信号ｙ_1L ^mを１次元に並び替えて、第２変換部２２０に出力する。第２部分信号ｙ_1H ^n-mは、統合部２３０に出力される。なお、分割部２１０は、第１部分信号ｙ_1L ^mを、各要素が低域から高域に並ぶように並び替えることが好ましい。なお、分割部２１０の出力する第１部分信号ｙ_1L ^mは一次元への並び替えを行わず、第２変換は水平変換と垂直変換（順不同）を逐次行う。分離型の構成であってもよい。

例えば、図５に示す例では、第１部分信号ｙ_1L ^mは６個の要素から構成され（入力点数が６点）、第２部分信号ｙ_1H ^n-mは１０個の要素から構成される（入力点数が１０点）。なお、第１部分信号ｙ_1L ^mは連続する６個の要素で構成されているが、離散した要素から構成されていてもよい。

第２変換部２２０は、第１部分信号ｙ_1L ^mに対して第２変換Ｔ₂を行うことで、第２変換出力信号ｙ₂ ^mを生成する。生成された第２変換出力信号ｙ₂ ^mは、統合部２３０に出力される。当該第２変換Ｔ₂により、第１部分信号ｙ_1L ^mの相関はさらに軽減され、出力される第２変換出力信号ｙ₂ ^mは、より低周波数帯域にエネルギーが集中した信号となる。

統合部２３０は、第２変換出力信号ｙ₂ ^mを、分割部２１０によって並び替えられる前の次元（ここでは、２次元）に並び替える。そして、統合部２３０は、並び替えられた第２変換出力信号ｙ₂ ^mと第２部分信号ｙ_1H ^n-mとを統合することで、変換出力信号ｙⁿを生成する。

以上のように、実施の形態１に係る符号化装置１００では、変換部１１０は、入力された変換入力信号を２段階で変換する。具体的には、１段階目の第１変換により、時空間ドメインの変換入力信号を周波数ドメインの変換出力信号に変換する。さらに、変換出力信号の一部（好ましくは、低周波数成分を含む信号）に対して、ＫＬＴを用いた第２変換を行う。

以下では、少なくとも第２変換部２２０が行うＫＬＴによる変換係数の導出方法について説明する。ＫＬＴは、入力信号のある集合の統計的な性質に基づいて、入力信号を完全に無相関化することができる変換を設計する手法である。

具体的には、ＫＬＴは、入力信号の分散共分散行列（ｖａｒｉａｎｃｅ−ｃｏｖａｒｉａｎｃｅ ｍａｔｒｉｘ）の非対角成分が０となるような変換を求めることであり、分散共分散行列の固有値問題を解くことに等しい。導出した固有ベクトルが基底関数となり、固有値が変換係数の各要素の軸の大きさ（つまり、エネルギー）となる。固有値の値（分散、又は、エネルギー）の大きな軸から小さな軸へと並べる。

図６は、ＫＬＴによる変換係数の導出の一例を模式的に示す図である。

変換部１１０に入力される変換入力信号ｘⁿは、第１メモリ２０１に保持される。第１変換係数導出部２０２は、第１メモリ２０１に保持された複数の変換入力信号ｘⁿをサンプルとして含む集合Ｓ_Aに基づいて、第１変換行列Ａ₁ ⁿを導出する。例えば、第１変換係数導出部２０２は、ＫＬＴを用いて、集合Ｓ_Aに含まれる多くのサンプルに平均的に最適化された第１変換行列Ａ₁ ⁿを導出する。

これにより、第１変換係数導出部２０２は、個々の変換入力信号ｘⁿの統計的性質にあまり影響を受けずに、多少異なる性質であっても共通の第１変換行列Ａ₁ ⁿを用いて第１変換を行うことができる。したがって、第１変換行列Ａ₁ ⁿの更新頻度を抑制することができ（例えば、１フレーム毎）、演算量を削減することができる。また、第１変換行列Ａ₁ ⁿを更新する場合であっても、更新前と更新後との個々の値の変化量は小さいため、差分情報量を少なくすることができる。

一方で、第１変換部２００によって生成された第１変換出力信号ｙ₁ ⁿのうち相関エネルギーの大きい要素を含む第１部分信号ｙ_1L ^mは、第３メモリ２２１に保持される。第２変換係数導出部２２２は、第３メモリ２２１に保持された複数の第１部分信号ｙ_1L ^mをサンプルとして含む集合Ｓ_Cに基づいて、第２変換行列Ａ₂ ^mを導出する。例えば、第２変換係数導出部２２２は、ＫＬＴを用いて、集合Ｓ_Cに含まれる多くのサンプルに平均的に最適化された第２変換行列Ａ₂ ^mを導出する。

このとき、集合Ｓ_Cは、集合Ｓ_Aよりも小さい集合である。例えば、集合Ｓ_Aが１フレーム分のデータに相当する集合である場合、集合Ｓ_Cは、画像データにおけるスライス若しくはマクロブロックのデータ、又は、音声データにおけるサブフレーム若しくはサブバンドのデータに相当する集合である。なお、集合Ｓ_Cは少なくとも２つのサンプル（第１部分信号ｙ_1L ^m）を含んでいればよい。

以上のように、実施の形態１に係る符号化装置１００では、第１変換Ｔ₁と第２変換Ｔ₂とを含む複数の変換を用いる。第１変換Ｔ₁において、より大きな集合Ｓ_Aの統計的性質に応じて最適に導出された第１変換行列Ａ₁ ⁿを用いて変換し、第２変換Ｔ₂において、より小さな集合Ｓ_Cの統計的性質に応じて最適に導出された第２変換行列Ａ₂ ^mを用いて変換する。

このように、集合Ｓ_Cを集合Ｓ_Aより小さい集合とすることで、第１変換出力信号ｙ₁ ⁿの統計的性質の変化に鋭敏に追従することができ、さらなる相関の軽減とエネルギーの圧縮とが可能になる。なお、集合Ｓ_Cが小さくなることで、第２変換行列Ａ₂ ^mの更新頻度（導出頻度）が高まるが、第１部分信号ｙ_1L ^mは、第１変換出力信号ｙ₁ ⁿの一部であり、変換入力信号ｘⁿより次元数（要素数）が少ないので、第２変換行列Ａ₂ ^mを構成する要素の総数は少なくなるので、高効率な変換と、演算量及びデータ量の削減とを両立させることができる。

以上のように、実施の形態１における変換処理は、変換処理の対象となる変換対象信号を含む集合の統計特性に基づいて、正方行列の係数である変換係数を決定し、決定した変換係数を用いて変換対象信号を変換する処理である。なお、第１変換部２００の変換対象信号は、変換入力信号ｘⁿであり、第２変換部２２０の変換対象信号は、第１部分信号ｙ_1L ^mである。第１部分信号ｙ_1L ^mを含む集合Ｓ_Cは、変換入力信号ｘⁿを含む集合Ｓ_Aより小さい集合であるので、演算量及びデータ量を削減することができる。

なお、図６には、分割部２１０及び統合部２３０については示していないが、図４及び図５でも示したように、第１変換部２００からの出力である第１変換出力信号ｙ₁ ⁿは、第１部分信号ｙ_1L ^mと第２部分信号ｙ_1H ^n-mとに分割される。また、第２変換部２２０からの出力である第２変換出力信号ｙ₂ ^mは、第２部分信号ｙ_1H ^n-mと統合されて、変換出力信号ｙⁿとして、量子化部１２０に出力される。図６は、特に第２変換Ｔ₂に関わる処理部及びデータについて示している。

次に、実施の形態１に係る符号化装置１００が行う符号化方法について説明する。

図７は、実施の形態１に係る符号化装置１００の動作の一例を示すフローチャートである。

まず、音声データ又は画像データなどの符号化対象信号が、符号化装置１００に入力される。変換部１１０には、入力された符号化対象信号が変換入力信号として入力される。変換部１１０は、所定の変換係数を用いて時空間ドメインから周波数ドメインへ、変換入力信号ｘⁿを変換することで、変換出力信号ｙⁿを生成する（Ｓ１１０）。

次に、量子化部１２０は、生成された変換出力信号を量子化することで、量子化係数を生成する（Ｓ１２０）。最後に、符号化部１３０は、量子化部１２０によって生成された量子化係数と、変換部１１０が変換に用いた変換係数とを圧縮符号化することで、符号化信号を生成する（Ｓ１３０）。具体的には、まず、変換係数符号化部１３１が変換係数を符号化することで、符号化変換係数を生成する。そして、エントロピー符号化部１３２が、符号化変換係数と量子化係数とをエントロピー符号化することで、符号化信号を生成する。

以上のようにして、実施の形態１に係る符号化装置１００は、入力された符号化対象信号を符号化することで、情報量を圧縮することができる。

続いて、実施の形態１に係る符号化装置１００が行う変換処理（Ｓ１１０）と、符号化処理（Ｓ１３０）のうち特に変換係数の符号化との詳細について説明する。まず、変換処理（Ｓ１１０）について説明する。

図８は、実施の形態１に係る変換部１１０の動作の一例を示すフローチャートである。

まず、入力された変換入力信号ｘⁿは、第１メモリ２０１に蓄積される。第１変換係数導出部２０２は、第１メモリ２０１に蓄積された複数の変換入力信号ｘⁿに基づいて第１変換行列Ａ₁ ⁿを決定する（Ｓ１１１）。

次に、第１変換部２００は、決定された第１変換行列Ａ₁ ⁿを用いて、変換入力信号ｘⁿに対して第１変換Ｔ₁を行うことで、第１変換出力信号ｙ₁ ⁿを生成する（Ｓ１１２）。生成した第１変換出力信号ｙ₁ ⁿは、第２メモリ２１１に蓄積される。

次に、分割統合情報生成部２１２は、第２メモリ２１１に蓄積された複数の第１変換出力信号ｙ₁ ⁿに基づいて、分割統合情報を生成する（Ｓ１１３）。そして、分割部２１０は、生成された分割統合情報を用いて第１変換出力信号ｙ₁ ⁿを第１部分信号ｙ_1L ^mと第２部分信号ｙ_1H ^n-mとに分割する（Ｓ１１４）。第１部分信号ｙ_1L ^mは、第３メモリ２２１に蓄積される。

次に、第２変換係数導出部２２２は、第３メモリ２２１に蓄積された複数の第１部分信号ｙ_1L ^mに基づいて、第２変換行列Ａ₂ ^mを決定する（Ｓ１１５）。そして、第２変換部２２０は、決定された第２変換行列Ａ₂ ^mを用いて、第１部分信号ｙ_1L ^mに対して第２変換を行うことで、第２変換出力信号ｙ₂ ^mを生成する（Ｓ１１６）。

最後に、統合部２３０は、第２変換出力信号ｙ₂ ^mと第２部分信号ｙ_1H ^n-mとを統合することで、変換出力信号ｙⁿを生成する（Ｓ１１７）。

なお、第１変換が、ＫＬＴなどの適応的に変換係数を導出する方法ではなく、固定の変換係数を用いる場合、又は、第２変換の対象とする要素が固定の場合は、それぞれ第１変換係数の決定処理（Ｓ１１１）及び分割統合情報の生成処理（Ｓ１１３）を省略することができる。

続いて、実施の形態１に係る変換係数の符号化について説明する。

上述したように、実施の形態１に係る符号化装置１００では、符号化部１３０が量子化係数だけでなく、変換部１１０による変換に用いた変換係数も符号化する。このとき、変換係数は、複数の要素から構成された正方行列であり、符号化部１３０は、正方行列の対角要素と非対角要素とで異なる符号化方式に従って、変換係数を符号化する。具体的には、符号化部１３０が備える変換係数符号化部１３１は、符号化対象要素が対角要素であるか非対角要素であるかを判定し、それぞれに適した所定値との差分を算出し、算出した差分を符号化することで符号化対象要素を符号化する。

図９は、実施の形態１に係る変換係数符号化部１３１の動作の一例を示すフローチャートである。

変換係数符号化部１３１は、変換部１１０から入力される変換係数を、当該変換係数を構成する要素毎に符号化する。まず、変換係数符号化部１３１は、符号化対象要素が対角要素であるか非対角要素であるかを判定する（Ｓ１３１）。

符号化対象要素が対角要素である場合（Ｓ１３１で“対角要素”）、変換係数符号化部１３１は、所定の基準値との差分を利用して、符号化対象要素を符号化する（Ｓ１３２）。具体的な処理については、後で説明する。

符号化対象要素が非対角要素である場合（Ｓ１３１で“非対角要素”）、変換係数符号化部１３１は、折り返し要素との関係を利用して符号化する（Ｓ１３３）。折り返し要素は、非対角要素を対角要素で折り返した位置の要素である。具体的な処理については、後で説明する。

このように、実施の形態１に係る符号化装置１００では、符号化対象要素が対角要素であるか非対角要素であるかに応じて、異なる符号化方式を用いて変換係数を符号化する。以下では、実施の形態１に係る符号化装置１００による変換係数の符号化について、より詳細に説明する。

なお、以下では一例として、図１０Ａに示すように、４個の要素からなる第１部分信号ｙ_1L ^mが第２変換部２２０に入力され、第２変換部２２０は、４×４行列の第２変換行列Ａ₂ ^mを用いて第１部分信号ｙ_1L ^mを変換することで、第１部分変換出力信号ｙ₂ ^mを出力する場合を想定する。

図１０Ｂに示すように、第２変換行列Ａ₂ ^mを構成する各要素は、ａ（ｉ，ｊ）（あるいは、ａ_ij）で表される。なお、ｉ＝１、２、３、４、及びｊ＝１、２、３、４である。このとき、図１０Ｂに示すように、ｉ＝ｊとなる要素（ａ_ii）が対角要素であり、ｉ≠ｊとなる要素が非対角要素である。さらに、非対角要素は、ｉ＜ｊとなる要素である上三角要素と、ｉ＞ｊとなる要素である下三角要素とに分類される。

まず、符号化対象要素が対角要素である場合について説明する。

図１１Ａは、実施の形態１において、符号化対象要素が対角要素である場合の変換係数符号化部１３１の動作の一例を示すフローチャートである。

まず、変換係数符号化部１３１は、符号化対象要素が対角要素である場合、符号化対象要素と所定値との差分を算出する（Ｓ２００）。所定値は、例えば、変換係数である正方行列の要素がとりうる値の最大値（例えば、１）である。

次に、変換係数符号化部１３１は、算出した差分を符号化することで、符号化変換係数を生成する（Ｓ２１０）。具体的には、算出した差分は、エントロピー符号化部１３２が生成する符号化信号（符号化ビットストリーム）のヘッダに記述される値（以下、ヘッダ記述値と記載）であり、エントロピー符号化部１３２は、ヘッダ記述値をエントロピー符号化する。

以上のようにして、変換係数符号化部１３１及びエントロピー符号化部１３２は、対角要素を符号化する。なお、図１１Ａに示す処理は、図９に示す所定の基準値との差分を利用した符号化処理（Ｓ１３２）の一例である。

ここで、ヘッダ記述値ｈ（ｉ，ｉ）は、式５で表される。

例えば、ｃ＝１である。あるいは、１に近い他の値であってもよい。所定値ｃを１、又は、１に近い他の値にする理由は、以下の通りである。

仮に、第１変換Ｔ₁が完全な無相関化を達成できる変換である場合、第２変換Ｔ₂は、第１変換出力信号をそれ以上無相関化することができないので、対角要素が全て１（すなわち、８ビット精度の係数の場合、２５５）となり、非対角要素が全て０となる。

しかしながら、上述したように、第１変換係数導出部２０２は、集合Ｓ_Aに含まれる複数の変換入力信号ｘⁿに平均的に最適化された第１変換行列Ａ₁ ⁿを導出するので、個々の変換入力信号ｘⁿには最適化されていない。このため、第１変換部２００は、完全な無相関化を達成することはできず、第１変換出力信号ｙ₁ ⁿ、及び、その一部である第１部分信号ｙ_1L ^mは、完全に無相関化されていない。したがって、第２変換係数導出部２２２が導出する第２変換行列Ａ₂ ^mの対角要素は必ずしも１にはならず、非対角要素は必ずしも０にはならない。

しかしながら、第１部分信号ｙ_1L ^mは、第１変換によりある程度は無相関化されているので、第２変換行列Ａ₂ ^mの対角要素は１に近い値となる。また、非対角要素は０に近い値となる。

したがって、対角要素ａ（ｉ，ｉ）と１との差分は、０に近い値となるので、符号化すべき情報量を削減することができるので、より符号化効率を高めることができる。

また、所定値は、符号化対象要素である対角要素ａ（ｉ，ｉ）に隣接する対角要素ａ（ｉ−１，ｉ−１）又はａ（ｉ＋１，ｉ＋１）であってもよい。すなわち、変換係数符号化部１３１は、対角方向に隣接する対角要素間の差分を算出し、算出した差分を符号化してもよい。

対角要素は、高域成分になるほど特殊な相関の影響を受けやすく、１から外れる傾向にある。つまり、右下の対角要素ほど、１から外れる傾向にある。したがって、隣接する対角要素間で差分を算出することで、情報量を圧縮することができる。例えば、変換係数符号化部１３１は、式６に示すように、対角要素ａ（ｉ，ｉ）と、当該対角要素の左斜め上に位置する対角要素ａ（ｉ−１，ｉ−１）との差分を算出し、算出した差分を符号化する。

なお、ａ（０，０）＝１とする。

また、所定値は、符号化対象要素である対角要素ａ（ｉ，ｉ）の予測値ｐ（ｉ，ｉ）であってもよい。つまり、変換係数符号化部１３１は、対角要素ａ（ｉ，ｉ）の予測値ｐ（ｉ，ｉ）を算出することで、対角要素ａ（ｉ，ｉ）と予測値ｐ（ｉ，ｉ）との差分を算出してもよい。

図１１Ｂは、実施の形態１において、符号化対象要素が対角要素である場合の変換係数符号化部１３１の動作の別の一例を示すフローチャートである。

まず、変換係数符号化部１３１は、符号化対象要素が対角要素である場合、符号化対象要素の予測値を算出する（Ｓ２０１）。具体的には、以下の通りである。

上述のように、対角要素は高域成分になるほど１から外れる傾向にある。したがって、変換係数符号化部１３１は、例えば、式７又は式８に示すような一次関数又は等差級数を用いて予測値ｐ（ｉ，ｉ）を算出する。

なお、式７において、ｉ（ｉ，ｉ）は、対角要素ａ（ｉ，ｉ）毎に定められる所定の係数であり、ｃ（ｉ，ｉ）は、対角要素ａ（ｉ，ｉ）毎に定められる所定のオフセット値である。ただし、ｉ（ｉ，ｉ）及びｃ（ｉ，ｉ）は、所定の固定値であってもよい。また、式８において、ｄは所定の固定値であり、例えば、負の値である。

そして、変換係数符号化部１３１は、算出した予測値ｐ（ｉ，ｉ）と符号化対象要素である対角要素ａ（ｉ，ｉ）との差分を、式９に示すように算出する（Ｓ２０２）。

最後に、エントロピー符号化部１３２は、算出した差分をエントロピー符号化する（Ｓ２１０）。

以上のようにして、変換係数符号化部１３１及びエントロピー符号化部１３２は、対角要素を圧縮符号化する。なお、図１１Ｂに示す処理は、図９に示す所定の基準値との差分を利用した符号化処理（Ｓ１３２）の一例である。

なお、実施の形態１において、変換係数符号化部１３１は、対角要素の符号を符号化することはない。すなわち、変換係数符号化部１３１は、ヘッダに対角要素の符号を記述せず、復号装置側に送信しない。具体的には、対角要素の符号は、正であるものと定義しておく。これにより、情報量をさらに圧縮することができる。

このため、第２変換係数導出部２２２は、第２変換係数を導出する際に、対角要素が負の値になった場合、当該対角要素を含む行の全ての要素に−１を乗ずることで、対角要素を正の値にすることができる。

以上のように、実施の形態１に係る符号化装置１００では、ＫＬＴにより導出された変換係数を符号化する際に、符号化対象要素が対角要素である場合は、対角要素と所定値との差分を算出し、算出した差分を符号化することを特徴とする。このとき、所定値は、予め定められた固定値（例えば、１）でもよく、又は、対角要素を予測することで生成した予測値であってもよい。さらに、対角要素を常に正となるように導出することで、変換係数符号化部１３１は、対角要素の符号を送信しない。以上の構成により、情報量を圧縮することができ、符号化効率を高めることができる。

なお、符号化対象要素が対角要素である場合に、変換係数符号化部１３１は、図１１Ａ及び図１１Ｂの両方の処理を行い、より符号化効率が高い方の結果を利用してもよい。あるいは、予め定められた一方の処理のみを行ってもよい。

続いて、符号化対象要素が非対角要素である場合について説明する。

変換係数符号化部１３１は、符号化対象要素が非対角要素である場合、当該符号化対象要素と、当該符号化対象要素を対角画素で折り返した位置の要素である折り返し要素との間で冗長性を取り除いた成分を符号化する。なお、符号化対象要素がａ（ｉ，ｊ）で示される場合、折り返し要素はａ（ｊ，ｉ）で示される。図１２は、非対角要素である符号化対象要素、及び折り返し要素の一例を示す図である。

変換係数符号化部１３１は、符号化対象要素と折り返し要素との間の特徴的な関係を利用することで、符号化対象要素と折り返し要素との間の冗長性を取り除く。ＫＬＴによって導出された変換係数には、特徴的な関係として、例えば、符号化対象要素と折り返し要素とでは、絶対値がほぼ同等になるという関係がある。

したがって、変換係数符号化部１３１は、例えば、符号化対象要素の絶対値と折り返し要素の絶対値との平均値（以下、絶対平均値と記載）を算出し、算出した平均値と符号化対象要素の絶対値との差分を符号化する。

図１３は、実施の形態１において、符号化対象要素が非対角要素である場合の変換係数符号化部１３１の動作の一例を示すフローチャートである。

まず、変換係数符号化部１３１は、式１０に従って、符号化対象要素と折り返し要素との絶対平均値ｈａ＿ｔｐａｉｒ（ｉ，ｊ）を算出する（Ｓ３００）。

なお、絶対平均値ｈａ＿ｔｐａｉｒ（ｉ，ｊ）は、符号化対象要素と折り返し要素とのペア（対角ペア）に対して１つの値が算出される。すなわち、ｈａ＿ｔｐａｉｒ（ｉ，ｊ）＝ｈａ＿ｔｐａｉｒ（ｊ，ｉ）であるので、上三角要素及び下三角要素のいずれか一方のみを符号化対象要素として、絶対平均値ｈａ＿ｔｐａｉｒ（ｉ，ｊ）を算出すればよい。

そして、変換係数符号化部１３１は、式１１又は式１２に従って、符号化対象要素の絶対値と絶対平均値との差分ｈａ（ｉ，ｊ）を算出する（Ｓ３１０）。なお、式１１は、符号化対象要素が上三角要素（ｉ＜ｊ）である場合の式であり、式１２は、符号化対象要素が下三角要素（ｉ＞ｊ）である場合の式である。

そして、エントロピー符号化部１３２は、ヘッダ記述値（差分ｈａ（ｉ，ｊ））をエントロピー符号化することで、情報を圧縮する（Ｓ３２０）。

さらに、変換係数符号化部１３１は、符号化対象要素ａ（ｉ，ｊ）、又はヘッダ記述値ｈａ（ｉ，ｊ）の符号（正負を示す情報）を符号化する（Ｓ３３０）。なお、ＫＬＴによって導出された変換係数には、非対角要素の符号（正負）にも特徴的な関係がある。したがって、この特徴的な関係を利用することで、より高い符号化効率で、符号を符号化することもできる。

以上のようにして、実施の形態１に係る符号化装置１００では、ＫＬＴにより導出された変換係数を符号化する際に、符号化対象要素が非対角要素である場合は、当該符号化対象要素と折り返し要素との間で冗長性を取り除いた成分を符号化することを特徴とする。例えば、符号化対象要素の絶対値と折り返し要素の絶対値とはほぼ同じである場合が多いという関係を利用することで、情報量を圧縮することができ、符号化効率を高めることができる。

なお、図１４Ａは、変換係数ａ（ｉ，ｊ）の一例を示す図である。また、図１４Ｂは、図１４Ａに示す変換係数から算出した絶対平均値ｈａ＿ｔｐａｉｒ（ｉ，ｊ）の一例を示す図である。図１４Ｃは、図１４Ａに示す変換係数から算出されたヘッダ記述値ｈａ（ｉ，ｊ）の一例を示す図である。

図１４Ｂに示す例では、絶対平均値は自然数であるものとし、小数点以下の端数は切り上げを行っているが、切り捨て、又は四捨五入でもよく、あるいは、絶対平均値は、整数でなくてもよい。

なお、符号化対象要素が非対角要素である場合に、絶対平均値を算出し、算出した絶対平均値と非対角要素との差分を符号化したが、本発明は、これに限られない。例えば、符号化対象要素と折り返し要素との和と、上三角要素及び下三角要素のいずれか一方とを符号化してもよい。この場合、符号化対象要素と折り返し要素との和は０に近い値となるので、送信すべき情報量を削減することができる。

以下では、さらなる高圧縮化のための、非対角要素の符号の符号化について説明する。

ＫＬＴによって導出された変換係数には、特徴的な関係として、符号化対象要素の符号と折り返し要素の符号とは互いに異なっていることが多いという関係がある。また、上三角要素の符号は正であることが多く、下三角要素の符号は負であることが多いという関係もある。つまり、上三角要素と下三角要素との間には、図１５に示すような関係がある。図１５は、実施の形態１において、上三角要素と下三角要素との間の符号の関係を示す図である。

なお、以上に示す符号の関係は、非対角要素のそのものの値であるａ（ｉ，ｊ）に成り立つだけではなく、上述の式１１又は式１２によって算出されたヘッダ記述値ｈａ（ｉ，ｊ）にも成り立つことが多い。

したがって、変換係数符号化部１３１は、図１６に示すようなシンタックス（ｓｙｎｔａｘ）に従って、非対角要素の符号を符号化する。図１６は、実施の形態１において、非対角要素の符号を送信する際のシンタックスの一例を示す模式図である。

まず、変換係数符号化部１３１は、対象とする符号は、非対角要素そのものの値であるａ（ｉ，ｊ）の符号であるか、ヘッダ記述値ｈａ（ｉ，ｊ）の符号であるかを示す情報を符号化する。さらに、変換係数符号化部１３１は、図１６に示すモード１〜モード４のいずれかに従って、非対角要素の符号を符号化する。

例えば、モード１では、変換係数符号化部１３１は、全ての非対角要素の符号をそのまま送信する。すなわち、変換係数符号化部１３１は、非対角要素の位置毎に、非対角要素が正であるか負であるかを示す符号情報にビットを割り当てる。

また、モード２では、変換係数符号化部１３１は、非対角要素の位置毎に（ただし、上三角要素のみでよい）、折り返し要素の符号が符号化対象要素の符号に対して反転しているか否かを示す符号反転情報を符号化する。なお、符号反転情報は、符号化対象要素の符号と折り返し要素の符号とが異なっているか否かを示す情報である。

さらに、変換係数符号化部１３１は、上三角要素の正負を示す符号情報を符号化する。すなわち、変換係数符号化部１３１は、非対角要素の位置毎に、符号反転情報と符号情報とにビットを割り当てればよい。符号化対象要素が下三角要素である場合は、下三角要素の位置毎に符号反転情報と符号情報とを符号化すればよい。

また、モード３では、変換係数符号化部１３１は、全ての非対角要素の位置において符号化対象要素の符号と折り返し要素の符号とが互いに反転していることを示す全符号反転情報を符号化し、さらに、上三角要素の位置毎に、上三角要素の正負を示す符号情報を符号化してもよい。すなわち、変換係数符号化部１３１は、全符号反転情報と、符号情報とにビットを割り当てればよい。

なお、上記のように、上三角要素と下三角要素とは符号が互いに反転していることが多いため、全ての位置で符号が反転していることを示す全符号反転情報にビットを割り当てることにより、情報量を圧縮することができる。

また、モード４では、変換係数符号化部１３１は、上三角要素の符号は全て正であることを示す上三角要素符号情報、又は、左上のｎ×ｎの部分行列の上三角要素が正であることを示す範囲情報を符号化してもよい。このとき、変換係数符号化部１３１は、例えば、下三角要素の符号は負であるものとみなし、非対角要素の位置毎には符号情報を送信しない。

なお、変換係数符号化部１３１は、下三角要素の符号は全て負であることを示す下三角要素符号情報を符号化してもよい。

以上のように、変換係数符号化部１３１は、モード１〜モード４を含む複数のモードのいずれかに従って、非対角要素の符号を符号化する。

なお、変換係数符号化部１３１は、入力される変換係数に応じて、モードを選択してもよい。例えば、入力された変換係数の上三角要素の符号と下三角要素の符号とが互いに反転している場合、変換係数符号化部１３１は、モード３を選択することで、情報をより圧縮することができる。あるいは、入力された変換係数の上三角要素の符号が全て正である場合、変換係数符号化部１３１は、モード４を選択することで、情報をより圧縮することができる。

以上のように、実施の形態１に係る符号化装置１００は、変換処理に用いる変換係数の要素と所定値との差分を算出し、算出した差分を符号化することで、変換係数を圧縮符号化する。このとき、対角要素と非対角要素とで異なる値との差分を算出する。これは、変換係数が変換対象信号の統計特性に基づいて決定された係数であり、上述のように対角要素と非対角要素とでは互いに異なる性質を有しているためである。

実施の形態１に係る符号化装置１００は、この性質を利用することで変換係数を圧縮符号化して、復号装置などに送信することができる。したがって、データ量の増加を抑制することができ、かつ、符号化効率を高めることができる。

なお、実施の形態１では、変換部１１０が変換に用いた変換係数を変換係数符号化部１３１に出力し、変換係数符号化部１３１が変換係数を符号化する構成について説明したが、図１７Ａに示す符号化装置３００ａのように、変換係数を量子化してもよい。

符号化装置３００ａは、図３に示す符号化装置１００と比較して、符号化部１３０の代わりに、符号化部３３０ａを備える点が異なっている。符号化部３３０ａは、変換係数符号化部３３１ａとエントロピー符号化部１３２とを備える。以下では、図３と同じ構成については説明を省略し、異なる点を中心に説明する。

変換係数符号化部３３１ａは、変換係数差分符号化部３３３と変換係数量子化部３３５とを備え、変換部１１０で用いた変換係数を符号化及び量子化する。

変換係数差分符号化部３３３は、上述の変換係数符号化部１３１に相当し、符号化対象要素が対角要素の場合は、所定の基準値との差分を算出し、算出した差分を符号化する。また、符号化対象要素が非対角要素の場合は、変換係数差分符号化部３３３は、折り返し要素との冗長性を利用して非対角要素を符号化する。符号化により生成された符号化変換係数は、変換係数量子化部３３５に出力される。

変換係数量子化部３３５は、入力される符号化変換係数を量子化する。このとき、変換係数量子化部３３５は、エネルギーを考慮にいれて、変換係数の要素毎に要素の位置に応じて重み付けを行う。例えば、エネルギーの大きな成分、すなわち、低周波数成分の量子化ステップが小さくなるように、重み付けが行われる。

例えば、変換係数量子化部３３５は、式１３に示すように、符号化変換係数を構成する要素ｈａ（ｉ，ｊ）を変換係数用量子化ステップＴＷＬ（ｉ，ｊ）（ＴｒａｎｓＷｅｉｇｈｔＬｅｖｅｌ）で除算することで量子化する。

量子化された変換係数（以下、量子化変換係数と記載）は、エントロピー符号化部１３２に出力され、上述したようにエントロピー符号化される。

変換係数用量子化ステップＴＷＬ（ｉ，ｊ）は、例えば、変換係数量子化部３３５が内部メモリなどに記憶しておく。図１８Ａは、変換係数用量子化ステップテーブルの一例を示す図である。変換係数用量子化ステップテーブルは、インデックス毎に変換係数用量子化ステップＴＷＬ（ｉ，ｊ）を示すテーブルである。

さらに、変換係数量子化部３３５は、要素ｈａ（ｉ，ｊ）毎に参照するＴＷＬ配列のインデックステーブルを保持する。図１８Ｂは、ＴＷＬ配列のインデックステーブルの一例を示す図である。ここで、変換係数用量子化ステップＴＷＬ（ｉ，ｊ）は、要素の行毎に定義されている。つまり、同一行に位置する要素に対するインデックスは同じであり、したがって、変換係数用量子化ステップＴＷＬ（ｉ，ｊ）も同じである。ＴＷＬ（ｉ，ｊ）＝ＴＷＬ（ｉ）であり、量子化の対象要素の行に基づいて、変換係数用量子化ステップは決定される。

変換係数量子化部３３５は、要素ｈａ（ｉ，ｊ）の位置毎にインデックステーブルを参照することで、該当する位置のインデックスを取得する。そして、変換係数量子化部３３５は、変換係数用量子化ステップテーブルを参照することで、取得したインデックスに対応する変換係数用量子化ステップＴＷＬ（ｉ，ｊ）を取得する。

例えば、図１８Ａ及び図１８Ｂに示す例では、１行目の要素ｈａ（１，ｊ）に対するインデックスは１であり、ＴＷＬ（１，ｊ）も１である。３列目の要素ｈａ（３，ｊ）に対するインデックスは３であり、ＴＷＬ（３，ｊ）は２である。

なお、入力信号を構成する要素が低周波数帯域から高周波数帯域の順に、又は、エネルギーが高いものから低いものの順に並んでいる場合、変換係数は、上の行の要素、すなわち、低域の要素ほど重要である。したがって、上の行の要素により多くのビットを割り当てるべきであるため、小さい値のＴＷＬ（ｉ，ｊ）を用いることが好ましい。

なお、エントロピー符号化部１３２は、量子化された変換係数と、図１８Ａ及び図１８Ｂに示す量子化ステップテーブル及びインデックステーブルも符号化する。なお、符号化装置３００ａ及び３００ｂ、並びに復号装置において、インデックステーブル及び量子化ステップテーブルが固定的な値を利用するのであれば、符号化しなくてもよい。

また、図１８Ｃに示すようなＴＷＬ配列のインデックステーブルを用いてもよい。図１８Ｃに示すインデックステーブルでは、行番号ｉ及び列番号ｊが小さいほど、すなわち、左上の要素ほどインデックスが小さくなるように配置されている。上記と同様に、低域の要素ほど重要であるので、行番号ｉだけではなく列番号ｊが小さい要素にも多くのビットを割り当てることが好ましい。したがって、図１８Ｃに示すインデックステーブルでは、行番号ｉ及び列番号ｊが小さい要素に対するＴＷＬ（ｉ，ｊ）が小さい値となるようにインデックスが配列されている。

なお、上記の説明では、ヘッダ記述値ｈａ（ｉ，ｊ）を量子化してからエントロピー符号化する構成について説明したが、変換係数差分符号化部３３３によって符号化される前の変換係数ａ（ｉ，ｊ）そのものを量子化してもよい。さらに、絶対平均値ｈａ＿ｔｐａｉｒ（ｉ，ｊ）を符号化してもよい。この場合、例えば、量子化後の変換係数ａ’（ｉ，ｊ）を変換係数差分符号化部３３３が上述したように符号化してもよい。

なお、図１７Ｂに示す符号化装置３００ｂのように、変換係数をエントロピー符号化するための専用のエントロピー符号化部を備えていてもよい。

符号化装置３００ｂは、図１７Ａに示す符号化装置３００ａと比較して、符号化部３３０ａの代わりに符号化部３３０ｂを備え、さらに、新たに多重化部３４０を備える点が異なっている。符号化部３３０ｂは、変換係数符号化部３３１ｂと、エントロピー符号化部１３２とを備える。また、変換係数符号化部３３１ｂは、変換係数差分符号化部３３３と、変換係数量子化部３３５と、変換係数エントロピー符号化部３３７とを備える。以下では、図１７Ａに示す符号化装置３００ａと同じ構成については説明を省略し、異なる点を中心に説明する。

変換係数エントロピー符号化部３３７は、変換係数量子化部３３５によって量子化された符号化変換係数をエントロピー符号化する。

多重化部３４０は、エントロピー符号化部１３２によってエントロピー符号化された量子化係数と、変換係数エントロピー符号化部３３７によってエントロピー符号化された変換係数とを多重化することで、符号化信号を生成する。例えば、多重化部３４０は、エントロピー符号化された変換係数を、符号化された画像又は音声データのヘッダ情報として符号化信号に記述する。

以上のように、図１７Ｂに示す符号化装置３００ｂのように、実施の形態１に係る符号化装置は、量子化係数用のエントロピー符号化部と、変換係数用のエントロピー符号化部とを別々に備えていてもよい。

また、本発明に係る符号化方法を、予測符号化に適用してもよい。図１９は、実施の形態１の変形例における符号化装置４００の構成の一例を示すブロック図である。符号化装置４００には、音声データ及び動画像データなどの符号化対象信号が入力される。

図１９に示す符号化装置４００は、変換部４１０と、量子化部１２０と、符号化部１３０と、逆量子化部４４０と、逆変換部４５０と、加算器４６０と、メモリ４７０と、予測部４８０と、減算器４９０とを備える。なお、図３に示す符号化装置１００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。

変換部４１０には、符号化対象信号と予測信号との差分である予測誤差信号が変換入力信号として入力される。変換部４１０は、予測誤差信号に対して、上記の変換部１１０と同様の処理を行う。つまり、変換部１１０と変換部４１０とは、符号化対象信号そのものではなく、予測誤差信号が入力される点が異なっているだけで、詳細な構成は、例えば、図４に示す変換部１１０と同じである。

量子化部１２０及び符号化部１３０は、上述したように動作するので、ここでは説明を省略する。

逆量子化部４４０は、量子化部１２０から出力された量子化係数を逆量子化することで、復号変換出力信号を生成する。生成した復号変換出力信号は、逆変換部４５０に出力される。なお、復号変換出力信号は、変換部４１０によって生成された変換出力信号を復元した信号であるが、量子化部１２０により非可逆処理が行われているので、全く変換出力信号と同じではない。すなわち、復号変換出力信号は、量子化誤差を含んでいる。

逆変換部４５０は、復号変換出力信号に逆変換処理を行うことで、復号変換入力信号を生成する。逆変換処理は、変換部４１０が行う変換処理の反対の処理である。

例えば、変換部４１０が、Ｎ×Ｎの正方行列である変換行列Ａを用いて、変換入力信号ｘⁿに変換Ｔを行った場合を想定する。このとき、変換部４１０が出力する変換出力信号ｙⁿは、式１で表される。より具体的には、変換部４１０は、式２及び式３によって変換出力信号ｙⁿを生成する。

このとき、逆変換部４５０が行う逆変換Ｔ^-1は、変換行列Ａの逆行列Ａ^-1を変換係数とする変換処理である。逆変換部４５０に入力される復号変換出力信号ｙ＾ⁿに行われる逆変換Ｔ^-1は、式１４で表される。

したがって、逆変換部４５０が出力する復号変換入力信号ｘ＾ⁿは、式１５で表される。

加算器４６０は、復号変換入力信号と予測信号とを加算することで、復号信号を生成する。生成した復号信号は、メモリ４７０に格納され、以降に入力される符号化対象信号の予測信号を生成する際に参照される。

メモリ４７０は、復号信号を格納するメモリなどの記憶部の一例である。

予測部４８０は、メモリ４７０に格納された、前に符号化及び復号された復号信号（符号化済み信号）を参照して、符号化対象信号を予測することで予測信号を生成する。生成した予測信号は、減算器４９０と加算器４６０とに出力される。なお、予測モード（イントラ予測又はインター予測など）などの予測信号を生成するのに用いた制御情報は、符号化部１３０に出力され、符号化部１３０によって符号化される。

減算器４９０は、符号化対象信号と、予測部４８０によって生成された予測信号との差分、すなわち、予測誤差を算出することで、予測誤差信号を生成する。生成した予測誤差信号は、変換入力信号として変換部４１０に入力される。

続いて、上記の符号化装置４００の動作について、図２０を用いて説明する。

図２０は、実施の形態１の変形例における符号化装置４００の動作の一例を示すフローチャートである。

まず、音声データ又は動画像データなどの符号化対象信号が符号化装置４００に入力される。予測部４８０は、メモリ４７０に格納された符号化済み信号を参照することで、予測信号を生成する（Ｓ４００）。生成した予測信号は、減算器４９０に出力される。そして、減算器４９０は、符号化対象信号と予測信号との差分である予測誤差を算出することで、予測誤差信号を生成する（Ｓ４０５）。

次に、変換部４１０は、予測誤差信号に対して変換処理を行う（Ｓ１１０）。例えば、図８に示すフローチャートに従って、予測誤差信号を変換することで変換出力信号を生成する。次に、量子化部１２０は、変換出力信号を量子化することで、量子化係数を生成する（Ｓ１２０）。

次に、符号化部１３０が、量子化係数と、変換処理に用いた変換係数とを圧縮符号化することで、符号化信号を生成する（Ｓ１３０）。また、逆量子化部４４０が、量子化係数を逆量子化することで、復号変換出力信号を生成する（Ｓ４４０）。なお、符号化部１３０が行う圧縮符号化と、逆量子化部４４０が行う逆量子化とは、いずれが先に行われてもよく、又は、並列処理で実行されてもよい。

次に、逆変換部４５０が、復号変換出力信号に逆変換処理を行うことで、復号変換入力信号を生成する（Ｓ４５０）。逆変換処理は、変換部４１０が行う変換処理の反対の処理である。最後に、加算器４６０が、復号変換入力信号と予測信号とを加算することで、復号信号を生成し、メモリ４７０に格納する（Ｓ４６０）。

以上のように、符号化装置４００は、符号化対象信号と、符号化対象信号を予測することで生成した予測信号との差分である予測誤差信号を変換対象信号として、上記の変換処理を行ってもよい。これにより、符号化すべき情報量を圧縮することができるので、符号化効率をより高めることができる。

なお、実施の形態１において、変換対象信号は、入力信号に基づいた信号であり、例えば、入力信号である符号化対象信号そのもの、又は、入力信号に何らかの処理を加えた結果生成された信号である。例えば、変換対象信号は、予測誤差信号、第１部分信号などの変換処理が実行される信号である。

また、第１変換部２００は、通常のＤＣＴを第１変換Ｔ₁として実行してもよい。この場合であっても、第１変換出力信号ｙ₁ ⁿの相関を小さくすることができる。したがって、第２変換行列Ａ₂ ^mを構成する要素は、上述したような特性（例えば、対角要素が１に近いなど）を有する。

また、第２変換部２２０は、第２変換Ｔ₂として、ＫＬＴではなく、入力信号の統計特性に基づいて適応的に変換係数を決定し、決定した変換係数を用いて相関を小さくする他の変換を行ってもよい。

また、実施の形態１に係る符号化装置１００では、第２部分信号と第２変換出力信号とを統合してから量子化したが、統合することなく量子化及び圧縮符号化を行ってもよい。

また、１段階の変換しか行わない場合であっても、上記の実施の形態１に係る符号化方法を適用することができる。例えば、本発明に係る符号化方法では、デフォルトの変換係数Ｄｉｊ（例えば、ＤＣＴに用いる変換係数）と、実際に変換に用いた係数Ｗｉｊとの差分を算出し、算出した差分を符号化してもよい。これにより、より効率良く変換係数を符号化することができる。これは、１段階の変換として、時空間ドメインの変換入力信号にＫＬＴを行った場合、ＤＣＴに近い変換係数が決定されるためである。

なお、上記の実施の形態１では、符号化の際に行う変換（具体的には、第２変換）に用いる変換係数を圧縮符号化する例について説明したが、符号化装置は、変換処理の逆変換に用いられる逆変換係数を圧縮符号化してもよい。具体的には、実施の形態１に係る符号化装置１００は、第２変換の逆変換に用いられる第２逆変換係数を圧縮符号化してもよい。第２変換係数と第２逆変換係数とは、例えば、転置行列の関係にある。

（実施の形態２）
実施の形態２に係る復号装置は、符号化信号を復号することで、復号信号を生成する復号装置であって、符号化信号は、圧縮符号化された符号化量子化係数と、当該符号化信号を生成する際に行われた変換処理に用いた変換係数に含まれる要素と所定値との差分とを含んでいる。実施の形態２に係る復号装置は、符号化信号を復号することで、復号量子化係数と逆変換係数とを生成する復号部と、復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化部と、逆変換係数を用いて符号化側で行われた変換処理と反対の処理である逆変換処理を行うことで、復号変換出力信号から復号信号を生成する逆変換部とを備える。復号部は、符号化信号を復号することで差分を取得し、取得した差分と所定値とを加算することで、逆変換係数を生成することを特徴とする。以下では、まず、実施の形態２に係る復号装置の構成の一例について、図２１を用いて説明する。

図２１は、実施の形態２に係る復号装置５００の構成の一例を示すブロック図である。復号装置５００には、音声データ、静止画像データ、及び動画像データなどの各種データが符号化された符号化信号が入力される。図２１に示すように、復号装置５００は、復号部５１０と、逆量子化部５２０と、逆変換部５３０とを備え、入力された符号化信号を復号することで、復号信号を生成する。

なお、復号装置５００に入力される符号化信号は、符号化装置に入力された各種データを示す入力信号を変換及び量子化することで生成された信号である。より具体的には、符号化信号は、圧縮符号化された符号化量子化係数と、当該符号化信号を生成する際に行われた変換処理に用いた変換係数に含まれる要素と所定値との差分とを含んでいる。例えば、符号化信号は、実施の形態１に係る符号化装置１００が生成した信号である。

復号部５１０は、エントロピー復号部５１１と変換係数復号部５１２とを備え、符号化信号を復号することで、復号量子化係数と逆変換係数とを生成する。

なお、本実施の形態では、復号部５１０が逆変換係数を生成せずに、逆変換部５３０が逆変換係数を生成してもよい。

また、符号化装置が、逆変換係数を生成し、上述した実施の形態１に基づいて生成した逆変換係数を符号化して、復号装置５００に送信してもよい。一般的な直交変換では、逆変換行列と変換行列は転置行列の関係にある。変換係数符号化部１３１が変換係数を圧縮符号化し復号装置５００へ送信する場合には、変換係数復号部５１２において転置することで逆変換係数が得られる。変換係数符号化部１３１が逆変換係数を、上述した実施の形態１に基づいて圧縮符号化し復号装置５００へ送信する場合には、変換係数復号部５１２における転置は不要である。

復号装置５００の逆変換にかかる演算量を抑えるために、逆変換係数と変換係数とを一致させない場合もあり、この場合は、変換係数符号化部１３１は逆変換係数を、上述した実施の形態１に基づいて圧縮符号化し復号装置５００へ送信する。また、双直交（Ｂｉｏｒｔｈｏｇｏｎａｌ）変換と呼ばれる、厳密には直交をしていない変換、及び、その逆変換を用いる場合も、逆変換係数を復号装置５００へ送信する。

エントロピー復号部５１１は、符号化信号をエントロピー復号することで、復号量子化係数と復号変換係数とを生成する。復号量子化係数は、逆量子化部５２０に出力され、復号変換係数は、変換係数復号部５１２に出力される。復号変換係数は、復元された符号化変換係数であって、符号化信号を生成する際に行われた変換処理に用いた変換係数に含まれる要素と所定値との差分に相当する。また、復号変換係数は、非対角要素の符号情報など、変換係数を復元するために必要な情報も含んでいる。

変換係数復号部５１２は、復号変換係数を復号することで変換係数を復元し、逆変換係数を生成する。具体的な逆変換係数の生成処理については、後で説明する。

なお、変換係数は、符号化装置側で変換対象信号に応じて適応的に決定された係数である。具体的には、変換係数は、実施の形態１で説明したように、変換処理の対象となる信号である変換対象信号を含む集合の統計特性に基づいて決定された係数であり、例えば、ＫＬＴによって決定された係数である。

逆量子化部５２０は、エントロピー復号部５１１から出力された復号量子化係数を逆量子化することで復号変換出力信号を生成する。つまり、逆量子化部５２０は、実施の形態１で説明した量子化部１２０と逆の処理を行う。生成された復号変換出力信号は、逆変換部５３０に出力される。

逆変換部５３０は、変換係数復号部５１２から出力される逆変換係数を用いて、復号変換出力信号を逆変換することで、復号信号を生成する。つまり、逆変換部５３０は、実施の形態１で説明した変換部１１０と逆の処理を行う。

以上の構成に示すように、復号部５１０は、符号化信号をエントロピー復号することで、復号量子化係数と変換係数とを取得する。そして、逆変換部５３０は、復号部５１０によって取得された変換係数を用いて、復号変換出力信号を逆変換する。

これにより、実施の形態２に係る復号装置５００は、符号化信号に含まれる変換係数を用いて逆変換係数を生成し、生成した逆変換係数を用いて逆変換するので、あるいは、符号化信号に含まれる逆変換係数を用いて逆変換するので、例えば、実施の形態１に係る符号化装置１００のように、適応的に決定された変換係数を用いた変換が行われた符号化信号を復号することができる。

続いて、実施の形態２に係る逆変換部５３０の構成の一例について、より詳しく説明する。

図２２Ａは、実施の形態２に係る復号装置５００が備える逆変換部５３０の構成の一例を示すブロック図である。図２２Ａに示すように、逆変換部５３０は、分割部６００と、第２逆変換部６１０と、統合部６２０と、第１逆変換部６３０とを備え、復号変換出力信号ｙ＾ⁿに対して２段階で逆変換処理を行う。

分割部６００は、分割統合情報に基づいて、復号変換出力信号ｙ＾ⁿを第２復号変換出力信号ｙ＾₂ ^mと第２復号部分信号ｙ＾_1H ^n-mとに分割する。第２復号変換出力信号ｙ＾₂ ^mは、実施の形態１に係る第２変換部２２０が生成した第２変換出力信号ｙ₂ ^mに相当し、第２復号部分信号ｙ＾_1H ^n-mは、分割部２１０から出力された第２部分信号ｙ_1H ^n-mに相当する。

分割統合情報は、復号変換出力信号ｙ＾ⁿをどのように分割するかを示す情報であって、具体的には、符号化装置によって変換処理の際にどのように変換対象信号を分割したかを示す情報である。分割統合情報は、符号化信号に含まれていてもよく、又は、復号装置５００が備える内部メモリなどに格納されていてもよい。特に、第２変換の対象要素が固定の場合は、メモリに分割統合情報を格納しておくことで、符号化信号の符号量を削減することができる。

第２逆変換部６１０は、第２復号変換出力信号ｙ＾₂ ^mを逆変換することで、第１復号部分信号ｙ＾_1L ^mを生成する。具体的には、第２逆変換部６１０は、実施の形態１に係る第２変換部２２０が行う変換処理（第２変換Ｔ₂）と反対の処理である逆変換処理（第２逆変換Ｔ₂ ^-1）を第２復号変換出力信号ｙ＾₂ ^mに対して行う。

つまり、第２逆変換部６１０は、エントロピー復号部５１１及び変換係数復号部５１２によって生成された第２逆変換行列Ａ^-1 ₂を用いて、第２復号変換出力信号に第２逆変換Ｔ₂ ^-1を行う。あるいは、第２逆変換部６１０が、第２変換行列Ａ₂の逆行列を算出してもよく、算出した逆行列である第２逆変換行列Ａ^-1 ₂を用いて、式１５に従って第２復号変換出力信号ｙ＾₂ ^mを逆変換する。

なお、第１復号部分信号ｙ＾_1L ^mは、実施の形態１に係る分割部２１０から出力された第１部分信号ｙ_1L ^mに相当する。また、第２逆変換行列Ａ^-1 ₂は、実施の形態１で説明したように、変換処理の対象となる信号である第１部分信号ｙ_1L ^mを含む集合の統計特性に基づいて決定された係数であり、例えば、ＫＬＴによって決定された係数である。

統合部６２０は、分割統合情報に基づいて、分割部６００から出力された第２復号部分信号ｙ＾_1H ^n-mと、第２逆変換部６１０から出力された第１復号部分信号ｙ＾_1L ^mとを統合することで、第１復号変換出力信号ｙ＾₁ ⁿを生成する。第１復号変換出力信号ｙ＾₁ ⁿは、実施の形態１に係る第１変換部２００から出力された第１変換出力信号ｙ₁ ⁿに相当する。

第１逆変換部６３０は、第１復号変換出力信号ｙ＾₁ ⁿを逆変換することで、復号信号ｘ＾ⁿを生成する。具体的には、第１逆変換部６３０は、実施の形態１に係る第１変換部２００が行う変換処理（第１変換Ｔ₁）と反対の処理である逆変換処理（第１逆変換Ｔ₁ ^-1）を第１復号変換出力信号ｙ＾₁ ⁿに対して行う。

つまり、第１逆変換部６３０は、エントロピー復号部５１１及び変換係数復号部５１２によって生成された第１逆変換行列Ａ^-1 ₁を用いて、第１復号変換出力信号ｙ＾₁ ⁿに第１逆変換Ｔ₁ ^-1を行う。あるいは、第１逆変換部６３０は、第１変換行列Ａ₁の逆行列である第１逆変換行列Ａ^-1 ₁を算出してもよく、算出した第１逆変換行列Ａ^-1 ₁を用いて、式１５に従って第１復号変換出力信号ｙ＾₁ ⁿを逆変換する。

ここで、第１逆変換行列Ａ^-1 ₁は、実施の形態１で説明したように、変換処理の対象となる信号である変換入力信号ｙ₁ ⁿを含む集合の統計特性に基づいて決定された係数であり、例えば、ＫＬＴによって決定された係数である。なお、第１逆変換部６３０は、逆ＤＣＴ変換であってもよく、この場合、第１逆変換行列Ａ^-1 ₁は、第１逆変換部６３０が内部メモリなどに記憶されていてもよい。

なお、本発明の実施の形態２に係る逆変換部５３０は、分割部６００と統合部６２０とを備えなくてもよい。すなわち、逆変換部５３０は、復号変換出力信号ｙ＾ⁿを明示的に分割するのではなく、復号変換出力信号ｙ＾ⁿを構成する要素のうち、第２逆変換Ｔ₂ ^-1の対象となる要素を決定し、決定した要素にのみ第２逆変換Ｔ₂ ^-1を行えばよい。

例えば、第２逆変換部６１０には、復号変換出力信号ｙ＾ⁿが入力され、入力された復号変換出力信号ｙ＾ⁿに対して、第２逆変換係数を用いて第２変換Ｔ₂ ^-1を行う。このとき、第２逆変換部６１０は、復号変換出力信号ｙ＾ⁿを構成する要素のうち、第２逆変換Ｔ₂ ^-1の対象とならない要素（すなわち、第２復号部分信号に含まれる要素）に乗じられる第２変換行列を対角要素は０、非対角要素は１に設定する。これにより、第２逆変換部６１０は、復号変換出力信号ｙ＾ⁿを構成する要素のうち、第２逆変換Ｔ₂ ^-1の対象となる要素にのみ、第２逆変換Ｔ₂ ^-1を行うことができる。図２２Ｂに行列演算の具体例を示す。

図２２Ｂ（ａ）のように、４点のベクトルＸ_nのうちの３点（Ｘ₁，Ｘ₂，Ｘ₃）に対して３×３の大きさの行列Ａ³ _ijを乗算して得られる結果と、図２２Ｂ（ｂ）のように、Ａ³ _ijを４×４へ拡張し、拡張の際、対角要素は１、非対角要素は０を設定した拡張後の行列Ａ⁴ _ijと４点のＸとの乗算結果の３点の部分とは、一致する。

なお、このとき、第２逆変換部６１０は、第２逆変換Ｔ₂ ^-1の対象と成る要素を決定するための選択範囲情報を取得し、取得した選択範囲情報に基づいて、第２逆変換Ｔ₂ ^-1の対象となる要素を決定してもよい。選択範囲情報は、例えば、符号化装置又は内部メモリから取得する。

続いて、図２３に示すような復号変換出力信号ｙ＾ⁿの一例を挙げて、逆変換部５３０におけるデータの流れについて説明する。なお、図２３は、実施の形態２に係る逆変換部５３０におけるデータフローの一例を概念的に示す図である。

図２３に示すように、逆変換部５３０には、１６個の要素から構成される（入力点数が１６点）復号変換出力信号ｙ＾ⁿが入力される。

まず、分割部６００は、復号変換出力信号ｙ＾ⁿを、低周波数帯域を含む第２復号変換出力信号ｙ＾₂ ^mと高周波数帯域を含む第２復号部分信号ｙ＾_1H ^n-mとに分割する。具体的には、分割部６００は、分割統合情報を用いて、第２復号変換出力信号ｙ＾₂ ^mの相関エネルギーが第２復号部分信号ｙ＾_1H ^n-mの相関エネルギーより大きくなるように分割する。

さらに、分割部６００は、２次元の第２復号変換出力信号ｙ＾₂ ^mを１次元に並び替えて、第２逆変換部６１０に出力する。このとき、分割部６００は、第２復号変換出力信号ｙ＾₂ ^mを低域から高域に並ぶように並び替えることが好ましい。例えば、図２３に示す例では、第２復号変換出力信号ｙ＾₂ ^mは６個の要素から構成され（入力点数が６点）、第２復号部分信号ｙ＾_1H ^n-mは１０個の要素から構成される（入力点数が１０点）。

次に、第２逆変換部６１０は、エントロピー復号部５１１及び変換係数復号部５１２によって生成された第２逆変換行列Ａ^-1 ₂を用いて、第２復号変換出力信号ｙ＾₂ ^mに第２逆変換Ｔ₂ ^-1を行うことで、第１復号部分信号ｙ＾_1L ^mを生成する。具体的には、符号化装置によって行われた変換処理に用いた第２変換行列Ａ₂の逆行列（第２逆変換行列）を算出し、算出した第２逆変換行列Ａ^-1 ₂を用いて第２復号変換出力信号ｙ＾_1L ^mを逆変換する。

次に、統合部６２０は、第１復号部分信号ｙ＾_1L ^mを、分割部６００によって１次元の信号に並び替えられる前の次元（ここでは、２次元）に並び替える。そして、統合部６２０は、第１復号部分信号ｙ＾_1L ^mと第２復号部分信号ｙ＾_1H ^n-mとを統合することで、第１復号変換出力信号ｙ＾₁ ⁿを生成する。

最後に、第１逆変換部６３０は、第１復号変換出力信号ｙ＾₁ ⁿを逆変換することで、復号信号ｘ＾ⁿを生成する。具体的には、符号化装置によって行われた変換処理に用いた第１変換行列Ａ₁の逆行列（第１逆変換行列）を算出し、算出した第１逆変換行列Ａ^-1 ₁を用いて第１復号変換出力信号ｙ＾₁ ⁿを逆変換する。

以上のようにして、実施の形態２に係る復号装置５００では、逆変換部５３０は、入力された復号変換出力信号を２段階で変換する。これにより、符号化装置によって、２段階の変換処理が行われた符号化信号を復号することができる。

続いて、実施の形態２に係る復号装置５００が行う復号方法について説明する。

図２４は、実施の形態２に係る復号装置５００の動作の一例を示すフローチャートである。

まず、音声データ又は画像データなどが符号化された符号化信号が、復号装置５００に入力される。エントロピー復号部５１１は、入力された符号化信号を復号することで、復号量子化係数と変換係数とを生成する（Ｓ５１０）。具体的には、まず、エントロピー復号部５１１が符号化信号を復号することで、復号量子化係数と復号変換係数とを生成する。そして、変換係数復号部５１２が、復号変換係数を復号することで、変換係数を復元し、さらに、逆変換係数を生成する。あるいは、逆変換係数が符号化されている場合には、変換係数復号部５１２が復号変換係数を復号し、逆変換係数を生成する。

次に、逆量子化部５２０は、取得された復号量子化係数を逆量子化することで、復号変換出力信号を生成する（Ｓ５２０）。

最後に、逆変換部５３０は、変換係数復号部５１２によって生成された逆変換係数を用いて、周波数ドメインから時空間ドメインへ復号変換出力信号を逆変換することで、復号信号を生成する（Ｓ５３０）。

以上のようにして、実施の形態２に係る復号装置５００は、符号化信号に含まれる変換係数を用いて逆変換を行うことで、復号信号を生成する。これにより、符号化装置によって適応的に変換係数が決定され、決定された変換係数が含まれる場合であっても、実施の形態２に係る復号装置５００は、符号化信号を復号することができる。

続いて、実施の形態２に係る復号装置５００が行う逆変換処理（Ｓ５３０）と、復号処理（Ｓ５１０）のうち特に変換係数の復号との詳細について説明する。まず、逆変換処理（Ｓ５３０）について説明する。

図２５は、実施の形態２に係る逆変換部５３０の動作の一例を示すフローチャートである。

まず、分割部６００は、分割統合情報を取得する（Ｓ５３１）。例えば、分割部６００は、分割統合情報が符号化信号に含まれている場合は、復号部５１０から取得し、固定位置での分割の場合などの場合は内部メモリなどから取得する。

次に、分割部６００は、取得した分割統合情報に基づいて、復号変換出力信号ｙ＾ⁿを第２復号変換出力信号ｙ＾₂ ^mと第２復号部分信号ｙ＾_1H ^n-mとに分割する（Ｓ５３２）。第２復号変換出力信号ｙ＾₂ ^mは、第２逆変換部６１０に出力され、第２復号部分信号ｙ＾_1H ^n-mは、統合部６２０に出力される。

次に、第２逆変換部６１０は、変換係数復号部５１２から出力された第２逆変換行列Ａ^-1 ₂を取得する（Ｓ５３２）。さらに、第２逆変換部６１０は、取得した第２逆変換行列Ａ^-1 ₂を用いて、第２復号変換出力信号ｙ＾₂ ^mに逆変換（第２逆変換Ｔ₂ ^-1）を行うことで、第１復号部分信号ｙ＾_1L ^mを生成する（Ｓ５３４）。生成した第１復号部分信号ｙ＾_1L ^mは、統合部６２０に出力される。

次に、統合部６２０は、第１復号部分信号ｙ＾_1L ^mと第２復号部分信号ｙ＾_1H ^n-mとを統合することで、第１復号変換出力信号ｙ＾₁ ⁿを生成する（Ｓ５３５）。生成した第１復号変換出力信号ｙ＾₁ ⁿは、第１逆変換部６３０に出力される。

次に、第１逆変換部６３０は、第１逆変換行列Ａ^-1 ₁を取得する（Ｓ５３６）。例えば、第１逆変換部６３０は、第１変換行列Ａ₁又は第１逆変換行列Ａ^-1 ₁が符号化信号に含まれている場合は、変換係数復号部５１２から取得し、第１逆変換が逆ＤＣＴ変換などであり、第１逆変換行列Ａ^-1 ₁が予め定められた係数である場合は、内部メモリなどから取得する。

最後に、第１逆変換部６３０は、取得した第１逆変換行列Ａ^-1 ₁を用いて第１復号変換出力信号ｙ＾₁ ⁿに逆変換（第１逆変換Ｔ₁ ^-1）を行うことで、復号信号ｘ＾ⁿを生成する（Ｓ５３７）。

以上のように、実施の形態２に係る逆変換部５３０は、符号化信号に実行された変換処理と反対の処理である逆変換処理を行うことで、復号変換出力信号から復号信号を生成することができる。

続いて、実施の形態２に係る変換係数の復号について説明する。

上述したように、符号化信号には、圧縮符号化された符号化量子化係数と、当該符号化信号を生成する際に行われた変換処理に用いた変換係数に含まれる要素と所定値との差分を含んでいる。実施の形態２に係る復号装置５００では、復号部５１０は、符号化信号を生成することで、復号量子化係数と変換係数とを生成する。変換係数は、符号化信号を生成する際に行われた変換処理に用いられた係数であり、符号化装置によって、入力信号を含む集合の統計特性に基づいて適応的に決定された係数である。

変換係数には、実施の形態１において説明したように、対角要素と非対角要素とで互いに異なる性質を有しており、符号化装置では、当該性質を利用して符号化されている。したがって、実施の形態２に係る復号装置５００も同様に、変換係数の対角要素と非対角要素とで異なる復号方式に従って、変換係数（逆変換係数）を取得する。

図２６は、実施の形態２に係る変換係数復号部５１２の動作の一例を示すフローチャートである。

復号部５１０は、符号化信号に含まれる圧縮符号化された変換係数を、当該変換係数を構成する要素毎に復号する。具体的には、エントロピー復号部５１１が符号化信号をエントロピー復号することで復号変換係数を生成する。次に、変換係数復号部５１２は、復号変換係数に含まれる復号対象要素が対角要素であるか非対角要素であるかを判定する（Ｓ５１１）。

復号対象要素が対角要素である場合（Ｓ５１１で“対角要素”）、変換係数復号部５１２は、所定の基準値との差分を利用して復号する（Ｓ５１２）。具体的な処理については、後で説明する。

復号対象要素が非対角要素である場合（Ｓ５１１で“非対角要素”）、変換係数復号部５１２は、折り返し要素との関係を利用して復号する（Ｓ５１３）。具体的な処理については、後で説明する。

このように、実施の形態２に係る復号装置５００では、復号対象要素が対角要素であるか非対角要素であるかに応じて、異なる復号方式を用いて変換係数を復号する。以下では、実施の形態２に係る復号装置５００による変換係数の復号について、より詳細に説明する。

まず、復号対象要素が対角要素である場合について説明する。

図２７Ａは、実施の形態２において、復号対象要素が対角要素である場合の変換係数復号部５１２の動作の一例を示すフローチャートである。

まず、エントロピー復号部５１１は、符号化信号をエントロピー復号することで、復号変換係数、具体的には、対角要素と所定値との差分を取得し、変換係数復号部５１２に出力する（Ｓ６００）。例えば、図１１Ａに示すフローチャートに従って符号化された符号化信号には、対角要素ａ（ｉ，ｉ）と所定値ｃとの差分がヘッダに記述されている。したがって、エントロピー復号部５１１は、符号化信号をエントロピー復号することで、式５で示されるヘッダ記述値ｈ（ｉ，ｉ）を取得する。

次に、変換係数復号部５１２は、取得したヘッダ記述値ｈ（ｉ，ｉ）と所定値ｃとを加算することで、対角要素ａ（ｉ，ｉ）を取得する（Ｓ６１０）。このとき、所定値ｃも符号化信号のヘッダに記述されており、エントロピー復号部５１１が符号化信号をエントロピー復号することで、変換係数復号部５１２は、所定値ｃを取得してもよい。あるいは、所定値ｃが、変換係数の要素がとりうる値の最大値など、予め定められた固定値（例えば、ｃ＝１）である場合は、変換係数復号部５１２が内部メモリなどに、所定値ｃを予め保持していてもよい。

以上のようにして、変換係数復号部５１２は、変換係数の対角要素が、とりうる値の最大値などの所定値に近い値である場合が多いという性質を利用して符号化された変換係数を復号することができる。

また、所定値は、対角要素ａ（ｉ，ｉ）に隣接する対角要素ａ（ｉ−１，ｉ−１）又はａ（ｉ＋１，ｉ＋１）であってもよい。例えば、符号化信号には、式６に示すようなヘッダ記述値ｈ（ｉ，ｉ）が含まれている。

このとき、エントロピー復号部５１１は、符号化信号をエントロピー復号することで、式６に示すヘッダ記述値ｈ（ｉ，ｉ）を取得し、変換係数復号部５１２に出力する。そして、変換係数復号部５１２は、取得したヘッダ記述値と、既に復号済みの対角要素ａ（ｉ−１，ｉ−１）とを加算することで、復号対象要素である対角要素ａ（ｉ，ｉ）を生成する。

これにより、変換係数復号部５１２は、変換係数の対角要素が、右下の対角要素ほど１から外れる傾向にあることを利用して符号化された変換係数を復号することができる。

また、所定値は、復号対象要素である対角要素ａ（ｉ，ｉ）の予測値ｐ（ｉ，ｉ）であってもよい。

図２７Ｂは、実施の形態２において、復号対象要素が対角要素である場合の変換係数復号部５１２の動作の一例を示すフローチャートである。

まず、エントロピー復号部５１１は、符号化信号をエントロピー復号することで、対角要素と予測値との差分を取得し、変換係数復号部５１２に出力する（Ｓ６００）。例えば、図１１Ｂに示すフローチャートに従って符号化された符号化信号には、対角要素ａ（ｉ，ｉ）と予測値ｐ（ｉ，ｉ）との差分がヘッダに記述されている。したがって、エントロピー復号部５１１は、符号化信号をエントロピー復号することで、式９に示すヘッダ記述値ｈ（ｉ，ｊ）を取得する。

次に、変換係数復号部５１２は、予測値ｐ（ｉ，ｉ）を生成する（Ｓ６１１）。例えば、変換係数復号部５１２は、式７及び式８に従って予測値ｐ（ｉ，ｉ）を生成する。なお、予測値を生成するのに用いられる情報、例えば、式７及び式８に用いられるｉ（ｉ，ｉ）及びｃ（ｉ，ｉ）は、符号化信号のヘッダに記述されている。あるいは、変換係数復号部５１２の内部メモリなどに保持されている値を用いてもよい。

そして、変換係数復号部５１２は、生成した予測値ｐ（ｉ，ｉ）と、取得した差分であるヘッダ記述値ｈ（ｉ，ｉ）とを加算することで、対角要素ａ（ｉ，ｉ）を生成する（Ｓ６１２）。

以上のようにして、エントロピー復号部５１１が、符号化信号をエントロピー復号し、変換係数復号部５１２が、取得した復号変換係数を復号することで、対角要素を生成する。なお、図２７Ａ及び図２７Ｂに示す処理は、図２６に示す所定の基準値との差分を利用した復号処理（Ｓ５１２）の一例である。なお、図２７Ａ及び図２７Ｂのいずれの復号方式、又は、別の復号方式に従って復号するかは、符号化信号のヘッダなどに記述されている。

続いて、復号対象要素が非対角要素である場合について説明する。

変換係数復号部５１２は、復号対象要素が非対角要素である場合、当該非対角要素と、当該非対角要素を対角画素で折り返した位置の要素である折り返し要素との間で冗長性を取り除いた成分を復号する。なお、復号対象要素がａ（ｉ，ｊ）で示される場合、折り返し要素はａ（ｊ，ｉ）で示される（図１２参照）。

例えば、符号化信号は、非対角要素の絶対値及び折り返し要素の絶対値の平均値（絶対平均値）と、当該平均値及び非対角要素の絶対値の差分とを含んでいる。以下では、絶対平均値と差分とを含む符号化信号が入力された場合における復号装置５００の動作について、図２８を用いて説明する。

図２８は、実施の形態２において、復号対象要素が非対角要素である場合の変換係数復号部５１２の動作の一例を示すフローチャートである。

まず、エントロピー復号部５１１は、符号化信号をエントロピー復号することで、非対角要素の絶対値及び折り返し要素の絶対値の平均値と、当該平均値及び非対角要素の絶対値の差分と、非対角要素の符号とを取得し、変換係数復号部５１２に出力する（Ｓ７００）。

例えば、図１３に示すフローチャートに従って符号化された符号化信号には、絶対値の平均値ｈａ＿ｔｐａｉｒ（ｉ，ｊ）と、平均値と非対角要素の絶対値との差分ｈａ（ｉ，ｊ）とがヘッダに記述されている。したがって、エントロピー復号部５１１は、符号化信号をエントロピー復号することで、式１０〜式１２に示すｈａ＿ｔｐａｉｒ（ｉ，ｊ）とｈａ（ｉ，ｊ）とを取得する。

また、符号化信号は、図１６に示すモード１〜モード４及びその他のモードのいずれかで符号化された非対角要素の符号を示す情報を含んでいる。なお、符号を示す情報の詳細については、後で説明する。

次に、変換係数復号部５１２は、取得した差分ｈａ（ｉ，ｊ）と平均値ｈａ＿ｔｐａｉｒ（ｉ，ｊ）とを加算することで（式１０〜式１２参照）、非対角要素ａ（ｉ，ｊ）の絶対値を生成する（Ｓ７１０）。さらに、変換係数復号部５１２は、符号を示す情報に基づいて、非対角要素ａ（ｉ，ｊ）の符号を決定することで、非対角要素ａ（ｉ，ｊ）を生成する（Ｓ７２０）。

以下では、図１６に示すモード１〜モード４に従って符号化された、変換係数の符号を示す情報を取得した場合における、変換係数復号部５１２の動作について説明する。

例えば、モード１の符号情報を取得した場合について説明する。

符号情報は、非対角要素のそれぞれの符号をそのまま示しているので、変換係数復号部５１２は、取得した符号情報に従って、非対角要素の符号をそれぞれ決定する。

次に、モード２の符号反転情報と符号情報とを取得した場合について説明する。符号反転情報は、復号対象要素の符号と折り返し要素の符号とが異なっているか否かを示す情報である。また、符号情報は、上三角要素又は下三角要素の正負を示す情報である。ここでは、符号情報は、上三角要素のそれぞれについて、復号対象要素の符号を示しているものとする。

例えば、符号情報が、上三角要素に含まれる復号対象要素ａ（ｉ，ｊ）の符号が正であることを示している場合、変換係数復号部５１２は、復号対象要素ａ（ｉ，ｊ）の符号反転情報に基づいて、折り返し要素ａ（ｊ，ｉ）の符号を決定する。例えば、符号反転情報が、復号対象要素の符号と折り返し要素の符号とが反転していることを示す場合、折り返し要素ａ（ｊ，ｉ）の符号は負となる。逆に、符号反転情報が、復号対象要素の符号と折り返し要素の符号とが反転していないことを示す場合、折り返し要素ａ（ｊ，ｉ）の符号は正となる。符号情報が、上三角要素に含まれる復号対象要素ａ（ｉ，ｊ）の符号が負であることを示している場合、折り返し要素ａ（ｊ，ｉ）の符号は上記の逆になる。

次に、モード３の全符号反転情報と符号情報とを取得した場合について説明する。全符号反転情報は、変換係数に含まれる非対角要素の符号は、全ての位置において、反転していることを示す情報である。したがって、変換係数復号部５１２は、符号情報が復号対象要素ａ（ｉ，ｊ）の符号が正であることを示している場合は、折り返し要素ａ（ｊ，ｉ）の符号が負であると決定する。符号情報が復号対象要素ａ（ｉ，ｊ）の符号が負であることを示す場合、折り返し要素ａ（ｊ，ｉ）の符号は正となる。

次に、モード４の上三角要素符号情報又は範囲情報を取得した場合について説明する。上三角要素符号情報は、変換係数に含まれる上三角要素の符号は、全ての位置において正であることを示す情報である。範囲情報は、左上のｎ×ｎの部分行列の上三角要素が正であることを示す情報である。

例えば、上三角要素符号情報を取得した場合、変換係数復号部５１２は、上三角要素の符号を正であると決定するとともに、下三角要素の符号を全て負であると決定してもよい。また、範囲情報を取得した場合、変換係数復号部５１２は、変換係数に含まれる係数のうち、左上のｎ×ｎの部分行列の上三角要素の符号は、全ての位置において正であると決定する。このとき、変換係数復号部５１２は、左上のｎ×ｎの部分行列の下三角要素の符号は、全ての位置において負であると決定してもよい。

なお、逆に変換係数に含まれる下三角要素の符号が、全ての位置において負であることを示す下三角要素符号情報を取得してもよい。

以上のようにして、変換係数復号部５１２は、非対角要素ａ（ｉ，ｊ）の符号を決定する。さらに、上述したように、非対角要素ａ（ｉ，ｊ）の絶対値は、取得した絶対平均値ｈａ＿ｔｐａｉｒ（ｉ，ｊ）とｈａ（ｉ，ｊ）とを加算することで算出されるので、変換係数復号部５１２は、非対角要素ａ（ｉ，ｊ）を生成することができる。

以上のように、実施の形態２に係る復号装置５００では、符号化信号から変換係数を取得し、取得した変換係数を用いて逆変換を行うことで復号信号を生成する。このとき、変換係数には、実施の形態１で説明したように対角要素と非対角要素とでそれぞれ異なる性質を有しており、符号化信号には、これらの性質を利用することで算出された差分が含まれている。

なお、符号化信号には、逆変換係数が含まれていてもよい。すなわち、符号化装置が、変換に用いた変換係数に基づいて逆変換係数を生成し、生成した逆変換係数を、上記の実施の形態に基づいて符号化してもよい。つまり、実施の形態２に係る復号装置５００は、符号化装置から逆変換係数を取得（復元）してもよい。

実施の形態２に係る復号装置５００は、符号化装置が行う処理と反対の処理を行うことで、変換係数の性質を利用して符号化信号を復号することができる。

なお、符号化信号に含まれる変換係数が量子化されていてもよい。すなわち、符号化信号は、量子化された変換係数（以下、量子化変換係数と記載）と、変換係数の量子化に用いた量子化ステップを示す情報とを含んでいてもよい。このとき、実施の形態２に係る復号装置では、図２９Ａに示すように、復号部５１０で復号された量子化変換係数は、変換係数復号部７１２ａが備える変換係数逆量子化部７１４に出力される。なお、図２９Ａは、実施の形態２の変形例における復号装置７００ａの構成の一例を示す図である。

復号装置７００ａは、図２１に示す復号装置５００と比較して、復号部５１０の代わりに、復号部７１０ａを備える点が異なっている。復号部７１０ａは、エントロピー復号部５１１と変換係数復号部７１２ａを備える。以下では、図２１と同じ構成については説明を省略し、異なる点を中心に説明する。

変換係数復号部７１２ａは、変換係数逆量子化部７１４と変換係数差分復号部７１６とを備え、エントロピー復号部５１１によって生成された量子化変換係数を量子化及び復号することで、変換係数を復元し、逆変換係数を生成する。

エントロピー復号部５１１は、符号化信号をエントロピー復号することで、量子化ステップと、量子化変換係数とを取得する。なお、量子化ステップは、例えば、実施の形態１で説明したように、エネルギーを考慮にいれて、変換係数の要素毎に要素の位置に応じて重み付けられている。例えば、エネルギーの大きな成分、すなわち、低周波数成分の量子化ステップが小さくなるように、重み付けが行われている。

エントロピー復号部５１１は、例えば、符号化信号をエントロピー復号することで、量子化変換係数と、図１８Ａ〜図１８Ｃに示す量子化ステップテーブル及びインデックステーブルとを取得し、変換係数逆量子化部７１４に出力する。

変換係数逆量子化部７１４は、量子化ステップテーブル及びインデックステーブルを利用して、変換係数の要素毎に要素の位置に応じて、実施の形態１と同様にして、量子化ステップＴＷＬ（ｉ，ｊ）を生成する。そして、変換係数逆量子化部７１４は、生成した量子化ステップと、量子化された要素ｈａ’（ｉ，ｊ）とを用いて、ヘッダ記述値である差分ｈａ（ｉ，ｊ）を生成する（式１３参照）。

変換係数差分復号部７１６は、上述の変換係数復号部５１２に相当し、復号対象要素が対角要素の場合は、逆量子化により生成された差分と所定の基準値とを加算することで、対角要素を復元する。また、符号化対象要素が非対角要素の場合は、変換係数差分復号部７１６は、折り返し要素との冗長性を利用して非対角要素を復号する。復号により生成された逆変換係数は、逆変換部５３０に出力される。

以上のように、実施の形態２の別の一例である復号装置７００ａは、量子化変換係数から符号化の際に用いられた変換係数を復元し、逆変換係数を生成することができるので、量子化変換係数を含む符号化信号を復号することができる。

なお、図２９Ｂに示す復号装置７００ｂのように、符号化変換係数をエントロピー復号するための専用のエントロピー復号部を備えていてもよい。

復号装置７００ｂは、図２９Ａに示す復号装置７００ａと比較して、復号部７１０ａの代わりに復号部７１０ｂを備え、さらに、新たに逆多重化部７０５を備える点が異なっている。復号部７１０ｂは、エントロピー復号部５１１と、変換係数復号部７１２ｂとを備える。また、変換係数復号部７１２ｂは、変換係数逆量子化部７１４と、変換係数差分復号部７１６と、変換係数エントロピー復号部７１８とを備える。以下では、図２９Ａに示す復号装置７００ａと同じ構成については説明を省略し、異なる点を中心に説明する。

逆多重化部７０５は、入力された符号化信号を、符号化量子化係数と符号化変換係数とに分離する。符号化量子化係数は、エントロピー復号部５１１に出力され、符号化変換係数は、変換係数エントロピー復号部７１８に出力される。

変換係数エントロピー復号部７１８は、逆多重化部７０５から入力される符号化変換係数をエントロピー復号することで、量子化変換係数を取得する。量子化変換係数は、変換係数逆量子化部７１４に出力される。

以上のように、図２９Ｂに示す復号装置７００ｂのように、実施の形態２に係る復号装置は、量子化係数用のエントロピー復号部と、変換係数用のエントロピー復号部とを別々に備えていてもよい。

また、本発明は、予測符号化された符号化信号を復号する予測復号に適用してもよい。

図３０は、実施の形態２の変形例における復号装置８００の構成の一例を示す図である。復号装置８００には、予測符号化された符号化信号が入力される。予測符号化された符号化信号は、例えば、図１９に示す符号化装置４００から出力される符号化信号であり、予測誤差信号を変換及び量子化することで生成される信号である。

図３０に示す復号装置８００は、復号部５１０と、逆量子化部５２０と、逆変換部５３０と、加算器８４０と、メモリ８５０と、予測部８６０とを備える。なお、図２１に示す復号装置５００と同じ動作を行う処理部には、同じ符号に付しており、以下では説明を省略する。

復号部５１０は、入力される符号化信号をエントロピー復号することで、復号量子化係数と変換係数とを取得する。なお、復号部５１０は、符号化信号を生成する際の予測に用いられた予測モード（イントラ予測又はインター予測など）などの制御情報を取得し、予測部８６０に出力する。

逆量子化部５２０及び逆変換部５３０は、上述したように動作するので、ここでは説明を省略する。

加算器８４０は、逆変換部５３０から出力される復号変換入力信号と、予測部８６０によって生成された予測信号とを加算することで、復号信号を生成する。

メモリ８５０は、復号信号を格納するメモリなどの記憶部の一例である。

予測部８６０は、メモリ８５０に格納された、前に復号された復号信号を参照して、予測信号を生成する。生成した予測信号は、加算器８４０に出力される。例えば、予測部８６０は、復号部５１０から入力される制御情報に基づいて予測信号を生成する。

続いて、上記の復号装置８００の動作について、図３１を用いて説明する。

図３１は、実施の形態２の変形例における復号装置８００の動作の一例を示すフローチャートである。

まず、音声データ又は動画像データなどの入力信号が予測符号化された符号化信号が復号装置８００に入力される。すなわち、符号化信号は、入力信号と予測信号との差分である予測誤差信号が変換、量子化及び圧縮符号化されて生成された信号である。

予測部８６０は、メモリ８５０に格納された復号済みの復号信号に基づいて予測信号を生成する（Ｓ８００）。

次に、復号部５１０は、符号化信号を復号することで、復号量子化係数と逆変換係数とを取得する（Ｓ５１０）。そして、逆量子化部５２０が、復号量子化係数を逆量子化することで、復号変換出力信号を生成する（Ｓ５２０）。さらに、逆変換部５３０が、復号部５１０から入力される逆変換係数を用いて、復号変換出力信号を逆変換することで、復号変換入力信号を生成する（Ｓ５３０）。復号変換入力信号は、予測誤差信号が復元された復号予測誤差信号である。

次に、加算器８４０は、予測信号と復号変換入力信号とを加算することで、復号信号を生成する（Ｓ８４０）。加算器８４０は、生成した復号信号をメモリ８５０に参照信号として格納するとともに、復号信号を出力信号として外部に出力する（Ｓ８５０）。

なお、予測信号を生成する際に、符号化信号に含まれる制御情報を必要とする場合は、予測信号の生成（Ｓ８００）を復号処理（Ｓ５１０）の後に行えばよい。また、予測信号の生成（Ｓ８００）と逆量子化（Ｓ５２０）及び逆変換（Ｓ５３０）とは、並列化してもよい。

以上のようにして、復号装置８００は、予測誤差信号が符号化された符号化信号を復号することができる。

また、第２部分信号と第２変換出力信号とが統合されずに、別々に量子化及びエントロピー符号化された符号化信号を復号してもよい。つまり、エントロピー復号及び逆量子化することで、第２復号部分信号と第２復号変換出力信号とを生成するので、復号装置５００は、分割部６００を備えていなくてもよい。

また、１段階の逆変換しか行わない場合であっても、上記の実施の形態２に係る復号方法を適用することができる。例えば、符号化信号は、デフォルトの変換係数Ｄｉｊ（例えば、ＤＣＴに用いる変換係数）と、実際に変換に用いた係数Ｗｉｊとの差分を算出し、算出した差分を含んでいてもよい。このとき、復号装置５００は、符号化信号をエントロピー復号することで、当該差分を取得する。復号装置５００は、例えば、デフォルトの変換係数Ｄｉｊを内部メモリなどに記憶しておくことで、取得した差分とデフォルトの変換係数Ｄｉｊとを加算することで、符号化の際に用いられた係数Ｗｉｊを生成することができる。

（実施の形態３）
上記各実施の形態で示した動画像符号化方法又は動画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法や動画像復号方法の応用例とそれを用いたシステムを説明する。

図３２は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２及び電話網ｅｘ１０４、及び基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図３２のような構成に限定されず、いずれかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、もしくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、又はＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像及び／又は動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

このコンテンツ供給システムを構成する各機器の符号化、復号には上記各実施の形態で示した画像符号化方法あるいは画像復号方法を用いるようにすればよい。

その一例として携帯電話ｅｘ１１４について説明する。

図３３は、上記実施の形態で説明した画像符号化方法と画像復号方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１４について図３４を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２及び操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６及び音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。

電源回路部ｅｘ７１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理及びアナログデジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ６０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データをカメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３及びＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。

画像符号化部ｅｘ７１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を音声処理部ｅｘ７０５を介してデジタルの音声データとして多重分離部ｅｘ７０８に送出する。

多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。

また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。

次に、画像復号部ｅｘ７０９は、本願発明で説明した画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図３５に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データ又はそれらのデータが多重化されたビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ２０４で受信し、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置によりビットストリームを復号してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ２１５、２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２からまたは基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データ又はそれらのデータが多重化された符号化ビットストリームを読み取り復号する、又は記録メディアｅｘ２１５に音声データ、映像データ又はそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号装置又は動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３又は衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号装置を組み込んでもよい。

図３６は、上記各実施の形態で説明した動画像復号方法及び動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４又はケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、又は出力するチューナｅｘ３０１と、受信した符号化データを復調する、又は外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、又は符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、又はそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７、復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインターフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インターフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信又は記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、及び外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、又は書き込む場合には、上記復号処理又は符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込み又は書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図３７に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報及び記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図３８に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、あらかじめグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周又は外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データ又はそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図３６に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明は係る上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。

（実施の形態４）
上記各実施の形態で示した動画像符号化方法及び装置、動画像復号方法及び装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図３９に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化及び／又は映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、又は記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して、又は記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号及び／又は映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５、テレビｅｘ３００等の各出力部から出力される。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

以上、本発明に係る符号化方法、符号化装置、復号方法及び復号装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、符号化処理における演算量の増加、及び、変換係数のデータ量の増加を抑制することができるという効果を奏し、オーディオ、静止画像、及び動画像を符号化する符号化装置、及び、当該符号化装置によって符号化されたデータを復号する復号装置に利用することができる。例えば、本発明は、オーディオ機器、携帯電話、デジタルカメラ、ＢＤレコーダ、デジタルテレビなどの各種ＡＶ機器に利用することができる。

１００、３００ａ、３００ｂ、４００、９００ 符号化装置
１１０、４１０、９１０ 変換部
１２０ 量子化部
１３０、３３０ａ、３３０ｂ 符号化部
１３１、３３１ａ、３３１ｂ 変換係数符号化部
１３２、９３０ エントロピー符号化部
２００ 第１変換部
２０１ 第１メモリ
２０２ 第１変換係数導出部
２１０、６００ 分割部
２１１ 第２メモリ
２１２ 分割統合情報生成部
２２０ 第２変換部
２２１ 第３メモリ
２２２ 第２変換係数導出部
２３０、６２０ 統合部
３３３ 変換係数差分符号化部
３３５ 変換係数量子化部
３３７ 変換係数エントロピー符号化部
３４０ 多重化部
４４０、５２０ 逆量子化部
４５０、５３０ 逆変換部
４６０、８４０ 加算器
４７０、８５０ メモリ
４８０、８６０ 予測部
４９０ 減算器
５００、７００ａ、７００ｂ、８００ 復号装置
５１０、７１０ａ、７１０ｂ 復号部
５１１ エントロピー復号部
５１２、７１２ａ、７１２ｂ 変換係数復号部
６１０ 第２逆変換部
６３０ 第１逆変換部
７０５ 逆多重化部
７１４ 変換係数逆量子化部
７１６ 変換係数差分復号部
７１８ 変換係数エントロピー復号部
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ
ｅｘ１１３、ｅｘ１１６ カメラ
ｅｘ１１４ カメラ付デジタル携帯電話（携帯電話）
ｅｘ１１５ ゲーム機
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星（衛星）
ｅｘ２０３ ケーブル
ｅｘ２０４、ｅｘ２０５、ｅｘ６０１ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション（カーナビ）
ｅｘ２１２ 再生装置
ｅｘ２１３、ｅｘ２１９ モニタ
ｅｘ２１４、ｅｘ２１５、ｅｘ２１６、ｅｘ６０７ 記録メディア
ｅｘ２１７ セットトップボックス（ＳＴＢ）
ｅｘ２１８ リーダ／レコーダ
ｅｘ２２０ リモートコントローラ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６、ｅｘ５０７ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８、ｅｘ６０２ 表示部
ｅｘ３０９ 出力部
ｅｘ３１０、ｅｘ５０１ 制御部
ｅｘ３１１、ｅｘ５０５、ｅｘ７１０ 電源回路部
ｅｘ３１２ 操作入力部
ｅｘ３１３ ブリッジ
ｅｘ３１４、ｅｘ６０６ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インターフェース部
ｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１、ｅｘ４０４、ｅｘ５０８ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０２ ＣＰＵ
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームコントローラ
ｅｘ５０６ ストリームＩ／Ｏ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス
ｅｘ５１１ メモリ
ｅｘ６０３ カメラ部
ｅｘ６０４ 操作キー
ｅｘ６０５ 音声入力部
ｅｘ６０８ 音声出力部
ｅｘ７０１ 送受信回路部
ｅｘ７０２ ＬＣＤ制御部
ｅｘ７０３ カメラインターフェース部（カメラＩ／Ｆ部）
ｅｘ７０４ 操作入力制御部
ｅｘ７０５ 音声処理部
ｅｘ７０６ 変復調回路部
ｅｘ７０７ 記録再生部
ｅｘ７０８ 多重分離部
ｅｘ７０９ 画像復号部
ｅｘ７１１ 主制御部
ｅｘ７１２ 画像符号化部
ｅｘ７１３ 同期バス

Claims (33)

1. 入力信号を変換することで、変換出力信号を生成する変換ステップと、
   前記変換出力信号を量子化することで、量子化係数を生成する量子化ステップと、
   前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化ステップとを含み、
   前記変換ステップは、
   第１変換係数を用いて前記入力信号に第１変換を行うことで、第１変換出力信号を生成する第１変換ステップと、
   前記第１変換出力信号の一部である第１部分信号に、第２変換係数を用いて第２変換を行うことで、第２変換出力信号を生成し、生成した第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを含む前記変換出力信号を出力する第２変換ステップとを含み、
   前記エントロピー符号化ステップでは、
   前記第２変換係数、又は、前記第２変換の逆変換に用いられる第２逆変換係数に含まれる要素と所定値との差分を算出し、算出した差分を圧縮符号化することで、前記第２変換係数又は前記第２逆変換係数を圧縮符号化する
   符号化方法。
2. 前記第２変換係数又は前記第２逆変換係数は、正方行列の係数であり、
   前記エントロピー符号化ステップでは、前記第２変換係数又は前記第２逆変換係数に含まれる対角要素と、当該対角要素がとりうる値の最大値との差分を算出する
   請求項１記載の符号化方法。
3. 前記第２変換係数又は前記第２逆変換係数は、正方行列の係数であり、
   前記エントロピー符号化ステップでは、前記第２変換係数又は前記第２逆変換係数に含まれる対角要素と、当該対角要素に隣接する対角要素との差分を算出する
   請求項１記載の符号化方法。
4. 前記第２変換係数又は前記第２逆変換係数は、正方行列の係数であり、
   前記エントロピー符号化ステップでは、前記第２変換係数又は前記第２逆変換係数に含まれる対角要素の正方行列内の位置に基づいて予測値を算出し、算出した予測値と前記対角要素との差分を算出する
   請求項１記載の符号化方法。
5. 前記第２変換係数又は前記第２逆変換係数は、正方行列の係数であり、
   前記符号化方法は、さらに、
   前記入力信号の統計特性に基づいて、前記第２変換係数又は前記第２逆変換係数を決定する変換係数決定ステップを含み、
   前記変換係数決定ステップでは、前記第２変換係数又は前記第２逆変換係数に含まれる対角要素の符号が正となるように前記第２変換係数又は前記第２逆変換係数を決定する
   請求項１〜４のいずれか１項に記載の符号化方法。
6. 前記第２変換係数又は前記第２逆変換係数は、正方行列の係数であり、
   前記エントロピー符号化ステップでは、前記第２変換係数又は前記第２逆変換係数に含まれる非対角要素と、当該非対角要素を対角要素で折り返した位置の要素である折り返し要素との間の冗長性を取り除いた成分を圧縮符号化する
   請求項１〜５のいずれか１項に記載の符号化方法。
7. 前記エントロピー符号化ステップでは、前記非対角要素の絶対値と前記折り返し要素の絶対値との平均値を算出し、算出した平均値と前記非対角要素の絶対値との差分を圧縮符号化する
   請求項６記載の符号化方法。
8. 前記エントロピー符号化ステップでは、さらに、前記非対角要素の符号と前記折り返し要素の符号とが同じであるか異なるかを示す情報を圧縮符号化する
   請求項６又は７記載の符号化方法。
9. 前記エントロピー符号化ステップでは、全ての位置における前記非対角要素の符号と前記折り返し要素の符号とが互いに反転していることを示す情報を圧縮符号化する
   請求項６又は７記載の符号化方法。
10. 前記エントロピー符号化ステップでは、さらに、前記非対角要素のうち上三角要素及び下三角要素のいずれか一方の正負を示す情報を圧縮符号化する
    請求項８又は９記載の符号化方法。
11. 前記エントロピー符号化ステップでは、さらに、前記非対角要素のうち全ての位置における上三角要素の符号は正であることを示す情報を圧縮符号化する
    請求項６又は７記載の符号化方法。
12. 前記量子化ステップでは、さらに、前記第２変換係数又は前記第２逆変換係数に含まれる要素の位置に応じて重み付けされた量子化ステップを用いて、前記第２変換係数又は前記第２逆変換係数を量子化し、
    前記エントロピー符号化ステップでは、量子化された第２変換係数又は量子化された第２逆変換係数を圧縮符号化する
    請求項１〜１１のいずれか１項に記載の符号化方法。
13. 前記符号化方法は、さらに、
    前記入力信号を予測することで予測信号を生成する予測ステップと、
    前記予測信号と前記入力信号との差分である予測誤差信号を生成する減算ステップとを含み、
    前記変換ステップでは、前記予測誤差信号を変換する
    請求項１〜１２のいずれか１項に記載の符号化方法。
14. 前記第２変換は、ＫＬＴ（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）である
    請求項１〜１３のいずれか１項に記載の符号化方法。
15. 入力信号を変換及び量子化することで生成された符号化信号を復号することで、復号信号を生成する復号方法であって、
    前記符号化信号は、圧縮符号化された符号化量子化係数と、当該符号化信号を生成する際に行われた変換処理に用いた変換係数、又は、第２逆変換に用いられる第２逆変換係数に含まれる要素と所定値との差分とを含み、
    前記復号方法は、
    前記符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号ステップと、
    前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化ステップと、
    前記復号変換出力信号を逆変換することで、復号信号を生成する逆変換ステップとを含み、
    前記逆変換ステップは、
    前記第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号に前記第２逆変換を行うことで、第１復号部分信号を生成する第２逆変換ステップと、
    前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分である第２復号部分信号とを含む第１復号変換出力信号に、第１逆変換係数を用いて第１逆変換を行うことで、前記復号信号を生成する第１逆変換ステップとを含み、
    前記エントロピー復号ステップでは、
    前記符号化信号を復号することで前記差分を取得し、取得した差分と前記所定値とを加算することで、前記第２逆変換係数を生成する
    復号方法。
16. 前記変換係数又は前記第２逆変換係数は、正方行列の係数であり、
    前記符号化信号は、前記変換係数又は前記第２逆変換係数の対角要素と当該対角要素がとりうる値の最大値との差分を含み、
    前記エントロピー復号ステップでは、前記符号化信号を復号することで前記差分を取得し、取得した差分と前記最大値とを加算して、前記対角要素を生成することで、前記第２逆変換係数を生成する
    請求項１５記載の復号方法。
17. 前記変換係数又は前記第２逆変換係数は、正方行列の係数であり、
    前記符号化信号は、前記変換係数又は前記第２逆変換係数の第１対角要素と当該対角要素に隣接する第２対角要素との差分を含み、
    前記エントロピー復号ステップでは、前記符号化信号を復号することで前記差分を取得し、取得した差分と前記隣接する第２対角要素とを加算して、前記第１対角要素を生成することで、前記第２逆変換係数を生成する
    請求項１５記載の復号方法。
18. 前記変換係数又は前記第２逆変換係数は、正方行列の係数であり、
    前記符号化信号は、前記変換係数又は前記第２逆変換係数の対角要素と当該対角要素の正方行列内の位置に基づいて算出された予測値との差分を含み、
    前記エントロピー復号ステップでは、前記符号化信号を復号することで前記差分を取得し、かつ、前記予測値を生成し、生成した予測値と取得した差分とを加算して、前記対角要素を生成することで、前記第２逆変換係数を生成する
    請求項１５記載の復号方法。
19. 前記変換係数又は前記第２逆変換係数は、正方行列の係数であり、
    前記エントロピー復号ステップでは、前記変換係数又は前記第２逆変換係数に含まれる非対角要素と、当該非対角要素を対角要素で折り返した位置の要素である折り返し要素との間の冗長性を取り除いた成分を復号して、前記非対角要素を生成することで、前記第２逆変換係数を生成する
    請求項１５〜１８のいずれか１項に記載の復号方法。
20. 前記符号化信号は、前記非対角要素の絶対値及び前記折り返し要素の絶対値の平均値と、当該平均値及び前記非対角要素の絶対値の差分とを含み、
    前記エントロピー復号ステップでは、前記符号化信号を復号することで、前記平均値と前記差分とを取得し、取得した平均値と前記差分とを加算することで、前記非対角要素を生成する
    請求項１９記載の復号方法。
21. 前記符号化信号は、前記非対角要素の符号と前記折り返し要素の符号とが同じであるか異なるかを示す符号反転情報を含み、
    前記エントロピー復号ステップでは、前記符号化信号を復号することで、前記符号反転情報を取得し、取得した符号反転情報に従って、前記非対角要素及び前記折り返し要素の符号を決定する
    請求項１９又は２０記載の復号方法。
22. 前記符号化信号は、全ての位置における前記非対角要素の符号と前記折り返し要素の符号とが互いに反転していることを示す全符号反転情報を含み、
    前記エントロピー復号ステップでは、前記符号化信号を復号することで、前記全符号反転情報を取得し、取得した全符号反転情報に従って、前記非対角要素及び前記折り返し要素の符号を決定する
    請求項１９又は２０記載の復号方法。
23. 前記符号化信号は、さらに、前記非対角要素のうち上三角要素及び下三角要素のいずれか一方の正負を示す符号情報を含み、
    前記エントロピー復号ステップでは、さらに、前記符号情報を取得し、取得した符号情報に従って、前記非対角要素の符号を決定する
    請求項２１又は２２記載の復号方法。
24. 前記符号化信号は、さらに、前記非対角要素のうち全ての位置における上三角要素の符号は正であることを示す上三角要素符号情報を取得し、
    前記エントロピー復号ステップでは、さらに、前記上三角要素符号情報を取得し、取得した上三角要素情報に従って、上三角要素の符号は正であると決定する
    請求項１９又は２０記載の復号方法。
25. 前記符号化信号は、前記変換係数又は前記第２逆変換係数を構成する要素の位置に応じて重み付けされた量子化ステップと、当該量子化ステップを用いて量子化された変換係数又は量子化された第２逆変換係数とを含み、
    前記エントロピー復号ステップでは、前記符号化信号を復号することで、前記量子化ステップと前記量子化された変換係数又は前記量子化された第２逆変換係数とを取得し、
    前記逆量子化ステップでは、さらに、前記量子化ステップを用いて、前記量子化された変換係数又は前記量子化された第２逆変換係数を逆量子化する
    請求項１５〜２４のいずれか１項に記載の復号方法。
26. 前記符号化信号は、予測誤差信号を変換及び量子化することで生成された信号であり、
    前記復号方法は、さらに、予測信号を生成する予測ステップを含み、
    前記逆変換ステップは、前記逆変換を行うことで、前記復号変換出力信号から復号予測誤差信号を生成し、前記予測信号と前記復号予測誤差信号とを加算することで、前記復号信号を生成する
    請求項１５〜２５のいずれか１項に記載の復号方法。
27. 前記第２逆変換は、ＫＬＴである
    請求項１５〜２６のいずれか１項に記載の復号方法。
28. 入力信号を変換することで、変換出力信号を生成する変換部と、
    前記変換出力信号を量子化することで、量子化係数を生成する量子化部と、
    前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化部とを備え、
    前記変換部は、
    第１変換係数を用いて前記入力信号に第１変換を行うことで、第１変換出力信号を生成する第１変換部と、
    前記第１変換出力信号の一部である第１部分信号に、第２変換係数を用いて第２変換を行うことで、第２変換出力信号を生成し、生成した第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを含む前記変換出力信号を出力する第２変換部とを備え、
    前記エントロピー符号化部は、
    前記第２変換係数、又は、前記第２変換の逆変換に用いられる第２逆変換係数に含まれる要素と所定値との差分を算出し、算出した差分を圧縮符号化することで、前記第２変換係数又は前記第２逆変換係数を圧縮符号化する
    符号化装置。
29. 入力信号を変換及び量子化することで生成された符号化信号を復号することで、復号信号を生成する復号装置であって、
    前記符号化信号は、圧縮符号化された符号化量子化係数と、当該符号化信号を生成する際に行われた変換処理に用いた変換係数、又は、第２逆変換に用いられる第２逆変換係数に含まれる要素と所定値との差分とを含み、
    前記復号装置は、
    前記符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号部と、
    前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化部と、
    前記復号変換出力信号を逆変換することで、復号信号を生成する逆変換部とを備え、
    前記逆変換部は、
    前記第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号に前記第２逆変換を行うことで、第１復号部分信号を生成する第２逆変換部と、
    前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分である第２復号部分信号とを含む第１復号変換出力信号に、第１逆変換係数を用いて第１逆変換を行うことで、前記復号信号を生成する第１逆変換部とを備え、
    前記エントロピー復号部は、
    前記符号化信号を復号することで前記差分を取得し、取得した差分と前記所定値とを加算することで、前記第２逆変換係数を生成する
    復号装置。
30. 入力信号を変換することで、変換出力信号を生成する変換部と、
    前記変換出力信号を量子化することで、量子化係数を生成する量子化部と、
    前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化部とを備え、
    前記変換部は、
    第１変換係数を用いて前記入力信号に第１変換を行うことで、第１変換出力信号を生成する第１変換部と、
    前記第１変換出力信号の一部である第１部分信号に、第２変換係数を用いて第２変換を行うことで、第２変換出力信号を生成し、生成した第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを含む前記変換出力信号を出力する第２変換部とを備え、
    前記エントロピー符号化部は、
    前記第２変換係数、又は、前記第２変換の逆変換に用いられる第２逆変換係数に含まれる要素と所定値との差分を算出し、算出した差分を圧縮符号化することで、前記第２変換係数又は前記第２逆変換係数を圧縮符号化する
    集積回路。
31. 入力信号を変換及び量子化することで生成された符号化信号を復号することで、復号信号を生成する集積回路であって、
    前記符号化信号は、圧縮符号化された符号化量子化係数と、当該符号化信号を生成する際に行われた変換処理に用いた変換係数、又は、第２逆変換に用いられる第２逆変換係数に含まれる要素と所定値との差分とを含み、
    前記集積回路は、
    前記符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号部と、
    前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化部と、
    前記復号変換出力信号を逆変換することで、復号信号を生成する逆変換部とを備え、
    前記逆変換部は、
    前記第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号に前記第２逆変換を行うことで、第１復号部分信号を生成する第２逆変換部と、
    前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分である第２復号部分信号とを含む第１復号変換出力信号に、第１逆変換係数を用いて第１逆変換を行うことで、前記復号信号を生成する第１逆変換部とを備え、
    前記エントロピー復号部は、
    前記符号化信号を復号することで前記差分を取得し、取得した差分と前記所定値とを加算することで、前記第２逆変換係数を生成する
    集積回路。
32. 入力信号を変換することで、変換出力信号を生成する変換ステップと、
    前記変換出力信号を量子化することで、量子化係数を生成する量子化ステップと、
    前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化ステップとを含み、
    前記変換ステップは、
    第１変換係数を用いて前記入力信号に第１変換を行うことで、第１変換出力信号を生成する第１変換ステップと、
    前記第１変換出力信号の一部である第１部分信号に、第２変換係数を用いて第２変換を行うことで、第２変換出力信号を生成し、生成した第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを含む前記変換出力信号を出力する第２変換ステップとを含み、
    前記エントロピー符号化ステップでは、
    前記第２変換係数、又は、前記第２変換の逆変換に用いられる第２逆変換係数に含まれる要素と所定値との差分を算出し、算出した差分を圧縮符号化することで、前記第２変換係数又は前記第２逆変換係数を圧縮符号化する
    符号化方法をコンピュータに実行させるためのプログラム。
33. 入力信号を変換及び量子化することで生成された符号化信号を復号することで、復号信号を生成する復号方法をコンピュータに実行させるためのプログラムであって、
    前記符号化信号は、圧縮符号化された符号化量子化係数と、当該符号化信号を生成する際に行われた変換処理に用いた変換係数、又は、第２逆変換に用いられる第２逆変換係数に含まれる要素と所定値との差分とを含み、
    前記復号方法は、
    前記符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号ステップと、
    前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化ステップと、
    前記復号変換出力信号を逆変換することで、復号信号を生成する逆変換ステップとを含み、
    前記逆変換ステップは、
    前記第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号に前記第２逆変換を行うことで、第１復号部分信号を生成する第２逆変換ステップと、
    前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分である第２復号部分信号とを含む第１復号変換出力信号に、第１逆変換係数を用いて第１逆変換を行うことで、前記復号信号を生成する第１逆変換ステップとを含み、
    前記エントロピー復号ステップでは、
    前記符号化信号を復号することで前記差分を取得し、取得した差分と前記所定値とを加算することで、前記第２逆変換係数を生成する
    プログラム。

Images