JPWO2011016250A1 - 符号化方法、復号方法、符号化装置及び復号装置 - Google Patents

Abstract

本発明に係る符号化方法は、第１変換係数を用いて入力信号を変換する第１変換ステップ（Ｓ１１０）と、第２変換係数を用いて第１変換出力信号の一部である第１部分信号を変換する第２変換ステップ（Ｓ１３０ｂ）と、第２変換出力信号と、第１変換出力信号のうち第１部分信号以外の部分である第２部分信号とを量子化する量子化ステップ（Ｓ１５０ｂ）と、量子化係数をエントロピー符号化するエントロピー符号化ステップ（Ｓ１６０）とを含み、第２変換ステップ（Ｓ１３０ｂ）は、第１部分信号、又は、第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成する補正ステップ（Ｓ１３１）と、第２変換係数を用いて補正後の第１部分信号を変換することで、又は、補正後の第２変換係数を用いて第１部分信号を変換することで、第２変換出力信号を生成する変換ステップ（Ｓ１３２）とを含む。

Description

本発明は、オーディオ、静止画像、及び動画像を符号化する符号化方法に関し、特に、時空間ドメインから周波数ドメインへ入力信号を変換する変換処理を含む符号化方法に関する。

音声データや動画像データを圧縮するために、複数の音声符号化規格、動画像符号化規格が開発されてきた。動画像符号化規格の例として、Ｈ．２６ｘと称されるＩＴＵ−Ｔ規格やＭＰＥＧ−ｘと称されるＩＳＯ／ＩＥＣ規格が挙げられる。最新の動画像符号化規格は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣと称される規格である。

図１は、従来の符号化装置１０００の構成を示すブロック図である。図１に示すように、符号化装置１０００は、変換部１０１０と、量子化部１０２０と、エントロピー符号化部１０３０とを備え、音声データや動画像データを低ビットレートで符号化する。

変換部１０１０は、各種データである入力信号、又は入力信号に何らかの処理を加えた変換入力信号を時空間ドメインから周波数ドメインへ変換することで、相関を軽減した変換出力信号を生成する。生成された変換出力信号は、量子化部１０２０に出力される。

量子化部１０２０は、変換部１０１０から出力された変換出力信号を量子化することで、総データ量の少ない量子化係数を生成する。生成された量子化係数は、エントロピー符号化部１０３０に出力される。

エントロピー符号化部１０３０は、量子化部１０２０から出力された量子化係数を、エントロピー符号化アルゴリズムを用いて符号化することで、残りのデータを圧縮した符号化信号を生成する。生成された符号化信号は、例えば、記録媒体に記録され、あるいは、ネットワークを介して復号装置などに送信される。

以下では、変換部１０１０が行う変換処理について詳細に説明する。

変換部１０１０には、変換対象信号（すなわち、変換入力信号）であるｎ点のベクトル（ｎ次元信号）が変換入力（Ｔｒａｎｓｆｏｒｍ Ｉｎｐｕｔ）ベクトルｘⁿとして入力される。変換部１０１０は、変換入力ベクトルｘⁿに、所定の変換処理（変換Ｔ）を行い、変換出力信号として、変換出力（Ｔｒａｎｓｆｏｒｍ Ｏｕｔｐｕｔ）ベクトルｙⁿを出力する（式１参照）。

変換Ｔが線形変換である場合、式２に示すように、変換Ｔは、ｎ×ｎの正方行列である変換行列（Ｔｒａｎｓｆｏｒｍ Ｍａｔｒｉｘ）Ａと変換入力ベクトルｘⁿとの行列積として表現できる。なお、式３は、変換出力ベクトルｙⁿを、変換行列Ａの各要素である変換係数ａ_ikを用いて要素ｙ_i毎に算出するための式であり、式１と式２とから導出される。

変換行列Ａは、入力信号の相関を軽減し、変換出力ベクトルｙⁿの要素のうち小さいnを持つ要素（いわゆる低域側）へエネルギーが集中するように設計される。変換行列Ａの設計にあたり、ＫＬＴ（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ：カルーネンレーベ変換）という変換係数導出方法、又は変換方法が知られている。

ＫＬＴは、入力信号の統計的性質に基づいて、最適な変換行列を導出する方法、又は、導出した最適な変換行列を用いた変換方法である。ＫＬＴは、入力信号の相関性を完全に無くすことが可能で、最も効率良くエネルギーを低域へ集中させることができる技術として知られている。

つまり、ＫＬＴは、理想的な変換処理であり、優れた符号化効率で、ＫＬＴによって変換された符号化対象信号を符号化することができる。

しかしながら、上記従来技術に示すＫＬＴには、演算量が大きく、かつ、変換に用いる係数である変換行列のデータ量が多いという課題がある。具体的には、以下の通りである。

図２に示すように、バタフライ構成などの高速アルゴリズムの存在するＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）では、入力信号の次元数（以下、入力点数とも記載）がＭの場合の乗算回数はＭ×Ｌｏｇ₂（Ｍ）である。これに対して、ＫＬＴでは、乗算回数はＭ×Ｍになる。例えば、ＤＣＴの乗算回数は、入力点数が４点の場合８回、入力点数が８点の場合２４回である。これに対して、ＫＬＴの乗算回数は、例えば、入力点数が４点の場合１６回（ＤＣＴ比２倍）、８点の場合６４回（ＤＣＴ比２．６倍）、１６点の場合はＤＣＴ比４．０倍である。変換サイズが大きくなるほど、ＫＬＴの演算量の増加傾向は著しくなるため、ＫＬＴは、ＤＣＴと比べて演算量が膨大になるという課題がある。

また、ＫＬＴでは、入力信号ベクトルｘⁿを含む集合Ｓ_Aの統計的性質に基づいて、変換行列Ａを導出する。変換行列Ａを用いた変換は、集合Ｓ_Aに含まれる入力信号ベクトルｘⁿに対して、最適な無相関化と低域へのエネルギー圧縮とを行うことができる。しかし、設計時に想定した集合Ｓ_Aと異なる統計的特性を持つ集合Ｓ_Bに含まれる入力信号ベクトルが入力された場合、変換行列Ａを用いた変換結果は、最適にならない。逆に、常に最適を求めて、入力の統計的性質のわずかな変化毎に変換係数を生成すれば、変換係数のデータ量が膨大になる。

以上のように、ＫＬＴには、演算量が大きく、かつ、変換係数のデータ量が多いという課題があるため、従来の符号化の際にＫＬＴを利用するのは困難であった。

そこで、本発明は、上記課題を解決するためになされたものであって、演算量の増加、及び、変換係数のデータ量の増加を抑制し、符号化効率を高めることができる符号化方法及び符号化装置を提供することを目的とする。さらに、本発明は、本発明に係る符号化方法及び符号化装置によって符号化された信号を正しく復号することができる復号方法及び復号装置を提供することを目的とする。

上記目的を達成するため、本発明の一態様に係る符号化方法は、第１変換係数を用いて入力信号を変換することで、第１変換出力信号を生成する第１変換ステップと、前記第１変換出力信号の一部である第１部分信号を含む集合の統計特性に基づいて決定された第２変換係数を用いて、前記第１部分信号を変換することで、第２変換出力信号を生成する第２変換ステップと、前記第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを量子化することで、量子化係数を生成する量子化ステップと、前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化ステップとを含み、前記第２変換ステップは、前記第１部分信号、又は、前記第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成する補正ステップと、前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、又は、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する変換ステップとを含む。

これにより、第１変換と第２変換とを含む２段階の変換を行うことで、演算量の増加、及び、変換係数のデータ量の増加を抑制し、符号化効率を高めることができる。例えば、精度の異なる変換を２段階で行うことで、高精度の変換を１段階で行う場合に比べて演算量を少なくすることができ、かつ、演算量の少ない変換を１段階で行う場合に比べて高精度で変換を行うことができる。さらに、２段階の変換を行う際に、量子化時に用いるスケーリングパラメータを用いた補正を行うことによって、より適した第２変換を行うことができる。

また、前記量子化ステップでは、前記スケーリングパラメータを用いずに前記第２変換出力信号を量子化し、かつ、前記スケーリングパラメータを用いて前記第２部分信号を量子化することで、量子化係数を生成してもよい。

これにより、第２変換出力信号と第２部分信号とをそれぞれ別々に量子化するので、それぞれに適した量子化を行うことができ、符号化効率の向上、及び、画質の劣化の抑制を実現することができる。

また、前記補正ステップでは、さらに、前記スケーリングパラメータを用いて前記第２部分信号を補正することで、補正後の第２部分信号を生成し、前記量子化ステップでは、前記第２変換出力信号と前記補正後の第２部分信号とを量子化してもよい。

これにより、第２変換出力信号と第２部分信号とをまとめて量子化することで、量子化によって発生する丸め誤差を低減することができ、演算精度を高めることができる。

また、前記補正ステップでは、前記スケーリングパラメータとして、前記第１変換係数から算出されたノルムを用いて前記補正を行ってもよい。

これにより、ノルムの補正を行うことで、第１変換を行うことで生成される第１変換出力信号の各周波数位置におけるノルムが異なっている場合であっても、より適した第２変換を行うことができる。

また、前記補正ステップでは、前記第１部分信号に前記ノルムの逆数を乗じることで、前記補正後の第１部分信号を生成し、前記変換ステップでは、前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、前記第２変換出力信号を生成してもよい。

これにより、第１部分信号にノルム補正を行うことで、より適した第２変換を行うことができる。

また、前記補正ステップでは、前記第２変換係数に前記ノルムの逆数を乗じることで、前記補正後の第２変換係数を生成し、前記変換ステップでは、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成してもよい。

これにより、第２変換係数にノルム補正を行うことで、第１部分信号にノルム補正を行う場合に比べて演算量を少なくすることができる。例えば、複数の第１部分信号の集合に対して１つの第２変換係数を決定する場合、当該集合に含まれる複数の第１部分信号のそれぞれにノルム補正を行うのではなく、第２変換係数に一度ノルム補正を行うだけで済む。

また、前記補正ステップでは、前記スケーリングパラメータとして、量子化マトリクスを用いて前記補正を行ってもよい。

これにより、第２変換の際に量子化マトリクスの補正を行うことで、量子化マトリクスのスケーリングを第２変換出力信号に正しく反映させることができる。

また、前記補正ステップでは、前記第１部分信号に前記量子化マトリクスの逆数を乗じることで、前記補正後の第１部分信号を生成し、前記変換ステップでは、前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、変換後の第１部分信号を生成し、前記第２変換ステップは、さらに、前記変換後の第１部分信号に、前記量子化マトリクスから算出される補正係数を乗じることで、前記第２変換出力信号を生成するポスト補正ステップを含んでもよい。

これにより、第１部分信号に量子化マトリクスの補正を行うことで、より適した第２変換を行うことができる。

また、前記補正ステップでは、前記第２変換係数に前記量子化マトリクスの逆数と、当該量子化マトリクスから算出される補正係数とを乗じることで、前記補正後の第２変換係数を生成し、前記変換ステップでは、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成してもよい。

これにより、第２変換係数に量子化マトリクスの補正を行うことで、第１部分信号に量子化マトリクスの補正を行う場合に比べて演算量を少なくすることができる。例えば、複数の第１部分信号の集合に対して１つの第２変換係数を決定する場合、当該集合に含まれる複数の第１部分信号のそれぞれに量子化マトリクスの補正を行うのではなく、第２変換係数に一度量子化マトリクスの補正を行うだけで済む。

また、前記第２変換係数は、ＫＬＴ（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）によって決定される係数であってもよい。

また、本発明の一態様に係る復号方法は、符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号ステップと、前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化ステップと、第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号を逆変換することで、第１復号部分信号を生成する第２逆変換ステップと、前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分に対応する第２復号部分信号とを含む第１復号変換出力信号を、第１逆変換係数を用いて逆変換することで、復号信号を生成する第１逆変換ステップとを含み、前記第２逆変換ステップでは、前記第２復号変換出力信号を逆変換し、逆変換後の第２復号変換出力信号に、所定のスケーリングパラメータを用いた補正を行うことで、又は、前記第２逆変換係数に前記補正を行い、補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する。

これにより、上記の符号化方法を用いて生成された符号化信号を復号することができる。

また、前記逆量子化ステップでは、前記スケーリングパラメータを用いずに、前記復号量子化係数の一部である第１復号量子化係数を逆量子化することで、前記第２復号変換出力信号を生成し、かつ、前記スケーリングパラメータを用いて、前記復号量子化係数のうち前記第１復号量子化係数以外の部分である第２復号量子化係数を逆量子化することで、前記第２復号部分信号を生成してもよい。

また、前記符号化方法は、さらに、前記スケーリングパラメータを用いて、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分を補正することで、前記第２部分信号を生成する補正ステップを含んでもよい。

また、前記第２逆変換ステップでは、前記スケーリングパラメータとして、前記第１逆変換係数から算出されたノルムを用いて前記補正を行ってもよい。

また、前記第２逆変換ステップでは、前記第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記逆変換後の第２復号変換出力信号を生成し、前記逆変換後の第２復号変換出力信号に前記ノルムを乗じることで、前記第１復号部分信号を生成してもよい。

また、前記第２逆変換ステップでは、前記第２逆変換係数に前記ノルムを乗じることで、前記補正後の第２逆変換係数を生成し、前記補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成してもよい。

また、前記第２逆変換ステップでは、前記スケーリングパラメータとして、量子化マトリクスを用いて前記補正を行ってもよい。

また、前記第２逆変換ステップでは、前記第２復号変換出力信号に、前記量子化マトリクスから算出される補正係数の逆数を乗じることで、ポスト逆補正後の第２復号変換出力信号を生成し、前記第２逆変換係数を用いて前記ポスト逆補正後の第２復号変換出力信号を逆変換することで、逆変換後の第２復号変換出力信号を生成し、前記逆変換後の第２復号変換出力信号に前記量子化マトリクスを乗じることで、前記第１復号部分信号を生成してもよい。

また、前記第２逆変換ステップでは、前記第２逆変換係数に前記量子化マトリクスと、当該量子化マトリクスから算出される補正係数の逆数とを乗じることで、前記補正後の第２逆変換係数を生成し、前記補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成してもよい。

また、前記第２逆変換係数は、ＫＬＴによって決定される係数であってもよい。

以上のいずれの復号方法においても、符号化方法の場合と同様に、演算量の増加及び変換係数のデータ量の増加を抑制することができる。また、上記の符号化方法によって符号化された信号を正しく復号することができる。

なお、本発明は、符号化方法及び復号方法として実現できるだけではなく、当該符号化方法及び復号方法に含まれる処理ステップを行う処理部を備える符号化装置及び復号装置として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。

また、上記の各符号化装置及び復号装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。

本発明に係る符号化方法及び符号化装置によれば、符号化処理における演算量の増加、及び、変換係数のデータ量の増加を抑制することができる。さらに、本発明に係る復号方法及び復号装置によれば、本発明に係る符号化方法及び符号化装置によって符号化された信号を復号することができる。

図１は、従来の符号化装置の構成を示すブロック図である。 図２は、ＤＣＴとＫＬＴとの演算量の比較を示す図である。 図３は、実施の形態１に係る符号化装置の構成の一例を示すブロック図である。 図４は、実施の形態１に係る第２変換部の構成の一例を示すブロック図である。 図５は、実施の形態１に係る第２変換部におけるデータフローの一例を概念的に示す図である。 図６は、実施の形態１に係る符号化装置の動作の一例を示すフローチャートである。 図７は、実施の形態１に係る第２変換部の動作の一例を示すフローチャートである。 図８は、実施の形態１の変形例に係る符号化装置の構成の一例を示すブロック図である。 図９は、実施の形態１の変形例に係る第２変換部の構成の一例を示すブロック図である。 図１０は、実施の形態１の変形例に係る第２変換部におけるデータフローの一例を概念的に示す図である。 図１１は、実施の形態１の変形例に係る第２変換部の動作の一例を示すフローチャートである。 図１２は、実施の形態１の変形例に係る符号化装置の構成の一例を示すブロック図である。 図１３は、実施の形態１の変形例に係る符号化装置の動作の一例を示すフローチャートである。 図１４は、実施の形態１の変形例に係る符号化装置の構成の一例を示すブロック図である。 図１５は、実施の形態１の変形例に係る符号化装置の動作の一例を示すフローチャートである。 図１６は、実施の形態１の変形例に係る符号化装置の構成の一例を示すブロック図である。 図１７は、実施の形態１の変形例に係る符号化装置の動作の一例を示すフローチャートである。 図１８は、実施の形態２に係る復号装置の構成の一例を示すブロック図である。 図１９は、実施の形態２に係る第２逆変換部の構成の一例を示すブロック図である。 図２０は、実施の形態２に係る第２逆変換部におけるデータフローの一例を概念的に示す図である。 図２１は、実施の形態２に係る復号装置の動作の一例を示すフローチャートである。 図２２は、実施の形態２に係る第２逆変換部の動作の一例を示すフローチャートである。 図２３は、実施の形態２の変形例に係る第２逆変換部の構成の一例を示すブロック図である。 図２４は、実施の形態２の変形例に係る第２逆変換部におけるデータフローの一例を概念的に示す図である。 図２５は、実施の形態２の変形例に係る第２逆変換部の動作の一例を示すフローチャートである。 図２６は、実施の形態２の変形例に係る復号装置の構成の一例を示すブロック図である。 図２７は、実施の形態２の変形例に係る復号装置の動作の一例を示すフローチャートである。 図２８は、実施の形態２の変形例に係る復号装置の構成の一例を示すブロック図である。 図２９は、実施の形態２の変形例に係る復号装置の構成の一例を示すブロック図である。 図３０は、実施の形態２の変形例に係る復号装置の構成の一例を示すブロック図である。 図３１は、実施の形態２の変形例に係る復号装置の構成の一例を示すブロック図である。 図３２は、実施の形態３に係る第２変換部の構成の一例を示すブロック図である。 図３３は、実施の形態３に係る第２変換部におけるデータフローの一例を概念的に示す図である。 図３４は、実施の形態３に係る第２変換部の動作の一例を示すフローチャートである。 図３５は、実施の形態４に係る第２逆変換部の構成の一例を示すブロック図である。 図３６は、実施の形態４に係る第２逆変換部におけるデータフローの一例を概念的に示す図である。 図３７は、実施の形態４に係る第２逆変換部の動作の一例を示すフローチャートである。 図３８は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成の一例を示す模式図である。 図３９は、携帯電話の外観を示す図である。 図４０は、携帯電話の構成例を示すブロック図である。 図４１は、デジタル放送用システムの全体構成の一例を示す模式図である。 図４２は、テレビの構成例を示すブロック図である。 図４３は、光ディスクである記録メディアに情報の読み書きを行う情報再生記録部の構成例を示すブロック図である。 図４４は、光ディスクである記録メディアの構造例を示す図である。 図４５は、各実施の形態に係る動画像符号化方法及び動画像復号方法を実現する集積回路の構成例を示すブロック図である。

以下では、本発明に係る符号化方法、復号方法、符号化装置及び復号装置について、実施の形態に基づいて図面を用いて詳細に説明する。

（実施の形態１）
実施の形態１に係る符号化装置は、入力信号に変換、量子化及びエントロピー符号化を行うことで、符号化信号を生成する。変換は、第１変換と第２変換とを含み、第２変換は、入力信号に第１変換を行うことで生成される第１変換出力信号の一部である第１部分信号に実行される。実施の形態１に係る符号化装置は、第２変換の前に、第１変換係数から算出したノルムを用いて、第２変換係数又は第１部分信号を補正することを特徴とする。以下では、まず、実施の形態１に係る符号化装置の構成の一例について、図３を用いて説明する。なお、本明細書においては、変換行列と変換係数とはほぼ同義として用いる場合がある。

なお、バタフライ構成やシフトと加算の演算を用いる構成のように、単純な行列演算でなくとも実現できる変換であっても、本明細書では行列表現で記述する場合がある。このように行列表現で記述することは、バタフライ構成やシフトと加算の演算を用いる構成、あるいは、リフティング構造を用いる構成など、各種の演算量を軽減した変換を除外するものではない。

図３は、実施の形態１に係る符号化装置１００の構成の一例を示すブロック図である。符号化装置１００には、音声データ、静止画像データ、動画像データなどの各種データである入力信号が符号化対象信号として入力される。符号化装置１００は、第１変換部１１０と、分割部１２０と、第２変換部１３０と、量子化部１４０と、統合部１５０と、エントロピー符号化部１６０とを備え、入力された符号化対象信号を符号化する。

第１変換部１１０には、符号化対象信号が変換入力信号として入力される。変換入力信号は、例えば、式４に示すようなベクトルｘⁿで表される。例えば、符号化対象信号は、複数の変換入力信号ｘⁿによって構成される。

第１変換部１１０は、複数の要素から構成された正方行列の係数である第１変換行列Ａ₁ ⁿを用いて、入力された変換入力信号ｘⁿを時空間ドメインから周波数ドメインへ変換することで、相関を軽減した第１変換出力信号ｙ₁ ⁿを生成する。生成された第１変換出力信号ｙ₁ ⁿは、分割部１２０に出力される。

例えば、第１変換部１１０は、第１変換行列Ａ₁ ⁿを用いて変換入力信号ｘⁿを変換することで、第１変換出力信号ｙ₁ ⁿを生成する。第１変換行列Ａ₁ ⁿを用いた変換を第１変換Ｔ₁と記載する。第１変換Ｔ₁は、時空間ドメインの信号である変換入力信号ｘⁿを、周波数ドメインの信号である第１変換出力信号ｙ₁ ⁿに変換する処理（直交変換）である。例えば、第１変換部１１０は、第１変換Ｔ₁として、通常のＤＣＴを行う。

分割部１２０は、第１変換部１１０から出力された第１変換出力信号ｙ₁ ⁿを第１部分信号ｙ_1L ^mと第２部分信号ｙ_1H ^n-mとに、第１部分信号ｙ_1L ^mの相関エネルギーが第２部分信号ｙ_1H ^n-mの相関エネルギーより大きくなるように分割する。第１部分信号ｙ_1L ^mは、第２変換部１３０に出力される。第２部分信号ｙ_1H ^n-mは、量子化部１４０が備える補正付き量子化部１４２に出力される。

例えば、分割部１２０は、第１変換出力信号ｙ₁ ⁿをどのように分割するかを示す情報である分割統合情報を用いて、ｎ個の要素からなる（次元数ｎの）第１変換出力信号ｙ₁ ⁿを、ｍ個の要素からなる（次元数ｍの）第１部分信号ｙ_1L ^mとｎ−ｍ個の要素からなる（次元数ｎ−ｍの）第２部分信号ｙ_1H ^n-mとに分割する。ここで、ｍは、ｎより小さい自然数である。例えば、分割部１２０は、第１部分信号ｙ_1L ^m及び第２部分信号ｙ_1H ^n-mが予め定められた要素数を含むように、予め定められた分割位置で第１変換出力信号ｙ₁ ⁿを分割する。

なお、符号化対象信号が画像データなどの場合、第１変換部１１０及び分割部１２０に入力されるデータは、２次元のデータとなるが、分割部１２０は、第１部分信号ｙ_1L ^mを１次元のデータに並び替えて出力する。このとき、各要素が低域から高域の順に、具体的には、分散、すなわち、エネルギーが大きいものから順に並び替えることが好ましい。

第２変換部１３０は、第２変換行列Ａ₂ ^mを用いて第１部分信号ｙ_1L ^mを変換することで、第２変換出力信号ｙ₂ ^mを生成する。第２変換行列Ａ₂ ^mを用いた変換を第２変換Ｔ₂と記載する。すなわち、第２変換部１３０は、第１部分信号ｙ_1L ^mに対して第２変換Ｔ₂を行うことで、第２変換出力信号ｙ₂ ^mを生成する。生成した第２変換出力信号ｙ₂ ^mは、量子化部１４０が備える補正無し量子化部１４１に出力される。

具体的には、第２変換部１３０は、第１部分信号ｙ_1L ^m又は第２変換行列Ａ₂ ^mを補正し、第２変換行列Ａ₂ ^mを用いて補正後の第１部分信号ｙ’_1L ^mを変換することで、又は、補正後の第２変換行列Ａ’₂ ^mを用いて第１部分信号ｙ_1L ^mを変換することで、第２変換出力信号ｙ₂ ^mを生成する。第１部分信号ｙ_1L ^m又は第２変換行列Ａ₂ ^mの補正には、所定のスケーリングパラメータが利用される。

ここで、所定のスケーリングパラメータは、量子化部１４０で用いられるパラメータであり、例えば、レベルスケールを決定するためのパラメータである。レベルスケールは、量子化の対象となる信号（具体的には、第２部分信号ｙ_1H ^n-m及び第２変換出力信号ｙ₂ ^m）を除算するためパラメータであり、いわゆる量子化ステップに相当する。レベルスケールは、周波数位置によって量子化の粗さに重みを付けるための量子化マトリクス（Ｑｕａｎｔｉｚａｔｉｏｎ Ｍａｔｒｉｘ）、及び、量子化の対象となる信号のノルムを補正するための値であるノルム補正値などによって決定される値である。

例えば、式５に示すように、レベルスケールＬｅｖｅｌＳｃａｌｅ（ｋ，ｉ，ｊ）は、量子化マトリクスの要素の値ｗｅｉｇｈｔＳｃａｌｅ（ｉ，ｊ）とノルム補正値ｎｏｒｍＡｄｊｕｓｔ（ｋ，ｉ，ｊ）との積で表される。実施の形態１では、後で説明するように、第２変換部１３０は、所定のスケーリングパラメータとして、ノルム補正値を用いて第１部分信号ｙ_1L ^m又は第２変換行列Ａ₂ ^mを補正する。

なお、ｉ及びｊは、信号に含まれる要素の周波数位置を示すパラメータである。また、ｋは、量子化パラメータ値ｑｐから導出されるパラメータであり、ｋ＝ｑｐ％６の関係がある。すなわち、ｋは、量子化パラメータ値ｑｐを６で割った余りである。

量子化部１４０は、補正無し量子化部１４１と補正付き量子化部１４２とを備え、第２部分信号ｙ_1H ^n-mを量子化することで第２量子化係数Ｃ₂ ^n-mを生成し、かつ、第２変換出力信号ｙ₂ ^mを量子化することで第１量子化係数Ｃ₁ ^mを生成する。

補正無し量子化部１４１は、上記のスケーリングパラメータであるノルム補正値を用いずに第２変換出力信号ｙ₂ ^mを量子化することで、第１量子化係数Ｃ₁ ^mを生成する。例えば、補正無し量子化部１４１は、ノルム補正値を用いないレベルスケールＬｅｖｅｌＳｃａｌｅ＿１で第２変換出力信号ｙ₂ ^mを除算し（式６及び式７参照）、（ｑｐ／６−４）でシフトダウンして、整数値に丸めることで、第１量子化係数Ｃ₁ ^mを生成する。

補正付き量子化部１４２は、上記のスケーリングパラメータであるノルム補正値を用いて第２部分信号ｙ_1H ^n-mを量子化することで、第２量子化係数Ｃ₂ ^n-mを生成する。例えば、補正付き量子化部１４２は、式５に示すようなノルム補正値を用いたレベルスケールＬｅｖｅｌＳｃａｌｅ（ｋ，ｉ，ｊ）で第２部分信号ｙ_1H ^n-mを除算し（式８参照）、（ｑｐ／６−４）でシフトダウンして、整数値に丸めることで、第２量子化係数Ｃ₂ ^n-mを生成する。

統合部１５０は、分割統合情報を用いて第１量子化係数Ｃ₁ ^mと第２量子化係数Ｃ₂ ^n-mとを統合することで、量子化係数Ｃⁿを生成する。生成された量子化係数Ｃⁿは、エントロピー符号化部１６０に出力される。

エントロピー符号化部１６０は、統合部１５０から出力された量子化係数Ｃⁿを、エントロピー符号化アルゴリズムを用いて圧縮符号化することで、符号化信号を生成する。生成された符号化信号は、例えば、記録媒体に記録され、あるいは、ネットワークを介して復号装置などに送信される。

なお、エントロピー符号化部１６０は、変換に用いた変換係数（あるいは逆変換係数）、及び、量子化に用いたレベルスケールなども符号化し、制御情報として符号化信号のヘッダなどに記述する。レベルスケールは、そのまま符号化されずに、量子化パラメータｑｐなどが符号化される。復号装置では、エントロピー復号により量子化パラメータｑｐを取得し、取得した量子化パラメータから量子化に用いたレベルスケールを生成することができる。

以上のように、実施の形態１に係る符号化装置１００は、符号化対象信号である変換入力信号ｘⁿに２段階の変換処理を行っている。具体的には、符号化装置１００は、変換入力信号ｘⁿに第１変換Ｔ₁を行うことで第１変換出力信号ｙ₁ ⁿを生成し、生成した第１変換出力信号ｙ₁ ⁿを第１部分信号ｙ_1L ^mと第２部分信号ｙ_1H ^n-mとに分割し、第１部分信号ｙ_1L ^mに第２変換Ｔ₂を行う。さらに、第２変換Ｔ₂を行う際には、ノルムを用いて第１部分信号ｙ_1L ^m、又は、第２変換行列Ａ₂ ^mを補正する。

以下では、ノルムを用いた補正を行う第２変換部１３０の具体的な構成について説明する。

図４は、実施の形態１に係る第２変換部１３０の構成の一例を示すブロック図である。また、図５は、実施の形態１に係る第２変換部１３０におけるデータフローの一例を概念的に示す図である。

図４に示すように、第２変換部１３０は、スケール補正部１３１と、第２変換処理部１３２とを備える。

スケール補正部１３１は、第１変換行列Ａ₁ ⁿから算出したノルムを用いて、入力される第１部分信号ｙ_1L ^mを補正する。ノルムは、以下の式９によって算出される。

ここで、ａ（ｉ，ｋ）は、第１変換行列Ａ₁ ⁿに含まれる要素であり、ｉ行ｋ列目の要素である。

なお、第１変換行列Ａ₁ ⁿが適応的に変化する場合、ノルムも変化するので、スケール補正部１３１は、ノルムを算出し、算出したノルムを用いて第１部分信号ｙ_1L ^mを補正する。第１変換行列Ａ₁ ⁿが固定の変換行列である場合、スケール補正部１３１は、内部メモリなどにノルムを保持しておけばよい。

スケール補正部１３１は、式１０に従って、第１部分信号ｙ_1L ^mを補正する。つまり、スケール補正部１３１は、第１部分信号ｙ_1L ^mにノルムの逆数を乗じることで、補正後の第１部分信号ｙ’_1L ^mを生成する。言い換えると、スケール補正部１３１は、第１部分信号ｙ_1L ^mをノルムで除算することで、補正後の第１部分信号ｙ’_1L ^mを生成する。

なお、ノルムを用いた乗算及び除算は、第１部分信号ｙ_1L ^mに含まれる要素毎に行われる。すなわち、スケール補正部１３１は、第１部分信号ｙ_1L ^mの要素ｙ_1L（ｉ）にノルムＮ（ｉ）の逆数を乗じることで、補正後の第１部分信号ｙ’_1L ^mの要素ｙ’_1L（ｉ）を生成する。

第２変換処理部１３２は、第２変換行列Ａ₂ ^mを用いて補正後の第１部分信号ｙ’_1L ^mを変換することで、第２変換出力信号ｙ₂ ^mを生成する。

以上のように、実施の形態１に係る符号化装置１００では、２段階の変換を行う際に、２段階目の変換である第２変換の対象となる第１部分信号にノルム補正を行う。

従来は、ノルム補正を量子化部１４０による量子化の際に行っていた（式５及び式８参照）。しかしながら、実施の形態１に係る符号化装置１００では、符号化対象信号を変換することで生成された第１変換出力信号をさらに部分的に変換しているため、量子化の際に、第１変換係数から算出されたノルムを用いて補正を行ったとしても、最適な結果が得られない。そこで、実施の形態１に係る符号化装置１００では、第２変換を行う前にノルム補正をすることで、第２変換を最適化することができる。これにより、符号化効率をさらに高めることができる。

続いて、実施の形態１に係る符号化装置１００の動作について、図６を用いて説明する。図６は、実施の形態１に係る符号化装置１００の動作の一例を示すフローチャートである。

まず、音声データ又は画像データなどの符号化対象信号が、符号化装置１００に入力される。第１変換部１１０は、第１変換行列Ａ₁ ⁿを用いて、変換入力信号ｘⁿに対して第１変換Ｔ₁を行うことで、第１変換出力信号ｙ₁ ⁿを生成する（Ｓ１１０）。第１変換Ｔ₁により、時空間ドメインの変換入力信号ｘⁿは、周波数ドメインの第１変換出力信号ｙ₁ ⁿに変換される。

次に、分割部１２０は、分割統合情報を用いて、第１変換出力信号ｙ₁ ⁿを第１部分信号ｙ_1L ^mと第２部分信号ｙ_1H ^n-mとに分割する（Ｓ１２０）。このとき、分割部１２０は、第１部分信号ｙ_1L ^mの相関エネルギーが第２部分信号ｙ_1H ^n-mの相関エネルギーより大きくなるように、第１変換出力信号ｙ₁ ⁿを分割する。なお、変換入力信号ｘⁿ及び第１変換出力信号ｙ₁ ⁿが２次元の信号である場合は、分割部１２０は、第１部分信号ｙ_1L ^mを１次元の信号に並び替える。

次に、第２変換部１３０は、第１部分信号ｙ_1L ^mにノルム補正を行うとともに、補正後の第１部分信号ｙ’_1L ^mに対して第２変換Ｔ₂を行うことで、第２変換出力信号ｙ₂ ^mを生成する（Ｓ１３０）。第２変換部１３０が行う具体的な動作については、図７を用いて後で説明する。

次に、量子化部１４０は、第２変換出力信号ｙ₂ ^mと第２部分信号ｙ_1H ^n-mとを量子化する（Ｓ１４０）。具体的には、補正無し量子化部１４１が、第２変換出力信号ｙ₂ ^mを、ノルム補正値を含まないレベルスケールを用いて量子化することで、第１量子化係数Ｃ₁ ^mを生成する（式６及び式７参照）。さらに、補正付き量子化部１４２が、第２部分信号ｙ_1H ^n-mを、ノルム補正値を含むレベルスケールを用いて量子化することで、第２量子化係数_C2 ^n-mを生成する（式５及び式８参照）。

なお、補正無し量子化部１４１が行う処理と、補正付き量子化部１４２が行う処理とは、並列化されていてもよい。さらには、補正付き量子化部１４２が行う量子化処理と、第２変換部１３０が行う第２変換とを並列化してもよい。

次に、統合部１５０は、分割統合情報を用いて、第１量子化係数Ｃ₁ ^mと第２量子化係数Ｃ₂ ^n-mとを統合することで、量子化係数Ｃⁿを生成する（Ｓ１５０）。

最後に、エントロピー符号化部１６０は、量子化係数Ｃⁿをエントロピー符号化することで、符号化信号を生成する（Ｓ１６０）。

続いて、実施の形態１に係る符号化装置１００が行う第２変換処理（Ｓ１３０）の詳細について説明する。図７は、実施の形態１に係る第２変換部１３０の動作の一例を示すフローチャートである。

第１部分信号ｙ_1L ^mが第２変換部１３０に入力されると、スケール補正部１３１は、第１変換行列Ａ₁ ⁿから決定されたノルムの逆数を第１部分信号ｙ_1L ^mに乗じることで、補正後の第１部分信号ｙ’_1L ^mを生成する（Ｓ１３１）。なお、第１変換行列Ａ₁ ⁿが適応的に変化する場合は、スケール補正部１３１は、ノルムを算出し、算出したノルムを用いて第１部分信号ｙ_1L ^mを補正する。

次に、第２変換処理部１３２は、補正後の第１部分信号ｙ’_1L ^mに対して第２変換行列Ａ₂ ^mを用いて第２変換Ｔ₂を行うことで、第２変換出力信号ｙ₂ ^mを生成する（Ｓ１３２）。

以上のようにして、第２変換部１３０は、第２変換出力信号ｙ₂ ^mを生成する。なお、第２変換行列Ａ₂ ^mは、第２変換Ｔ₂の対象となる信号（変換対象信号）を含む集合の統計特性に基づいて決定される係数である。

上記の説明では、第２変換処理部１３２は、予め定められた第２変換行列Ａ₂ ^mを取得し、取得した第２変換行列Ａ₂ ^mを用いて第２変換Ｔ₂を行う構成について説明したが、入力された信号に基づいて第２変換行列Ａ₂ ^mを決定してもよい。これによれば、演算量が少し増加するが、入力された信号に対して最適な第２変換行列Ａ₂ ^mを決定することが可能となり、第２変換Ｔ₂によって生成される第２変換出力信号ｙ₂ ^mの相関をほぼ無くすことができる。したがって、符号化効率をさらに高めることができる。

以下では、実施の形態１に係る符号化装置１００が第２変換行列Ａ₂ ^mを決定する構成について簡単に説明する。

図８は、実施の形態１の変形例に係る符号化装置２００の構成の一例を示すブロック図である。図８に示す符号化装置２００は、図３に示す符号化装置１００に比べて、さらに、第１メモリ２１１と、第１変換係数導出部２１２と、第２メモリ２２１と、分割統合情報生成部２２２と、第３メモリ２３１と、第２変換係数導出部２３２とを備える。

第１メモリ２１１は、変換入力信号ｘⁿを保持するメモリである。例えば、変換入力信号ｘⁿが音声データ、又は動画像データである場合、第１メモリ２１１は、１フレーム分のデータに相当する複数の変換入力信号ｘⁿを保持する。

第１変換係数導出部２１２は、第１メモリ２１１に保持された複数の変換入力信号ｘⁿを用いて、第１変換行列Ａ₁ ⁿを導出する。例えば、第２変換係数導出部２３２と同様に、ＫＬＴによって変換係数を決定する。なお、ＫＬＴによって変換係数を決定する方法については後述する。

第２メモリ２２１は、第１変換出力信号ｙ₁ ⁿを保持するメモリである。例えば、第２メモリ２２１は、１フレーム分のデータに相当する複数の第１変換出力信号ｙ₁ ⁿを保持する。

分割統合情報生成部２２２は、第２メモリ２２１に保持された第１変換出力信号ｙ₁ ⁿを用いて、分割統合情報を生成する。分割統合情報は、例えば、低周波数帯域の要素を第１部分信号の要素として、かつ、高周波数帯域の要素を第２部分信号の要素として第１変換出力信号ｙ₁ ⁿを分割するように、分割部１２０に指示するための制御情報である。あるいは、分割統合情報は、相関エネルギーの大きな要素を第１部分信号の要素として、かつ、相関エネルギーの小さな要素を第２部分信号の要素として第１変換出力信号ｙ₁ ⁿを分割するように、分割部１２０に指示するための制御情報である。

分割統合情報生成部２２２は、複数の第１変換出力信号ｙ₁ ⁿのエネルギー状態の分布を鑑みて分割統合情報を生成する。例えば、分割統合情報生成部２２２は、所定の閾値より相関エネルギーが大きい要素を第１部分信号の要素として、かつ、当該閾値より相関エネルギーが小さい要素を第２部分信号の要素として、第１変換出力信号ｙ₁ ⁿを分割するための分割統合情報を生成する。

第３メモリ２３１は、補正後の第１部分信号ｙ’_1L ^mを保持するメモリである。例えば、第３メモリ２３１は、１フレーム分のデータに相当する複数の補正後の第１部分信号ｙ’_1L ^mを保持する。なお、後述するように、第２変換係数導出部２３２は、第１変換行列Ａ₁ ⁿを導出するのに用いる集合よりも小さい集合を用いて、第２変換行列Ａ₂ ^mを導出することが好ましい。したがって、第３メモリ２３１は、第１メモリ２１１より記憶容量が小さくてもよい。

第２変換係数導出部２３２は、第３メモリ２３１に保持された複数の補正後の第１部分信号ｙ’_1L ^mを用いて、第２変換行列Ａ₂ ^mを導出する。第２変換行列Ａ₂ ^mは、例えば、ＫＬＴによって決定される係数である。

ＫＬＴは、変換対象信号を含む集合の統計特性に基づいて、変換対象信号を完全に無相関化することができる変換を設計する手法である。

具体的には、ＫＬＴは、変換対象信号の分散共分散行列（ｖａｒｉａｎｃｅ−ｃｏｖａｒｉａｎｃｅ ｍａｔｒｉｘ）の非対角成分が０となるような変換を求めることであり、分散共分散行列の固有値問題を解くことに等しい。導出した固有ベクトルが基底関数となり、固有値が変換係数の各要素の軸の大きさ（つまり、エネルギー）となる。

第１変換係数導出部２１２及び第２変換係数導出部２３２がともに、ＫＬＴによって変換係数を決定する場合、第１変換係数導出部２１２が用いる変換対象信号（変換入力信号ｘⁿ）の集合Ｓ_Aは、第２変換係数導出部２３２が用いる変換対象信号（補正後の第１部分信号ｙ’_1L ^m）の集合Ｓ_Cよりも大きい。例えば、集合Ｓ_Aは、１フレーム分のデータに相当する集合であり、集合Ｓ_Cは、スライス若しくはマクロブロック分のデータ、又は、サブフレーム若しくはサブバンド分のデータに相当する集合である。なお、集合Ｓ_Cは、少なくとも２つのサンプル（補正後の第１部分信号ｙ’_1L ^m）を含んでいればよい。

以上のようにして、実施の形態１の変形例に係る符号化装置２００は、ＫＬＴによって変換係数を決定することができ、符号化効率をより高めることができる。

以上のように、図８に示す符号化装置２００は、第２変換行列Ａ₂ ^mのみならず、第１変換行列Ａ₁ ⁿ及び分割統合情報も生成する。ただし、上述したように、第１変換行列Ａ₁ ⁿ及び分割統合情報は予め定められた固定の係数、及び固定の位置での分割であってもよい。このとき、第１変換行列Ａ₁ ⁿが固定の係数である場合は、符号化装置２００は、第１メモリ２１１及び第１変換係数導出部２１２を備えていなくてもよい。また、分割統合情報が固定の位置での分割を示す場合は、符号化装置２００は、第２メモリ２２１及び分割統合情報生成部２２２を備えていなくてもよい。

以上のように、実施の形態１に係る符号化装置１００では、変換入力信号に２段階の変換処理を行っており、１段階目の第１変換を行うことで生成した第１変換出力信号の一部である第１部分信号を、ノルムを用いて補正した後、補正後の第１部分信号に２段階目の第２変換を行う。このとき、第２変換に用いる第２変換係数は、補正後の第１部分信号を含む集合に基づいて決定される。これにより、第２変換を最適化することができるので、符号化効率を高めることができる。

なお、第１部分信号ｙ_1L ^mにノルム補正を行うのではなく、第２変換行列Ａ₂ ^mにノルム補正を行っても同様の効果が得られる。以下では、第２変換行列Ａ₂ ^mにノルム補正を行う場合について説明する。

図９は、実施の形態１の変形例に係る第２変換部３３０の構成の一例を示すブロック図である。また、図１０は、実施の形態１の変形例に係る第２変換部３３０におけるデータフローの一例を概念的に示す図である。

図９に示すように、第２変換部３３０は、修正係数導出部３３１と、第２変換処理部１３２とを備える。

修正係数導出部３３１は、第１変換行列Ａ₁ ⁿから算出したノルムを用いて、第２変換行列Ａ₂ ^mを補正することで、修正係数を導出する。なお、ノルムは、式９によって算出される。

具体的には、修正係数導出部３３１は、式１１に従って、第２変換行列Ａ₂ ^mを補正する。つまり、修正係数導出部３３１は、第２変換行列Ａ₂ ^mにノルムの逆数を乗じることで、補正後の第２変換行列Ａ’₂ ^mを生成する。言い換えると、修正係数導出部３３１は、第２変換行列Ａ₂ ^mをノルムで除算することで、修正係数である補正後の第２変換行列Ａ’₂ ^mを生成する。

なお、ノルムを用いた乗算及び除算は、第２変換行列Ａ₂ ^mに含まれる要素毎に行われる。すなわち、修正係数導出部３３１は、第２変換行列Ａ₂ ^mの要素ａ₂（ｉ，ｊ）にノルムＮ（ｉ）の逆数を乗じることで、補正後の第２変換行列Ａ’₂ ^mの要素ａ’₂（ｉ，ｊ）を生成する。

第２変換処理部１３２は、補正後の第２変換行列Ａ’₂ ^mを用いて第１部分信号ｙ_1L ^mを変換することで、第２変換出力信号ｙ₂ ^mを生成する。

図１１は、実施の形態１の変形例に係る第２変換部１３０の動作の一例を示すフローチャートである。

まず、修正係数導出部３３１は、第１変換行列Ａ₁ ⁿから算出したノルムを用いて、式１１に従って第２変換行列Ａ₂ ^mを補正することで、修正係数である補正後の第２変換行列Ａ’₂ ^mを導出する（Ｓ２３１）。

次に、第２変換処理部１３２は、補正後の第２変換行列Ａ’₂ ^mを用いて、第１部分信号ｙ_1L ^mを変換することで、第２変換出力信号ｙ₂ ^mを生成する。

なお、修正係数の導出は、例えば、第２変換行列Ａ₂ ^mの導出に用いた集合Ｓ_C毎に行う。したがって、図５に示すように、第１部分信号ｙ_1L ^mが入力される度に補正を行う場合に比べて、演算量を削減することができる。

以上のように、第１部分信号ｙ_1L ^mではなく、第２変換行列Ａ₂ ^mを補正することによっても、同様に、符号化効率を高める効果を得ることができる。

また、本発明に係る符号化方法を、予測符号化に適用してもよい。図１２は、実施の形態１の変形例に係る符号化装置４００の構成の一例を示すブロック図である。符号化装置４００には、音声データ及び動画像データなどの符号化対象信号が入力される。

図１２に示す符号化装置４００は、減算器４１０と、変換・量子化部４２０と、エントロピー符号化部１６０と、逆量子化・逆変換部４３０と、加算器４４０と、メモリ４５０と、予測部４６０とを備える。なお、図３に示す符号化装置１００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。

減算器４１０は、符号化対象信号と、予測部４６０によって生成された予測信号との差分、すなわち、予測誤差を算出することで、予測誤差信号を生成する。生成した予測誤差信号は、変換入力信号として変換・量子化部４２０に入力される。

変換・量子化部４２０には、予測誤差信号が変換入力信号として入力される。変換・量子化部４２０は、予測誤差信号に対して、図３及び図４を用いて説明した変換処理及び量子化処理を行う。つまり、変換・量子化部４２０は、符号化対象信号そのものではなく、予測誤差信号が入力される点が異なっているだけで、詳細な構成は、図３及び図４と同じである。すなわち、変換・量子化部４２０は、例えば、第１変換部１１０と、分割部１２０と、第２変換部１３０と、量子化部１４０と、統合部１５０とを備える。

エントロピー符号化部１６０は、上述したように動作するので、ここでは説明を省略する。

逆量子化・逆変換部４３０は、変換・量子化部４２０から出力された量子化係数を逆量子化することで、復号変換出力信号を生成する。さらに、逆量子化・逆変換部４３０は、生成した復号変換出力信号に逆変換処理を行うことで、復号変換入力信号を生成する。生成した復号変換入力信号は、加算器４４０に出力される。

なお、復号変換入力信号は、変換・量子化部４２０に入力された変換入力信号を復元した信号であるが、変換・量子化部４２０により非可逆処理が行われているので、全く変換入力信号と同じではない。すなわち、復号変換入力信号は、量子化誤差を含んでいる。

また、逆量子化・逆変換部４３０が行う逆変換処理は、変換・量子化部４２０が行う変換処理の反対の処理である。このため、逆量子化・逆変換部４３０は、変換・量子化部４２０から、変換処理に用いられた変換係数を取得する。

例えば、変換・量子化部４２０が、ｎ×ｎの正方行列である変換行列Ａを用いて、変換入力信号ｘⁿに変換Ｔを行った場合を想定する。このとき、変換・量子化部４２０が生成する変換出力信号ｙⁿは、式１で表される。より具体的には、変換・量子化部４２０は、式２及び式３によって変換出力信号ｙⁿを生成する。

このとき、逆量子化・逆変換部４３０が行う逆変換Ｔ^-1は、変換行列Ａの逆行列Ａ^-1を変換係数とする変換処理である。逆量子化・逆変換部４３０に入力される復号変換出力信号ｙ＾ⁿに行われる逆変換Ｔ^-1は、式１２で表される。

したがって、逆量子化・逆変換部４３０が出力する復号変換入力信号ｘ＾ⁿは、式１３で表される。

加算器４４０は、復号変換入力信号と予測信号とを加算することで、復号信号を生成する。生成した復号信号は、メモリ４５０に格納され、以降に入力される符号化対象信号の予測信号を生成する際に参照される。

メモリ４５０は、復号信号を格納するメモリなどの記憶部の一例である。

予測部４６０は、メモリ４５０に格納された、前に符号化及び復号された復号信号（符号化済み信号）を参照して、符号化対象信号を予測することで予測信号を生成する。生成した予測信号は、減算器４１０と加算器４４０とに出力される。なお、予測モード（イントラ予測又はインター予測など）などの予測信号を生成するのに用いた制御情報は、エントロピー符号化部１６０に出力され、エントロピー符号化部１６０によって符号化される。

続いて、上記の符号化装置４００の動作について、図１３を用いて説明する。

図１３は、実施の形態１の変形例における符号化装置４００の動作の一例を示すフローチャートである。

まず、音声データ又は動画像データなどの符号化対象信号が符号化装置４００に入力される。予測部４６０は、メモリ４５０に格納された符号化済み信号を参照することで、予測信号を生成する（Ｓ３００）。生成した予測信号は、減算器４１０に出力される。そして、減算器４１０は、符号化対象信号と予測信号との差分である予測誤差を算出することで、予測誤差信号を生成する（Ｓ３０５）。

次に、変換・量子化部４２０は、予測誤差信号に対して第１変換を行う（Ｓ１１０）。以降、図６を用いて説明したように、変換・量子化部４２０は、予測誤差信号に対して、分割、第２変換、量子化、及び統合を行うことで、量子化係数を生成する（Ｓ１２０〜Ｓ１５０）。さらに、エントロピー符号化部１６０が、量子化係数をエントロピー符号化することで、符号化信号を生成する（Ｓ１６０）。

また、逆量子化・逆変換部４３０が、量子化係数を逆量子化することで、復号変換出力信号を生成する（Ｓ３７０）。次に、逆量子化・逆変換部４３０が、復号変換出力信号に逆変換処理を行うことで、復号変換入力信号を生成する（Ｓ３８０）。逆変換処理は、変換・量子化部４２０が行う変換処理の反対の処理である。

なお、エントロピー符号化部１６０が行うエントロピー符号化と、逆量子化・逆変換部４３０が行う逆量子化及び逆変換の少なくとも１つとは、いずれが先に行われてもよく、又は、並列処理で実行されてもよい。

最後に、加算器４４０が、復号変換入力信号と予測信号とを加算することで、復号信号を生成し、メモリ４５０に格納する（Ｓ３９０）。

以上のように、符号化装置４００は、符号化対象信号と、符号化対象信号を予測することで生成した予測信号との差分である予測誤差信号を変換対象信号として、上記の変換処理を行ってもよい。これにより、符号化すべき情報量を圧縮することができるので、符号化効率をより高めることができる。

なお、第２変換処理部１３２は、第２変換として、ＫＬＴではなく、入力信号の統計特性に基づいて適応的に変換係数を決定し、決定した変換係数を用いて相関を小さくする他の変換を行ってもよい。

また、実施の形態１に係る符号化装置１００では、第１量子化係数と第２量子化係数とを統合してからエントロピー符号化したが、統合することなくエントロピー符号化を行ってもよい。すなわち、エントロピー符号化部１６０は、補正無し量子化部１４１から出力される第１量子化係数と、補正付き量子化部１４２から出力される第２量子化係数とを、それぞれ別のデータとして、符号化してもよい。

また、量子化部１４０は、補正無し量子化部１４１と補正付き量子化部１４２とを備えるのではなく、１つの量子化部１４０の内部で、補正の有無を切り替える構成であってもよい。

また、上記の実施の形態１に係る符号化装置１００は、第２部分信号ｙ_1H ^n-mと第２変換出力信号ｙ₂ ^mとをそれぞれ量子化してから統合したが、第２部分信号ｙ_1H ^n-mと第２変換出力信号ｙ₂ ^mとを統合してから量子化してもよい。つまり、２つの信号に対して量子化を別々に行わずに、統合後の１つの信号に対して量子化を行ってもよい。

図１４は、本発明の実施の形態１の変形例に係る符号化装置１００ａの構成の一例を示すブロック図である。

図１４に示す符号化装置１００ａは、第１変換部１１０と、分割部１２０と、第２変換部１３０と、スケール補正部１３１ａと、量子化部１４０ａと、統合部１５０ａと、エントロピー符号化部１６０とを備える。なお、図３に示す符号化装置１００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。

スケール補正部１３１ａは、第１変換行列Ａ₁のノルムを用いて、第２部分信号ｙ_1H ^n-mを補正する。具体的には、スケール補正部１３１ａは、第２部分信号ｙ_1H ^n-mにノルムの逆数を乗じることで、補正後の第２部分信号ｙ’_1H ^n-mを生成する（式１０参照、ｙ’_1L（ｉ）はｙ’_1H（ｉ）、ｙ_1L（ｉ）はｙ_1H（ｉ）と読み替える）。言い換えると、スケール補正部１３１ａは、第２部分信号ｙ_1H ^n-mをノルムで除算することで、補正後の第２部分信号ｙ’_1H ^n-mを生成する。

統合部１５０ａは、スケール補正部１３１ａから出力された補正後の第２部分信号ｙ’_1H ^n-mと、第２変換部１３０によって変換された第２変換出力信号ｙ₂ ^mとを統合することで、変換出力信号ｙⁿを生成する。なお、第２変換出力信号ｙ₂ ^mは、上述したように、第２変換部１３０による第２変換Ｔ₂が行われる際に、ノルムを用いた補正が行われている。

量子化部１４０ａは、変換出力信号ｙⁿを量子化することで、量子化係数Ｃⁿを生成する。例えば、量子化部１４０ａは、補正無し量子化部１４１と同様にノルム補正値を用いずに、変換出力信号ｙⁿを量子化する。具体的には、量子化部１４０ａは、ノルム補正値を用いないレベルスケールＬｅｖｅｌＳｃａｌｅ＿１で変換出力信号ｙⁿを除算し、（ｑｐ／６−４）でシフトダウンして、整数値に丸めることで、量子化係数Ｃⁿを生成する（式６及び式７を参照、Ｃ₁（ｉ，ｊ）はＣ（ｉ，ｊ）、ｙ₂（ｉ，ｊ）はｙ（ｉ，ｊ）と読み替える）。

図１５は、図１４に示す符号化装置１００ａの動作の一例を示すフローチャートである。

まず、入力された変換入力信号ｘⁿに対して、第１変換部１１０は、第１変換Ｔ₁を行うことで、第１変換出力信号ｙ₁ ⁿを生成する（Ｓ１１０）。次に、分割部１２０は、生成された第１変換出力信号ｙ₁ ⁿを分割することで、第１部分信号ｙ_1L ^mと第２部分信号ｙ_1H ^n-mとを生成する（Ｓ１２０）。第１変換及び分割の具体的な処理については図６と同様であるので、ここでは説明を省略する。

次に、第２変換部１３０が、第１部分信号ｙ_1L ^mに第２変換を行うとともに、スケール補正部１３１ａが、第２部分信号ｙ_1H ^n-mにスケール補正を行う（Ｓ１３０ａ）。具体的には、第２変換部１３０は、第２変換行列Ａ₂ ^mを用いて第１部分信号ｙ_1L ^mに対して第２変換Ｔ₂を行う。例えば、図７に示すように、第２変換部１３０は、第１部分信号ｙ_1L ^mにノルム補正を行い、補正後の第１部分信号ｙ’_1L ^mに第２変換Ｔ₂を行うことで、第２変換出力信号ｙ₂ ^mを生成する。また、スケール補正部１３１ａは、第１変換行列Ａ₁ ⁿのノルムを用いて第２部分信号ｙ_1H ^n-mを補正することで、補正後の第２部分信号ｙ’_1H ^n-mを生成する。

なお、スケール補正と第２逆変換とはいずれが先に実行されてもよく、また、並列処理で実行されてもよい。並列処理で実行した場合、符号化処理を高速化することができる。

次に、統合部１５０ａは、第２変換出力信号ｙ₂ ^mと補正後の第２部分信号ｙ’_1H ^n-mとを統合することで、変換出力信号ｙⁿを生成する（Ｓ１４０ａ）。そして、量子化部１４０ａは、変換出力信号ｙⁿを量子化することで、量子化係数Ｃⁿを生成する（Ｓ１５０ａ）。

最後に、エントロピー符号化部１６０は、量子化係数Ｃⁿをエントロピー符号化することで、符号化信号を生成する（Ｓ１６０）。

以上のように、実施の形態１の変形例に係る符号化装置１００ａによれば、分割した信号を統合した後に量子化を行うので、分割した信号のそれぞれに量子化を行う場合に比べて、丸め誤差を低減することができ、演算精度を高めることができる。

なお、上記の実施の形態１に係る符号化装置１００では、第１変換出力信号を第１部分信号と第２部分信号とに分割し、第２変換後に統合するが、明示的に分割しなくてもよく、実質的に分割すればよい。すなわち、第１変換出力信号のうち、第２変換を実行する対象となる部分を決定すればよい。

例えば、図１６に示す符号化装置１００ｂのように、分割部１２０及び統合部１５０を備えなくてもよい。図１６は、本発明の実施の形態１の変形例に係る符号化装置１００ｂの構成の一例を示すブロック図である。

符号化装置１００ｂは、第１変換部１１０と、第２変換部１３０ｂと、量子化部１４０ｂと、エントロピー符号化部１６０とを備える。なお、図３に示す符号化装置１００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。

第２変換部１３０ｂは、第１変換出力信号ｙ₁ ⁿの一部である第１部分信号ｙ_1L ^mを含む集合の統計特性に基づいて決定された第２変換行列Ａ₂を用いて、第１部分信号ｙ_1L ^mに第２変換Ｔ₂を行うことで、第２変換出力信号ｙ₂ ^mを生成する。具体的には、第２変換部１３０ｂは、第１変換出力信号ｙ₁ ⁿを構成する係数値のうち、第２変換Ｔ₂の対象となる係数値を決定し、決定した係数値から構成される信号を第１部分信号ｙ_1L ^mとして、第２変換Ｔ₂を行う。

また、第２変換部１３０ｂは、第２変換部１３０と同様に、第１部分信号ｙ_1L ^mに所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号ｙ’_1L ^mを生成する。そして、第２変換部１３０ｂは、補正後の第１部分信号ｙ’_1L ^mに、第２変換行列Ａ₂を用いた第２変換Ｔ₂を行うことで、第２変換出力信号ｙ₂ ^mを生成する。スケーリングパラメータは、例えば、上述したような、第１変換行列Ａ₁ ⁿのノルム、又は、後述する量子化マトリクスのウェイトスケールである。

あるいは、第２変換部１３０ｂは、第２変換行列Ａ₂ ^mに所定のスケーリングパラメータを用いた補正を行うことで、補正後の第２変換行列Ａ’₂ ^mを生成してもよい。そして、第２変換部１３０ｂは、補正後の第２変換行列Ａ’₂ ^mを用いた第２変換Ｔ₂を第１部分信号ｙ_1L ^mに行うことで、第２変換出力信号ｙ₂ ^mを生成してもよい。

量子化部１４０ｂは、第１部分信号ｙ_1L ^mと、第１変換出力信号ｙ₁ ⁿのうち第１部分信号ｙ_1L ^m以外の部分である第２部分信号ｙ_1H ^n-mとを量子化することで、量子化係数Ｃⁿを生成する。

図１７は、図１６に示す符号化装置１００ｂの動作の一例を示すフローチャートである。

まず、入力された変換入力信号ｘⁿに対して、第１変換部１１０は、第１変換Ｔ₁を行うことで、第１変換出力信号ｙ₁ ⁿを生成する（Ｓ１１０）。第１変換の具体的な処理については図６と同様であるので、ここでは説明を省略する。

次に、第２変換部１３０ｂが、第１部分信号ｙ_1L ^mに第２変換を行う（Ｓ１３０ｂ）。例えば、第２変換部１３０ｂは、第１変換出力信号ｙ₁ ⁿのうち、第２変換Ｔ₂を行う対象となる部分を、第１部分信号ｙ_1L ^mとして決定し、決定した第１部分信号ｙ_1L ^mに対して第２変換行列Ａ₂ ^mを用いて第２変換Ｔ₂を行う。

例えば、第２変換部１３０ｂは、第１変換出力信号ｙ₁ ⁿのうち第１部分信号ｙ_1L ^mに乗じる第２変換行列Ａ₂を決定する。具体的には、第１変換出力信号ｙ₁ ⁿのうち第２部分信号ｙ_1H ^n-mに乗じられる第２変換行列Ａ₂の係数を１にすることで、実質的に第１部分信号ｙ_1L ^mにのみ、第２変換Ｔ₂を行うことができる。

次に、量子化部１４０ｂは、第２変換出力信号ｙ₂ ^mを含む変換出力信号ｙⁿを量子化することで、量子化係数Ｃⁿを生成する（Ｓ１５０ｂ）。

最後に、エントロピー符号化部１６０は、量子化係数Ｃⁿをエントロピー符号化することで、符号化信号を生成する（Ｓ１６０）。

以上のように、実施の形態１の変形例に係る符号化装置１００ｂも、部分的に２段階の変換を行うことで、符号化処理における演算量の増加、及び、変換係数のデータ量の増加を抑制することができる。

（実施の形態２）
実施の形態２に係る復号装置は、符号化信号にエントロピー復号、逆量子化、及び逆変換を行うことで、復号信号を生成する。逆変換は、第２逆変換と第１逆変換とを含み、第２逆変換は、エントロピー復号を行うことで生成される復号量子化係数の一部である第１復号量子化係数に実行される。実施の形態２に係る復号装置は、第１逆変換係数から算出したノルムを用いて、第２逆変換後の第１復号量子化係数、又は、第２逆変換に用いる第２逆変換係数を補正することを特徴とする。以下では、まず、実施の形態２に係る復号装置の構成の一例について、図１８を用いて説明する。

図１８は、実施の形態２に係る復号装置５００の構成の一例を示すブロック図である。復号装置５００には、音声データ、静止画像データ、及び動画像データなどの各種データが符号化された信号である符号化信号が入力される。図１８に示すように、復号装置５００は、エントロピー復号部５１０と、分割部５２０と、逆量子化部５３０と、第２逆変換部５４０と、統合部５５０と、第１逆変換部５６０とを備える。

なお、復号装置５００に入力される符号化信号は、符号化装置に入力された各種データを示す入力信号を変換及び量子化することで生成された信号である。より具体的には、符号化信号は、入力信号が時空間ドメインから周波数ドメインに変換され、変換された信号の一部がさらに変換されて生成された信号である。つまり、符号化信号は、２段階の変換が実行された信号である。例えば、符号化信号は、実施の形態１に係る符号化装置１００が生成した信号である。

エントロピー復号部５１０は、符号化信号をエントロピー復号することで、復号量子化係数Ｃ＾ⁿを生成する。復号量子化係数Ｃ＾ⁿは、分割部５２０に出力される。なお、符号化信号には、当該符号化信号を正しく復号するための制御情報が、ヘッダ情報として記述されている。したがって、エントロピー復号部５１０は、これらの制御情報を取得し、各処理部に出力する。なお、制御情報は、例えば、分割統合情報、第１逆変換係数、第２逆変換係数などを含んでいてもよい。

分割部５２０は、分割統合情報に基づいて、復号量子化係数Ｃ＾ⁿを第１復号量子化係数Ｃ＾₁ ^mと第２復号量子化係数Ｃ＾₂ ^n-mとに分割する。第１復号量子化係数Ｃ＾₁ ^mは、実施の形態１に係る補正無し量子化部１４１が生成した第１量子化係数Ｃ₁ ^mに相当し、第２復号量子化係数Ｃ＾₂ ^n-mは、実施の形態１に係る補正付き量子化部１４２が生成した第２量子化係数Ｃ₂ ^n-mに相当する。

分割統合情報は、復号量子化係数Ｃ＾ⁿをどのように分割するかを示す情報であって、具体的には、符号化装置によって変換処理の際にどのように変換対象信号（第１変換によって生成される第１変換出力信号）が分割されたかを示す情報である。分割統合情報は、符号化信号に含まれていてもよく、又は、復号装置５００が備える内部メモリなどに格納されていてもよい。特に、変換対象信号が固定位置で分割される場合は、メモリに分割統合情報を格納しておくことで、符号化信号の符号量を削減することができる。

逆量子化部５３０は、補正無し逆量子化部５３１と補正付き逆量子化部５３２とを備え、第１復号量子化係数Ｃ＾₁ ^mを逆量子化することで第２復号変換出力信号ｙ＾₂ ^mを生成し、かつ、第２復号量子化係数Ｃ＾₂ ^n-mを逆量子化することで第２復号部分信号ｙ＾_1H ^n-mを生成する。

補正無し逆量子化部５３１は、所定のスケーリングパラメータを用いずに第１復号量子化係数Ｃ＾₁ ^mを逆量子化することで、第２復号変換出力信号ｙ＾₂ ^mを生成する。ここで、所定のスケーリングパラメータとは、実施の形態１で説明したものと同じであり、例えば、レベルスケールを決定するための量子化マトリクス、又はノルム補正値である。なお、実施の形態２では、後で説明するように、第２逆変換部５４０は、所定のスケーリングパラメータとして、ノルム補正値を用いて補正処理を行う。

例えば、補正無し逆量子化部５３１は、上記のスケーリングパラメータであるノルム補正値を用いないレベルスケールＬｅｖｅｌＳｃａｌｅ＿１を第１復号量子化係数Ｃ＾₁ ^mに乗じることで、第２復号変換出力信号ｙ＾₂ ^mを生成する（式１４参照）。生成した第２復号変換出力信号ｙ＾₂ ^mは、第２逆変換部５４０に出力される。

なお、レベルスケールＬｅｖｅｌＳｃａｌｅ＿１は、式７で示される。また、ｑｐ％６は、量子化パラメータｑｐの値を６で割った余りを示す。なお、量子化パラメータｑｐは、符号化信号のヘッダなどに、符号化信号を復号するための制御情報として記述されている。つまり、レベルスケールＬｅｖｅｌＳｃａｌｅ＿１は、周波数位置と量子化パラメータとに基づいて決定される値である。

補正付き逆量子化部５３２は、上記のスケーリングパラメータであるノルム補正値を用いて第２復号量子化係数Ｃ＾₂ ^n-mを逆量子化することで、第２復号部分信号ｙ＾_1H ^n-mを生成する。例えば、補正付き逆量子化部５３２は、ノルム補正値を用いたレベルスケールＬｅｖｅｌＳｃａｌｅを第２復号量子化係数Ｃ＾₂ ^n-mに乗じ、（ｑｐ／６−４）でシフトアップすることで、第２復号部分信号ｙ＾_1H ^n-mを生成する（式１５参照）。生成した第２復号部分信号ｙ＾_1H ^n-mは、統合部５５０に出力される。

なお、レベルスケールＬｅｖｅｌＳｃａｌｅは、式５で示される。

第２逆変換部５４０は、第２逆変換行列Ａ^-1 ₂ ^mを用いて、第２復号変換出力信号ｙ＾₂ ^mを逆変換するとともに、上記のスケーリングパラメータであるノルム補正値を用いた補正を行うことで、第１復号部分信号ｙ＾_1L ^mを生成する。具体的には、第２逆変換部５４０は、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mに補正を行うことで、第１復号部分信号ｙ＾_1L ^mを生成する。つまり、第２逆変換部５４０は、実施の形態１に係る第２変換部１３０が行う変換処理（第２変換Ｔ₂）と反対の処理である逆変換処理（第２逆変換Ｔ₂ ^-1）を第２復号変換出力信号ｙ＾₂ ^mに対して行う。より具体的な構成については、後で説明する。

統合部５５０は、分割統合情報を用いて、第１復号部分信号ｙ＾_1L ^mと第２復号部分信号ｙ＾_1H ^n-mとを統合することで、第１復号変換出力信号ｙ＾₁ ⁿを生成する。生成した第１復号変換出力信号ｙ＾₁ ⁿは、第１逆変換部５６０に出力される。

第１逆変換部５６０は、第１逆変換行列Ａ^-1 ₁ ⁿを用いて、第１復号変換出力信号ｙ＾₁ ⁿを逆変換することで、復号信号を生成する。具体的には、第１逆変換部５６０は、実施の形態１に係る第１変換部１１０が行う変換処理（第１変換Ｔ₁）と反対の処理である逆変換処理（第１逆変換Ｔ₁ ^-1）を第１復号変換出力信号ｙ＾₁ ⁿに対して行う。

例えば、第１逆変換部５６０は、第１逆変換行列Ａ^-1 ₁ ⁿを用いて、第１復号変換出力信号ｙ＾₁ ⁿに第１逆変換Ｔ₁ ^-1を行う。具体的には、第１逆変換部５６０は、第１変換行列Ａ₁ ⁿの逆行列を算出し、算出した逆行列を用いて、式１３に従って第１復号変換出力信号ｙ＾₁ ⁿを逆変換する。

ここで、第１逆変換行列Ａ^-1 ₁ ⁿは、実施の形態１で説明したように、変換処理の対象となる信号である変換入力信号ｙ₁ ⁿを含む集合の統計特性に基づいて決定された係数であり、例えば、ＫＬＴによって決定された係数である。なお、第１逆変換部５６０は、第１逆変換Ｔ₁ ^-1として、逆ＤＣＴ変換を行ってもよく、この場合、第１逆変換係数は、固定の係数であるので、第１逆変換部５６０が備える内部メモリなどに記憶されていてもよい。

以下では、実施の形態２に係る第２逆変換部５４０の具体的な構成について説明する。

図１９は、実施の形態２に係る第２逆変換部５４０の構成の一例を示すブロック図である。また、図２０は、実施の形態２に係る第２逆変換部５４０におけるデータフローの一例を概念的に示す図である。

図１９に示すように、第２逆変換部５４０は、第２逆変換処理部５４１と、スケール逆補正部５４２とを備える。

第２逆変換処理部５４１は、第２逆変換行列Ａ^-1 ₂ ⁿを用いて第２復号変換出力信号ｙ＾₂ ^mを逆変換することで、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mを生成する。例えば、第２変換行列Ａ₂ ⁿの逆行列を算出し、算出した逆行列を用いて、式１３に従って第２復号変換出力信号ｙ＾₂ ^mを逆変換する。

スケール逆補正部５４２は、第１逆変換行列Ａ^-1 ₁ ⁿから算出したノルムを用いて、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mを補正する。ノルムは、実施の形態１と同様に、式９に従って算出される。

なお、符号化信号に第１逆変換行列Ａ₁ ⁿが含まれている場合など、第１逆変換行列Ａ^-1 ₁ ⁿが適応的に変化する場合、ノルムも変化するので、スケール逆補正部５４２は、ノルムを算出し、算出したノルムを用いて逆変換後の第２復号変換出力信号ｙ＾’_1L ^mを補正する。第１逆変換行列Ａ^-1 ₁ ⁿが固定の係数である場合、スケール逆補正部５４２は、内部メモリなどにノルムを保持しておけばよい。

スケール逆補正部５４２は、実施の形態１に係るスケール補正部１３１と反対の処理である逆補正処理を行う。具体的には、スケール逆補正部５４２は、式１６に示すように、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mにノルムを乗じることで、第１復号部分信号ｙ＾_1L ^mを生成する。

なお、式１６に示す乗算は、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mに含まれる要素毎に行われる。すなわち、スケール逆補正部５４２は、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mの要素ｙ＾’_1L（ｉ）に、ノルムＮ（ｉ）を乗じることで、第１復号部分信号ｙ＾_1L ^mの要素ｙ＾_1L（ｉ）を生成する。

以上のように、実施の形態２に係る復号装置５００では、２段階の逆変換を行う際に、第２逆変換によって生成された逆変換後の第２復号変換出力信号ｙ＾’_1L ^mにノルム逆補正を行う。なお、ノルム逆補正とは、実施の形態１で説明したノルム補正と反対の処理であり、ここでは、対象信号にノルムを乗じる処理である。

第１変換及び第２変換が分離型（水平変換と垂直変換とを逐次行う）であるか、非分離型（一次元データ列と考えて一回の変換を行う）であるかによって、ノルムの導出方法が若干異なる。以下に詳細を説明する。なお、第１変換及び第２変換が双方共に、分離型又は非分離型が一致する場合は上記までのノルム導出方法で構わない。ここでは、第１変換が分離型で、第２変換が非分離型の場合を説明する。

Ｍ×Ｍのブロック信号に対する、第１変換の水平変換のノルムをＮ_H（ｊ）、垂直変換のノルムをＮ_V（ｉ）とする（１≦ｉ，ｊ≦Ｍ）。ｉはブロック内の水平位置を示し、ｊはブロック内の垂直位置を示している。このとき、式１６で用いるＮ（）はＮ_H（ｊ）＊Ｎ_V（ｉ）で得られる。ブロックをラスター順でインデックスを付与したスキャン順をｋとすると、ｉはｋをＭで除した値、ｊはｋをＭで除した余りである。

なお、第１変換が非分離型で、第２変換が分離型である場合は、第２変換の水平又は垂直変換において、列あるいは行単位にノルム補正量を切り替えることで実現する。

続いて、実施の形態２に係る復号装置５００の動作について、図２１を用いて説明する。図２１は、実施の形態２に係る復号装置５００の動作の一例を示すフローチャートである。

まず、音声データ又は動画像データなどが符号化された符号化信号が、復号装置５００に入力される。エントロピー復号部５１０は、入力された符号化信号をエントロピー復号することで、復号量子化係数Ｃ＾ⁿを取得する（Ｓ４１０）。なお、符号化信号に、分割統合情報、第１逆変換行列Ａ^-1 ₁ ⁿ、及び第２逆変換行列Ａ^-1 ₂ ^mなどの制御情報が含まれている場合は、エントロピー復号部５１０は、制御情報を取得し、取得した制御情報を各処理部に出力する。

次に、分割部５２０は、分割統合情報に基づいて、復号量子化係数Ｃ＾ⁿを第１復号量子化係数Ｃ＾₁ ^mと第２復号量子化係数Ｃ＾₂ ^n-mとに分割する（Ｓ４２０）。このとき、分割部５２０は、例えば、エントロピー復号部５１０から入力された分割統合情報を用いて、又は、内部メモリから読み出した分割統合情報を用いて、復号量子化係数Ｃ＾ⁿを分割する。

次に、逆量子化部５３０は、第１復号量子化係数Ｃ＾₁ ^mと第２復号量子化係数Ｃ＾₂ ^n-mとを逆量子化する（Ｓ４３０）。具体的には、補正無し逆量子化部５３１は、第１復号量子化係数Ｃ＾₁ ^mを逆量子化することで、第２復号変換出力信号ｙ＾₂ ^mを生成する。さらに、補正付き逆量子化部５３２は、第２復号量子化係数Ｃ＾₂ ^n-mを逆量子化することで、第２復号部分信号ｙ＾_1H ^n-mを生成する。なお、補正無し逆量子化部５３１が行う処理と、補正付き逆量子化部５３２が行う処理とは、いずれが先行してもよく、あるいは、並列処理で行われてもよい。

次に、第２逆変換部５４０は、第２復号変換出力信号ｙ＾₂ ^mを逆変換するとともに、ノルムを用いて補正を行うことで、第１復号部分信号ｙ＾_1L ^mを生成する（Ｓ４４０）。第２逆変換部５４０が行う具体的な動作については、図２２を用いて後で説明する。

次に、統合部５５０は、分割統合情報を用いて、第１復号部分信号ｙ＾_1L ^mと第２復号部分信号ｙ＾_1H ^n-mとを統合することで、第１復号変換出力信号ｙ＾₁ ⁿを生成する（Ｓ４５０）。

最後に、第１逆変換部５６０は、第１逆変換行列Ａ^-1 ₁ ⁿを用いて第１復号変換出力信号ｙ＾₁ ⁿを逆変換することで、復号信号ｘ＾ⁿを生成する（Ｓ４６０）。

続いて、実施の形態２に係る復号装置５００が行う第２逆変換処理（Ｓ４４０）の詳細について説明する。図２２は、実施の形態２に係る第２逆変換部５４０の動作の一例を示すフローチャートである。

第２逆変換処理部５４１は、第２逆変換行列Ａ^-1 ₂ ^mを用いて、第２復号変換出力信号ｙ＾₂ ^mを逆変換することで、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mを生成する（Ｓ４４１）。

次に、スケール逆補正部５４２は、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mにノルムを乗じることで、第１復号部分信号ｙ＾_1L ^mを生成する（Ｓ４４２）。なお、第１逆変換行列Ａ^-1 ₁ ⁿが適応的に変化する場合は、スケール逆補正部５４２は、第１逆変換行列Ａ^-1 ₁ ⁿからノルムを算出し、算出したノルムを用いて逆変換後の第２復号変換出力信号ｙ＾’_1L ^mを補正する。

以上のように、実施の形態２に係る復号装置５００では、第２逆変換部５４０は、第２復号変換出力信号に第２逆変換を行うことで生成された変換後の第２復号変換出力信号に、ノルム逆補正を行う。

なお、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mにノルム逆補正を行うのではなく、第２逆変換行列Ａ^-1 ₂ ^mにノルム逆補正を行っても同様の効果が得られる。

図２３は、実施の形態２の変形例に係る第２逆変換部６４０の構成の一例を示すブロック図である。また、図２４は、実施の形態２に係る第２逆変換部６４０におけるデータフローの一例を概念的に示す図である。

図２３に示すように、第２逆変換部６４０は、第２逆変換処理部５４１と、修正係数導出部６４２とを備える。

修正係数導出部６４２は、第１逆変換行列Ａ^-1 ₁ ⁿから算出したノルムを用いて、第２逆変換行列Ａ^-1 ₂ ^mを補正する。なお、ノルムは、式９によって算出される。具体的には、修正係数導出部６４２は、式１７に従って第２逆変換行列Ａ^-1 ₂ ^mを補正する。つまり、修正係数導出部６４２は、第２逆変換行列Ａ^-1 ₂ ^mにノルムを乗じることで、補正後の第２逆変換行列Ａ’^-1 ₂ ^mを生成する。

第２逆変換処理部５４１は、補正後の第２逆変換行列Ａ’^-1 ₂ ^mを用いて、第２復号変換出力信号ｙ＾₂ ^mを逆変換することで、第１復号部分信号ｙ＾_1L ^mを生成する。

図２５は、実施の形態２の変形例に係る第２逆変換部６４０の動作の一例を示すフローチャートである。

まず、修正係数導出部６４２は、第１逆変換行列Ａ^-1 ₁ ⁿから算出したノルムを用いて、式１７に従って第２逆変換行列Ａ^-1 ₂ ^mを補正することで、修正係数である補正後の第２逆変換行列Ａ’^-1 ₂ ^mを導出する（Ｓ５４１）。

次に、第２逆変換処理部５４１は、補正後の第２逆変換行列Ａ’^-1 ₂ ^mを用いて、第２復号変換出力信号ｙ＾₂ ^mを逆変換することで、第１復号部分信号ｙ＾_1L ^mを生成する（Ｓ５４２）。

なお、修正係数の導出は、例えば、第２逆変換行列Ａ^-1 ₂ ^mの導出に用いられた集合Ｓ_C毎に行う。したがって、図２０に示すような第２復号変換出力信号ｙ＾₂ ^mが入力される度に補正を行う場合に比べて、演算量を削減することができる。

以上のように、第２復号変換出力信号ｙ＾₂ ^mではなく、第２逆変換行列Ａ^-1 ₂ ^mにノルム逆補正を行うことによっても、同様に符号化効率を高める効果を得ることができる。

また、本発明は、予測符号化された符号化信号を復号する予測復号に適用してもよい。

図２６は、実施の形態２の変形例における復号装置７００の構成の一例を示す図である。復号装置７００には、予測符号化された符号化信号が入力される。予測符号化された符号化信号は、例えば、図１２に示す符号化装置４００から出力される符号化信号であり、予測誤差信号を変換及び量子化することで生成される信号である。

図２６に示す復号装置７００は、エントロピー復号部５１０と、逆量子化・逆変換部７２０と、加算器７３０と、メモリ７４０と、予測部７５０とを備える。なお、図１８に示す復号装置５００と同じ動作を行う処理部には、同じ符号に付しており、以下では説明を省略する。

逆量子化・逆変換部７２０は、上述したように動作するので、ここでは説明を省略する。例えば、逆量子化・逆変換部７２０は、図１８に示す分割部５２０と、逆量子化部５３０と、第２逆変換部５４０と、統合部５５０と、第１逆変換部５６０とを備える。

加算器７３０は、逆量子化・逆変換部７２０から出力される復号変換入力信号と、予測部７５０によって生成された予測信号とを加算することで、復号信号を生成する。

メモリ７４０は、復号信号を格納するメモリなどの記憶部の一例である。

予測部７５０は、メモリ７４０に格納された、前に復号された復号信号を参照して、予測信号を生成する。生成した予測信号は、加算器７３０に出力される。例えば、予測部７５０は、エントロピー復号部５１０から入力される制御情報に基づいて予測信号を生成する。

続いて、上記の復号装置７００の動作について、図２７を用いて説明する。

図２７は、実施の形態２の変形例における復号装置７００の動作の一例を示すフローチャートである。

まず、音声データ又は動画像データなどの入力信号が予測符号化された符号化信号が復号装置７００に入力される。すなわち、符号化信号は、入力信号と予測信号との差分である予測誤差信号が変換、量子化及びエントロピー符号化されて生成された信号である。

予測部７５０は、メモリ７４０に格納された復号済みの復号信号に基づいて予測信号を生成する（Ｓ６００）。

以降、図２１を用いて説明したように、逆量子化・逆変換部７２０は、符号化信号に対して、エントロピー復号、分割、逆量子化、補正付き第２逆変換、統合、及び、第１逆変換を行うことで、復号予測誤差信号を生成する（Ｓ４１０〜Ｓ４６０）。なお、復号予測誤差信号は、第１復号変換出力信号ｙ＾₁ ⁿを逆変換することで生成される信号であって、予測誤差信号に相当する信号である。

次に、加算器７３０は、予測信号と復号予測誤差信号とを加算することで、復号信号を生成する（Ｓ６７０）。加算器７３０は、生成した復号信号をメモリ７４０に参照信号として格納するとともに、復号信号を出力信号として外部に出力する（Ｓ６８０）。

なお、予測信号を生成する際に、符号化信号に含まれる制御情報を必要とする場合は、予測信号の生成（Ｓ６００）をエントロピー復号処理（Ｓ４１０）の後に行えばよい。また、予測信号の生成（Ｓ６００）と分割処理（Ｓ４２０）から第１逆変換（Ｓ４６０）とは、並列化してもよい。

以上のようにして、復号装置７００は、予測誤差信号が符号化された符号化信号を復号することができる。

また、第２部分信号と第２変換出力信号とが統合されずに、別々に量子化及びエントロピー符号化された符号化信号を復号してもよい。つまり、エントロピー復号及び逆量子化することで、第２復号部分信号と第２復号変換出力信号とを生成するので、復号装置５００は、分割部５２０を備えていなくてもよい。

また、逆量子化部５３０は、補正無し逆量子化部５３１と補正付き逆量子化部５３２とを備えるのではなく、１つの逆量子化部５３０の内部で、補正の有無を切り替える構成であってもよい。

また、上記の実施の形態２に係る復号装置５００は、復号量子化係数Ｃ＾ⁿを第１復号量子化係数Ｃ＾₁ ^mと第２復号量子化係数Ｃ＾₂ ^n-mとに分割してから逆量子化したが、復号量子化係数Ｃ＾ⁿを逆量子化してから分割してもよい。つまり、２つの信号に対して逆量子化を別々に行わずに、分割前の１つの信号に対して逆量子化を行ってもよい。

図２８は、本発明の実施の形態２の変形例に係る復号装置５００ａの構成の一例を示す図である。

図２８に示す復号装置５００ａは、エントロピー復号部５１０と、分割部５２０ａと、逆量子化部５３０ａと、第２逆変換部５４０と、スケール逆補正部５４２ａと、統合部５５０と、第１逆変換部５６０とを備える。なお、図１８に示す復号装置５００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。

逆量子化部５３０ａは、エントロピー復号部５１０によって生成された復号量子化係数Ｃ＾ⁿを逆量子化することで、復号変換出力信号ｙ＾ⁿを生成する。具体的には、逆量子化部５３０ａは、ノルム補正値を用いないレベルスケールＬｅｖｅｌＳｃａｌｅ＿１を復号量子化係数Ｃ＾ⁿに乗じることで、復号変換出力信号ｙ＾ⁿを生成する（式１４参照、Ｃ＾₁（ｉ，ｊ）はＣ＾（ｉ，ｊ）、ｙ＾₂（ｉ，ｊ）はｙ＾（ｉ，ｊ）と読み替える）。なお、生成した復号変換出力信号ｙ＾ⁿは、第２復号変換出力信号ｙ＾₂ ^mと、補正前の第２復号部分信号ｙ＾’_1H ^n-mとを含んでいる。

分割部５２０ａは、分割統合情報に基づいて、逆量子化部５３０ａによって生成された復号変換出力信号ｙ＾ⁿを、第２復号変換出力信号ｙ＾₂ ^mと、補正前の第２復号部分信号ｙ＾’_1H ^n-mとに分割する。第２復号変換出力信号ｙ＾₂ ^mは、実施の形態１の変形例に係る第２変換部１３０が生成した第２変換出力信号ｙ₂ ^mに相当する。補正前の第２復号部分信号ｙ＾’_1H ^n-mは、実施の形態１の変形例に係るスケール補正部１３１ａが生成した補正後の第２部分信号ｙ’_1H ^n-mに相当する。

スケール逆補正部５４２ａは、分割部５２０ａから出力される補正前の第２復号部分信号ｙ＾’_1H ^n-mを、所定のスケーリングパラメータを用いて補正することで、第２復号部分信号ｙ＾_1H ^n-mを生成する。具体的には、スケール逆補正部５４２ａは、実施の形態１の変形例に係るスケール補正部１３１ａと反対の処理である逆補正処理（スケール逆補正）を行う。より具体的には、スケール逆補正部５４２ａは、補正前の第２復号部分信号ｙ＾’_1H ^n-mにノルムを乗じることで、第２復号部分信号ｙ＾_1H ^n-mを生成する（式１６参照、ｙ＾_1L（ｉ）はｙ＾_1H（ｉ）、ｙ＾’_1L（ｉ）はｙ＾’_1H（ｉ）と読み替える）。

図２９は、図２８に示す復号装置５００ａの動作の一例を示すフローチャートである。

まず、音声データ又は動画像データなどが符号化された符号化信号が、復号装置５００ａに入力される。そして、エントロピー復号部５１０は、入力された符号化信号をエントロピー復号することで、復号量子化係数Ｃ＾ⁿを生成する（Ｓ４１０）。

次に、逆量子化部５３０ａは、復号量子化係数Ｃ＾ⁿを逆量子化することで、復号変換出力信号ｙ＾ⁿを生成する（Ｓ４２０ａ）。次に、分割部５２０ａは、復号変換出力信号ｙ＾ⁿを、第２復号変換出力信号ｙ＾₂ ^mと補正前の第２復号部分信号ｙ＾’_1H ^n-mとに分割する（Ｓ４３０ａ）。

次に、第２逆変換部５４０が、第２復号変換出力信号ｙ＾₂ ^mに第２逆変換Ｔ₂ ^-1を行うとともに、スケール逆補正部５４２ａが、補正前の第２復号部分信号ｙ＾’_1H ^n-mにスケール逆補正を行う（Ｓ４４０ａ）。例えば、図２２に示すように、第２逆変換部５４０は、第２逆変換行列Ａ^-1 ₂ ^mを用いて第２復号変換出力信号ｙ＾₂ ^mを逆変換し、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mにノルム補正を行うことで、第１復号部分信号ｙ＾_1L ^mを生成する。また、スケール逆補正部５４２ａは、補正前の第２復号部分信号ｙ＾’_1H ^n-mにノルム逆補正を行うことで、第２復号部分信号ｙ＾_1H ^n-mを生成する。

以降、図２１に示すフローチャートの動作と同様に、統合部５５０が、第１復号部分信号ｙ＾_1L ^mと、第２復号部分信号ｙ＾_1H ^n-mとを統合することで、第１復号変換出力信号ｙ＾₁ ⁿを生成する（Ｓ４５０）。そして、第１逆変換部５６０が、第１復号変換出力信号ｙ＾₁ ⁿに第１逆変換を行うことで、復号信号ｘ＾ⁿを生成する（Ｓ４６０）。

以上のように、実施の形態２の変形例に係る復号装置５００ａによれば、符号化側において、丸め誤差を低減し、演算精度を高めるために、分割した信号を統合した後に量子化することで生成された符号化信号を復号することができる。

また、上記の実施の形態２に係る復号装置５００では、復号量子化係数を第１復号量子化係数と第２復号量子化係数とに分割し、第２逆変換後に統合するが、明示的に分割しなくてもよい。すなわち、復号量子化係数のうち、第２逆変換を実行する対象となる部分を決定すればよい。

したがって、例えば、図３０に示す復号装置５００ｂのように、分割部５２０及び統合部５５０を備えなくてもよい。図３０は、本発明の実施の形態２に係る復号装置５００ｂの構成の一例を示すブロック図である。

復号装置５００ｂは、エントロピー復号部５１０と、逆量子化部５３０ｂと、第２逆変換部５４０ｂと、第１逆変換部５６０とを備える。なお、図１８に示す復号装置５００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。

逆量子化部５３０ｂは、復号量子化係数Ｃ＾ⁿを逆量子化することで、復号変換出力信号ｙ＾ⁿを生成する。例えば、逆量子化部５３０ｂは、所定のスケーリングパラメータ（例えば、ノルム）を用いずに、復号量子化係数Ｃ＾ⁿの一部である第１復号量子化係数Ｃ＾₁ ^mを逆量子化することで、第２復号変換出力信号ｙ＾₂ ^mを生成し、かつ、スケーリングパラメータを用いて、復号量子化係数Ｃ＾ⁿのうち第１復号量子化係数Ｃ＾₁ ^m以外の部分である第２復号量子化係数Ｃ＾₂ ^n-mを逆量子化することで、第２復号部分信号ｙ＾_1H ^n-mを生成する。具体的には、スケーリングパラメータを構成する係数のうち、第１復号量子化係数Ｃ＾₁ ^mに乗じられる係数値を１とすることで、復号量子化係数Ｃ＾ⁿの部分毎に補正の適用の可否を制御することができる。

なお、逆量子化部５３０ｂは、図２８に示す逆量子化部５３０ａのように、ノルム補正値を用いないレベルスケールＬｅｖｅｌＳｃａｌｅ＿１を復号量子化係数Ｃ＾ⁿに乗じることで、復号変換出力信号ｙ＾ⁿを生成してもよい。

第２逆変換部５４０ｂは、復号変換出力信号ｙ＾ⁿのうち第２復号変換出力信号ｙ＾₂ ^mのみに第２逆変換Ｔ₂ ^-1を行う。例えば、第２逆変換部５４０ｂは、第２逆変換部５４０と同様に、第２逆変換行列Ａ^-1 ₂ ^mを用いて、第２復号変換出力信号ｙ＾₂ ^mを逆変換するとともに、スケーリングパラメータを用いた補正を行うことで、第１復号部分信号ｙ＾_1L ^mを生成する。スケーリングパラメータは、例えば、第１逆変換行列Ａ^-1 ₁ ⁿのノルム、又は、口述する量子化マトリクスのウェイトスケールである。

図３１は、図３０に示す復号装置５００ｂの動作の一例を示すフローチャートである。

まず、エントロピー復号部５１０は、入力された符号化信号をエントロピー復号することで、復号量子化係数Ｃ＾ⁿを生成する（Ｓ４１０）。次に、逆量子化部５３０ｂは、復号量子化係数Ｃ＾ⁿを逆量子化することで、復号変換出力信号ｙ＾ⁿを生成する（Ｓ４２０ｂ）。

具体的には、逆量子化部５３０ｂは、復号量子化係数Ｃ＾ⁿのうち第２逆変換Ｔ₂ ^-1の対象とならない部分である第２復号量子化係数Ｃ＾₂ ^n-mにのみ、スケーリングパラメータを用いた逆量子化を行う。そして、逆量子化部５３０ｂは、復号量子化係数Ｃ＾ⁿのうち第２逆変換Ｔ₂ ^-1の対象となる部分である第１復号量子化係数Ｃ＾₁ ⁿには、スケーリングパラメータを用いずに逆量子化を行う。例えば、スケーリングパラメータであるノルムのうち、第１復号量子化係数Ｃ＾₁ ^mに乗じられるノルム値を１にすることで、逆量子化部５３０ｂは、第１復号量子化係数Ｃ＾₁ ^mには実質的にスケーリングパラメータを用いずに逆量子化する。

次に、第２逆変換部５４０ｂは、復号変換出力信号ｙ＾ⁿのうち、第２逆変換の対象となる部分である第２復号変換出力信号ｙ＾₂ ^mを逆変換することで、第１復号部分信号ｙ＾_1L ^mを生成する（Ｓ４４０ｂ）。そして、第２逆変換部５４０ｂは、生成した第１復号部分信号ｙ＾_1L ^mと第２復号部分信号ｙ＾_1H ^n-mとを含む第１復号変換出力信号ｙ＾₁ ⁿを出力する。

最後に、第１逆変換部５６０は、第１逆変換行列Ａ^-1 ₁ ⁿを用いて第１復号変換出力信号ｙ＾₁ ⁿに第１逆変換Ｔ₁ ^-1を行うことで、復号信号ｘ＾ⁿを生成する（Ｓ４６０）。

以上のように、実施の形態２の変形例に係る復号装置５００ｂによっても、演算量の増加及び変換係数のデータ量の増加を抑制するために、２段階の変換が行われた符号化信号を復号することができる。

（実施の形態３）
実施の形態１に係る符号化装置は、第２変換の前に、第１変換係数から算出したノルムを用いて、第２変換係数又は第１部分信号を補正したのに対して、実施の形態３に係る符号化装置は、第２変換の前に、量子化マトリクスのスケーリングを第２変換係数又は第１部分信号に反映させることを特徴とする。すなわち、実施の形態３に係る符号化装置は、量子化マトリクスを用いて、第２変換係数又は第１部分信号を補正することを特徴とする。

実施の形態３に係る符号化装置は、図３に示す実施の形態１に係る符号化装置１００と比較して、第２変換部１３０の代わりに第２変換部８３０を備える点が異なっている。その他の構成は、図３に示す符号化装置１００と同じであるため、以下では説明を省略する。

図３２は、実施の形態３に係る第２変換部８３０の構成の一例を示すブロック図である。また、図３３は、実施の形態３に係る第２変換部８３０におけるデータフローの一例を概念的に示す図である。

図３２に示すように、第２変換部８３０は、スケール補正部８３１と、第２変換処理部１３２と、ポストスケール補正部８３３とを備える。

スケール補正部８３１は、量子化部１４０で用いられる量子化マトリクスを用いて、第１部分信号ｙ_1L ^mを補正する。具体的には、スケール補正部８３１は、式１８及び式１９に従って、第１部分信号ｙ_1L ^mを補正する。つまり、スケール補正部８３１は、第１部分信号ｙ_1L ^mに量子化マトリクスの逆数ｍｆを乗じることで、補正後の第１部分信号ｙ’_1L ^mを生成する。言い換えると、スケール補正部８３１は、第１部分信号ｙ_1L ^mを量子化マトリクスで除算することで、補正後の第１部分信号ｙ’_1L ^mを生成する。

なお、ｆ（ｉ）は、量子化マトリクスから導出されるウェイトスケール（ｗｅｉｇｈｔＳｃａｌｅ）の各要素の値である。

第２変換処理部１３２は、第２変換行列Ａ₂ ^mを用いて補正後の第１部分信号ｙ’_1L ^mを変換することで、変換後の第１部分信号ｙ’₂ ^mを生成する。

ポストスケール補正部８３３は、量子化マトリクスから算出される補正係数ｍｆ＿２を変換後の第１部分信号ｙ’₂ ^mに乗じることで、第２変換出力信号ｙ₂ ^mを生成する。具体的には、ポストスケール補正部８３３は、式２０及び式２１に従って、変換後の第１部分信号ｙ’₂ ^mを補正することで、第２変換出力信号ｙ₂ ^mを生成する。

なお、Ｓ（ｉ）は、式２２で示される行列の要素である。

以上の構成により、実施の形態３に係る符号化装置では、量子化マトリクスのスケーリングを第２変換前の信号である第１部分信号に反映させることができるので、符号化効率をより高めることができる。

なお、第２変換部８３０は、ポストスケール補正部８３３を備えていなくてもよく、代わりに、補正無し量子化部１４１が、上述のポストスケール補正部８３３と同様の機能を有していてもよい。

次に、実施の形態３に係る符号化装置の動作について説明する。実施の形態３に係る符号化装置の動作は、図６に示す実施の形態１に係る符号化装置１００の動作と比較して、第２変換処理が異なっている。その他の動作は、図６に示す符号化装置１００の動作と同じであるため、以下では説明を省略する。

図３４は、実施の形態３に係る第２変換部８３０の動作の一例を示すフローチャートである。図３４に示す処理は、図６に示す補正付き第２変換（Ｓ１３０）の一例である。

まず、第１部分信号ｙ_1L ^mが第２変換部８３０に入力されると、スケール補正部８３１は、式１８及び式１９に従って、量子化マトリクスの逆数を第１部分信号ｙ₁ ^mに乗じることで、補正後の第１部分信号ｙ’_1L ^mを生成する（Ｓ７３１）。

次に、第２変換処理部１３２は、補正後の第１部分信号ｙ’_1L ^mに対して第２変換行列Ａ₂ ^mを用いて第２変換Ｔ₂を行うことで、変換後の第１部分信号ｙ’₂ ^mを生成する（Ｓ７３２）。

次に、ポストスケール補正部８３３は、式２０〜式２２に従って、変換後の第１部分信号ｙ’₂ ^mに補正係数を乗じることによって、第２変換出力信号ｙ₂ ^mを生成する（Ｓ７３３）。

以上のようにして、第２変換部８３０は、第２変換出力信号ｙ₂ ^mを生成する。なお、第２変換行列Ａ₂ ^mは、第２変換Ｔ₂の対象となる信号（変換対象信号）を含む集合の統計特性に基づいて決定される係数である。

なお、実施の形態１と同様に、実施の形態３においても、第１部分信号ｙ_1L ^mではなく、第２変換行列Ａ₂ ^mを補正してもよい。すなわち、第２変換部８３０は、スケール補正部８３１及びポストスケール補正部８３３の代わりに、図９に示すような修正係数導出部３３１を備えていてもよい。

このとき、修正係数導出部３３１は、量子化マトリクスを用いて第２変換行列Ａ₂ ^mを補正する。具体的には、修正係数導出部３３１は、式２３に従って、第２変換行列Ａ₂ ^mを補正する。式２３に示すように、修正係数導出部３３１は、第２変換行列Ａ₂ ^mの要素ａ₂（ｉ，ｊ）毎に、量子化マトリクスの要素の逆数ｍｆ（ｉ）と、量子化マトリクスから算出される補正係数ｍｆ＿２（ｊ）とを乗じる。

以上のように、第１部分信号ｙ_1L ^mではなく、第２変換行列Ａ₂ ^mを補正することによっても、同様に、符号化効率を高める効果を得ることができる。

なお、実施の形態１と実施の形態３とを組み合わせてもよい。すなわち、第２変換部８３０は、第１部分信号ｙ_1L ^m又は第２変換行列Ａ₂ ^mに、ノルム補正と量子化マトリクスの補正との両方を行ってもよい。

例えば、第１部分信号ｙ_1L ^mを補正する場合、スケール補正部８３１は、式２４に従って、第１部分信号ｙ_1L ^mを補正する。具体的には、スケール補正部８３１は、第１部分信号ｙ_1L ^mの要素ｙ_1L（ｉ）毎に、第１変換行列Ａ₁ ⁿから算出されたノルムＮ（ｉ）の逆数と、量子化マトリクスの要素の逆数ｍｆ（ｉ）とを乗じることで、補正後の第１部分信号ｙ’_1L ^mを生成する。

また、第２変換行列Ａ₂ ^mを補正する場合、修正係数導出部３３１は、式２５に従って、第２変換行列Ａ₂ ^mを補正する。具体的には、修正係数導出部３３１は、第２変換行列Ａ₂ ^mの要素ａ₂（ｉ，ｊ）毎に、第１変換行列Ａ₁ ⁿから算出されたノルムＮ（ｉ）の逆数と、量子化マトリクスの要素の逆数ｍｆ（ｉ）と、量子化マトリクスから算出される補正係数ｍｆ＿２（ｊ）とを乗じることで、補正後の第２変換行列Ａ’₂ ^mを生成する。

以上のような構成であっても、より適した第２変換を第１部分信号に適用することができる。

（実施の形態４）
実施の形態２に係る復号装置は、第１逆変換係数から算出したノルムを用いて、第２逆変換後の第１復号量子化係数、又は、第２逆変換係数を補正したのに対して、実施の形態４に係る復号装置は、量子化マトリクスのスケーリングを、第２逆変換後の第１復号量子化係数、又は、第２逆変換係数に反映させることを特徴とする。すなわち、実施の形態４に係る復号装置は、量子化マトリクスを用いて、第２逆変換後の第１復号量子化係数、又は、第２逆変換係数を補正することを特徴とする。

実施の形態４に係る復号装置は、図１８に示す実施の形態２に係る復号装置５００と比較して、第２逆変換部５４０の代わりに第２逆変換部９４０を備える点が異なっている。その他の構成は、図１８に示す復号装置５００と同じであるため、以下では説明を省略する。

図３５は、実施の形態４に係る第２逆変換部９４０の構成の一例を示すブロック図である。また、図３６は、実施の形態４に係る第２逆変換部９４０におけるデータフローの一例を概念的に示す図である。

図３５に示すように、第２逆変換部９４０は、第２逆変換処理部５４１と、スケール逆補正部９４２と、ポストスケール逆補正部９４３とを備え、実施の形態３で説明した第２変換部８３０が行う変換処理と反対の処理を行う。

ポストスケール逆補正部９４３は、ポストスケール補正部８３３が行う処理と反対の処理（ポストスケール逆補正処理）を行う。具体的には、ポストスケール逆補正部９４３は、量子化マトリクスから算出される補正係数ｍｆ＿２の逆数を第２復号変換出力信号ｙ＾₂ ^mに乗じることで、逆補正後の第２復号変換出力信号ｙ＾’₂ ^mを生成する。なお、これは、式２６に示すように、補正係数ｍｆ＿２で第２復号変換出力信号ｙ＾₂ ^mを除算することと等価である。

なお、補正係数ｍｆ＿２（ｊ）は、式２１及び式２２によって表される。

第２逆変換処理部５４１は、第２変換処理部１３２が行う処理と反対の処理（第２逆変換Ｔ₂ ^-1）を行う。具体的には、第２逆変換処理部５４１は、第２逆変換行列Ａ^-1 ₂ ^mを用いて、逆補正後の第２復号変換出力信号ｙ＾’₂ ^mに第２逆変換Ｔ₂ ^-1を行うことで、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mを生成する。

スケール逆補正部９４２は、スケール補正部８３１が行う処理と反対の処理（スケール逆補正処理）を行う。具体的には、スケール逆補正部９４２は、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mに量子化パラメータを乗じることで、第１復号部分信号ｙ_1L ^mを生成する。なお、これは、式２７に示すように、補正係数ｍｆで第２復号変換出力信号ｙ＾₂ ^mを除算することと等価である。

次に、実施の形態４に係る復号装置の動作について説明する。実施の形態４に係る復号装置の動作は、図２１に示す実施の形態２に係る復号装置５００の動作と比較して、第２逆変換処理が異なっている。その他の動作は、図２１に示す復号装置５００の動作と同じであるため、以下では説明を省略する。

図３７は、実施の形態４に係る第２逆変換部９４０の動作の一例を示すフローチャートである。図３７に示す処理は、図２１に示す補正付き第２逆変換（Ｓ４４０）の一例である。

まず、第２復号変換出力信号ｙ＾₂ ^mが第２逆変換部９４０に入力されると、ポストスケール逆補正部９４３は、式２６に従って、補正係数ｍｆ＿２の逆数を第２復号変換出力信号ｙ＾₂ ^mに乗じることで、逆補正後の第２復号変換出力信号ｙ＾’₂ ^mを生成する（Ｓ８４１）。

次に、第２逆変換処理部５４１は、逆補正後の第２復号変換出力信号ｙ＾’₂ ^mに対して第２逆変換行列Ａ^-1 ₂ ^mを用いて第２逆変換Ｔ₂ ^-1を行うことで、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mを生成する（Ｓ８４２）。

次に、スケール逆補正部９４２は、式２７に従って、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mに量子化マトリクスを乗じることによって、第１復号部分信号ｙ＾_1L ^mを生成する（Ｓ８４３）。

以上のようにして、第２逆変換部９４０は、第１復号部分信号ｙ＾_1L ^mを生成する。なお、第２逆変換行列Ａ^-1 ₂ ^mは、第２変換Ｔ₂の対象となる信号（変換対象信号）を含む集合の統計特性に基づいて決定される係数である。

なお、実施の形態２と同様に、実施の形態４においても、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mではなく、第２逆変換行列Ａ^-1 ₂ ^mを補正してもよい。すなわち、第２逆変換部９４０は、スケール逆補正部９４２及びポストスケール逆補正部９４３の代わりに、図２３に示すような修正係数導出部６４２を備えていてもよい。

このとき、修正係数導出部６４２は、量子化マトリクスを用いて第２逆変換行列Ａ^-1 ₂ ^mを補正する。具体的には、修正係数導出部６４２は、式２８に従って、第２逆変換行列Ａ^-1 ₂ ^mを補正する。式２８に示すように、修正係数導出部６４２は、第２逆変換行列Ａ^-1 ₂ ^mの要素ａ₂（ｉ，ｊ）毎に、量子化マトリクスの要素の逆数ｍｆ（ｉ）と、量子化マトリクスから算出される補正係数ｍｆ＿２（ｊ）とで除算する。

以上のように、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mではなく、第２逆変換行列Ａ^-1 ₂ ^mを補正することによっても、同様に、符号化効率を高める効果を得ることができる。

なお、実施の形態２と実施の形態４とを組み合わせてもよい。すなわち、第２逆変換部９４０は、逆変換後の第２復号変換出力信号ｙ＾’_1L ^m又は第２逆変換行列Ａ^-1 ₂ ^mに、ノルム逆補正と量子化マトリクスの逆補正との両方を行ってもよい。

例えば、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mを補正する場合、スケール逆補正部９４２は、式２９に従って、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mを補正する。具体的には、スケール逆補正部９４２は、逆変換後の第２復号変換出力信号ｙ＾’_1L ^mの要素ｙ＾’_1L（ｉ）毎に、第１逆変換行列Ａ^-1 ₁ ⁿから算出されたノルムＮ（ｉ）を乗じ、量子化マトリクスの要素の逆数ｍｆ（ｉ）を除算することで、第１復号部分信号ｙ＾_1L ^mを生成する。

また、第２逆変換行列Ａ^-1 ₂ ^mを補正する場合、修正係数導出部６４２は、式３０に従って、第２逆変換行列Ａ^-1 ₂ ^mを補正する。具体的には、修正係数導出部６４２は、第２逆変換行列Ａ^-1 ₂ ^mの要素ａ₂（ｉ，ｊ）毎に、第１逆変換行列Ａ^-1 ₁ ⁿから算出されたノルムＮ（ｉ）を乗じ、量子化マトリクスの要素の逆数ｍｆ（ｉ）と、量子化マトリクスから算出される補正係数ｍｆ＿２（ｊ）とで除算することで、補正後の第２逆変換行列Ａ’^-1 ₂ ^mを生成する。

以上のような構成であっても、より適した第２逆変換を第２復号変換出力信号に適用することができる。

（実施の形態５）
上記各実施の形態で示した動画像符号化方法又は動画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法や動画像復号方法の応用例とそれを用いたシステムを説明する。

図３８は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２及び電話網ｅｘ１０４、及び基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図３８のような構成に限定されず、いずれかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、もしくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、又はＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像及び／又は動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

このコンテンツ供給システムを構成する各機器の符号化、復号には上記各実施の形態で示した画像符号化方法あるいは画像復号方法を用いるようにすればよい。

その一例として携帯電話ｅｘ１１４について説明する。

図３９は、上記実施の形態で説明した画像符号化方法と画像復号方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１４について図４０を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２及び操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６及び音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。

電源回路部ｅｘ７１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理及びアナログデジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ６０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データをカメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３及びＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。

画像符号化部ｅｘ７１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を音声処理部ｅｘ７０５を介してデジタルの音声データとして多重分離部ｅｘ７０８に送出する。

多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。

また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。

次に、画像復号部ｅｘ７０９は、本願発明で説明した画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図４１に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データ又はそれらのデータが多重化されたビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ２０４で受信し、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置によりビットストリームを復号してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ２１５、２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２からまたは基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データ又はそれらのデータが多重化された符号化ビットストリームを読み取り復号する、又は記録メディアｅｘ２１５に音声データ、映像データ又はそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号装置又は動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３又は衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号装置を組み込んでもよい。

図４２は、上記各実施の形態で説明した動画像復号方法及び動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４又はケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、又は出力するチューナｅｘ３０１と、受信した符号化データを復調する、又は外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、又は符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、又はそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７、復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインターフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インターフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信又は記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、及び外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、又は書き込む場合には、上記復号処理又は符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込み又は書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図４３に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報及び記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図４４に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、あらかじめグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周又は外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データ又はそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図４２に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明は係る上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。

（実施の形態６）
上記各実施の形態で示した動画像符号化方法及び装置、動画像復号方法及び装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図４５に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化及び／又は映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、又は記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して、又は記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号及び／又は映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５、テレビｅｘ３００等の各出力部から出力される。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

以上、本発明に係る符号化方法、符号化装置、復号方法及び復号装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、符号化処理における演算量の増加、及び、変換係数のデータ量の増加を抑制することができるという効果を奏し、オーディオ、静止画像、及び動画像を符号化する符号化装置、及び、当該符号化装置によって符号化されたデータを復号する復号装置に利用することができる。例えば、本発明は、オーディオ機器、携帯電話、デジタルカメラ、ＢＤレコーダ、デジタルテレビなどの各種ＡＶ機器に利用することができる。

１００、１００ａ、１００ｂ、２００、４００、１０００ 符号化装置
１１０ 第１変換部
１２０、５２０、５２０ａ 分割部
１３０、１３０ｂ、３３０、８３０ 第２変換部
１３１、１３１ａ、８３１ スケール補正部
１３２ 第２変換処理部
１４０、１４０ａ、１４０ｂ、１０２０ 量子化部
１４１ 補正無し量子化部
１４２ 補正付き量子化部
１５０、１５０ａ、５５０ 統合部
１６０、１０３０ エントロピー符号化部
２１１ 第１メモリ
２１２ 第１変換係数導出部
２２１ 第２メモリ
２２２ 分割統合情報生成部
２３１ 第３メモリ
２３２ 第２変換係数導出部
３３１、６４２ 修正係数導出部
４１０ 減算器
４２０ 変換・量子化部
４３０、７２０ 逆量子化・逆変換部
４４０、７３０ 加算器
４５０、７４０ メモリ
４６０、７５０ 予測部
５００、５００ａ、５００ｂ、７００ 復号装置
５１０ エントロピー復号部
５３０、５３０ａ、５３０ｂ 逆量子化部
５３１ 補正無し逆量子化部
５３２ 補正付き逆量子化部
５４０、５４０ｂ、６４０、９４０ 第２逆変換部
５４１ 第２逆変換処理部
５４２、５４２ａ、９４２ スケール逆補正部
５６０ 第１逆変換部
８３３ ポストスケール補正部
９４３ ポストスケール逆補正部
１０１０ 変換部
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ
ｅｘ１１３、ｅｘ１１６ カメラ
ｅｘ１１４ カメラ付デジタル携帯電話（携帯電話）
ｅｘ１１５ ゲーム機
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星（衛星）
ｅｘ２０３ ケーブル
ｅｘ２０４、ｅｘ２０５、ｅｘ６０１ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション（カーナビ）
ｅｘ２１２ 再生装置
ｅｘ２１３、ｅｘ２１９ モニタ
ｅｘ２１４、ｅｘ２１５、ｅｘ２１６、ｅｘ６０７ 記録メディア
ｅｘ２１７ セットトップボックス（ＳＴＢ）
ｅｘ２１８ リーダ／レコーダ
ｅｘ２２０ リモートコントローラ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６、ｅｘ５０７ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８、ｅｘ６０２ 表示部
ｅｘ３０９ 出力部
ｅｘ３１０、ｅｘ５０１ 制御部
ｅｘ３１１、ｅｘ５０５、ｅｘ７１０ 電源回路部
ｅｘ３１２ 操作入力部
ｅｘ３１３ ブリッジ
ｅｘ３１４、ｅｘ６０６ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インターフェース部
ｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１、ｅｘ４０４、ｅｘ５０８ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０２ ＣＰＵ
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームコントローラ
ｅｘ５０６ ストリームＩ／Ｏ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス
ｅｘ５１１ メモリ
ｅｘ６０３ カメラ部
ｅｘ６０４ 操作キー
ｅｘ６０５ 音声入力部
ｅｘ６０８ 音声出力部
ｅｘ７０１ 送受信回路部
ｅｘ７０２ ＬＣＤ制御部
ｅｘ７０３ カメラインターフェース部（カメラＩ／Ｆ部）
ｅｘ７０４ 操作入力制御部
ｅｘ７０５ 音声処理部
ｅｘ７０６ 変復調回路部
ｅｘ７０７ 記録再生部
ｅｘ７０８ 多重分離部
ｅｘ７０９ 画像復号部
ｅｘ７１１ 主制御部
ｅｘ７１２ 画像符号化部
ｅｘ７１３ 同期バス

Claims (26)

1. 第１変換係数を用いて入力信号を変換することで、第１変換出力信号を生成する第１変換ステップと、
   前記第１変換出力信号の一部である第１部分信号を含む集合の統計特性に基づいて決定された第２変換係数を用いて、前記第１部分信号を変換することで、第２変換出力信号を生成する第２変換ステップと、
   前記第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを量子化することで、量子化係数を生成する量子化ステップと、
   前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化ステップとを含み、
   前記第２変換ステップは、
   前記第１部分信号、又は、前記第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成する補正ステップと、
   前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、又は、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する変換ステップとを含む
   符号化方法。
2. 前記量子化ステップでは、前記スケーリングパラメータを用いずに前記第２変換出力信号を量子化し、かつ、前記スケーリングパラメータを用いて前記第２部分信号を量子化することで、量子化係数を生成する
   請求項１記載の符号化方法。
3. 前記補正ステップでは、さらに、前記スケーリングパラメータを用いて前記第２部分信号を補正することで、補正後の第２部分信号を生成し、
   前記量子化ステップでは、前記第２変換出力信号と前記補正後の第２部分信号とを量子化する
   請求項１記載の符号化方法。
4. 前記補正ステップでは、前記スケーリングパラメータとして、前記第１変換係数から算出されたノルムを用いて前記補正を行う
   請求項１〜３のいずれか１項に記載の符号化方法。
5. 前記補正ステップでは、前記第１部分信号に前記ノルムの逆数を乗じることで、前記補正後の第１部分信号を生成し、
   前記変換ステップでは、前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、前記第２変換出力信号を生成する
   請求項４記載の符号化方法。
6. 前記補正ステップでは、前記第２変換係数に前記ノルムの逆数を乗じることで、前記補正後の第２変換係数を生成し、
   前記変換ステップでは、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する
   請求項４記載の符号化方法。
7. 前記補正ステップでは、前記スケーリングパラメータとして、量子化マトリクスを用いて前記補正を行う
   請求項１〜３のいずれか１項に記載の符号化方法。
8. 前記補正ステップでは、前記第１部分信号に前記量子化マトリクスの逆数を乗じることで、前記補正後の第１部分信号を生成し、
   前記変換ステップでは、前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、変換後の第１部分信号を生成し、
   前記第２変換ステップは、さらに、
   前記変換後の第１部分信号に、前記量子化マトリクスから算出される補正係数を乗じることで、前記第２変換出力信号を生成するポスト補正ステップを含む
   請求項７記載の符号化方法。
9. 前記補正ステップでは、前記第２変換係数に前記量子化マトリクスの逆数と、当該量子化マトリクスから算出される補正係数とを乗じることで、前記補正後の第２変換係数を生成し、
   前記変換ステップでは、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する
   請求項７記載の符号化方法。
10. 前記第２変換係数は、ＫＬＴ（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）によって決定される係数である
    請求項１〜９のいずれか１項に記載の符号化方法。
11. 符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号ステップと、
    前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化ステップと、
    第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号を逆変換することで、第１復号部分信号を生成する第２逆変換ステップと、
    前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分に対応する第２復号部分信号とを含む第１復号変換出力信号を、第１逆変換係数を用いて逆変換することで、復号信号を生成する第１逆変換ステップとを含み、
    前記第２逆変換ステップでは、
    前記第２復号変換出力信号を逆変換し、逆変換後の第２復号変換出力信号に、所定のスケーリングパラメータを用いた補正を行うことで、又は、前記第２逆変換係数に前記補正を行い、補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
    復号方法。
12. 前記逆量子化ステップでは、前記スケーリングパラメータを用いずに、前記復号量子化係数の一部である第１復号量子化係数を逆量子化することで、前記第２復号変換出力信号を生成し、かつ、前記スケーリングパラメータを用いて、前記復号量子化係数のうち前記第１復号量子化係数以外の部分である第２復号量子化係数を逆量子化することで、前記第２復号部分信号を生成する
    請求項１１記載の復号方法。
13. 前記符号化方法は、さらに、前記スケーリングパラメータを用いて、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分を補正することで、前記第２部分信号を生成する補正ステップを含む
    請求項１１記載の復号方法。
14. 前記第２逆変換ステップでは、前記スケーリングパラメータとして、前記第１逆変換係数から算出されたノルムを用いて前記補正を行う
    請求項１１〜１３のいずれか１項に記載の復号方法。
15. 前記第２逆変換ステップでは、
    前記第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記逆変換後の第２復号変換出力信号を生成し、
    前記逆変換後の第２復号変換出力信号に前記ノルムを乗じることで、前記第１復号部分信号を生成する
    請求項１４記載の復号方法。
16. 前記第２逆変換ステップでは、
    前記第２逆変換係数に前記ノルムを乗じることで、前記補正後の第２逆変換係数を生成し、
    前記補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
    請求項１４記載の復号方法。
17. 前記第２逆変換ステップでは、前記スケーリングパラメータとして、量子化マトリクスを用いて前記補正を行う
    請求項１１〜１３のいずれか１項に記載の復号方法。
18. 前記第２逆変換ステップでは、
    前記第２復号変換出力信号に、前記量子化マトリクスから算出される補正係数の逆数を乗じることで、ポスト逆補正後の第２復号変換出力信号を生成し、
    前記第２逆変換係数を用いて前記ポスト逆補正後の第２復号変換出力信号を逆変換することで、逆変換後の第２復号変換出力信号を生成し、
    前記逆変換後の第２復号変換出力信号に前記量子化マトリクスを乗じることで、前記第１復号部分信号を生成する
    請求項１７記載の復号方法。
19. 前記第２逆変換ステップでは、
    前記第２逆変換係数に前記量子化マトリクスと、当該量子化マトリクスから算出される補正係数の逆数とを乗じることで、前記補正後の第２逆変換係数を生成し、
    前記補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
    請求項１７記載の復号方法。
20. 前記第２逆変換係数は、ＫＬＴによって決定される係数である
    請求項１１〜１９のいずれか１項に記載の復号方法。
21. 第１変換係数を用いて入力信号を変換することで、第１変換出力信号を生成する第１変換部と、
    前記第１変換出力信号の一部である第１部分信号を含む集合の統計特性に基づいて決定された第２変換係数を用いて、前記第１部分信号を変換することで、第２変換出力信号を生成する第２変換部と、
    前記第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを量子化することで、量子化係数を生成する量子化部と、
    前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化部とを備え、
    前記第２変換部は、
    前記第１部分信号、又は、前記第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成し、
    前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、又は、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する
    符号化装置。
22. 符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号部と、
    前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化部と、
    第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号を逆変換することで、第１復号部分信号を生成する第２逆変換部と、
    前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分に対応する第２復号部分信号とを含む第１復号変換出力信号を、第１逆変換係数を用いて逆変換することで、復号信号を生成する第１逆変換部とを備え、
    前記第２逆変換部は、
    前記第２復号変換出力信号を逆変換し、逆変換後の第２復号変換出力信号に、所定のスケーリングパラメータを用いた補正を行うことで、又は、前記第２逆変換係数に前記補正を行い、補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
    復号装置。
23. 第１変換係数を用いて入力信号を変換することで、第１変換出力信号を生成する第１変換部と、
    前記第１変換出力信号の一部である第１部分信号を含む集合の統計特性に基づいて決定された第２変換係数を用いて、前記第１部分信号を変換することで、第２変換出力信号を生成する第２変換部と、
    前記第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを量子化することで、量子化係数を生成する量子化部と、
    前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化部とを備え、
    前記第２変換部は、
    前記第１部分信号、又は、前記第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成し、
    前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、又は、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する
    集積回路。
24. 符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号部と、
    前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化部と、
    第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号を逆変換することで、第１復号部分信号を生成する第２逆変換部と、
    前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分に対応する第２復号部分信号とを含む第１復号変換出力信号を、第１逆変換係数を用いて逆変換することで、復号信号を生成する第１逆変換部とを備え、
    前記第２逆変換部は、
    前記第２復号変換出力信号を逆変換し、逆変換後の第２復号変換出力信号に、所定のスケーリングパラメータを用いた補正を行うことで、又は、前記第２逆変換係数に前記補正を行い、補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
    集積回路。
25. 符号化方法をコンピュータに実行させるためのプログラムであって、
    前記符号化方法は、
    第１変換係数を用いて入力信号を変換することで、第１変換出力信号を生成する第１変換ステップと、
    前記第１変換出力信号の一部である第１部分信号を含む集合の統計特性に基づいて決定された第２変換係数を用いて、前記第１部分信号を変換することで、第２変換出力信号を生成する第２変換ステップと、
    前記第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを量子化することで、量子化係数を生成する量子化ステップと、
    前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化ステップとを含み、
    前記第２変換ステップは、
    前記第１部分信号、又は、前記第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成する補正ステップと、
    前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、又は、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する変換ステップとを含む
    プログラム。
26. 復号方法をコンピュータに実行させるためのプログラムであって、
    前記復号方法は、
    符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号ステップと、
    前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化ステップと、
    第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号を逆変換することで、第１復号部分信号を生成する第２逆変換ステップと、
    前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分に対応する第２復号部分信号とを含む第１復号変換出力信号を、第１逆変換係数を用いて逆変換することで、復号信号を生成する第１逆変換ステップとを含み、
    前記第２逆変換ステップでは、
    前記第２復号変換出力信号を逆変換し、逆変換後の第２復号変換出力信号に、所定のスケーリングパラメータを用いた補正を行うことで、又は、前記第２逆変換係数に前記補正を行い、補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
    プログラム。

Images