JPWO2011016248A1 - 符号化方法、復号方法、符号化装置及び復号装置 - Google Patents

Abstract

本発明に係る符号化方法は、入力信号を変換する変換ステップ（Ｓ１１０ａ）と、変換出力信号を量子化する量子化ステップ（Ｓ１２０）と、量子化係数をエントロピー符号化するエントロピー符号化ステップ（Ｓ１３０）とを含み、変換ステップ（Ｓ１１０ａ）は、第１変換係数を用いて入力信号に第１変換を行うことで、第１変換出力信号を生成する第１変換ステップ（Ｓ１１２）と、第１変換出力信号の一部である第１部分信号に、第２変換係数を用いて第２変換を行うことで、第２変換出力信号を生成し、生成した第２変換出力信号と、第１変換出力信号のうち第１部分信号以外の部分である第２部分信号とを含む変換出力信号を出力する第２変換ステップ（Ｓ１１６ａ）と、第１変換出力信号に対して補正を行う補正ステップとを含む。

Description

本発明は、オーディオ、静止画像、及び動画像を符号化する符号化方法に関し、特に、時空間ドメインから周波数ドメインへ入力信号を変換する変換処理を含む符号化方法に関する。

音声データや動画像データを圧縮するために、複数の音声符号化規格、動画像符号化規格が開発されてきた。動画像符号化規格の例として、Ｈ．２６ｘと称されるＩＴＵ−Ｔ規格やＭＰＥＧ−ｘと称されるＩＳＯ／ＩＥＣ規格が挙げられる。最新の動画像符号化規格は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣと称される規格である。

図１は、従来の符号化装置１６００の構成を示すブロック図である。図１に示すように、符号化装置１６００は、変換部１６１０と、量子化部１６２０と、エントロピー符号化部１６３０とを備え、音声データや動画像データを低ビットレートで符号化する。

変換部１６１０は、各種データである入力信号、又は入力信号に何らかの処理を加えた変換入力信号を時空間ドメインから周波数ドメインへ変換することで、相関を軽減した変換出力信号を生成する。生成された変換出力信号は、量子化部に出力される。

量子化部１６２０は、変換部１６１０から出力された変換出力信号を量子化することで、総データ量の少ない量子化係数を生成する。生成された量子化係数は、エントロピー符号化部に出力される。

エントロピー符号化部１６３０は、量子化部１６２０から出力された量子化係数を、エントロピー符号化アルゴリズムを用いて符号化することで、残りのデータを圧縮した符号化信号を生成する。生成された符号化信号は、例えば、記録媒体に記録され、あるいは、ネットワークを介して復号装置などに送信される。

以下では、変換部１６１０が行う変換処理について詳細に説明する。

変換部１６１０には、変換対象信号（すなわち、変換入力信号）であるｎ点のベクトル（ｎ次元信号）が、変換入力（Ｔｒａｎｓｆｏｒｍ Ｉｎｐｕｔ）ベクトルｘ^ｎとして入力される。変換部は、変換入力ベクトルｘ^ｎに、所定の変換処理（変換Ｔ）を行い、変換出力信号として、変換出力（Ｔｒａｎｓｆｏｒｍ Ｏｕｔｐｕｔ）ベクトルｙ^ｎを出力する（式１参照）。

変換Ｔが線形変換である場合、式２に示すように、変換Ｔは、ｎ×ｎの正方行列である変換行列（Ｔｒａｎｓｆｏｒｍ Ｍａｔｒｉｘ）Ａと変換入力ベクトルｘ^ｎとの行列積として表現できる。なお、式３は、変換出力ベクトルｙ^ｎを、変換行列Ａの各要素である変換係数ａ_ｉｋを用いて要素ｙ_ｉ毎に算出するための式であり、式１と式２とから導出される。

変換行列Ａは、入力信号の相関を軽減し、変換出力ベクトルｙ^ｎの要素のうち小さいｎを持つ要素（いわゆる低域側）へエネルギーが集中するように設計される。変換行列Ａの設計にあたり、ＫＬＴ（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ：カルーネンレーベ変換）という変換係数導出方法、又は変換方法が知られている。

ＫＬＴは、入力信号の統計的性質に基づいて、最適な変換係数を導出する方法、又は、導出した最適な変換係数を用いた変換方法である。ＫＬＴは、入力信号の相関性を完全に無くすことが可能で、最も効率良くエネルギーを低域へ集中させることができる技術として知られている。

つまり、ＫＬＴは、理想的な変換処理であり、優れた符号化効率で、ＫＬＴによって変換された符号化対象信号を符号化することができる。

しかしながら、上記従来技術に示すＫＬＴには、演算量が大きく、かつ、変換に用いる変換行列の係数である変換係数のデータ量が多いという問題がある。具体的には、以下の通りである。

図２に示すように、バタフライ構成などの高速アルゴリズムの存在するＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）では、入力信号の次元数（以下、入力点数とも記載）がＭの場合の乗算回数は、Ｍ×Ｌｏｇ_２（Ｍ）である。これに対して、ＫＬＴでは、乗算回数はＭ×Ｍになる。例えば、ＤＣＴの乗算回数は、入力点数が４点の場合８回、入力点数が８点の場合２４回である。これに対して、ＫＬＴの乗算回数は、例えば、入力点数が４点の場合１６回（ＤＣＴ比２倍）、８点の場合６４回（ＤＣＴ比２．６倍）、１６点の場合はＤＣＴ比４．０倍である。変換サイズが大きくなるほど、ＫＬＴの演算量の増加傾向は著しくなるため、ＫＬＴは、ＤＣＴと比べて演算量が膨大になるという課題がある。

また、ＫＬＴでは、入力信号ベクトルｘ^ｎを含む集合Ｓ_Ａの統計的性質に基づいて、変換行列Ａを導出する。変換行列Ａを用いた変換は、集合Ｓ_Ａに含まれる入力信号ベクトルｘ^ｎに対して、最適な無相関化と低域へのエネルギー圧縮とを行うことができる。しかし、設計時に想定した集合Ｓ_Ａと異なる統計的特性を持つ集合Ｓ_Ｂに含まれる入力信号ベクトルが入力された場合、変換行列Ａを用いた変換結果は、最適にならない。逆に、常に最適を求めて、入力の統計的性質のわずかな変化毎に変換係数を生成すれば、変換係数のデータ量が膨大になる。

以上のように、ＫＬＴなどの、入力信号の統計的性質に基づき計算される変換係数で構成される変換行列を用いる変換には、演算量が大きく、かつ、変換係数のデータ量が多いという課題があるため、従来の符号化の際にＫＬＴを利用するのは困難であった。

そこで、本発明は、上記課題を解決するためになされたものであって、演算量の増加、及び、変換係数のデータ量の増加を抑制し、符号化効率を高めることができる符号化方法及び符号化装置を提供することを目的とする。さらに、本発明は、本発明に係る符号化方法及び符号化装置によって符号化された信号を正しく復号することができる復号方法及び復号装置を提供することを目的とする。

上記課題を解決するために、本発明の一態様に係る符号化方法は、入力信号を変換することで、変換出力信号を生成する変換ステップと、前記変換出力信号を量子化することで、量子化係数を生成する量子化ステップと、前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化ステップとを含み、前記変換ステップは、第１変換係数を用いて前記入力信号に第１変換を行うことで、第１変換出力信号を生成する第１変換ステップと、前記第１変換出力信号の一部である第１部分信号に、第２変換係数を用いて第２変換を行うことで、第２変換出力信号を生成し、生成した第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを含む前記変換出力信号を生成する第２変換ステップと、前記第１変換出力信号に対して補正を行う補正ステップとを含む。

本構成によれば、入力信号に対して１段階目の第１変換を行うことで、第１変換出力信号を生成し、第１変換出力信号の一部である第１部分信号に２段階目の第２変換を行う。第２変換の対象となる第１部分信号は、第１変換出力信号よりも次元数が低減しているので、演算量の削減と変換係数の総数の削減とが可能となる。また、第１変換と第２変換との２回の変換によって、より相関を少なくするような変換を行うことができ、符号化効率を高めることができる。さらに、第２変換の前に第１変換出力信号を補正するので、より第２変換が適切に行われるように補正しておくことができる。

また、前記第１変換ステップでは、予め定められた係数を、前記第１変換係数として用いて前記第１変換を行ってもよい。

本構成によれば、予め定められた係数を用いた変換（例えば、ＤＣＴ）を第１変換として行った場合、変換係数の基底の大きさが揃わない場合が存在するので、第２変換の前に第１変換出力信号を補正することで、第２変換をより適切に行うことができる。また、第１変換に用いる第１変換係数を導出しなくてもよいので、演算量を削減することができる。

また、前記補正ステップでは、前記第１変換係数に基づいて決定される補正パラメータを用いて前記第１変換出力信号を正規化することで、前記第１変換出力信号を補正してもよい。

本構成によれば、第１変換出力信号を正規化するので、基底の大きさが揃わないという問題が解消でき、第２変換をより適切に行うことができる。

また、前記補正ステップでは、前記量子化ステップにおいて用いられる量子化マトリクスのウェイトスケールを用いて前記第１変換出力信号を重み付けすることで、前記第１変換出力信号を補正してもよい。

本構成によれば、通常、量子化の際に行う量子化マトリクスのスケーリングの重み付けを、変換処理で合わせて行うことができる。

また、前記補正ステップでは、前記第１部分信号と前記第２部分信号とを、それぞれ別々に補正してもよい。

本構成によれば、第２変換が適用される部分と第２変換が適用されない部分とによって、信号の性質が異なる場合、信号をそれぞれ別々に補正することで、より適切な変換を行うことができる。

また、前記補正ステップでは、前記第２変換における有効データ長が所定の値以下に収まるように、前記第１部分信号を構成する係数値をシフトダウンすることで、前記第１変換出力信号を補正してもよい。

本構成によれば、第２変換の前後でメモリのデータサイズ（ビット長）を揃えることができる。

また、前記補正ステップでは、さらに、前記第１部分信号又は前記第２変換出力信号を構成する係数値のビット長が、前記第２部分信号を構成する係数値のビット長と同じになるように、前記第１部分信号又は前記第２変換出力信号を構成する係数値をシフトダウンしてもよい。

本構成によれば、第２変換の前後でメモリのデータサイズ（ビット長）を揃えることができる。

また、本発明の一態様に係る復号方法は、符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号ステップと、前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化ステップと、前記復号変換出力信号を逆変換することで、復号信号を生成する逆変換ステップとを含み、前記逆変換ステップは、第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号に第２逆変換を行うことで、第１復号部分信号を生成する第２逆変換ステップと、前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分である第２復号部分信号とを含む第１復号変換出力信号に、第１逆変換係数を用いて第１逆変換を行うことで、前記復号信号を生成する第１逆変換ステップと、前記第１復号変換出力信号に対して補正を行う補正ステップとを含む。

本構成によれば、少ない演算量と少ない変換係数で符号化信号を正しく復号することができる。

また、前記第１逆変換ステップでは、予め定められた係数を、前記第１逆変換係数として用いて前記第１逆変換を行ってもよい。

また、前記補正ステップでは、前記第１逆変換係数に基づいて決定される補正パラメータを用いて前記第１復号変換出力信号を正規化することで、前記第１復号変換出力信号を補正してもよい。

また、前記補正ステップでは、さらに、前記逆量子化ステップにおいて用いられる量子化マトリクスのウェイトスケールを用いて前記第１復号部分信号を重み付けすることで、前記第１復号変換出力信号を補正してもよい。

また、前記補正ステップでは、前記第１復号部分信号と前記第２復号部分信号とをそれぞれ別々に補正してもよい。

また、前記補正ステップでは、前記第２逆変換における有効データ長が所定の値以下に収まるように、前記第２復号変換出力信号を構成する係数値をシフトダウンすることで、前記第１復号変換出力信号を補正してもよい。

また、前記補正ステップでは、さらに、前記第１復号部分信号又は前記第２復号変換出力信号を構成する係数値のビット長が、前記第２復号部分信号を構成する係数値のビット長と同じになるように、前記第１復号部分信号又は前記第２復号変換出力信号を構成する係数値をシフトダウンしてもよい。

以上のいずれの復号方法においても、符号化方法の場合と同様に、演算量の増加及び変換係数のデータ量の増加を抑制することができる。また、上記の符号化方法によって符号化された信号を正しく復号することができる。

なお、本発明は、符号化方法及び復号方法として実現できるだけではなく、当該符号化方法及び復号方法に含まれる処理ステップを行う処理部を備える符号化装置及び復号装置として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。

また、上記の各符号化装置及び復号装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。

本発明によれば、演算量の増加、及び、変換係数のデータ量の増加を抑制し、符号化効率を高めることができる。

図１は、従来の符号化装置の構成を示すブロック図である。 図２は、ＤＣＴとＫＬＴとの演算量の比較を示す図である。 図３は、本発明の実施の形態１に係る符号化装置の構成の一例を示すブロック図である。 図４は、本発明の実施の形態１に係る変換処理の一例を示すフローチャートである。 図５Ａは、本発明の実施の形態１に係る変換部のデータフローの一例を示す概念的に示す図である。 図５Ｂは、本発明の実施の形態１に係る変換部のデータフローの別の一例を概念的に示す図である。 図６は、本発明の実施の形態１に係る変換処理の別の一例を示すフローチャートである。 図７は、本発明の実施の形態１に係る変換部における変換係数の導出の一例を概念的に示す図である。 図８は、本発明の実施の形態１に係る行列演算の一例を概念的に示す図である。 図９は、本発明の実施の形態１の変形例に係る符号化装置の構成の一例を示すブロック図である。 図１０は、本発明の実施の形態１の変形例に係る符号化装置の動作の一例を示すフローチャートである。 図１１Ａは、本発明の実施の形態２に係る復号装置の構成の一例を示すブロック図である。 図１１Ｂは、本発明の実施の形態２に係る復号装置における逆変換部の構成の一例を示すブロック図である。 図１２は、本発明の実施の形態２に係る復号装置の動作の一例を示すフローチャートである。 図１３Ａは、本発明の実施の形態２に係る逆変換部のデータフローの一例を概念的に示す図である。 図１３Ｂは、本発明の実施の形態２に係る逆変換部のデータフローの別の一例を概念的に示す図である。 図１４は、本発明の実施の形態２に係る逆変換処理の一例を示すフローチャートである。 図１５は、本発明の実施の形態２の変形例に係る復号装置の構成の一例を示すブロック図である。 図１６は、本発明の実施の形態２の変形例に係る復号装置の動作の一例を示すフローチャートである。 図１７は、本発明の実施の形態３に係る符号化装置の構成の一例を示すブロック図である。 図１８は、本発明の実施の形態３に係る符号化装置の動作の一例を示すフローチャートである。 図１９は、本発明の実施の形態３に係る変換部の構成の一例を示すブロック図である。 図２０は、本発明の実施の形態３に係る変換部の構成の別の一例を示すブロック図である。 図２１は、本発明の実施の形態３に係る変換部における変換係数の導出の一例を概念的に示す図である。 図２２は、本発明の実施の形態３の変形例に係る変換部の構成の一例を示すブロック図である。 図２３は、本発明の実施の形態３の変形例に係る符号化装置の構成の一例を示すブロック図である。 図２４Ａは、本発明の実施の形態３の変形例に係る符号化装置の構成の一例を示すブロック図である。 図２４Ｂは、本発明の実施の形態３の変形例に係る符号化装置の構成の一例を示すブロック図である。 図２５は、本発明の実施の形態３の変形例に係る符号化装置において、メモリに格納された第２変換係数と分割統合情報との対応関係の一例を示す図である。 図２６Ａは、本発明の実施の形態３に係る第１変換出力信号と第１部分信号及び第２部分信号との関係を概念的に示す図である。 図２６Ｂは、本発明の実施の形態３に係る分割統合情報の一例を概念的に示す図である。 図２６Ｃは、本発明の実施の形態３に係る分割統合情報の一例を概念的に示す図である。 図２７は、本発明の実施の形態４に係る復号装置の構成の一例を示すブロック図である。 図２８は、本発明の実施の形態４に係る復号装置の動作の一例を示すフローチャートである。 図２９は、本発明の実施の形態４に係る逆変換部の構成の一例を示すブロック図である。 図３０は、本発明の実施の形態４の変形例に係る復号装置の構成の一例を示すブロック図である。 図３１は、本発明の実施の形態４の変形例に係る復号装置の構成の一例を示すブロック図である。 図３２は、本発明の実施の形態５に係る変換部の構成の一例を示すブロック図である。 図３３は、本発明の実施の形態５に係る変換部における変換係数の導出を概念的に示す図である。 図３４は、本発明の実施の形態５の変形例に係る変換部の構成の一例を示すブロック図である。 図３５は、本発明の実施の形態５の変形例に係る変換部の構成の一例を示すブロック図である。 図３６は、本発明の実施の形態６に係る逆変換部の構成の一例を示すブロック図である。 図３７は、本発明の実施の形態６の変形例に係る逆変換部の構成の一例を示すブロック図である。 図３８は、本発明の実施の形態６の変形例に係る逆変換部の構成の一例を示すブロック図である。 図３９は、本発明の実施の形態７に係る変換部のデータフローの一例を概念的に示す図である。 図４０は、本発明の実施の形態７に係る分離型の構成の第２変換のデータフローの一例を概念的に示す図である。 図４１は、本発明の実施の形態７に係る多次元の変換入力信号がＹＵＶの信号である場合のデータフローの一例を概念的に示す図である。 図４２は、本発明の実施の形態７に係る多次元の変換入力信号が空間的に隣接するブロックの信号である場合のデータフローの一例を概念的に示す図である。 図４３は、本発明の実施の形態８に係る逆変換部のデータフローの一例を概念的に示す図である。 図４４は、本発明の実施の形態８に係る逆変換部のデータフローの一例を概念的に示す図である。 図４５は、本発明の実施の形態８に係る多次元の復号変換出力信号がＹＵＶの信号である場合のデータフローの一例を概念的に示す図である。 図４６は、本発明の実施の形態８に係る多次元の復号変換出力信号が空間的に隣接するブロックの信号である場合のデータフローの一例を概念的に示す図である。 図４７は、本発明の実施の形態９に係る変換部のデータフローの一例を概念的に示す図である。 図４８Ａは、本発明の実施の形態９に係る変換処理の一例を示すフローチャートである。 図４８Ｂは、本発明の実施の形態９に係る変換処理の一例を示すフローチャートである。 図４９は、本発明の実施の形態９の変形例に係る変換処理の一例を示すフローチャートである。 図５０は、本発明の実施の形態９の変形例に係る変換処理の一例を示すフローチャートである。 図５１Ａは、本発明の実施の形態１０に係る逆変換処理の一例を示すフローチャートである。 図５１Ｂは、本発明の実施の形態１０に係る逆変換処理の一例を示すフローチャートである。 図５２は、本発明の実施の形態１０の変形例に係る逆変換処理の一例を示すフローチャートである。 図５３は、本発明の実施の形態１０の変形例に係る逆変換処理の一例を示すフローチャートである。 図５４Ａは、本発明の実施の形態１１に係る符号化装置の構成の一例を示すブロック図である。 図５４Ｂは、本発明の実施の形態１１に係る符号化装置における、信号毎の処理の違いの一例を示す図である 図５５Ａは、本発明の実施の形態１２に係る復号装置の構成の一例を示すブロック図である。 図５５Ｂは、本発明の実施の形態１２に係る復号装置における、信号毎の処理の違いの一例を示す図である。 図５６Ａは、本発明の実施の形態１３に係る変換行列の一例を示す図である。 図５６Ｂは、本発明の実施の形態１３に係る絶対平均値の一例を示す図である。 図５６Ｃは、本発明の実施の形態１３に係るヘッダ記述値（すなわち、差分）の一例を示す図である。 図５６Ｄは、本発明の実施の形態１３に係る第２変換行列の一例を示す図である。 図５６Ｅは、本発明の実施の形態１３に係る上三角要素と下三角要素との間の符号の関係を示す図である。 図５６Ｆは、本発明の実施の形態１３に係る変換行列の一例を示す図である。 図５７Ａは、本発明の実施の形態１４に係る変換及び量子化のタイミングチャートの一例を示す図である。 図５７Ｂは、本発明の実施の形態１４に係る変換及び量子化のタイミングチャートの一例を示す図である。 図５８Ａは、本発明の実施の形態１５に係る逆量子化及び逆変換のタイミングチャートの一例を示す図である。 図５８Ｂは、本発明の実施の形態１５に係る逆量子化及び逆変換のタイミングチャートの一例を示す図である。 図５９は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図６０は、デジタル放送用システムの全体構成図である。 図６１は、携帯電話の外観を示す図である。 図６２は、携帯電話の構成例を示すブロック図である。 図６３は、テレビの構成例を示すブロック図である。 図６４は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図６５は、ディスクである記録メディアの構造例を示す図である。 図６６は、各実施の形態の動画像符号化方法及び動画像復号方法を実現する集積回路の構成例を示すブロック図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
本発明の実施の形態１に係る符号化装置は、入力信号を変換することで、変換出力信号を生成する変換部と、変換出力信号を量子化することで、量子化係数を生成する量子化部と、量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化部とを備える。そして、変換部は、第１変換係数で構成される第１変換行列を用いて入力信号に第１変換を行うことで、第１変換出力信号を生成する第１変換部と、第１変換出力信号の一部である第１部分信号に、第２変換係数で構成される第２変換行列を用いて第２変換を行うことで、第２変換出力信号を生成し、生成した第２変換出力信号と、第１変換出力信号のうち第１部分信号以外の部分である第２部分信号とを含む前記変換出力信号を出力する第２変換部とを備える。

言い換えると、本発明の実施の形態１に係る符号化装置は、入力信号に対して２段階の変換を行うことを特徴とする。具体的には、本発明の実施の形態１に係る符号化装置は、入力信号に第１変換を行い、第１変換後の信号の一部である第１部分信号に第２変換を行うことを特徴とする。

なお、本明細書においては、変換行列と変換係数とはほぼ同義として用いる場合がある。

なお、バタフライ構成やシフトと加算の演算を用いる構成のように、単純な行列演算でなくとも実現できる変換であっても、本明細書では行列表現で記述する場合がある。このように行列表現で記述することは、バタフライ構成や、シフトと加算の演算を用いる構成、あるいは、リフティング構造を用いる構成など、各種の演算量を軽減した変換を除外するものではない。

図３は、本発明の実施の形態１に係る符号化装置１００の構成の一例を示すブロック図である。図３に示すように、符号化装置１００は、変換部１１０と、量子化部１２０と、エントロピー符号化部１３０とを備える。

変換部１１０は、入力信号（変換入力信号）を変換することで、変換出力信号を生成する。変換部１１０は、図３に示すように、第１変換部２００と、分割部２１０と、第２変換部２２０と、統合部２３０とを備える。

第１変換部２００は、第１変換行列を用いて変換入力信号に第１変換を行うことで、第１変換出力信号を生成する。

分割部２１０は、第１変換出力信号を２つの部分に分割する。具体的には、分割部２１０は、第１変換部２００によって生成された第１変換出力信号を、分割統合情報を用いて第１部分信号と第２部分信号とに分割する。なお、分割統合情報は、第１部分信号が第１変換出力信号のどの部分に対応するかを示す選択範囲情報の一例である。

第２変換部２２０は、第２変換行列を用いて第１部分信号に第２変換を行うことで、第２変換出力信号を生成する。

統合部２３０は、第２変換出力信号と第２部分信号とを統合することで、変換出力信号を生成する。

上記の変換部１１０が備える各処理部の詳細な動作については、後で説明する。

量子化部１２０は、変換部１１０によって生成された変換出力信号を量子化することで、量子化係数を生成する。

エントロピー符号化部１３０は、量子化部１２０によって生成された量子化係数をエントロピー符号化することで、符号化信号を生成する。

なお、符号化装置１００には、音声データ、静止画像データ、動画像データなどの各種データである入力信号が符号化対象信号として入力される。変換部１１０には、符号化対象信号（Ｏｒｉｇｉｎａｌ Ｓｉｇｎａｌ）、又は、この符号化対象信号と、以前に入力された符号化対象信号に基づいて作成された予測信号との差分である予測誤差信号が、変換入力信号として、入力される。一般的には、予測誤差信号が変換の対象として入力されることが多いが、伝送路にエラーが混入する場合を想定して予測を行わない場合、又は、エネルギーが小さい場合には、予測を行わずに入力信号が変換の対象として入力される。このような変換入力（Ｔｒａｎｓｆｏｒｍ Ｉｎｐｕｔ）信号を式４に示すようなベクトルｘ^ｎと表す。

続いて、本発明の実施の形態１に係る符号化装置１００の動作の一例について説明する。

図４は、本発明の実施の形態１に係る符号化装置１００の動作の一例を示すフローチャートである。また、図５Ａ及び図５Ｂは、本発明の実施の形態１に係る符号化装置１００における変換部１１０のデータフローの一例を概念的に示す図である。

まず、変換部１１０は、変換入力信号ｘ^ｎを変換することで、変換出力信号ｙ^ｎを生成する（ステップＳ１１０）。

具体的には、まず、第１変換部２００が、第１変換行列を用いて変換入力信号ｘ^ｎに第１変換を行うことで、第１変換出力信号ｙ_１ ^ｎを生成する（ステップＳ１１２）。具体的には、第１変換部２００は、変換入力信号ｘ^ｎの相関を軽減し、低周波数帯域にエネルギーを集中させるように、変換入力信号ｘ^ｎを第１変換出力信号ｙ_１ ^ｎに変換する。

このとき、第１変換に用いる第１変換係数として、例えば、以前に入力された変換入力信号ｘ^ｎの第１変換の際に、既に算出されている係数を用いることができる。つまり、第１変換を行う度に第１変換係数を算出しなくてもよいので、第１変換係数の算出にかかる演算量を低減することができる。第１変換係数を算出する場合の具体的な処理については、後で説明する。

次に、分割部２１０は、第１変換出力信号ｙ_１ ^ｎを、第１部分信号ｙ_１Ｌ ^ｍと第２部分信号ｙ_１Ｈ ^ｎ−ｍとに分割する（ステップＳ１１４）。具体的には、分割部２１０は、分割統合情報に基づいて、第１部分信号ｙ_１Ｌ ^ｍの相関エネルギーが第２部分信号ｙ_１Ｈ ^ｎ−ｍの相関エネルギーよりも大きくなるように、第１変換出力信号ｙ_１ ^ｎを分割する。

分割統合情報とは、分割部２１０に対して、低周波数帯域を第１部分信号ｙ_１Ｌ ^ｍとし、高周波数帯域を第２部分信号ｙ_１Ｈ ^ｎ−ｍとして分割する制御を行わせるような情報である。分割統合情報は、エネルギーの大きな成分を第１部分信号ｙ_１Ｌ ^ｍへ、エネルギーの小さな成分を第２部分信号ｙ_１Ｈ ^ｎ−ｍへと入力に応じて、動的に制御するように指示する情報であってもよい。

このとき、分割統合情報として、例えば、以前に入力された第１変換出力信号ｙ_１ ^ｎの分割の際に既に決定された分割統合情報を用いることができる。つまり、分割を行う度に、新たな分割統合情報を決定する必要はない。

分割部２１０によって分割された第１部分信号ｙ_１Ｌ ^ｍは、図５Ａに示すように、一次元に並び替えられ、第２変換部２２０に入力される。

次に、第２変換部２２０は、第２変換行列を用いて第１部分信号ｙ_１Ｌ ^ｍに第２変換を行うことで、第２変換出力信号ｙ_２ ^ｍを生成する（ステップＳ１１６）。具体的には、第２変換部２２０は、第１部分信号ｙ_１Ｌ ^ｍの相関を軽減し、より低周波数帯域にエネルギーを集中させるように、第１部分信号ｙ_１Ｌ ^ｍを第２変換出力信号ｙ_２ ^ｍに変換する。

このとき、第２変換係数として、例えば、以前に入力された第１部分信号ｙ_１Ｌ ^ｍの第２変換の際に既に算出された係数を用いることができる。つまり、第２変換を行う度に第２変換係数を算出しなくてもよいので、第２変換係数の算出にかかる演算量を低減することができる。第２変換係数を算出する場合の具体的な処理については、後で説明する。

次に、統合部２３０は、第２変換出力信号ｙ_２ ^ｍと第２部分信号ｙ_１Ｈ ^ｎ−ｍとを統合することで、変換出力信号ｙ^ｎを生成する（ステップＳ１１８）。具体的には、統合部２３０は、第２変換出力信号ｙ_２ ^ｍを一次元に並び替えられる前の次元に並び替え、分割統合情報に基づいて、並び替えた後の第２変換出力信号ｙ_２ ^ｍと第２部分信号ｙ_１Ｈ ^ｎ−ｍとを統合する。

次に、量子化部１２０は、以上のようにして生成された変換出力信号ｙ^ｎを量子化することで、量子化係数を生成する（ステップＳ１２０）。最後に、エントロピー符号化部１３０は、量子化係数をエントロピー符号化することで、符号化信号を生成する（ステップＳ１３０）。

なお、図５Ｂに示すように、分割部２１０は、第１部分信号ｙ_１Ｌ ^ｍを一次元に並び替えることなく、そのまま第２変換部２２０に出力してもよい。この場合、第２変換部２２０は、二次元の第１部分信号ｙ_１Ｌ ^ｍに第２変換を行うことで、二次元の第２変換出力信号ｙ_２ ^ｍを生成する。ここでは、第２変換部２２０は、例えば、非分離型の第２変換を行う。そして、統合部２３０では、第２変換出力信号ｙ_２ ^ｍの並び替えを行うことなく、第２変換出力信号ｙ_２ ^ｍと第２部分信号ｙ_１Ｈ ^ｎ−ｍとを統合する。

また、図５Ａ及び図５Ｂでは、第２変換の対象は、第１変換出力信号の任意の領域（非矩形領域）であるように図示したが、これに限るものではなく矩形領域であっても構わない。具体的には、図５Ａ及び図５Ｂに示す例では、第２変換部２２０は、第１変換出力信号の低周波成分の係数値を含む、行列表現した場合における非矩形領域に含まれる信号を、第１部分信号として第２変換を行う。これに対して、第２変換部２２０は、第１変換出力信号の低周波成分の係数値を含む、行列表現した場合における矩形領域に含まれる係数値を含む信号を、第１部分信号として第２変換を行ってもよい。

次に、第１変換係数、第２変換係数及び分割統合情報を決定する場合の動作及び構成について説明する。

図６は、本発明の実施の形態１に係る変換部１１０における変換処理の一例を示すフローチャートである。また、図７は、本発明の実施の形態１に係る変換部１１０における変換係数の導出の一例を示す概念図である。

図７に示すように、変換部１１０は、さらに、第１変換係数導出部２０２と、第２変換係数導出部２２２とを備える。なお、図７には、分割部２１０及び統合部２３０は、図示していない。

まず、図６に示すように、第１変換係数導出部２０２は、変換入力信号ｘ^ｎに基づいて第１変換係数を決定する（ステップＳ１１１）。次に、第１変換部２００は、第１変換係数導出部２０２によって決定された第１変換係数で構成される第１変換行列を用いて、変換入力信号ｘ^ｎに第１変換を行う（ステップＳ１１２）。

次に、分割統合情報が決定される（ステップＳ１１３）。分割統合情報は、予め決められた分割を行うように分割部２１０を制御するものであれば、符号化装置１００のメモリ等から読み出す。また、分割統合情報が、第１変換出力信号ｙ_１ ^ｎに応じた分割を行うよう分割部２１０を制御するものであれば、第１変換出力信号ｙ_１ ^ｎに基づいてエネルギー状態の分布に鑑みて分割統合情報を導出する。

このようにして決定された分割統合情報に基づいて、分割部２１０は、第１変換出力信号ｙ_１ ^ｎを分割する（ステップＳ１１４）。

次に、第２変換係数導出部２２２は、第１部分信号ｙ_１Ｌ ^ｍに基づいて第２変換係数を決定する（ステップＳ１１５）。次に、第２変換部２２０は、決定された第２変換係数で構成される第２変換行列を用いて、第１部分信号ｙ_１ ^ｎに第２変換を行う（ステップＳ１１６）。

最後に、統合部２３０は、第２変換出力信号ｙ_２ ^ｍと分割された第２部分信号ｙ_１Ｈ ^ｎ−ｍとを統合し、変換出力信号ｙ^ｎとして出力する（ステップＳ１１８）。

図７を用いて、第１変換部２００における第１変換と第２変換部２２０における第２変換とについて詳細に説明する。

多くのサンプルを含むある集合Ｓ_Ａには、第１変換部２００に入力される変換入力信号ｘ^ｎが含まれている。第１変換係数導出部２０２は、例えば、ＫＬＴを用いて、この集合Ｓ_Ａに含まれる多くのサンプルに平均的に最適化された第１変換係数を求める。

このように多くのサンプルを含む集合Ｓ_Ａに基づいて、第１変換係数を求めることにより、個々の変換入力信号ｘ^ｎの統計的性質にあまり影響を受けず、多少異なる性質であっても同じ第１変換係数で構成される第１変換行列を用いて第１変換を行うことができる。よって、第１変換係数の更新頻度を抑えることができ、つまり、図４に示す処理のように、第１変換係数の決定を行わない場合を多くすることができるので、演算量を削減することができる。

また、第１変換係数の更新をする場合であっても、更新前と後の変換係数の個々の値の変化量は小さいため、差分情報量を少なくすることができる。したがって、第１変換係数を復号装置に送信する場合に、符号量の増加を抑制することができる。

一方、第２変換部２２０には、第１変換出力信号ｙ_１ ^ｎを構成する係数値のうち、相関エネルギーの大きな部分である第１部分信号ｙ_１Ｌ ^ｍが入力される。第２変換係数導出部２２２は、第１変換係数導出部２０２と同様に、例えばＫＬＴを用いて、第１部分信号ｙ_１Ｌ ^ｍを含み、集合Ｓ_Ａと比較してサンプル数の少ない集合Ｓ_Ｃに含まれるサンプルに平均的に最適化された第２変換係数を求める。

このように、集合Ｓ_Ｃを集合Ｓ_Ａより小さい集合とすることで、入力される第１変換出力信号ｙ_１ ^ｎの統計的性質の変化に鋭敏に追従でき、さらなる相関の軽減とエネルギー圧縮とが可能となる。なお、小さい集合Ｓ_Ｃとすることで変換係数の更新頻度は高まるが、第１部分信号ｙ_１Ｌ ^ｍは、第１変換出力信号ｙ_１ ^ｎの一部であり、変換入力信号ｘ^ｎよりも次元数が少ないため、第２変換行列の要素数は少なくなり、高効率な変換と、演算量及びデータ量の削減とを両立させることができる。

なお、第２変換部２２０には、第１変換出力信号ｙ_１ ^ｎを構成する係数値のうち相関エネルギーの大きな部分である第１部分信号ｙ_１Ｌ ^ｍが入力されるとしたが、これは、第１変換出力信号ｙ_１ ^ｎの自己相関の高い位置を選択しているといえる。これに対して、類似の方法として、第１変換出力信号ｙ_１ ^ｎの相互相関の高い位置を第１部分信号ｙ_１Ｌ ^ｍとして選択してもよい。

なお、第１部分信号ｙ_１Ｌ ^ｍと第２変換出力信号ｙ_２ ^ｍとのそれぞれについて、次元の並び替えを分割部２１０と統合部２３０とが行うこととしたが、それぞれの並び替えを第２変換部２２０が行う構成であってもよい。また、符号化の対象が音声データ等の一次元信号である場合、あるいは、一次元信号処理と見なすことができる分離型の各次元の処理において、変換部１１０に入力される変換入力信号ｘ^ｎは一次元であるため、これらの並び替えの処理は不要となる。

以上のように、本発明の実施の形態１に係る符号化装置１００は、入力信号に第１変換を行い、第１変換後の信号の一部である第１部分信号に第２変換を行うことを特徴とする。これにより、本発明の実施の形態１に係る符号化装置１００によれば、入力信号の統計的性質に基づいて計算される変換係数を用いる変換において、変換の演算量の削減、及び、変換行列の要素数（データ量）の削減を実現することができる。

なお、上記の実施の形態１に係る符号化装置１００では、第１変換出力信号ｙ_１ ^ｎを第１部分信号ｙ_１Ｌ ^ｍと第２部分信号ｙ_１Ｈ ^ｎ−ｍとに分割し、第２変換後に統合するが、明示的に分割しなくてもよく、実質的に分割すればよい。すなわち、第１変換出力信号ｙ_１ ^ｎのうち、第２変換を実行する対象となる部分を決定すればよい。例えば、第２変換の際に、第２変換の対象とならない要素に対する行の対角要素を１、非対角要素を０にすることで、実質的に第１部分信号ｙ_１Ｌ ^ｍにのみ、第２変換を行うことができる。図８に行列演算の具体例を示す。

図８（ａ）のように、４点のベクトルＸ_ｎのうちの３点（Ｘ_１，Ｘ_２，Ｘ_３）に対して３×３の大きさの行列Ａ^３を乗算して得られる結果と、図８（ｂ）のように、Ａ^３を４×４へ拡張し、拡張の際、対角要素は１、非対角要素は０を設定した拡張後の行列Ａ^４と４点のＸとの乗算結果の３点の部分とは、一致する。

図９は、本発明の実施の形態１の変形例に係る符号化装置１００ａの構成の一例を示すブロック図である。

符号化装置１００ａは、変換部１１０ａと、量子化部１２０と、エントロピー符号化部１３０とを備える。なお、図３に示す符号化装置１００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。

変換部１１０ａは、第１変換部２００と、第２変換部２２０ａとを備える。つまり、変換部１１０ａは、図３に示す変換部１１０と比較して、分割部２１０と、統合部２３０とを備えていない点と、さらに、第２変換部２２０の代わりに第２変換部２２０ａとを備える点とが異なっている。

第２変換部２２０ａは、第１変換出力信号ｙ_１ ^ｎの一部である第１部分信号ｙ_１Ｌ ^ｍを含む集合の統計特性に基づいて決定された第２変換係数で構成される第２変換行列を用いて、第１部分信号ｙ_１Ｌ ^ｍに第２変換を行うことで、第２変換出力信号ｙ_２ ^ｍを生成する。具体的には、第２変換部２２０ａは、第１変換出力信号ｙ_１ ^ｎを構成する係数値のうち、第２変換の対象となる係数値を決定し、決定した係数値から構成される信号を第１部分信号ｙ_１Ｌ ^ｍとして、第２変換を行う。より具体的には、第２変換部２２０ａは、第１変換出力信号ｙ_１ ^ｎを構成する複数の係数値のうち、所定の閾値より値の大きな係数値を含む信号を、第１部分信号ｙ_１Ｌ ^ｍとして、第２変換を行う。

そして、第２変換部２２０ａは、生成した第２変換出力信号ｙ_２ ^ｍと、第１変換出力信号ｙ_１ ^ｎのうち第１部分信号ｙ_１Ｌ ^ｍ以外の部分である第２部分信号ｙ_１Ｈ ^ｎ−ｍとを含む変換出力信号ｙ^ｎを出力する。

図１０は、図９に示す符号化装置１００ａの動作の一例を示すフローチャートである。

まず、変換部１１０ａが、入力された変換入力信号ｘ^ｎを変換することで、変換出力信号ｙ^ｎを生成する（ステップＳ１１０ａ）。具体的には、まず、入力された変換入力信号ｘ^ｎに対して、第１変換部２００は、第１変換を行うことで、第１変換出力信号ｙ_１ ^ｎを生成する（ステップＳ１１２）。

次に、第２変換部２２０ａが、第１部分信号ｙ_１Ｌ ^ｍに第２変換を行う（ステップＳ１１６ａ）。例えば、第２変換部２２０ａは、第１変換出力信号ｙ_１ ^ｎのうち、第２変換を行う対象となる部分を、第１部分信号ｙ_１Ｌ ^ｍとして決定し、決定した第１部分信号ｙ_１Ｌ ^ｍに対して第２変換行列を用いて第２変換を行う。

次に、量子化部１２０は、第２変換出力信号ｙ_２ ^ｍを含む変換出力信号ｙ^ｎを量子化することで、量子化係数Ｃ^ｎを生成する（ステップＳ１２０）。最後に、エントロピー符号化部１３０は、量子化係数Ｃ^ｎをエントロピー符号化することで、符号化信号を生成する（ステップＳ１３０）。

以上のように、実施の形態１の変形例に係る符号化装置１００ａも、部分的に２段階の変換を行うことで、符号化処理における演算量の増加、及び、変換係数のデータ量の増加を抑制することができる。

（実施の形態２）
本発明の実施の形態２に係る復号装置は、符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号部と、復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化部と、復号変換出力信号を逆変換することで、復号信号を生成する逆変換部とを備える。そして、逆変換部は、第２逆変換係数で構成される第２逆変換行列を用いて、復号変換出力信号の一部である第２復号変換出力信号に第２逆変換を行うことで、第１復号部分信号を生成する第２逆変換部と、第１復号部分信号と、復号変換出力信号のうち第２復号変換出力信号以外の部分である第２復号部分信号とを含む第１復号変換出力信号に、第１逆変換係数で構成される第１逆変換行列を用いて第１逆変換を行うことで、復号信号を生成する第１逆変換部とを備える。

言い換えると、本発明の実施の形態２に係る復号装置は、符号化信号に対して２段階の逆変換を行うことを特徴とする。具体的には、本発明の実施の形態２に係る復号装置は、符号化信号にエントロピー復号及び逆量子化を行うことで生成される復号変換出力信号の一部である第２復号変換出力信号に第２逆変換を行い、第２逆変換後の信号と、復号変換出力信号の残りの部分である第２復号部分信号とを含む第１復号変換出力信号に第１逆変換を行うことを特徴とする。

図１１Ａは、本発明の実施の形態２に係る復号装置３００の構成の一例を示すブロック図である。復号装置３００には、音声データや動画像データを低ビットレートで符号化した符号化信号が入力され、復号装置３００は、符号化信号から音声データや動画像データを復号することで、復号信号を生成する。

復号装置３００は、符号化信号に対してエントロピー復号をし、逆量子化をし、逆変換をするという符号化の処理とほぼ逆の処理を行う。図１１Ａに示すように、復号装置３００は、エントロピー復号部３１０と、逆量子化部３２０と、逆変換部３３０とを備える。

エントロピー復号部３１０は、入力された符号化信号をエントロピー復号することで、復号量子化係数を生成する。復号量子化係数は、実施の形態１に係る量子化部１２０が生成する量子化係数に相当する。

逆量子化部３２０は、エントロピー復号部３１０によって生成された復号量子化係数を逆量子化することで、復号変換出力信号を生成する。復号変換出力信号は、実施の形態１に係る変換部１１０が生成する変換出力信号に相当する。

逆変換部３３０は、逆量子化部３２０によって生成された復号変換出力信号を逆変換することで、復号信号を生成する。復号信号は、実施の形態１に係る変換部１１０に入力される変換入力信号に相当する。

以下では、本発明の実施の形態２に係る逆変換部３３０について、詳細に説明する。図１１Ｂは、本発明の実施の形態２に係る復号装置３００における逆変換部３３０の構成の一例を示すブロック図である。図１１Ｂに示すように、逆変換部３３０は、分割部４００と、第２逆変換部４１０と、統合部４２０と、第１逆変換部４３０とを備える。

分割部４００は、復号変換出力信号を２つの部分に分割する。具体的には、分割部４００は、逆量子化部３２０によって生成された復号変換出力信号を、分割統合情報を用いて第２復号変換出力信号と第２復号部分信号とに分割する。

第２復号変換出力信号は、実施の形態１に係る第２変換部２２０によって生成された第２変換出力信号に相当する。すなわち、第２復号変換出力信号は、符号化の際に、第２変換が実行された部分に相当し、第２逆変換の対象となる部分である。また、第２復号部分信号は、実施の形態１に係る分割部２１０によって分割された第２部分信号に相当する。

第２逆変換部４１０は、第２復号変換出力信号に第２逆変換を行うことで、第１復号部分信号を生成する。第１復号部分信号は、実施の形態１に係る分割部２１０によって分割された第１部分信号に相当する。

統合部４２０は、第２逆変換部４１０によって生成された第１復号部分信号と、第２復号部分信号とを統合することで、第１復号変換出力信号を生成する。第１復号変換出力信号は、実施の形態１に係る第１変換部２００によって生成された第１変換出力信号に相当する。

第１逆変換部４３０は、第１逆変換行列を用いて第１復号変換出力信号に第１逆変換を行うことで、復号信号を生成する。第１復号変換出力信号は、第２復号変換出力信号と第２復号部分信号とを含む信号である。

なお、復号装置３００には音声データ、静止画像データ、動画像データなどの各種データである信号を符号化することで生成された符号化信号が入力される。逆変換部３３０には、この符号化信号をエントロピー復号し、かつ、逆量子化することで生成された信号が、復号変換出力信号ｙ＾^ｎとして入力される。ここで、記号「＾（ハット）」は、それぞれ直前の文字の上に付される記号を示し、本明細書では、以下、記号「＾（ハット）」を同様な意味で使用する。

続いて、本発明の実施の形態２に係る復号装置３００の動作の一例について説明する。

図１２は、本発明の実施の形態２に係る復号装置３００の動作の一例を示すフローチャートである。また、図１３Ａ及び図１３Ｂは、本発明の実施の形態２に係る復号装置３００における逆変換部３３０のデータフローの一例を概念的に示す図である。

まず、エントロピー復号部３１０は、符号化信号をエントロピー復号することで、復号量子化係数を生成する（ステップＳ２１０）。次に、逆量子化部３２０は、復号量子化係数を逆量子化することで、復号変換出力信号ｙ＾^ｎを生成する（ステップＳ２２０）。

次に、逆変換部３３０は、復号変換出力信号ｙ＾^ｎを逆変換することで、復号信号ｘ＾^ｎを生成する（ステップＳ２３０）。

具体的には、まず、分割部４００が、分割統合情報に基づいて、復号変換出力信号ｙ＾^ｎを、２つの領域に分割する（ステップＳ２３２）。つまり、分割部４００は、復号変換出力信号ｙ＾^ｎを第２復号変換出力信号ｙ＾_２ ^ｍと第２復号部分信号ｙ＾_１Ｈ ^ｎ−ｍとに分割する。第２復号変換出力信号ｙ＾_２ ^ｍは、復号変換出力信号ｙ＾^ｎを構成する複数の係数値のうち、第２逆変換の対象となる部分である。第２復号部分信号ｙ＾_１Ｈ ^ｎ−ｍは、第２復号変換出力信号ｙ＾_２ ^ｍは、復号変換出力信号ｙ＾^ｎを構成する複数の係数値のうち、第２逆変換の対象とならない部分である。

このとき、分割統合情報として、例えば、以前に入力された復号変換出力信号ｙ＾^ｎの分割の際に用いた分割統合情報を用いることができる。つまり、分割を行う度に、新たな分割統合情報を決定する必要はない。

分割部４００によって分割された第２復号変換出力信号ｙ＾_２ ^ｍは、図１３Ａに示すように、一次元に並び替えられ、第２逆変換部４１０に入力される。

次に、第２逆変換部４１０は、第２逆変換行列を用いて第２復号変換出力信号ｙ＾_２ ^ｍに第２逆変換を行うことで、第１復号部分信号ｙ＾_１Ｌ ^ｍを生成する（ステップＳ２３４）。

このとき、第２逆変換係数として、例えば、以前に入力された第２復号変換出力信号ｙ＾_２ ^ｍの第２逆変換の際に既に決定された係数を用いることができる。つまり、第２逆変換を行う度に、新たな第２逆変換係数を決定する必要はない。

次に、統合部４２０は、第２復号部分信号ｙ＾_１Ｈ ^ｎ−ｍと、第１復号部分信号ｙ＾_１Ｌ ^ｍとを統合することで、第１復号変換出力信号ｙ＾_１ ^ｎを生成する（ステップＳ２３６）。具体的には、統合部４２０は、第１復号部分信号ｙ＾_１Ｌ ^ｍを一次元に並び替えられる前の次元に並び替え、分割統合情報に基づいて、並び替えた後の第１復号部分信号ｙ＾_１Ｌ ^ｍと第２復号部分信号ｙ＾_１Ｈ ^ｎ−ｍとを統合する。

次に、第１逆変換部４３０は、第１逆変換行列を用いて、第１復号変換出力信号ｙ＾_１ ^ｎに第１逆変換を行うことで、復号信号ｘ＾^ｎを生成する（ステップＳ２３８）。

このとき、第１逆変換係数として、例えば、以前に入力された第１復号変換出力信号ｙ＾_１ ^ｎの第１逆変換の際に既に決定された係数を用いることができる。つまり、第１逆変換を行う度に、新たな第１逆変換係数を決定する必要はない。

なお、図１３Ｂに示すように、分割部４００は、第２復号変換出力信号ｙ＾_２ ^ｍを一次元に並び替えることなく、そのまま第２逆変換部４１０に出力してもよい。この場合、第２逆変換部４１０は、二次元の第２復号変換出力信号ｙ＾_２ ^ｍに第２逆変換を行うことで、二次元の第１復号部分信号ｙ＾_１Ｌ ^ｍを生成する。そして、統合部４２０では、第１復号部分信号ｙ＾_１Ｌ ^ｍの並び替えを行うことなく、第１復号部分信号ｙ＾_１Ｌ ^ｍと第２復号部分信号ｙ＾_１Ｈ ^ｎ−ｍとを統合する。

また、図１３Ａ及び図１３Ｂでは、第２逆変換の対象は、復号変換出力信号の任意の領域（非矩形領域）であるように図示したが、これに限るものではなく矩形領域であっても構わない。具体的には、図１３Ａ及び図１３Ｂに示す例では、第２逆変換部４１０は、復号変換出力信号の低周波成分の係数値を含む、行列表現した場合における非矩形領域に含まれる信号を、第２復号変換出力信号として第２逆変換を行う。これに対して、第２逆変換部４１０は、復号変換出力信号の低周波成分の係数値を含む、行列表現した場合における矩形領域に含まれる係数値を含む信号を、第２復号変換出力信号として第２逆変換を行ってもよい。

次に、分割統合情報、第１逆変換係数及び第２逆変換係数を決定する場合の動作について説明する。

図１４は、本発明の実施の形態２に係る逆変換部３３０における逆変換処理の一例を示すフローチャートである。

これらを用いて、逆変換処理について説明する。

まず、図１４に示すように、分割部４００は、分割統合情報を取得する（ステップＳ２３１）。そして、分割部４００は、上記で説明した復号変換出力信号ｙ＾^ｎを、低周波数帯域を含む第２復号変換出力信号ｙ＾_２ ^ｍと、高周波数帯域を含む第２復号部分信号ｙ＾_１Ｈ ^ｎ−ｍとに分割する（ステップＳ２３２）。具体的には、分割部４００は、分割統合情報に基づいて、第２復号変換出力信号ｙ＾_２ ^ｍの相関エネルギーが、第２復号部分信号ｙ＾_１Ｈ ^ｎ−ｍの相関エネルギーよりも大きくなるように、復号変換出力信号ｙ＾^ｎの分割を行う。

なお、分割統合情報は、実施の形態１で説明したものと同様であり、分割統合情報の取得とは、予め定められたメモリ等に保存されたものを読み出してもよいし、復号変換出力信号ｙ＾_２ ^ｍに応じて動的に決定してもよい。

次に、第２逆変換部４１０は、第２逆変換に用いる第２逆変換係数を取得する（ステップＳ２３３）。第２逆変換係数で構成される第２逆変換行列は、実施の形態１で説明した第２変換の変換係数の逆行列又はそれに近似した行列である。この第２逆変換係数は、実施の形態１と同様に例えばＫＬＴを用いて、第２復号変換出力信号ｙ＾_２ ^ｍを含む集合Ｓ_Ｄに基づいて求めてもよいし、符号化装置での第２変換に用いられた第２変換係数から求めてもよい。

次に、第２逆変換部４１０は、決定された第２逆変換係数で構成される第２逆変換行列を用いて、第２復号変換出力信号ｙ＾_２ ^ｍに第２逆変換を行うことで、第１復号部分信号ｙ＾_１Ｌ ^ｍを生成する（ステップＳ２３４）。そして、統合部４２０は、第１復号部分信号ｙ＾_１Ｌ ^ｍと、第２復号部分信号ｙ＾_１Ｈ ^ｎ−ｍとを統合することで、第１復号変換出力信号ｙ＾_１ ^ｎを生成する（ステップＳ２３６）。

次に、第１逆変換部４３０は、第１逆変換に用いる第１逆変換係数を取得する（ステップＳ２３７）。第１逆変換係数で構成される第１逆変換行列は、実施の形態１で説明した第１変換の変換係数の逆行列又はそれに近似した行列である。この第１逆変換係数は、実施の形態１と同様に例えばＫＬＴを用いて、第１復号変換出力信号ｙ＾_１ ^ｎを含む集合Ｓ_Ｅに基づいて求めてもよいし、符号化装置での第１変換に用いられた第１変換係数から求めてもよい。このような逆変換係数の算出は以下の実施の形態でも同様に行ってよい。

第１逆変換部４３０は、決定された第１逆変換係数で構成される第１逆変換行列を用いて、第１復号変換出力信号ｙ＾_１ ^ｎに第１逆変換を行うことで、復号信号ｘ＾^ｎを生成する（ステップＳ２３８）。

なお、集合Ｓ_Ｄと集合Ｓ_Ｅは、実施の形態１の集合Ｓ_Ｃと集合Ｓ_Ａの関係にあり、集合Ｓ_Ｄのほうが集合Ｓ_Ｅよりも含むサンプル数が少ない小さな集合である。以上のようにして、本発明の実施の形態２に係る逆変換部３３０を備えた復号装置３００は、実施の形態１と同様に、高効率な変換と、演算量及びデータ量の削減とを両立させることができる。

なお、第２復号変換出力信号ｙ＾_２ ^ｍと第１復号部分信号ｙ＾_１Ｌ ^ｍとのそれぞれについて、次元の並び替えを分割部４００と統合部４２０とが行うこととしたが、それぞれの並び替えを第２逆変換部４１０が行う構成であってもよい。つまり、分離型の変換を用いてもよいし、図８（ｂ）で示すような対角要素は１で非対角要素は０という行を含む変換行列Ａ^４を用いてもよい。また、復号の対象が、音声データ等の一次元信号の場合、あるいは、多次元信号を分離型で構成する場合の各次元の信号は一次元信号と見なせるため、逆変換部３３０に入力される復号変換出力信号ｙ＾^ｎは一次元であり、前述の次元の並び替え（分割部４００における一次元信号への並び替え、及び、統合部４２０における元の次元への並び替え）の処理は不要となる。

以上のように、本発明の実施の形態２に係る復号装置３００は、符号化信号にエントロピー復号及び逆量子化を行うことで生成される復号変換出力信号の一部である第２復号変換出力信号に第２逆変換を行い、第２逆変換後の信号と、復号変換出力信号の残りの部分である第２復号部分信号とを含む第１復号変換出力信号に第１逆変換を行うことを特徴とする。これにより、本発明の実施の形態２に係る復号装置３００によれば、入力信号の統計的性質に基づいて計算される逆変換係数を用いる逆変換において、変換の演算量の削減、及び、逆変換行列の要素数の削減を実現することができる。また、実施の形態１に示す符号化装置１００のように、入力信号の統計的性質に基づいて計算される変換係数を用いる変換を含む２段階の変換を行うことで生成された符号化信号を正しく復号することができる。

なお、上記の実施の形態２に係る復号装置３００では、復号変換出力信号ｙ＾^ｎを第２復号変換出力信号ｙ＾_２ ^ｍと第２復号部分信号ｙ＾_１Ｈ ^ｎ−ｍとに分割し、第２逆変換後に統合するが、明示的に分割しなくてもよい。すなわち、復号変換出力信号ｙ＾^ｎのうち、第２逆変換を実行する対象となる部分を決定すればよい。例えば、第２逆変換の際に、図８（ｂ）で示すような対角要素は１で非対角要素は０という行を含む変換行列Ａ^４を用いることで、分割と統合とを実質的に第２逆変換の際に行うことができる。

図１５は、本発明の実施の形態２の変形例に係る復号装置３００ａの構成の一例を示すブロック図である。

復号装置３００ａは、エントロピー復号部３１０と、逆量子化部３２０と、逆変換部３３０ａとを備える。なお、図１１Ａに示す復号装置３００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。

逆変換部３３０ａは、第２逆変換部４１０ａと、第１逆変換部４３０とを備える。つまり、逆変換部３３０ａは、図１１Ｂに示す逆変換部３３０と比較して、分割部４００と、統合部４２０とを備えていない点と、さらに、第２逆変換部４１０の代わりに第２逆変換部４１０ａを備える点とが異なっている。

第２逆変換部４１０ａは、第２逆変換行列を用いて、復号変換出力信号ｙ＾^ｎの一部である第２復号変換出力信号ｙ＾_２ ^ｍに第２逆変換を行うことで、第１復号部分信号ｙ＾_１Ｌ ^ｍを生成する。例えば、第２逆変換部４１０ａは、復号変換出力信号ｙ＾^ｎを構成する係数値のうち、第２逆変換の対象となる係数値を決定し、決定した係数値から構成される信号を第２復号変換出力信号ｙ＾_２ ^ｍとして、第２逆変換を行う。より具体的には、第２逆変換部４１０ａは、復号変換出力信号ｙ＾^ｎを構成する複数の係数値のうち、所定の閾値より値の大きな係数値を含む信号を、第２復号変換出力信号ｙ＾_２ ^ｍとして、第２変換を行う。

例えば、第２逆変換部４１０ａは、復号変換出力信号ｙ＾^ｎのうち第２逆変換の対象とならない部分である第２復号部分信号ｙ＾_１Ｈ ^ｎ−ｍに乗じられる第２逆変換係数の対角要素が１で非対角要素を０にすることで、実質的に第２復号変換出力信号ｙ＾_２ ^ｍのみに、第２逆変換を行うことができる。

図１６は、図１５に示す復号装置３００ａの動作の一例を示すフローチャートである。

まず、エントロピー復号部３１０は、入力された符号化信号をエントロピー復号することで、復号量子化係数Ｃ＾^ｎを生成する（ステップＳ２１０）。次に、逆量子化部３２０は、復号量子化係数Ｃ＾^ｎを逆量子化することで、復号変換出力信号ｙ＾^ｎを生成する（ステップＳ２２０ｂ）。

次に、逆変換部３３０ａが、復号変換出力信号ｙ＾^ｎを逆変換することで、復号信号を生成する（ステップＳ２３０ａ）。具体的には、まず、第２逆変換部４１０ａは、復号変換出力信号ｙ＾^ｎのうち、第２逆変換の対象となる部分である第２復号変換出力信号ｙ＾_２ ^ｍを逆変換することで、第１復号部分信号ｙ＾_１Ｌ ^ｍを生成する（Ｓ２３４ａ）。そして、第２逆変換部４１０ａは、生成した第１復号部分信号ｙ＾_１Ｌ ^ｍと、復号変換出力信号ｙ＾^ｎのうち第２逆変換の対象とならなかった部分である第２復号部分信号ｙ＾_１Ｈ ^ｎ−ｍとを含む第１復号変換出力信号ｙ＾_１ ^ｎを出力する。

最後に、第１逆変換部４３０は、第１逆変換行列を用いて第１復号変換出力信号ｙ＾_１ ^ｎに第１逆変換を行うことで、復号信号ｘ＾^ｎを生成する（Ｓ２３８）。

以上のように、実施の形態２の変形例に係る復号装置３００ａによっても、演算量の増加及び逆変換係数のデータ量の増加を抑制するために、２段階の変換が行われた符号化信号を復号することができる。

（実施の形態３）
本発明の実施の形態３に係る符号化装置及び符号化方法は、音声データ、静止画像データ、動画像データなど符号化対象となる信号を、複数種類の変換の組み合わせによって変換を行う変換部及び変換方法を備える。本発明の実施の形態３に係る符号化装置及び符号化方法は、変換入力信号として、符号化対象信号（入力信号）と予測信号との差分である予測誤差信号に対して、２段階の変換を行うことを特徴とする。

図１７は、本発明の実施の形態３に係る符号化装置５００の構成の一例を示すブロック図である。図１７に示すように、本発明の実施の形態３に係る符号化装置５００は、減算器５０５と、変換部５１０と、量子化部１２０と、エントロピー符号化部１３０と、逆量子化部５４０と、逆変換部５５０と、加算器５６０と、メモリ５７０と、予測部５８０と、制御部５９０とを備える。なお、図３に示す実施の形態１に係る符号化装置１００と同じ構成については、同じ符号を付し、以下では説明を省略する。

減算器５０５は、符号化対象である入力信号と、以前の符号化対象信号から生成された予測信号との差分（予測誤差）を算出する。算出された予測誤差を示す信号が、変換入力信号として、変換部５１０に入力される。

変換部５１０は、実施の形態１で説明した変換部１１０と同様に、変換入力信号に対して２段階の変換を行う。すなわち、変換部５１０は、変換入力信号に第１変換を行うことで、第１変換出力信号を生成し、生成した第１変換出力信号の一部である第１部分信号に第２変換を行うことで、第２変換出力信号を生成する。そして、変換部５１０は、生成した第２変換出力信号と、第１変換出力信号のうち第１部分信号以外の部分である第２部分信号とを含む変換出力信号を量子化部１２０に出力する。変換部５１０の詳細については、後で説明する。ここでは、変換部５１０には、変換入力信号として、予測誤差画像を示す信号が入力される。

逆量子化部５４０は、量子化部１２０によって生成された量子化係数を逆量子化することで、復号変換出力信号を生成する。復号変換出力信号は、変換部５１０によって生成された変換出力信号に相当する。

逆変換部５５０は、逆量子化部５４０によって生成された復号変換出力信号を逆変換することで、復号変換入力信号を生成する。復号変換入力信号は、減算器５０５によって生成された変換入力信号に相当する。

加算器５６０は、逆変換部５５０によって生成された復号変換入力信号と、以前の符号化対象信号から生成された予測信号とを加算することで、復号信号を生成する。

メモリ５７０は、生成された復号信号を格納するための記憶部の一例である。

予測部５８０は、復号信号を用いて、符号化対象信号の予測を行うことで、予測信号を生成する。具体的には、予測部５８０は、所定の符号化パラメータに基づいて、符号化対象である入力画像に含まれる符号化対象ブロックの予測画素（予測信号）を生成する。減算器５０５では、符号化対象ブロックの画素と予測画素との差分である予測誤差画像が生成される。

制御部５９０は、局所情報に基づいて、変換部５１０の動作を制御するための制御信号を出力する。局所情報は、例えば、変換係数及び分割統合情報に対応付けられたインデックス、あるいは、予測モードなどを示す情報である。制御部５９０は、これらの局所情報に基づいて、変換係数及び分割統合情報を決定し、決定した係数及び情報を示す制御情報を変換部５１０に出力する。

本発明の実施の形態３に係る符号化装置５００では、制御部５９０からの制御に基づいて、第２変換の際に、第１部分信号として、第１変換出力信号のうち第２変換の対象となる範囲と、第２変換係数との少なくとも一方を、時間的又は空間的に適応的に決定する。例えば、所定の符号化パラメータに基づいて、第１部分信号として、第１変換出力信号のうち第２変換の対象となる範囲と、第２変換係数との少なくとも一方を決定する。

なお、メモリ５７０は、符号化対象信号とそれ以前の対象信号から生成された予測信号との比較を可能にする遅延部として動作する。量子化部１２０の量子化処理によって情報量が圧縮される（情報の損失が発生する）ので、符号化信号に符号化された情報を取り出すために、逆量子化部５４０は、量子化係数を逆量子化することで、復号変換出力信号を生成し、逆変換部５５０は、復号変換出力信号を逆変換することで、復号変換入力信号を生成する。

なお、逆変換部５５０の逆変換処理は、変換部５１０の変換処理と逆変換の関係が成り立つ必要がある。ただし、演算に必要なビット長を抑えるための乗算の簡易化や丸め処理の挿入により、変換処理及び逆変換処理は厳密に行列で表現されない場合もあり、また、変換部５１０の変換処理と逆変換部５５０の逆変換処理とは、厳密な逆変換の関係を満たさないように設計する場合もある。

なお、音声又はオーディオのデータを符号化する場合には入力信号は一次元であり、静止画像又は動画像のデータを符号化する場合には入力信号は二次元となる。

次に、図１８を用いて、本発明の実施の形態３に係る符号化装置５００が実行する符号化処理を説明する。図１８は、本発明の実施の形態３に係る符号化装置５００の動作の一例を示すフローチャートである。

まず、符号化装置５００に符号化対象信号（入力信号）が入力されると、予測部５８０は、メモリ５７０に格納された符号化済み信号（復号信号）を用いて予測信号を生成する。そして、減算器５０５は、入力信号と予測信号との誤差である予測誤差信号を生成する（ステップＳ３０５）。なお、予測誤差信号ではなく、入力信号を直接変換する場合には、ステップＳ３０５の予測誤差信号を生成するステップは省略される。

減算器５０５によって生成された予測誤差信号又は入力信号は、変換部５１０に入力される。変換へ入力される点のベクトル、すなわち、予測誤差信号を、変換入力（Ｔｒａｎｓｆｏｒｍ Ｉｎｐｕｔ）信号ｘ^ｎとする（式４参照）。なお、多くの圧縮符号化において予測が行われるため、変換入力信号ｘ^ｎは、予測誤差（Ｐｒｅｄｉｃｔｉｏｎ Ｅｒｒｏｒ）であることが多いが、伝送路にエラーが混入する場合を想定して予測を行わない場合、あるいは、十分にエネルギーが小さい場合には予測を行わずに、符号化対象信号（Ｏｒｉｇｉｎａｌ Ｓｉｇｎａｌ）、すなわち、入力信号を直接に変換へ入力する場合もある。

変換部５１０は、変換入力信号ｘ^ｎを、ある変換Ｔで変換することで、変換出力（Ｔｒａｎｓｆｏｒｍ Ｏｕｔｐｕｔ）信号ｙ^ｎを生成する（式５参照）（ステップＳ１１０）。また、変換出力信号（変換出力ベクトル）ｙ^ｎは、単に係数（Ｃｏｅｆｆｉｃｉｅｎｔ）と呼ばれることもある。

次に、量子化部１２０は、変換出力信号ｙ^ｎを量子化することで、量子化係数（Ｑｕａｎｔｉｚｅｄ Ｃｏｅｆｆｉｃｉｅｎｔ）Ｃ^ｎを生成する（ステップＳ１２０）。量子化部１２０が行う量子化処理は、丸めオフセットａを加算後に一様量子化ステップｓで除算する処理であり、式６のように表現される。ａ及びｓは、符号化装置５００において高能率符号化のために制御される。

次に、エントロピー符号化部１３０は、量子化係数Ｃ^ｎをエントロピー符号化することで、符号化信号を生成する（ステップＳ１３０）。生成された符号化信号は、復号装置へ送られる。

次に、逆量子化部５４０は、式７のように、量子化係数Ｃ^ｎに逆量子化を行うことで、復号変換出力（Ｄｅｃｏｄｅｄ Ｔｒａｎｓｆｏｒｍ Ｏｕｔｐｕｔ）信号ｙ＾^ｎを生成する（ステップＳ３４０）。

なお、データ量を大幅に削減する代わりに元のデータへ完全に復元することはできないロッシー符号化では、量子化処理によって情報量が失われるため、復号変換出力信号ｙ＾^ｎと変換出力信号ｙ^ｎとは一致しない。つまり、復号変換出力信号ｙ＾^ｎには、量子化による歪みが混入していることから、変換の前に予測をしている場合には、復号変換出力信号ｙ＾^ｎは、量子化予測誤差（Ｑｕａｎｔｉｚｅｄ Ｐｒｅｄｉｃｔｉｏｎ Ｅｒｒｏｒ）と呼ばれることもある。なお、ロッシー符号化の場合でも十分なデータ量で符号化する場合には、情報はあまり失われず、ｙ＾^ｎとｙ^ｎとはほぼ一致する。

次に、逆変換部５５０は、式８のように、復号変換出力信号ｙ＾^ｎに逆変換Ｔ^−１を行うことで、復号変換入力ベクトルｘ＾^ｎを生成する（ステップＳ３５０）。

次に、加算器５６０が、上記予測信号と復号変換入力信号とを加算することで、復号信号を生成する。そして、加算器５６０は、生成した復号信号をメモリ５７０に格納して、次のタイミングにて参照できるようにする（ステップＳ３６０）。

なお、変換Ｔ及び逆変換Ｔ^−１はそれぞれ式９及び式１０に示すようなｎ×ｎの大きさの変換行列Ａ及びＢとの行列積で表現される。

一般的な変換（いわゆる直交変換）では、変換行列Ｂは、Ａの逆行列であり転置行列（Ｂ＝Ａ^Ｔ）である。ただし、これに限るものではなく、符号化装置５００内の逆変換Ｔ^−１の演算量を抑えるために、ＢはＡの厳密な逆行列や厳密な転置行列とならない場合もある。また、双直交（Ｂｉｏｒｔｈｏｇｏｎａｌ）変換と呼ばれる、厳密には直交をしていない変換Ａ及びその逆変換Ｂであってもよい。

式９における、変換入力ｘ^ｎに対する変換行列Ａ^ｎ×ｎの行列積は、式１１で表現される。変換行列の乗算回数及び変換行列の要素数は、ｎ＾２である。

次に、本発明の実施の形態３に係る変換部５１０の構成及び動作について説明する。図１９は、本発明の実施の形態３に係る変換部５１０の詳細な構成の一例を示すブロック図である。

図１９に示すように、変換部５１０は、第１変換部２００と、第１メモリ６０１と、第１変換係数導出部２０２と、分割部２１０と、第２メモリ６１１と、分割統合情報算出部６１２と、第２変換部２２０と、第３メモリ６２１と、第２変換係数導出部２２２と、統合部２３０とを有する。なお、図３に示す変換部１１０と同じ構成については、同じ符号を付している。

変換部５１０に入力された変換入力信号ｘ^ｎは、第１メモリ６０１と第１変換部２００とに入力される。

第１メモリ６０１は、複数個の変換入力信号ｘ^ｎに関する情報を記憶するためのメモリである。

第１変換係数導出部２０２は、第１メモリ６０１の情報から第１変換Ｔ_１に用いる第１変換行列Ａ_１ ^ｎを構成する第１変換係数を生成し、生成した第１変換係数を第１変換部２００へ出力する。

第１変換部２００は、入力された変換入力信号ｘ^ｎに対して、第１変換係数導出部２０２によって算出された第１変換係数で構成される第１変換行列Ａ_１ ^ｎを用いて第１変換Ｔ_１を行うことで、第１変換出力信号ｙ_１ ^ｎを生成する。第１変換出力信号ｙ_１ ^ｎは、第２メモリ６１１及び分割部２１０に入力される。

第２メモリ６１１には、複数個の第１変換出力信号ｙ_１ ^ｎに関する情報を記憶するためのメモリである。

分割統合情報算出部６１２は、第２メモリ６１１の情報から分割統合情報を生成し、生成した分割統合情報を分割部２１０及び統合部２３０へ出力する。分割統合情報は、第１変換出力信号ｙ_１ ^ｎのうち低域の成分を第１部分信号ｙ_１Ｌ ^ｍへ、高域の成分を第２部分信号ｙ_１Ｈ ^ｎ−ｍへ分割するような分割の制御情報である。その他、エネルギーの大きな成分を第１部分信号ｙ_１Ｌ ^ｍへ、エネルギーの小さな成分を第２部分信号ｙ_１Ｈ ^ｎ−ｍへ分割するような分割するような情報であってもよい。

分割部２１０は、第１変換出力信号ｙ_１ ^ｎを、分割統合情報に基づいて、ｍ点の第１部分信号ｙ_１Ｌ ^ｍと、ｎ−ｍ点の第２部分信号ｙ_１Ｈ ^ｎ−ｍへ分割する（ここで、ｍはｎより小さな自然数である）。つまり、分割部２１０は、ｎ個の係数値から構成される第１変換出力信号ｙ_１ ^ｎを、ｍ個の係数値から構成される第１部分信号ｙ_１Ｌ ^ｍと、ｎ−ｍ個の係数値から構成される第２部分信号ｙ_１Ｈ ^ｎ−ｍとに分割する。第１部分信号ｙ_１Ｌ ^ｍは、第３メモリ６２１及び第２変換部２２０に入力される。また、第２部分信号ｙ_１Ｈ ^ｎ−ｍは、統合部２３０に入力される。

第３メモリ６２１は、複数個の第１部分信号ｙ_１Ｌ ^ｍに関する情報を記憶するためのメモリである。

第２変換係数導出部２２２は、第３メモリ６２１の情報から第２変換Ｔ_２に用いる第２変換行列Ａ_２ ^ｍを構成する第２変換係数を生成し、生成した第２変換係数を第２変換部２２０へ出力する。

第２変換部２２０は、第２変換係数導出部２２２によって算出された第２変換係数で構成される第２変換行列Ａ_２ ^ｍを用いて、第１部分信号ｙ_１Ｌ ^ｍに第２変換Ｔ_２を行うことで、第２変換出力信号ｙ_２ ^ｍを生成する。

統合部２３０は、第２変換出力信号ｙ_２ ^ｍと第２部分信号ｙ_１Ｈ ^ｎ−ｍとを、分割統合情報に従って統合することで変換出力信号ｙ^ｎを生成する。なお、統合とは、分割の反対の処理である。

第２変換係数導出部２２２によって決定される第２変換係数は、第１部分信号ｙ_１Ｌ ^ｍに最適に設計された変換係数である。このため、第２変換行列Ａ_２ ^ｍを用いた第２変換Ｔ_２は、第１変換出力信号ｙ_１ ^ｎに残された冗長性を削減できる変換であり、符号化信号の圧縮に寄与する効果をもたらす。

また、分割部２１０が第１変換出力信号ｙ_１ ^ｎを分割することにより、第２変換部２２０への入力信号（つまり、第１部分信号）の点数（係数値の個数）を減らすことができる。点数が減ることにより、第２変換部２２０の演算量の削減効果、及び、第２変換部２２０の変換係数の総数（つまり、データ量）の削減効果が得られる。

ここで、第１変換係数導出部２０２による第１変換係数の生成、及び、第２変換係数導出部２２２による第２変換係数の生成について述べる。これらの変換係数の生成には、例えば、上述したＫＬＴを用いる。

ＫＬＴ（カルーネンレーベ変換）は、入力信号を含むある集合の統計的な性質に基づいて、入力信号を完全に無相関化できる周波数領域への変換を設計する手法である。具体的には、入力信号の分散共分散行列（Ｖａｒｉａｎｃｅ−ｃｏｖａｒｉａｎｃｅ ｍａｔｒｉｘ）の非対角要素が０となるような変換を求めることであり、これは、分散共分散行列の固有値問題を解くことに等しい。導出した固有ベクトルが基底関数となり、固有値が変換係数の各成分の軸の大きさ（つまり、エネルギー）となる。固有値の値（分散、あるいは、エネルギー）の大きな軸から小さな軸へと変換係数を並べる。この順で並べることにより、例えば、変換入力信号がｎ点のベクトルであるとすると、変換出力信号のｎ点のベクトルのうち、ｉ番目の要素（１≦ｉ＜ｎ）とｊ番目（ｉ＜ｊ≦ｎ）の要素とのエネルギーを比較すると、ｉ番目の要素のエネルギーは、ｊ番目の要素のエネルギーよりも大きくなる（大きくなるように変換係数を設計できる）。

本発明において、低周波数帯域、及び、高周波数帯域という表現を使うとき、それらは、それぞれ、相対的に小さい番号を持つ要素、相対的に大きな番号を持つ要素に対応しており、厳密に区切りがどこにあるかを規定するものではない。本発明は、変換及び逆変換等にかかるリソース（演算量や使用メモリ量）の削減を主な目的としているが、リソースと変換性能とには広い意味でトレードオフの関係があり、本発明が使われる方法や装置の目的に応じて設定されるものである。

しかし、従来技術の課題で言及したように、変換係数を導出した際に参照した集合とは異なる統計的性質を持つ集合が入力されると、導出した変換係数を用いた変換は最適ではなくなる。これに対して、入力信号の性質に応じて、入力信号が入力される度に変換係数を導出すると、変換係数のデータ量が膨大となる。

この課題に対し、本実施の形態では、複数の変換を用いる。すなわち、第１変換において、より大きな集合Ｓ_Ａの統計的性質に応じて最適に導出された変換係数で構成される変換行列を用いて変換し、第２変換において、より小さな集合Ｓ_Ｂの（第１変換出力信号の）統計的性質に応じて、最適に導出された変換係数で構成される変換行列を用いて変換する。

なお、本発明の実施の形態３に係る符号化装置５００は、第２変換係数を導出する際に、入力信号の特徴を解析する局所集合判定部を備えていてもよい。つまり、本発明の実施の形態３に係る符号化装置５００は、変換部５１０の代わりに、図２０に示す変換部５１０ａを備えていてもよい。変換部５１０ａは、図２０に示すように、局所集合判定部６２３を備える。

局所集合判定部６２３は、変換入力信号ｘ^ｎの特徴を解析し、解析結果に基づいて第２変換係数導出部２２２の制御を行う。なお、図２０には図示していないが、局所集合判定部６２３は、図１９に示す分割統合情報算出部６１２の制御を行ってもよい。局所集合判定部６２３の具体的な処理については、図２１を用いて、以下に説明する。

図２１は、本発明の実施の形態３に係る変換部５１０ａにおける変換係数の導出の一例を概念的に示す図である。

変換入力信号ｘ^ｎは、大きな集合Ｓ_Ａに属し、かつ、より小さな集合Ｓ_Ｂ（１）とＳ_Ｂ（２）のいずれかに属する場合を想定する。なお、図２１では、集合Ｓ_Ｂは集合Ｓ_Ａに含まれるよう図示しているが、変換入力信号ｘ^ｎが集合Ｓ_Ｂに属し、集合Ｓ_Ａに属さないというような、集合Ｓ_Ｂが集合Ｓ_Ａに含まれない場合でも同様の導出方法が適用可能である。

第１変換部２００が用いる第１変換係数は、第１変換係数導出部２０２によって生成される。第１変換係数導出部２０２は、より多くのサンプルを含む集合Ｓ_Ａに基づいて、第１変換係数を最適化する。

集合Ｓ_Ａはより多くのサンプルを含むので、第１変換係数は、平均的に最適化され、個々の変換入力の違いの影響をあまり受けないようにできる。これによって、第１変換係数の更新頻度を抑えることができる。また、第１変換係数の更新を行う場合でも、変換係数の個々の値の変化量は小さくなるため、差分情報量を少なくできる。したがって、第１変換係数を復号装置に送信する場合の符号量を削減することができる。

第２変換係数は、変換入力が集合Ｓ_Ｂ（１）とＳ_Ｂ（２）のそれぞれに最適化して導出する。第２変換部２２０では、第２変換の対象となる第１部分信号の点数が、分割によって変換入力信号の点数よりも減らされているので、演算量と変換係数のデータ量とを削減できる。つまり、第２変換の対象となる第２変換部２２０への入力信号は、集合Ｓ_Ｂ（１）、Ｓ_Ｂ（２）に含まれる変換入力信号ｘ^ｎそのものではなく、第１変換出力信号ｙ_１ ^ｎの一部である第１部分信号ｙ_１Ｌ ^ｍである。

局所集合判定部６２３は、変換入力信号ｘ^ｎの特徴を解析することで、小集合の統計的な変動を検出する。変動を検出すると、小集合に属する複数個のサンプルを決定し、第２変換係数導出部２２２へ通知する。あるいは、局所集合判定部６２３は、変換入力信号ｘ^ｎが、予め定めた小集合のいずれに属するかを判定してもよい。

第２変換部２２０への入力信号（すなわち、第１部分信号ｙ_１Ｌ ^ｍ）は、予測信号の生成方法に依存する場合がある。このため、局所集合判定部６２３は、予測信号の生成方法（予測信号モード）、例えば、Ｈ．２６４の面内予測の方向に応じて、第１変換出力信号ｙ_１ ^ｎを構成する複数の係数値のうち、第１部分信号ｙ_１Ｌ ^ｍとして第２変換の対象となる範囲を判定してもよい。あるいは、局所集合判定部６２３は、予めＮ個の小集合を定め、いずれに属することが最も情報量を軽減できるかを評価した指標を基に、第１部分信号ｙ_１Ｌ ^ｍとして第２変換の対象となる範囲を判定してもよい。

第２変換係数導出部２２２は、局所集合判定部６２３によって検出された統計的な変化の指示に基づき、小集合に属する複数個のサンプルの第１変換出力信号ｙ_１ ^ｎに対して、情報量が最小となるように設計された第２変換係数を導出する。あるいは、第２変換係数導出部２２２は、予め算出しておいた変換係数をメモリから呼び出す。

このとき、分割統合情報算出部６１２は、変換係数と同様に分割統合情報の決定を行う。あるいは、分割統合情報算出部６１２は、予め算出しておいた分割統合情報をメモリから呼び出してもよい。

より小さな集合Ｓ_Ｂ（１）、Ｓ_Ｂ（２）（の第１変換出力信号）のそれぞれに最適に設計された第２変換係数は、統計的性質の変化に追随でき、無相関化とエネルギー圧縮との効果の上乗せ効果を与える。さらに、第２変換は、分割部２１０によって入力信号の次元数を軽減しているため、変換行列の要素数及び変換の演算量を軽減できるため効率的である。

より小さな集合である集合Ｓ_Ｂは、局所的な変化が生じた変換入力信号ｘ^ｎが含まれる集合であり、例えば、集合Ｓ_Ａを時間軸もしくは空間領域で局所に分割したような集合である。あるいは、集合Ｓ_Ｂは、集合Ｓ_Ａに属する変換入力信号ｘ^ｎとは異なる統計的性質を持つ変換入力信号が短時間だけ入力された場合に、その異なる性質を持つような集合である。このように、集合Ｓ_Ａに含まれないような集合Ｓ_Ｂに属する変換入力信号ｘ^ｎが短時間だけ入力された場合であっても、第１変換係数を大きな集合Ｓ_Ａに基づいて決定し、第２変換係数を小さな集合Ｓ_Ｂに基づいて決定することで、変化に対応しながらも演算量が軽減した効率的な変換が可能である。

具体的には、局所集合判定部６２３が、所定の符号化パラメータに基づいて、変換係数及び分割統合情報の少なくとも１つを決定する。符号化パラメータは、予め定められた複数の予測方法のうちの１つの予測方法を示す。例えば、局所集合判定部６２３は、符号化パラメータの一例である面内予測あるいは面間予測の予測モードに応じて、変換係数及び分割統合情報を切り替えてもよい。あるいは、複数の変換係数と分割統合情報とのセットの中から、どれを選択するかを明示的に符号化ストリームに多重化してもよい。

また、面内予測あるいは面間予測モードから変換係数及び分割統合情報を切り替える際、複数の予測モードを１つの変換係数と分割統合情報と対応付けてもよい。分割統合情報は、比較的変化の少ない情報であるので、変換係数よりも切り替えの種類を少なくして、分割統合情報に関連するメモリ使用量を軽減してもよい。

なお、図１９では、第１変換係数、分割統合情報、第２変換係数を導出するためのメモリ、及び、導出部を備えた構成を例示していたが、完全な最適解ではなくとも、これらのいずれか１つ又は全ては経験や準最適な方法に基づいて、事前に導出しておいてもよい。図２２は、本発明の実施の形態３に係る変換部の別の一例を示すブロック図である。

図２２に示す変換部５１０ｂは、図１９に示す変換部５１０と比較して、第１メモリ６０１、第２メモリ６１１、第３メモリ６２１、第１変換係数導出部２０２、第２変換係数導出部２２２及び分割統合情報算出部６１２を備えていない点が異なっている。つまり、変換部５１０ｂは、予め事前に導出されていた第１変換係数、第２変換係数及び分割統合情報を外部から取得し、取得した係数及び情報に基づいて、変換及び分割を行う。

なお、第２変換において、高域側の信号に対する変換係数の乗算係数を少なくする（つまり、変換係数の有効精度を落とす）、あるいは、ゼロにすることにより、高域信号に対する演算量を削減する構成もありえる。この場合、分割部と統合部とは明示的にブロック図に現れない（図９参照）が、現れない構成であっても本発明の構成に該当するといえる。

図２３は、図２０に示す変換部５１０ａを備える符号化装置５００ａの構成を示すブロック図である。図２３に示す符号化装置５００ａは、図１７に示す符号化装置５００と比較して、変換部５１０の代わりに変換部５１０ａを備える点と、制御部５９０を備えない点とが異なっている。

本発明の実施の形態３の変形例に係る変換部５１０ａの変換処理のフローは、実施の形態１と同様である。具体的には、図６に示す通り、まず、第１変換係数導出部２０２が、第１変換係数を決定する（ステップＳ１１１）。次に、第１変換部２００は、決定された第１変換係数で構成される第１変換行列を用いて変換入力信号に第１変換を行うことで、第１変換出力信号を生成する（ステップＳ１１２）。

次に、分割統合情報算出部６１２（図示せず）又は局所集合判定部６２３が、分割統合情報を決定する（ステップＳ１１３）。そして、分割部２１０は、第１変換出力信号を第１部分信号と第２部分信号とへ分割する（ステップＳ１１０）。このとき、分割部２１０は、第１部分信号の相関エネルギーが第２部分信号の相関エネルギーよりも大きくなるように分割する。

次に、局所集合判定部６２３は、第１部分信号の局所的な集合の統計的性質を解析し、第２変換係数導出部２２２は、解析結果に基づいて第２変換係数を決定する（ステップＳ１１５）。次に、第２変換部２２０は、第１部分信号に対して決定された第２変換係数で構成される第２変換行列を用いて第２変換を行うことで、第２変換出力信号を生成する（ステップＳ１１６）。

最後に、統合部２３０は、第２部分信号と第２変換出力信号とを統合することで、変換出力信号を生成する（ステップＳ１１８）。なお、ステップＳ１１１、ステップＳ１１３、ステップＳ１１５は別の方法によって決定され、本実施の形態の一部として動作しなくてもよい。

以上に示すように、本発明の実施の形態３に係る符号化装置及び符号化方法によれば、変換入力信号に応じて、適応的に変換係数及び分割統合情報を変更するので、変換処理の演算量と変換係数のデータ量とを抑えつつ、入力信号の統計的性質の変化に適応することができる。

以下では、本発明の実施の形態３の変形例に係る符号化装置について、図２４Ａ及び図２４Ｂを用いて説明する。

本発明の実施の形態３の変形例では、図２４Ａに示す符号化装置５００ｃのように、予め定めた変換係数（予め導出された変換係数）で構成される所定の変換行列を用いて第２変換を行うこともできる。図２４Ａは、本発明の実施の形態３の変形例に係る符号化装置５００ｃの構成の一例を示すブロック図である。

図２４Ａに示すように、符号化装置５００ｃは、図２３に示す符号化装置５００ａと比較して、変換部５１０ａの代わりに変換部５１０ｃを備える点と、新たに、メモリ６２４を備える点とが異なっている。

変換部５１０ｃは、変換部５１０ａと比較して、第２変換係数導出部２２２及び局所集合判定部６２３の代わりに、第２変換係数導出部２２２ｃ及び局所集合判定部６２３ｃを備える点が異なっている。第２変換係数導出部２２２ｃは、局所集合判定部６２３ｃから出力される導出制御信号に基づいて、第２変換係数を生成する。生成した第２変換係数は、メモリ６２４に格納される。

メモリ６２４は、少なくとも１つの第２変換係数を記憶するための記憶部の一例である。メモリ６２４は、記憶している少なくとも１つの第２変換係数の中から、局所集合判定部６２３ｃから出力される選択信号に基づいて選択された第２変換係数を第２変換部２２０とエントロピー符号化部１３０とに出力する。

例えば、メモリ６２４は、インデックスと第２変換係数とを対応付けて記憶している。選択信号は、インデックスを示す信号であり、メモリ６２４は、選択信号が示すインデックスに対応付けられた第２変換係数を出力する。

具体的には、メモリ６２４は、互いに異なる係数値の組を有する複数の変換行列を、第２変換係数の候補として記憶している。複数の変換行列には、符号化パラメータの一例であるインデックス情報が１対１に対応付けられている。そして、第２変換の際に、選択信号が示すインデックス情報によって指定される変換行列が、第２変換係数として決定される。

図２５は、本発明の実施の形態３の変形例に係る符号化装置において、メモリに格納された第２変換係数と分割統合情報との対応関係の一例を示す図である。上述したように、メモリ６２４には、インデックスと第２変換係数とが対応付けて記憶される。また、図２５に示すように、メモリ６２４には、さらに選択範囲情報（ここでは、分割統合情報）とインデックスとが対応付けて記憶されていてもよい。

具体的には、まず、局所集合判定部６２３ｃは、入力信号の特性に基づき、あるいは、圧縮された情報量の推定値の大小に基づき、予め定めた変換係数、及び、分割統合情報のいずれを用いるかを選択するための選択信号を出力する。出力された選択信号に基づき、メモリ６２４は、予め定めた変換係数を第２変換部２２０へ出力する。また、メモリ６２４が分割統合情報も保持している場合は、分割統合情報を分割部２１０及び統合部２３０へ出力する（図２４Ａには示していない）。

選択信号は、必要に応じて情報量の圧縮が適用され（例えば、周辺隣接ブロックのインデックスから予測した予測インデックスとの差分信号を出力する）、エントロピー符号化部１３０において、符号化信号に多重化される。

また、局所集合判定部６２３ｃは、新しい第２変換係数を導出するように第２変換係数導出部２２２ｃへ指示する導出制御信号を出力することもある。このとき、新しく導出された第２変換係数は、メモリ６２４に格納される。また、局所集合判定部６２３ｃは、分割統合情報算出部（図示せず）に、導出制御信号を出力することで、新たな分割統合情報を算出させてもよい。なお、分割統合情報の算出は、第２変換係数導出部２２２ｃが行ってもよい。

新しい第２変換係数と分割統合情報とは、必要に応じて、情報量が圧縮され、エントロピー符号化部１３０において、符号化信号に多重化される。言い換えると、図２４Ａに示す実施の形態３の変形例に係る符号化装置５００ｃは、第２変換係数及び分割統合情報を復号装置へ出力する。なお、第２変換係数そのものを出力するのではなく、インデックスを示す選択信号を送信することで、復号装置側で、復号装置が記憶している第２変換係数を選択させることもできる。

なお、前述のように変換入力信号は、入力信号と予測信号との差分であるため、予測信号の特性に依存する。予測信号がよく予測できている場合と、できていない場合とでは、変換入力信号の特性は異なる場合も考えられるため、局所集合判定部６２３ｃは、変換入力信号の大小に応じて第２変換係数と分割統合情報とを切り替えてもよい。

また、図２４Ｂに示す符号化装置５００ｄのように、予測方法の種別を示す情報（予測モード信号）に基づいて、第２変換係数の導出を制御することもできる。図２４Ｂは、本発明の実施の形態３の変形例に係る符号化装置５００ｄの構成の一例を示すブロック図である。

図２４Ｂに示すように、符号化装置５００ｄは、図２４Ａに示す符号化装置５００ｃと比較して、変換部５１０ｃの代わりに変換部５１０ｄを備える点と、新たに予測制御部５８５を備える点とが異なっている。また、変換部５１０ｄは、変換部５１０ｃと比較して、局所集合判定部６２３ｃの代わりに、局所集合判定部６２３ｄを備える点が異なっている。

予測制御部５８５は、予測モード信号を決定し、予測部５８０へ出力するとともに、局所集合判定部６２３ｄへ出力する。予測モード信号は、必要に応じて、近傍ブロックの情報からの推定値との差分をとるなどして情報量を圧縮し、エントロピー符号化部１３０において、符号化信号へ多重化される。

局所集合判定部６２３ｄは、予測モード信号に基づいて、予め定めた変換係数と分割統合情報とを選択するための選択信号を出力する。選択信号に基づき、メモリ６２４は、予め定めた第２変換係数を第２変換部２２０へ、分割統合情報を分割部２１０及び統合部２３０へ出力する。

また、局所集合判定部６２３ｄは、新しい第２変換係数を導出するように第２変換係数導出部２２２ｃへ指示する導出制御信号を出力することもある。このとき、新しく導出された第２変換係数は、メモリ６２４に格納される。また、局所集合判定部６２３ｄは、分割統合情報算出部（図示せず）に、導出制御信号を出力することで、新たな分割統合情報を算出させてもよい。なお、分割統合情報の算出は、第２変換係数導出部２２２ｃが行ってもよい。

新しい第２変換係数と分割統合情報とは、必要に応じて、情報量が圧縮され、エントロピー符号化部１３０において、符号化信号に多重化される。

なお、局所集合判定部６２３ｄは、変換入力信号の大小に応じて、第２変換係数と分割統合情報とを切り替えてもよい。なお、予測の方法は複数種類あり、その１つが予測モード信号で指示される。予測は、フレーム間予測（インター予測）でもフレーム内予測（イントラ予測）でもよい。フレーム内予測は、符号化済み（復号済み）の周辺隣接画素を所定の方向で外挿して予測する方法であってもよい。

また、分割統合情報は、予測信号を生成した予測方法の角度（フレーム内予測の場合は所定の外挿角度）をもとに、その角度向けに最適化された分割統合を行うことができるように、決定されてもよい。分割統合情報について、図２６Ａ〜図２６Ｃを用いて概念を説明する。

図２６Ａは、４ｘ４ブロックの第１変換出力信号を示し、左上が低域の例を示している。一般的には、エネルギーが集中しやすい低域側を第１部分信号、それ以外の高域部分を第２部分信号として、第１部分信号に第２変換を行うことで、さらに圧縮を行う。なお、ここでは説明のために、第１変換出力信号のＮｘＮ個の要素がどちらの部分に属するかをＧｉｊ＝｛０，１｝、（ｉは垂直下方向、ｊは水平右方向、ｉｊ共に１起点、第１部分信号に属するなら０、第２部分信号に属するなら１）と定義する。

図２６Ｂは、複数個の分割統合情報の中からイントラ予測の予測方向に基づいて、分割統合情報を選択する例を示す概念図である。右上方向を角度の基点として、０からπ［ｒａｄ］の範囲を幾つかに分割した角度単位に分割統合情報を設計する。図２６Ｂは、４つの分割統合情報を定義した例である。

具体的には、設計角度が水平であるＳ_０は、左側（水平方向でＤＣ）にパワーが集中することを想定し、Ｇ０ｊを優先的に０（つまり、第１部分信号）とする。設計角度が垂直であるＳ_１は、上側（垂直方向でＤＣ）にパワーが集中することを想定し、Ｇｊ０を優先的に０（つまり、第１部分信号）とする。設計角度が斜めであるＳ_１とＳ_３とは、例えばＧｉｊ（ｉ＜＝１、ｊ＜＝１）を優先的に０とする。

図２６Ｃは、４ｘ４のブロックのうち４要素を第１部分信号として選ぶ場合において、８種類の角度、すなわち、８種類の分割統合情報を準備する場合の例である。この例に示すように、角度と第１部分信号を構成する係数値との位置には関係性を定義することができ、任意の角度で、第１部分信号を構成する係数値の位置を決定することができる。

このように、第２変換の際に、符号化パラメータが所定の方向への外挿を示す予測方法を示す場合、第１変換出力信号を構成する複数の係数値のうち、当該所定の方向の係数値を含む範囲を、第２変換の対象として決定する。所定の方向の係数値を含む範囲とは、具体的には、所定の方向の始点側の係数値、すなわち、外挿方向の始点側の係数値を含む範囲である。

例えば、符号化パラメータが略水平方向（右方向）への外挿を示す予測方法を示す場合、第１変換出力信号を構成する複数の係数値のうち、横方向の係数値（具体的には、左側の係数値）を含む範囲を、第２変換の対象として決定する。また、符号化パラメータが略垂直方向（下方向）への外挿を示す予測方法を示す場合、第１変換出力信号を構成する複数の係数値のうち、縦方向の係数値（具体的には、上側の係数値）を含む範囲を、第２変換の対象として決定する。

言い換えると、第２変換の対象としてｍ個の係数値（要素）を決定する場合、第１変換出力信号を構成するｎ個の係数値の中から、外挿方向の始点側により近いｍ個の係数値を決定する。より具体的には、左上の係数値と、外挿方向の始点側に近い係数値とを含む。

例えば、図２６ＢのＳ_０のように右方向への外挿方向が選択された場合、当該外挿方向の始点は左側であるので、左側に近いｍ個の係数値が、第１部分信号として選択される。同様に、図２６ＢのＳ_１のように右下方向への外挿方向が選択された場合、当該外挿方向の始点は左上側であるので、左上側に近いｍ個の係数値が、第１部分信号として選択される。さらに、図２６ＢのＳ_２のように下方向への外挿方向が選択された場合、当該外挿方向の始点は上側であるので、上側に近いｍ個の係数値が、第１部分信号として選択される。

なお、図２６ＢのＳ_３、又は、図２６ＣのＳ_０、Ｓ_１、Ｓ_７のように、外挿方向の始点側が左下や右上などの場合は、第２変換の対象としてｍ個の係数値（要素）を決定する場合、左上の係数値と、外挿方向の始点側に近い係数値と、外挿方向に沿った係数値とを含むように、ｍ個の係数値を決定する。例えば、図２６ＣのＳ_７は、Ｓ_６より左に２２．５度ずれているので、Ｓ_７の第２部分信号は、Ｓ_６のように、左上の係数値（（１，１））と、上側の係数値（（１，２）及び（１，３））とを含むとともに、外挿方向（左下方向）に沿った係数値（（２，１））とを含んでいる。

（実施の形態４）
本発明の実施の形態４に係る復号装置及び復号方法は、音声データ、静止画像データ、動画像データなどの信号が符号化された符号化信号（例えば、実施の形態１又は３において生成された符号化信号）を、複数種類の変換の組み合わせによって逆変換を行う逆変換部及び逆変換方法を備える。本発明の実施の形態４に係る復号装置及び復号方法は、符号化対象信号（入力信号）と予測信号との差分である予測誤差信号が符号化された信号に対して、２段階の逆変換を行うことを特徴とする。

図２７は、本発明の実施の形態４に係る復号装置７００の構成の一例を示すブロック図である。図２７に示すように、本発明の実施の形態４に係る復号装置７００は、エントロピー復号部３１０と、逆量子化部３２０と、逆変換部７３０と、制御部７４０と、加算器７５０と、メモリ７６０と、予測部７７０とを備える。なお、図１１Ａに示す実施の形態２に係る復号装置３００と同じ構成については、同じ符号を付し、以下では説明を省略する。

逆変換部７３０は、実施の形態２で説明した逆変換部３３０と同様に、逆量子化部３２０によって生成された復号変換出力信号を逆変換することで、復号変換入力信号を生成する。具体的には、逆変換部７３０は、復号変換出力信号に対して２段階の逆変換を行う。なお、制御部７４０からの制御信号に基づいて、逆変換に用いる逆変換係数及び分割の位置（第２逆変換の対象となる部分）が決定される。逆変換部７３０の詳細については、後で説明する。

制御部７４０は、局所情報に基づいて、逆変換部７３０の動作を制御するための制御信号を出力する。局所情報は、符号化パラメータの一例であり、例えば、逆変換係数及び分割統合情報に対応付けられたインデックス、あるいは、符号化の際に用いた予測モードなどを示す情報である。制御部７４０は、これらの局所情報に基づいて、逆変換係数及び分割統合情報を決定し、決定した係数及び情報を示す制御情報を逆変換部７３０に出力する。

加算器７５０は、逆変換部７３０によって生成された復号変換入力信号と、以前の符号化信号から生成された復号信号に基づいた予測により生成された予測信号とを加算することで、復号信号を生成する。

メモリ７６０は、生成された復号信号を格納するための記憶部の一例である。

予測部７７０は、以前の符号化信号から生成された復号信号に基づく予測を行うことで、予測信号を生成する。すなわち、予測部７７０は、メモリ７６０に格納された復号済みの復号信号をもとに予測信号を生成する。例えば、予測部７７０は、符号化パラメータに基づいて、予測誤差画像に含まれる復号対象ブロックの予測画素（予測信号）を生成する。そして、予測部７７０によって生成された予測画素と、復号対象ブロックの画素とが、加算器７５０によって加算され、入力画像（復号信号）が復元される。

なお、逆変換部７３０は、第２逆変換係数及び分割統合情報を符号化装置から取得してもよい。なお、符号化装置から取得するのは第２変換係数であって、第２変換係数から第２逆変換係数を求めても良い。分割統合情報は、第２復号変換出力信号が、復号変換出力信号のどの部分に対応するかを示す選択範囲情報の一例である。

本発明の実施の形態４に係る復号装置７００では、制御部７４０からの制御に基づいて、第２逆変換の際に、第２復号変換出力信号として、復号変換出力信号のうち第２逆変換の対象となる範囲と、第２逆変換係数との少なくとも一方を、時間的又は空間的に適応的に決定する。例えば、所定の符号化パラメータに基づいて、第２復号変換出力信号として、復号変換出力信号のうち第２逆変換の対象となる範囲と、第２逆変換係数との少なくとも一方を決定する。

次に、図２８を用いて、本発明の実施の形態４に係る復号装置７００が行う復号処理を説明する。図２８は、本発明の実施の形態４に係る復号装置７００の動作の一例を示すフローチャートである。

まず、予測部７７０は、メモリ７６０に格納された復号済みの復号信号をもとに予測信号を生成する（ステップＳ４０５）。なお、入力信号を直接変換する符号化方法にて生成された符号化信号を復号する場合には、本ステップＳ４０５は省略される。

次に、エントロピー復号部３１０は、入力された符号化信号をエントロピー復号することで、量子化係数を生成する（ステップＳ２１０）。逆量子化部３２０は、量子化係数を逆量子化することで、復号変換出力信号ｙ＾^ｎを生成する（ステップＳ２２０）。

次に、逆変換部７３０は、復号変換出力信号ｙ＾^ｎを逆変換することで、復号変換入力信号ｘ＾^ｎを生成する（ステップＳ２３０）。具体的には、逆変換部７３０は、図１２又は図１４に示すように、２段階の逆変換を行うことで、復号変換入力信号ｘ＾^ｎを生成する。なお、ここで、逆変換部７３０における逆変換とは、復号装置における変換という意味であり、符号化装置の変換の逆変換に限定されるものではない。

次に、加算器７５０は、復号変換入力信号ｘ＾^ｎと予測信号とを加算することで、復号信号を生成する。復号信号は、復号装置７００全体の出力信号として出力される。また、復号信号は、メモリ７６０に格納され（ステップＳ４４０）、後続の符号化信号の復号の際に参照される。つまり、メモリ７６０は、遅延部として動作する。

なお、音声又はオーディオのデータを復号する場合では、出力信号は一次元であり、静止画像及び動画像復号装置では出力信号は二次元となる。また、予測を行わずに復号信号を直接出力信号とするような復号装置（あるいは動作モード）は、予測部７７０及びメモリ７６０を除いて例示できる。

次に、図２９を用いて、本発明の実施の形態４に係る逆変換部７３０の構成に突いて説明する。図２９は、本発明の実施の形態４に係る逆変換部７３０の構成の一例を示すブロック図である。

逆変換部７３０は、分割部４００と、第２逆変換部４１０と、統合部４２０と、第１逆変換部４３０とを備える。逆変換部７３０には、復号変換出力信号ｙ＾^ｎが入力される。なお、復号変換出力信号ｙ＾^ｎは、図１７に示す変換部５１０が生成した変換出力信号ｙ^ｎに相当する。

分割部４００は、分割統合情報に従って、復号変換出力信号ｙ＾^ｎを第２復号変換出力信号と、第２復号部分信号とに分割する。

第２逆変換部４１０は、第２逆変換行列を用いて、第２復号変換出力信号を逆変換することで、第１復号部分信号を生成する。

統合部４２０は、第２復号部分信号と第１復号部分信号とを、分割統合情報に従って統合することで、第１復号変換出力信号を生成する。

第１逆変換部４３０は、第１逆変換行列を用いて、第１復号変換出力信号を逆変換することで、復号変換入力信号を生成する。なお、復号変換入力信号は、図１７に示す変換部５１０に入力される変換入力信号に相当する。

分割統合情報は、上述した実施の形態に記載したものと同等であり、分割部４００への入力（復号変換出力信号）の次元数はｎ、第２逆変換部４１０への入力（第２復号変換出力信号）の次元数はｍである（ｍ＜ｎの自然数）。なお、第２逆変換部４１０への入力時の次元数はｎとしておき、第２逆変換部４１０は、図８（ｂ）で示すような対角要素は１で非対角要素は０という行を含む変換行列Ａ^４を用いてもよい。第２変換部は分離型であってもよい。

第２逆変換に用いる第２逆変換行列は、実施の形態１又は３に記載した第２変換の変換行列の逆行列又は逆行列の近似の関係にある。第１逆変換に用いる第１逆変換行列は、実施の形態１又は３に記載した第１変換行列の逆行列又は逆行列の近似の関係にある。逆変換の演算に必要な演算精度を低く抑えるために、第１逆変換係数と、第２逆変換係数との有効精度を低くすることもある。この場合、逆変換部の演算精度が符号化及び復号全体に与える歪みにおいて支配的になるので、実施の形態２又は本実施の形態に記載する第１逆変換係数をもとに、実施の形態１又は３に記載した第１変換係数を導出し、同様に第２逆変換係数をもとに第２変換係数を導出することが好ましい。

なお、第２逆変換係数、第１逆変換係数、及び、分割統合情報は、符号化信号に多重化されて、符号化装置から復号装置に通知される。なお、別の伝送チャネルを用いて、符号化信号に多重化されずに通知される、又は、伝送・蓄積フォーマットによって通知されてもよい。あるいは、ある規格や規格のプロファイル・レベルの規定値として通知される、又は、復号装置と符号化装置との両者で得られる情報に基づいて通知される、などでもよい。

本発明の実施の形態４の逆変換処理の動作は、実施の形態２と同様である。具体的には、図１４に示す通り、まず、分割部４００は、分割統合情報を取得する（ステップＳ２３１）。そして、分割部４００は、取得した分割統合情報に従い、復号変換出力信号を第２復号変換出力信号と第２復号部分信号とに分割する（ステップＳ２３２）。

次に、第２逆変換部４１０は、第２逆変換係数を取得する（ステップＳ２３３）。そして、第２逆変換部４１０は、第２復号変換出力信号に対して第２逆変換を行うことで、第１復号部分信号を生成する（ステップＳ２３４）。

次に、統合部４２０は、分割統合情報に従い、第１復号部分信号と第２復号部分信号とを統合することで、第１復号変換出力信号を生成する（ステップＳ２３６）。

次に、第１逆変換部４３０は、第１逆変換係数を取得する（ステップＳ２３７）。そして、第１逆変換部４３０は、第１復号変換出力信号に対して第１逆変換を行うことで、復号変換入力信号を生成する（ステップＳ２３８）。

なお、分割統合情報を取得するステップＳ２３１、逆変換係数を取得するステップＳ２３２及びステップＳ２３４は、前述したように通知のバリエーションが多数あるため、本フローのタイミングで実施されるとは限らず、また、本実施の形態の一部として必須の動作ではない。

以上のように、本発明の実施の形態４に係る復号装置及び復号方法により、変換処理の演算量と逆変換係数のデータ量とを抑えつつ、入力信号の統計的性質の変化に適応できる。また、実施の形態３に示す符号化装置５００のように、入力信号の統計的性質に基づいて計算される変換係数を用いる変換を含む２段階の変換を行うことで生成された符号化信号を正しく復号することができる。

なお、図３０に示す復号装置７００ａのように、予め定めた逆変換係数及び分割統合情報を、符号化信号から復号した選択信号に基づき選択し、選択した逆変換係数及び分割統合情報を用いて逆変換することもできる。図３０は、本発明の実施の形態４に係る復号装置７００ａの構成の一例を示すブロック図である。

図３０に示すように、復号装置７００ａは、図２７に示す復号装置７００と比較して、新たに、メモリ７８１及び７８２を備える点が異なっている。

メモリ７８１には、第２逆変換係数がインデックスと対応付けて記憶されている。また、メモリ７８２には、分割及び統合に用いる分割統合情報がインデックスと対応付けて記憶されている。

具体的には、メモリ７８１は、互いに異なる係数値の組を有する複数の変換行列を、第２逆変換行列の候補として記憶している。複数の変換行列には、符号化パラメータの一例であるインデックス情報が１対１に対応付けられている。そして、第２逆変換の際に、選択信号が示すインデックス情報によって指定される変換行列の係数が、第２逆変換係数として決定される。

メモリ７８１及び７８２はそれぞれ、エントロピー復号部３１０から出力される選択信号に基づいて、逆変換部７３０に逆変換係数及び分割統合情報を選択して出力する。具体的には、選択信号は、例えば、インデックスを示す信号であり、選択信号が示すインデックスに対応付けられた逆変換係数及び分割統合情報が出力される。

具体的には、エントロピー復号部３１０は、符号化信号をエントロピー復号することで、圧縮済み選択信号を取り出し、圧縮済み選択信号から選択信号を復号する。そして、エントロピー復号部３１０は、復号した選択信号を、メモリ７８１とメモリ７８２とへ出力する。メモリ７８１及び７８２のそれぞれから、第２逆変換係数と、分割統合情報とが、逆変換部７３０へ出力される。

この選択的な仕組みは、時間空間的に適応され、選択信号に基づいて、ブロック単位、マクロブロック単位、マクロブロックを複数個まとめた単位、又は、スライス単位で行われてもよい。また、面内予測モードと選択信号とを組み合わせて、適応的に行ってもよい。なお、復号量子化係数の非ゼロ係数の総数、低域領域の非ゼロ係数の総数、非ゼロ係数のレベルの総和、逆量子化部３２０の出力する復号変換出力信号ｙ＾の総和、低域領域の総和などに応じて、第２逆変換係数、及び、分割統合情報を切り替えてもよい。

また、図３１に示す復号装置７００ｂのように、予め定めた逆変換係数及び分割統合情報を、符号化信号から復号した予測信号に基づき選択し、選択した逆変換係数及び分割統合情報を用いて逆変換することもできる。図３１は、本発明の実施の形態４に係る復号装置７００ｂの構成の一例を示すブロック図である。

図３１に示すように、復号装置７００ｂは、図３０に示す復号装置７００ａと比較して、新たに選択信号決定部７９０を備える点が異なっている。

選択信号決定部７９０は、エントロピー復号部３１０から出力される予測モード信号を取得し、取得した予測モード信号に基づいて、選択信号を生成する。選択信号は、例えば、インデックスを示す信号であり、メモリ７８１及び７８２からは、選択信号が示すインデックスに対応付けられた逆変換係数及び分割統合情報が逆変換部７３０に出力される。

具体的には、エントロピー復号部３１０は、符号化信号をエントロピー復号することで、圧縮済み予測モード信号を取り出し、近傍ブロックの情報からの推定値と組み合わせて予測モード信号を復号する。予測モード信号は、予測部７７０へ出力され、予測部７７０は予測信号を生成する。

また、予測モード信号は、選択信号決定部７９０へ送られ、選択信号決定部７９０は、予測モード信号に対応する、逆変換係数、及び、分割統合情報を選択するための選択信号を出力する。選択信号は、メモリ７８１と、メモリ７８２とへ出力され、それぞれのメモリから、第２逆変換係数と分割統合情報とが、逆変換部７３０へ出力される。

この選択的な仕組みは、時間空間的に適応され、選択信号に基づいて、ブロック単位、マクロブロック単位、マクロブロックを複数個まとめた単位、又は、スライス単位で行われてもよい。また、図３１で述べる予測モード信号に対応する選択信号と、図３０で説明した符号化信号から復号した選択信号とを組み合わせてもよい。

なお、復号量子化係数の非ゼロ係数の個数、低域領域の非ゼロ係数の個数、非ゼロ係数のレベルの総和、逆量子化部３２０の出力する復号変換出力ｙ＾の総和、低域領域の総和などに応じて、第２逆変換係数、及び、分割統合情報を切り替えてもよい。なお、復号量子化係数の総和のパリティ（偶数又は奇数の状態）に基づいて、第２逆変換係数、及び、分割統合情報を切り替えてもよい。なお、復号量子化係数の総和が１であるとき、第２逆変換は行わないとしてもよい。

なお、本発明の実施の形態４では、実施の形態３で示したように、第２逆変換の際に、符号化パラメータが所定の方向への外挿を示す予測方法を示す場合、復号変換出力信号を構成する複数の係数値のうち、当該所定の方向の係数値を含む範囲を、第２逆変換の対象として決定する。所定の方向の係数値を含む範囲とは、具体的には、所定の方向の始点側の係数値を含む範囲である。

例えば、符号化パラメータが略水平方向への外挿を示す予測方法を示す場合、復号変換出力信号を構成する複数の係数値のうち、横方向の係数値（具体的には、左側の係数値）を含む範囲を、第２逆変換の対象として決定する。また、符号化パラメータが略垂直方向への外挿を示す予測方法を示す場合、復号変換出力信号を構成する複数の係数値のうち、縦方向の係数値（具体的には、上側の係数値）を含む範囲を、第２逆変換の対象として決定する。

（実施の形態５）
本発明の実施の形態５に係る符号化装置及び符号化方法は、音声データ、静止画像データ、動画像データなど符号化対象となる信号を、複数種類の変換の組み合わせによって変換を行う変換部及び変換方法を備える。本発明の実施の形態５に係る符号化装置及び符号化方法では、予め定められた固定の変換係数で構成される固定の変換行列を用いて第１変換を行うことを特徴とする。上述した実施の形態と同様の構成については同様の符号を付し、説明を省略する場合がある。

本発明の実施の形態５における変換部及び変換方法を、図３２を用いて説明する。図３２は、本発明の実施の形態５に係る変換部８１０の構成の一例を示すブロック図である。なお、本発明の実施の形態５に係る符号化装置は、実施の形態１又は３と比較して、変換部の構成のみが異なっているので、以下では、変換部の構成及び動作について説明する。

図３２に示すように、変換部８１０は、第１変換部２００と、分割部２１０と、第２変換部２２０と、統合部２３０と、第２メモリ６１１と、分割統合情報算出部６１２と、第３メモリ６２１と、第２変換係数導出部２２２とを備える。変換部８１０は、図１９に示す変換部５１０と比較して、第１変換部２００の代わりに第１変換部９００を備える点と、第１メモリ６０１と、第１変換係数導出部２０２とを備えない点が異なっている。

変換入力信号は、第１変換部９００へ入力される。第１変換部９００は、予め定められた変換係数及び／又は基底関数で構成される変換行列を用いて変換入力信号に第１変換を行うことで、第１変換出力信号を生成する。第１変換部９００は、変換係数を任意に取りうる自由度を放棄して、規定の変換を行うように限定する。これにより、処理の複雑度を軽減し、演算量を削減することができる。なお、ここでは、このような変換を固定変換と呼ぶこととする。

なお、図３２では、分割統合情報、第２変換係数を導出するためのメモリ及び導出部を備えた構成を示したが、実施の形態３で説明した場合と同様に完全な最適解ではなくとも、これらのいずれか１つ又は全てを、経験や準最適な方法に基づいて、事前に導出しておいてもよい。

本発明の実施の形態５に係る変換部８１０では、複数の変換を用いて、第１変換として、固定変換を用いて変換し、第２変換として、より小さな集合Ｓ_Ｂの（第１変換出力信号の）統計的性質に応じて最適に導出された変換係数で構成される変換行列を用いた変換を行う。以下では、図３３を用いて、本発明の実施の形態５に係る変換方法の概念を説明する。なお、図７及び図２１とほぼ同じであり、相違する点のみ説明する。

第１変換係数は、集合Ｓ_Ａを非常に大きくとったときに、集合Ｓ_Ａの統計的な性質に基づいて最適となるように予め設計する。集合Ｓ_Ａを非常に大きくとって設計することで、第１変換部９００の変換係数を更新する必要を無くすことができ、固定変換にできる。したがって、入力信号に対して異なる変換係数をとる自由度がないので、変換部８１０は、実施の形態３に記載の第１メモリ６０１及び第１変換係数導出部２０２を備える必要がなくなる。

さらには、既存規格の変換を第１変換として用いてもよい。例えば、ＭＰＥＧ−１／２／４ビデオ符号化規格搭載の離散コサイン変換や、Ｈ．２６４／ＡＶＣ規格採用の整数精度ＤＣＴなどを用いてもよい。これらの変換はバタフライ構成をとることができ、ｎ次元の入力に対する乗算回数をｎ×Ｌｏｇ２（ｎ）まで軽減できる（実施の形態３の第１変換の場合はｎ×ｎ）。

なお、既存規格の変換は、変換入力信号を含む非常に大きな集合Ｓ_Ａに対して厳密には最適化されていない可能性がある。符号化装置への入力信号が撮像素子などの特性の影響を受けて特殊な相関を持つ場合、あるいは、変換入力信号が予測誤差である場合などは、予測信号が特殊な相関を持っているために、変換入力信号が特殊な相関を持っていることが原因として考えられる。

このような相関は、各実施の形態の第２変換係数の設計時に反映させることで、第２変換において無相関化とエネルギー圧縮とを行うことで補償できる。具体的には、第１変換出力信号の集合Ｓ_Ｃのうち、集合Ｓ_Ｂ（１）を第１変換部９００で変換した集合を集合Ｓ_Ｃ（１）とし、集合Ｓ_Ｂ（２）を第１変換部９００で変換した集合を集合Ｓ_Ｃ（２）とする。この場合に、集合Ｓ_Ｃ（１）、及び、集合Ｓ_Ｃ（２）に対してそれぞれ独立に、第２変換係数導出部２２２において、第２変換係数を導出する。

ただし、第２変換部２２０は、分割部２１０によって信号の一部のみが入力される構成のため、実施の形態３と比べると、無相関化とエネルギー圧縮との性能は、若干低下する。しかしながら、本発明の実施の形態５に係る符号化装置によれば、第１変換係数を算出する必要がなくなるため、演算量の低下を実現することができる。また、第１変換係数を導出するためのメモリ及び導出部を備える必要がなくなるので、回路の小型化を実現することができる。

なお、本発明の実施の形態５の変換処理のフローは、実施の形態１又は３のフローとほぼ同様である。第１変換が固定変換であるため、図６のステップＳ１１１が省略され、ステップＳ１１２〜ステップＳ１１８の処理が実行される。このとき、第１変換は既存の変換であり、第１変換入力信号に対して最適な設計がされていないので、第２変換の変換係数の最適化（ステップＳ１１５）にて反映させる。なお、ステップＳ１１３、ステップＳ１１５は別の方法によって決定され、本実施の形態の一部として動作しなくてもよい。

以上のように、本発明の実施の形態５に係る符号化装置及び符号化方法により、変換処理の演算量と変換係数のデータ量を抑えつつ、入力信号の統計的性質の変化に適応できる。さらに、固定変換を用いることで、演算量を削減できる。

なお、固定変換として、Ｈ．２６４／ＡＶＣ規格採用の整数精度ＤＣＴなどの、乗算を用いずにシフトと加算演算で構成される変数は、変換行列の基底の大きさ（ノルム）が揃わない場合がある。したがって、第１変換として固定変換を用いた場合には、ノルムの補正を行うことが好ましい。

図３４は、本発明の実施の形態５の変形例に係る変換部８１０ａの構成の一例を示すブロック図である。変換部８１０ａは、変換部８１０と比較して、さらに、ノルム補正部９４０を備える。

ノルム補正部９４０は、第１変換部９００によって生成された第１変換出力信号にノルム補正を行う。そして、ノルム補正後の信号が、分割部２１０に出力される。ノルム補正部９４０は、第１変換行列に基づいて決定される補正パラメータを用いて、第１変換出力信号を正規化することで、第１変換出力信号を補正する。補正パラメータは、例えば、第１変換行列のノルムである。

ノルム補正部９４０は、第１変換に用いた第１変換行列Ａ_１ ^ｎから算出したノルムを用いて、入力される第１変換出力信号ｙ_１ ^ｎを補正する。ノルムは、以下の式１２によって算出される。

ここで、ａ（ｉ，ｋ）は、第１変換行列Ａ_１ ^ｎに含まれる要素である。

なお、第１変換行列Ａ_１ ^ｎが適応的に変化する場合、ノルムも変化するので、ノルム補正部９４０は、ノルムを算出し、算出したノルムを用いて第１変換出力信号ｙ_１ ^ｎを補正する。第１変換行列Ａ_１ ^ｎが固定の行列である場合、ノルム補正部９４０は、内部メモリなどにノルムを保持しておけばよい。

ノルム補正部９４０は、式１３に従って、第１変換出力信号ｙ_１ ^ｎを補正する。つまり、ノルム補正部９４０は、第１変換出力信号ｙ_１ ^ｎにノルムの逆数を乗じることで、補正後の第１変換出力信号ｙ’_１ ^ｎを生成する。言い換えると、ノルム補正部９４０は、第１変換出力信号ｙ_１ ^ｎをノルムで除算することで、補正後の第１変換出力信号ｙ’_１ ^ｎを生成する。

なお、ノルムを用いた乗算及び除算は、第１変換出力信号ｙ_１ ^ｎに含まれる要素毎に行われる。すなわち、ノルム補正部９４０は、第１変換出力信号ｙ_１ ^ｎの要素ｙ_１（ｉ）にノルムＮ（ｉ）の逆数を乗じることで、補正後の第１変換出力信号ｙ’_１ ^ｎの要素ｙ’_１（ｉ）を生成する。

なお、上記のノルム補正は、分割部２１０による分割後の第１部分信号と第２部分信号とに別々に行ってもよい。

図３５は、本発明の実施の形態５の変形例に係る変換部８１０ｂの構成の一例を示すブロック図である。変換部８１０ｂは、変換部８１０と比較して、さらに、ノルム補正部９４１及び９４２を備える。

ノルム補正部９４１は、第１部分信号ｙ_１Ｌ ^ｍにノルム補正を行う。そして、ノルム補正後の第１部分信号ｙ’_１Ｌ ^ｍが第２変換部２２０に出力される。具体的には、ノルム補正部９４１は、第１変換に用いた第１変換行列Ａ_１ ^ｎから算出したノルムＮを用いて、入力される第１部分信号ｙ_１Ｌ ^ｍを補正する（式１３参照、ｙ’_１（ｉ）はｙ’_１Ｌ（ｉ）に、ｙ_１（ｉ）はｙ_１Ｌ（ｉ）に読み替える）。また、ノルムＮは、上記の式１２によって算出される。

ノルム補正部９４２は、第２部分信号ｙ_１Ｈ ^ｎ−ｍにノルム補正を行う。そして、ノルム補正後の第２部分信号ｙ’_１Ｈ ^ｎ−ｍが統合部２３０に出力される。具体的には、ノルム補正部９４２は、第１変換に用いた第１変換行列Ａ_１ ^ｎから算出したノルムＮを用いて、入力される第２部分信号ｙ_１Ｈ ^ｎ−ｍを補正する（式１３参照、ｙ’_１（ｉ）はｙ’_１Ｈ（ｉ）に、ｙ_１（ｉ）はｙ_１Ｈ（ｉ）に読み替える）。また、ノルムＮは、上記の式１２によって算出される。

なお、第１部分信号ｙ_１Ｌ ^ｍにノルム補正を行うのではなく、第２変換行列Ａ_２ ^ｍにノルム補正を行っても同様の効果が得られる。以下では、第２変換行列Ａ_２ ^ｍにノルム補正を行う場合について説明する。

ノルム補正部９４１は、第１変換行列Ａ_１ ^ｎから算出したノルムを用いて、第２変換行列Ａ_２ ^ｍを構成する第２変換係数を補正することで、修正係数を導出する。なお、ノルムは、式１２によって算出される。

具体的には、ノルム補正部９４１は、式１４に従って、第２変換行列Ａ_２ ^ｍを構成する第２変換係数を補正する。つまり、ノルム補正部９４１は、第２変換行列Ａ_２ ^ｍにノルムの逆数を乗じることで、補正後の第２変換行列Ａ’_２ ^ｍを生成する。言い換えると、ノルム補正部９４１は、第２変換係数をノルムで除算することで、修正係数である補正後の第２変換係数を生成する。

なお、ノルムを用いた乗算及び除算は、第２変換行列Ａ_２ ^ｍの第２変換係数である要素毎に行われる。すなわち、ノルム補正部９４１は、第２変換係数ａ_２（ｉ，ｊ）にノルムＮ（ｉ）の逆数を乗じることで、補正後の第２変換係数ａ’_２（ｉ，ｊ）を生成する。

そして、第２変換部２２０は、補正後の第２変換行列Ａ’_２ ^ｍを用いて第１部分信号ｙ_１Ｌ ^ｍを変換することで、第２変換出力信号ｙ_２ ^ｍを生成する。

以上のように、第１変換後の信号に対してノルム補正を行うことで、変換行列の基底を揃えることができ、変換の精度を高めることができる。

また、ノルム補正を行うとともに、Ｈ．２６４では量子化部で行っていた量子化マトリクス（Ｑｍａｔｒｉｘ）のウェイトスケールの重み付けを、上記のノルム補正部９４０（又はノルム補正部９４１及び９４２）が行ってもよい。なお、量子化マトリクスのウェイトスケールは、補正パラメータの一例である。

ノルム補正部９４０は、量子化部１２０で用いられる量子化マトリクスを用いて第１部分信号を重み付けることで、第１変換出力信号ｙ_１ ^ｎを補正する。具体的には、ノルム補正部９４０は、式１５及び式１６に従って、第１変換出力信号ｙ_１ ^ｎを補正する。つまり、ノルム補正部９４０は、第１変換出力信号ｙ_１ ^ｎに量子化マトリクスの逆数ｍｆを乗じることで、補正後の第１変換出力信号ｙ’_１ ^ｎを生成する。言い換えると、ノルム補正部９４０は、第１変換出力信号ｙ_１ ^ｎを量子化マトリクスで除算することで、補正後の第１変換出力信号ｙ’_１ ^ｎを生成する。

なお、ｆ（ｉ）は、量子化マトリクスから導出されるウェイトスケール（ｗｅｉｇｈｔＳｃａｌｅ）の各要素の値である。

なお、第２変換後に、さらに、ポストスケール補正を行うことが好ましい。

量子化マトリクスから算出される補正係数ｍｆ＿２を統合部２３０から出力される信号ｙ’^ｎに乗じることで、変換出力信号ｙ^ｎを生成する。具体的には、式１７及び式１８に従って、統合後の信号ｙ’^ｎを補正することで、変換出力信号ｙ^ｎを生成する。

なお、Ｓ（ｉ）は、式１９で示される行列の要素である。

図３５に示す変換部８１０ｂにおいても、上記と同様にして、量子化マトリクスのウェイトスケールの重み付けを行うことができる。なお、上記のポストスケール補正は、第２変換部２２０によって生成された第２変換出力信号に行えばよい。

また、図３５の例において、量子化マトリクスのウェイトスケールの重み付けにおいても、第１部分信号ｙ_１Ｌ ^ｍではなく、第２変換行列Ａ_２ ^ｍを補正してもよい。

このとき、ノルム補正部９４１は、量子化マトリクスを用いて第２変換行列Ａ_２ ^ｍを補正する。具体的には、ノルム補正部９４１は、式２０に従って、第２変換行列Ａ_２ ^ｍを補正する。式２０に示すように、ノルム補正部９４１は、第２変換係数ａ_２（ｉ，ｊ）毎に、量子化マトリクスの要素の逆数ｍｆ（ｉ）と、量子化マトリクスから算出される補正係数ｍｆ＿２（ｊ）とを乗じる。

以上のように、第１部分信号ｙ_１Ｌ ^ｍではなく、第２変換行列Ａ_２ ^ｍを補正することによっても、同様に、符号化効率を高める効果を得ることができる。

なお、ノルム補正と量子化マトリクスの重み付けとを組み合わせてもよい。すなわち、ノルム補正部９４１は、第１部分信号ｙ_１Ｌ ^ｍ又は第２変換行列Ａ_２ ^ｍに、ノルム補正と量子化マトリクスの補正との両方を行ってもよい。

例えば、第１部分信号ｙ_１Ｌ ^ｍを補正する場合、ノルム補正部９４１は、式２１に従って、第１部分信号ｙ_１Ｌ ^ｍを補正する。具体的には、ノルム補正部９４１は、第１部分信号ｙ_１Ｌ ^ｍの要素ｙ_１Ｌ（ｉ）毎に、第１変換行列Ａ_１ ^ｎから算出されたノルムＮ（ｉ）の逆数と、量子化マトリクスの要素の逆数ｍｆ（ｉ）とを乗じることで、補正後の第１部分信号ｙ’_１Ｌ ^ｍを生成する。

また、第２変換行列Ａ_２ ^ｍを補正する場合、ノルム補正部９４１は、式２２に従って、第２変換行列Ａ_２ ^ｍを補正する。具体的には、ノルム補正部９４１は、第２変換係数ａ_２（ｉ，ｊ）毎に、第１変換行列Ａ_１ ^ｎから算出されたノルムＮ（ｉ）の逆数と、量子化マトリクスの要素の逆数ｍｆ（ｉ）と、量子化マトリクスから算出される補正係数ｍｆ＿２（ｊ）とを乗じることで、補正後の第２変換行列Ａ’_２ ^ｍを生成する。

以上のような構成であっても、より適した第２変換を第１部分信号に適用することができる。

なお、第２変換における有効データ長が所定の値以下に収まるように、第２変換部２２０へ入力する第１部分信号を構成する係数値をシフトダウンすることで、第１変換出力信号を補正してもよい。これにより、第２変換部２２０の内部処理の必要精度を下げ、回路資源を節約することができる。

また、第１変換前の第１部分信号又は第２変換後の第１部分信号（第２変換出力信号）を構成する係数値のビット長が、第２部分信号を構成する係数値のビット長と同じになるように、第１部分信号又は第２変換出力信号を構成する係数値をシフトダウンしてもよい。

（実施の形態６）
本発明の実施の形態６に係る復号装置及び復号方法は、音声データ、静止画像データ、動画像データなどの信号が符号化された符号化信号（例えば、実施の形態５において生成された符号化信号）を、複数種類の変換の組み合わせによって逆変換を行う逆変換部及び逆変換方法を備える。本発明の実施の形態６に係る復号装置及び復号方法では、予め定められた固定の逆変換係数で構成される逆変換行列を用いて第１逆変換を行うことを特徴とする。上述した実施の形態と同様の構成については同じ符号を付し、説明を省略する場合がある。

本発明の実施の形態６に係る逆変換部及び逆変換方法を、図３６を用いて説明する。図３６は、本発明の実施の形態６に係る逆変換部１０３０の構成の一例を示すブロック図である。なお、本発明の実施の形態６に係る復号装置は、実施の形態２又は４と比較して、逆変換部の構成のみが異なっているので、以下では、逆変換部の構成及び動作について説明する。

図３６に示すように、逆変換部１０３０は、分割部４００と、第２逆変換部４１０と、統合部４２０と、第１逆変換部１１３０とを備える。逆変換部１０３０は、図２９に示す逆変換部７３０と比較して、第１逆変換部４３０の代わりに第１逆変換部１１３０を備える点が異なっている。

第１逆変換部１１３０は、第１復号変換出力信号に対して、予め定められた固定の逆変換処理を行うことで、復号変換入力信号を生成する。第１逆変換部１１３０は、予め定められた固定の逆変換を行うので、外部（例えば、符号化装置）から第１（逆）変換係数を取得する必要はない。

さらに、第１逆変換部１１３０は、例えば、ＭＰＥＧ−１／２／４ビデオ符号化規格搭載の離散コサイン変換や、Ｈ．２６４／ＡＶＣ規格採用の整数精度ＤＣＴを第１逆変換として用いて、演算量を軽減してもよい。

本発明の実施の形態６の逆変換処理のフローは、実施の形態２又は４のフローとほぼ同様である。第１逆変換が固定の逆変換であるため、図１４のステップＳ２３７が省略され、ステップＳ２３１〜Ｓ２３６、Ｓ２３８の処理が実行される。なお、分割統合情報を取得するステップＳ２３１、第２逆変換係数を取得するステップＳ２３３は、前述したように通知のバリエーションが多数あるため、本フローのタイミングで実施されるとは限らず、また、本実施の形態の一部として必須の動作ではない。

以上のように、本発明の実施の形態６に係る復号装置及び復号方法により、変換処理の演算量と逆変換係数のデータ量とを抑えつつ、入力信号の統計的性質の変化に適応できる。さらに、固定変換を用いることで、演算量を削減できる。

なお、固定の逆変換として、Ｈ．２６４／ＡＶＣ規格採用の整数精度ＤＣＴなど、乗算を用いずシフトと加算演算で構成させる変換は、逆変換行列の基底の大きさ（ノルム）が揃わない場合がある。したがって、第１逆変換としてノルムの不揃いな逆変換を用いた場合には、ノルムの補正を行うことが好ましい。

Ｈ．２６４では、逆量子化部においてノルム補正処理を行っているが、本発明の実施の形態６に係る復号装置では、例えば、図３７に示すように、第１逆変換部１１３０への入力信号に対して行う。つまり、第２逆変換を行った後に、第１復号変換出力信号を補正する。

図３７は、本発明の実施の形態６の変形例に係る逆変換部１０３０ａの構成の一例を示すブロック図である。逆変換部１０３０ａは、逆変換部１０３０と比較して、さらに、ノルム補正部１１４０を備える。

ノルム補正部１１４０は、統合部４２０によって統合された第１復号部分信号と第２復号部分信号とを含む信号に、ノルム補正を行うことで、第１復号変換出力信号を生成する。ノルム補正部１１４０は、第１逆変換行列に基づいて決定される補正パラメータを用いて、第１復号部分信号を正規化することで、第１復号変換出力信号を補正する。補正パラメータは、例えば、第１逆変換行列のノルムである。

ノルム補正部１１４０は、第１逆変換行列Ａ^−１ _１ ^ｎから算出したノルムを用いて、統合後の信号ｙ＾’_１ ^ｎを補正する。ノルムは、実施の形態５と同様に、式１２に従って算出される。

なお、符号化信号に第１逆変換係数行列Ａ^−１ _１ ^ｎが含まれている場合など、第１逆変換行列Ａ^−１ _１ ^ｎが適応的に変化する場合、ノルムも変化するので、ノルム補正部１１４０は、ノルムを算出し、算出したノルムを用いて統合後の信号ｙ＾’_１ ^ｎを補正する。第１逆変換係数が固定の係数である場合、ノルム補正部１１４０は、内部メモリなどにノルムを保持しておけばよい。

ノルム補正部１１４０は、実施の形態５の変形例に係るノルム補正部９４０と反対の処理を行う。具体的には、ノルム補正部１１４０は、式２３に示すように、統合後の信号ｙ＾’_１ ^ｎにノルムを乗じることで、第１復号変換出力信号ｙ＾_１ ^ｎを生成する。

なお、式２３に示す乗算は、統合後の信号ｙ＾’_１ ^ｎに含まれる要素毎に行われる。すなわち、ノルム補正部１１４０は、統合後の信号ｙ＾’_１ ^ｎの要素ｙ＾’_１（ｉ）に、ノルムＮ（ｉ）を乗じることで、第１復号変換出力信号ｙ＾_１ ^ｎの要素ｙ＾_１（ｉ）を生成する。

なお、上記のノルム補正は、統合部４２０による統合前の２つの入力信号である第２復号部分信号、及び、第１復号部分信号に別々に行ってもよい。

図３８は、本発明の実施の形態６の変形例に係る逆変換部１０３０ｂの構成の一例を示すブロック図である。逆変換部１０３０ｂは、逆変換部１０３０と比較して、さらに、ノルム補正部１１４１及び１１４２を備える。

ノルム補正部１１４１は、第１復号部分信号ｙ＾’_１Ｌ ^ｍにノルム補正を行う。具体的には、ノルム補正部１１４１は、第１逆変換に用いる第１逆変換行列Ａ^−１ _１ ^ｎから算出したノルムＮを用いて、入力される第１復号部分信号ｙ＾’_１Ｌ ^ｍを補正する（式２３参照、ｙ＾_１（ｉ）はｙ＾_１Ｌ（ｉ）に、ｙ＾’_１（ｉ）はｙ＾’_１Ｌ（ｉ）に読み替える）。なお、ノルムＮは、上記の式１２によって算出される。

ノルム補正部１１４２は、第２復号部分信号ｙ＾’_１Ｈ ^ｎ−ｍにノルム補正を行う。具体的には、ノルム補正部１１４２は、第１逆変換に用いる第１逆変換行列Ａ^−１ _１ ^ｎから算出したノルムＮを用いて、入力される第２復号部分信号ｙ＾’_１Ｈ ^ｎ−ｍを補正する（式２３参照、ｙ＾_１（ｉ）はｙ＾_１Ｈ（ｉ）に、ｙ＾’_１（ｉ）はｙ＾’_１Ｈ（ｉ）に読み替える）。

統合部４２０は、ノルム補正が行われた第１復号部分信号と第２復号部分信号とを統合することで、第１復号変換出力信号を生成する。なお、ノルムＮは、上記の式１２によって算出される。

なお、第２逆変換後の第２復号変換出力信号ｙ＾’_１Ｌ ^ｍにノルム補正を行うのではなく、第２逆変換行列Ａ^−１ _２ ^ｍにノルム補正を行っても同様の効果が得られる。

ノルム補正部１１４１は、第１逆変換行列Ａ^−１ _１ ^ｎから算出したノルムを用いて、第２変換係数を補正する。なお、ノルムは、式１２によって算出される。具体的には、ノルム補正部１１４１は、式２４に従って第２逆変換係数を補正する。つまり、ノルム補正部１１４１は、第２逆変換係数にノルムを乗じることで、補正後の第２逆変換係数を生成する。

第２逆変換部４１０は、補正後の第２逆変換行列Ａ^−１’_２ ^ｍを用いて、第２復号変換出力信号ｙ＾_２ ^ｍを逆変換することで、第１復号部分信号ｙ＾_１Ｌ ^ｍを生成する。

以上のように、第１逆変換前の信号に対してノルム補正を行うことで、逆変換行列の基底を揃えることができ、変換の精度を高めることができる。

なお、図３７に示す構成と図３８に示す構成とを比較すると、図３７の構成は、ノルム補正部が単一であるので、実装が単純化することができるという効果がある。一方で、図３８の構成は、２つの信号の有効性が異なる場合に、それぞれの有効精度に応じた最小限の有効精度を備えるノルム補正部を実現できる効果がある。

また、ノルム補正と同様に、Ｈ．２６４では逆量子化部で行っていた、量子化マトリクス（Ｑｍａｔｒｉｘ）のウェイトスケールの重み付け処理を、図３７又は図３８で示すノルム補正部で行ってもよい。つまり、量子化マトリクスのウェイトスケールを用いて第１復号部分信号を重み付けすることで、第１復号変換出力信号を補正してもよい。

ノルム補正部１１４０は、実施の形態５の変形例に係るノルム補正部９４０が行う処理と反対の処理を行う。具体的には、ノルム補正部１１４０は、統合後の信号ｙ＾’_１ ^ｎに量子化パラメータを乗じることで、第１復号変換出力信号ｙ_１ ^ｎを生成する。なお、これは、式２５に示すように、補正係数ｍｆで統合後の信号ｙ＾’_１ ^ｎを除算することと等価である。

なお、補正係数ｍｆは、式１６によって表される。

また、図３８に示すように、第１復号部分信号に量子化マトリクスのスケーリングを行う場合は、第２逆変換前にポストスケール逆補正を行うことが好ましい。

具体的には、量子化マトリクスから算出される補正係数ｍｆ＿２の逆数を第２復号変換出力信号ｙ＾_２ ^ｍに乗じることで、逆補正後の第２復号変換出力信号ｙ＾’_２ ^ｍを生成する。なお、これは、式２６に示すように、補正係数ｍｆ＿２で第２復号変換出力信号ｙ＾_２ ^ｍを除算することと等価である。

なお、補正係数ｍｆ＿２（ｊ）は、式１８及び式１９によって表される。

また、図３８の例において、量子化マトリクスのウェイトスケールの重み付けにおいても、逆変換後の第２復号変換出力信号ｙ＾’_１Ｌ ^ｍではなく、第２逆変換行列Ａ^−１ _２ ^ｍを補正してもよい。

このとき、ノルム補正部１１４１は、量子化マトリクスを用いて第２逆変換行列Ａ^−１ _２ ^ｍを補正する。具体的には、ノルム補正部１１４１は、式２７に従って、第２逆変換行列Ａ^−１ _２ ^ｍを補正する。式２７に示すように、ノルム補正部１１４１は、第２逆変換係数ａ^−１ _２（ｉ，ｊ）毎に、量子化マトリクスの要素の逆数ｍｆ（ｉ）と、量子化マトリクスから算出される補正係数ｍｆ＿２（ｊ）とで除算する。

以上のように、逆変換後の第２復号変換出力信号ｙ＾’_１Ｌ ^ｍではなく、第２逆変換行列Ａ^−１ _２ ^ｍを補正することによっても、同様に、符号化効率を高める効果を得ることができる。

なお、ノルム補正と量子化パラメータの重み付けとを組み合わせてもよい。すなわち、ノルム補正部１１４１は、逆変換後の第２復号変換出力信号ｙ＾’_１Ｌ ^ｍ又は第２逆変換行列Ａ^−１ _２ ^ｍに、ノルム補正と量子化マトリクスの重み付けとの両方を行ってもよい。

例えば、逆変換後の第２復号変換出力信号ｙ＾’_１Ｌ ^ｍを補正する場合、ノルム補正部１１４１は、式２８に従って、逆変換後の第２復号変換出力信号ｙ＾’_１Ｌ ^ｍを補正する。具体的には、ノルム補正部１１４１は、逆変換後の第２復号変換出力信号ｙ＾’_１Ｌ ^ｍの要素ｙ＾’_１Ｌ（ｉ）毎に、第１逆変換行列Ａ^−１ _１ ^ｎから算出されたノルムＮ（ｉ）を乗じ、量子化マトリクスの要素の逆数ｍｆ（ｉ）を除算することで、第１復号部分信号ｙ＾_１Ｌ ^ｍを生成する。

また、第２逆変換行列Ａ^−１ _２ ^ｍを補正する場合、ノルム補正部１１４１は、式２９に従って、第２逆変換行列Ａ^−１ _２ ^ｍを補正する。具体的には、ノルム補正部１１４１は、第２変換係数ａ^−１ _２（ｉ，ｊ）毎に、第１逆変換行列Ａ^−１ _１ ^ｎから算出されたノルムＮ（ｉ）を乗じ、量子化マトリクスの要素の逆数ｍｆ（ｉ）と、量子化マトリクスから算出される補正係数ｍｆ＿２（ｊ）とで除算することで、補正後の第２逆変換行列Ａ^−１’_２ ^ｍを生成する。

以上のような構成であっても、より適した第２逆変換を第２復号変換出力信号に適用することができる。

なお、変換入力信号のデータ量が多い場合には、ノルムの補正処理とウェイトスケールの重み付け処理とを省略して、演算量を削減し、変換入力信号のデータ量が少ない場合のみ、これらの処理を行ってもよい。なお、ノルムの補正処理とウェイトスケールの重み付けとは、補正対象の信号が非ゼロの場合のみに限定し、演算量を削減してもよい。

なお、変換入力信号のデータ量が多い場合とは、具体的には、変換のブロックのサイズが４×４画素、８×８画素、１６×１６画素、３２×３２画素などのように複数種類定義される時、３２×３２は４×４や８×８よりデータ量が多いと考える。あるいは、変換行列の非ゼロ係数が多い場合を指すと考えてもよい。

なお、変換入力信号のデータ量が多い場合には、ノルムの補正処理とウェイトスケールの重み付け処理とについて、乗算ではなく、シフトと加算とのみからなるように近似して、乗算回数を削減してもよい。

なお、数値を正確に表現するのに必要なメモリのデータサイズ（ここでは必要ビット長とする）は、一般的に行列演算によって増加する。第２復号部分信号は、第２逆変換が行われない一方で、第１復号部分信号は第２逆変換部４１０において乗算が行われているため、必要ビット長が相違する可能性がある。したがって、第２逆変換部４１０において必要ビット長がＭビット増加する場合、第２復号部分信号は、Ｍビット分シフトアップしておいてもよい。

例えば、図３６の構成においては、第１逆変換部１１３０へ入力する前の時点でビット長を一致させる補正を行うことで、第１逆変換部１１３０を切り替える必要がなくなり、第１逆変換部１１３０の構成を簡略化できる。また、図３７に示す構成において、ノルム補正部１１４０へ入力する前の時点で必要ビット長を一致させる補正を行うことで、ノルム補正部１１４０の処理を、第２復号部分信号と、第１復号部分信号とに切り替える必要がなくなり、ノルム補正部１１４０の構成を簡略化できる。

また、図３８に示す構成の場合、第２復号部分信号が入力されるノルム補正部１１４２は、入力信号の必要ビット長が低いままのため、内部の信号処理に必要な必要ビット長を低く抑え、回路資源を節約することができる。あるいは、入力信号の必要ビット長の低い分だけ、ノルム補正部１１４２において乗算する、ノルム補正量、及び、ウェイトスケールの重み付け量の有効精度を上げてもよく、この場合、ノルム補正とウェイトスケールの重み付けとの演算精度を向上できる。

あるいは、第２逆変換部４１０へ入力する第２復号変換出力信号を予めＮビットシフトダウンしておき、第２逆変換部４１０の内部処理の必要精度を下げ、回路資源を節約してもよい。なお、第２逆変換部４１０の変換によって増加するビット長がＭビットであるとき、ＮはＭよりも小さく設定してもよい。この場合、第２逆変換への入力時にＮビットのシフトダウンを行うとき、第２逆変換の出力に対してＭ−Ｎビットのシフトダウンを行う。

このように、第２逆変換における有効データ長が所定の値以下に収まるように、第２逆変換部４１０へ入力する第２復号変換出力信号を構成する係数値をシフトダウンすることで、第２復号変換出力信号を補正してもよい。これにより、第２逆変換部４１０の内部処理の必要精度を下げ、回路資源を節約することができる。

また、第１復号部分信号又は第２復号変換出力信号を構成する係数値のビット長が、第２復号部分信号を構成する係数値のビット長と同じになるように、第１復号部分信号又は第２復号変換出力信号を構成する係数値をシフトダウンしてもよい。

なお、本実施の形態で述べたビット操作のビット長は、シーケンス単位、ＧＯＰ単位、フレーム単位、ブロック単位に制御してもよい。第２復号変換出力信号のブロックの有効ビット長（ある瞬間に実際にメモリを消費しているサイズ）に基づいて、ブロック単位にビット長を制御することにより、演算精度を高めることができる。例えば、第２復号変換出力のブロックの有効ビット長が長いときは、第２逆変換部４１０への入力前のシフトダウン量を大きくし、そうではないときは、第２逆変換部４１０への入力前のシフトダウン量を小さくしてもよい。

また、第１変換及び第１逆変換は、離散コサイン変換と、離散サイン変換とを切り替える構成であってもよい。切り替えフラグ情報は符号化装置において符号化信号に多重化され、復号装置において復号され、符号化装置から復号装置へ通知される。離散コサイン変換と、離散サイン変換とは、位相が相互ｐｉ／２にずれた変換であるため、第２変換と第２逆変換係数は、相互にｐｉ／２だけずれた関係を持たせ、逆変換係数の情報量を削減してもよい。

（実施の形態７）
本発明の実施の形態７に係る符号化装置及び符号化方法は、音声データ、静止画像データ、動画像データなど符号化対象となる信号を、複数種類の変換の組み合わせによって変換を行う変換部及び変換方法を備える。本発明の実施の形態７に係る符号化装置及び符号化方法では、多次元の信号に対して分離型及び非分離型の変換を行うことを特徴とする。上述した実施の形態と同様の構成については同様の符号を付し、説明を省略する場合がある。

本発明の実施の形態７に係る符号化装置では、変換入力信号、第１変換出力信号、第２部分信号、及び、変換出力信号は、Ｐ（Ｐは２以上の整数）次元信号である。第２変換部２２０は、Ｐ次元信号を入出力する場合と、一次元信号を入出力する場合のどちらであってもよい。第２変換部２２０が一次元信号を入出力する場合、第２変換部２２０は、実施の形態１、３及び５と同じである。

分割部２１０は、Ｐ次元の変換入力信号を分割統合情報に従って第１部分信号と第２部分信号とに分割した後、さらに、第１部分信号を一次元に並び替える。並び替えの順序情報は、分割統合情報に追加的に格納される。

統合部２３０は、第２変換出力信号と第２部分信号とを分割統合情報に従って統合することで、変換出力信号を生成する。この際、統合部２３０は、一次元信号である第２変換出力信号を、分割統合情報に格納された並び替え情報に基づいてＰ次元信号へ並び替えた後、Ｐ次元の第２変換出力信号とＰ次元の第２部分信号とを統合する。なお、第２変換部２２０がＰ次元信号を入出力する場合、一次元信号への並び替えを行わなくてもよい。

さらにこの場合、第２変換部２２０は、分離型（水平軸方向と垂直軸方向の２段階変換）の変換を行ってもよい。すなわち、第２変換部２２０は、水平方向に行単位に変換を行い、垂直方向に列単位に変換を行う。なお、水平と垂直の順は逆でもよい。

また、要素数が１個の行または列単位の変換は、実質処理をしていないのと同等であるため処理をスキップしてもよく、あるいは、後段のノルム補正の処理をここで行ってもよい。また、行変換の変換係数と列変換の変換係数とは、同じでも異なってもよい。行変換の変換係数は、全ての行で同じ変換係数を用いて変換係数のデータ量を削減してもよく、行単位に異なる変換係数を用いて、行単位の統計的な性質の違いに適応させ変換性能を上げてもよい。列変換についても行変換と同様であり、全列で同じ変換係数を用いてもよく、あるいは、異なる変換係数を用いてもよい。

これらの相違は、Ｐ次元信号を変換の入力時点で一次元に並び替える非分離型であるか、変換内部で一次元単位で処理を行う分離型の構成をとるかである。

なお、第２変換係数の一部にゼロを設定することで、その係数の乗算処理を削減してもよい。ゼロに設定する係数は、上記のようにエネルギーの低い要素とする。特に、第２変換行列の大きさが第１変換行列の大きさと同じ場合は、分割部２１０において、第２変換部２２０へ入力する信号（第１部分信号）と入力しない信号（第２部分信号）とを分ける必要はなくなる。したがって、統合部２３０も必要ではなくなる。

つまり、分割部２１０と統合部２３０とを用いない場合は、図８（ｂ）で示すように、第２変換の対象ではない要素に対応する変換行列の行について、対角要素は１で非対角要素は０という変換行列を用いることで、当該第２変換の対象ではない要素にかかる乗算処理を削減することを特徴としてもよい。第２変換の対象外とするのは、第１変換出力のうちエネルギーの小さな要素に対応する行としてもよい。あるいは、第１変換出力の相互相関の小さな要素に対応する変換行列の要素をゼロに設定してもよい。

第２変換部２２０の前後の動作について、４×４×２の三次元ブロック信号（入力点数ｎ＝３２）が入力された場合について、図３９を用いて説明する。

Ｐ次元（例ではＰ＝３）の第１変換出力信号は、分割部２１０において分割統合情報に従い、第１部分信号と第２部分信号とに分割される。第２変換部２２０は、第１部分信号に、第２変換行列を用いて第２変換を行うことで、第２変換出力信号を生成する。統合部２３０は、第２変換出力信号と、第２部分信号とを統合することで、変換出力信号として出力される。

まず、第１変換部２００が行う第１変換について説明する。第１変換部２００は、Ｐ次元の入力信号（例えば、複数の二次元の変換入力信号）のそれぞれに第１変換を行うことで、複数の第１変換出力信号を生成する。

Ｐ次元の信号である変換入力信号に対して、図３９に示すようにＰ−１次元の第１変換を複数回適用し、第１変換出力信号を生成してもよい。例えば、図３９で示す例では、第１変換部２００は、４×４×２の三次元の変換入力信号に対して、４×４の二次元の第１変換を２回行う。

なお、図３９では、説明を分かりやすくするため、２つの第１変換部２００を示しているが、１つの第１変換部２００が２回の二次元の第１変換を行えばよい。また、実際に変換部が２つの第１変換部２００を備え、２つの第１変換部２００がそれぞれ１回ずつ二次元の第１変換を行ってもよい。

あるいは、第１変換部２００は、Ｐ次元の変換入力信号に対して、Ｐ次元の第１変換を１回行ってもよい。Ｐ次元の第１変換は分離型でもよく、あるいは、非分離型であってもよい。

次に、第２変換部２２０が行う第２変換について説明する。第２変換部２２０は、複数の第１変換出力信号の一部である複数の第１部分信号を含む一括信号に、一括して第２変換を行う。

図４０は、分離型の構成の第２変換のデータフローを概念的に示す図である。２つの二次元ブロックを含む信号が入力された場合、まず、第２変換部２２０は、二次元信号の水平方向に変換を行う（Ｓ５０１）。次に、第２変換部２２０は、垂直方向に変換を行う（Ｓ５０２）。最後に、第２変換部２２０は、ブロックをまたがる方向に変換を行う（Ｓ５０３）。なお、この順序は一例であり、水平、垂直、ブロックをまたがる方向の処理の順番は、これに限るものではない。また、分離型の構成の第２逆変換も、図４０と同様に、水平方向、垂直方向、ブロックをまたがる方向などの順で逆変換を行う。逆変換の順番も、これに限るものではない。

このように、本発明の実施の形態７に係る第２変換部２２０は、Ｐ次元のそれぞれに対して一次元の変換をＰ回行う分離型の第２変換を、Ｐ次元の第１部分信号に行う。すなわち、図４０に示す例では、三次元のそれぞれに対して一次元の変換を３回行う分離型の第２変換を、三次元の第１部分信号に行う。

本発明の実施の形態７の変換処理のフローは、実施の形態１、３、５とほぼ同様であるため、ここでは、図６を用いて説明する。

なお、本発明の実施の形態７に係る符号化装置に入力される入力信号は、例えば、入力画像又は予測誤差画像を構成する複数のブロックのそれぞれに対応する画像信号である。具体的には、複数のブロックは、図４１に示すように、入力画像又は予測誤差画像の輝度ブロック又は色差ブロックを含む。あるいは、複数のブロックは、図４２に示すように、入力画像又は予測誤差画像内において互いに空間的に隣接するブロックを含んでもよい。

まず、第１変換係数導出部２０２は、第１変換係数を決定する（ステップＳ１１１）。次に、第１変換部２００は、Ｐ次元の変換入力信号に第１変換を行うことで、第１変換出力信号を生成する（ステップＳ１１２）。このとき、第１変換は、入力信号の次元よりも低い次元で複数回行われてもよい。

次に、分割統合情報算出部６１２は、分割統合情報を決定する（ステップＳ１１３）。次に、分割部２１０は、分割統合情報に基づいて、第１変換出力信号を第１部分信号と第２部分信号へ分割する（ステップＳ１１４）。このとき、分割部２１０は、第１部分信号の相関エネルギーが第２部分信号の相関エネルギーよりも大きくなるように分割する。

次に、第２変換係数導出部２２２は、第１部分信号の局所的な集合の統計的性質に基づいて、第２変換係数を決定する（ステップＳ１１５）。そして、第２変換部２２０は、第１部分信号に対して第２変換行列を用いて第２変換を行うことで、第２変換出力信号を生成する（ステップＳ１１６）。

最後に、統合部２３０は、第２変換出力信号と第２部分信号とを統合することで、変換出力信号を生成する（ステップＳ１１８）。

なお、第１変換が固定変換の場合には、ステップＳ１１１は省略される。なお、ステップＳ１１１、ステップＳ１１３、ステップＳ１１５は別の方法によって決定され、本実施の形態の一部として動作しなくてもよい。また、第２変換が分離型である場合は、ステップＳ１１４において、分割部２１０が、第１部分信号をＰ次元から一次元へ並び替え、ステップＳ１１８において、統合部２３０が、第２変換出力信号を一次元からＰ次元に並び替えた後、統合する。

なお、上述したように、本実施の形態では、多次元の変換入力信号は、輝度信号（Ｙ信号）及び色差信号（Ｕ信号、Ｖ信号）でもよい。図４１は、多次元の変換入力信号がＹＵＶの信号である場合のデータフローの一例を概念的に示す図である。

輝度信号（Ｙ信号）と２つの色差信号（Ｕ信号とＶ信号）とは、第１変換部２００において、同時に三次元の第１変換が行われるか、あるいは、個別に二次元の第１変換が行われる。

第２変換部２２０は、Ｙ信号の第１変換出力信号と、Ｕ信号の第１変換出力信号と、Ｖ信号の第１変換出力信号とのうち、エネルギーの大きな低域側領域である第１部分信号に対して、第２変換を行い、第２変換出力信号を生成する。このとき、第２変換部２２０は、例えば、図４０に示すような順で、複数の第２変換出力信号に一括して第２変換を行う。

そして、第２変換出力信号と、第２変換を適用されなかった領域である第２部分信号とは統合されることで、変換出力信号が生成される。Ｙ信号の変換出力信号、Ｕ信号の変換出力信号、及び、Ｖ信号の変換出力信号は、それぞれ個別にスキャンされ、量子化される。なお、実施の形態１１で述べるように、第２変換出力信号に対しては、第２部分信号とは独立のスキャン、量子化を行ってもよい。

また、本実施の形態では、多次元の変換入力信号は、空間的に隣接するブロックの画像信号でもよい。図４２は、多次元の変換入力信号が空間的に隣接するブロックの信号である場合のデータフローの一例を概念的に示す図である。

空間的に隣接する複数個の小ブロック（図４２に示す例では、４個）は、第１変換部２００によって、個別に第１変換が行われる。次に、第２変換部２２０は、それぞれの第１変換出力信号のうち、エネルギーの大きい要素を含む低域側領域である第１部分信号に対して、第２変換を行うことで、第２変換出力信号を生成する。このとき、第２変換部２２０は、例えば、図４０に示すような順で、複数の第２変換出力信号に一括して第２変換を行う。

そして、第２変換出力信号と、第２変換を適用されなかった領域である第２部分信号とは統合されることで、変換出力信号が生成される。小ブロックの変換出力信号は、それぞれ個別にスキャンされ、量子化される。なお、実施の形態１１で述べるように、第２変換出力信号に対しては、第２部分信号とは独立のスキャン、量子化を行ってもよい。

以上のように、本発明の実施の形態７に係る符号化装置及び符号化方法により、変換処理の演算量と変換係数のデータ量とを抑えつつ、入力信号の統計的性質の変化に適応できる。特に、Ｐ次元（Ｐは２以上の整数）の入力信号に対して効果的である。

なお、本発明の実施の形態７において、第２変換部２２０は、非分離型の第２変換を行ってもよい。すなわち、第２変換部２２０は、Ｐ次元の信号を一次元の信号に並び替え、並び替えた後の信号に変換を行う非分離型の第２変換を、Ｐ次元の第１部分信号に行ってもよい。具体的には、実施の形態１などで説明した場合と同様であるので、ここでは説明を省略する。

（実施の形態８）
本発明の実施の形態８に係る復号装置及び復号方法は、音声データ、静止画像データ、動画像データなどの信号が符号化された符号化信号（例えば、実施の形態７において生成された符号化信号）を、複数種類の変換の組み合わせによって逆変換を行う逆変換部及び逆変換方法を備える。本発明の実施の形態８に係る復号装置及び復号方法は、多次元の信号に対して分離型及び非分離型の逆変換を行うことを特徴とする。上述した実施の形態と同様の構成については同じ符号を付し、説明を省略する場合がある。

本発明の実施の形態８に係る復号装置では、復号変換出力信号、復号変換入力信号、復号信号、予測信号がＰ次元信号（Ｐは２以上の整数）である。つまり、復号変換出力信号、第２復号部分信号、第１復号変換出力信号、復号変換入力信号は、Ｐ次元信号である。第２逆変換部４１０は、Ｐ次元信号を入出力する場合と一次元信号を入出力する場合のどちらであってもよい。第２逆変換部４１０が一次元信号を入出力する場合、第２逆変換部４１０は、実施の形態２、４及び６と同じである。

分割部４００は、Ｐ次元信号を分割統合情報に従って、第２復号変換出力信号と第２復号部分信号とに分割した後、さらに、第２復号変換出力信号を一次元に並び替える。並び替えの順序情報は、分割統合情報に追加的に格納されている。

統合部４２０は、第１復号部分信号と第２復号部分信号とを分割統合情報に従って統合することで、第１復号変換出力信号を生成する。この際、統合部４２０は、一次元信号である第１復号部分信号を、分割統合情報に格納された並び替え情報に基づいてＰ次元信号へ並び替えた後、Ｐ次元の第１復号部分信号とＰ次元の第２復号部分信号とを統合する。なお、第２逆変換部４１０がＰ次元信号を入出力する場合、一次元信号への並び替えを行わなくてもよい。この場合のデータフローの概念図は、図１３Ｂになる。

さらに、この場合、第２逆変換部４１０は、分離型（水平軸方向と垂直軸方向の２段階変換）の変換を行ってもよい。この場合のデータフローの概念図は、図４３となる。すなわち、第２逆変換部４１０は、水平方向に行単位に逆変換を行い、垂直方向に列単位に逆変換を行う。なお、水平と垂直の順は逆でもよい。

また、要素数が１個の行または列単位の変換は実質処理をしていないのと同等であるため処理をスキップしてもよく、あるいは、後段のノルム補正の処理をここで行ってもよい。また、行変換の逆変換係数と列変換の逆変換係数とは、同じでも異なってもよい。行変換の逆変換係数は、全ての行で同じ逆変換係数を用いることで、逆変換係数のデータ量を削減してもよく、行単位に異なる逆変換係数を用いて、行単位の統計的な性質の違いに適応させ変換性能を上げてもよい。列変換についても行変換と同様であり、全列で同じ逆変換係数を用いてもよく、あるいは、異なる逆変換係数を用いてもよい。

これらの相違は、Ｐ次元信号を逆変換の入力時点で一次元に並び替える非分離型であるか、逆変換の内部で一次元単位で処理を行う分離型の構成をとるかである。

なお、第２逆変換係数の一部にゼロを設定することで、その係数の乗算処理を削減してもよい。ゼロに設定する係数は、上記のようにエネルギーの低い要素とする。特に、第２逆変換行列の大きさが第１逆変換行列の大きさと同じ場合は、分割部４００において、第２逆変換部４１０へ入力する信号（第２復号変換出力信号）と入力しない信号（第２復号部分信号）とを分ける必要はなくなる。したがって、統合部４２０も必要ではなくなる。

つまり、分割部４００と統合部４２０とを用いない場合は、第２逆変換係数に複数個の非ゼロ係数を設定することで、当該係数にかかる乗算処理を削減することを特徴としてもよい。また、このとき、ゼロ係数を設定するのは、エネルギーの小さな位置としてもよく、相互相関の小さな係数のみとしてもよい。なお、非対角要素を全て０とする基底では、対角要素は１とする。

図４４は、本発明の実施の形態８に係る逆変換部のデータフローを概念的に示す図である。

Ｐ次元（図４４の例では、４×４×２の三次元信号、入力点数ｎ＝３２）の復号変換出力信号は、分割部４００において、分割統合情報に従って、第２復号変換出力信号（入力点数ｍ＝６）と、第２復号部分信号とに分割される。第２逆変換部４１０は、第２復号変換出力信号に対して、第２逆変換係数で構成される第２逆変換行列を用いて第２逆変換を行うことで、第１復号部分信号を生成する。すなわち、第２逆変換部４１０は、複数の符号化信号の一部に対応する第２復号変換出力信号（図４４の例では、２つの二次元の第２復号変換出力信号）を含む一括信号に、一括して第２逆変換を行うことで、複数の第１復号部分信号を生成する。

統合部４２０は、第１復号部分信号と第２復号部分信号とを統合することで、第１復号変換出力信号を生成する。そして、第１逆変換部４３０は、第１復号変換出力信号に対して、第１逆変換係数で構成される第１逆変換行列を用いて第１逆変換することで、復号変換入力信号を生成する。すなわち、第１逆変換部４３０は、複数の第１部分信号のそれぞれと、対応する第２復号部分信号とを含む第１復号変換出力信号のそれぞれに、第１逆変換を行うことで、復号変換入力信号を生成する。

なお、第２逆変換部４１０は、２つの二次元ブロックを含む信号が入力された場合、図４０と同様に、水平方向、垂直方向、ブロックをまたがる方向などの順で逆変換を行う。逆変換の順番は、これに限るものではない。

また、第１逆変換部４３０では、図４４に示すようにＰ−１次元の第１逆変換を複数回適用することで、復号変換入力信号を生成してもよい。例えば、図４４で示す例では、第１逆変換部４３０は、４×４×２の三次元の第１復号変換出力信号に対して、４×４の二次元の第１逆変換を２回行う。

なお、図４４では、説明を分かりやすくするため、２つの第１逆変換部４３０を示しているが、１つの第１逆変換部４３０が２回の二次元の第１変換を行えばよい。また、実際に変換部が２つの第１逆変換部４３０を備え、２つの第１逆変換部４３０がそれぞれ１回ずつ二次元の第１変換を行ってもよい。

あるいは、第１逆変換部４３０は、Ｐ次元の変換入力信号に対して、Ｐ次元の第１変換を１回行ってもよい。Ｐ次元の第１変換は分離型でもよく、あるいは、非分離型であってもよい。

このように、本発明の実施の形態８に係る第２逆変換部４１０は、Ｐ次元のそれぞれに対して一次元の変換をＰ回行う分離型の第２逆変換を、Ｐ次元の第２復号変換出力信号に行う。すなわち、図４４に示す例では、三次元のそれぞれに対して一次元の変換を３回行う分離型の第２逆変換を、三次元の第２復号変換出力信号に行う（図４０参照）。

本発明の実施の形態８の逆変換処理のフローは、実施の形態２、４、６とほぼ同様であるため、ここでは、図１４を用いて説明する。

なお、本発明の実施の形態８に係る復号装置に入力される符号化信号は、例えば、入力画像又は予測誤差画像を構成する複数のブロックのそれぞれに対応する画像信号が符号化された信号である。具体的には、複数のブロックは、図４５に示すように、入力画像又は予測誤差画像の輝度ブロック又は色差ブロックを含む。あるいは、複数のブロックは、図４６に示すように、入力画像又は予測誤差画像内において互いに空間的に隣接するブロックを含んでもよい。

まず、分割部４００は、分割統合情報を取得する（ステップＳ２３１）。次に、分割部４００は、分割統合情報に従い、復号変換出力信号を第２復号変換出力信号と第２復号部分信号とに分割する（ステップＳ２３２）。

次に、第２逆変換部４１０は、第２逆変換係数を取得する（ステップＳ２３３）。そして、第２逆変換部４１０は、第２復号変換出力信号に対して第２逆変換を行うことで、第１復号部分信号を生成する（ステップＳ２３４）。

次に、統合部４２０は、分割統合情報に従い、第１復号部分信号と第２復号部分信号とを統合することで、第１復号変換出力信号を生成する（ステップＳ２３６）。

次に、第１逆変換部４３０は、第１逆変換係数を取得する（ステップＳ２３７）。そして、第１逆変換部４３０は、第１復号変換出力信号に対して第１逆変換を行うことで、復号変換入力信号を生成する（ステップＳ２３８）。

なお、分割統合情報を取得するステップＳ２３１、逆変換係数を取得するステップＳ２３３、Ｓ２３７などは、前述したように通知のバリエーションが多数あるため、本フローのタイミングで実施されるとは限らず、また、本実施の形態の一部として必須の動作ではない。また、第２逆変換が分離型である場合は、ステップＳ２３２において、分割部４００が、第２復号変換出力信号をＰ次元から一次元へ並び替え、ステップＳ２３６において、第１復号部分信号を一次元からＰ次元に並び替えた後、統合する。

なお、上述したように本実施の形態では、多次元の復号変換出力信号は、輝度信号（Ｙ信号）及び色差信号（Ｕ信号、Ｖ信号）でもよい。図４５は、多次元の復号変換出力信号がＹＵＶの信号である場合の逆変換のデータフローの一例を概念的に示す図である。

Ｙ信号の復号量子化係数、Ｕ信号の復号量子化係数、Ｖ信号の復号量子化係数は、逆量子化部３２０において逆量子化され、復号変換出力信号が生成される。逆量子化は、ＹＵＶ信号それぞれに対して行ってもよく、実施の形態１１で述べるように、第２逆変換部４１０に入力される部分については、まとめて逆量子化されてもよい。

第２逆変換部４１０は、復号変換出力信号のうちエネルギーの大きな低域側領域である第２復号変換出力信号に、第２逆変換を行うことで、第１復号部分信号を生成する。第１復号部分信号は、第２逆変換が行われなかった部分である第２復号部分信号と統合されることで、第１復号変換出力が生成される。

第１逆変換部４３０は、第１復号変換出力信号に対して第１逆変換を行うことで、Ｙ信号、Ｕ信号、Ｖ信号の復号変換入力信号を生成する。第１逆変換部４３０は、ＹＵＶ信号をまとめた三次元の変換を一括して行ってもよく、あるいは、ＹＵＶ信号を個別に二次元の変換を行ってもよい。なお、実施の形態１１で述べるように、第２逆変換が適用される部分（第１復号部分信号）に対しては、適用されない部分（第２復号部分信号）とは独立の逆スキャン、逆量子化を行ってもよい。

また、本実施の形態では、多次元の復号変換出力信号は、空間的に隣接するブロックの画像信号でもよい。図４６は、多次元の復号変換出力信号が空間的に隣接するブロックの信号である場合のデータフローの一例を概念的に示す図である。

空間的に隣接する複数個の小ブロック（図４６に示す例では、４個）に対応する復号量子化係数は、逆量子化部３２０において逆量子化され、復号変換出力信号が生成される。逆量子化は、４つの小ブロックに対応するデータに対して個別に行われる。あるいは、第２逆変換部４１０に入力される部分に対応するデータをまず逆量子化し、４つの小ブロックに対応するデータのうち、第２逆変換部４１０に入力されない部分を個別に逆量子化してもよい。

第２逆変換部４１０は、４つの小ブロックに対応する復号変換出力信号のうち、エネルギーの大きい要素を含む低域側領域である第２復号変換出力信号に対して、第２逆変換を行うことで、第１復号部分信号を生成する。そして、第２逆変換の出力である第１復号部分信号と、第２逆変換を適用されなかった領域である第２復号部分信号とは統合されることで、第１復号変換出力信号が生成される。

第１逆変換部４３０は、第１復号変換出力信号のそれぞれの小ブロック単位に、第１逆変換を行うことで、復号変換入力信号を生成する。なお、実施の形態１１で述べるように、第２逆変換が適用される部分（第１復号部分信号）に対しては、第２逆変換が適用されない領域（第２復号部分信号）とは、独立の逆スキャン、逆量子化を行ってもよい。また、第２逆変換が適用される領域の量子化係数の状態に応じて、第２逆変換が適用されない領域に対する逆スキャン、逆量子化、エントロピー復号の内部状態変数を切り替えてもよい。

また、第１逆変換行列のノルムを補正する処理は、図３７及び図３８に示すように、第１逆変換の前で行う。具体的には、第２逆変換が行われる部分については、第２逆変換の後で行い、第２逆変換が行われない部分については、第１逆変換の前のいずれの時点で行ってもよい。

以上のように、本発明の実施の形態８に係る復号装置及び復号方法により、変換処理の演算量と逆変換係数のデータ量とを抑えつつ、入力信号の統計的性質の変化に適応できる。特に、Ｐ次元（Ｐは２以上の整数）の入力信号に対して効果的である。

なお、本発明の実施の形態８において、第２逆変換部４１０は、非分離型の第２逆変換を行ってもよい。すなわち、第２逆変換部４１０は、Ｐ次元の信号を一次元の信号に並び替え、並び替えた後の信号に変換を行う非分離型の第２変換を、Ｐ次元の第２復号変換出力信号に行ってもよい。具体的には、実施の形態１などで説明した場合と同様であるので、ここでは説明を省略する。

（実施の形態９）
本発明の実施の形態９に係る符号化装置及び符号化方法は、音声データ、静止画像データ、動画像データなど符号化対象となる信号を、複数種類の変換の組み合わせによって変換を行う変換部及び変換方法を備える。本発明の実施の形態９に係る符号化装置は、分離型の変換を第１変換及び第２変換の少なくとも一方で実行することを特徴とする。上述した実施の形態と同様の構成については同様の符号を付し、説明を省略する場合がある。

本発明の実施の形態９に係る符号化装置及び符号化方法では、入力信号がＰ次元信号（Ｐは２以上の整数）である。そのため、変換出力信号、復号変換出力信号、復号変換入力信号、復号信号、予測信号もＰ次元となる。

本発明の実施の形態９における第１変換部２００は、演算処理の一部又は全てにおいて、固定の変換処理を用いる。具体的には、例えば、ＭＰＥＧ−１／２／４ビデオ符号化規格搭載の離散コサイン変換や、Ｈ．２６４／ＡＶＣ規格採用の整数精度ＤＣＴを用いる。あるいは、実施の形態１、３、５、７で説明した変換を分離型変換の一部として用いてもよい。

４×４の二次元信号が変換入力信号として入力された場合について、図４７を用いて説明する。図４７は、本発明の実施の形態９に係る変換部のデータフローの一例を概念的に示す図である。

第１変換部２００は、Ｐ次元信号（図４７に示す例では、Ｐ＝２）の変換入力信号に、分離型変換である第１変換を行うことで、第１変換出力信号を生成する。分離型変換である第１変換部２００は、行方向の変換を行う第１座標軸変換を行い、次に、列方向の変換を行う第２座標軸変換を行う。なお、行方向と列方向との処理は入れ替わる構成もありえる。

ｎ×ｎの二次元信号の入力は、次元数がｎ×ｎであり、変換の演算量が膨大となるため、分離型の構成をとることが好ましい。分離型では、行又は列の１つの変換単位において、次元数はｎであり、分離型ではない変換の次元数ｎ×ｎと比べて低いため、演算量を軽減できる。分割部２１０、第２変換部２２０、統合部２３０の動作は、実施の形態１、３、５、７と同じであるため説明を省略する。

図４８Ａを用いて、本発明の実施の形態９に係る変換部１１０が行う変換方法を説明する。図４８Ａは、本発明の実施の形態９に係る変換部１１０の動作の一例を示すフローチャートである。

まず、第１変換部２００は、変換入力信号に第１変換を行うことで、第１変換出力信号を生成する（ステップＳ１１２）。ステップＳ１１２は、次の２つのステップを含んでいる。

具体的には、まず、第１変換部２００は、変換入力信号を第１座標軸方向に変換することで、第１座標軸変換信号を生成する（ステップＳ１１２ａ）。そして、第１変換部２００は、第１座標軸変換信号を第２座標軸方向に変換することで、第２座標軸変換信号を生成する（ステップＳ１１２ｂ）。このようにして生成された第２座標軸変換信号が、実施の形態１、３、５、７における第１変換出力信号に相当する。

次に、分割統合情報算出部６１２は、分割統合情報を決定する（ステップＳ１１３）。そして、分割部２１０は、分割統合情報に基づいて、第１変換出力信号である第２座標軸変換信号を第１部分信号と第２部分信号とへ分割する（ステップＳ１１４）。このとき、分割部２１０は、第１部分信号の相関エネルギーが第２部分信号の相関エネルギーよりも大きくなるように分割する。さらに、分割部２１０は、Ｐ次元（Ｐは２以上の整数）の第１部分信号を一次元に並び替える。

次に、第２変換係数導出部２２２は、第１部分信号の局所的な集合の統計的性質に基づいて、第２変換係数を決定する（ステップＳ１１５）。そして、第２変換部２２０は、第１部分信号に対して第２変換行列を用いて第２変換を行うことで、第２変換出力信号を生成する（ステップＳ１１６）。

最後に、統合部２３０は、一次元信号の第２変換出力信号をＰ次元に並び替え、第２部分信号と、一次元からＰ次元に並び替えた第２変換出力信号とを統合することで、変換出力信号を生成する（ステップＳ１１８）。

なお、図４８Ｂに示すように、分割統合情報の決定（ステップＳ１１３）と、第２変換係数の決定（ステップＳ１１５）とは別の方法によって決定され、本実施の形態の一部として動作しなくてもよい。

また、前述の第１座標軸変換及び第２座標軸変換（ステップＳ１１２ａ、ステップＳ１１２ｂ）は、実施の形態１、３、５、７記載の第１変換であってもよい。前述の第１座標軸変換及び第２座標軸変換（ステップＳ１１２ａ、ステップＳ１１２ｂ）は、例えば、ＭＰＥＧ−１／２／４ビデオ符号化規格搭載の離散コサイン変換や、Ｈ．２６４／ＡＶＣ規格採用の整数精度ＤＣＴの変換であってもよい。

また、本実施の形態で第１変換について述べたのと同様に、第２変換も分離型の構成であってもよい。第１変換と第２変換とが分離型である場合、例えば、入力が二次元信号とすると、分離された各次元において一次元の信号処理となり、本実施の形態１から８で述べた２段階の変換処理が適用可能である。

図４９は、本発明の実施の形態９の変形例に係る変換部１１０の動作の一例を示すフローチャートである。図４８Ａ及び図４８Ｂと同じ動作をするステップには同じ符号を付与し、説明を省略する。

分割部２１０は、第１変換出力信号を第１部分信号と第２部分信号とに分割する（ステップＳ１１４）。このとき、分割部２１０は、Ｐ次元の第１部分信号を一次元に並び替えない。

そして、第２変換部２２０は、第２変換の第１座標軸変換として行方向の変換処理を行うことで、第１座標軸変換信号を生成する（Ｓ１１６ａ）。続いて、第２変換部２２０は、第１座標軸変換信号に対して、第２変換の第２座標軸変換として列方向の変換処理を行うことで、第２座標軸変換信号を生成する（Ｓ１１６ｂ）。このようにして、生成された第２座標軸変換信号が、第２変換出力信号に相当する。なお、行と列の変換の順序は、入れ替わってもよい。

なお、第１方向の変換処理と第２方向の変換処理とを続けて行ってもよい。図５０は、本発明の実施の形態９の変形例に係る変換部１１０の動作の一例を示すフローチャートである。

図４９とは、処理の順番を入れ替え、第１変換部２００が、行方向の第１変換の第１座標軸変換を行った後（Ｓ１１２ａ）、分割部２１０が、行方向に分割を行う（Ｓ１１４ａ）。そして、第２変換部２２０は、行方向の第２変換の第１座標軸変換を行った後（Ｓ１１６ａ）、統合部２３０が、行方向の統合処理を行う（Ｓ１１８ａ）。

続いて、第１変換部２００が、列方向の第１変換の第２座標軸変換を行った後（Ｓ１１２ｂ）、分割部２１０が、列方向の分割を行う（Ｓ１１４ｂ）。そして、第２変換部２２０は、列方向の第２変換の第２座標軸変換を行った後（Ｓ１１６ｂ）、統合部２３０が、列方向の統合処理を行う（Ｓ１１８ｂ）。

なお、行と列の処理順番は入れ替わってもよい。また、分割処理と統合処理とは、変換係数がゼロ係数を含む場合は、明示的なステップとして現れなくてもよい。

以上のように、本発明の実施の形態９に係る符号化装置及び符号化方法により、変換処理の演算量と変換係数のデータ量とを抑えつつ、入力信号の統計的性質の変化に適応できる。特に、Ｐ次元（Ｐは２以上の整数）の入力信号に対して効果的である。

（実施の形態１０）
本発明の実施の形態１０に係る復号装置及び復号方法は、音声データ、静止画像データ、動画像データなどの信号が符号化された符号化信号（実施の形態９において生成された符号化信号）を、複数種類の変換の組み合わせによって逆変換を行う逆変換部及び逆変換方法を備える。本発明の実施の形態１０に係る復号装置及び復号方法は、分離型の逆変換を第１逆変換及び第２逆変換の少なくとも一方で実行することを特徴とする。上述した実施の形態と同様の構成については同様の符号を付し、説明を省略する場合がある。

本発明の実施の形態１０に係る復号装置及び復号方法では、復号変換出力信号、復号変換入力信号、復号信号、予測信号がＰ次元信号（Ｐは２以上の整数）である。

第１逆変換部４３０は、演算処理の一部又は全てにおいて、固定の変換処理を用いる。具体的には、例えば、ＭＰＥＧ−１／２／４ビデオ符号化規格搭載の離散コサイン変換や、Ｈ．２６４／ＡＶＣ規格採用の整数精度ＤＣＴを用いる。あるいは、上述した実施の形態２、４、６、８の逆変換を分離型変換の一部として用いてもよい。

分割部４００は、Ｐ次元（例えば、Ｐ＝２）の復号変換出力信号が入力され、分割統合情報に従って、復号変換出力信号を、第２復号変換出力信号と第２復号部分信号とに分割する。第２逆変換部４１０は、第２逆変換行列を用いて、第２復号変換出力信号に第２逆変換を行うことで、第１復号部分信号を生成する。

統合部４２０は、第２復号部分信号と第１復号部分信号とを、分割統合情報に従って統合することで、第１復号変換出力信号を生成する。

第１逆変換部４３０は、第１復号変換出力信号に、分離型変換である第１逆変換を行うことで、復号変換入力信号を生成する。第１逆変換部４３０では、行方向の変換を行う第１分離変換（すなわち、第１座標軸逆変換）を行い、次に、列方向の変換を行う第２分離変換（すなわち、第２座標軸逆変換）を行う。行方向と列方向の処理は、入れ替わる構成もありえる。

ｎ×ｎの二次元信号の入力は、次元数がｎ×ｎであり、変換の演算量が膨大となるため、分離型の構成をとることが好ましい。分離型では、行又は列の１つの変換単位において、次元数はｎであり、分離型ではない変換の次元数ｎ×ｎと比べて低いため、演算量を軽減できる。分割部４００、第２逆変換部４１０、統合部４２０の動作は、上述した実施の形態２、４、６、８と同じであるため説明を省略する。

図５１Ａを用いて、本発明の実施の形態１０に係る逆変換部３３０が行う逆変換方法を説明する。図５１Ａは、本発明の実施の形態１０に係る逆変換部３３０の動作の一例を示すフローチャートである。

まず、分割部４００は、分割統合情報を取得する（ステップＳ２３１）。そして、分割部４００は、分割統合情報に従い、Ｐ次元信号（Ｐは２以上の整数）である復号変換出力信号を一次元に並び替え、第２復号変換出力信号と第２復号部分信号とに分割する（ステップＳ２３２）。

次に、第２逆変換部４１０は、第２逆変換係数を取得する（ステップＳ２３３）。そして、第２逆変換部４１０は、第２復号変換出力信号に対して第２逆変換を行うことで、第１復号部分信号を生成する（ステップＳ２３４）。

次に、統合部４２０は、分割統合情報に従い、一次元信号である第１復号部分信号をＰ次元信号に並び替え、並び替えた信号と第２復号部分信号を統合することで、第１復号変換出力信号を生成する（ステップＳ２３６）。

次に、第１逆変換部４３０は、第１逆変換係数を取得する（ステップＳ２３７）。そして、第１逆変換部４３０は、第１復号変換出力信号に対して第１逆変換を行うことで、復号変換入力信号を生成する（ステップＳ２３８）。ここで、ステップＳ２３８は、次の２つのステップを含んでいる。

すなわち、具体的には、第１逆変換部４３０は、第１復号変換出力信号を第１座標軸方向に逆変換することで、第１座標軸逆変換信号を生成する（ステップＳ２３８ａ）。次に、第１逆変換部４３０は、第１座標軸逆変換信号を第２座標軸方向に逆変換することで、第２座標軸逆変換信号を生成する（ステップＳ２３８ｂ）。このようにして生成された第２座標軸逆変換信号が、上述した実施の形態２、４、６、８における、復号変換入力信号に相当する。

なお、図５１Ｂに示すように、分割統合情報の取得（ステップＳ２３１）と、逆変換係数の取得（ステップＳ２３３及びステップＳ２３７）は、前述したように通知のバリエーションが多数あるため、本フローのタイミングで実施されるとは限らない。

また、前述の第１座標軸逆変換及び第２座標軸逆変換（ステップＳ２３８ａ、ステップＳ２３８ｂ）は、上述した実施の形態２、４、６、８に記載の第１逆変換であってもよい。また、前述の第１座標軸逆変換及び第２座標軸逆変換（ステップＳ２３８ａ、ステップＳ２３８ｂ）は、例えば、ＭＰＥＧ−１／２／４ビデオ符号化規格搭載の離散コサイン変換や、Ｈ．２６４／ＡＶＣ規格採用の整数精度ＤＣＴの変換であってもよい。

また、本実施の形態で第１逆変換について述べたのと同様に、第２逆変換も分離型の構成であってもよい。第１逆変換と第２逆変換とが分離型である場合、例えば、入力が二次元信号とすると、分離された各次元において一次元の信号処理となり、本実施の形態１から８で述べた２段階の変換処理が適用可能である。

図５２は、本発明の実施の形態１０の変形例に係る逆変換部３３０の動作の一例を示すフローチャートである。図５１Ａ及び図５１Ｂと同じ動作をするステップには同じ符号を付与し、説明を省略する。

分割部４００は、復号変換出力信号を第１部分信号と第２部分信号とに分割する（ステップＳ２３２）。このとき、分割部４００は、Ｐ次元の第１部分信号を一次元に並び替えない。

第２逆変換部４１０は、第２逆変換の第１座標軸変換として、行方向の逆変換処理を行うことで、第１座標軸逆変換信号を生成する（Ｓ２３４ａ）。続いて、第２逆変換部４１０は、第２逆変換の第２座標軸変換として、列方向の逆変換処理を行うことで、第２座標軸逆変換信号を生成する（Ｓ２３４ｂ）。このようにして、生成された第２座標軸変換信号が、第１復号部分信号に相当する。なお、行と列の変換の順序は入れ替わってもよい。

なお、第１方向の逆変換処理と第２方向の逆変換処理とを続けて行ってもよい。図５３は、本発明の実施の形態１０の変形例に係る逆変換部３３０の動作の一例を示すフローチャートである。

まず、分割部４００が、行方向の分割を行い（Ｓ２３２ａ）、第２逆変換部４１０が、行方向の第２逆変換の第１座標軸変換を行う（Ｓ２３４ａ）。そして、統合部４２０が、行方向の統合処理を行い（Ｓ２３６ａ）、第１逆変換部４３０が、行方向の第１逆変換の第１座標軸変換を行う（Ｓ２３８ａ）。

続いて、分割部４００が、列方向の分割を行い（Ｓ２３２ｂ）、第２逆変換部４１０が、列方向の第２逆変換の第２座標軸変換を行う（Ｓ２３４ｂ）。そして、統合部４２０が、列方向の統合処理を行い（Ｓ２３６ｂ）、第１逆変換部４３０が、列方向の第１逆変換の第２座標軸変換を行う（Ｓ２３８ｂ）。

なお、行と列の処理順番は入れ替わってもよい。分割処理と統合処理とは、逆変換係数がゼロ係数を含む場合は、明示的なステップとして現れなくてもよい。

以上のように、本発明の実施の形態１０に係る復号装置及び復号方法により、変換処理の演算量と逆変換係数のデータ量とを抑えつつ、入力信号の統計的性質の変化に適応できる。特に、Ｐ次元（Ｐは２以上の整数）の入力信号に対して効果的である。

（実施の形態１１）
本発明の実施の形態１１に係る符号化装置及び符号化方法は、音声データ、静止画像データ、動画像データなど符号化対象となる信号を、複数種類の変換の組み合わせによって変換を行う変換部及び変換方法を備える。本発明の実施の形態１１に係る符号化装置及び符号化方法は、第２変換が適用された部分と、第２変換が適用されなかった部分とに対して異なる処理を行うことを特徴とする。上述した実施の形態と同様の構成については同様の符号を付し、説明を省略する場合がある。

本発明の実施の形態１１に係る符号化装置について、図５４Ａを用いて説明する。図５４Ａは、本発明の実施の形態１１に係る符号化装置１２００の構成の一例を示すブロック図である。

図５４Ａに示すように、符号化装置１２００は、図１７に示す実施の形態３に係る符号化装置５００と比較して、変換部５１０、量子化部１２０、エントロピー符号化部１３０、逆量子化部５４０及び逆変換部５５０の代わりに、変換部１２１０、量子化部１２２０、エントロピー符号化部１２３０、逆量子化部１２４０及び逆変換部１２５０を備える点が異なっている。以下では、実施の形態３に係る符号化装置５００と同じ構成については、説明を省略し、異なる点を中心に説明する。

本実施の形態では、変換部１２１０の出力は、第２変換の適用の有無によって、２つに分離されて出力される。つまり、変換部１２１０は、変換入力信号に第１変換及び第２変換を行うことで、変換出力信号を生成し、生成した変換出力信号のうち、第２変換が適用された部分と、第２変換が適用されなかった部分とをそれぞれ２つの信号として出力する。言い換えると、変換部１２１０は、前述の第２変換出力信号を変換出力信号Ｌとして出力し、前述の第２部分信号を、変換出力信号Ｈとして出力する。

第２変換出力信号は、統計的な性質が第２部分信号とは異なっているため、後続の処理も別々に行うことで、さらなる性能向上ができる。具体的には、量子化部１２２０は、変換出力信号Ｌと変換出力信号Ｈとをスキャンし、量子化することで、それぞれ、量子化係数Ｌと量子化係数Ｈとを生成する。言い換えると、量子化部１２２０は、変換出力信号を構成する係数値をスキャンし、スキャンされた係数値を含むスキャン信号を量子化することで、量子化係数を生成する。

その際において、量子化部１２２０は、量子化係数Ｌの量子化による損失を低く抑えるように制御し、主観画質に与える影響の大きい低域信号に割り当てるデータ量を優遇してもよい。すなわち、量子化部１２２０は、スキャン信号のうち、第２変換出力信号に対応する第１スキャン信号を第１精度で量子化し、第２部分信号に対応する第２スキャン信号を、第１精度より低い第２精度で量子化する。なお、量子化部１２２０では、量子化精度の切り替えが可能である。

また、量子化部１２２０は、変換出力信号Ｌに含まれる係数値に対するスキャンの動作と、変換出力信号Ｈに含まれる係数値に対するスキャンの動作とを切り替えてもよい。なお、量子化部１２２０では、スキャン方式が切り替え可能である。

例えば、量子化部１２２０は、第２変換が非分離型の構成の場合、一次元に並び替えた列である第２変換出力信号の順にスキャンし、第２変換を適用しない第２部分信号については、ジグザグスキャン等の水平方向と垂直方向とにほぼ同時に移動し、ブロックの端で切り返すスキャンを行う。つまり、量子化部１２２０は、第２変換出力信号を構成する係数値を、第２変換のパワー順にスキャンし、かつ、第２部分信号を構成する係数値を、ジグザグスキャンでスキャンする。

なお、変換の入出力が多次元信号の場合、第２部分信号については、多次元のジグザグスキャンを行ってもよく、あるいは、二次元のジグザグスキャンを逐次行ってもよい。例えば、ＹＵＶ信号を入力とする例では、Ｙ信号の第２部分信号をジグザグスキャンし、Ｕ信号の第２部分信号をジグザグスキャンし、Ｖ信号の第２部分信号をジグザグスキャンしてもよい。ＹＵＶの処理の順序はこれに限るものではない。

エントロピー符号化部１２３０は、量子化係数Ｌをエントロピー符号化することで、符号化信号Ｌを生成し、量子化係数Ｈをエントロピー符号化することで、符号化信号Ｈを生成する。そして、エントロピー符号化部１２３０は、符号化信号Ｌと符号化信号Ｈとを多重化して出力する。

また、量子化係数Ｌと量子化係数Ｈとは、統計的な性質が異なるため、エントロピー符号化部１２３０は、内部状態変数（発生確率、コンテキスト等）を独立に管理する。なお、エントロピー符号化部１２３０では、エントロピー符号化方式の切り替えが可能である。また、２値化、コンテキスト導出方法を切り替えてもよい。エントロピー符号化の内部状態変数は、状態を記憶するためにメモリを消費するため、削減が望まれる場合がある。したがって、例えば、変換出力信号Ｌに対するそれらは密に設け、変換出力信号Ｈに対するそれらは疎に設ける構成であってもよい。密あるいは疎というのは、変換出力信号の個数に対する独立な内部状態変数の個数の比の大小関係を示すものである。

つまり、エントロピー符号化部１２３０は、量子化係数のうち、第２変換出力信号に対応する第１量子化係数と、第２部分信号に対応する第２量子化係数とに対して、それぞれ異なる確率テーブルを用いてエントロピー符号化する。あるいは、エントロピー符号化部１２３０は、量子化係数のうち第１量子化係数と第２量子化係数とに対して、それぞれ異なるコンテキスト導出を行うことで、量子化係数をエントロピー符号化してもよい。

逆量子化部１２４０は、量子化係数Ｌを逆量子化することで、復号変換出力信号Ｌを生成し、量子化係数Ｈを逆量子化することで復号変換出力信号Ｈを生成する。逆量子化部１２４０は、量子化部１２２０が行う処理と反対の処理を行う。

逆変換部１２５０は、復号変換出力信号Ｌと復号変換出力信号Ｈとを逆変換することで、復号信号を生成する。逆変換部１２５０は、変換部１２１０が行う処理と反対の処理を行う。

なお、変換出力信号Ｌに対する処理（スキャン、量子化、エントロピー符号化）は、変換出力信号Ｈに対する処理（スキャン、量子化、エントロピー符号化）よりも処理順は、早めにしておいてもよい。この処理優先順位とした場合、変換出力信号Ｌに対するそれら処理の結果に応じて、変換出力信号Ｈに対するそれら処理の動作を切り替えてもよい。例えば、変換出力信号Ｌの非ゼロ係数の量に応じて、量子化係数Ｈに対するエントロピー符号化の内部状態変数を切り替えてもよい。

図５４Ｂは、本発明の実施の形態１１に係る符号化装置１２００における、信号毎の処理の違いの一例を示す図である。図５４Ｂに示すように、本発明の実施の形態１１に係る符号化装置１２００では、スキャン、量子化、エントロピー符号化の少なくとも１つにおいて、第２変換出力信号と第２部分信号とのそれぞれに対応する信号に対して異なる処理を行う。

本発明の実施の形態１１の符号化処理フローは、上述した実施の形態の符号化処理フローとほぼ同様であるため、以下では、図１８を用いて説明する。

まず、予測誤差信号を入力信号として用いる場合には、予測部５８０は、予測誤差信号を生成する（ステップＳ３０５）。次に、変換部１２１０は、予測誤差信号あるいは入力信号を変換することで、第２変換が適用された変換出力信号Ｌと第２変換が適用されていない変換出力信号Ｈとを生成する（ステップＳ１１０）。

次に、量子化部１２２０は、変換出力信号Ｌを量子化することで、量子化係数Ｌを生成し、変換出力信号Ｈを量子化することで、量子化係数Ｈを生成する（ステップＳ１２０）。続いて、エントロピー符号化部１２３０は、量子化係数Ｌをエントロピー符号化し、かつ、量子化係数Ｈをエントロピー符号化することで、符号化信号を生成する（ステップＳ１３０）。なお、量子化係数Ｌのエントロピー符号化と量子化係数Ｈのエントロピー符号化とは、内部状態変数が独立である。

次に、逆量子化部１２４０は、量子化係数Ｌを逆量子化することで、復号変換出力信号Ｌを生成し、量子化係数Ｈを逆量子化することで、復号変換出力信号Ｈを生成する（ステップＳ３４０）。次に、逆変換部１２５０は、復号変換出力信号Ｌと復号変換出力信号Ｈとを逆変換することで、復号信号を生成する（ステップＳ３５０）。最後に、生成した復号信号をメモリ５７０に格納する（ステップＳ３６０）。

なお、実施の形態３で述べた入力信号の局所的な統計的性質の変動に応じて第２変換係数を制御する構成では、それらの変動に応じて、スキャン、量子化、エントロピー符号化の内部状態変数を切り替えてもよい。ただし、切り替えの種類の増加によって、内部メモリ量が増加するというデメリットがあるため、変換出力信号Ｌに対する、スキャン、量子化、エントロピー符号化の内部状態変数、エントロピー符号化のコンテキスト導出方法、は切り替えるが、変換出力信号Ｈに対するそれらは連動させない、つまり、同一のメモリを使用して、メモリ使用量を抑えてもよい。また、スキャン、量子化、エントロピー符号化の内部状態変数、コンテキスト導出方法は、同時に連動と非連動とを切り替えるのではなく、個別に、連動と非連動とを切り替えてもよい。

なお、スキャンは、予め定めた固定のパターンや、量子化係数の発生頻度に基づいて更新される動的なパターンでもよい。スキャン方式、量子化精度、エントロピー符号化方式の切り替えの頻度は、第２変換出力信号に対応する信号の方が、第２部分信号に対応する信号より高くてもよい。

以上のように、本発明の実施の形態１１に係る符号化装置及び符号化方法により、変換処理の演算量と変換係数のデータ量とを抑えつつ、入力信号の統計的性質の変化に適応できる。

（実施の形態１２）
本発明の実施の形態１２に係る復号装置及び復号方法は、音声データ、静止画像データ、動画像データなどの信号が符号化された符号化信号（実施の形態１１において生成された符号化信号）を、複数種類の変換の組み合わせによって逆変換を行う逆変換部及び逆変換方法を備える。本発明の実施の形態１２に係る復号装置及び復号方法は、第２変換が適用された部分と、第２変換が適用されなかった部分とに異なる処理を行うことを特徴とする。上述した実施の形態と同様の構成については同様の符号を付し、説明を省略する場合がある。

本発明の実施の形態１２に係る復号装置について、図５５Ａを用いて説明する。図５５Ａは、本発明の実施の形態１２に係る復号装置１３００の構成の一例を示すブロック図である。

図５５Ａに示すように、復号装置１３００は、図２７に示す実施の形態４に係る復号装置７００と比較して、エントロピー復号部３１０、逆量子化部３２０及び逆変換部７３０の代わりに、エントロピー復号部１３１０、逆量子化部１３２０及び逆変換部１３３０を備える点が異なっている。以下では、実施の形態４に係る復号装置７００と同じ構成については説明を省略し、異なる点を中心に説明する。

エントロピー復号部１３１０は、符号化信号をエントロピー復号することで、復号量子化係数Ｌと復号量子化係数Ｈとを生成する。エントロピー復号において、復号量子化係数Ｌと復号量子化係数Ｈとに対する内部状態変数（確率状態変数、コンテキスト）は独立である。

また、２値化、コンテキスト導出方法を切り替えてもよい。なお、エントロピー復号部１３１０では、エントロピー復号方式の切り替えが可能である。エントロピー復号の内部状態変数は、状態を記憶するためにメモリを消費するため、削減が望まれる場合がある。復号量子化係数Ｌに対するそれらは密に設け、復号量子化係数Ｈに対するそれらは疎に設ける構成であってもよい。密あるいは疎というのは、復号量子化係数の個数に対する独立な内部状態変数の個数の比の大小関係を示すものである。

つまり、エントロピー復号部１３１０は、符号化信号のうち、第２復号変換出力信号に対応する第１符号化信号と、第２復号部分信号に対応する第２符号化信号とに対して、それぞれ異なる確率テーブルを用いてエントロピー復号する。あるいは、エントロピー復号部１３１０は、符号化信号のうち第１符号化信号と第２符号化信号とに対して、それぞれ異なるコンテキスト導出を行うことで、符号化信号をエントロピー復号してもよい。

逆量子化部１３２０は、復号量子化係数Ｌを逆量子化し、逆スキャンすることで、復号変換出力信号Ｌを生成する。さらに、逆量子化部１３２０は、復号量子化係数Ｈを逆量子化し、逆スキャンすることで、復号変換出力信号Ｈを生成する。すなわち、逆量子化部１３２０は、復号量子化係数を逆量子化することで、復号スキャン信号を生成し、復号スキャン信号を構成する係数値を構成する係数値をスキャンする。これにより、スキャンされた係数値を含む復号変換出力信号を生成する。

なお、逆量子化部１３２０は、復号量子化係数のうち、第２復号変換出力信号に対応する第１復号量子化係数を第１精度で逆量子化し、第２復号部分信号に対応する第２復号量子化係数を、第１精度より低い第２精度で逆量子化してもよい。なお、量子化部１２２０では、量子化精度の切り替えが可能である。

逆変換部１３３０は、復号変換出力信号Ｌと復号変換出力信号Ｈとを逆変換することで、復号変換入力信号を生成する。なお、復号変換出力信号Ｌと復号変換出力信号Ｈとはそれぞれ、第２復号変換出力信号、第２復号部分信号に相当する。

なお、逆量子化部１３２０において、復号量子化係数Ｌに対する逆スキャンと、復号量子化係数Ｈに対する逆スキャンの動作を切り替えてもよい。なお、逆量子化部１３２０では、スキャン方式の切り替えが可能である。第２逆変換が非分離型の構成の場合、一次元に並び替えた列である第１復号部分信号の順に逆スキャンし、第２逆変換を適用しない第２復号部分信号については、ジグザグスキャン等の水平方向と垂直方向とにほぼ同時に移動しブロックの端で切り返す逆スキャンを行う。

つまり、逆量子化部１３２０は、復号スキャン信号のうち、第２復号変換出力信号に対応する第１復号スキャン信号を構成する係数値を、第２逆変換のパワー順にスキャンし、かつ、第２復号部分信号に対応する第２復号スキャン信号を構成する係数値を、ジグザグスキャンでスキャンする。

なお、変換の入出力が多次元信号の場合、第２復号部分信号については、多次元のジグザグスキャンを行ってもよく、あるいは、二次元のジグザグスキャンを逐次行ってもよい。例えば、ＹＵＶ信号を入力とする構成では、Ｙ信号の第２復号部分信号を逆ジグザグスキャンし、Ｕ信号の第２復号部分信号を逆ジグザグスキャンし、Ｖ信号の第２復号部分信号を逆ジグザグスキャンしてもよい。ＹＵＶの処理の順序は、これに限るものではない。

なお、復号量子化係数Ｌに対する処理は、復号量子化係数Ｈに対する処理よりも処理順は早めにしておいてもよい。この処理優先順位とした場合、復号量子化係数Ｌに対するそれら処理の結果に応じて、復号量子化係数Ｈに対するそれら処理の動作を切り替えてもよい。

図５５Ｂは、本発明の実施の形態１２に係る復号装置１３００における、信号毎の各処理の違いの一例を示す図である。図５５Ｂに示すように、本発明の実施の形態１２に係る復号装置１３００では、エントロピー復号、逆量子化及びスキャンの少なくとも１つにおいて、第２復号変換出力信号と第２復号部分信号とのそれぞれに対応する信号に対して異なる処理を行う。

本発明の実施の形態１２の復号処理フローは、上述した実施の形態の復号処理フローとほぼ同様であるため、図２８を用いて説明する。

まず、予測部７７０は、メモリ７６０に格納された符号化済み信号をもとに、予測信号を生成する（ステップＳ４０５）。なお、入力信号を直接変換する符号化方法にて生成された符号化信号を復号する場合には、本ステップＳ４０５は省略される。

次に、エントロピー復号部１３１０は、符号化信号をエントロピー復号することで、復号量子化係数Ｌと復号量子化係数Ｈとを生成する（ステップＳ２１０）。ここで、エントロピー復号において、復号量子化係数Ｌと復号量子化係数Ｈとに対する内部状態変数（確率状態変数、コンテキスト）は独立である。

次に、逆量子化部１３２０は、復号量子化係数Ｌを逆量子化することで、復号変換出力信号Ｌを生成し、復号量子化係数Ｈを逆量子化することで、復号変換出力信号Ｈを生成する（ステップＳ２２０）。そして、逆変換部１３３０は、復号変換出力信号Ｌと復号変換出力信号Ｈとを逆変換することで、復号変換入力信号を生成する（ステップＳ２３０）。

次に、加算器７５０は、前述の予測信号と復号変換入力信号とを加算することで、復号信号を生成する。そして、復号信号をメモリ７６０に格納し、次のタイミングにて参照できるようにする（ステップＳ４４０）。

なお、実施の形態３で述べた入力信号の局所的な統計的性質の変動に応じて第２逆変換係数を制御する構成では、それら変動に応じて、エントロピー復号のコンテキストの導出方法、エントロピー復号の内部状態変数、逆量子化、逆スキャンを切り替えてもよい。ただし、切り替えの種類の増加によって、内部メモリ量が増加するというデメリットがあるため、復号量子化係数Ｌを出力するエントロピー復号の内部状態変数、復号量子化係数Ｌに対する逆量子化、それに対する逆スキャンは切り替えるが、復号量子化係数Ｈに関連するそれら処理は連動させない、つまり、同一のメモリを使用して、メモリ使用量を抑えてもよい。エントロピー復号のコンテキスト導出方法、エントロピー復号の内部状態変数、逆量子化、逆スキャンは、同時に連動と非連動を切り替えるのではなく、個別に、連動と非連動を切り替えてもよい。

なお、逆スキャンは予め定めた固定のパターンや、量子化係数の発生頻度に基づいて更新される動的なパターンでもよい。スキャン方式、逆量子化精度、エントロピー復号方式の切り替えの頻度は、第２復号変換出力信号に対応する信号の方が、第２復号部分信号に対応する信号より高くてもよい。

以上のように、本発明の実施の形態１２に係る復号装置及び復号方法により、変換処理の演算量と逆変換係数のデータ量とを抑えつつ、入力信号の統計的性質の変化に適応できる。

（実施の形態１３）
本発明の実施の形態１３に係る符号化装置、符号化方法、復号装置及び復号方法は、第２変換係数及び第２逆変換係数の特徴を利用して、符号化効率が高まるように、変換係数を符号化及び復号することを特徴とする。第２変換行列、及び、第２逆変換行列は、以下に示すような、特徴的な行列であるため、変換性能の向上、又は、変換係数のデータ量削減ができる。

本実施の形態では、一例として、４個の要素からなる第１部分信号ｙ_１Ｌ ^ｍが第２変換部２２０に入力され、第２変換部２２０は、４×４行列の第２変換行列Ａ_２ ^ｍを用いて第１部分信号ｙ_１Ｌ ^ｍを変換することで、第１部分変換出力信号ｙ_２ ^ｍを出力する場合を想定する。

図５６Ａに示すように、第２変換行列Ａ_２ ^ｍを構成する第２変換係数は、ａ（ｉ，ｊ）（あるいは、ａ_ｉｊ）で表される。なお、ｉ＝１、２、３、４、及びｊ＝１、２、３、４である。このとき、図５６Ａに示すように、ｉ＝ｊとなる要素（ａ_ｉｉ）が対角要素であり、ｉ≠ｊとなる要素が非対角要素である。さらに、非対角要素は、ｉ＜ｊとなる要素である上三角要素と、ｉ＞ｊとなる要素である下三角要素とに分類される。

以下では、まず、第２変換行列Ａ_２ ^ｍの対角要素の特徴について説明する。

仮に、第１変換が完全な無相関化を達成できる変換である場合、第２変換は、第１変換出力信号をそれ以上無相関化することができないので、対角要素を全て１（すなわち、８ビット精度の係数の場合２５５）に設定し、非対角要素の全てを０に設定することができる。

しかしながら、上述したように、第１変換係数導出部２０２は、集合Ｓ_Ａに含まれる複数の変換入力信号ｘ^ｎに平均的に最適化された第１変換行列Ａ_１ ^ｎを導出するので、個々の変換入力信号ｘ^ｎには最適化されていない。このため、第１変換部２００は、完全な無相関化を達成することはできず、第１変換出力信号ｙ_１ ^ｎ、及び、その一部である第１部分信号ｙ_１Ｌ ^ｍは、完全に無相関化されていない。したがって、第２変換係数導出部２２２が導出する第２変換係数で構成される第２変換行列Ａ_２ ^ｍの対角要素は必ずしも１にはならず、非対角要素は必ずしも０にはならない。

しかしながら、第１部分信号ｙ_１Ｌ ^ｍは、第１変換によりある程度は無相関化されているので、第２変換行列Ａ_２ ^ｍの対角要素は１に近い値に、非対角要素は０に近い値に設定してもよい。したがって、第２変換係数を符号化する際には、対角要素ａ（ｉ，ｉ）と１との差分は、０に近い値となるので、符号化すべき情報量を削減することができるので、より符号化効率を高めることができる。

また、対角要素は、高域成分になるほど特殊な相関の影響を受けやすいため、１から外れるように設定してもよい。つまり、右下の対角要素ほど、１から外れるように設定してもよい。例えば、左上から右下にかけて、一次関数又は等差級数的に値が小さくなるように、第２変換行列の対角要素を決定してもよい。逆行列についても同様である。

図５６Ｂは、第２変換行列及び第２逆変換行列の一例を示す図である。図５６Ｂに示すように、対角要素の値の大きさは、非対角要素の値の大きさの４倍以上に設定してもよい。さまざまなノイズ信号などの外乱が入る場合などでは、対角要素の値の大きさは、非対角要素の値の大きさの２倍以上に設定してもよい。言い換えると、第２変換部２２０は、行列表現した場合において、全ての対角要素の値が、非対角要素の値の２倍以上の値である変換係数を、第２変換係数として用いて第２変換を行ってもよい。同様に、第２逆変換部４１０は、行列表現した場合において、全ての対角要素の値が、非対角要素の値の２倍以上の値である逆変換係数を、第２逆変換係数として用いて第２逆変換を行ってもよい。

続いて、非対角要素の係数に関して、変換係数がａ（ｉ，ｊ）で示される場合、ａ（ｊ，ｉ）で示される折り返し要素は、ほぼ絶対値を同等に設定してもよい。図５６Ｂは、非対角要素の変換係数が、折り返し要素とほぼ同等の絶対値を持たせた例である。ａ_１２＝４８とａ_２１＝−５８のペア、ａ_１３＝６４とａ_３１＝−５７のペアなどが典型例である。なお、ほぼ同等とは絶対値で２割以内の誤差の意味である。

図５６Ｃは、所定の要素と折り返し要素との絶対値の平均値を示す図である。図５６Ｂ及び図５６Ｃに示すように、各要素と、対応する平均値とが略同じになるように、変換係数を決定する。

なお、図５６Ｄは、図５６Ｂに示す非対角要素と図５６Ｃに示す絶対平均値との差分を示す図である。本実施の形態では、図５６Ｄに示す差分が小さくなるように、第２変換係数値を決定することができる。

また、第２変換係数には、特徴的な関係として、対象要素の符号（ａ（ｉ，ｊ））と折り返し要素ａ（ｊ，ｉ）との符号とは互いに異なっていることが多いという関係がある。例えば、図５６Ｂに示すように、ａ_１２＝４８とａ_２１＝−５８のペア、ａ_１３＝６４とａ_３１＝−５７のペアなどが典型例である。

また、図５６Ｅに示すような関係を満たすように、変換係数を決定することもできる。なお、図５６Ｅは、上三角要素と下三角要素との間の符号の関係を示す図である。具体的には、上三角要素の符号は正であることが多く、下三角要素の符号は負であることが多いという関係である。

なお、変換係数にゼロを設定することで、乗算処理回数の削減と、変換係数を保持するメモリ量の削減とを実現できるが、本実施の形態で述べた特徴を持つ変換係数を基準として、絶対値が小さい変換係数をゼロに設定してもよい。言い換えると、第２変換部２２０は、行列表現した場合における少なくとも１つの非対角要素の値が０である変換係数を、第２変換係数として用いて第２変換を行ってもよい。同様に、第２逆変換部４１０は、行列表現した場合における少なくとも１つの非対角要素の値が０である逆変換係数を、第２逆変換係数として用いて第２逆変換を行ってもよい。

例えば、図５６Ｂでは、ａ_１４＝１０、ａ_２４＝１０、ａ_３４＝２、ａ_４１＝−３、ａ_４２＝−２５、ａ_４３＝−２８をゼロに設定してもよい。非対角要素の少なくとも１つが０に設定された第２変換係数の例を、図５６Ｆに示す。

以上のように、本発明の実施の形態３に係る符号化装置、符号化方法、復号装置及び復号方法によれば、特徴的な性質を有するように変換係数を決定するので、当該特徴的な性質を利用して変換係数を符号化又は復号することができ、符号化効率を高めることができる。

（実施の形態１４）
本発明の実施の形態１４に係る符号化装置及び符号化方法は、音声データ、静止画像データ、動画像データなど符号化対象となる信号を、複数種類の変換の組み合わせによって変換を行う変換部及び変換方法を備える。本発明の実施の形態１４に係る符号化装置及び符号化方法は、第２変換処理と量子化処理とを並列して行うことを特徴とする。上述した実施の形態と同様の構成については同様の符号を付し、説明を省略する場合がある。

本発明の実施の形態１４では、変換部１１０と量子化部１２０とは、一部の処理を並行して行うことで、処理時間を短縮する。図５７Ａは、本発明の実施の形態１４に係る変換及び量子化のタイミングチャートの一例を示す図である。

図５７Ａに示す例では、変換入力信号の次元数ｎは８、第２変換への入力（第１部分信号）の次元数ｍは３である。第１変換処理Ｔ_１の後、第２変換処理１４０１（Ｔ_２（１）〜Ｔ_２（３））を行う。この例では、第１部分信号に含まれる要素数は、３要素であるので、３単位時間かかるとする。なお、１単位時間は、例えば、１つの要素の第２変換処理に係る時間である。

そして、図５７Ａに示すように、１単位時間遅れて並行して、第２変換出力信号に対して、量子化処理１４０２（Ｑ_２（１）〜Ｑ_２（３））を行う。この後、第２部分信号に対して量子化処理１４０３（Ｑ_１（１）〜Ｑ_１（５））を行う。

以上のように、本発明の実施の形態１４に係る符号化装置及び符号化方法では、第１部分信号のｋ＋１（ｋは自然数）番目の要素の第２変換と、第２変換出力信号のｋ番目の要素の量子化とを、並列して行う。例えば、図５７Ａに示すように、第１部分信号の２番目の要素の第２変換（Ｔ_２（２））と、第２変換出力信号の１番目の量子化（Ｑ_２（１））とが、同じ時間に並列して行われる。これにより、変換部における処理時間を短縮することができる。

なお、図５７Ａに示す例では、第２変換処理１４０１とこれに対する量子化処理１４０２を１単位時間の遅れのみで並列化できており、第２変換の導入による遅延は小さい。第２変換の１要素に対する処理は、ｍ回の積和演算が必要であり、演算量が多い。したがって、この第２変換処理の処理時間を延ばし、演算回路の並列度を落とすことで、回路規模を抑えることができる。

具体的には、図５７Ｂに示すように、第２変換処理１４０１とこれに対する量子化処理１４０２とを１単位時間の遅れで並列化する。ただし、第２変換処理１４０１の処理時間が延びているので、これに対する量子化処理１４０２には空き時間が発生している。この空き時間を利用して、第２部分信号に対する量子化処理１４０３を並行して行う。

例えば、図５７Ｂに示すように、第１部分信号の１番目の要素に対する第２変換処理（Ｔ_２（１））中に、第２部分信号の１番目の要素と２番目の要素とに対する量子化処理（（Ｑ_２（１）、Ｑ_２（２））とを行う。これにより、回路規模を抑えつつ、処理時間の短縮を実現することができる。

以上のように、本発明の実施の形態１４に係る符号化装置及び符号化方法により、変換処理の演算量と変換係数のデータ量とを抑えつつ、入力信号の統計的性質の変化に適応できる。特に、処理時間の増加量を軽減できる。

（実施の形態１５）
本発明の実施の形態１５に係る復号装置及び復号方法は、音声データ、静止画像データ、動画像データなどの信号が符号化された符号化信号（実施の形態１４において生成された符号化信号）を、複数種類の変換の組み合わせによって逆変換を行う逆変換部及び逆変換方法を備える。本発明の実施の形態１５に係る復号装置及び復号方法は、第２逆変換処理と逆量子化処理とを並列して行うことを特徴とする。上述した実施の形態と同様の構成については同様の符号を付し、説明を省略する場合がある。

本発明の実施の形態１５では、逆量子化部３２０と逆変換部３３０とは、一部の処理を並行して行うことで、処理時間を短縮する。図５８Ａは、本発明の実施の形態１４に係る変換及び量子化のタイミングチャートの一例を示す図である。

図５８Ａに示す例では、復号量子化係数の次元数ｎは８、第２逆変換への入力（第２復号変換出力信号）の次元数ｍは３である。第２復号量子化係数の逆量子化処理１５０１（Ｑ_２（１）〜Ｑ_２（３））の後、第２変換出力信号の第２逆変換処理１５０２（Ｔ_２（１）〜Ｔ_２（３））、及び、第２復号部分信号の逆量子化処理１５０３（Ｑ_１（１）〜Ｑ_１（５））を行う。

以上のように、本発明の実施の形態１５に係る復号装置及び復号方法では、第２復号変換出力信号のｋ（ｋは自然数）番目の要素の第２逆変換と、第２復号量子化係数のｋ番目の要素の逆量子化とを、並列して行う。例えば、図５８Ａに示すように、第２復号変換出力信号の１番目の要素の第２逆変換（Ｔ_２（１））と、第２復号量子化係数の１番目の逆量子化（Ｑ_１（１））とが、同じ時間に並列して行われる。このように、第２逆変換処理１５０２と逆量子化処理１５０３とを並行して実行するので、逆量子化及び逆変換の全体の処理時間を短く抑えることができる。

なお、並列の構成は、上記の例には限られない。例えば、第２復号変換出力信号のｋ（ｋは自然数）番目の要素の第２逆変換と、第１復号量子化係数のｋ＋１番目の要素の逆量子化とを、並列して行うこともできる。

また、逆変換処理の並列度を下げ、所要時間を延ばすことも可能である。図５８Ｂに示すように、第２逆変換処理１５０２と逆量子化処理１５０３とを並行して実行する。具体的には、第２逆変換処理１５０２の空き時間に、第２復号量子化係数に対する逆量子化処理１５０３を並行して行う。

例えば、図５８Ｂに示すように、第２復号変換出力信号の１番目の要素に対する第２変換処理（Ｔ_２（１））中に、第２復号量子化係数の１番目の要素と２番目の要素とに対する量子化処理（（Ｑ_２（１）、Ｑ_２（２））とを行う。これにより、回路規模を抑えつつ、処理時間の短縮を実現することができる。

以上のように、本発明の実施の形態１５に係る復号装置及び復号方法により、変換処理の演算量と逆変換係数のデータ量とを抑えつつ、入力信号の統計的性質の変化に適応できる。特に、処理時間の増加量を軽減できる。

（実施の形態１６）
上記各実施の形態で示した動画像符号化方法又は動画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法や動画像復号方法の応用例とそれを用いたシステムを説明する。

図５９は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２及び電話網ｅｘ１０４、及び基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図５９のような構成に限定されず、いずれかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、もしくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、又はＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像及び／又は動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

このコンテンツ供給システムを構成する各機器の符号化、復号には上記各実施の形態で示した画像符号化方法あるいは画像復号方法を用いるようにすればよい。

その一例として携帯電話ｅｘ１１４について説明する。

図６０は、上記実施の形態で説明した画像符号化方法と画像復号方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１４について図６１を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２及び操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６及び音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。

電源回路部ｅｘ７１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理及びアナログデジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ６０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データをカメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３及びＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。

画像符号化部ｅｘ７１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を音声処理部ｅｘ７０５を介してデジタルの音声データとして多重分離部ｅｘ７０８に送出する。

多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。

また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。

次に、画像復号部ｅｘ７０９は、本願発明で説明した画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図６２に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データ又はそれらのデータが多重化されたビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ２０４で受信し、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置によりビットストリームを復号してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ２１５、２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２からまたは基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データ又はそれらのデータが多重化された符号化ビットストリームを読み取り復号する、又は記録メディアｅｘ２１５に音声データ、映像データ又はそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号装置又は動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３又は衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号装置を組み込んでもよい。

図６３は、上記各実施の形態で説明した動画像復号方法及び動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４又はケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、又は出力するチューナｅｘ３０１と、受信した符号化データを復調する、又は外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、又は符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、又はそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７、復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインターフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インターフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信又は記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、及び外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、又は書き込む場合には、上記復号処理又は符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込み又は書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図６４に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報及び記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図６５に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、あらかじめグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周又は外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データ又はそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図６３に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明は係る上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。

（実施の形態１７）
上記各実施の形態で示した動画像符号化方法及び装置、動画像復号方法及び装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図６６に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化及び／又は映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、又は記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して、又は記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号及び／又は映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５、テレビｅｘ３００等の各出力部から出力される。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

以上、本発明に係る符号化方法、符号化装置、復号方法及び復号装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、符号化処理における演算量の増加、及び、変換係数のデータ量の増加を抑制することができるという効果を奏し、オーディオ、静止画像、及び動画像を符号化する符号化装置、及び、当該符号化装置によって符号化されたデータを復号する復号装置に利用することができる。例えば、本発明は、オーディオ機器、携帯電話、デジタルカメラ、ＢＤレコーダ、デジタルテレビなどの各種ＡＶ機器に利用することができる。

１００、１００ａ、５００、５００ａ、５００ｃ、５００ｄ、１２００、１６００ 符号化装置
１１０、１１０ａ、５１０、５１０ａ、５１０ｂ、５１０ｃ、５１０ｄ、８１０、８１０ａ、８１０ｂ、１２１０、１６１０ 変換部
１２０、１２２０、１６２０ 量子化部
１３０、１２３０、１６３０ エントロピー符号化部
２００、９００ 第１変換部
２０２ 第１変換係数導出部
２１０、４００ 分割部
２２０、２２０ａ 第２変換部
２２２、２２２ｃ 第２変換係数導出部
２３０、４２０ 統合部
３００、３００ａ、７００、７００ａ、７００ｂ、１３００ 復号装置
３１０、１３１０ エントロピー復号部
３２０、５４０、１２４０、１３２０ 逆量子化部
３３０、３３０ａ、５５０、７３０、１０３０、１０３０ａ、１０３０ｂ、１２５０、１３３０ 逆変換部
４１０、４１０ａ 第２逆変換部
４３０、１１３０ 第１逆変換部
５０５ 減算器
５６０、７５０ 加算器
５７０、６２４、７６０、７８１、７８２ メモリ
５８０、７７０ 予測部
５８５ 予測制御部
５９０、７４０ 制御部
６０１ 第１メモリ
６１１ 第２メモリ
６１２ 分割統合情報算出部
６２１ 第３メモリ
６２３、６２３ｃ、６２３ｄ 局所集合判定部
７９０ 選択信号決定部
９４０、９４１、９４２、１１４０、１１４１、１１４２ ノルム補正部
１４０１ 第２変換処理
１４０２、１４０３ 量子化処理
１５０１、１５０３ 逆量子化処理
１５０２ 第２逆変換処理
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ
ｅｘ１１３、ｅｘ１１６ カメラ
ｅｘ１１４ カメラ付デジタル携帯電話（携帯電話）
ｅｘ１１５ ゲーム機
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星（衛星）
ｅｘ２０３ ケーブル
ｅｘ２０４、ｅｘ２０５、ｅｘ６０１ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション（カーナビ）
ｅｘ２１２ 再生装置
ｅｘ２１３、ｅｘ２１９ モニタ
ｅｘ２１４、ｅｘ２１５、ｅｘ２１６、ｅｘ６０７ 記録メディア
ｅｘ２１７ セットトップボックス（ＳＴＢ）
ｅｘ２１８ リーダ／レコーダ
ｅｘ２２０ リモートコントローラ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６、ｅｘ５０７ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８、ｅｘ６０２ 表示部
ｅｘ３０９ 出力部
ｅｘ３１０、ｅｘ５０１ 制御部
ｅｘ３１１、ｅｘ５０５、ｅｘ７１０ 電源回路部
ｅｘ３１２ 操作入力部
ｅｘ３１３ ブリッジ
ｅｘ３１４、ｅｘ６０６ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インタフェース部
ｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１、ｅｘ４０４、ｅｘ５０８ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０２ ＣＰＵ
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームコントローラ
ｅｘ５０６ ストリームＩ／Ｏ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス
ｅｘ５１１ メモリ
ｅｘ６０３ カメラ部
ｅｘ６０４ 操作キー
ｅｘ６０５ 音声入力部
ｅｘ６０８ 音声出力部
ｅｘ７０１ 送受信回路部
ｅｘ７０２ ＬＣＤ制御部
ｅｘ７０３ カメラインターフェース部（カメラＩ／Ｆ部）
ｅｘ７０４ 操作入力制御部
ｅｘ７０５ 音声処理部
ｅｘ７０６ 変復調回路部
ｅｘ７０７ 記録再生部
ｅｘ７０８ 多重分離部
ｅｘ７０９ 画像復号部
ｅｘ７１１ 主制御部
ｅｘ７１２ 画像符号化部
ｅｘ７１３ 同期バス

Claims (20)

1. 入力信号を変換することで、変換出力信号を生成する変換ステップと、
   前記変換出力信号を量子化することで、量子化係数を生成する量子化ステップと、
   前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化ステップとを含み、
   前記変換ステップは、
   第１変換係数を用いて前記入力信号に第１変換を行うことで、第１変換出力信号を生成する第１変換ステップと、
   前記第１変換出力信号の一部である第１部分信号に、第２変換係数を用いて第２変換を行うことで、第２変換出力信号を生成し、生成した第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを含む前記変換出力信号を生成する第２変換ステップと、
   前記第１変換出力信号に対して補正を行う補正ステップとを含む
   符号化方法。
2. 前記第１変換ステップでは、予め定められた係数を、前記第１変換係数として用いて前記第１変換を行う
   請求項１記載の符号化方法。
3. 前記補正ステップでは、前記第１変換係数に基づいて決定される補正パラメータを用いて前記第１変換出力信号を正規化することで、前記第１変換出力信号を補正する
   請求項１又は２記載の符号化方法。
4. 前記補正ステップでは、前記量子化ステップにおいて用いられる量子化マトリクスのウェイトスケールを用いて前記第１変換出力信号を重み付けすることで、前記第１変換出力信号を補正する
   請求項１又は２記載の符号化方法。
5. 前記補正ステップでは、前記第１部分信号と前記第２部分信号とを、それぞれ別々に補正する
   請求項１〜４のいずれか１項に記載の符号化方法。
6. 前記補正ステップでは、前記第２変換における有効データ長が所定の値以下に収まるように、前記第１部分信号を構成する係数値をシフトダウンすることで、前記第１変換出力信号を補正する
   請求項１〜３のいずれか１項に記載の符号化方法。
7. 前記補正ステップでは、さらに、前記第１部分信号又は前記第２変換出力信号を構成する係数値のビット長が、前記第２部分信号を構成する係数値のビット長と同じになるように、前記第１部分信号又は前記第２変換出力信号を構成する係数値をシフトダウンする
   請求項１〜６のいずれか１項に記載の符号化方法。
8. 符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号ステップと、
   前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化ステップと、
   前記復号変換出力信号を逆変換することで、復号信号を生成する逆変換ステップとを含み、
   前記逆変換ステップは、
   第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号に第２逆変換を行うことで、第１復号部分信号を生成する第２逆変換ステップと、
   前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分である第２復号部分信号とを含む第１復号変換出力信号に、第１逆変換係数を用いて第１逆変換を行うことで、前記復号信号を生成する第１逆変換ステップと、
   前記第１復号部分信号に対して補正を行う補正ステップとを含む
   復号方法。
9. 前記第１逆変換ステップでは、予め定められた係数を、前記第１逆変換係数として用いて前記第１逆変換を行う
   請求項８記載の復号方法。
10. 前記補正ステップでは、前記第１逆変換係数に基づいて決定される補正パラメータを用いて前記第１復号変換出力信号を正規化することで、前記第１復号変換出力信号を補正する
    請求項８又は９記載の復号方法。
11. 前記補正ステップでは、さらに、前記逆量子化ステップにおいて用いられる量子化マトリクスのウェイトスケールを用いて前記第１復号部分信号を重み付けすることで、前記第１復号変換出力信号を補正する
    請求項８又は９記載の復号方法。
12. 前記補正ステップでは、前記第１復号部分信号と前記第２復号部分信号とをそれぞれ別々に補正する
    請求項８〜１１のいずれか１項に記載の復号方法。
13. 前記補正ステップでは、前記第２逆変換における有効データ長が所定の値以下に収まるように、前記第２復号変換出力信号を構成する係数値をシフトダウンすることで、前記第１復号変換出力信号を補正する
    請求項８〜１０のいずれか１項に記載の復号方法。
14. 前記補正ステップでは、さらに、前記第１復号部分信号又は前記第２復号変換出力信号を構成する係数値のビット長が、前記第２復号部分信号を構成する係数値のビット長と同じになるように、前記第１復号部分信号又は前記第２復号変換出力信号を構成する係数値をシフトダウンする
    請求項８〜１３のいずれか１項に記載の復号方法。
15. 入力信号を変換することで、変換出力信号を生成する変換部と、
    前記変換出力信号を量子化することで、量子化係数を生成する量子化部と、
    前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化部とを備え、
    前記変換部は、
    第１変換係数を用いて前記入力信号に第１変換を行うことで、第１変換出力信号を生成する第１変換部と、
    前記第１変換出力信号の一部である第１部分信号に、第２変換係数を用いて第２変換を行うことで、第２変換出力信号を生成し、生成した第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを含む前記変換出力信号を生成する第２変換部と、
    前記第１変換出力信号に対して補正を行う補正部とを備える
    符号化装置。
16. 符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号部と、
    前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化部と、
    前記復号変換出力信号を逆変換することで、復号信号を生成する逆変換部とを備え、
    前記逆変換部は、
    第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号に第２逆変換を行うことで、第１復号部分信号を生成する第２逆変換部と、
    前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分である第２復号部分信号とを含む第１復号変換出力信号に、第１逆変換係数を用いて第１逆変換を行うことで、前記復号信号を生成する第１逆変換部と、
    前記第１復号部分信号に対して補正を行う補正部とを備える
    復号装置。
17. 入力信号を変換することで、変換出力信号を生成する変換部と、
    前記変換出力信号を量子化することで、量子化係数を生成する量子化部と、
    前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化部とを備え、
    前記変換部は、
    第１変換係数を用いて前記入力信号に第１変換を行うことで、第１変換出力信号を生成する第１変換部と、
    前記第１変換出力信号の一部である第１部分信号に、第２変換係数を用いて第２変換を行うことで、第２変換出力信号を生成し、生成した第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを含む前記変換出力信号を生成する第２変換部と、
    前記第１変換出力信号に対して補正を行う補正部とを備える
    集積回路。
18. 符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号部と、
    前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化部と、
    前記復号変換出力信号を逆変換することで、復号信号を生成する逆変換部とを備え、
    前記逆変換部は、
    第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号に第２逆変換を行うことで、第１復号部分信号を生成する第２逆変換部と、
    前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分である第２復号部分信号とを含む第１復号変換出力信号に、第１逆変換係数を用いて第１逆変換を行うことで、前記復号信号を生成する第１逆変換部と、
    前記第１復号部分信号に対して補正を行う補正部とを備える
    集積回路。
19. 入力信号を変換することで、変換出力信号を生成する変換ステップと、
    前記変換出力信号を量子化することで、量子化係数を生成する量子化ステップと、
    前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化ステップとを含み、
    前記変換ステップは、
    第１変換係数を用いて前記入力信号に第１変換を行うことで、第１変換出力信号を生成する第１変換ステップと、
    前記第１変換出力信号の一部である第１部分信号に、第２変換係数を用いて第２変換を行うことで、第２変換出力信号を生成し、生成した第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを含む前記変換出力信号を生成する第２変換ステップと、
    前記第１変換出力信号に対して補正を行う補正ステップとを含む
    符号化方法をコンピュータに実行させるためのプログラム。
20. 符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号ステップと、
    前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化ステップと、
    前記復号変換出力信号を逆変換することで、復号信号を生成する逆変換ステップとを含み、
    前記逆変換ステップは、
    第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号に第２逆変換を行うことで、第１復号部分信号を生成する第２逆変換ステップと、
    前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分である第２復号部分信号とを含む第１復号変換出力信号に、第１逆変換係数を用いて第１逆変換を行うことで、前記復号信号を生成する第１逆変換ステップと、
    前記第１復号部分信号に対して補正を行う補正ステップとを含む
    復号方法をコンピュータに実行させるためのプログラム。
    

Images