JP5739714B2

JP5739714B2 - 符号化装置、復号装置及びプログラム

Info

Publication number: JP5739714B2
Application number: JP2011082856A
Authority: JP
Inventors: 市ヶ谷　敦郎; 敦郎市ヶ谷; 境田　慎一; 慎一境田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2011-04-04
Filing date: 2011-04-04
Publication date: 2015-06-24
Anticipated expiration: 2031-04-04
Also published as: JP2012222401A

Description

本発明は、異なる種類の直交変換を複数併用する符号化装置、復号装置及びプログラムに関する。

従来、信号を符号化する符号化装置においては、符号化対象の信号の性質に合わせて、最適な直交変換タイプを１つ選択し、そのタイプの直交変換を用いることで符号化を行う。例えば、画像を符号化する場合、広くＤＣＴ（離散コサイン変換）が用いられる。これは、画像信号の基本的な性質として、隣接する信号間の相関が非常に高いことが知られており、ＤＣＴを用いることにより、信号間の相関が高い信号源に対し、直交変換係数列の電力集中度が高くなるからである。また、音声を符号化する場合、ＭＤＣＴ（変形離散コサイン変換）が用いられ、信号解析を行うスペクトルアナライザでは、信号の位相及び振幅情報を把握するのが容易なフーリエ変換が用いられる。

しかし、演算能力の増大に伴って様々な信号予測技術が実用化され、符号化対象の信号が従来の信号そのものではなく、予測技術によって予測された信号との間の差分信号へと変化してきた。例えば、最新の映像符号化方式であるＨ．２６４等では、面内予測技術、動き補償予測技術等の高度な信号予測技術を採用し、実際に符号化する信号は画像信号そのものではなく、高度に予測された信号と画像信号との間の差分信号になっている。このことから、信号処理の入力信号は、画像信号に比べ相関が低い信号となり、ＤＣＴ以外の直交変換を採用することによって、符号化効率を改善する場合が増えている。このように、符号化対象となる信号の変化によって、従来の直交変換では最適な符号化効率が得られない場合が生じてきた。そこで、従来の直交変換に加え、複数の直交変換を選択的に切り替え、最適な直交変換を用いて符号化を行う符号化装置が提案されている（例えば、非特許文献１を参照）。

このような、複数の直交変換を選択的に切り替え、最適な直交変換を用いて符号化を行う手法では、複数の異なる種類の直交変換を用意すればするほど、より最適な直交変換を用いて符号化を行うことができるから、符号化効率が高まることが予想される。

Y.Ye and M.Karczewicz, "Improved H.264 intra coding based on bi-directional intra prediction, directional transform, and adaptive coefficient scanning", IEEE Int’l Conf. Image Process. ’08 (ICIP08), San Diego, U.S.A., Oct. 2008.

しかし、非特許文献１に記載された、複数の直交変換を選択的に切り替え、最適な直交変換を用いて符号化を行う符号化装置では、直交変換の種類が増えれば増えるほど、使用する直交変換の種別を識別するための識別子を付加情報として持つ必要があり、これが符号化効率を下げる要因となってしまう。そのため、多くの種類の直交変換を備えることによる符号化効率の改善効果と、それらを識別するために付加される識別子による符号化効率の低減効果とを評価し、少ない種類の直交変換を備えることで、効果を最大限に発揮するようにバランスよく設計することが重要となる。また、限られた直交変換を用いる際には、個々の直交変換の特徴が異なっていること、及び、個々の直交変換の相関が過度に高くならないようにする、すなわち異なる直交変換同士の直交変換基底の相関が相互に低くなることも重要である。

このような重要性を考慮すると、理想的には、識別子を用いることなく直交変換タイプを識別することができれば最も効率的であるが、現在のところそのような技術は存在しない。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、異なる種類の直交変換を複数併用する際に、直交変換タイプの識別子を用いることなく、直交変換係数列から直交変換タイプを予測し、符号化効率を向上させることが可能な符号化装置、復号装置及びプログラムを提供することにある。

前記目的を達成するために、本発明による請求項１の符号化装置は、入力した信号に対して複数の異なる直交変換を併用し、前記複数の直交変換のうちの１つの直交変換により生成した直交変換係数列を、符号化信号として出力する符号化装置において、前記直交変換係数列に対し、前記複数の異なる直交変換に対応した逆直交変換をそれぞれ行って復号信号を生成し、それぞれの前記復号信号と、それぞれの前記復号信号に隣接する復号済みの信号との間のそれぞれの隣接差分量を求め、それら前記隣接差分量に基づいて、直交変換タイプを予測し、予測した結果を前記符号化信号の一部とするとともに、該予測結果または前記直交変換係数列の生成に使われた１つの直交変換の識別情報に基づいて、前記複数の復号信号のうちの１つの復号信号を選択する直交変換タイプ予測部を備えたことを特徴とする。

また、本発明による請求項２の符号化装置は、請求項１に記載の符号化装置において、前記直交変換タイプ予測部が、前記直交変換係数列に対し、個々の直交変換によって逆変換して予測差分信号を生成する逆変換処理部と、前記逆変換処理部により生成された予測差分信号と予測信号を加算し、復号信号をそれぞれ生成する加算部と、前記加算部により生成されたそれぞれの復号信号と、当該直交変換タイプ予測部により選択された復号信号のうちの、前記生成された復号信号に隣接する信号との間の差分を、隣接差分量としてそれぞれ算出する比較部と、前記比較部により算出された隣接差分量のうちの最小の隣接差分量に対応する逆直交変換を特定し、前記特定した逆直交変換の直交変換タイプを予測し、前記直交変換タイプの復号信号を選択する選択部と、を備えたことを特徴とする。

また、本発明による請求項３の符号化装置は、請求項１または２に記載の符号化装置において、前記直交変換タイプ予測部が、さらに、前記予測した直交変換タイプを第１の直交変換タイプとし、前記複数の直交変換のうち実際に選択された直交変換タイプを第２の直交変換タイプとし、両直交変換タイプが同じである場合、一致を示す判定フラグを生成し、両直交変換タイプが異なる場合、不一致を示す判定フラグを生成し、前記直交変換係数列と共に、前記一致を示す判定フラグ、または、前記第２の直交変換タイプを付加した、前記不一致を示す判定フラグを符号化信号として生成する、ことを特徴とする。

さらに、本発明による請求項４の復号装置は、入力した符号化信号を逆直交変換し、復号信号を生成する復号装置において、前記符号化信号から得られた直交変換係数列に対し、複数の異なる逆直交変換をそれぞれ行って復号信号を生成し、それぞれの前記復号信号と、それぞれの前記復号信号に隣接する復号済みの信号との間のそれぞれの隣接差分量を求め、それら前記隣接差分量に基づいて、直交変換タイプを予測し、前記複数の復号信号のうちの１つの復号信号を選択する直交変換タイプ予測部を備えたことを特徴とする。

また、本発明による請求項５の復号装置は、請求項４に記載の復号装置において、前記直交変換タイプ予測部が、前記直交変換係数列に対し、個々の直交変換によって逆変換して予測差分信号を生成する逆変換処理部と、前記逆変換処理部により生成された予測差分信号と予測信号を加算し、復号信号をそれぞれ生成する加算部と、前記加算部により生成されたそれぞれの復号信号と、当該直交変換タイプ予測部により選択された復号信号のうちの、前記生成された復号信号に隣接する信号との間の差分を、隣接差分量としてそれぞれ算出する比較部と、前記比較部により算出された隣接差分量のうちの最小の隣接差分量に対応する逆直交変換を特定し、前記特定した逆直交変換の直交変換タイプを予測し、前記直交変換タイプの復号信号を選択する選択部と、を備えたことを特徴とする。

また、本発明による請求項６の復号装置は、請求項３の符号化装置により生成された符号化信号を入力する請求項４または５に記載の復号装置において、前記直交変換タイプ予測部が、前記符号化信号から得られた判定フラグが一致を示している場合、前記予測した直交変換タイプの復号信号を選択し、前記判定フラグが不一致を示している場合、前記判定フラグに付加された前記第２の直交変換タイプの復号信号を選択する、ことを特徴とする。

さらに、本発明による請求項７のプログラムは、コンピュータを、請求項１から３までのいずれか一項に記載の符号化装置として機能させることを特徴とする。

また、本発明による請求項８のプログラムは、コンピュータを、請求項４から６までのいずれか一項に記載の復号装置として機能させることを特徴とする。

以上のように、本発明によれば、直交変換タイプの識別子を用いることなく、直交変換係数列から直交変換タイプを予測し、必ずしも識別子を符号化する必要がないから、符号化効率を向上させることができる。

本発明の実施形態による符号化装置及び復号装置に用いる直交変換タイプ予測器（直交変換タイプ予測部）の基本的な構成を示すブロック図である。画像信号のような２次元信号における復号信号及び隣接復号信号の例を示す図である。図１の比較部及び選択部による処理を示すフローチャートである。本発明の実施形態による符号化装置の構成を示すブロック図である。図４の符号化装置に用いる直交変換タイプ予測部の構成を示すブロック図である。図５の選択部による処理を示すフローチャートである。本発明の実施形態による復号装置の構成を示すブロック図である。図７の復号装置に用いる直交変換タイプ予測部の構成を示すブロック図である。図８の選択部による処理を示すフローチャートである。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔発明の概要〕
まず、本発明の概要について説明する。本発明では、入力信号の基本的性質を利用し、直交変換した直交変換係数列と、その直交変換係数列を復号した信号とに基づいて、個々の直交変換の相関が低いことを前提に、復号信号の信号間相関の性質を利用することで、直交変換係数列から直交変換タイプを予測する。

一般的に、複数の直交変換を併用する符号化装置及び復号装置では、いずれの直交変換によっても符号化及び復号できるように、全ての直交変換の変換処理部及び逆変換処理部を備えている。識別子を付加して直交変換係数列を生成する場合は、識別子の示す直交変換／逆変換処理を選択し、処理を行う。その際、他の直交変換／逆変換処理は、通常使用されない。

本発明の実施形態では、入力した直交変換係数列を全ての逆変換処理部で処理し、それぞれの逆変換処理の結果を用いて複数の復号信号を生成する。それぞれの逆変換処理の結果得られた復号信号と、当該符号化領域の周囲に存在する（隣接する）既復号領域との接続部における信号との間の特徴（相関）が、入力信号として想定した特徴を最も示している場合、その復号信号における直交変換タイプを、正しい直交変換タイプであると予測するものである。符号化装置では、直交変換処理を行う際、入力信号を最も効率的に符号化できる直交変換タイプを選択するのが通常であるから、正しい直交変換タイプの逆変換処理を選択した場合、最も信号の特徴を忠実に再現すると考えられるからである。例えば、画像信号の場合、隣接画素の相関が高いという特徴を持つため、隣接差分信号の平均または平均二乗誤差が最小となる結果を正しい出力結果として採用することができる。

また、この結果を直交変換タイプの予測値として利用することもできる。長いサンプル数の信号を直交変換する場合、信号境界点における信号特徴の再現が悪い場合もあり得る。このような場合、前述した処理に従って直交変換タイプを選択した予測結果に対して、その予測結果が正しいか、または正しくないかを１ビットのフラグで表現する。例えば、正しい場合のフラグを１、正しくない場合のフラグを０とすると、フラグが１である場合、直交変換タイプは１ビットで表現することができ、正しくない場合は、フラグ０に引き続き、正当な直交変換タイプを識別する直交変換の識別子を付加すればよい。

例えば、４つの直交変換タイプを併用する場合、２ビットの識別子を必要とするが、予測が正しくない場合、１ビット（フラグ０）＋２ビット（正しい識別子）＝３ビットで表現する。この場合、２ビットの固定長で符号化する場合に比べ、フラグ及び識別子を合わせて固定長よりも長い符号を生成することになるが、正しい場合のフラグが１ビットで表現でき、１または０の発生確率に偏りを作ることができる。したがって、算術符号化によって符号化する際に、符号化効率を大幅に改善することができる。

〔直交変換タイプ予測器〕
次に、本発明の実施形態による符号化装置及び復号装置に用いる直交変換タイプ予測器の基本的な構成及び処理について説明する。図１は、直交変換タイプ予測器の基本的な構成を示すブロック図である。この直交変換タイプ予測器１は、４個の逆変換処理部（ＩＴｒ１〜４）２、４個の加算部３、４個の比較部（Ｄｉｆｆ）４、及び選択部（Ｓｅｌｅｃｔｏｒ）５を備えている。直交変換タイプ予測器１は、所定の直交変換により生成された直交変換係数列、当該直交変換タイプ予測器１にて処理した復号信号に隣接する信号（隣接復号信号）、及び、復号信号から得られた予測信号を入力し、４種類の逆直交変換及び予測信号から生成されたそれぞれの復号信号及び隣接復号信号に基づいて、入力した直交変換係数列がいかなる直交変換の種類で生成されたかを示す直交変換タイプを予測し、予測した直交変換タイプの復号信号を出力する。予測信号は、例えばＨ．２６４等の映像符号化方式で採用されている画面内予測または動き補償予測により得られた信号であり、その予測方法は高度な方法でもよく、特定の方法に依存するものではない。

各逆変換処理部２は、直交変換係数列を入力し、個々の直交変換によって逆変換し、予測差分信号である逆直交変換結果を生成する。各加算部３は、対応する逆変換処理部２から逆直交変換結果を入力すると共に、予測信号を入力し、逆直交変換結果に予測信号を加算し、復号信号を生成する。各比較部４は、対応する加算部３から復号信号を入力すると共に、既に復号されている信号であって、入力した復号信号に隣接する信号（隣接復号信号）を入力し、復号信号と隣接復号信号とを比較して差分を算出し、隣接差分信号を生成する。

選択部５は、加算部３からそれぞれの復号信号を入力すると共に、比較部４からそれぞれの隣接差分信号を入力し、復号信号及び隣接差分信号に基づいて、４個の復号信号の中から、最も想定する復号信号の隣接画素間相関に近い出力結果（復号信号）を求め、その出力結果の復号信号を選択し、出力する。選択部５により選択され出力された復号信号は、予測信号を得るために用いられ、また、隣接復号信号としても用いられる。

ここで、図１に示した直交変換タイプ予測器１を画像符号化装置に用いる場合、画像の隣接画素間の信号は相関が高いため、直交変換タイプ予測器１の選択部５では、隣接画素の差分が最小となる復号信号（逆直交変換により得られた復号信号）が選択され、出力される。

図２は、画像信号のような２次元信号における復号信号及び隣接復号信号の例を示す図である。図２には、Ｈ．２６４のように、画面の左上からブロックに分割し順次符号化を行う方式の場合の例が示されている。黒丸の信号が復号信号であり、白丸の信号が隣接復号信号である。符号化対象ブロック（黒丸で示した領域）の左側及び上側のブロックは、既に局所復号が終了した隣接復号信号の領域であり（白丸で示した領域）、その値は既知である。尚、画面の右または下の両方またはいずれかから先に復号する方式の場合には、右または下に隣接する既知の信号（隣接復号信号）を利用する。

図３は、図１に示した比較部４及び選択部５の処理を示すフローチャートである。まず、比較部４は、加算部３から復号信号を入力すると共に、隣接復号信号を入力する（ステップＳ３０１）。そして、比較部４は、復号信号と隣接復号信号との間の垂直方向差分信号Ｑ_ｎを算出する（ステップＳ３０２）。ここで、ｎは、逆変換処理部２及び加算部３の系統番号であるインデックスを示す。また、比較部４は、復号信号と隣接復号信号との間の水平方向差分信号Ｒ_ｎを算出する（ステップＳ３０３）。垂直方向差分信号Ｑ_ｎ及び水平方向差分信号Ｒ_ｎの具体例については、図２を参照されたい。

図３に戻って、比較部４は、垂直方向差分信号Ｑ_ｎ及び水平方向差分信号Ｒ_ｎを用いて、これらの隣接差分信号Ｑ_ｎ，Ｒ_ｎの二乗和（絶対値和）Ｓ_ｎを、以下の式により算出する（ステップＳ３０４）。
Ｓ_ｎ＝ΣＱ_ｎ ^２＋ΣＲ_ｎ ^２
比較部４により算出された隣接差分信号Ｑ_ｎ，Ｒ_ｎの二乗和は、選択部５に出力される。尚、比較部４は、隣接差分信号Ｑ_ｎ，Ｒ_ｎの二乗和ではなく、絶対値和を算出するようにしてもよいし、隣接差分信号Ｑ_ｎ，Ｒ_ｎの和Ｓ_ｎを、以下の式により算出するようにしてもよい。
Ｓ_ｎ＝ΣＱ_ｎ＋ΣＲ_ｎ

選択部５は、比較部４から各系統の隣接差分信号Ｑ_ｎ，Ｒ_ｎの二乗和Ｓ_ｎを入力すると、以下の式に示すように、各系統の二乗和Ｓ_ｎを比較し、系統を示すインデックスｎを特定する（ステップＳ３０５）。
ｎ＝Ｃｏｍｐ（Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４）
尚、Ｃｏｍｐを示す比較関数の処理内容は、信号の特性に応じて予め設定される。例えば画像信号または音声信号の場合、Ｃｏｍｐは、最小の二乗和Ｓ_ｎのインデックスｎを特定する処理を行う。Ｓ_ｎが隣接差分信号Ｑ_ｎ，Ｒ_ｎの和の場合、Ｃｏｍｐは、最小の和Ｓ_ｎのインデックスｎを特定する処理を行う。

選択部５は、以下の式に示すように、インデックスｎの示す復号信号を選択し、選択した復号信号を出力する（ステップＳ３０６）。
ＯｕｔＰｕｔ＝Ｓｅｌ（ＩＴｒ_１，ＩＴｒ_２，ＩＴｒ_３，ＩＴｒ_４，ｎ）
ここで、Ｓｅｌ（＊）は、４系統の復号信号ＩＴｒ_１，ＩＴｒ_２，ＩＴｒ_３，ＩＴｒ_４のうち、ｎ番目の系統の復号信号（逆直交変換による復号結果）を出力する関数とする。

このように、図１に示した直交変換タイプ予測器１によれば、比較部４が、各系統における復号信号と隣接復号信号とを比較して隣接差分量Ｓ_ｎを生成し、選択部５が、各系統の隣接差分量を比較することで、系統を特定するようにした。これにより、直交変換タイプを予測することができる。つまり、対象となる信号の特性に応じて、比較部４及び選択部５における比較及び選択処理を行うことにより、直交変換タイプを正確に予測することができる。

〔符号化装置〕
次に、本発明の実施形態による符号化装置について説明する。図４は、符号化装置の構成を示すブロック図である。この符号化装置１０は、前処理部１１、減算部１２、直交変換部１３、量子化部１４、逆量子化部１５、エントロピー符号化部１６、直交変換タイプ予測部１７、フレームメモリ１８及び信号予測部１９を備えている。

前処理部１１は、符号化対象となる信号を入力し、この入力信号に対し、符号化のために必要な所定の前処理を行う。前処理については既知であるから、ここでは説明を省略する。減算部１２は、前処理部１１から前処理後の信号を入力すると共に、後述する信号予測部１９から予測信号を入力し、前処理後の信号から予測信号を減算する。

直交変換部１３は、複数の（例えば、図１の逆変換処理部２に対応した４種類の）直交変換手段を備えており、それぞれの直交変換手段は、互いに異なる直交変換を行う。直交変換部１３は、減算部１２から減算結果の信号を入力し、それぞれの直交変換手段が入力した信号に対して直交変換を行う。そして、直交変換部１３は、例えばＲＤ最適化法（Rate-Distortion Optimization）によって、入力信号の特性に応じて直交変換後の信号の符号化効率が最も高くなる直交変換手段を選択し、選択した直交変換手段にて直交変換した直交変換係数列を量子化部１４に出力すると共に、この実際に選択した直交変換手段の識別子（直交変換タイプを示す識別子）を直交変換タイプ予測部１７に出力する。

量子化部１４は、直交変換部１３から直交変換係数列を入力し、量子化を行う。逆量子化部１５は、量子化部１４から量子化した直交変換係数列を入力し、逆量子化を行い、逆量子化した直交変換係数列を直交変換タイプ予測部１７に出力する。量子化及び逆量子化の処理については既知であるから、ここでは説明を省略する。

エントロピー符号化部１６は、量子化部１４から量子化した直交変換係数列を入力すると共に、直交変換タイプ予測部１７から判定フラグ（及び識別子）を入力し、直交変換係数列及び判定フラグ（及び識別子）をエントロピー符号化し、符号化信号として出力する。判定フラグ（及び識別子）は、直交変換部１３にて選択された直交変換係数列の直交変換タイプと、後述する直交変換タイプ予測部１７にて予測された直交変換タイプとが一致する場合、一致を示す判定フラグのみを示し、一致しない場合、不一致を示す判定フラグ及び識別子（直交変換部１３にて選択された直交変換係数列の直交変換タイプを示す識別子（正しい識別子））を示す。詳細については後述する。

直交変換タイプ予測部１７は、直交変換部１３から識別子（正しい識別子）を、逆量子化部１５から直交変換係数列を、信号予測部１９から予測信号をそれぞれ入力すると共に、フレームメモリ１８から隣接復号信号を読み出す。そして、直交変換タイプ予測部１７は、図１に示したように、直交変換係数列を逆直交変換し、予測信号に基づいて例えば４種類の復号信号を生成し、生成した４種類の復号信号及び隣接復号信号に基づいて、４種類の直交変換の中から直交変換タイプを予測する。そして、直交変換タイプ予測部１７は、予測した直交変換タイプを示す識別子と、直交変換部１３から入力した識別子とを比較することで、判定フラグを生成し、一致する場合は判定フラグのみを、一致しない場合は判定フラグ及び識別子（正しい識別子）をエントロピー符号化部１６に出力する。また、直交変換タイプ予測部１７は、予測した直交変換タイプの復号信号をフレームメモリ１８に格納する。直交変換タイプ予測部１７の詳細については後述する。

フレームメモリ１８は、直交変換タイプ予測部１７から復号信号を入力し、記憶する。フレームメモリ１８に記憶された復号信号は、直交変換タイプ予測部１７により、直交変換タイプを予測する際に用いる復号信号に隣接する信号（隣接復号信号）として読み出される（図２を参照）。また、後述する信号予測部１９により、予測信号を生成する際の参照信号として読み出される。

信号予測部１９は、フレームメモリ１８から参照信号を読み出し、参照信号に基づいて、所定の予測方式により予測信号を生成し、減算部１２及び直交変換タイプ予測部１７に出力する。予測信号を生成する方式については既知であるから、ここでは説明を省略する。尚、信号予測部１９の処理に用いる予測方式は、例えばＨ．２６４で用いられるイントラ予測、動き補償予測等であってもよく、特定の方式に限定されるものではない。

〔符号化装置に用いる直交変換タイプ予測部〕
次に、図４に示した符号化装置１０の直交変換タイプ予測部１７について詳細に説明する。図５は、直交変換タイプ予測部１７の構成を示すブロック図である。この直交変換タイプ予測部１７は、４個の逆変換処理部（ＩＴｒ１〜４）２、４個の加算部３、４個の比較部（Ｄｉｆｆ）４、及び選択部（Ｓｅｌｅｃｔｏｒ）６を備えている。

図１に示した直交変換タイプ予測器１と図５に示す直交変換タイプ予測部１７とを比較すると、両者とも４個の逆変換処理部２、４個の加算部３及び４個の比較部４を備えている点で同一であるが、直交変換タイプ予測部１７は、直交変換タイプ予測器１の選択部５とは異なる選択部６を備えている点で相違する。逆変換処理部２、加算部３及び比較部４については図１において説明済みであるから、ここでは説明を省略する。

図６は、図５の選択部６の処理を示すフローチャートである。まず、選択部６は、直交変換部１３から識別子（正しい識別子）を、加算部３から各系統の復号信号を、比較部４から各系統の隣接差分信号をそれぞれ入力する（ステップＳ６０１）。そして、選択部６は、図３に示したステップＳ３０５及びステップＳ３０６に示したように、各系統の隣接差分信号を比較して系統を特定することにより、４種類の直交変換の中から直交変換タイプを予測する（ステップＳ６０２）。これにより、各系統の復号信号（４種類の復号信号）の中から、最も想定する復号信号の隣接画素間相関に近い復号信号が特定される。

選択部６は、予測した直交変換タイプを示す識別子と、直交変換部１３から入力した識別子（正しい識別子）とを比較する（ステップＳ６０３）。そして、選択部６は、ステップＳ６０３において、両識別子が一致したと判定した場合（ステップＳ６０３：Ｙ）、一致（予測可能）を示す判定フラグを生成する（ステップＳ６０４）。そして、選択部６は、入力した各系統（４種類の）復号信号の中から、ステップＳ６０２にて予測した直交変換タイプの復号信号を選択してフレームメモリ１８に格納すると共に、ステップＳ６０４にて生成した一致を示す判定フラグを、エントロピー符号化部１６に出力する（ステップＳ６０５）。

一方、選択部６は、ステップＳ６０３において、両識別子が一致しないと判定した場合（ステップＳ６０３：Ｎ）、不一致（予測不可能）を示す判定フラグを生成する（ステップＳ６０６）。そして、選択部６は、入力した各系統（４種類の）復号信号の中から、ステップＳ６０１にて直交変換部１３から入力した識別子（正しい識別子）に対応する直交変換タイプの復号信号を選択し、フレームメモリ１８に格納すると共に、ステップＳ６０６にて生成した不一致を示す判定フラグ、及び、ステップＳ６０１にて直交変換部１３から入力した識別子（正しい識別子）をエントロピー符号化部１６に出力する（ステップＳ６０７）。

このように、図５に示した符号化装置１０によれば、直交変換タイプ予測部１７が、隣接差分信号に基づいて、最も想定する復号信号の隣接画素間相関に近い信号の直交変換タイプを予測し、この予測結果である直交変換タイプを示す識別子と、直交変換部１３において実際に選択された直交変換の識別子（正しい識別子）とを比較し、両識別子が一致する場合、一致（予測可能）を示す判定フラグを生成し、両識別子が一致しない場合、不一致（予測不可能）を示す判定フラグを生成するようにした。また、エントロピー符号化部１６が、直交変換タイプが予測可能であると判定された場合、直交変換部１３において実際に直交変換が行われ量子化部１４において量子化された直交変換係数列と共に、一致を示す判定フラグを符号化し、符号化信号を出力するようにした。一方、直交変換タイプが予測不可能であると判定された場合、前記直交変換係数列と共に、不一致を示す判定フラグ及び直交変換部１３において実際に選択された直交変換の識別子（正しい識別子）とを符号化し、符号化信号を出力するようにした。

これにより、直交変換タイプの識別子を用いて直交変換タイプを特定するのではなく、直交変換係数列に基づいて直交変換タイプを予測することができる。また、直交変換タイプが予測可能である場合、判定フラグのみが符号化され、予測不可能である場合、判定フラグ及び正しい識別子が符号化される。したがって、複数の直交変換を適切に切り替えて符号化を行う場合に、直交変換を識別するための信号を少なくすることが可能となり、符号化効率を向上させることができる。

〔復号装置〕
次に、本発明の実施形態による復号装置について説明する。図７は、復号装置の構成を示すブロック図である。この復号装置２０は、エントロピー復号部２１、逆量子化部２２、直交変換タイプ予測部２３、後処理部２４、フレームメモリ２５及び信号予測部２６を備えている。

エントロピー復号部２１は、図４に示した符号化装置１０により出力された符号化信号を入力し、図４に示したエントロピー符号化部１６のエントロピー符号化に対応するエントロピー復号を行い、直交変換係数列及び判定フラグ（及び識別子）を生成する。そして、エントロピー復号部２１は、直交変換係数列を逆量子化部２２に出力し、判定フラグ（及び識別子）を直交変換タイプ予測部２３に出力する。逆量子化部２２は、エントロピー復号部２１から直交変換係数列を入力し、図４に示した逆量子化部１５と同様に、逆量子化を行い、逆量子化した直交変換係数列を直交変換タイプ予測部２３に出力する。

直交変換タイプ予測部２３は、逆量子化部２２から逆量子化した直交変換係数列を、エントロピー復号部２１から判定フラグ（及び識別子）を、信号予測部２６から予測信号をそれぞれ入力すると共に、フレームメモリ２５から隣接復号信号を読み出す。そして、直交変換タイプ予測部２３は、図１に示したように、直交変換係数列をそれぞれ逆直交変換し、予測信号に基づいて例えば４種類の復号信号を生成する。

直交変換タイプ予測部２３は、入力した判定フラグが一致を示している場合（すなわち、直交変換タイプを予測可能である場合）、４種類の復号信号及び隣接復号信号に基づいて、直交変換タイプを予測し、予測した直交変換タイプの復号信号を後処理部２４に出力すると共に、フレームメモリ２５に格納する。一方、直交変換タイプ予測部２３は、入力した判定フラグが不一致を示している場合（すなわち、直交変換タイプを予測不可能である場合）、判定フラグと共に入力した識別子（正しい識別子）に対応する直交変換タイプの復号信号を後処理部２４に出力すると共に、フレームメモリ２５に格納する。直交変換タイプ予測部２３の詳細については後述する。

後処理部２４は、直交変換タイプ予測部２３から復号信号を入力し、この入力信号に対し、図４に示した前処理部１１の前処理に対応する所定の後処理を行い、出力信号として出力する。後処理については既知であるから、ここでは説明を省略する。

フレームメモリ２５は、図４に示したフレームメモリ１８と同様に、直交変換タイプ予測部２３から復号信号を入力し、記憶する。フレームメモリ２５に記憶された復号信号は、直交変換タイプ予測部２３により、直交変換タイプを予測する際に用いる復号信号に隣接する信号（隣接復号信号）として読み出される（図２を参照）。また、後述する信号予測部２６により、予測信号を生成する際の参照信号として読み出される。

信号予測部２６は、図４に示した信号予測部１９と同様に、フレームメモリ２５から参照信号を読み出し、参照信号に基づいて、所定の予測方式により予測信号を生成し、直交変換タイプ予測部２３に出力する。予測信号を生成する方式については既知であるから、ここでは説明を省略する。

〔復号装置に用いる直交変換タイプ予測部〕
次に、図７に示した復号装置２０の直交変換タイプ予測部２３について詳細に説明する。図８は、直交変換タイプ予測部２３の構成を示すブロック図である。この直交変換タイプ予測部２３は、４個の逆変換処理部（ＩＴｒ１〜４）２、４個の加算部３、４個の比較部（Ｄｉｆｆ）４、及び選択部（Ｓｅｌｅｃｔｏｒ）７を備えている。

図１に示した直交変換タイプ予測器１及び図５に示した直交変換タイプ予測部１７と、図８に示す直交変換タイプ予測部２３とを比較すると、これらは４個の逆変換処理部２、４個の加算部３及び４個の比較部４を備えている点で同一であるが、直交変換タイプ予測部２３は、直交変換タイプ予測器１及び直交変換タイプ予測部１７の選択部５，６とは異なる選択部７を備えている点で相違する。逆変換処理部２、加算部３及び比較部４については図１において説明済みであるから、ここでは説明を省略する。

図９は、図８の選択部７の処理を示すフローチャートである。まず、選択部７は、エントロピー復号部２１から判定フラグ（及び識別子）を、加算部３から各系統の復号信号を、比較部４から各系統の隣接差分信号をそれぞれ入力する（ステップＳ９０１）。そして、選択部７は、判定フラグが一致を示しているか、または不一致を示しているかを判定する（ステップＳ９０２）。

選択部７は、ステップＳ９０２において、判定フラグが一致を示していると判定した場合（ステップＳ９０２：一致）、すなわち、直交変換タイプを予測可能であると判定した場合、図３に示したステップＳ３０５及びステップＳ３０６に示したように、各系統の隣接差分信号を比較して系統を特定することにより、４種類の直交変換の中から直交変換タイプを予測する（ステップＳ９０３）。そして、選択部７は、４種類の復号信号の中から、予測した直交変換タイプの復号信号を選択し、後処理部２４に出力すると共に、フレームメモリ２５に格納する（ステップＳ９０４）。

一方、選択部７は、ステップＳ９０２において、判定フラグが不一致を示していると判定した場合（ステップＳ９０２：不一致）、すなわち、直交変換タイプを予測不可能であると判定した場合、判定フラグと共に入力した識別子（正しい識別子）に対応する直交変換タイプの復号信号を選択し、後処理部２４に出力すると共に、フレームメモリ２５に格納する（ステップＳ９０５）。

このように、図７に示した復号装置２０によれば、エントロピー復号部２１が、符号化装置１０から符号化信号を入力し、エントロピー復号によって直交変換係数列及び判定フラグ（及び識別子）を生成するようにした。そして、直交変換タイプ予測部２３は、判定フラグが一致を示していると判定した場合（すなわち、直交変換タイプを予測可能である場合）、それぞれの逆直交変換により生成した４種類の復号信号及び隣接復号信号に基づいて、４種類の直交変換の中から直交変換タイプを予測し、予測した直交変換タイプの復号信号を選択して出力するようにした。一方、直交変換タイプ予測部２３は、判定フラグが不一致を示していると判定した場合（すなわち、直交変換タイプを予測不可能である場合）、正しい識別子に対応する直交変換タイプの復号信号を選択して出力するようにした。

これにより、直交変換タイプの識別子を用いて直交変換タイプを特定するのではなく、直交変換係数列に基づいて直交変換タイプを予測することができる。また、復号信号を選択するために、直交変換タイプが予測可能である場合は、符号化された判定フラグのみが用いられ、予測不可能である場合は、判定フラグ及び正しい識別子が用いられる。したがって、直交変換を識別するための信号を少なくすることが可能となり、符号化を行う際の符号化効率を向上させることができる。

また、例えば、判定フラグとして、一致を示す場合（直交変換タイプを予測可能である場合）に１が生成され、不一致を示す場合（直交変換タイプを予測不可能である場合）に０が生成されるものとする。４回の直交変換のうちの、例えば１，２番目の直交変換係数列が予測可能であり、３番目が予測不可能な場合、判定フラグ（及び識別子）は、「１１０１０」となる。「１１０１０」のうちの最初の３ビット「１１０」は、１，２番目が予測可能、３番目が予測不可能であることを示している。また、これに続く２ビット「１０」は、識別子（３番目の判定フラグが０であるから、その直交変換タイプの識別子）を示しており、この例では、符号化装置１０によって、３番目の復号信号が選択される。つまり、本発明の実施形態では、判定フラグ等として５ビットが必要になる。これに対し、識別子を符号化する従来技術の場合には、１，２番目の直交変換係数列の直交変換タイプを識別するために４ビット（１信号あたり２ビット）が必要になるから、この例では、６ビット（２ビット×３信号）が必要になる。したがって、本発明の実施形態の判定フラグ等の方が、従来の識別子よりも１ビット少なくて済むから、１ビットの符号化効率の改善を図ることができる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態では、最適な直交変換を正しく使用するために、正しい識別子を伝送する例を示した。しかし、誤推定を許容できるシステムの場合、図５及び図８に示した直交変換タイプ予測部１７，２３の代わりに、図１に示した識別子を用いない直交変換タイプ予測器１を用いることにより、識別子を追加することなく、符号化効率を向上させることができ、画質の改善を実現することができる。また、本発明の実施形態では、直交変換タイプ予測部２３の選択部７は、判定フラグが不一致を示す場合（直交変換タイプを予測不可能である場合）、予測を行うことなく識別子に基づいて直交変換タイプを決定するようにしたが、不一致を示す場合も、一致を示す場合と同様に予測を行い、選択された直交変換タイプが誤りであることを利用して、識別子が示す直交変換を更に１つ増やすようにしてもよい。図５に示した直交変換タイプ予測部１７では、２ビットの識別子の例を示しており、直交変換は、２ビットで表現できる４種類を想定している。しかし、復号装置２０が、不一致を示す判定フラグを受信し、予測された直交変換タイプが正しくないことを確実に認識できる場合には、２ビットの識別子によって、予測による不正解である１つの直交変換を除く、さらに４種類の直交変換を識別することが可能になる。つまり、全体のシステムとして、５種類の直交変換を用いることができ、バリエーションが一層増え、効率を落とすことなく符号化性能を改善することができる。

尚、本発明の実施形態による符号化装置１０及び復号装置２０のハードウェア構成としては、通常のコンピュータを使用することができる。符号化装置１０及び復号装置２０は、それぞれＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。符号化装置１０に備えた前処理部１１、減算部１２、直交変換部１３、量子化部１４、逆量子化部１５、エントロピー符号化部１６、直交変換タイプ予測部１７、フレームメモリ１８、フレームメモリ１８及び信号予測部１９の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。同様に、復号装置２０に備えたエントロピー復号部２１、逆量子化部２２、直交変換タイプ予測部２３、後処理部２４、フレームメモリ２５及び信号予測部２６の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

１直交変換タイプ予測器
２逆変換処理部
３加算部
４比較部
５，６，７選択部
１０符号化装置
１１前処理部
１２減算部
１３直交変換部
１４量子化部
１５，２２逆量子化部
１６エントロピー符号化部
１７，２３直交変換タイプ予測部
１８，２５フレームメモリ
１９，２６信号予測部
２０復号装置
２１エントロピー復号部
２４後処理部

Claims

入力した信号に対して複数の異なる直交変換を併用し、前記複数の直交変換のうちの１つの直交変換により生成した直交変換係数列を、符号化信号として出力する符号化装置において、
前記直交変換係数列に対し、前記複数の異なる直交変換に対応した逆直交変換をそれぞれ行って復号信号を生成し、それぞれの前記復号信号と、それぞれの前記復号信号に隣接する復号済みの信号との間のそれぞれの隣接差分量を求め、それら前記隣接差分量に基づいて、直交変換タイプを予測し、予測した結果を前記符号化信号の一部とするとともに、該予測結果または前記直交変換係数列の生成に使われた１つの直交変換の識別情報に基づいて、前記複数の復号信号のうちの１つの復号信号を選択する直交変換タイプ予測部を備えたことを特徴とする符号化装置。
請求項１に記載の符号化装置において、
前記直交変換タイプ予測部は、
前記直交変換係数列に対し、個々の直交変換によって逆変換して予測差分信号を生成する逆変換処理部と、
前記逆変換処理部により生成された予測差分信号と予測信号を加算し、復号信号をそれぞれ生成する加算部と、
前記加算部により生成されたそれぞれの復号信号と、当該直交変換タイプ予測部により選択された復号信号のうちの、前記生成された復号信号に隣接する信号との間の差分を、隣接差分量としてそれぞれ算出する比較部と、
前記比較部により算出された隣接差分量のうちの最小の隣接差分量に対応する逆直交変換を特定し、前記特定した逆直交変換の直交変換タイプを予測し、前記直交変換タイプの復号信号を選択する選択部と、を備えたことを特徴とする符号化装置。
請求項１または２に記載の符号化装置において、
前記直交変換タイプ予測部は、
さらに、前記予測した直交変換タイプを第１の直交変換タイプとし、前記複数の直交変換のうち実際に選択された直交変換タイプを第２の直交変換タイプとし、両直交変換タイプが同じである場合、一致を示す判定フラグを生成し、両直交変換タイプが異なる場合、不一致を示す判定フラグを生成し、
前記直交変換係数列と共に、前記一致を示す判定フラグ、または、前記第２の直交変換タイプを付加した、前記不一致を示す判定フラグを符号化信号として生成する、ことを特徴とする符号化装置。
入力した符号化信号を逆直交変換し、復号信号を生成する復号装置において、
前記符号化信号から得られた直交変換係数列に対し、複数の異なる逆直交変換をそれぞれ行って復号信号を生成し、それぞれの前記復号信号と、それぞれの前記復号信号に隣接する復号済みの信号との間のそれぞれの隣接差分量を求め、それら前記隣接差分量に基づいて、直交変換タイプを予測し、前記複数の復号信号のうちの１つの復号信号を選択する直交変換タイプ予測部を備えたことを特徴とする復号装置。
請求項４に記載の復号装置において、
前記直交変換タイプ予測部は、
前記直交変換係数列に対し、個々の直交変換によって逆変換して予測差分信号を生成する逆変換処理部と、
前記逆変換処理部により生成された予測差分信号と予測信号を加算し、復号信号をそれぞれ生成する加算部と、
前記加算部により生成されたそれぞれの復号信号と、当該直交変換タイプ予測部により選択された復号信号のうちの、前記生成された復号信号に隣接する信号との間の差分を、隣接差分量としてそれぞれ算出する比較部と、
前記比較部により算出された隣接差分量のうちの最小の隣接差分量に対応する逆直交変換を特定し、前記特定した逆直交変換の直交変換タイプを予測し、前記直交変換タイプの復号信号を選択する選択部と、を備えたことを特徴とする復号装置。
請求項３の符号化装置により生成された符号化信号を入力する請求項４または５に記載の復号装置において、
前記直交変換タイプ予測部は、
前記符号化信号から得られた判定フラグが一致を示している場合、前記予測した直交変換タイプの復号信号を選択し、前記判定フラグが不一致を示している場合、前記判定フラグに付加された前記第２の直交変換タイプの復号信号を選択する、ことを特徴とする復号装置。
コンピュータを、請求項１から３までのいずれか一項に記載の符号化装置として機能させるためのプログラム。
コンピュータを、請求項４から６までのいずれか一項に記載の復号装置として機能させるためのプログラム。