JP5662887B2 - 符号化装置、復号装置及びプログラム - Google Patents

Description

本発明は、画像等の信号を符号化する直交変換技術に関し、特に、整数精度の直交変換を行う符号化装置、復号装置及びプログラムに関する。

従来、放送や動画像の配信等のシステムに用いられる映像符号化方式として、ＡＶＣ／Ｈ．２６４の標準規格が知られている。この映像符号化方式では、画面内予測や動き補償予測を行い、予測画像と入力画像との間の差分信号に対して、４×４画素、８×８画素等の２次元ブロック毎に直交変換及び量子化を行い、エントロピー符号化を行うことにより、信号圧縮を実現する。２次元ブロックの直交変換には、復号側でミスマッチが起こらないように、整数精度のＤＣＴ（Discrete Cosine Transform：離散コサイン変換）が用いられる。以下、整数精度のＤＣＴを整数ＤＣＴという。

整数精度の直交変換基底としては、ＡＶＣ／Ｈ．２６４の標準規格で用いられている整数ＤＣＴの直交変換基底の他に、特許文献１、非特許文献１に記載のものが知られている。特許文献１には、小数精度の直交変換基底をスカラー倍して最も近い整数に丸め、基底ベクトルのノルム（要素の２乗和）が誤差１％以内になるように基底ベクトルの要素を操作し、基底ベクトルの各要素が３２未満のものを直交変換基底として使用する技術が記載されている。また、非特許文献１には、特許文献１と同様に、整数ＤＣＴの基底ベクトルのノルムができるだけ等しくなるように基底ベクトルの要素を操作して得られる、統一的な４×４、８×８、１６×１６、３２×３２要素からなる直交変換基底が記載されている。

特表２０１１−５０４０００号公報

A. Fuldseth, G. Bjontegaard, M. Sadafale, M. Budagavi, "Transform design for HEVC with 16 bit intermediate data representation," Doc JCTVC-E243, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, Geneva, CH, March 2011

前述の特許文献１または非特許文献１に記載された整数ＤＣＴの直交変換基底を用いることにより、ＡＶＣ／Ｈ．２６４の標準規格による整数ＤＣＴの直交変換基底に比べ、精度良く整数変換を行うことができる。しかし、この整数精度の直交変換基底を算出する過程で基底ベクトルの要素を操作する際に、基底ベクトルの直交性を考慮しておらず、特に、１６×１６、３２×３２等の大きいブロックの変換を行う際に、精度が悪くなるという問題があった。これは、符号化装置において整数精度の直交変換を行う場合のみならず、復号装置において整数精度の逆直交変換を行う場合も同様である。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、直交変換または逆直交変換を整数精度で行う際に、基底ベクトルのノルムをできるだけ等しくすると共に、基底ベクトルの直交性を考慮した基底を用いることにより、符号化効率の改善を可能にした符号化装置、復号装置及びプログラムを提供することにある。

前記目的を達成するために、本発明による請求項１の符号化装置は、入力信号を直交変換して直交変換係数を生成し、前記直交変換係数を量子化して符号化信号を出力する符号化装置において、Ｎ点（Ｎは１以上の整数）の整数精度の直交変換基底を用いて、前記入力信号を直交変換する直交変換部を備え、前記直交変換部が、所定の小数精度の正規直交変換基底の各要素をｃ倍（ｃ＞１）して得られた整数の基底に対し、前記整数の基底の各要素を±ｎ（ｎは１以上の整数）の範囲で操作したときの基底ベクトルをｘ１，ｘ２，・・・，ｘＮとし、ａを所定の正数とし、各基底ベクトルにおける理想のノルムの値をｂ＝ｃ×ｃとし、ｉ＝１，２，・・・，Ｎ、ｊ＝１，２，・・・，Ｎ、ｉ＜ｊとし、（Ａ，Ｂ）をベクトルＡ及びＢの内積値とする場合、以下の数式
ｃｏｓｔ＝ａ×Σ｜（ｘｉ，ｘｉ）−ｂ｜＋Σ｜（ｘｉ，ｘｊ）｜
により、前記コスト（ｃｏｓｔ）を最小とする各基底ベクトルの要素を、前記整数精度の直交変換基底として用いる、ことを特徴とする。

また、本発明による請求項２の符号化装置は、請求項１に記載の符号化装置において、ａをＮとすることを特徴とする。

また、本発明による請求項３の符号化装置は、請求項１または２に記載の符号化装置において、ｉを２とし、ｊを２以外の偶数値とすることを特徴とする。

また、本発明による請求項４の符号化装置は、請求項３に記載の符号化装置において、前記基底ベクトルｘｉ，ｘｊが、第１番目から数えて複数個の要素から構成される場合、前記数式の内積演算は、前記複数個の要素のうち、第１番目から複数個の半分までの要素から構成されるベクトルｘｉ'，ｘｊ'にて行われる、ことを特徴とする。

また、本発明による請求項５の符号化装置は、請求項１から４までのいずれか一項に記載の符号化装置において、前記直交変換部が、以下の１６×１６要素からなる整数ＤＣＴ基底

を用いて、前記入力信号を直交変換することを特徴とする。

また、本発明による請求項６の符号化装置は、請求項１から４までのいずれか一項に記載の符号化装置において、前記直交変換部が、以下の３２×３２要素からなる整数ＤＣＴ基底

を用いて、前記入力信号を直交変換することを特徴とする。

さらに、本発明による請求項７の復号装置は、請求項１から６までのいずれか一項に記載の符号化装置により出力された符号化信号を入力し、前記符号化信号を逆量子化して逆直交変換し、復号信号を生成する復号装置において、整数精度の逆直交変換基底を用いて、前記逆量子化した信号を逆直交変換する逆直変換部を備え、前記逆直交変換部が、前記符号化装置の直交変換部にて用いる整数精度の直交変換基底の転置行列を、前記整数精度の逆直交変換基底として用いる、ことを特徴とする

さらに、本発明による請求項８のプログラムは、コンピュータを、請求項１から６までのいずれか一項に記載の符号化装置として機能させることを特徴とする。

また、本発明による請求項９のプログラムは、コンピュータを、請求項７に記載の復号装置として機能させることを特徴とする。

以上のように、本発明によれば、基底ベクトルのノルムをできるだけ等しくすると共に、基底ベクトルの直交性を考慮した整数精度の直交変換基底または逆直交変換基底を用いることにより、変換精度を改善し、符号化効率を向上させることができる。

本発明の実施形態による符号化装置の構成を示すブロック図である。 １６×１６要素からなる小数ＤＣＴ基底を示す図である。 非特許文献１に記載された、１６×１６要素からなる整数ＤＣＴ基底を示す図である。 図３に示した整数ＤＣＴ基底の行列とその転置行列との演算結果を示す図である。 直交変換基底算出装置の構成を示すブロック図である。 本発明の実施形態にて用いる、１６×１６要素からなる整数ＤＣＴ基底を示す図である。 図６に示した整数ＤＣＴ基底の行列とその転置行列との演算結果を示す図である。 本発明の実施形態にて用いる、３２×３２要素からなる整数ＤＣＴ基底を示す図である。 本発明の実施形態による復号装置の構成を示すブロック図である。 シミュレーション結果を説明する図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、画像等の信号を符号化する符号化装置において、直交変換を整数精度で行う際に、基底ベクトルのノルムの大きさの統一性と基底ベクトルの直交性とを向上させた直交変換基底を用いることを特徴とする。また、画像等の信号を復号する復号装置において、逆直交変換を整数精度で行う際に、基底ベクトルのノルムの大きさの統一性と基底ベクトルの直交性とを向上させた逆直交変換基底を用いることを特徴とする。これにより、直交変換精度及び逆直交変換精度を改善し、符号化効率を向上させることができる。ここで、整数精度のＤＣＴを行う場合の直交変換基底を整数ＤＣＴ基底といい、整数精度のＩＤＣＴ（Inverse Discrete Cosine Transform：逆離散コサイン変換）を行う場合の逆直交変換基底を整数ＩＤＣＴ基底という。

〔符号化装置〕
まず、本発明の実施形態による符号化装置について説明する。図１は、本発明の実施形態による符号化装置の構成を示すブロック図である。この符号化装置１１は、前処理部１、減算部２、直交変換部３、量子化部４、逆量子化部５、逆直交変換部６、加算部７、フレームメモリ８、信号予測部９及びエントロピー符号化部１０を備えている。

前処理部１は、符号化対象の信号を入力し、この入力信号に対し、符号化のために必要な所定の前処理を行う。前処理については既知であるから、ここでは説明を省略する。減算部２は、前処理部１から前処理後の信号を入力すると共に、後述する信号予測部９から予測信号を入力し、前処理後の信号から予測信号を減算し、差分信号を生成する。

直交変換部３は、減算部２から減算結果の差分信号を入力し、図示しない記憶部に格納された所定の整数精度の直交変換基底を読み出して直交変換を行い、直交変換係数を生成する。直交変換の例として、整数ＤＣＴを行う。所定の整数精度の直交変換基底は、後述する直交変換基底算出装置２０により算出され、符号化装置１１の記憶部に予め格納されているものとする。直交変換基底算出装置２０の処理、及び直交変換基底算出装置２０により算出される整数精度の直交変換基底の詳細については後述する。

量子化部４は、直交変換部３から直交変換係数を入力し、量子化を行う。逆量子化部５は、量子化部４から量子化した信号を入力し、逆量子化を行い、逆量子化した信号を逆直交変換部６に出力する。

逆直交変換部６は、逆量子化部５から逆量子化された信号を入力し、図示しない記憶部に格納された所定の整数精度の逆直交変換基底を読み出して逆直交変換を行い、差分信号を再生する。逆直交変換の例として、整数精度のＩＤＣＴを行う。所定の整数精度の逆直交変換基底は、後述する直交変換基底算出装置２０により算出され、符号化装置１１の記憶部に予め格納されているものとする。直交変換基底算出装置２０により算出される整数精度の逆直交変換基底の詳細については後述する。

加算部７は、逆直交変換部６から逆直交変換係数を入力すると共に、後述する信号予測部９から予測信号を入力し、逆直交変換係数に予測信号を加算する。フレームメモリ８は、加算部７から加算結果の信号を入力し、復号信号として記憶する。フレームメモリ８に記憶された復号信号は、後述する信号予測部９により、予測信号を生成する際の参照信号として読み出される。

信号予測部９は、フレームメモリ８から参照信号を読み出し、参照信号に基づいて、所定の予測方式により予測信号を生成し、減算部２及び加算部７に出力する。エントロピー符号化部１０は、量子化部４から量子化した信号を入力し、エントロピー符号化し、符号化信号を出力する。この符号化信号は、後述する復号装置３８へ出力される。

〔直交変換基底の性質〕
次に、本発明の実施形態にて用いる整数ＤＣＴ基底及び整数ＩＤＣＴ基底、並びにこれらを算出する直交変換基底算出装置２０の説明に先立って、一般的な直交変換基底の性質について、小数精度のＤＣＴを行う場合の直交変換基底（小数ＤＣＴ基底）及び整数ＤＣＴ基底を例に挙げて説明する。

（小数ＤＣＴ基底）
まず、小数ＤＣＴ基底の性質について説明する。図２は、１６×１６要素からなる小数ＤＣＴ基底（小数精度の正規直交変換基底）を示す図である。一般に、小数ＤＣＴ基底の各基底ベクトルは、以下に示す（ａ）〜（ｃ）の３つの性質を持つ。ここで、基底ベクトルとは、図２に示す１６×１６要素からなる小数ＤＣＴ基底において、各行の要素からなるベクトルをいう。

（ａ）正規性
第１に、小数ＤＣＴ基底の各基底ベクトルは、正規性を持つ。すなわち、各基底ベクトルのノルム（基底ベクトルの要素の２乗和、または同じ基底ベクトル同士の内積）が１であるという性質を持つ。

（ｂ）直交性
第２に、小数ＤＣＴ基底の各基底ベクトルは、直交性を持つ。すなわち、異なる基底ベクトル同士の内積が０であるという性質を持つ。図２に示した１６×１６要素からなる小数ＤＣＴ基底の行列をＤＣＴ１６とし、ＤＣＴ１６の転置行列をＤＣＴ１６’とすると、前記（ａ）及び（ｂ）の性質から、ＤＣＴ１６×ＤＣＴ１６’の演算結果（ＤＣＴ１６とＤＣＴ１６’の積）は、１６×１６の単位行列となる。また、ＤＣＴ１６×ＤＣＴ１６’の演算結果におけるｉ行ｊ列の要素は、第ｉ行目の基底ベクトルと第ｊ行目の基底ベクトルとの間の内積を示す。ｉ＝１，・・・１６、ｊ＝１，・・・，１６である。

（ｃ）対称性
第３に、小数ＤＣＴ基底の各基底ベクトルは、奇数行の基底ベクトルが偶対称であり、偶数行の基底ベクトルが奇対称であるという性質を持つ。

このように、小数ＤＣＴ基底の各基底ベクトルは、前述の（ａ）〜（ｃ）の性質を持つが、整数ＤＣＴ基底の各基底ベクトルは、前述の（ａ）の性質を持たず、（ｂ）及び（ｃ）の性質を持つ。整数ＤＣＴ基底の各基底ベクトルが（ａ）の性質を持たないのは、その要素が整数であり、基底ベクトルのノルムが１より大きくなってしまうからである。したがって、整数ＤＣＴ基底の各基底ベクトルは、正規性の性質（ａ）の代わりに、各基底ベクトルのノルムがほぼ等しいという性質（ａ’）を持たせる。つまり、整数ＤＣＴ基底の各基底ベクトルは、前述の（ａ’）（ｂ）（ｃ）の性質を持つことが望ましい。

（整数ＤＣＴ基底）
次に、整数ＤＣＴ基底について説明する。図３は、非特許文献１に記載された、１６×１６要素からなる整数ＤＣＴ基底を示す図である。図３に示す整数ＤＣＴ基底は、図２に示した小数ＤＣＴ基底の各要素を２５６倍して整数に丸めた後、第２行目〜第１６行目の各基底ベクトルのノルムが第１行目の基底ベクトルのノルム６５５３６（＝２５６×２５６）に近くなるように各要素を操作し、偶数行の基底ベクトルの要素について｜２６｜を｜２５｜としたものである。

図４は、図３に示した整数ＤＣＴ基底の行列とその転置行列との演算結果を示す図であり、図４の行列は、図３に示した１６×１６要素からなる整数ＤＣＴ基底の行列をＴｃ１６とし、Ｔｃ１６の転置行列をＴｃ１６’とした場合の、Ｔｃ１６×Ｔｃ１６’の演算結果である。図４に示す行列におけるｉ行ｊ列（ｉ＝１，２，・・・，１６、ｊ＝１，２，・・・，１６）の要素は、図３に示した整数ＤＣＴ基底におけるｉ行の基底ベクトルとｊ行の基底ベクトルとの内積を示している。

整数ＤＣＴの基底ベクトルが、理想的には（ａ’）（ｂ）の性質を持つことからすると、Ｔｃ１６×Ｔｃ１６’の演算結果は、１６×１６の単位行列を６５５３６倍したものとなるべきである。しかし、図４では、１６×１６の単位行列を６５５３６倍したものになっていない。つまり、非特許文献１に記載された整数ＤＣＴ基底（図３に示した整数ＤＣＴ基底）の各基底ベクトルは、基底ベクトルのノルムの大きさの統一性（（ａ')の性質）及び基底ベクトルの直交性（（ｂ）の性質）が十分でないことがわかる。図３に示した整数ＤＣＴ基底を用いてＤＣＴを行った場合には、整数ＤＣＴ基底における（ａ’）（ｂ）の性質が十分でないから、符号化効率が十分でない可能性がある。

そこで、後述する直交変換基底算出装置は、基底ベクトルのノルムの大きさの統一性（（ａ')の性質）及び基底ベクトルの直交性（（ｂ）の性質）をさらに向上させ、ＤＣＴと同様の対称性（（ｃ）の性質）を持つ整数ＤＣＴ基底を算出する。そして、図１に示した直交変換部３は、直交変換基底算出装置により算出された整数ＤＣＴ基底を用いて直交変換を行う。これにより、符号化効率を向上させることができる。逆直交変換を行う際に用いる整数ＩＤＣＴ基底についても同様である。

〔直交変換基底算出装置〕
次に、基底ベクトルのノルムの大きさの統一性（（ａ')の性質）及び基底ベクトルの直交性（（ｂ）の性質）をさらに向上させ、ＤＣＴと同様の対称性（（ｃ）の性質）を持つ整数ＤＣＴ基底及び整数ＩＤＣＴ基底を算出する直交変換基底算出装置について説明する。図５は、直交変換基底算出装置の構成を示すブロック図である。この直交変換基底算出装置２０は、整数化手段２１、基底算出手段２２及び転置算出手段２３を備えている。整数化手段２１は、小数ＤＣＴ基底（例えば、１６×１６要素からなる小数ＤＣＴ基底の場合を図２に示す。）を入力し、この小数ＤＣＴ基底の各要素を所定倍（例えば２５６倍）して整数に丸め、整数丸め後のＤＣＴ基底を基底算出手段２２に出力する。

基底算出手段２２は、整数化手段２１から整数丸め後のＤＣＴ基底を入力し、整数丸め後のＤＣＴ基底の各要素を±ｎ（ｎは１以上の整数）の範囲で操作し、基底ベクトルのノルムの大きさの統一性と基底ベクトルの直交性とを向上させるための数式（１）のコスト関数を用いて、コスト（ｃｏｓｔ）が最小になるように整数ＤＣＴ基底の要素を求め、整数ＤＣＴ基底を出力する。
（数１）
ｃｏｓｔ＝ａ×Σ｜基底ベクトルのノルム−理想のノルム｜＋Σ｜異なる基底ベクトル同士の内積−０｜
＝ａ×Σ｜基底ベクトル同士の内積−理想のノルム｜＋Σ｜異なる基底ベクトル同士の内積｜ ・・・（１）

前記数式（１）において、基底ベクトル同士の内積は、同じ基底ベクトルの内積を意味する。また、右辺の第１項は、基底ベクトルにおけるノルムの大きさの統一性の程度を示し、値が小さいほど統一性が実現されることになる（（ａ’）の性質）。また、右辺の第２項は、基底ベクトルの直交性の程度を示し、値が小さいほど直交性が実現されることになる（（ｂ）の性質）。ａは正数であり、Ｎ点の整数ＤＣＴ基底を求める場合は、ａ＝Ｎとするとよい。例えば、１６×１６要素からなる整数ＤＣＴ基底を求める場合は、Ｎ＝１６である。

このように、前記数式（１）において、ａ＝Ｎとしてａを第１項の乗算係数とすることにより、第１項である基底ベクトルのノルムの大きさの統一性を、第２項である基底ベクトルの直交性よりも、要素数を示すＮの大きさに比例して重視するようにした。画像の符号化においては、直交変換を行った後に量子化を行って変換係数の丸めが行われることを考えると、基底ベクトルの直交性よりもノルムの大きさの統一性の方が重要と考えられる。

前記数式（１）を一般式で表すと以下のようになる。
（数１’）
ｃｏｓｔ＝ａ×Σ｜（ｘｉ，ｘｉ）−ｂ｜＋Σ｜（ｘｉ，ｘｊ）｜ ・・・（１’）
ｂは、整数化手段２１において、小数ＤＣＴ基底の各要素をｃ倍（ｃ＞１）して整数に丸める場合の、ｃ×ｃである（ｂ＝ｃ×ｃ）。ｘｉ，ｘｊは、基底算出手段２２において、整数丸め後のＤＣＴ基底の各要素を±ｎ（ｎは１以上の整数）の範囲で操作する際の各基底ベクトルであり、ｉ＝１，２，・・・，Ｎ、ｊ＝１，２，・・・，Ｎである。（ｘｉ，ｘｉ）は基底ベクトルｘｉ及びｘｉの内積値を示し、（ｘｉ，ｘｊ）は基底ベクトルｘｉ及びｘｊ（ｉ≠ｊ）の内積値を示す。

転置算出手段２３は、基底算出手段２２から整数ＤＣＴ基底を入力し、整数ＤＣＴ基底の行列の転置行列を求め、整数ＩＤＣＴ基底として出力する。基底算出手段２２により出力された整数ＤＣＴ基底、及び転置算出手段２３により出力された整数ＩＤＣＴ基底は、図１に示した符号化装置１１の記憶部に格納され、整数ＤＣＴ基底が直交変換部３による直交変換のために用いられ、整数ＩＤＣＴ基底が逆直交変換部６による逆直交変換のために用いられる。また、転置算出手段２３により出力された整数ＩＤＣＴ基底は、後述する図９に示す復号装置３８の記憶部に格納され、逆直交変換部３３よる逆直交変換のために用いられる。

これにより、基底ベクトルのノルムの大きさの統一性と基底ベクトルの直交性とを向上させた整数ＤＣＴ基底及び整数ＩＤＣＴ基底を算出することができ、符号化効率を向上させることができる。尚、整数ＤＣＴ基底及び整数ＩＤＣＴ基底の各基底ベクトルが対称性の性質（ｃ）を持つことから、前記数式（１’）の右辺第２項において、ｉ＜ｊとしてもよい。これにより、整数ＤＣＴ基底及び整数ＩＤＣＴ基底を算出する際の計算量を減らすことができる。

（偶数行の基底ベクトルのみを用いる場合）
以下、非特許文献１に記載された図３に示す１６×１６要素からなる整数ＤＣＴ基底の改善を例に説明する。図３に示した整数ＤＣＴ基底において、ＤＣＴ基底と同様の対称性及び基底ベクトルの周期性を考慮すると、図４に示した演算結果の行列のように、奇数行偶数列及び偶数行奇数列、並びにｉ＋ｊ＝１８（＝Ｎ＋２、ＮはＤＣＴの入力点数１６）となるｉ行ｊ列（ｉ，ｊは偶数）の要素（内積値）は、常に０である。したがって、図５に示した直交変換基底算出装置２０の基底算出手段２２は、前記数式（１）（１’）のコストが最小になるように整数ＤＣＴ基底の要素を求める際に、この部分（奇数行偶数列及び偶数行奇数列、並びにｉ＋ｊ＝１８（＝Ｎ＋２、ＮはＤＣＴの入力点数１６）となるｉ行ｊ列（ｉ，ｊは偶数）の要素）に対応する基底ベクトルの内積については、前記数式（１）（１’）の計算に含めないようにする。

また、非特許文献１に記載された４×４〜３２×３２要素からなる整数ＤＣＴ基底において（１６×１６要素からなる整数ＤＣＴ基底は図３を参照）、２Ｎ×２Ｎ要素からなる整数ＤＣＴ基底の奇数行は、Ｎ×Ｎ要素からなる整数ＤＣＴ基底の第ｋ行目（ｋ＝１〜Ｎ）を偶対称にして、２Ｎ×２Ｎ要素からなる整数ＤＣＴ基底の第２ｋ−１行目としたものであり、要素の値は決まっている。したがって、奇数行の基底ベクトル同士の内積は一定であるから、奇数行の基底ベクトル同士の内積演算を前記数式（１）（１’）から除外しても、コストが最小値になるように要素を求める際のコスト算出には影響しない。つまり、図５に示した直交変換基底算出装置２０の基底算出手段２２は、前記数式（１）（１’）のコストが最小になるように整数ＤＣＴ基底の要素を求める際に、奇数行の基底ベクトル同士の内積についても、前記数式（１）（１’）の計算に含めないようにする。

以上により、直交変換基底算出装置２０の基底算出手段２２は、前記数式（１）（１’）のコストが最小になるように整数ＤＣＴ基底の要素を求める際に、前記数式（１）（１’）の内積計算において、偶数行の基底ベクトルの内積のみを計算すればよい。

（第２行目の基底ベクトルを用いる場合）
また、ＤＣＴ基底の周期性の性質を考慮すると、直交変換基底算出装置２０の基底算出手段２２は、図４に示した演算結果の行列において２行目の非０の要素に対応する基底ベクトルの内積についてのみ、前記数式（１）（１’）を計算すればよい。

図３に示した整数ＤＣＴ基底では、ＤＣＴ基底の性質により、第２行目の基底ベクトルの各要素と、第４，６，・・・，１６行目（第２行目以外の偶数行目）の基底ベクトルの各要素は、順番は異なるが同じ要素により構成されているから、偶数行目の各基底ベクトルのノルムの大きさ（各基底ベクトル同士の内積）は等しい。また、第２行目以外の偶数行目の各基底ベクトルは、第２行目の基底ベクトルの要素を所定の間隔おきにサンプリングしたものであるというＤＣＴ基底の性質により、第２行目の基底ベクトルと第４，６，・・・，１６行目（第２行目以外の偶数行目）の基底ベクトルとの内積の絶対値和、第４行目の基底ベクトルと第２，６，８，・・・，１６行目（第４行目以外の偶数行目）の基底ベクトルとの内積の絶対値和、第６行目の基底ベクトルと第２，４，８，・・・，１６行目（第６行目以外の偶数行目）の基底ベクトルの内積との絶対値和、・・・、第１６行目の基底ベクトルと第２，４，６，・・・，１４行目（第１６行目以外の偶数行目）の基底ベクトルとの内積の絶対値和は等しい。以上のことから、数式（１）（１’）において、第２行目の基底ベクトルと偶数行目の基底ベクトルの内積を計算することとし、数式（１’）において、ｉ＝２とすればよい。

したがって、図５に示した直交変換基底算出装置２０の基底算出手段２２は、整数化手段２１から整数丸め後のＤＣＴ基底を入力し、整数丸め後のＤＣＴ基底の各要素を±ｎ（ｎは１以上の整数）の範囲で操作しながら、以下の数式（２）を用いて、コストが最小になるように第２行目の基底ベクトルの要素を求め、この第２行目の基底ベクトルの要素及びＤＣＴの性質に基づいて第２行目以外の偶数行の基底ベクトルの要素を求め、整数ＤＣＴ基底を出力する。第２行目の基底ベクトルの要素が決定すれば、ＤＣＴの性質から、第２行目以外の偶数行の基底ベクトルの要素が一義的に決定される。また、本実施形態の前提より、奇数行の基底ベクトルは既知である。
（数２）
ｃｏｓｔ＝16×｜(x2,x2)−64＾2×16｜
＋｜(x2,x4)｜＋｜(x2, x6)｜＋｜(x2, x8)｜
＋｜(x2,x10)｜＋｜(x2,x12)｜＋｜(x2,x14)｜ ・・・（２）
ｘ１，ｘ２，・・・，ｘ１６は、求める整数ＤＣＴ基底の第１行目、第２行目、・・・、第１６行目の基底ベクトルを示し、（Ａ，Ｂ）はベクトルＡ及びＢの内積値を示す。

前記数式（２）のコスト関数を最小化する第２行目の基底ベクトルは、整数に丸めた値±１の範囲で求めると、以下のとおりになる。
［91, 87, 79, 70, 56, 43, 27, 8, -8, -27, -43, -56, -70, -79, -87, -91］

（基底ベクトルの前半の要素のみを用いる場合）
さらに、前記数式（２）を用いてコストを計算する際には、図３に示した整数ＤＣＴ基底の対称性の性質を考慮すると、基底ベクトルの前半の８個目の要素までの内積をそれぞれ計算すればよい。これは、偶数行の基底ベクトルが奇対称であり、要素数が２Ｍの奇対称のベクトルをｏ１，ｏ２とすると、ｏ１，ｏ２の内積は、ｏ１，ｏ２の前半のＭ個目までの要素の内積の２倍になるからである。これにより、計算量を減らすことができる。

以下、具体的に説明する。直交変換基底算出装置２０の基底算出手段２２は、整数化手段２１から整数丸め後のＤＣＴ基底を入力し、前記数式（２）を用いて、コストが最小になるように整数ＤＣＴ基底の要素を求める際に、第２行目の基底ベクトルｘ２における前半８個の要素ｘ２［０］，ｘ２［１］，・・・，ｘ２［７］に基づいて、第４，６，・・・，１４行目の基底ベクトルｘ４，ｘ６，・・・，ｘ１４における前半８個の要素をそれぞれ求め、ｘ２［０］，ｘ２［１］，・・・，ｘ２［７］の値を所定の範囲（±１の範囲）で操作しながら、基底ベクトルの前半８個の要素による前記数式（２）のコストの最小値を求め、整数ＤＣＴ基底を求める。

すなわち、基底算出手段２２は、ステップ１の処理として、第２行目の基底ベクトルｘ２における前半８個の要素ｘ２［０］，ｘ２［１］，・・・，ｘ２［７］から、第４行目の基底ベクトルｘ４における前半８個の要素ｘ４［０］，ｘ４［１］，・・・，ｘ４［７］、第６行目の基底ベクトルｘ６における前半８個の要素ｘ６［０］，ｘ６［１］，・・・，ｘ６［７］、・・・、第１４行目の基底ベクトルｘ１４における前半８個の要素ｘ１４［０］，ｘ１４［１］，・・・，ｘ１４［７］を求める。そして、基底算出手段２２は、ステップ２の処理として、第２行目の基底ベクトルｘ２における前半８個の要素ｘ２［０］，ｘ２［１］，・・・，ｘ２［７］、及びステップ１の処理にて求めた第４，６，・・・，１４行目の基底ベクトルにおける前半８個の要素から両ベクトルの内積を計算し、基底ベクトルの前半８個の要素による前記数式（２）のコストを求める。そして、コストが最小値となる整数ＤＣＴ基底の要素を求める。

ステップ１の処理として、以下のステップ１−１〜ステップ１−６が行われる。
ステップ１−１は、第４行目の基底ベクトルｘ４の前半８個の要素ｘ４［０］〜ｘ４［７］を求める処理である。
x4［ 0］ = x2［ 1］；
x4［ 1］ = x2［ 4］；
x4［ 2］ = x2［ 7］；
x4［ 3］ =-x2［ 5］；
x4［ 4］ =-x2［ 2］；
x4［ 5］ =-x2［ 0］；
x4［ 6］ =-x2［ 3］；
x4［ 7］ =-x2［ 6］；
ステップ１−２は、第６行目の基底ベクトルｘ６の前半８個の要素ｘ６［０］〜ｘ６［７］を求める処理である。
x6［ 0］ = x2［ 2］；
x6［ 1］ = x2［ 7］；
x6［ 2］ =-x2［ 3］；
x6［ 3］ =-x2［ 1］；
x6［ 4］ =-x2［ 6］；
x6［ 5］ = x2［ 4］；
x6［ 6］ = x2［ 0］；
x6［ 7］ = x2［ 5］；
ステップ１−３は、第８行目の基底ベクトルｘ８の前半８個の要素ｘ８［０］〜ｘ８［７］を求める処理である。
x8［ 0］ = x2［ 3］；
x8［ 1］ =-x2［ 5］；
x8［ 2］ =-x2［ 1］；
x8［ 3］ = x2［ 7］；
x8［ 4］ = x2［ 0］；
x8［ 5］ = x2［ 6］；
x8［ 6］ =-x2［ 2］；
x8［ 7］ =-x2［ 4］；

ステップ１−４は、第１０行目の基底ベクトルｘ１０の前半８個の要素ｘ１０［０］〜ｘ１０［７］を求める処理である。
x10［ 0］ = x2［ 4］；
x10［ 1］ =-x2［ 2］；
x10［ 2］ =-x2［ 6］；
x10［ 3］ = x2［ 0］；
x10［ 4］ =-x2［ 7］；
x10［ 5］ =-x2［ 1］；
x10［ 6］ = x2［ 5］；
x10［ 7］ = x2［ 3］；
ステップ１−５は、第１２行目の基底ベクトルｘ１２の前半８個の要素ｘ１２［０］〜ｘ１２［７］を求める処理である。
x12［ 0］ = x2［ 5］；
x12［ 1］ =-x2［ 0］；
x12［ 2］ = x2［ 4］；
x12［ 3］ = x2［ 6］；
x12［ 4］ =-x2［ 1］；
x12［ 5］ = x2［ 3］；
x12［ 6］ = x2［ 7］；
x12［ 7］ =-x2［ 2］；
ステップ１−６は、第１４行目の基底ベクトルｘ１４の前半８個の要素ｘ１４［０］〜ｘ１４［７］を求める処理である。
x14［ 0］ = x2［ 6］；
x14［ 1］ =-x2［ 3］；
x14［ 2］ = x2［ 0］；
x14［ 3］ =-x2［ 2］；
x14［ 4］ = x2［ 5］；
x14［ 5］ = x2［ 7］；
x14［ 6］ =-x2［ 4］；
x14［ 7］ = x2［ 1］；

ステップ２の処理として、ノルムの大きさを揃えるための項と、直交性を高めるための項（異なる基底ベクトルの内積を求めるための項）とが加算され、コストを求める処理が行われる。
cost = 0；//初期化
cost += 16×abs(InnerProduct(x2, x2, 8)-64×64×8)；//ノルムの大きさを揃える
cost += abs(InnerProduct(x2, x4, 8))；//異なる基底ベクトルの内積を求める（以下同じ）
cost += abs(InnerProduct(x2, x6, 8))；
cost += abs(InnerProduct(x2, x8, 8))；
cost += abs(InnerProduct(x2, x10, 8))；
cost += abs(InnerProduct(x2, x12, 8))；
cost += abs(InnerProduct(x2, x14, 8))；
ここで、関数absは、絶対値をとることを示し、関数InnerProductは、InnerProduct(A0, A1, m)で、A0及びA1の配列において、m番目の要素までの内積を行うことを示す。

ここで、１６×１６要素からなる整数ＤＣＴ基底の基底ベクトルは要素の数が１６個であるから、ノルムの大きさは、６４×６４×１６＝６５５３６に近づけるようにするが、ここでは基底ベクトルの前半８個の要素を用いて計算するから、ノルムの大きさは、６４×６４×８＝３２７６８に近づけるようする。このように、基底ベクトルの前半の要素のみを用いて整数ＤＣＴ基底を求める場合、１６個の要素のベクトルの内積演算を８個の要素のベクトルの内積演算にすることができるから、和と積の計算回数を半分にし、計算量を削減することができる。この結果をもとに、奇対称性と、第２行目の基底ベクトルの要素と他の偶数行の基底ベクトルの要素の関係とから、偶数行の基底ベクトルを求め、既知の奇数行の基底ベクトルを組み合わせることにより、図６の１６×１６要素からなる整数ＤＣＴ基底を求めることができた。

図６は、本発明の実施形態にて用いる、１６×１６要素からなる整数ＤＣＴ基底を示す図であり、図５に示した直交変換基底算出装置２０の基底算出手段２２により前記数式（１）等を用いて算出され出力される整数ＤＣＴ基底を示す。尚、直交変換基底算出装置２０の転置算出手段２３により算出され出力される１６×１６要素の整数ＩＤＣＴ基底は、図６に示した整数ＤＣＴ基底の行列の転置行列である。

図７は、図６に示した整数ＤＣＴ基底の行列とその転置行列との演算結果を示す図であり、図７の行列は、図６に示した１６×１６要素からなる整数ＤＣＴ基底の行列をＴｎ１６とし、Ｔｎ１６の転置行列をＴｎ１６’とした場合の、Ｔｎ１６×Ｔｎ１６’の演算結果である。図７の行列におけるｉ行ｊ列（ｉ＝１，２，・・・，１６、ｊ＝１，２，・・・，１６）の要素は、図６に示した整数ＤＣＴ基底におけるｉ行の基底ベクトルとｊ行の基底ベクトルとの内積を示している。図７の各要素と、図４の各要素とを比較すると、図７の方が、対角成分の要素値が理想のノルム値である６５５３６に近くなっており、対角成分以外の要素値が０に近くなっている。つまり、図７の行列の方が図４よりも、１６×１６の単位行列を６５５３６倍した理想的な値に近づいている。したがって、図６に示した本発明の実施形態に用いる整数ＤＣＴ基底の方が、図３に示した非特許文献１の整数ＤＣＴ基底よりも、基底ベクトルのノルムの大きさの統一性（（ａ')の性質）及び基底ベクトルの直交性（（ｂ）の性質）がさらに向上しているといえる

図８は、本発明の実施形態にて用いる、３２×３２要素からなる整数ＤＣＴ基底を示す図であり、図６に示した１６×１６要素からなる整数ＤＣＴ基底と同様に、図５に示した直交変換基底算出装置２０の基底算出手段２２により前記数式（１）等を用いて算出され出力される整数ＤＣＴ基底を示す。尚、直交変換基底算出装置２０の転置算出手段２３により算出され出力される３２×３２要素からなる整数ＩＤＣＴ基底は、図８に示した整数ＤＣＴ基底の行列の転置行列である。

〔復号装置〕
次に、本発明の実施形態による復号装置について説明する。図９は、本発明の実施形態による復号装置の構成を示すブロック図である。この復号装置３８は、エントロピー復号部３１、逆量子化部３２、逆直交変換部３３、加算部３４、後処理部３５、フレームメモリ３６及び信号予測部３７を備えている。

エントロピー復号部３１は、図１に示した符号化装置１１により出力された符号化信号を入力し、図１に示したエントロピー符号化部１０のエントロピー符号化に対応するエントロピー復号を行う。エントロピー復号の処理については既知であるから、ここでは説明を省略する。逆量子化部３２は、エントロピー復号部３１によりエントロピー復号された信号を入力し、図１に示した逆量子化部５と同様に、逆量子化を行い、逆量子化した信号を逆直交変換部３３に出力する。

逆直交変換部３３は、逆量子化部３２から逆量子化された信号を入力し、図１に示した逆直交変換部６と同様に、図示しない記憶部から所定の整数精度の逆直交変換基底を読み出して逆直交変換を行う。所定の整数精度の逆直交変換基底は、前述の直交変換基底算出装置２０により算出され、復号装置３８の記憶部に予め格納されているものとする。

加算部３４は、逆直交変換部３３からの信号を入力すると共に、後述する信号予測部３７から予測信号を入力し、両信号を加算する。後処理部３５は、加算部３４から加算結果の信号である復号信号を入力し、この復号信号に対し、図１に示した前処理部１の前処理に対応する所定の後処理を行い、出力信号として出力する。後処理については既知であるから、ここでは説明を省略する。

フレームメモリ３６は、加算部３４から加算結果の信号を入力し、復号信号として記憶する。フレームメモリ３６に記憶された復号信号は、後述する信号予測部３７により、予測信号を生成する際の参照信号として読み出される。信号予測部３７は、フレームメモリ３６から参照信号を読み出し、参照信号に基づいて、所定の予測方式により予測信号を生成し、加算部３４に出力する。

〔実験結果〕
次に、本発明の実施形態による１６×１６要素及び３２×３２要素からなる整数ＤＣＴ基底を用いた符号化処理と、非特許文献１による整数ＤＣＴ基底を用いた符号化処理との実験結果（コンピュータによるシミュレーション結果）について説明する。図１０は、そのシミュレーション結果のＢＤレートを示す図である。図１０のＢＤレートは、量子化のＱＰレンジをＱＰ＝１，５，９，１３とした場合の輝度（Ｙ成分）のＢＤビットレート（符号量削減率）を示し、非特許文献１における符号量に対する本発明の実施形態における符号量の割合を示す。ＢＤレートは、負の値が大きいほど、本発明の実施形態の方が非特許文献１よりも符号化効率が良いことになる。「Sequence」の欄において「Traffic」「PeopleOnStreet」等は、符号化実験を行ったテスト動画像の名称を示し、「IntraHE」「IntraLC」は、信号予測の種類を示す。「Intra」は、画面内予測のみを用いた条件であり、「HE」は、High Efficiencyの略であり、計算量は大きいが、符号化性能が向上するツールを集めた条件である。「LC」は、Low Complexityの略であり、符号化性能は「HE」よりも低いが、計算量が少ないツールを集めた条件である。図１０に示すシミュレーション結果によれば、最終行の「Average」から、信号予測が「IntraHE」の条件の場合、ＢＤレートは−０．１３であり、信号予測が「IntraLC」の条件の場合、ＢＤレートは−０．１７である。また、個々のシーケンスにおいてもほとんどのＢＤレートは負の値であり、最大１．２３％のゲインが得られている。これにより、本発明の実施形態による整数ＤＣＴを用いた方が非特許文献１による整数ＤＣＴを用いるよりも、基底ベクトルのノルムの大きさの統一性及び基底ベクトルの直交性が改善されたため、符号化効率が良くなっていることがわかる。

以上のように、本発明の実施形態による符号化装置１１によれば、直交変換基底算出装置２０により算出された、基底ベクトルのノルムの大きさの統一性と基底ベクトルの直交性とがさらに向上した整数ＤＣＴ基底を用いてＤＣＴを行い、この整数ＤＣＴ基底の転置行列を整数ＩＤＣＴ基底としてＩＤＣＴを行い、符号化を行うようにした。また、本発明の実施形態による復号装置３８によれば、直交変換基底算出装置２０により算出された、基底ベクトルのノルムの大きさの統一性と基底ベクトルの直交性とがさらに向上した整数ＤＣＴ基底の転置行列を整数ＩＤＣＴ基底として用い、ＩＤＣＴを行い、復号を行うようにした。これにより、直交変換精度及び逆直交変換精度を改善することができ、符号化効率を向上させることができる。

尚、本発明の実施形態による符号化装置１１、復号装置３８及び直交変換基底算出装置２０のハードウェア構成としては、通常のコンピュータを使用することができる。この符号化装置１１、復号装置３８及び直交変換基底算出装置２０は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。符号化装置１１に備えた前処理部１、減算部２、直交変換部３、量子化部４、逆量子化部５、逆直交変換部６、加算部７、フレームメモリ８、信号予測部９及びエントロピー符号化部１０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。同様に、復号装置３８に備えたエントロピー復号部３１、逆量子化部３２、逆直交変換部３３、加算部３４、後処理部３５、フレームメモリ３６及び信号予測部３７の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、直交変換基底算出装置２０に備えた整数化手段２１、基底算出手段２２及び転置算出手段２３の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施形態において、直交変換基底算出装置２０の基底算出手段２２により前記数式（１）等のコストを最小化するための探索範囲（操作範囲±ｎ）は、±１以外でもよい。但し、ここで求める整数ＤＣＴ基底は、ＤＣＴに基づくものであり、各基底ベクトルはコサインカーブを示すものであるから、整数ＤＣＴ基底の要素の大小関係は、要素が操作される前と同じにすることが望ましい。また、前記実施形態では、直交変換をＤＣＴとしたが、ＤＳＴ（Discrete Sine Transform：離散サイン変換）またはＫＬＴ（Karhunen Loeve Transform：カルーネンレーブ変換）としてもよい。この場合、ＤＣＴと同様に、各正規直交変換基底の要素を所定倍して整数に丸め、数式（１）（１’）等によって整数精度の変換基底を求めることとする。また、前記実施形態では、１６×１６要素の変換基底、３２×３２要素の変換基底を例としたが、その他の数の要素の変換基底、例えば、４×４、８×８、６４×６４等としてもよい。また、上記実施形態では画像信号を対象にして説明したが、本発明の符号化装置、復号装置及びプログラムは、入力が画像信号に限定されることはない。

１ 前処理部
２ 減算部
３ 直交変換部
４ 量子化部
５ 逆量子化部
６ 逆直交変換部
７ 加算部
８ フレームメモリ
９ 信号予測部
１０ エントロピー符号化部
１１ 符号化装置
２０ 直交変換基底算出装置
２１ 整数化手段
２２ 基底算出手段
２３ 転置算出手段
３１ エントロピー復号部
３２ 逆量子化部
３３ 逆直交変換部
３４ 加算部
３５ 後処理部
３６ フレームメモリ
３７ 信号予測部
３８ 復号装置

Claims (9)

1. 入力信号を直交変換して直交変換係数を生成し、前記直交変換係数を量子化して符号化信号を出力する符号化装置において、
   Ｎ点（Ｎは１以上の整数）の整数精度の直交変換基底を用いて、前記入力信号を直交変換する直交変換部を備え、
   前記直交変換部は、
   所定の小数精度の正規直交変換基底の各要素をｃ倍（ｃ＞１）して得られた整数の基底に対し、前記整数の基底の各要素を±ｎ（ｎは１以上の整数）の範囲で操作したときの基底ベクトルをｘ１，ｘ２，・・・，ｘＮとし、ａを所定の正数とし、各基底ベクトルにおける理想のノルムの値をｂ＝ｃ×ｃとし、ｉ＝１，２，・・・，Ｎ、ｊ＝１，２，・・・，Ｎ、ｉ＜ｊとし、（Ａ，Ｂ）をベクトルＡ及びＢの内積値とする場合、以下の数式
   ｃｏｓｔ＝ａ×Σ｜（ｘｉ，ｘｉ）−ｂ｜＋Σ｜（ｘｉ，ｘｊ）｜
   により、前記コスト（ｃｏｓｔ）を最小とする各基底ベクトルの要素を、前記整数精度の直交変換基底として用いる、ことを特徴とする符号化装置。
2. 請求項１に記載の符号化装置において、
   ａをＮとすることを特徴とする符号化装置。
3. 請求項１または２に記載の符号化装置において、
   ｉを２とし、ｊを２以外の偶数値とすることを特徴とする符号化装置。
4. 請求項３に記載の符号化装置において、
   前記基底ベクトルｘｉ，ｘｊが、第１番目から数えて複数個の要素から構成される場合、前記数式の内積演算は、前記複数個の要素のうち、第１番目から複数個の半分までの要素から構成されるベクトルｘｉ’，ｘｊ’にて行われる、ことを特徴とする符号化装置。
5. 請求項１から４までのいずれか一項に記載の符号化装置において、
   前記直交変換部は、以下の１６×１６要素からなる整数ＤＣＴ基底
   

   

   を用いて、前記入力信号を直交変換することを特徴とする符号化装置。
6. 請求項１から４までのいずれか一項に記載の符号化装置において、
   前記直交変換部は、以下の３２×３２要素からなる整数ＤＣＴ基底
   

   

   を用いて、前記入力信号を直交変換することを特徴とする符号化装置。
7. 請求項１から６までのいずれか一項に記載の符号化装置により出力された符号化信号を入力し、前記符号化信号を逆量子化して逆直交変換し、復号信号を生成する復号装置において、
   整数精度の逆直交変換基底を用いて、前記逆量子化した信号を逆直交変換する逆直変換部を備え、
   前記逆直交変換部は、前記符号化装置の直交変換部にて用いる整数精度の直交変換基底の転置行列を、前記整数精度の逆直交変換基底として用いる、ことを特徴とする復号装置。
8. コンピュータを、請求項１から６までのいずれか一項に記載の符号化装置として機能させるためのプログラム。
9. コンピュータを、請求項７に記載の復号装置として機能させるためのプログラム。

Images