JP5878792B2

JP5878792B2 - 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム

Info

Publication number: JP5878792B2
Application number: JP2012044167A
Authority: JP
Inventors: 圭河村; 内藤　整; 整内藤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2012-02-29
Filing date: 2012-02-29
Publication date: 2016-03-08
Anticipated expiration: 2032-02-29
Also published as: JP2013183207A

Description

本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムに関する。

非特許文献１には、動き補償残差に対する変換方式として、１次元ＤＣＴ（１次元離散コサイン変換）と、２次元ＤＣＴ（２次元離散コサイン変換）と、が示されている。そして、１次元ＤＣＴの概要として、以下の２つが示されている。

１つ目は、動き補償残差の自己相関についてである。動き補償残差には、オブジェクト境界などに起因するエッジ成分が多く含まれているため、残差信号は、エッジに沿った１次元の自己相関が高いとも言い得る。このため、エッジに沿って１次元ＤＣＴを適用した場合には、冗長度を削減できるが、エッジ方向に対して垂直な方向に１次元ＤＣＴを適用した場合には、信号が分散して冗長度を増加させることとなる。

２つ目は、エッジに沿った１次元ＤＣＴを適用する手法についてである。エッジの方向は一般的には多岐にわたるものであるが、ここでは、変換ブロック内で一方向にのみ存在するものと仮定する。例えば、図６の（ａ）に示すようにエッジが画素ｂ１〜ｂ４に沿って存在しているものとすると、図６の（ｂ）に示すように画素を並べ替えて、図６の（ｂ）中縦方向に１次元ＤＣＴを適用する。

上述の画素の並べ替えの一例を図７に示す。これら画素の並べ替えは、置換行列を用いることで実現できるため、置換行列を予め複数定義しておく。また、複数の置換行列のそれぞれに、固有の識別子として添字を付与しており、添字を１つ決めると、その添字に一意に対応した置換行列を１つ求めることができるようになっている。

非特許文献２には、標準動画像符号化方式が示されており、ピクチャ単位の符号化情報としてＰＰＳ（ピクチャーパラメータセット）と、スライス単位の符号化情報としてＳＨ（スライスヘッダ）と、について示されている。

F. Kamisli and J. Lim, "Transforms for the motion compensation residual," ICASSP 2009. ISO/IEC 14496-10 - MPEG-4 Part 10, Advanced Video Coding.

非特許文献１によれば、符号化装置から復号装置には、サイド情報として、変換ブロックごとに用いられた置換行列を示す添字が伝送される。このため、置換行列そのものを伝送する場合と比べると符号量を削減できるが、置換行列を示す添字を変換ブロックごとに伝送するため、符号量を十分には削減できない場合があった。

また、オブジェクト境界に起因するエッジ成分が動きボケの影響で動き補償残差にほとんど含まれない動画像では、非特許文献１の１次元ＤＣＴを適用する前提が成り立たないため、２次元ＤＣＴが適用される確率が高くなる。これによれば、サイド情報が増加してしまい、符号量が増加してしまう場合があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、動画像符号化装置から動画像復号装置に伝送するサイド情報の増加を抑制して、符号化性能を向上できる動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。

（１）本発明は、動画像（例えば、後述の入力画像に相当）を符号化する動画像符号化装置であって、予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた複数の添字と、を記憶する符号化側記憶手段（例えば、後述の符号化側記憶部に相当）と、前記複数の基底のそれぞれについて、各変換ブロックに適用して変換係数を求める適用手段（例えば、図１の変換部３およびコスト算出部６に相当）と、前記適用手段による適用結果を用いて、前記複数の基底のうち適用するものを変換ブロックごとに決定し、決定した基底に対応付けられた添字を変換添字候補として変換ブロックごとに決定する決定手段（例えば、図１のコスト算出部６に相当）と、前記決定手段による決定結果に基づいて、符号化情報（例えば、図１のスライスヘッダに相当）を生成する符号化情報生成手段（例えば、図１のコスト算出部６に相当）と、前記決定手段による決定結果に基づいて、符号化データ（例えば、図１のビットストリームに相当）を生成する符号化手段（例えば、図１のエントロピー符号化部５に相当）と、を備え、前記符号化側記憶手段に記憶される複数の基底は、１次元ＤＣＴ（１次元離散コサイン変換）に関する複数種類の基底と、２次元ＤＣＴ（２次元離散コサイン変換）に関する１種類の基底と、で構成され、前記決定手段は、前記適用手段による適用結果に基づいて、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用するのか、２次元ＤＣＴのみを適用するのか、を決定し、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると決定した場合には、前記複数の基底のうち適用するものを変換ブロックごとに決定し、決定した基底に対応付けられた添字を変換添字候補として変換ブロックごとに決定し、２次元ＤＣＴのみを適用すると決定した場合には、２次元ＤＣＴに関する基底に対応付けられた添字を変換添字候補として全ての変換ブロックに対して決定し、前記符号化情報生成手段は、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると前記決定手段により決定された場合には、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報を含む前記符号化情報を生成し、２次元ＤＣＴのみを適用すると前記決定手段により決定された場合には、２次元ＤＣＴのみを適用することを示す情報を含む前記符号化情報を生成し、前記符号化手段は、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると前記決定手段により決定された場合には、前記決定手段により決定された変換ブロックごとの変換添字候補と、前記符号化情報と、を含む符号化データを生成し、２次元ＤＣＴのみを適用すると前記決定手段により決定された場合には、前記符号化情報を含む符号化データを生成することを特徴とする動画像符号化装置を提案している。

この発明によれば、動画像を符号化する動画像符号化装置に、符号化側記憶手段、適用手段、決定手段、符号化情報生成手段、および符号化手段を設けた。そして、符号化側記憶手段により、予め定められた複数の基底と、これら複数の基底のそれぞれを識別可能に設けられた複数の添字と、を記憶することとした。また、符号化側記憶手段に記憶される複数の基底は、１次元ＤＣＴ（１次元離散コサイン変換）に関する複数種類の基底と、２次元ＤＣＴ（２次元離散コサイン変換）に関する１種類の基底と、で構成されるものとした。また、適用手段により、複数の基底のそれぞれについて、各変換ブロックに適用して変換係数を求めることとした。また、決定手段により、適用手段による適用結果を用いて、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用するのか、２次元ＤＣＴのみを適用するのか、を決定することとした。また、決定手段により、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると決定した場合には、複数の基底のうち適用するものを変換ブロックごとに決定し、決定した基底に対応付けられた添字を変換添字候補として変換ブロックごとに決定し、２次元ＤＣＴのみを適用すると決定した場合には、２次元ＤＣＴに関する基底に対応付けられた添字を変換添字候補として全ての変換ブロックに対して決定することとした。また、符号化情報生成手段により、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると決定手段により決定された場合には、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報を含む符号化情報を生成することとした。また、符号化情報生成手段により、２次元ＤＣＴのみを適用すると決定手段により決定された場合には、２次元ＤＣＴのみを適用することを示す情報を含む符号化情報を生成することとした。また、符号化手段により、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると決定手段により決定された場合には、決定手段により決定された変換ブロックごとの変換添字候補と、符号化情報と、を含む符号化データを生成し、２次元ＤＣＴのみを適用すると決定手段により決定された場合には、符号化情報を含む符号化データを生成することとした。

このため、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用するのか、２次元ＤＣＴのみを適用するのか、を決定する。そして、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると決定した場合には、変換ブロックごとに決定した変換添字候補と、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報を含む符号化情報と、を含む符号化データを生成する。一方、２次元ＤＣＴのみを適用すると決定した場合には、２次元ＤＣＴのみを適用することを示す情報を含む符号化情報を含む符号化データを生成する。

このため、２次元ＤＣＴのみを適用すると決定した場合には、変換ブロックごとの変換添字候補が符号化データには含まれないことになる。したがって、動画像符号化装置から動画像復号装置に伝送するサイド情報の増加を抑制でき、符号化性能を向上できる。

（２）本発明は、（１）の動画像符号化装置について、前記決定手段は、変換ブロックごとに、前記複数の基底のそれぞれを適用した場合の符号量（例えば、後述の発生符号量に相当）を求め、求めた符号量を用いて前記変換添字候補を決定することを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）の動画像符号化装置において、決定手段により、変換ブロックごとに、複数の基底のそれぞれを適用した場合の符号量を求め、求めた符号量を用いて変換添字候補を決定することとした。このため、変換ブロックごとの符号量が少なくなるように、変換ブロックごとに、適用する基底を決定することができる。したがって、符号化性能をさらに向上できる。

（３）本発明は、（１）または（２）の動画像符号化装置について、前記決定手段は、変換ブロックごとに、前記複数の基底のそれぞれを適用して符号化した後に復号して復号画像を生成し、当該復号画像と前記動画像との差分（例えば、後述の符号化誤差に相当）を用いて前記変換添字候補を決定することを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）または（２）の動画像符号化装置において、決定手段により、変換ブロックごとに、複数の基底のそれぞれを適用して符号化した後に復号して復号画像を生成し、復号画像と動画像との差分を用いて変換添字候補を決定することとした。このため、動画像に対する復号画像の変換ブロックごとの劣化が抑制されるように、変換ブロックごとに、適用する基底を決定することができる。したがって、符号化性能をさらに向上できる。

（４）本発明は、（１）〜（３）のいずれかの動画像符号化装置について、前記決定手段は、前記１次元ＤＣＴに関する複数種類の基底のうち、前記変換添字候補として決定することのできる添字を、予め定め、前記適用手段による適用結果に基づいて、前記１次元ＤＣＴに関する複数種類の基底のうち前記変換添字候補として決定することができると予め定めたものと、前記２次元ＤＣＴに関する１種類の基底と、中から前記変換添字候補を決定することを特徴とする動画像符号化装置を提案している。

ここで、符号化データを生成する動画像符号化装置と、この符号化データを復号する動画像復号装置とでは、同一の変換ブロックに対して同一の基底を適用する。このため、動画像復号装置は、動画像符号化装置において変換ブロックごとに適用され得る全ての基底を、認識できている必要がある。したがって、動画像符号化装置は、変換ブロックごとに適用することのできる全ての基底についての情報を、予め動画像復号装置に伝送しておく必要がある。

そこで、この発明によれば、（１）〜（３）のいずれかの動画像符号化装置において、決定手段により、まず、１次元ＤＣＴに関する複数種類の基底のうち、変換添字候補として決定することのできる添字を、予め定めることとした。次に、適用手段による適用結果に基づいて、１次元ＤＣＴに関する複数種類の基底のうち変換添字候補として決定することができると予め定めたものと、２次元ＤＣＴに関する１種類の基底と、中から変換添字候補を決定することとした。これによれば、動画像符号化装置が変換ブロックごとに適用することのできる基底の種類は、限定される。このため、動画像符号化装置から動画像復号装置に伝送する基底についての情報量を、削減できるので、符号化性能をさらに向上できる。

（５）本発明は、（１）〜（４）のいずれかの動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、前記複数の基底および前記複数の添字を記憶する復号側記憶手段（例えば、後述の復号側記憶部に相当）と、前記符号化データを復号して、前記変換添字候補および前記符号化情報を取得する復号手段（例えば、図５のエントロピー復号部１０１に相当）と、前記復号手段により取得された変換添字候補と、前記復号手段により取得された符号化情報と、に基づいて変換添字を取得する添字復号手段（例えば、図５の添字復号部１０３に相当）と、を備え、前記添字復号手段は、前記復号手段により取得された符号化情報に、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報が含まれている場合には、変換ブロックごとに、前記復号手段により取得された変換添字候補を前記変換添字として取得し、前記復号手段により取得された符号化情報に、２次元ＤＣＴのみを適用することを示す情報が含まれている場合には、全ての変換ブロックに対して、前記復号側記憶手段に記憶されている複数の添字のうち、前記２次元ＤＣＴに関する１種類の基底に対応付けられたものを、前記変換添字として取得することを特徴とする動画像復号装置を提案している。

この発明によれば、（１）〜（４）のいずれかの動画像符号化装置において生成された符号化データを復号する動画像復号装置に、復号側記憶手段、復号手段、および添字復号手段を設けた。そして、復号側記憶手段により、複数の基底および複数の添字を記憶することとした。また、復号手段により、符号化データを復号して、変換添字候補および符号化情報を取得することとした。また、添字復号手段により、復号手段により取得された符号化情報に、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報が含まれている場合には、変換ブロックごとに、復号手段により取得された変換添字候補を変換添字として取得することとした。また、添字復号手段により、復号手段により取得された符号化情報に、２次元ＤＣＴのみを適用することを示す情報が含まれている場合には、全ての変換ブロックに対して、復号側記憶手段に記憶されている複数の添字のうち、２次元ＤＣＴに関する１種類の基底に対応付けられたものを、変換添字として取得することとした。

このため、変換ブロックごとに、動画像符号化装置で適用された基底と同一の基底を変換添字として取得して、符号化データの復号に用いることができる。

（６）本発明は、（５）の動画像復号装置について、前記復号手段は、前記符号化情報を取得した後に前記動画像復号装置が受信した前記符号化データを復号して、前記変換添字候補を取得することを特徴とする動画像復号装置を提案している。

この発明によれば、（５）の動画像復号装置において、復号手段により、符号化情報を取得した後に動画像復号装置が受信した符号化データを復号して、変換添字候補を取得することとした。これによれば、上述した効果と同様の効果を奏することができる。

（７）本発明は、符号化側記憶手段（例えば、後述の符号化側記憶部に相当）、適用手段（例えば、図１の変換部３およびコスト算出部６に相当）、決定手段（例えば、図１のコスト算出部６に相当）、符号化情報生成手段（例えば、図１のコスト算出部６に相当）、および符号化手段（例えば、図１のエントロピー符号化部５に相当）を備え、動画像（例えば、後述の入力画像に相当）を符号化する動画像符号化装置における動画像復号方法であって、前記符号化側記憶手段が、予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた複数の添字と、を記憶する第１のステップと、前記適用手段が、前記複数の基底のそれぞれについて、各変換ブロックに適用して変換係数を求める第２のステップと、前記決定手段が、前記適用手段による適用結果を用いて、前記複数の基底のうち適用するものを変換ブロックごとに決定し、決定した基底に対応付けられた添字を変換添字候補として変換ブロックごとに決定する第３のステップと、前記符号化情報生成手段が、前記決定手段による決定結果に基づいて、符号化情報（例えば、図１のスライスヘッダに相当）を生成する第４のステップと、前記符号化手段が、前記決定手段による決定結果に基づいて、符号化データ（例えば、図１のビットストリームに相当）を生成する第５のステップと、を備え、前記符号化側記憶手段に記憶される複数の基底は、１次元ＤＣＴ（１次元離散コサイン変換）に関する複数種類の基底と、２次元ＤＣＴ（２次元離散コサイン変換）に関する１種類の基底と、で構成され、前記第３のステップでは、前記決定手段が、前記適用手段による適用結果に基づいて、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用するのか、２次元ＤＣＴのみを適用するのか、を決定し、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると決定した場合には、前記複数の基底のうち適用するものを変換ブロックごとに決定し、決定した基底に対応付けられた添字を変換添字候補として変換ブロックごとに決定し、２次元ＤＣＴのみを適用すると決定した場合には、２次元ＤＣＴに関する基底に対応付けられた添字を変換添字候補として全ての変換ブロックに対して決定し、前記第４のステップでは、符号化情報生成手段が、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると前記決定手段により決定された場合には、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報を含む前記符号化情報を生成し、２次元ＤＣＴのみを適用すると前記決定手段により決定された場合には、２次元ＤＣＴのみを適用することを示す情報を含む前記符号化情報を生成し、前記第５のステップでは、前記符号化手段が、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると前記決定手段により決定された場合には、前記決定手段により決定された変換ブロックごとの変換添字候補と、前記符号化情報と、を含む符号化データを生成し、２次元ＤＣＴのみを適用すると前記決定手段により決定された場合には、前記符号化情報を含む符号化データを生成することを特徴とする動画像符号化方法を提案している。

この発明によれば、符号化側記憶手段により、予め定められた複数の基底と、これら複数の基底のそれぞれを識別可能に設けられた複数の添字と、を記憶することとした。また、符号化側記憶手段に記憶される複数の基底は、１次元ＤＣＴ（１次元離散コサイン変換）に関する複数種類の基底と、２次元ＤＣＴ（２次元離散コサイン変換）に関する１種類の基底と、で構成されるものとした。また、適用手段により、複数の基底のそれぞれについて、各変換ブロックに適用して変換係数を求めることとした。また、決定手段により、適用手段による適用結果を用いて、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用するのか、２次元ＤＣＴのみを適用するのか、を決定することとした。また、決定手段により、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると決定した場合には、複数の基底のうち適用するものを変換ブロックごとに決定し、決定した基底に対応付けられた添字を変換添字候補として変換ブロックごとに決定し、２次元ＤＣＴのみを適用すると決定した場合には、２次元ＤＣＴに関する基底に対応付けられた添字を変換添字候補として全ての変換ブロックに対して決定することとした。また、符号化情報生成手段により、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると決定手段により決定された場合には、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報を含む符号化情報を生成することとした。また、符号化情報生成手段により、２次元ＤＣＴのみを適用すると決定手段により決定された場合には、２次元ＤＣＴのみを適用することを示す情報を含む符号化情報を生成することとした。また、符号化手段により、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると決定手段により決定された場合には、決定手段により決定された変換ブロックごとの変換添字候補と、符号化情報と、を含む符号化データを生成し、２次元ＤＣＴのみを適用すると決定手段により決定された場合には、符号化情報を含む符号化データを生成することとした。このため、上述した効果と同様の効果を奏することができる。

（８）本発明は、復号側記憶手段（例えば、後述の復号側記憶部に相当）、復号手段（例えば、図５のエントロピー復号部１０１に相当）、および添字復号手段（例えば、図５の添字復号部１０３に相当）を備え、（７）に記載の動画像符号化装置において生成された符号化データを復号する動画像復号装置における動画像復号方法であって、前記復号側記憶手段が、前記複数の基底および前記複数の添字を記憶する第６のステップと、前記復号手段が、前記符号化データを復号して、前記変換添字候補および前記符号化情報を取得する第７のステップと、前記添字復号手段が、前記復号手段により取得された変換添字候補と、前記復号手段により取得された符号化情報と、に基づいて変換添字を取得する第８のステップと、を備え、前記第７のステップでは、前記添字復号手段が、前記復号手段により取得された符号化情報に、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報が含まれている場合には、変換ブロックごとに、前記復号手段により取得された変換添字候補を前記変換添字として取得し、前記復号手段により取得された符号化情報に、２次元ＤＣＴのみを適用することを示す情報が含まれている場合には、全ての変換ブロックに対して、前記復号側記憶手段に記憶されている複数の添字のうち、前記２次元ＤＣＴに関する１種類の基底に対応付けられたものを、前記変換添字として取得することを特徴とする動画像復号方法を提案している。

この発明によれば、復号側記憶手段により、複数の基底および複数の添字を記憶することとした。また、復号手段により、符号化データを復号して、変換添字候補および符号化情報を取得することとした。また、添字復号手段により、復号手段により取得された符号化情報に、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報が含まれている場合には、変換ブロックごとに、復号手段により取得された変換添字候補を変換添字として取得することとした。また、添字復号手段により、復号手段により取得された符号化情報に、２次元ＤＣＴのみを適用することを示す情報が含まれている場合には、全ての変換ブロックに対して、復号側記憶手段に記憶されている複数の添字のうち、２次元ＤＣＴに関する１種類の基底に対応付けられたものを、変換添字として取得することとした。このため、上述した効果と同様の効果を奏することができる。

（９）本発明は、符号化側記憶手段（例えば、後述の符号化側記憶部に相当）、適用手段（例えば、図１の変換部３およびコスト算出部６に相当）、決定手段（例えば、図１のコスト算出部６に相当）、符号化情報生成手段（例えば、図１のコスト算出部６に相当）、および符号化手段（例えば、図１のエントロピー符号化部５に相当）を備え、動画像（例えば、後述の入力画像に相当）を符号化する動画像符号化装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記符号化側記憶手段が、予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた複数の添字と、を記憶する第１のステップと、前記適用手段が、前記複数の基底のそれぞれについて、各変換ブロックに適用して変換係数を求める第２のステップと、前記決定手段が、前記適用手段による適用結果を用いて、前記複数の基底のうち適用するものを変換ブロックごとに決定し、決定した基底に対応付けられた添字を変換添字候補として変換ブロックごとに決定する第３のステップと、前記符号化情報生成手段が、前記決定手段による決定結果に基づいて、符号化情報（例えば、図１のスライスヘッダに相当）を生成する第４のステップと、前記符号化手段が、前記決定手段による決定結果に基づいて、符号化データ（例えば、図１のビットストリームに相当）を生成する第５のステップと、をコンピュータに行わせ、前記符号化側記憶手段に記憶される複数の基底は、１次元ＤＣＴ（１次元離散コサイン変換）に関する複数種類の基底と、２次元ＤＣＴ（２次元離散コサイン変換）に関する１種類の基底と、で構成され、前記第３のステップでは、前記決定手段が、前記適用手段による適用結果に基づいて、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用するのか、２次元ＤＣＴのみを適用するのか、を決定し、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると決定した場合には、前記複数の基底のうち適用するものを変換ブロックごとに決定し、決定した基底に対応付けられた添字を変換添字候補として変換ブロックごとに決定し、２次元ＤＣＴのみを適用すると決定した場合には、２次元ＤＣＴに関する基底に対応付けられた添字を変換添字候補として全ての変換ブロックに対して決定し、前記第４のステップでは、符号化情報生成手段が、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると前記決定手段により決定された場合には、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報を含む前記符号化情報を生成し、２次元ＤＣＴのみを適用すると前記決定手段により決定された場合には、２次元ＤＣＴのみを適用することを示す情報を含む前記符号化情報を生成し、前記第５のステップでは、前記符号化手段が、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると前記決定手段により決定された場合には、前記決定手段により決定された変換ブロックごとの変換添字候補と、前記符号化情報と、を含む符号化データを生成し、２次元ＤＣＴのみを適用すると前記決定手段により決定された場合には、前記符号化情報を含む符号化データを生成するためのプログラムを提案している。

この発明によれば、プログラムを実行することで、符号化側記憶手段により、予め定められた複数の基底と、これら複数の基底のそれぞれを識別可能に設けられた複数の添字と、を記憶することとした。また、符号化側記憶手段に記憶される複数の基底は、１次元ＤＣＴ（１次元離散コサイン変換）に関する複数種類の基底と、２次元ＤＣＴ（２次元離散コサイン変換）に関する１種類の基底と、で構成されるものとした。また、適用手段により、複数の基底のそれぞれについて、各変換ブロックに適用して変換係数を求めることとした。また、決定手段により、適用手段による適用結果を用いて、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用するのか、２次元ＤＣＴのみを適用するのか、を決定することとした。また、決定手段により、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると決定した場合には、複数の基底のうち適用するものを変換ブロックごとに決定し、決定した基底に対応付けられた添字を変換添字候補として変換ブロックごとに決定し、２次元ＤＣＴのみを適用すると決定した場合には、２次元ＤＣＴに関する基底に対応付けられた添字を変換添字候補として全ての変換ブロックに対して決定することとした。また、符号化情報生成手段により、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると決定手段により決定された場合には、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報を含む符号化情報を生成することとした。また、符号化情報生成手段により、２次元ＤＣＴのみを適用すると決定手段により決定された場合には、２次元ＤＣＴのみを適用することを示す情報を含む符号化情報を生成することとした。また、符号化手段により、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると決定手段により決定された場合には、決定手段により決定された変換ブロックごとの変換添字候補と、符号化情報と、を含む符号化データを生成し、２次元ＤＣＴのみを適用すると決定手段により決定された場合には、符号化情報を含む符号化データを生成することとした。このため、上述した効果と同様の効果を奏することができる。

（１０）本発明は、復号側記憶手段（例えば、後述の復号側記憶部に相当）、復号手段（例えば、図５のエントロピー復号部１０１に相当）、および添字復号手段（例えば、図５の添字復号部１０３に相当）を備え、（９）に記載の動画像符号化装置において生成された符号化データを復号する動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記復号側記憶手段が、前記複数の基底および前記複数の添字を記憶する第６のステップと、前記復号手段が、前記符号化データを復号して、前記変換添字候補および前記符号化情報を取得する第７のステップと、前記添字復号手段が、前記復号手段により取得された変換添字候補と、前記復号手段により取得された符号化情報と、に基づいて変換添字を取得する第８のステップと、をコンピュータに実行させ、前記第７のステップでは、前記添字復号手段が、前記復号手段により取得された符号化情報に、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報が含まれている場合には、変換ブロックごとに、前記復号手段により取得された変換添字候補を前記変換添字として取得し、前記復号手段により取得された符号化情報に、２次元ＤＣＴのみを適用することを示す情報が含まれている場合には、全ての変換ブロックに対して、前記復号側記憶手段に記憶されている複数の添字のうち、前記２次元ＤＣＴに関する１種類の基底に対応付けられたものを、前記変換添字として取得するためのプログラムを提案している。

この発明によれば、プログラムを実行することで、復号側記憶手段により、複数の基底および複数の添字を記憶することとした。また、復号手段により、符号化データを復号して、変換添字候補および符号化情報を取得することとした。また、添字復号手段により、復号手段により取得された符号化情報に、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報が含まれている場合には、変換ブロックごとに、復号手段により取得された変換添字候補を変換添字として取得することとした。また、添字復号手段により、復号手段により取得された符号化情報に、２次元ＤＣＴのみを適用することを示す情報が含まれている場合には、全ての変換ブロックに対して、復号側記憶手段に記憶されている複数の添字のうち、２次元ＤＣＴに関する１種類の基底に対応付けられたものを、変換添字として取得することとした。このため、上述した効果と同様の効果を奏することができる。

本発明によれば、動画像符号化装置から動画像復号装置に伝送するサイド情報の増加を抑制して、符号化性能を向上できる。

本発明の一実施形態に係る動画像符号化装置の構成を示すブロック図である。前記動画像符号化装置が備える変換部の動作を説明するための図である。前記動画像符号化装置が備える逆変換部の動作を説明するための図である。前記動画像符号化装置から出力されるスライスヘッダの一部を示す図である。本発明の一実施形態に係る動画像復号装置の構成を示すブロック図である。画素の並べ替えについて説明するための図である。画素の並べ替えについて説明するための図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

［動画像符号化装置ＡＡの構成］
図１は、本発明の一実施形態に係る動画像符号化装置ＡＡの構成を示すブロック図である。動画像符号化装置ＡＡは、動き補償部１、添字候補部２、変換部３、逆変換部４、エントロピー符号化部５、コスト算出部６、および図示しない符号化側記憶部を備える。

符号化側記憶部は、予め定められた複数の基底と、これら複数の基底のそれぞれを識別可能に設けられた複数の添字と、を記憶している。ここで、複数の基底は、１次元ＤＣＴまたは２次元ＤＣＴと、置換行列と、で構成されている。また、置換行列は、図６を用いて上述したようにエッジに沿った画素を一列に並べ替えるために、変換ブロックサイズに応じて予め定められている。すなわち、置換行列は、変換ブロックに含まれるエッジ方向に対応している。また、１次元ＤＣＴは、変換ブロックサイズに応じて定められている。なお、１次元ＤＣＴは、変換ブロックの大きさ、すなわち係数の個数にのみ依存するため、置換行列が定まれば、これに応じて１次元ＤＣＴも定まることとなる。また、２次元ＤＣＴは、エッジ方向を考慮しないために置換行列はなく、変換ブロックサイズに応じて１つ定められている。

動き補償部１には、入力画像およびデコード画像が入力される。ここで、デコード画像とは、デコード済みのフレームのことである。この動き補償部１は、これら入力に基づいて変換ブロックにおける動きベクトルを求め、求めた動きベクトルを用いて動き補償の参照ブロックを決定し、決定した参照ブロックおよび動きベクトルを出力する。

添字候補部２には、コスト算出部６から出力された後述の選択信号が入力される。この添字候補部２は、変換ブロックごとに、選択信号に応じて複数の基底の中から最適な１つを決定し、決定した基底に対応付けられた添字を出力する。

変換部３には、添字候補部２から出力された添字が入力されるとともに、入力画像と、動き補償部１から出力された参照ブロックと、の差分が入力される。この変換部３は、変換ブロックに対応した基底を用いて、入力画像と参照ブロックとの差分に対して処理を行って、変換係数を出力する。変換部３の具体的な動作については、図２を用いて以下に説明する。

図２では、２次元ＤＣＴに関する１種類の基底と、１次元ＤＣＴに関するＮ種類の基底（Ｎは、Ｎ≧１を満たす整数）と、が符号化側記憶部に記憶されている場合を示している。変換部３は、まず、添字候補部２から出力された添字に対応付けられた基底を、符号化側記憶部に記憶されている複数の基底の中から選び出す。次に、選び出した基底が２次元ＤＣＴに関するものである場合には、この選び出した基底を用いて、入力画像と参照ブロックとの差分に対して２Ｄ変換および量子化を適用して、変換係数として出力する。また、選び出した基底が１次元ＤＣＴに関するものである場合には、この選び出した基底を用いて、入力画像と参照ブロックとの差分に対して置換、１Ｄ変換、量子化を適用して、変換係数として出力する。

図１に戻って、逆変換部４には、添字候補部２から出力された添字と、変換部３から出力された変換係数と、が入力される。この逆変換部４は、変換ブロックに対応した基底を用いて、変換部３から出力された変換係数に対して処理を行って、出力する。逆変換部４からの出力と、動き補償部１から出力された参照ブロックと、の和は、デコード画像として動き補償部１およびコスト算出部６に入力される。逆変換部４の具体的な動作については、図３を用いて以下に説明する。

図３では、図２と同様に、２次元ＤＣＴに関する１種類の基底と、１次元ＤＣＴに関するＮ種類の基底と、が符号化側記憶部に記憶されている場合を示している。逆変換部４は、まず、添字候補部２から出力された添字に対応付けられた基底を、符号化側記憶部に記憶されている複数の基底の中から選び出す。次に、選び出した基底が２次元ＤＣＴに関するものである場合には、この選び出した基底を用いて、変換部３から出力された変換係数に対して逆量子化および２Ｄ逆変換を適用する。また、選び出した基底が１次元ＤＣＴに関するものである場合には、この選び出した基底を用いて、変換部３から出力された変換係数に対して逆量子化、１Ｄ逆変換、逆置換を適用する。

図１に戻って、コスト算出部６には、動き補償部１に入力されるデコード画像と、入力画像と、エントロピー符号化部５から出力されたビットストリームと、が入力される。このコスト算出部６は、変換ブロックごとに、最適な基底を決定する。

具体的には、コスト算出部６は、まず、１次元ＤＣＴに関する基底および２次元ＤＣＴに関する基底ごとに、各変換ブロックに適用した場合のコスト値を、数式（１）を用いて算出する。そして、変換ブロックごとに、コスト値が最小となる基底を求め、各変換ブロックのコスト値の最小値を、フレーム全体で合算する。これによれば、処理フレームに対して１Ｄ変換および２Ｄ変換を混在して適用した場合のコスト値が求められることになる。

なお、数式（１）において、発生符号量とは、ビットストリームの長さのことである。また、λは、予め定められた係数のことである。また、符号化誤差とは、入力画像と復号画像との差分のことである。また、復号画像とは、コスト値を算出する基底を用いて入力画像を符号化した後に、符号化した結果を復号することにより生成されるもののことである。

また、コスト算出部６は、２次元ＤＣＴに関する基底を変換ブロックごとに適用した場合のコスト値を、数式（１）を用いて算出する。そして、求めたコスト値を、フレーム全体で合算する。これによれば、処理フレームに対して２Ｄ変換のみを適用した場合のコスト値が求められることになる。

コスト算出部６は、次に、処理フレームに対して１Ｄ変換および２Ｄ変換を混在して適用した場合のコスト値と、処理フレームに対して２Ｄ変換のみを適用した場合のコスト値と、のうち、コスト値の小さい方を処理フレームに対して適用することとする。具体的には、処理フレームに対して１Ｄ変換および２Ｄ変換を混在して適用した場合のコスト値の方が小さい場合には、変換ブロックごとにコスト値が最小となる基底を用いて変換を行うものと決定し、決定した基底に対応付けられた添字を、上述の選択信号として出力する。一方、処理フレームに対して２Ｄ変換のみを適用した場合のコスト値の方が小さい場合には、処理フレームに対して２次元ＤＣＴに関する基底を用いて変換を行うものと決定し、決定した基底に対応付けられた添字を、上述の選択信号として出力する。

また、コスト算出部６は、図４に示すＳＨ（スライスヘッダ）のフラグ「ｔｒａｎｓ＿ｄｉｍ＿ｔｙｐｅ」に、変換種別を示す値を記述する。

図４は、動画像符号化装置ＡＡから出力されるスライスヘッダの一部を示す図である。フラグ「ｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅ」は、スライス中に存在する最初のマクロブロックが、画面全体では何番目に該当するかを示す。フラグ「ｓｌｉｃｅ＿ｔｙｐｅ」は、スライスの種類を示すもので、Ｉスライス、Ｐスライス、Ｂスライスのいずれかを示す。フラグ「ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ」は、ＰＰＳ（ピクチャーパラメータセット）のうち、このスライスで利用する番号（ＩＤ）を示す。フラグ「ｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａ」は、スライス中のマクロブロックに適用する量子化ステップについて、現在の量子化ステップと、このスライスにおける量子化ステップと、の差を示す。

フラグ「ｔｒａｎｓ＿ｄｉｍ＿ｔｙｐｅ」は、変換種別、すなわち１Ｄ変換および２Ｄ変換を混在して適用するのか、２Ｄ変換のみを適用するのか、を示す。具体的には、フラグ「ｔｒａｎｓ＿ｄｉｍ＿ｔｙｐｅ」が「０」である場合には、２Ｄ変換のみを適用することを示す。一方、フラグ「ｔｒａｎｓ＿ｄｉｍ＿ｔｙｐｅ」が「１」の場合には、１Ｄ変換および２Ｄ変換を混在して適用することを示す。

図１に戻って、エントロピー符号化部５には、変換部３から出力された変換係数と、添字候補部２から出力された変換添字と、動き補償部１から出力された動きベクトルと、変換種別を示す値が記述されたスライスヘッダと、が入力される。このエントロピー符号化部５は、入力された信号を符号化して、ビットストリームを出力する。

ただし、エントロピー符号化部５は、スライスヘッダに記述された変換種別を示す値によっては、添字候補部２から出力された変換添字をビットストリームに含めない。具体的には、エントロピー符号化部５は、スライスヘッダのフラグ「ｔｒａｎｓ＿ｄｉｍ＿ｔｙｐｅ」が「０」である場合には、符号化する信号の中から変換添字を除外して、ビットストリームを出力する。

［動画像復号装置ＢＢの構成］
図５は、本発明の一実施形態に係る動画像復号装置ＢＢの構成を示すブロック図である。動画像復号装置ＢＢは、エントロピー復号部１０１、逆変換部１０２、添字復号部１０３、動き補償部１０４、および図示しない復号側記憶部を備えており、動画像符号化装置ＡＡにおいて生成されたビットストリームを復号する。

復号側記憶部は、予め定められた複数の基底と、これら複数の基底のそれぞれを識別可能に設けられた複数の添字と、を記憶している。復号側記憶部に記憶されている複数の基底および複数の添字は、上述の符号化側記憶部に記憶されている複数の基底および複数の添字と、同一である。

エントロピー復号部１０１には、ビットストリームが入力される。このエントロピー復号部１０１は、入力されたビットストリームを復号して、変換係数、変換添字候補、スライスヘッダ、および動きベクトルを取得して出力する。なお、エントロピー復号部１０１は、変換係数および変換添字候補については、スライスヘッダを取得した後に動画像復号装置ＢＢが受信したビットストリームを復号して、取得する。

添字復号部１０３には、エントロピー復号部１０１から出力された変換添字候補およびスライスヘッダが入力される。この添字復号部１０３は、スライスヘッダに含まれる変換種別が単一種類の基底である場合、すなわち上述のコスト算出部６において２Ｄ変換のみを適用すると決定された場合には、２次元ＤＣＴに関する基底に対応付けられた添字を、変換添字候補によらず変換添字として出力する。一方、スライスヘッダに含まれる変換種別が複数種類の基底である場合、すなわち上述のコスト算出部６において１Ｄ変換および２Ｄ変換を混在して適用すると決定された場合には、変換添字候補を変換添字として出力する。

逆変換部１０２には、エントロピー復号部１０１から出力された変換係数と、添字復号部１０３から出力された変換添字と、が入力される。この逆変換部１０２は、まず、変換添字に対応付けられた基底を、上述の復号側記憶部に記憶されている複数の基底の中から選び出す。次に、選び出した基底が１次元ＤＣＴに関するものである場合には、この選び出した基底を用いて、変換係数に対して逆量子化、１Ｄ逆変換、および逆置換を適用して、動き補償残差を出力する。また、選び出した基底が２次元ＤＣＴに関するものである場合には、この選び出した基底を用いて、変換係数に対して逆量子化および２Ｄ逆変換を適用して、動き補償残差を出力する。そして、動き補償残差と、動き補償部１０４から出力された後述の動き補償信号と、を加算したものが、デコード画像として動画像復号装置ＢＢから出力される。

動き補償部１０４には、エントロピー復号部１０１から出力された動きベクトルと、デコード画像と、が入力される。この動き補償部１０４は、デコード画像に対して動きベクトル用いて動き補償を適用して、動き補償信号を出力する。

以上の動画像符号化装置ＡＡによれば、変換ブロックごとに、適用する基底を決定する。そして、フレーム内の変換ブロックのうち少なくとも一部で１次元ＤＣＴに関する基底を決定した場合には、変換ブロックごとに決定した基底に対応付けられた変換添字候補と、動画像と、決定した基底が変換ブロックごとに異なることを示す情報を含むスライスヘッダと、を符号化してビットストリームを生成する。一方、フレーム内の全ての変換ブロックにおいて２次元ＤＣＴに関する基底を決定した場合には、動画像と、決定した基底がフレーム内の全ての変換ブロックにおいて同一であることを示す情報を含むスライスヘッダと、を符号化してビットストリームを生成する。このため、フレーム内の全ての変換ブロックにおいて２次元ＤＣＴに関する基底を決定した場合には、変換添字候補がビットストリームに含まれない。したがって、動画像符号化装置ＡＡから動画像復号装置ＢＢに伝送するサイド情報の増加を抑制でき、符号化性能を向上できる。

また、動画像符号化装置ＡＡによれば、変換ブロックごとに、複数の基底のそれぞれを適用した場合の発生符号量を求め、数式（１）に示したように、求めた発生符号量を用いて、変換ブロックごとに変換添字候補を決定する。このため、変換ブロックごとの発生符号量が少なくなるように、変換ブロックごとに、適用する基底を決定することができる。したがって、符号化性能をさらに向上できる。

また、動画像符号化装置ＡＡによれば、変換ブロックごとに、複数の基底のそれぞれを適用して符号化した後に復号して復号画像を生成し、数式（１）に示したように、復号画像と入力画像との差分を用いて、変換ブロックごとに変換添字候補を決定する。このため、入力画像に対する復号画像の変換ブロックごとの劣化が抑制されるように、変換ブロックごとに、適用する基底を決定することができる。したがって、符号化性能をさらに向上できる。

また、動画像復号装置ＢＢによれば、ビットストリームを復号してスライスヘッダおよび変換添字候補を取得する。そして、スライスヘッダに含まれる変換種別が単一種類の基底である場合、すなわち上述のコスト算出部６において２Ｄ変換のみを適用すると決定された場合には、２次元ＤＣＴに関する基底に対応付けられた添字を、変換添字候補によらず変換添字とし、変換ブロックごとに適用する。一方、スライスヘッダに含まれる変換種別が複数種類の基底である場合、すなわち上述のコスト算出部６において１Ｄ変換および２Ｄ変換を混在して適用すると決定された場合には、変換添字候補を変換添字とし、変換ブロックごとに適用する。このため、変換ブロックごとに、動画像符号化装置ＡＡで適用された基底と同一の基底を適用して、符号化データを復号できる。

なお、本発明の動画像符号化装置ＡＡの処理や動画像復号装置ＢＢの処理を、コンピュータ読み取り可能な記録媒体に記憶し、記録媒体に記録されたプログラムを動画像符号化装置ＡＡや動画像復号装置ＢＢに読み込ませ、実行することによって、本発明を実現できる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置ＡＡや動画像復号装置ＢＢから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置ＡＡや動画像復号装置ＢＢにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の実施形態では、１Ｄ変換および２Ｄ変換を混在して適用するのか、２Ｄ変換のみを適用するのか、を示す情報、すなわち変換種別を、スライスヘッダに記述するものとしたが、これに限らず、例えばピクチャーパラメータセットに記述するものとしてもよい。

また、上述の実施形態では、動画像符号化装置ＡＡと動画像復号装置ＢＢとは、同一の変換ブロックに対して同一の基底を適用する。このため、動画像復号装置ＢＢは、動画像符号化装置ＡＡにおいて変換ブロックごとに適用され得る全ての基底を、認識できている必要がある。したがって、動画像符号化装置ＡＡは、変換ブロックごとに適用することのできる全ての基底についての情報を、予め動画像復号装置ＢＢに伝送しておく必要がある。そこで、例えば、コスト算出部６が選択信号として出力することのできる添字を、符号化側記憶部に記憶されている複数の添字の中から予め定めておき、コスト算出部６は、符号化側記憶部に記憶されている複数の添字のうち、選択信号として出力することができると予め定められたものの中から、選択信号として出力する添字を決定することとしてもよい。これによれば、動画像符号化装置ＡＡが変換ブロックごとに適用することのできる基底の種類は、限定される。よって、動画像符号化装置ＡＡから動画像復号装置ＢＢに伝送する基底についての情報量を、削減できるので、符号化性能をさらに向上できる。

１・・・動き補償部
２・・・添字候補部
３・・・変換部
４・・・逆変換部
５・・・エントロピー符号化部
６・・・コスト算出部
１０１・・・エントロピー復号部
１０２・・・逆変換部
１０３・・・添字復号部
１０４・・・動き補償部
ＡＡ・・・動画像符号化装置
ＢＢ・・・動画像復号装置

Claims

動画像を符号化する動画像符号化装置であって、
予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた複数の添字と、を記憶する符号化側記憶手段と、
前記複数の基底のそれぞれについて、各変換ブロックに適用して変換係数を求める適用手段と、
前記適用手段による適用結果を用いて、前記複数の基底のうち適用するものを変換ブロックごとに決定し、決定した基底に対応付けられた添字を変換添字候補として変換ブロックごとに決定する決定手段と、
前記決定手段による決定結果に基づいて、符号化情報を生成する符号化情報生成手段と、
前記決定手段による決定結果に基づいて、符号化データを生成する符号化手段と、を備え、
前記符号化側記憶手段に記憶される複数の基底は、１次元ＤＣＴ（１次元離散コサイン変換）に関する複数種類の基底と、２次元ＤＣＴ（２次元離散コサイン変換）に関する１種類の基底と、で構成され、
前記決定手段は、前記適用手段による適用結果に基づいて、
１次元ＤＣＴおよび２次元ＤＣＴを混在して適用するのか、２次元ＤＣＴのみを適用するのか、をフレームごとに決定し、
１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると決定したフレームでは、前記複数の基底のうち適用するものを変換ブロックごとに決定し、決定した基底に対応付けられた添字を変換添字候補として変換ブロックごとに決定し、
２次元ＤＣＴのみを適用すると決定したフレームでは、２次元ＤＣＴに関する基底に対応付けられた添字を変換添字候補として全ての変換ブロックに対して決定し、
前記符号化情報生成手段は、
１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると前記決定手段により決定されたフレームでは、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報を含む前記符号化情報を生成し、
２次元ＤＣＴのみを適用すると前記決定手段により決定されたフレームでは、２次元ＤＣＴのみを適用することを示す情報を含む前記符号化情報を生成し、
前記符号化手段は、
１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると前記決定手段により決定されたフレームでは、前記決定手段により決定された変換ブロックごとの変換添字候補と、前記符号化情報と、を含む符号化データを生成し、
２次元ＤＣＴのみを適用すると前記決定手段により決定されたフレームでは、前記符号化情報を含み前記変換添字候補を含まない符号化データを生成することを特徴とする動画像符号化装置。
請求項１に記載の動画像符号化装置において、
前記決定手段は、変換ブロックごとに、前記複数の基底のそれぞれを適用した場合の符号量を求め、求めた符号量を用いて前記変換添字候補を決定することを特徴とする動画像符号化装置。
請求項１または２に記載の動画像符号化装置において、
前記決定手段は、変換ブロックごとに、前記複数の基底のそれぞれを適用して符号化した後に復号して復号画像を生成し、当該復号画像と前記動画像との差分を用いて前記変換添字候補を決定することを特徴とする動画像符号化装置。
請求項１から３のいずれかに記載の動画像符号化装置において、
前記決定手段は、
前記１次元ＤＣＴに関する複数種類の基底のうち、前記変換添字候補として決定することのできる添字を、予め定め、
前記適用手段による適用結果に基づいて、前記１次元ＤＣＴに関する複数種類の基底のうち前記変換添字候補として決定することができると予め定めたものと、前記２次元ＤＣＴに関する１種類の基底と、中から前記変換添字候補を決定することを特徴とする動画像符号化装置。
請求項１から４のいずれかに記載の動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、
前記複数の基底および前記複数の添字を記憶する復号側記憶手段と、
前記符号化データを復号して、前記変換添字候補および前記符号化情報を取得する復号手段と、
前記復号手段により取得された変換添字候補と、前記復号手段により取得された符号化情報と、に基づいて変換添字を取得する添字復号手段と、を備え、
前記添字復号手段は、
前記復号手段により取得された符号化情報に、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報が含まれているフレームでは、変換ブロックごとに、前記復号手段により取得された変換添字候補を前記変換添字として取得し、
前記復号手段により取得された符号化情報に、２次元ＤＣＴのみを適用することを示す情報が含まれているフレームでは、全ての変換ブロックに対して、前記復号側記憶手段に記憶されている複数の添字のうち、前記２次元ＤＣＴに関する１種類の基底に対応付けられたものを、前記変換添字として取得することを特徴とする動画像復号装置。
請求項５に記載の動画像復号装置において、
前記復号手段は、前記符号化情報を取得した後に前記動画像復号装置が受信した前記符号化データを復号して、前記変換添字候補を取得することを特徴とする動画像復号装置。
符号化側記憶手段、適用手段、決定手段、符号化情報生成手段、および符号化手段を備え、動画像を符号化する動画像符号化装置における動画像符号化方法であって、
前記符号化側記憶手段が、予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた複数の添字と、を記憶する第１のステップと、
前記適用手段が、前記複数の基底のそれぞれについて、各変換ブロックに適用して変換係数を求める第２のステップと、
前記決定手段が、前記適用手段による適用結果を用いて、前記複数の基底のうち適用するものを変換ブロックごとに決定し、決定した基底に対応付けられた添字を変換添字候補として変換ブロックごとに決定する第３のステップと、
前記符号化情報生成手段が、前記決定手段による決定結果に基づいて、符号化情報を生成する第４のステップと、
前記符号化手段が、前記決定手段による決定結果に基づいて、符号化データを生成する第５のステップと、を備え、
前記符号化側記憶手段に記憶される複数の基底は、１次元ＤＣＴ（１次元離散コサイン変換）に関する複数種類の基底と、２次元ＤＣＴ（２次元離散コサイン変換）に関する１種類の基底と、で構成され、
前記第３のステップでは、前記決定手段が、前記適用手段による適用結果に基づいて、
１次元ＤＣＴおよび２次元ＤＣＴを混在して適用するのか、２次元ＤＣＴのみを適用するのか、をフレームごと決定し、
１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると決定したフレームでは、前記複数の基底のうち適用するものを変換ブロックごとに決定し、決定した基底に対応付けられた添字を変換添字候補として変換ブロックごとに決定し、
２次元ＤＣＴのみを適用すると決定したフレームでは、２次元ＤＣＴに関する基底に対応付けられた添字を変換添字候補として全ての変換ブロックに対して決定し、
前記第４のステップでは、符号化情報生成手段が、
１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると前記決定手段により決定されたフレームでは、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報を含む前記符号化情報を生成し、
２次元ＤＣＴのみを適用すると前記決定手段により決定されたフレームでは、２次元ＤＣＴのみを適用することを示す情報を含む前記符号化情報を生成し、
前記第５のステップでは、前記符号化手段が、
１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると前記決定手段により決定されたフレームでは、前記決定手段により決定された変換ブロックごとの変換添字候補と、前記符号化情報と、を含む符号化データを生成し、
２次元ＤＣＴのみを適用すると前記決定手段により決定されたフレームでは、前記符号化情報を含み前記変換添字候補を含まない符号化データを生成することを特徴とする動画像符号化方法。
復号側記憶手段、復号手段、および添字復号手段を備え、請求項７に記載の動画像符号化装置において生成された符号化データを復号する動画像復号装置における動画像復号方法であって、
前記復号側記憶手段が、前記複数の基底および前記複数の添字を記憶する第６のステップと、
前記復号手段が、前記符号化データを復号して、前記変換添字候補および前記符号化情報を取得する第７のステップと、
前記添字復号手段が、前記復号手段により取得された変換添字候補と、前記復号手段により取得された符号化情報と、に基づいて変換添字を取得する第８のステップと、を備え、
前記第７のステップでは、前記添字復号手段が、
前記復号手段により取得された符号化情報に、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報が含まれているフレームでは、変換ブロックごとに、前記復号手段により取得された変換添字候補を前記変換添字として取得し、
前記復号手段により取得された符号化情報に、２次元ＤＣＴのみを適用することを示す情報が含まれているフレームでは、全ての変換ブロックに対して、前記復号側記憶手段に記憶されている複数の添字のうち、前記２次元ＤＣＴに関する１種類の基底に対応付けられたものを、前記変換添字として取得することを特徴とする動画像復号方法。
符号化側記憶手段、適用手段、決定手段、符号化情報生成手段、および符号化手段を備え、動画像を符号化する動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、
前記符号化側記憶手段が、予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた複数の添字と、を記憶する第１のステップと、
前記適用手段が、前記複数の基底のそれぞれについて、各変換ブロックに適用して変換係数を求める第２のステップと、
前記決定手段が、前記適用手段による適用結果を用いて、前記複数の基底のうち適用するものを変換ブロックごとに決定し、決定した基底に対応付けられた添字を変換添字候補として変換ブロックごとに決定する第３のステップと、
前記符号化情報生成手段が、前記決定手段による決定結果に基づいて、符号化情報を生成する第４のステップと、
前記符号化手段が、前記決定手段による決定結果に基づいて、符号化データを生成する第５のステップと、をコンピュータに実行させ、
前記符号化側記憶手段に記憶される複数の基底は、１次元ＤＣＴ（１次元離散コサイン変換）に関する複数種類の基底と、２次元ＤＣＴ（２次元離散コサイン変換）に関する１種類の基底と、で構成され、
前記第３のステップでは、前記決定手段が、前記適用手段による適用結果に基づいて、
１次元ＤＣＴおよび２次元ＤＣＴを混在して適用するのか、２次元ＤＣＴのみを適用するのか、をフレームごと決定し、
１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると決定したフレームでは、前記複数の基底のうち適用するものを変換ブロックごとに決定し、決定した基底に対応付けられた添字を変換添字候補として変換ブロックごとに決定し、
２次元ＤＣＴのみを適用すると決定したフレームでは、２次元ＤＣＴに関する基底に対応付けられた添字を変換添字候補として全ての変換ブロックに対して決定し、
前記第４のステップでは、符号化情報生成手段が、
１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると前記決定手段により決定されたフレームでは、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報を含む前記符号化情報を生成し、
２次元ＤＣＴのみを適用すると前記決定手段により決定されたフレームでは、２次元ＤＣＴのみを適用することを示す情報を含む前記符号化情報を生成し、
前記第５のステップでは、前記符号化手段が、
１次元ＤＣＴおよび２次元ＤＣＴを混在して適用すると前記決定手段により決定されたフレームでは、前記決定手段により決定された変換ブロックごとの変換添字候補と、前記符号化情報と、を含む符号化データを生成し、
２次元ＤＣＴのみを適用すると前記決定手段により決定されたフレームでは、前記符号化情報を含み前記変換添字候補を含まない符号化データを生成するためのプログラム。
復号側記憶手段、復号手段、および添字復号手段を備え、請求項９に記載の動画像符号化装置において生成された符号化データを復号する動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、
前記復号側記憶手段が、前記複数の基底および前記複数の添字を記憶する第６のステップと、
前記復号手段が、前記符号化データを復号して、前記変換添字候補および前記符号化情報を取得する第７のステップと、
前記添字復号手段が、前記復号手段により取得された変換添字候補と、前記復号手段により取得された符号化情報と、に基づいて変換添字を取得する第８のステップと、をコンピュータに実行させ、
前記第７のステップでは、前記添字復号手段が、
前記復号手段により取得された符号化情報に、１次元ＤＣＴおよび２次元ＤＣＴを混在して適用することを示す情報が含まれているフレームでは、変換ブロックごとに、前記復号手段により取得された変換添字候補を前記変換添字として取得し、
前記復号手段により取得された符号化情報に、２次元ＤＣＴのみを適用することを示す情報が含まれているフレームでは、全ての変換ブロックに対して、前記復号側記憶手段に記憶されている複数の添字のうち、前記２次元ＤＣＴに関する１種類の基底に対応付けられたものを、前記変換添字として取得するためのプログラム。