JPWO2019111316A1 - 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム - Google Patents

Abstract

次世代コーデックにおいて画面間予測時に用いられる直交変換の種類を決定する決定方法を提供する。画面間予測を用いて画像を符号化する符号化方法であって、前記画面間予測の対象となる、予測ブロックを特定するステップと、前記予測ブロックの中心を通る水平線に関して対称となり、かつ、前記予測ブロックの中心を通る垂直線に関して対称となる分割方法により、前記予測ブロックを、矩形形状の複数の変換ブロックに分割するステップと、前記複数の変換ブロックそれぞれについて、前記予測ブロックの中心との位置関係から、垂直方向及び水平方向それぞれに用いられる直交変換の種類を決定するステップとを有する。

Description

本発明は、符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラムに関する。

標準化されたビデオコーデック（例えば、Ｈ．２６５／ＨＥＶＣ等）では、入力画像を符号化する際、入力画像と予測画像（画面内予測による予測画像または画面間予測による予測画像）との差から算出した予測残差信号に対して直交変換処理が実行される。

ここで、予測残差信号に対して直交変換処理を実行する場合、いずれの種類の直交変換を用いるかによって、符号化効率が変わってくることから、予測残差信号の特性に応じた種類の直交変換を決定することが望まれる。

これに対して、例えば、下記特許文献１では、画面間予測により入力画像を符号化する際に、画面間予測に用いる予測ブロックと直交変換に用いる変換ブロックとの位置関係から、直交変換の種類を絞り込む方法が提案されている。当該方法によれば、それぞれの位置関係から定まる予測残差信号の特性に応じた直交変換を選択できる。

特開２０１４−３６２７８号公報

しかしながら、Ｈ．２６５／ＨＥＶＣに続く次世代コーデックでは、直交変換の際にブロック分割を行わないことが見込まれる。このため、次世代コーデックにおいては、上記特許文献１のように、予測ブロックと変換ブロックとの位置関係から直交変換の種類を決定することができない（あえて位置関係に基づくとすれば、常に同じ１つの位置関係しかとりえない）。

加えて、上記特許文献１の場合、絞り込まれた直交変換の種類それぞれについて符号化コスト（例えば、レート歪（ＲＤ：Rate Distortion）値）を算出し、ＲＤ値を比較することで１種類の直交変換を決定するよう構成されている。このため、上記特許文献１の場合、画面間予測により入力画像を符号化する際のエンコーダ側の演算負荷が高いといった問題もある。

一つの側面では、次世代コーデックにおいて画面間予測時に用いられる直交変換の種類を決定する決定方法を提供することを目的としている。

一態様によれば、符号化方法は、以下の構成を備える。すなわち、
画面間予測を用いて画像を符号化する符号化方法であって、
前記画面間予測の対象となる、予測ブロックを特定するステップと、
前記予測ブロックの中心を通る水平線に関して対称となり、かつ、前記予測ブロックの中心を通る垂直線に関して対称となる分割方法により、前記予測ブロックを、矩形形状の複数の変換ブロックに分割するステップと、
前記複数の変換ブロックそれぞれについて、前記予測ブロックの中心との位置関係から、垂直方向及び水平方向それぞれに用いられる直交変換の種類を決定するステップとを有する。

次世代コーデックにおいて画面間予測時に用いられる直交変換の種類を決定する決定方法を提供することができる。

図１は、エンコーダ及びデコーダの適用例を示す図である。 図２は、エンコーダ及びデコーダの他の適用例を示す図である。 図３は、エンコーダのハードウェア構成の一例を示す図である。 図４は、エンコーダの機能構成の一例を示す図である。 図５は、インタ予測モードにおける予測残差信号の特性の一例を示す図である。 図６Ａは、直交変換の種類と特性とを示す図である。 図６Ｂは、直交変換の種類と特性とを示す図である。 図７は、各変換ブロックにおける予測残差信号の特性と各変換ブロックに割り当てた直交変換の種類を示す第１の図である。 図８は、各変換ブロックにおける予測残差信号の特性と各変換ブロックに割り当てた直交変換の種類を示す第２の図である。 図９は、各変換ブロックにおける予測残差信号の特性と各変換ブロックに割り当てた直交変換の種類を示す第３の図である。 図１０は、直交変換部の機能構成の一例を示す図である。 図１１は、直交変換部による直交変換処理の流れを示すフローチャートである。 図１２は、デコーダの機能構成の一例を示す図である。 図１３は、各変換ブロックにおいて算出される予測残差信号の特性と各変換ブロックに割り当てた逆直交変換の種類を示す図である。 図１４は、逆直交変換部の機能構成の一例を示す図である。 図１５は、逆直交変換部による逆直交変換処理の流れを示すフローチャートである。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

［第１の実施形態］
＜１．エンコーダ及びデコーダの適用例＞
はじめに、エンコーダ（符号化装置）及びデコーダ（復号装置）の適用例について説明する。図１は、エンコーダ及びデコーダの適用例を示す図である。

図１に示すように、エンコーダ１１０を送信装置に、デコーダ１２０を受信装置にそれぞれ配し、ネットワーク１６０を介して接続することで、エンコーダ１１０及びデコーダ１２０を適用した画像処理システム１００を形成することができる。

画像処理システム１００において、送信装置に配されたエンコーダ１１０は、入力された画像データを符号化することでデータストリーム（符号化列）を生成する。また、送信装置は生成されたデータストリームを、ネットワーク１６０を介して受信装置に送信する。

受信装置はデータストリームを受信する。また、受信装置に配されたデコーダ１２０は、データストリームを復号することで画像データを生成し、表示する。

かかる画像処理システム１００を形成することで、エンコーダ１１０及びデコーダ１２０は、例えば、インタネット分野、放送分野、通信分野等の種々の分野に適用することができる。

適用例１００ａは、画像処理システム１００をインタネット分野に適用した例を示している。適用例１００ａの場合、送信装置１１０の一例であるサーバ装置１１１より送信されたデータストリームを、受信装置１１０の一例であるパーソナルコンピュータ１２１ａ、スマート端末１２１ｂ等が受信し、表示する。これにより、パーソナルコンピュータ１２１ａやスマート端末１２１ｂのユーザは、サーバ装置１１１が保持する動画像データをインタネットを介して視聴することができる。

適用例１００ｂは、画像処理システム１００を放送分野に適用した例を示している。適用例１００ｂの場合、送信装置１１０の一例である放送用送信機１１２より送信されたデータストリームを、受信装置１１０の一例であるテレビ１２２が受信し、表示する。これにより、例えば、テレビ１２２のユーザは、放送用送信機１１２が送信する放送内容を視聴することができる。

適用例１００ｃは、画像処理システム１００を通信分野に適用した例を示している。適用例１００ｃの場合、送信装置１１０の一例であるテレビ電話機１１３より送信されたデータストリームを、受信装置１１０の一例であるテレビ電話機１２３が受信し、表示する。これにより、テレビ電話機１２３のユーザは、通話相手の顔を見ながら通話することができる。

図２は、エンコーダ及びデコーダの他の適用例を示す図である。図２に示すように、エンコーダ１１０とデコーダ１２０とを一体的に構成することで、エンコーダ１１０及びデコーダ１２０を適用した蓄積装置２００を形成することができる。

蓄積装置２００は、入力された画像データをエンコーダ１１０が符号化し、生成したデータストリームを記録媒体に格納する。また、蓄積装置２００は、記録媒体に格納されたデータストリームを、デコーダ１２０が復号することで画像データを生成し、表示する。

かかる蓄積装置２００を形成することで、エンコーダ１１０及びデコーダ１２０は、例えば、蓄積分野に適用することができる。適用例２００ａは蓄積装置２００を蓄積分野に適用した例を示している。適用例２００ａの場合、蓄積装置２００の一例であるビデオレコーダ２１１は、内蔵するエンコーダ１１０が、画像データを符号化することで生成したデータストリームを記録媒体２１２に格納する。また、ビデオレコーダ２１１は、内蔵するデコーダ１２０が、記録媒体２１２より読み出したデータストリームを復号することで生成した画像データを、モニタ２１３に表示する。これにより、ビデオレコーダ２１１のユーザは、取得した動画像データを効率的に蓄積することができる。

＜２．エンコーダ及びデコーダのハードウェア構成＞
次に、エンコーダ及びデコーダのハードウェア構成について説明する。なお、エンコーダ１１０及びデコーダ１２０は、同様のハードウェア構成を有していることから、ここでは、エンコーダ１１０のハードウェア構成について説明する。

図３は、エンコーダのハードウェア構成の一例を示す図である。図３に示すように、エンコーダ１１０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３を有する。ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３は、いわゆるコンピュータを形成する。また、エンコーダ１１０は、補助記憶装置３０４、入力装置３０５、表示装置３０６、接続装置３０７、ドライブ装置３０８を有する。なお、エンコーダ１１０の各ハードウェアは、バス３０９を介して相互に接続される。

ＣＰＵ３０１は、補助記憶装置３０４にインストールされた各種プログラム（例えば、符号化プログラム等）を実行する。

ＲＯＭ３０２は、不揮発性メモリである。ＲＯＭ３０２は、補助記憶装置３０４にインストールされた各種プログラムをＣＰＵ３０１が実行するために必要な各種プログラム、データ等を記憶する、主記憶デバイスとして機能する。具体的には、ＲＯＭ３０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を記憶する。

ＲＡＭ３０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ３０３は、補助記憶装置３０４にインストールされた各種プログラムがＣＰＵ３０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶装置３０４は、インストールされた各種プログラムや、各種プログラムを実行する際に用いる情報を記憶する補助記憶デバイスである。

入力装置３０５は、エンコーダ１１０に対して各種指示を入力する際に用いる入力デバイスである。

表示装置３０６は、エンコーダ１１０の内部情報を表示する表示デバイスである。接続装置３０７は、エンコーダ１１０が、デコーダ１２０と接続し、通信を行うための通信デバイスである。

ドライブ装置３０８はコンピュータ読み取り可能な記録媒体３１０をセットするためのデバイスである。ここでいう記録媒体３１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。あるいは、記録媒体３１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれてもよい。

なお、補助記憶装置３０４にインストールされる各種プログラムは、例えば、配布された記録媒体３１０がドライブ装置３０８にセットされ、該記録媒体３１０に記録された各種プログラムがドライブ装置３０８により読み出されることでインストールされてもよい。あるいは、補助記憶装置３０４にインストールされる各種プログラムは、接続装置３０７を介してネットワーク１６０からダウンロードされることでインストールされてもよい。

なお、図３に示すハードウェア構成は、あくまで一例にすぎず、適用形態によっては、図３に示すハードウェアの一部を除外して、あるいは他のハードウェアに置き換えてもよいことはいうまでもない。

＜３．エンコーダの機能構成＞
次に、符号化プログラムが実行されることで実現される、エンコーダ１１０の機能構成について説明する。図４は、エンコーダの機能構成の一例を示す図である。図４に示すように、エンコーダ１１０は、ブロック分割部４０１、直交変換部４０２、量子化部４０３、エントロピ符号化部４０４を有する。また、エンコーダ１１０は、逆量子化部４０５、逆直交変換部４０６、ループフィルタ部４０７、復号画像記憶部４０８、イントラ／インタ予測部４０９を有する。

ブロック分割部４０１は、入力された画像データを符号化ツリーユニット（ＣＴＵ（Coding Tree Unit））のブロックごとに、再帰的に、符号化ユニット（ＣＵ（Coding Unit））のブロックに分割する。なお、一般的な（Ｈ．２６５／ＨＥＶＣにおける）ブロック分割部では、更に、各ＣＵを予測ユニット（ＰＵ（Prediction Unit））と変換ユニット（ＴＵ（Transform Unit））のブロックに分割する。しかしながら、Ｈ．２６５／ＨＥＶＣに続く次世代コーデックの国際標準では、ＰＵ、ＴＵを廃止し、全てＣＵに分割することが見込まれている。このため、本実施形態では、ブロック分割部４０１が、ＣＴＵのブロックを、全てＣＵに分割するものとして説明する。なお、Ｈ．２６５／ＨＥＶＣに続く次世代コーデックとして検討されている内容によれば、ＣＴＵのサイズは、最大１２８画素×１２８画素以上であるので、以下では、ＣＴＵのサイズは、１２８画素×１２８画素として説明する。

直交変換部４０２は、入力された予測残差信号に対して直交変換処理を実行する。なお、一般的な（Ｈ．２６５／ＨＥＶＣにおける）直交変換部では、以下に示す種類の直交変換を用いる。
・直交変換処理を実行する対象のブロックサイズが８画素×８画素以上の場合：
インタ予測モードの場合もイントラ予測モードの場合もＤＣＴ（Discrete Cosine Transform）−ＩＩを用いる。
・直交変換処理を実行する対象のブロックサイズが４画素×４画素の場合：
イントラ予測モードの場合、ＤＳＴ（Discrete Sine Transform）−ＶＩＩを用いる。

一方、Ｈ．２６５／ＨＥＶＣに続く次世代コーデックとして検討されている内容によれば、以下に示す種類の直交変換を用いることが見込まれている。
・イントラ予測モードの場合：
ＤＣＴ−ＩＩ、ＤＳＴ−ＶＩＩ、ＤＳＴ−Ｉ、ＤＣＴ−ＶＩＩＩを用いる。
・インタ予測モードの場合：
ＤＣＴ−ＩＩ、ＤＳＴ−ＶＩＩ、ＤＣＴ−ＶＩＩＩを用いる。

したがって、以下では、直交変換部４０２が、次世代コーデックとして検討されている内容により用いることが見込まれている直交変換の種類に基づいて直交変換処理を実行するものとして説明する。なお、直交変換処理において直交変換部４０２が用いた、直交変換の種類を特定する情報（直交変換選択情報）は、直交変換処理の実行後に付帯情報としてエントロピ符号化部４０４によりデータストリームに組み込まれる。

量子化部４０３は、直交変換処理が実行された予測残差信号を量子化することで量子化信号を生成し、エントロピ符号化部４０４及び逆量子化部４０５に出力する。

エントロピ符号化部４０４は、量子化信号をエントロピ符号化することで、データストリームを生成し、出力する。

逆量子化部４０５は、量子化信号を逆量子化し、逆直交変換部４０６に出力する。逆直交変換部４０６は、逆量子化された量子化信号に対して逆直交変換処理を実行する。逆直交変換部４０６により得られた信号は、例えば、イントラ／インタ予測部４０９により動き補償された予測画像に加算されることで復号画像が生成され、ループフィルタ部４０７に入力される。

ループフィルタ部４０７は、復号画像の符号化ノイズを低減するフィルタ処理を行う。ループフィルタ部４０７がフィルタ処理を行うことで、復号画像のフレーム間で画質劣化が伝播することを防ぐことができる。復号画像記憶部４０８は、ループフィルタ部４０７によりフィルタ処理された復号画像を記憶する。

イントラ／インタ予測部４０９は、復号画像を用いて予測画像の各ＣＵのブロックを生成するイントラ予測（画面内予測）を行う。また、イントラ／インタ予測部４０９は、復号画像に基づいて動き補償を行い、予測画像の各ＣＵのブロックを生成するインタ予測（画面間予測）を行う。

更に、イントラ／インタ予測部４０９は、イントラ予測により生成された各ＣＵのブロックまたはインタ予測により生成された各ＣＵのブロックのいずれか一方を含む予測画像を出力する。

イントラ／インタ予測部４０９より出力された予測画像は、入力された画像データとの残差計算に用いられ、予測残差信号として、直交変換部４０２に入力される。また、イントラ／インタ予測部４０９より出力された予測画像に対しては、各ＣＵのブロックごとに逆直交変換部４０６により得られた信号が加算され、復号画像としてループフィルタ部４０７に入力される。

＜４．予測残差信号の特性＞
続いて、直交変換部４０２によって直交変換処理が実行される予測残差信号の特性について説明する。図５は、インタ予測モードにおける予測残差信号の特性の一例を示す図である。図５に示すように、１フレームの画像データ５００のうち、１２８画素×１２８画素のＣＴＵが、ＣＵのブロックに分割され、当該ＣＵのブロックごとに、インタ予測が行われ、入力された画像データの残差計算により、予測残差信号が直交変換部４０２に入力される。直交変換部４０２では、予測ブロックであるＣＵのブロックを特定し、特定したＣＵのブロックそれぞれについて直交変換処理を実行する。

なお、ＣＴＵ５１０に示すように、ＣＴＵのブロックは、インタ予測の際、様々なブロックサイズのＣＵに分割される。図５に示す例では、正方形のＣＵのブロック（８×８、１６×１６、３２×３２、６４×６４。単位は全て［画素］）に分割された場合が含まれる。更に、図５に示す例では、長方形のＣＵのブロック（４×８、８×４、８×１６、１６×８、１６×３２、３２×１６、３２×６４、６４×３２、６４×１２８、１２８×６４。単位は全て［画素］）に分割された場合が含まれる。なお、図５に示す例では、長方形のＣＵのブロックとして、縦横比が１：２または２：１のＣＵブロックを例示しているが、長方形のＣＵのブロックの縦横比はこれに限定されない。例えば、１：４（または４：１）、１：８（または８：１）、１：１６（または１６：１）の縦横比を有する長方形のＣＵのブロックが含まれていてもよい。

ＣＵのブロック５２０は、１６画素×１６画素に分割された正方形のブロックを拡大して示したものである。ＣＵのブロック５２０に示すように、インタ予測モードの場合、予測残差信号は、中心位置５２１から距離が離れるにしたがって、予測残差が大きくなるという特性がある。なお、図５の場合、明度が高い部分は予測残差が小さく、明度が低い部分は予測残差が大きいことを示している。

＜５．直交変換の種類＞
次に、インタ予測が行われたＣＵのブロックに対して直交変換部４０２が直交変換処理を実行する際に用いる、直交変換の種類について説明する。図６Ａ及び図６Ｂは、直交変換の種類と特性とを示す図である。

上述したとおり、インタ予測モードの場合、直交変換部４０２が直交変換処理を実行する際に用いる直交変換の種類は、３種類である。具体的には、ＤＣＴ−ＩＩ、ＤＣＴ−ＶＩＩＩ、ＤＳＴ−ＶＩＩである（図６Ａの"直交変換の種類"参照）。なお、図６Ａに示す各種類の直交変換の"基底の２次元の式"は、各直交変換の基底に関する一般的な定義式であるため、ここでは説明を省略する。

図６Ａの"特性"の第１行に示すように、直交変換の種類＝"ＤＣＴ−ＩＩ"は、予測残差信号が平坦で、信号間の相関が高い場合に適するという特性を有する。また、図６Ａの"特性"の第２行に示すように、直交変換の種類＝"ＤＣＴ−ＶＩＩＩ"は、予測残差信号がＣＵのブロック境界の近傍で大きく、ＣＵのブロック境界から離れるにしたがって小さくなるような特徴の偏りに適するという特性を有する。更に、図６Ａの"特性"の第３行に示すように、直交変換の種類＝"ＤＳＴ−ＶＩＩ"は、予測残差信号がブロック境界の近傍で大きく、ＣＵのブロック境界から離れるにしたがって、小さくなるような特徴の偏りに適するという特性を有する。なお、図６Ｂは、これらの特性を可視化したものであり、各種類の直交変換の基底の１次元の波形を示している。

＜６．直交変換部による直交変換処理の概要＞
次に、インタ予測が行われたＣＵのブロックに対して、直交変換部４０２が実行する直交変換処理の概要について説明する。なお、直交変換部４０２による直交変換処理の概要を説明するにあたっては、まず、比較対象として、従来の直交変換部による直交変換処理（例えば、Ｈ．２６５／ＨＥＶＣの直交変換部による直交変換処理）について説明する。

＜６．１ Ｈ．２６５／ＨＥＶＣの直交変換部による直交変換処理＞
上述したとおり、Ｈ．２６５／ＨＥＶＣの直交変換部の場合、インタ予測モードにおいて用いることができる直交変換の種類は、ＤＣＴ−ＩＩのみである。また、直交変換の種類＝"ＤＣＴ−ＩＩ"は、予測残差が平坦で、信号間の相関が高い場合に適するという特性を有する（図６Ａの第１行参照）。一方で、図５に示したように、インタ予測モードにおける予測残差信号の場合、中心位置５２１から距離が離れるにしたがって、予測残差が大きくなるという特性を有する。

このため、インタ予測モードにおける予測残差信号に対してＤＣＴ−ＩＩを適用する、Ｈ．２６５／ＨＥＶＣの直交変換部では、ブロックの外周部での予測残差信号が高周波成分となり、低周波への偏りが甘く、符号化効率が落ちるという問題があった。

＜６．２ 本実施形態における直交変換部４０２による直交変換処理＞
一方、上述したとおり、Ｈ．２６５／ＨＥＶＣに続く次世代コーデックとして検討されている内容によれば、インタ予測モードの場合、直交変換の種類として、ＤＣＴ−ＩＩ、ＤＳＴ−ＶＩＩ、ＤＣＴ−ＶＩＩＩを用いることが見込まれている。そこで、本実施形態では、かかる問題に鑑みて、
・ＤＣＴ−ＩＩ、ＤＳＴ−ＶＩＩ、ＤＣＴ−ＶＩＩＩそれぞれの特性を加味し、それぞれの特性に合うようにＣＵのブロックを分割する。具体的には、ＣＵのブロックのサイズ及び形状に応じて、互いに重なり合わない複数の矩形形状のブロックに分割し、「変換ブロック」を生成する。
・ＣＵのブロックの中心位置に対する、それぞれの変換ブロックの位置関係に基づいて、それぞれの変換ブロックへの、ＤＣＴ−ＩＩ、ＤＳＴ−ＶＩＩ、ＤＣＴ−ＶＩＩＩの割り当てを決定する。

このように、本実施形態における直交変換部４０２では、変換ブロックごとに、異なる種類の直交変換を用いて直交変換処理を実行する（つまり、「変換ブロック」とは、直交変換の種類を割り当てる単位をいう）。

この結果、本実施形態における直交変換部４０２による直交変換処理によれば、Ｈ．２６５／ＨＥＶＣの直交変換部による直交変換処理と比較して、符号化効率を向上させることができる。また、本実施形態における直交変換部４０２による直交変換処理の場合、ＤＣＴ−ＩＩ、ＤＳＴ−ＶＩＩ、ＤＣＴ−ＶＩＩＩそれぞれを用いて、一旦、直交変換処理を実行したうえで、それぞれのＲＤ値に基づいて直交変換の種類を決定するわけでない。このため、エンコーダ１２０側の演算負荷を抑えることができる。

以下、ＣＵのブロックとして、様々なサイズまたは様々な形状を例示しながら、それぞれのＣＵのブロックにおける具体的な分割方法と、変換ブロックそれぞれに割り当てる直交変換の種類とについて説明する。

（１）ＣＵのブロックの形状が正方形、ＣＵのブロックサイズが８画素×８画素の場合
図７は、各変換ブロックにおける予測残差信号の特性と各変換ブロックに割り当てた直交変換の種類を示す第１の図であり、ＣＵのブロック７００の形状が正方形であり、ブロックサイズが８画素×８画素の場合を示している。

図７に示すように、ＣＵのブロック７００の場合、形状が正方形で、かつ、ブロックサイズが小さいため、直交変換部４０２では、４つの変換ブロックに分割する。

具体的には、ＣＵのブロック７００の中心を通る水平線に対して対称となり、かつ、中心を通る垂直線に対して対称となるようにＣＵのブロック７００を分割することで、４つの矩形形状の変換ブロックを生成する。

これにより、例えば、変換ブロック７０１（ＣＵのブロック７００の中心点と、右下頂点で一致する変換ブロック）は、垂直方向に見た場合、ＣＵのブロック７００の境界から離れるにしたがって、予測残差が小さくなるという特性を有することになる。また、水平方向に見た場合、ＣＵのブロック７００の境界から離れるにしたがって、予測残差が小さくなるという特性を有することになる。このため、直交変換部４０２では、変換ブロック７０１に対して、垂直方向には、直交変換の種類＝"ＤＣＴ−ＶＩＩＩ"を、水平方向には、直交変換の種類＝"ＤＣＴ−ＶＩＩＩ"を割り当てる（割り当て一覧７１０第１行参照）。

また、変換ブロック７０２（ＣＵのブロック７００の中心点と、左下頂点で一致する変換ブロック）は、垂直方向に見た場合、ＣＵのブロック７００の境界から離れるにしたがって、予測残差が小さくなるという特性を有することになる。また、水平方向に見た場合、ＣＵのブロック７００の境界に近づくにしたがって、予測残差が大きくなるという特性を有することになる。このため、直交変換部４０２では、変換ブロック７０２に対して、垂直方向には、直交変換の種類＝"ＤＣＴ−ＶＩＩＩ"を、水平方向には、直交変換の種類＝"ＤＳＴ−ＶＩＩ"を割り当てる（割り当て一覧７１０第２行参照）。

また、変換ブロック７０３（ＣＵのブロック７００の中心点と、右上頂点で一致する変換ブロック）は、垂直方向に見た場合、ＣＵのブロック７００の境界に近づくにしたがって、予測残差が大きくなるという特性を有することになる。また、水平方向に見た場合、ＣＵのブロック７００の境界から離れるにしたがって、予測残差が小さくなるという特性を有することになる。このため、直交変換部４０２では、変換ブロック７０３に対して、垂直方向には、直交変換の種類＝"ＤＳＴ−ＶＩＩ"を、水平方向には、直交変換の種類＝"ＤＣＴ−ＶＩＩＩ"を割り当てる（割り当て一覧７１０第３行参照）。

また、変換ブロック７０４（ＣＵのブロック７００の中心点と、左上頂点で一致する変換ブロック）は、垂直方向に見た場合、ＣＵのブロック７００の境界に近づくにしたがって、予測残差が大きくなるという特性を有することになる。また、水平方向に見た場合、ＣＵのブロック７００の境界に近づくにしたがって、予測残差が大きくなるという特性を有することになる。このため、直交変換部４０２では、変換ブロック７０４に対して、垂直方向には、直交変換の種類＝"ＤＳＴ−ＶＩＩ"を、水平方向には、直交変換の種類＝"ＤＳＴ−ＶＩＩ"を割り当てる（割り当て一覧７１０第４行参照）。

（２）ＣＵのブロックの形状が正方形、ブロックサイズが１６画素×１６画素等の場合
図８は、各変換ブロックにおける予測残差信号の特性と各変換ブロックに割り当てた直交変換の種類を示す第２の図である。図８は、ＣＵのブロック８００の形状が正方形であり、ブロックサイズが１６画素×１６画素（または３２画素×３２画素、６４画素×６４画素）の場合を示している。

図８に示すように、ＣＵのブロック８００の場合、形状が正方形で、かつ、ブロックサイズが大きいため、直交変換部４０２では、９つの変換ブロックに分割する。なお、図８の場合も、図７と同様に、ＣＵのブロック８００の中心を通る水平線（不図示）に対して対称となり、かつ、中心を通る垂直線（不図示）に対して対称となるようにＣＵのブロック８００を分割する。

具体的には、直交変換部４０２では、ＣＵのブロック８００を、水平方向に１：２：１の比率で３分割し、垂直方向に１：２：１の比率で３分割する。ＣＵのブロック８００の１辺の画素数をｎ画素とすると、直交変換部４０２によれば、変換ブロックとして、
・（（ｎ×１／４）画素）×（（ｎ×１／４）画素）の変換ブロックが４つ生成され、
・（（ｎ×１／４）画素）×（（ｎ×１／２）画素）の変換ブロックが２つ生成され、
・（（ｎ×１／２）画素）×（（ｎ×１／４）画素）の変換ブロックが２つ生成され、
・（（ｎ×１／２）画素）×（（ｎ×１／２）画素）の変換ブロックが１つ生成される、
ことになる。なお、図８に示すそれぞれの変換ブロックは以下のように定義することができる（以下の定義において、"左上"、"右上"、"左下"、"右下"とは、ＣＵのブロック８００の中心位置から見た場合の位置関係を指す）。
・丸数字の"１"が記載された変換ブロック（変換ブロック８０１）：
ＣＵのブロック８００と左上頂点で一致する変換ブロック
・丸数字の"２"が記載された変換ブロック：
ＣＵのブロック８００と右上頂点で一致する変換ブロック
・丸数字の"３"が記載された変換ブロック：
ＣＵのブロック８００と左下頂点で一致する変換ブロック
・丸数字の"４"が記載された変換ブロック：
ＣＵのブロック８００と右下頂点で一致する変換ブロック
・丸数字の"５"が記載された変換ブロック（変換ブロック８０２）：
ＣＵのブロック８００と左上頂点で一致する変換ブロックと、ＣＵのブロック８００と右上頂点で一致する変換ブロックとの間に挟まれた変換ブロック
・丸数字の"６"が記載された変換ブロック（変換ブロック８０３）：
ＣＵのブロック８００と右上頂点で一致する変換ブロックと、ＣＵのブロック８００と右下頂点で一致する変換ブロックとの間に挟まれた変換ブロック
・丸数字の"７"が記載された変換ブロック：
ＣＵのブロック８００と左下頂点で一致する変換ブロックと、ＣＵのブロック８００と右下頂点で一致する変換ブロックとの間に挟まれた変換ブロック
・丸数字の"８"が記載された変換ブロック：
ＣＵのブロック８００と左上頂点で一致する変換ブロックと、ＣＵのブロック８００と左下頂点で一致する変換ブロックとの間に挟まれた変換ブロック
・丸数字の"９"が記載された変換ブロック：
ＣＵのブロック８００の中心点が含まれる変換ブロック
これにより、例えば、変換ブロック８０１は、垂直方向に見た場合、ＣＵのブロック８００の境界から離れるにしたがって、予測残差が小さくなるという特性を有することになる。また、水平方向に見た場合、ＣＵのブロック８００の境界から離れるにしたがって、予測残差が小さくなるという特性を有することになる。このため、直交変換部４０２では、変換ブロック８０１に対して、垂直方向には、直交変換の種類＝"ＤＣＴ−ＶＩＩＩ"を、水平方向には、直交変換の種類＝"ＤＣＴ−ＶＩＩＩ"を割り当てる（割り当て一覧８１０第１行参照）。

また、変換ブロック８０２は、垂直方向に見た場合、ＣＵのブロック８００の境界から離れるにしたがって、予測残差が小さくなるという特性を有することになる。また、変換ブロック８０２は、水平方向に見た場合、ＣＵのブロック８００の境界からの距離に関わらず、予測残差が一定になるという特性を有することになる。このため、直交変換部４０２では、変換ブロック８０２に対して、垂直方向には、直交変換の種類＝"ＤＣＴ−ＶＩＩＩ"を、水平方向には、直交変換の種類＝"ＤＳＴ−ＶＩＩ"を割り当てる（割り当て一覧８１０第５行参照）。

また、変換ブロック８０３は、垂直方向に見た場合、ＣＵのブロック８００の境界からの距離に関わらず、予測残差が一定になるという特性を有することになる。また、水平方向に見た場合、ＣＵのブロック８００の境界に近づくにしたがって、予測残差が大きくなるという特性を有することになる。このため、直交変換部４０２では、変換ブロック８０３に対して、垂直方向には、直交変換の種類＝"ＤＣＴ−ＩＩ"を、水平方向には、直交変換の種類＝"ＤＳＴ−ＶＩＩ"を割り当てる（割り当て一覧８１０第６行参照）。

また、変換ブロック８０４は、垂直方向に見た場合、ＣＵのブロック８００の境界からの距離に関わらず、予測残差が一定になるという特性を有することになる。また、水平方向に見た場合、ＣＵのブロック８００の境界からの距離に関わらず、予測残差が一定になるという特性を有することになる。このため、直交変換部４０２では、変換ブロック８０４に対して、垂直方向には、直交変換の種類＝"ＤＣＴ−ＩＩ"を、水平方向には、直交変換の種類＝"ＤＣＴ−ＩＩ"を割り当てる（割り当て一覧８１０第９行参照）。

（３）ＣＵのブロックの形状が長方形、ブロックサイズが４画素×８画素等の場合
図９は、各変換ブロックにおける予測残差信号の特性と各変換ブロックに割り当てた直交変換の種類を示す第３の図であり、ＣＵのブロック９１０〜９４０の形状が横長の長方形または縦長の長方形である。なお、図９の場合も、図７、図８と同様に、ＣＵのブロック９１０〜９４０それぞれの中心を通る水平線（不図示）に対して対称となり、かつ、中心を通る垂直線（不図示）に対して対称となるようにＣＵのブロック９１０〜９４０それぞれを分割する。

図９に示すＣＵのブロック９１０〜９４０のうち、ＣＵのブロック９１０の形状は、８画素×１６画素の横長の（水平方向に長い）長方形であり、ＣＵのブロック９２０の形状は、１６画素×８画素の縦長の長方形である。長方形で、かつ、ブロックサイズが小さい場合、直交変換部４０２では、６つの変換ブロックに分割する。

具体的には、直交変換部４０２では、ＣＵのブロック９１０を、水平方向に１：２：１の比率で３分割し、垂直方向に１：１の比率で２分割する。なお、それぞれの変換ブロックは以下のように定義することができる。
・丸数字の"１"が記載された変換ブロック：
ＣＵのブロック９１０と左上頂点で一致する変換ブロック
・丸数字の"２"が記載された変換ブロック：
ＣＵのブロック９１０と右上頂点で一致する変換ブロック
・丸数字の"３"が記載された変換ブロック：
ＣＵのブロック９１０と左下頂点で一致する変換ブロック
・丸数字の"４"が記載された変換ブロック：
ＣＵのブロック９１０と右下頂点で一致する変換ブロック
・丸数字の"５"が記載された変換ブロック：
ＣＵのブロック９１０と左上頂点で一致する変換ブロックと、ＣＵのブロック９１０と右上頂点で一致する変換ブロックとの間に挟まれた変換ブロック
・丸数字の"７"が記載された変換ブロック：
ＣＵのブロック９１０の左下頂点で一致する変換ブロックと、ＣＵのブロック９１０と右下頂点で一致する変換ブロックとの間に挟まれた変換ブロック
なお、丸数字で特定されるそれぞれの変換ブロックに割り当てられる直交変換の種類は、図８の割り当て一覧８１０と同様であるため、ここでは説明を省略する。

同様に、直交変換部４０２では、ＣＵのブロック９２０を、水平方向に１：１の比率で２分割し、垂直方向に１：２：１の比率で３分割する。なお、それぞれの変換ブロックは以下のように定義することができる。
・丸数字の"１"が記載された変換ブロック：
ＣＵのブロック９２０と左上頂点で一致する変換ブロック
・丸数字の"２"が記載された変換ブロック：
ＣＵのブロック９２０と右上頂点で一致する変換ブロック
・丸数字の"３"が記載された変換ブロック：
ＣＵのブロック９２０と左下頂点で一致する変換ブロック
・丸数字の"４"が記載された変換ブロック：
ＣＵのブロック９２０と右下頂点で一致する変換ブロック
・丸数字の"６"が記載された変換ブロック：
ＣＵのブロック９２０と右上頂点で一致する変換ブロックと、ＣＵのブロック９２０と右下頂点で一致する変換ブロックとの間に挟まれた変換ブロック
・丸数字の"８"が記載された変換ブロック：
ＣＵのブロック９２０の左上頂点で一致する変換ブロックと、ＣＵのブロック９２０と左下頂点で一致する変換ブロックとの間に挟まれた変換ブロック
なお、丸数字で特定されるそれぞれの変換ブロックに割り当てられる直交変換の種類は、図８の割り当て一覧８１０と同様であるため、ここでは説明を省略する。

一方、ＣＵのブロック９３０は、横長の（水平方向に長い）長方形であり、ブロックサイズが１６画素×３２画素（または３２画素×６４画素、６４画素×１２８画素）の場合を示している。また、ＣＵのブロック９４０は、縦長（垂直方向に長い）長方形であり、ブロックサイズが３２画素×１６画素（または、６４画素×３２画素、１２８画素×６４画素）の場合を示している。

このように、横長（または縦長）の長方形で、かつ、ブロックサイズが大きい場合、直交変換部４０２では、９つの変換ブロックに分割する。

具体的には、直交変換部４０２では、ＣＵのブロック９３０（または９４０）を、水平方向に１：２：１の比率で３分割し、垂直方向に１：２：１の比率で３分割する。ＣＵのブロック９３０（または９４０）の縦の辺の画素数をｎ画素、横の辺の画素数をｍ画素とすると、直交変換部４０２によれば、変換ブロックとして、
・（（ｎ×１／４）画素）×（（ｍ×１／４）画素）の変換ブロックが４つ生成され、
・（（ｎ×１／４）画素）×（（ｍ×１／２）画素）の変換ブロックが２つ生成され、
・（（ｎ×１／２）画素）×（（ｍ×１／４）画素）の変換ブロックが２つ生成され、
・（（ｎ×１／２）画素）×（（ｍ×１／２）画素）の変換ブロックが１つ生成される、
ことになる。なお、丸数字で特定されるそれぞれの変換ブロックの定義は、図８と同様である。また、丸数字で特定されるそれぞれの変換ブロックに割り当てられる直交変換の種類も、図８の割り当て一覧８１０と同様である。

なお、分割時には変換ブロックがあまり細かくなりすぎないように注意する必要がある。具体的には、変換ブロックの１辺が４画素より小さくならないようにする。変換ブロックは、その中での予測誤差がある程度均質な状態で、かつ、できるだけ大きくなることが重要で、あまり細かく分割すると、そのためのオーバヘッドの方が大きくなるからである。

＜７．直交変換部の機能構成＞
次に、直交変換部４０２の機能構成について説明する。直交変換部４０２では、Ｈ．２６５／ＨＥＶＣに続く次世代コーデックの検討過程で既に提案されている直交変換処理を実現しつつ、上述した直交変換処理（変換ブロックごとに実行される異なる種類の直交変換を用いた直交変換処理）を実現する。

ここで、Ｈ．２６５／ＨＥＶＣに続く次世代コーデックの検討過程で既に提案されている直交変換処理について更に詳細に説明する。Ｈ．２６５／ＨＥＶＣに続く次世代コーデックの検討過程では、インタ予測モードの場合、以下のような直交変換処理が実行されることが提案されている。
・ＤＣＴ−ＩＩによる直交変換処理の処理結果と、他の基底による直交変換処理とを比較して選択する。
・水平方向及び垂直方向それぞれで、ＤＳＴ−ＶＩＩとＤＣＴ−ＶＩＩＩから１つを選択し、２次の基底とする。

また、Ｈ．２６５／ＨＥＶＣに続く次世代コーデックの検討過程では、イントラ予測モードの場合、以下のような直交変換処理が実行されることが提案されている。
・異なる種類のイントラ予測モードで、異なる予測残差信号の特徴がでるため、イントラ予測モードの種類に応じて直交変換の種類を選択する。
・ＤＣＴ−ＩＩによる直交変換処理の処理結果と、他の基底による直交変換処理の処理結果とを比較して選択する。
・他の基底による直交変換の種類は、イントラ予測モードの種類に応じて、変換設定（Transform Set）に基づいて決める。
・変換設定＝０の場合、ＤＳＴ−ＶＩＩ、ＤＣＴ−ＶＩＩＩのうち、いずれかの種類の直交変換を選択する。変換設定＝１の場合、ＤＳＴ−ＶＩＩ、ＤＳＴ−Ｉのうち、いずれかの種類の直交変換を選択する。変換設定＝２の場合、ＤＳＴ−ＶＩＩ、ＤＣＴ−ＶＩＩＩのうち、いずれかの種類の直交変換を選択する。

図１０は、直交変換部の機能構成の一例を示す図である。図１０に示すように、直交変換部４０２は、イントラ／インタ分岐部１００１、ブロック分割判定部１００２、選択部１０１０、ＤＣＴ−ＶＩＩＩ変換部１０１１〜ＤＣＴ−ＩＩ変換部１０１３を有する。また、直交変換部４０２は、選択部１０２０、ＤＣＴ−ＶＩＩＩ変換部１０２１〜ＤＳＴ−Ｉ変換部１０２２を有する。更に、直交変換部４０２は、ＤＳＴ−ＶＩＩ変換部１０３０、コスト選択部１０３１、コスト選択部１０３２、ＤＣＴ−ＩＩ変換部１０３３を有する。

このうち、図１０において網掛けした機能ブロックは、Ｈ．２６５／ＨＥＶＣに続く次世代コーデックの検討過程で既に提案されている直交変換処理（ＪＶＥＴで既に提案されている直交変換処理）を実現する機能ブロックの一例である。なお、ＪＶＥＴとは、Joint Video Exploration Teamの略称である。

一方、図１０において網掛けしていない機能ブロックは、上述した直交変換処理（変換ブロックごとに実行される異なる種類の直交変換を用いた直交変換処理）を実現する、すなわち本発明部分の機能ブロックである。以下、各機能ブロックについて順次説明する。

イントラ／インタ分岐部１００１は、予測残差信号が算出された処理対象のＣＵのブロックが、イントラ予測モードのブロックであるのか、インタ予測モードのブロックであるのかに基づいて処理を分岐する。

なお、処理対象のＣＵのブロックが、イントラ予測モードのブロックであった場合、イントラ／インタ分岐部１００１は、処理対象のＣＵのブロックを選択部１０２０と、ＤＳＴ−ＶＩＩ変換部１０３０に通知する。一方、処理対象のＣＵのブロックが、インタ予測モードのブロックであった場合、イントラ／インタ分岐部１００１は、処理対象のＣＵのブロックをブロック分割判定部１００２に通知する。

ブロック分割判定部１００２は特定手段の一例である。ブロック分割判定部１００２は、インタ予測モードのＣＵのブロックの形状（正方形か長方形か）、ブロックサイズ、縦長か横長かを特定し、ＣＵのブロックの分割方法を判定する。また、ブロック分割判定部１００２は、判定した分割方法を、処理対象のＣＵのブロックとともに選択部１０１０に通知する。

選択部１０１０は分割手段の一例である。選択部１０１０は、ブロック分割判定部１００２により判定された分割方法のもとで、処理対象のＣＵのブロックを分割することで、複数の（４個、６個または９個の）変換ブロックを生成する。また、選択部１０１０は決定手段の一例でもある。選択部１０１０は、各変換ブロックに割り当てる直交変換の種類を水平方向と垂直方向で別々に決定し、それぞれ決定した直交変換の種類に対応する変換部に対して、変換ブロックを送信するとともに、直交変換処理の実行指示を送信する。

ＤＣＴ−ＶＩＩＩ変換部１０１１は、選択部１０１０より変換ブロックと、実行指示とを受信した場合に、受信した変換ブロックに対してＤＣＴ−ＶＩＩＩを用いて直交変換処理を実行する。

ＤＳＴ−ＶＩＩ変換部１０１２は、選択部１０１０より変換ブロックと、実行指示とを受信した場合に、受信した変換ブロックに対してＤＳＴ−ＶＩＩを用いて直交変換処理を実行する。

ＤＣＴ−ＩＩ変換部１０１３は、選択部１０１０より変換ブロックと、実行指示とを受信した場合に、受信した変換ブロックに対してＤＣＴ−ＩＩを用いて直交変換処理を実行する。

選択部１０２０は、イントラ／インタ分岐部１００１より処理対象のＣＵのブロックを受信すると、イントラ予測モードの種類に応じて予め定められた変換設定（Transform Set）に対応する変換部に対して、処理対象のＣＵのブロックを送信する。また、選択部１０２０は、変換設定に対応する変換部に対して、直交変換処理の実行指示を送信する。

ＤＣＴ−ＶＩＩＩ変換部１０２１は、選択部１０２０より、処理対象のＣＵのブロックと実行指示とを受信した場合に、受信したＣＵのブロックに対してＤＣＴ−ＶＩＩＩを用いて直交変換処理を実行し、処理結果をコスト選択部１０３１に送信する。

ＤＳＴ−Ｉ変換部１０２２は、選択部１０２０より、処理対象のＣＵのブロックと実行指示とを受信した場合に、受信したＣＵのブロックに対してＤＳＴ−Ｉを用いて直交変換処理を実行し、処理結果をコスト選択部１０３１に送信する。

ＤＳＴ−ＶＩＩ変換部１０３０は、イントラ／インタ分岐部１００１より処理対象のＣＵのブロックを受信すると、受信したＣＵのブロックに対してＤＳＴ−ＶＩＩを用いて直交変換処理を実行し、処理結果をコスト選択部１０３１に送信する。

コスト選択部１０３１は、処理対象のＣＵのブロックが、イントラ予測モードのブロックの場合に動作する。具体的には、コスト選択部１０３１は、ＤＣＴ−ＶＩＩＩ変換部１０２１、ＤＳＴ−Ｉ変換部１０２２、ＤＣＴ−Ｖ変換部１０２３のいずれかの変換部より送信された処理結果と、ＤＳＴ−ＶＩＩ変換部１０３０より受信した処理結果とを受信する。

また、コスト選択部１０３１は、ＤＣＴ−ＶＩＩＩ変換部１０２１、ＤＳＴ−Ｉ変換部１０２２、ＤＣＴ−Ｖ変換部１０２３のいずれかの変換部より送信された処理結果について、ＲＤ値を算出する。また、コスト選択部１０３１は、ＤＳＴ−ＶＩＩ変換部１０３０より受信した処理結果について、ＲＤ値を算出する。また、コスト選択部１０３１は、算出したＲＤ値を比較し、小さい方のＲＤ値の算出に用いられた処理結果及び処理結果の算出に用いられた直交変換の種類を特定する。更に、コスト選択部１０３１は、特定した処理結果をコスト選択部１０３２に通知する。

これにより、コスト選択部１０３１では、変換設定＝０の場合、ＤＳＴ−ＶＩＩによる直交変換処理の処理結果についてのＲＤ値と、ＤＣＴ−ＶＩＩＩによる直交変換処理の処理結果についてのＲＤ値とを比較することができる。また、コスト選択部１０３１では、変換設定＝１の場合、ＤＳＴ−ＶＩＩによる直交変換処理の処理結果についてのＲＤ値と、ＤＳＴ−Ｉによる直交変換処理の処理結果についてのＲＤ値とを比較することができる。更に、コスト選択部１０３１では、変換設定＝２の場合、ＤＳＴ−ＶＩＩによる直交変換処理の処理結果についてのＲＤ値と、ＤＣＴ−Ｖによる直交変換処理の処理結果についてのＲＤ値とを比較することができる。

ＤＣＴ−ＩＩ変換部１０３３は、予測残差信号が算出された処理対象のＣＵのブロックを受信すると、受信したＣＵのブロックに対してＤＣＴ−ＩＩを用いて直交変換処理を実行し、処理結果をコスト選択部１０３２に送信する。

コスト選択部１０３２は、インタ予測が行われた場合には、ＤＣＴ−ＶＩＩＩ変換部１０１１、ＤＳＴ−ＶＩＩ変換部１０１２、ＤＣＴ−ＩＩ変換部１０１３より送信された処理結果（つまり、各変換ブロックの処理結果）を受信する。また、コスト選択部１０３２は、受信した各変換ブロックの処理結果に基づいて、処理対象のＣＵのブロックのＲＤ値を算出する。また、コスト選択部１０３２は、ＤＣＴ−ＩＩ変換部１０３３より受信した処理結果に基づいて、処理対象のＣＵのブロックのＲＤ値を算出する。

また、コスト選択部１０３２は、各変換ブロックの処理結果に基づいて算出した処理対象のＣＵのブロックについてのＲＤ値と、ＤＣＴ−ＩＩ変換部１０３３より受信した処理結果に基づいて算出した処理対象のＣＵのブロックについてのＲＤ値とを比較する。更に、コスト選択部１０３２は、小さい方のＲＤ値の算出に用いられた処理結果を特定する。また、コスト選択部１０３２は、特定した処理結果を、インタ予測が行われた場合の予測残差信号に対する"周波数信号"として出力する。更に、コスト選択部１０３２は、特定した処理結果に応じた直交変換選択情報を出力する。

このように、インタ予測が行われた場合、コスト選択部１０３２では、
・処理対象のＣＵのブロックを分割した各変換ブロックについて、ＤＣＴ−ＶＩＩＩ、ＤＳＴ−ＶＩＩ、ＤＣＴ−ＩＩのいずれかを用いて直交変換処理を実行した処理結果と、
・処理対象のＣＵのブロックについて、ＤＣＴ−ＩＩを用いて直交変換処理を実行した処理結果と、
を比較して、ＲＤ値の小さい方の処理結果を選択して出力するとともに、選択した処理結果に応じた直交変換選択情報を出力する。

なお、選択した処理結果に応じた直交変換選択情報は、例えば、ＤＣＴ−ＩＩによる直交変換処理の処理結果が選択された場合にあっては、"０"となる。一方、変換ブロックごとにＤＣＴ−ＶＩＩＩ、ＤＳＴ−ＶＩＩ、ＤＣＴ−ＩＩのいずれかを用いて直交変換処理を実行した処理結果が選択された場合にあっては、"１"となる。

このように、Ｈ．２６５／ＨＥＶＣに続く次世代コーデックの検討過程で既に提案されている直交変換処理において本実施形態を適用することができる。また、本実施形態を適用することで、次世代コーデックの検討過程で既に提案されている直交変換処理では、インタ予測が行われた場合に用いられうる直交変換の種類が増加するにもかかわらず、直交変換選択情報を簡素化できる。理由は以下の通りである。

すなわち、予測残差信号の特性に応じて変換ブロックを生成し、それぞれの特性に応じた種類の直交変換が割り当てるように構成しており、
・ＣＵのブロックのサイズ、形状に応じて、分割方法を一意に決定し、
・分割方法が決定されると、各変換ブロックに割り当てるべき直交変換の種類を一意に決定する、
からである。

一方、イントラ予測が行われた場合には、コスト選択部１０３２は、コスト選択部１０３１より通知された処理結果と、ＤＣＴ−ＩＩ変換部１０３３より通知された処理結果とを受信する。また、受信した各処理結果に基づいて処理対象のＣＵのブロックのＲＤ値を算出して比較する。また、コスト選択部１０３２は、比較の結果、小さい方のＲＤ値の算出に用いられた処理結果を特定し、特定した処理結果を、イントラ予測が行われた場合の予測残差信号に対する"周波数信号"として出力する。更に、コスト選択部１０３２は、特定した処理結果に応じた直交変換選択情報（ここでは、直交変換の種類）を出力する。

このように、イントラ予測が行われた場合、コスト選択部１０３２では、
・処理対象のＣＵのブロックについて、ＤＣＴ−ＶＩＩＩ、ＤＳＴ−Ｉのうちのいずれかを用いて直交変換処理を実行した処理結果、
・ＤＳＴ−ＶＩＩを用いて直交変換処理を実行した処理結果、
・ＤＣＴ−ＩＩを用いて直交変換処理を実行した処理結果、
の中から、ＲＤ値の最も小さい処理結果を選択して出力するとともに、選択した処理結果の算出に用いられた直交変換の種類を、直交変換選択情報として出力する。

＜８．直交変換処理の流れ＞
次に、直交変換部４０２による直交変換処理の流れについて説明する。図１１は、直交変換部による直交変換処理の流れを示すフローチャートである。なお、ここでは、予測残差信号が算出されたＣＵのブロックのうち、所定の１のブロック（処理対象のＣＵのブロック）に対する直交変換処理について説明する。

ステップＳ１１０１において、ＤＣＴ−ＩＩ変換部１０３３は、処理対象のＣＵのブロックに対して、ＤＣＴ−ＩＩによる水平方向の直交変換処理とＤＣＴ−ＩＩによる垂直方向の直交変換処理とを実行する。

ステップＳ１１０２において、イントラ／インタ分岐部１００１は、処理対象のＣＵのブロックが、イントラ予測モードのブロックであるのか、インタ予測モードのブロックであるのかを判定する。

ステップＳ１１０２において、インタ予測モードのブロックであると判定した場合には、ステップＳ１１０３に進む。ステップＳ１１０３において、ブロック分割判定部１００２は、処理対象のＣＵのブロックの短辺サイズが４画素であるか否かを判定する。また、ブロック分割判定部１００２は、処理対象のＣＵのブロックのサイズが、１２８画素×１２８画素であるか否かを判定する。

ステップＳ１１０３において、短辺サイズが４画素であると判定された場合には（ステップＳ１１０３においてＹｅｓの場合には）、処理対象のＣＵのブロックについての直交変換処理を終了する。また、処理対象のＣＵのブロックのサイズが、１２８画素×１２８画素であると判定された場合には（ステップＳ１１０３においてＹｅｓの場合には）、処理対象のＣＵのブロックについての直交変換処理を終了する。処理対象のＣＵのブロックのサイズが、ステップＳ１１０３の条件を満たす場合とは、変換ブロックごとの直交変換処理を実行しない場合である。

一方、ステップＳ１１０３において、処理対象のＣＵのブロックの短辺サイズが４画素ではなく、かつ、全体サイズが１２８画素×１２８画素でないと判定した場合には（ステップＳ１１０３においてＮｏの場合には）、ステップＳ１１０４に進む。

ステップＳ１１０４において、ブロック分割判定部１００２は、処理対象のＣＵのブロックのサイズが所定の閾値以下であるか否かを判定する。ステップＳ１１０４において、処理対象のＣＵのブロックのサイズが所定の閾値以下であると判定した場合には（ステップＳ１１０４においてＹｅｓの場合には）、ステップＳ１１０５に進む。

ステップＳ１１０５において、ブロック分割判定部１００２は、処理対象のＣＵのブロックの形状が、正方形であるのか、長方形であるのかを判定する。ステップＳ１１０５において、正方形であると判定した場合には、ステップＳ１１０６に進む。

ステップＳ１１０６において、選択部１０１０は、処理対象のＣＵのブロックを分割することで、４個の変換ブロックを生成する。また、選択部１０１０は、４個の変換ブロックそれぞれの位置に応じた直交変換の種類（図７の割り当て一覧７１０参照）を特定する。更に、選択部１０１０は、特定した直交変換の種類に対応する変換部（ＤＣＴ−ＶＩＩＩ変換部１０１１、ＤＳＴ−ＶＩＩ変換部１０１２のいずれか）に、変換ブロックを送信するとともに、実行指示を通知する。これにより、４個の変換ブロックそれぞれに対する、水平方向及び垂直方向の直交変換処理が実行される。

一方、ステップＳ１１０４において、処理対象のＣＵのブロックのサイズが所定の閾値以下ではないと判定した場合には（ステップＳ１１０４においてＮｏの場合には）、ステップＳ１１０７に進む。

ステップＳ１１０７において、選択部１０１０は、処理対象のＣＵのブロックを分割することで、９個の変換ブロックを生成する。また、選択部１０１０は、９個の変換ブロックそれぞれの位置に応じた直交変換の種類（図８の割り当て一覧８１０、図９のＣＵのブロック９３０、９４０参照）を特定する。更に、選択部１０１０は、特定した直交変換の種類に対応する変換部（ＤＣＴ−ＶＩＩＩ変換部１０１１、ＤＳＴ−ＶＩＩ変換部１０１２、ＤＣＴ−ＩＩ変換部１０１３のいずれか）に、変換ブロックを送信するとともに、実行指示を通知する。これにより、９個の変換ブロックそれぞれに対する、水平方向及び垂直方向の直交変換処理が実行される。

一方、ステップＳ１１０５において、処理対象のＣＵのブロックが長方形であると判定した場合には、ステップＳ１１０８に進む。ステップＳ１１０８において、選択部１０１０は、処理対象のＣＵのブロックが縦長の長方形であるのか、横長の長方形であるのかを判定する。

ステップＳ１１０８において、縦長の長方形であると判定した場合には、ステップＳ１１０９に進む。ステップＳ１１０９において、選択部１０１０は、処理対象のＣＵのブロックを分割することで、６個の変換ブロックを生成する。また、選択部１０１０は、６個の変換ブロックそれぞれの位置に応じた直交変換の種類（図９のＣＵのブロック９２０参照）を特定する。更に、選択部１０１０は、特定した直交変換の種類に対応する変換部（ＤＣＴ−ＶＩＩＩ変換部１０１１、ＤＳＴ−ＶＩＩ変換部１０１２、ＤＣＴ−ＩＩ変換部１０１３のいずれか）に、変換ブロックを送信するとともに、実行指示を通知する。これにより、６個の変換ブロックそれぞれに対する、水平方向及び垂直方向の直交変換処理が実行される。

一方、ステップＳ１１０８において、横長の長方形であると判定した場合には、ステップＳ１１１０に進む。ステップＳ１１１０において、選択部１０１０は、処理対象のＣＵのブロックを分割することで、６個の変換ブロックを生成する。また、選択部１０１０は、６個の変換ブロックそれぞれの位置に応じた直交変換の種類（図９のＣＵのブロック９１０参照）を特定する。更に、選択部１０１０は、特定した直交変換の種類に対応する変換部（ＤＣＴ−ＶＩＩＩ変換部１０１１、ＤＳＴ−ＶＩＩ変換部１０１２のいずれか）に、変換ブロックを送信するとともに、実行指示を通知する。これにより、６個の変換ブロックそれぞれに対する、水平方向及び垂直方向の直交変換処理が実行される。

一方、ステップＳ１１０２において、イントラ予測モードのブロックであると判定した場合には、ステップＳ１１１１に進む。ステップＳ１１１１において、選択部１０２０〜ＤＳＴ−ＶＩＩ変換部１０３０の各部は、ＪＶＥＴ（Joint Video Exploration Team）で既に提案されている直交変換処理を実行する。

ステップＳ１１１２において、コスト選択部１０３１及びコスト選択部１０３２は、処理対象のＣＵのブロックについてＲＤ値を算出し比較する。例えば、処理対象のＣＵのブロックがイントラ予測モードのブロックであった場合、コスト選択部１０３１及びコスト選択部１０３２は、ステップＳ１１０１及びステップＳ１１１１における各処理結果について算出したＲＤ値を比較する。一方、処理対象のＣＵのブロックがインタ予測モードのブロックであったとする。この場合、コスト選択部１０３２は、ステップＳ１１０１における処理結果について算出したＲＤ値と、ステップＳ１１０６、Ｓ１１０７、Ｓ１１０９、Ｓ１１１０のいずれかの処理結果について算出したＲＤ値とを比較する。

更に、コスト選択部１０３２は、比較の結果に基づいて、最小のＲＤ値が算出された処理結果を特定する。また、コスト選択部１０３２は、特定した処理結果に応じた直交変換選択情報を出力する。

＜９．デコーダの機能構成＞
次に、復号プログラムを実行することで実現される、デコーダ１２０の機能構成について説明する。図１２は、デコーダの機能構成の一例を示す図である。図１２に示すように、デコーダ１２０は、エントロピ復号部１２０１、逆量子化部１２０２、逆直交変換部１２０３、ループフィルタ部１２０４、復号画像記憶部１２０５、イントラ／インタ予測部１２０６を有する。

エントロピ復号部１２０１は、受信したデータストリームを復号し、量子化信号を出力する。また、エントロピ復号部１２０１は、データストリームより付帯情報（直交変換選択情報等を含む）を抽出し、逆直交変換部１２０３に通知する。

逆量子化部１２０２は、量子化信号を逆量子化し、逆直交変換部１２０３に出力する。逆直交変換部１２０３は、付帯情報を参照しながら、逆量子化された量子化信号に対して逆直交変換処理を実行することで、予測残差信号を得る。

逆直交変換部１２０３により得られた予測残差信号は、例えば、イントラ／インタ予測部１２０６により動き補償された予測画像の各ＣＵのブロックに加算されることで復号画像が生成され、ループフィルタ部１２０４に入力される。

ループフィルタ部１２０４は、入力された復号画像の符号化ノイズを低減するフィルタ処理を行う。ループフィルタ部１２０４がフィルタ処理を行うことで、復号画像のフレーム間で画質劣化が伝播することを防ぐことができる。

また、ループフィルタ部１２０４は、フィルタ処理した復号画像を復号結果として出力するとともに、復号画像記憶部１２０５に記憶する。

イントラ／インタ予測部１２０６は、復号画像の各ＣＵのブロックを用いて予測画像の各ＣＵのブロックを生成するイントラ予測を行う。また、イントラ／インタ予測部１２０６は、復号画像の各フレーム間の各ＣＵのブロックに基づいて動き補償を行い、予測画像の各ＣＵのブロックを生成するインタ予測を行う。

更に、イントラ／インタ予測部１２０６は、イントラ予測により生成された各ＣＵのブロックまたはインタ予測により生成された各ＣＵのブロックのいずれか一方を含む予測画像を出力する。出力された予測画像に対しては、逆直交変換部１２０３により得られた予測残差信号が加算され、復号画像として、ループフィルタ部１２０４に入力される。

＜１０．本実施形態における逆直交変換部１２０３による逆直交変換処理の概要＞
次に、インタ予測が行われたＣＵのブロックに対して、逆直交変換部１２０３が実行する逆直交変換処理の概要について説明する。図１３は、各変換ブロックにおいて算出される予測残差信号の特性と各変換ブロックに割り当てた逆直交変換の種類を示す図である。

なお、逆直交変換部１２０３が逆直交変換処理を実行する、処理対象のＣＵのブロックのサイズ、形状のバリエーションは、直交変換部４０２が直交変換処理を実行する、処理対象のＣＵのブロックのサイズ、形状のバリエーションと同じである。具体的には、図１３のＣＵのブロック１３１０〜１３６０は、それぞれ、図７のＣＵのブロック７００、図８のＣＵのブロック８００、図９のＣＵのブロック９１０〜９４０にそれぞれ対応している。

また、サイズ及び形状が同じである場合、変換ブロックを生成するための分割方法（分割数、分割位置）も同じとなる。更に、サイズ及び形状が同じで分割方法が同じである場合、各変換ブロックに割り当てられる逆直交変換の種類も同じとなる。図１３の割り当て一覧１３７０は、図８の割り当て一覧８１０に対応している。

＜１１．逆直交変換部の機能構成＞
次に、逆直交変換部１２０３の機能構成について説明する。図１４は、逆直交変換部の機能構成の一例を示す図である。なお、直交変換部４０２の機能構成（図１０）と同様に、図１４において、網掛けした機能ブロックは、Ｈ．２６５／ＨＥＶＣに続く次世代コーデックの検討過程で既に提案されている逆直交変換処理を実現する機能ブロックの一例である。一方、網掛けしていない機能ブロックは、上述の逆直交変換処理（変換ブロックごとに実行される異なる種類の逆直交変換処理）を実現する、すなわち、本発明部分の機能ブロックである。直交変換部４０２の機能ブロック同様、ブロック分割判定部１４０２はデコーダ１２０における特定手段の一例であり、選択部１４１０は、分割手段及び決定手段の一例である。

また、逆直交変換部１２０３の機能構成は、直交変換部４０２の機能構成と基本的に同じであり、直交変換部４０２の機能構成との相違点は、
・ＤＣＴ−ＶＩＩＩ変換部１０１１〜ＤＣＴ−ＩＩ変換部１０１３に代えて、ＩＤＣＴ−ＶＩＩＩ変換部１４１１〜ＩＤＣＴ−ＩＩ変換部１４１３が配されている点、
・ＤＣＴ−ＶＩＩＩ変換部１０２１〜ＤＳＴ−Ｉ変換部１０２２に代えて、ＩＤＣＴ−ＶＩＩＩ変換部１４２１〜ＩＤＳＴ−Ｉ変換部１４２２が配されている点、
・ＤＳＴ−ＶＩＩ変換部１０３０に代えて、ＩＤＳＴ−ＶＩＩ変換部１４３０が配されている点、
・ＤＣＴ−ＩＩ変換部１０３３に代えて、ＩＤＣＴ−ＩＩ変換部１４４０が配されている点、
・コスト選択部１０３１、コスト選択部１０３２が配されていない点、
である。

なお、逆直交変換部１２０３の各機能ブロックの詳細な説明は省略する。

＜１２．逆直交変換処理の流れ＞
次に、逆直交変換部１２０３による逆直交変換処理の流れについて説明する。図１５は、逆直交変換部による逆直交変換処理の流れを示すフローチャートである。なお、ここでは、予測残差信号が算出される各ＣＵのブロックのうち、所定の１のブロック（処理対象のＣＵのブロック）に対する逆直交変換処理について説明する。

ステップＳ１５０１において、ＩＤＣＴ−ＩＩ変換部１４４０は、エントロピ復号部１２０１より送信された付帯情報に含まれる直交変換選択情報を取得し、直交変換の種類がＤＣＴ−ＩＩであるか（直交変換選択情報が"０"であるか否か）を判定する。また、イントラ／インタ分岐部１４０１は、エントロピ復号部１２０１より送信された付帯情報に含まれる直交変換選択情報を取得し、直交変換の種類がＤＣＴ−ＩＩ以外であるか（直交変換選択情報が"１"であるか否か）を判定する。

ステップＳ１５０１において、ＩＤＣＴ−ＩＩ変換部１４４０により、エンコーダ１１０において用いられた直交変換の種類がＤＣＴ−ＩＩである（直交変換選択情報が"０"である）と判定された場合には、ステップＳ１５０２に進む。ステップＳ１５０２において、ＩＤＣＴ−ＩＩ変換部１４４０は、処理対象のＣＵのブロックに対して、ＩＤＣＴ−ＩＩによる水平方向及び垂直方向の逆直交変換処理を実行する。

一方、ステップＳ１５０１において、イントラ／インタ分岐部１４０１により、エンコーダ１１０において用いられた直交変換の種類がＤＣＴ−ＩＩ以外である（直交変換選択情報が"１"である）と判定された場合には、ステップＳ１５０３に進む。ステップＳ１５０３において、イントラ／インタ分岐部１４０１は、処理対象のＣＵのブロックが、イントラ予測モードのブロックであるのか、インタ予測モードのブロックであるのかを判定する。

ステップＳ１５０３において、インタ予測モードのブロックであると判定した場合には、ステップＳ１５０４に進む。ステップＳ１５０４において、ブロック分割判定部１４０２は、処理対象のＣＵのブロックのサイズが所定の閾値以下であるか否かを判定する。ステップＳ１５０４において、処理対象のＣＵのブロックのサイズが所定の閾値以下であると判定した場合には（ステップＳ１５０４においてＹｅｓの場合には）、ステップＳ１５０５に進む。

ステップＳ１５０５において、ブロック分割判定部１４０２は、処理対象のＣＵのブロックの形状が、正方形であるのか、長方形であるのかを判定する。ステップＳ１５０５において、正方形であると判定した場合には、ステップＳ１５０６に進む。

ステップＳ１５０６において、選択部１４１０は、処理対象のＣＵのブロックを分割することで、４個の変換ブロックを生成する。また、選択部１４１０は、４個の変換ブロックそれぞれの位置に応じた逆直交変換の種類（図１３のＣＵのブロック１３１０参照）を特定する。更に、選択部１４１０は、特定した逆直交変換の種類に対応する変換部（ＩＤＣＴ−ＶＩＩＩ変換部１４１１、ＩＤＳＴ−ＶＩＩ変換部１４１２のいずれか）に、変換ブロックを送信するとともに、実行指示を通知する。これにより、４個の変換ブロックそれぞれに対する、水平方向及び垂直方向の逆直交変換処理が実行される。

一方、ステップＳ１５０３において、イントラ予測モードのブロックであると判定した場合には、ステップＳ１５０７に進む。ステップＳ１５０７において、選択部１４２０〜ＩＤＳＴ−ＶＩＩ変換部１４３０の各部は、ＪＶＥＴで既に提案されている逆直交変換処理を実行する。

一方、ステップＳ１５０４において、処理対象のブロックのサイズが所定の閾値以下ではないと判定した場合には（ステップＳ１５０４においてＮｏの場合には）、ステップＳ１５０８に進む。

ステップＳ１５０８において、選択部１４１０は、処理対象のＣＵのブロックを分割することで、９個の変換ブロックを生成する。また、選択部１０１０は、９個の変換ブロックそれぞれの位置に応じた逆直交変換の種類（図１３のＣＵのブロック１３２０、１３５０、１３６０参照）を特定する。更に、選択部１４１０は、特定した逆直交変換の種類に対応する変換部（ＩＤＣＴ−ＶＩＩＩ変換部１４１１、ＩＤＳＴ−ＶＩＩ変換部１４１２、ＩＤＣＴ−ＩＩ変換部１４１３のいずれか）に、変換ブロックを送信するとともに、実行指示を通知する。これにより、９個の変換ブロックそれぞれに対する、水平方向及び垂直方向の逆直交変換処理が実行される。

一方、ステップＳ１５０５において、処理対象のＣＵのブロックが長方形であると判定した場合には、ステップＳ１５０９に進む。ステップＳ１５０９において、選択部１４１０は、処理対象のＣＵのブロックが縦長の長方形であるのか、横長の長方形であるのかを判定する。

ステップＳ１５０９において、縦長の長方形であると判定した場合には、ステップＳ１５１０に進む。ステップＳ１５１０において、選択部１４１０は、処理対象のＣＵのブロックを分割することで、６個の変換ブロックを生成する。また、選択部１４１０は、６個の変換ブロックそれぞれの位置に応じた逆直交変換の種類（図１３のＣＵのブロック１３４０参照）を特定する。更に、選択部１４１０は、特定した逆直交変換の種類に対応する変換部（ＩＤＣＴ−ＶＩＩＩ変換部１４１１、ＩＤＳＴ−ＶＩＩ変換部１４１２、ＩＤＣＴ−ＩＩ変換部１４１３のいずれか）に、変換ブロックを送信するとともに、実行指示を通知する。これにより、６個の変換ブロックそれぞれに対する、水平方向および垂直方向の逆直交変換処理が実行される。

一方、ステップＳ１５０９において、横長の長方形であると判定した場合には、ステップＳ１５１１に進む。ステップＳ１５１１において、選択部１４１０は、処理対象のＣＵのブロックを分割することで、６個の変換ブロックを生成する。また、選択部１４１０は、６個の変換ブロックそれぞれの位置に応じた逆直交変換の種類（図１３のＣＵのブロック１３３０参照）を特定する。更に、選択部１０１０は、特定した逆直交変換の種類に対応する変換部（ＩＤＣＴ−ＶＩＩＩ変換部１４１１、ＩＤＳＴ−ＶＩＩ変換部１４１２、ＩＤＣＴ−ＩＩ変換部１４１３のいずれか）に、変換ブロックを送信するとともに、実行指示を通知する。これにより、６個の変換ブロックそれぞれに対する、水平方向及び垂直方向の逆直交変換処理が実行される。

＜１３．まとめ＞
以上の説明から明らかなように、第１の実施形態に係るエンコーダの直交変換部では、インタ予測モードにより画像データを符号化する際、
・処理対象のＣＵのブロックのサイズ、形状を特定する。
・特定したサイズ、形状に応じて一意に定めた分割方法により、ＣＵのブロックを複数の矩形形状の変換ブロックに分割する。
・各変換ブロックに対して直交変換処理を実行する際に用いる直交変換の種類を、ＣＵのブロックの中心と各変換ブロックとの位置関係に応じて一意に定める。

これにより、第１の実施形態に係るエンコーダの直交変換部によれば、直交変換の種類ごとの特性と、予測残差信号が算出されたＣＵの各変換ブロックの位置における特性とを合致させることが可能となる。また、直交変換の種類を各変換ブロックに割り当てるにあたり、ＲＤ値を算出する必要がない。

この結果、予測残差信号が算出されたＣＵの各変換ブロックの各位置における特性に応じた直交変換処理を実行することが可能となり、符号化効率が向上する。また、エンコーダの演算負荷を抑えることができる。

このように、第１の実施形態に係るエンコーダの直交変換部によれば、次世代コーデックにおいて画面間予測時に用いられる直交変換の種類を決定する決定方法として、符号化効率の向上と演算負荷の抑制が実現可能な決定方法を提供することができる。

また、第１の実施形態に係るデコーダの直交変換部では、符号化された符号化列を、インタ予測モードにより画像を復号する際、
・処理対象のＣＵのブロックのサイズ、形状を特定する。
・特定したサイズ、形状に応じて一意に定めた分割方法により、ＣＵのブロックを複数の矩形形状の変換ブロックに分割する。
・各変換ブロックに対して逆直交変換処理を実行する際に用いる逆直交変換の種類を、ＣＵのブロックの中心と各変換ブロックとの位置関係に応じて一意に定める。

これにより、第１の実施形態に係るデコーダの逆直交変換部によれば、エンコーダで選択された種類の直交変換の逆直交変換処理を実行することが可能となる。

更に、第１の実施形態によれば、エンコーダからの情報によらず、デコーダがＣＵのブロックのサイズ、形状に応じて逆直交変換の種類を決定することができるため、エンコーダは、直交変換の種類を変換ブロックごとに送信する必要がない。この結果、エンコーダがデコーダに送信する直交変換選択情報を簡素化することができる。

［第２の実施形態］
上記第１の実施形態では、ＣＵのブロックのサイズ及び形状に応じて、分割方法を一意に決定するとともに、分割方法ごとに各変換ブロックに対する直交変換の種類の割り当てを一意に決定するものとして説明した。しかしながら、上記第１の実施形態の場合、ＣＵのブロックのサイズ及び形状と分割方法との関係が変更されると、それぞれの分割方法において各変換ブロックに対する直交変換の種類の割り当てを見直す必要が生じる。

このようなことから、分割方法ごとに割り当てを決定する代わりに、例えば、ＣＵのブロックにおいて基準となる位置から見た場合の、各変換ブロックの距離、方向等に応じて、各変換ブロックに対する直交変換の種類の割り当てを決定するように構成してもよい。この場合、ＣＵのブロックのサイズ及び形状と分割方法との関係が変更されても、各変換ブロックに対する直交変換の種類の割り当ては、ＣＵのブロックにおける基準となる位置からの距離、方向等に応じて一意に決定されうる。つまり、各変換ブロックに対する直交変換の種類を自動的に割り当てを見直すことができる。なお、ＣＵのブロックにおいて基準となる位置としては、例えば、ＣＵのブロックの中心位置や、ＣＵのブロックの各頂点や、ＣＵのブロックの各辺等が考えられる。

［第３の実施形態］
上記第１の実施形態では、直交変換選択情報を、直交変換の種類を特定するための情報と定義し、"０"または"１"のいずれかが送信されるものとして説明した。しかしながら、直交変換選択情報として送信される情報は、"０"、"１"の組み合わせに限定されず、ＣＵのブロックの分割の要否を示す情報であれば何でもよい。分割の要否が定まれば、ＣＵのブロックのサイズ、形状から、直交変換の種類が自ずと特定されるからである。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：画像処理システム
１１０ ：エンコーダ
１２０ ：デコーダ
１００１ ：イントラ／インタ分岐部
１００２ ：ブロック分割判定部
１０１０ ：選択部
１０１１ ：ＤＣＴ−ＶＩＩＩ変換部
１０１２ ：ＤＳＴ−ＶＩＩ変換部
１０１３ ：ＤＣＴ−ＩＩ変換部
１０２０ ：選択部
１０２１ ：ＤＣＴ−ＶＩＩＩ変換部
１０２２ ：ＤＳＴ−Ｉ変換部
１０３０ ：ＤＳＴ−ＶＩＩ変換部
１０３１ ：コスト選択部
１０３２ ：コスト選択部
１０３３ ：ＤＣＴ−ＩＩ変換部
１４０１ ：イントラ／インタ分岐部
１４０２ ：ブロック分割判定部
１４１０ ：選択部
１４１１ ：ＩＤＣＴ−ＶＩＩＩ変換部
１４１２ ：ＩＤＳＴ−ＶＩＩ変換部
１４１３ ：ＩＤＣＴ−ＩＩ変換部
１４２０ ：選択部
１４２１ ：ＩＤＣＴ−ＶＩＩＩ変換部
１４２２ ：ＩＤＳＴ−Ｉ変換部
１４３０ ：ＩＤＳＴ−ＶＩＩ変換部
１４４０ ：ＩＤＣＴ−ＩＩ変換部

Claims (27)

1. 画面間予測を用いて画像を符号化する符号化方法であって、
   前記画面間予測の対象となる、予測ブロックを特定するステップと、
   前記予測ブロックの中心を通る水平線に関して対称となり、かつ、前記予測ブロックの中心を通る垂直線に関して対称となる分割方法により、前記予測ブロックを、矩形形状の複数の変換ブロックに分割するステップと、
   前記複数の変換ブロックそれぞれについて、前記予測ブロックの中心との位置関係から、垂直方向及び水平方向それぞれに用いられる直交変換の種類を決定するステップと
   を有することを特徴とする符号化方法。
2. 前記直交変換の種類には、ＤＣＴ−ＶＩＩＩ、ＤＳＴ−ＶＩＩのみが含まれることを特徴とする請求項１に記載の符号化方法。
3. 前記分割するステップにおいて、前記予測ブロックを互いに重なり合わない４個の変換ブロックに分割し、
   前記４個の変換ブロックそれぞれについて、ＤＣＴ−ＶＩＩＩまたはＤＳＴ−ＶＩＩのいずれか一方を用いて、水平方向及び垂直方向それぞれの直交変換処理を実行する、
   ことを特徴とする請求項１に記載の符号化方法。
4. 前記４個の変換ブロックのうち、前記予測ブロックの中心と、左下頂点で一致する前記変換ブロックについて、ＤＣＴ−ＶＩＩＩを用いて垂直方向の直交変換処理を実行し、ＤＳＴ−ＶＩＩを用いて水平方向の直交変換処理を実行し、
   前記４個の変換ブロックのうち、前記予測ブロックの中心と、右下頂点で一致する前記変換ブロックについて、ＤＣＴ−ＶＩＩＩを用いて垂直方向の直交変換処理を実行し、ＤＣＴ−ＶＩＩＩを用いて水平方向の直交変換処理を実行し、
   前記４個の変換ブロックのうち、前記予測ブロックの中心と、右上頂点で一致する前記変換ブロックについて、ＤＳＴ−ＶＩＩを用いて垂直方向の直交変換処理を実行し、ＤＣＴ−ＶＩＩＩを用いて水平方向の直交変換処理を実行し、
   前記４個の変換ブロックのうち、前記予測ブロックの中心と、左上頂点で一致する前記変換ブロックについて、ＤＳＴ−ＶＩＩを用いて垂直方向の直交変換処理を実行し、ＤＳＴ−ＶＩＩを用いて水平方向の直交変換処理を実行する、
   ことを特徴とする請求項３に記載の符号化方法。
5. 前記分割するステップにおいて、前記予測ブロックを垂直方向と水平方向にそれぞれ３分割することで、前記予測ブロックを互いに重なり合わない９個の変換ブロックに分割し、
   前記９個の変換ブロックのうち、前記予測ブロックと左上頂点で一致する前記変換ブロックについて、ＤＣＴ−ＶＩＩＩを用いて垂直方向の直交変換処理を実行し、ＤＣＴ−ＶＩＩＩを用いて水平方向の直交変換処理を実行し、
   前記９個の変換ブロックのうち、前記予測ブロックと右上頂点で一致する前記変換ブロックについて、ＤＣＴ−ＶＩＩＩを用いて垂直方向の直交変換処理を実行し、ＤＳＴ−ＶＩＩを用いて水平方向の直交変換処理を実行し、
   前記９個の変換ブロックのうち、前記予測ブロックと左下頂点で一致する前記変換ブロックについて、ＤＳＴ−ＶＩＩを用いて垂直方向の直交変換処理を実行し、ＤＣＴ−ＶＩＩＩを用いて水平方向の直交変換処理を実行し、
   前記９個の変換ブロックのうち、前記予測ブロックと右下頂点で一致する前記変換ブロックについて、ＤＳＴ−ＶＩＩを用いて垂直方向の直交変換処理を実行し、ＤＳＴ−ＶＩＩを用いて水平方向の直交変換処理を実行する、
   ことを特徴とする請求項１に記載の符号化方法。
6. 前記９個の変換ブロックのうち、前記予測ブロックと左上頂点で一致する前記変換ブロックと、前記予測ブロックと右上頂点で一致する前記変換ブロックとの間に挟まれた前記変換ブロックについて、ＤＣＴ−ＶＩＩＩを用いて垂直方向の直交変換処理を実行し、ＤＣＴ−ＩＩを用いて水平方向の直交変換処理を実行し、
   前記９個の変換ブロックのうち、前記予測ブロックと右上頂点で一致する前記変換ブロックと、前記予測ブロックと右下頂点で一致する前記変換ブロックとの間に挟まれた前記変換ブロックについて、ＤＣＴ−ＩＩを用いて垂直方向の直交変換処理を実行し、ＤＳＴ−ＶＩＩを用いて水平方向の直交変換処理を実行し、
   前記９個の変換ブロックのうち、前記予測ブロックと左下頂点で一致する前記変換ブロックと、前記予測ブロックと右下頂点で一致する前記変換ブロックとの間に挟まれた前記変換ブロックについて、ＤＳＴ−ＶＩＩを用いて垂直方向の直交変換処理を実行し、ＤＣＴ−ＩＩを用いて水平方向の直交変換処理を実行し、
   前記９個の変換ブロックのうち、前記予測ブロックと左上頂点で一致する前記変換ブロックと、前記予測ブロックと左下頂点で一致する前記変換ブロックとの間に挟まれた前記変換ブロックについて、ＤＣＴ−ＩＩを用いて垂直方向の直交変換処理を実行し、ＤＣＴ−ＶＩＩＩを用いて水平方向の直交変換処理を実行する、
   ことを特徴とする請求項５に記載の符号化方法。
7. 前記９個の変換ブロックのうち、前記予測ブロックの中心を含む前記変換ブロックについて、ＤＣＴ−ＩＩを用いて垂直方向の直交変換処理を実行し、ＤＣＴ−ＩＩを用いて水平方向の直交変換処理を実行することを特徴とする請求項５に記載の符号化方法。
8. 前記予測ブロックが水平方向に長い場合、前記分割するステップにおいて、垂直方向に２分割し、水平方向に３分割することで、前記予測ブロックを互いに重なり合わない６個の変換ブロックに分割し、
   前記６個の変換ブロックのうち、前記予測ブロックと左上頂点で一致する前記変換ブロックについて、ＤＣＴ−ＶＩＩＩを用いて垂直方向の直交変換処理を実行し、ＤＣＴ−ＶＩＩＩを用いて水平方向の直交変換処理を実行し、
   前記６個の変換ブロックのうち、前記予測ブロックと右上頂点で一致する前記変換ブロックについて、ＤＣＴ−ＶＩＩＩを用いて垂直方向の直交変換処理を実行し、ＤＳＴ−ＶＩＩを用いて水平方向の直交変換処理を実行し、
   前記６個の変換ブロックのうち、前記予測ブロックと左下頂点で一致する前記変換ブロックについて、ＤＳＴ−ＶＩＩを用いて垂直方向の直交変換処理を実行し、ＤＣＴ−ＶＩＩＩを用いて水平方向の直交変換処理を実行し、
   前記６個の変換ブロックのうち、前記予測ブロックと右下頂点で一致する前記変換ブロックについて、ＤＳＴ−ＶＩＩを用いて垂直方向の直交変換処理を実行し、ＤＳＴ−ＶＩＩを用いて水平方向の直交変換処理を実行する、
   ことを特徴とする請求項１に記載の符号化方法。
9. 前記６個の変換ブロックのうち、前記予測ブロックと左上頂点で一致する前記変換ブロックと、前記予測ブロックと右上頂点で一致する前記変換ブロックとの間に挟まれた前記変換ブロックについて、ＤＣＴ−ＶＩＩＩを用いて垂直方向の直交変換処理を実行し、ＤＣＴ−ＩＩを用いて水平方向の直交変換処理を実行し、
   前記６個の変換ブロックのうち、前記予測ブロックと左下頂点で一致する前記変換ブロックと、前記予測ブロックと右下頂点で一致する前記変換ブロックとの間に挟まれた前記変換ブロックについて、ＤＳＴ−ＶＩＩを用いて垂直方向の直交変換処理を実行し、ＤＣＴ−ＩＩを用いて水平方向の直交変換処理を実行する、
   ことを特徴とする請求項８に記載の符号化方法。
10. 前記予測ブロックが垂直方向に長い場合、前記分割するステップにおいて、垂直方向に３分割し、水平方向に２分割することで、前記予測ブロックを互いに重なり合わない６個の変換ブロックに分割し、
    前記６個の変換ブロックのうち、前記予測ブロックと左上頂点で一致する前記変換ブロックについて、ＤＣＴ−ＶＩＩＩを用いて垂直方向の直交変換処理を実行し、ＤＣＴ−ＶＩＩＩを用いて水平方向の直交変換処理を実行し、
    前記６個の変換ブロックのうち、前記予測ブロックと右上頂点で一致する前記変換ブロックについて、ＤＣＴ−ＶＩＩＩを用いて垂直方向の直交変換処理を実行し、ＤＳＴ−ＶＩＩを用いて水平方向の直交変換処理を実行し、
    前記６個の変換ブロックのうち、前記予測ブロックと左下頂点で一致する前記変換ブロックについて、ＤＳＴ−ＶＩＩを用いて垂直方向の直交変換処理を実行し、ＤＣＴ−ＶＩＩＩを用いて水平方向の直交変換処理を実行し、
    前記６個の変換ブロックのうち、前記予測ブロックと右下頂点で一致する前記変換ブロックについて、ＤＳＴ−ＶＩＩを用いて垂直方向の直交変換処理を実行し、ＤＳＴ−ＶＩＩを用いて水平方向の直交変換処理を実行する、
    ことを特徴とする請求項１に記載の符号化方法。
11. 前記６個の変換ブロックのうち、前記予測ブロックと左上頂点で一致する前記変換ブロックと、前記予測ブロックと左下頂点で一致する前記変換ブロックとの間に挟まれた前記変換ブロックについて、ＤＣＴ−ＩＩを用いて垂直方向の直交変換処理を実行し、ＤＣＴ−ＶＩＩＩを用いて水平方向の直交変換処理を実行し、
    前記６個の変換ブロックのうち、前記予測ブロックと右上頂点で一致する前記変換ブロックと、前記予測ブロックと右下頂点で一致する前記変換ブロックとの間に挟まれた前記変換ブロックについて、ＤＣＴ−ＩＩを用いて垂直方向の直交変換処理を実行し、ＤＳＴ−ＶＩＩを用いて水平方向の直交変換処理を実行する、
    ことを特徴とする請求項１０に記載の符号化方法。
12. 符号化された符号化列より、画面間予測を用いて画像を復号する復号方法であって、
    前記画面間予測の対象となる、予測ブロックを特定するステップと、
    前記予測ブロックの中心を通る水平線に関して対称となり、かつ、前記予測ブロックの中心を通る垂直線に関して対称となる分割方法により、前記予測ブロックを、矩形形状の複数の変換ブロックに分割するステップと、
    前記複数の変換ブロックそれぞれについて、前記予測ブロックの中心との位置関係から、垂直方向及び水平方向それぞれに用いられる逆直交変換の種類を決定するステップと
    を有することを特徴とする復号方法。
13. 前記特定するステップは、前記予測ブロックのサイズ及び形状を特定し、
    特定した前記サイズ及び形状に基づいて、前記分割方法を決定することを特徴とする請求項１２に記載の復号方法。
14. 前記予測ブロックごとに、分割の要否を示す情報を取得するステップを更に有し、
    前記取得するステップにおいて、分割が必要であることを示す情報が取得された場合、前記分割するステップは、前記予測ブロックを、矩形形状の複数の変換ブロックに分割することを特徴とする請求項１３に記載の復号方法。
15. 前記分割するステップにおいて、前記予測ブロックを互いに重なり合わない４個の変換ブロックに分割し、
    前記４個の変換ブロックそれぞれについて、ＩＤＣＴ−ＶＩＩＩまたはＩＤＳＴ−ＶＩＩのいずれか一方を用いて、水平方向及び垂直方向それぞれの逆直交変換処理を実行する、
    ことを特徴とする請求項１２に記載の復号方法。
16. 前記４個の変換ブロックのうち、前記予測ブロックの中心と、左下頂点で一致する前記変換ブロックについて、ＩＤＣＴ−ＶＩＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＳＴ−ＶＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記４個の変換ブロックのうち、前記予測ブロックの中心と、右下頂点で一致する前記変換ブロックについて、ＩＤＣＴ−ＶＩＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＣＴ−ＶＩＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記４個の変換ブロックのうち、前記予測ブロックの中心と、右上頂点で一致する前記変換ブロックについて、ＩＤＳＴ−ＶＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＣＴ−ＶＩＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記４個の変換ブロックのうち、前記予測ブロックの中心と、左上頂点で一致する変換ブロックについて、ＩＤＳＴ−ＶＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＳＴ−ＶＩＩを用いて水平方向の逆直交変換処理を実行する、
    ことを特徴とする請求項１５に記載の復号方法。
17. 前記分割するステップにおいて、前記予測ブロックを垂直方向と水平方向にそれぞれ３分割することで、前記予測ブロックを互いに重なり合わない９個の変換ブロックに分割し、
    前記９個の変換ブロックのうち、前記予測ブロックと左上頂点で一致する前記変換ブロックについて、ＩＤＣＴ−ＶＩＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＣＴ−ＶＩＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記９個の変換ブロックのうち、前記予測ブロックと右上頂点で一致する前記変換ブロックについて、ＩＤＣＴ−ＶＩＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＳＴ−ＶＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記９個の変換ブロックのうち、前記予測ブロックと左下頂点で一致する前記変換ブロックについて、ＩＤＳＴ−ＶＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＣＴ−ＶＩＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記９個の変換ブロックのうち、前記予測ブロックと右下頂点で一致する前記変換ブロックについて、ＩＤＳＴ−ＶＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＳＴ−ＶＩＩを用いて水平方向の逆直交変換処理を実行する、
    ことを特徴とする請求項１２に記載の復号方法。
18. 前記９個の変換ブロックのうち、前記予測ブロックと左上頂点で一致する前記変換ブロックと、前記予測ブロックと右上頂点で一致する前記変換ブロックとの間に挟まれた前記変換ブロックについて、ＩＤＣＴ−ＶＩＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＣＴ−ＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記９個の変換ブロックのうち、前記予測ブロックと右上頂点で一致する前記変換ブロックと、前記予測ブロックと右下頂点で一致する前記変換ブロックとの間に挟まれた前記変換ブロックについて、ＩＤＣＴ−ＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＳＴ−ＶＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記９個の変換ブロックのうち、前記予測ブロックと左下頂点で一致する前記変換ブロックと、前記予測ブロックと右下頂点で一致する前記変換ブロックとの間に挟まれた前記変換ブロックについて、ＩＤＳＴ−ＶＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＣＴ−ＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記９個の変換ブロックのうち、前記予測ブロックと左上頂点で一致する前記変換ブロックと、前記予測ブロックと左下頂点で一致する前記変換ブロックとの間に挟まれた前記変換ブロックについて、ＩＤＣＴ−ＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＣＴ−ＶＩＩＩを用いて水平方向の逆直交変換処理を実行する、
    ことを特徴とする請求項１７に記載の復号方法。
19. 前記９個の変換ブロックのうち、前記予測ブロックの中心を含む前記変換ブロックについて、ＩＤＣＴ−ＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＣＴ−ＩＩを用いて水平方向の逆直交変換処理を実行することを特徴とする請求項１７に記載の復号方法。
20. 前記予測ブロックが水平方向に長い場合、前記分割するステップにおいて、垂直方向に２分割し、水平方向に３分割することで、前記予測ブロックを互いに重なり合わない６個の変換ブロックに分割し、
    前記６個の変換ブロックのうち、前記予測ブロックと左上頂点で一致する前記変換ブロックについて、ＩＤＣＴ−ＶＩＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＣＴ−ＶＩＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記６個の変換ブロックのうち、前記予測ブロックと右上頂点で一致する前記変換ブロックについて、ＩＤＣＴ−ＶＩＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＳＴ−ＶＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記６個の変換ブロックのうち、前記予測ブロックと左下頂点で一致する前記変換ブロックについて、ＩＤＳＴ−ＶＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＣＴ−ＶＩＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記６個の変換ブロックのうち、前記予測ブロックと右下頂点で一致する前記変換ブロックについて、ＩＤＳＴ−ＶＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＳＴ−ＶＩＩを用いて水平方向の逆直交変換処理を実行する、
    ことを特徴とする請求項１２に記載の復号方法。
21. 前記６個の変換ブロックのうち、前記予測ブロックと左上頂点で一致する前記変換ブロックと、前記予測ブロックと右上頂点で一致する前記変換ブロックとの間に挟まれた前記変換ブロックについて、ＩＤＣＴ−ＶＩＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＣＴ−ＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記６個の変換ブロックのうち、前記予測ブロックと左下頂点で一致する前記変換ブロックと、前記予測ブロックと右下頂点で一致する前記変換ブロックとの間に挟まれた前記変換ブロックについて、ＩＤＳＴ−ＶＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＣＴ−ＩＩを用いて水平方向の逆直交変換処理を実行する、
    ことを特徴とする請求項２０に記載の復号方法。
22. 前記予測ブロックが垂直方向に長い場合、前記分割するステップにおいて、垂直方向に３分割し、水平方向に２分割することで、前記予測ブロックを互いに重なり合わない６個の変換ブロックに分割し、
    前記６個の変換ブロックのうち、前記予測ブロックと左上頂点で一致する前記変換ブロックについて、ＩＤＣＴ−ＶＩＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＣＴ−ＶＩＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記６個の変換ブロックのうち、前記予測ブロックと右上頂点で一致する前記変換ブロックについて、ＩＤＣＴ−ＶＩＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＳＴ−ＶＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記６個の変換ブロックのうち、前記予測ブロックと左下頂点で一致する前記変換ブロックについて、ＩＤＳＴ−ＶＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＣＴ−ＶＩＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記６個の変換ブロックのうち、前記予測ブロックと右下頂点で一致する前記変換ブロックについて、ＩＤＳＴ−ＶＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＳＴ−ＶＩＩを用いて水平方向の逆直交変換処理を実行する、
    ことを特徴とする請求項１２に記載の復号方法。
23. 前記６個の変換ブロックのうち、前記予測ブロックと左上頂点で一致する前記変換ブロックと、前記予測ブロックと左下頂点で一致する前記変換ブロックとの間に挟まれた前記変換ブロックについて、ＩＤＣＴ−ＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＣＴ−ＶＩＩＩを用いて水平方向の逆直交変換処理を実行し、
    前記６個の変換ブロックのうち、前記予測ブロックと右上頂点で一致する前記変換ブロックと、前記予測ブロックと右下頂点で一致する前記変換ブロックとの間に挟まれた前記変換ブロックについて、ＩＤＣＴ−ＩＩを用いて垂直方向の逆直交変換処理を実行し、ＩＤＳＴ−ＶＩＩを用いて水平方向の逆直交変換処理を実行する、
    ことを特徴とする請求項２２に記載の復号方法。
24. 画面間予測を用いて画像を符号化する符号化装置であって、
    前記画面間予測の対象となる、予測ブロックを特定する特定手段と、
    前記予測ブロックの中心を通る水平線に関して対称となり、かつ、前記予測ブロックの中心を通る垂直線に関して対称となる分割方法により、前記予測ブロックを、矩形形状の複数の変換ブロックに分割する分割手段と、
    前記複数の変換ブロックそれぞれについて、前記予測ブロックの中心との位置関係から、垂直方向及び水平方向それぞれに用いられる直交変換の種類を決定する決定手段と
    を有することを特徴とする符号化装置。
25. 符号化された符号化列より、画面間予測を用いて画像を復号する復号装置であって、
    前記画面間予測の対象となる、予測ブロックを特定する特定手段と、
    前記予測ブロックの中心を通る水平線に関して対称となり、かつ、前記予測ブロックの中心を通る垂直線に関して対称となる分割方法により、前記予測ブロックを、矩形形状の複数の変換ブロックに分割する分割手段と、
    前記複数の変換ブロックそれぞれについて、前記予測ブロックの中心との位置関係から、垂直方向及び水平方向それぞれに用いられる逆直交変換の種類を決定する決定手段と
    を有することを特徴とする復号装置。
26. 画面間予測を用いて画像を符号化するコンピュータに、
    前記画面間予測の対象となる、予測ブロックを特定するステップと、
    前記予測ブロックの中心を通る水平線に関して対称となり、かつ、前記予測ブロックの中心を通る垂直線に関して対称となる分割方法により、前記予測ブロックを、矩形形状の複数の変換ブロックに分割するステップと、
    前記複数の変換ブロックそれぞれについて、前記予測ブロックの中心との位置関係から、垂直方向及び水平方向それぞれに用いられる直交変換の種類を決定するステップと
    を実行させるための符号化プログラム。
27. 符号化された符号化列より、画面間予測を用いて画像を復号するコンピュータに、
    前記画面間予測の対象となる、予測ブロックを特定するステップと、
    前記予測ブロックの中心を通る水平線に関して対称となり、かつ、前記予測ブロックの中心を通る垂直線に関して対称となる分割方法により、前記予測ブロックを、矩形形状の複数の変換ブロックに分割するステップと、
    前記複数の変換ブロックそれぞれについて、前記予測ブロックの中心との位置関係から、垂直方向及び水平方向それぞれに用いられる逆直交変換の種類を決定するステップと
    を実行させるための復号プログラム。

Images