JP7451161B2 - 符号化装置、復号装置、及びプログラム - Google Patents

Description

本発明は、符号化装置、復号装置、及びプログラムに関する。

静止画像及び動画像の伝送時又は保存時のデータ量圧縮のため、映像符号化方式の研究が行われている。近年、８Ｋ－ＳＨＶに代表されるような超高解像度映像の普及が進んでおり、膨大なデータ量の動画像を伝送するための手法としてＡＶＣ／Ｈ．２６４及びＨＥＶＣ／Ｈ．２６５などの符号化方式が知られている。

このような符号化技術において、フレーム内の空間的な相関を利用したイントラ予測が用いられている。イントラ予測では、符号化対象ブロックに隣接する復号済み参照画素を参照して、符号化対象ブロック内の各画素を予測して予測ブロックを生成する。符号化装置は、符号化対象ブロックと予測ブロックとの差分（誤差）を表す予測残差に対する変換処理を行って変換係数を生成し、変換係数を量子化及びエントロピー符号化して符号化データを出力する。

ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）及びＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）が合同で標準化を行っている次世代映像符号化方式であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の規格案では、複数選択肢の参照画素列から１つを選択してイントラ予測に用いるＭＲＬ（Ｍｕｌｔｉ Ｒｅｆｅｒｅｎｃｅ Ｌｉｎｅ）イントラ予測が採用されている（例えば、非特許文献１参照）。複数選択肢の参照画素列は、符号化対象ブロックに隣接する参照画素列と符号化対象ブロックに隣接しない参照画素列とを含む。

また、ＶＶＣの規格案では、符号化対象ブロックごとに、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）２、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）７、ＤＣＴ８の合計３つの変換基底を選択的に適用するＭＴＳ（Ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ）が採用されており、予測残差の特性により適した変換を行うことを可能としている。変換基底の切り替えについては、フラグを伝送して切り替える機能と、フラグを伝送せずに符号化対象ブロックのブロックサイズに応じて切り替える機能とを利用可能である。

ＪＶＥＴ－Ｐ２００１ "Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ７）"

上述のように、変換基底を切り替えるためにフラグを伝送する場合、フラグ分の符号量が増加して符号化効率が低下すると共に、符号化装置側で適切な変換基底を決定するための試行回数が増加して処理量の増大にもつながる。

一方で、フラグを伝送せずに符号化対象ブロックのブロックサイズに応じて変換基底を切り替える機能もあるが、予測残差の特性に適した変換基底を適用するのは難しく、符号化効率向上の実現は困難である。

そこで、本発明は、変換基底を切り替えるためにフラグを伝送しない場合であっても、予測残差の特性により適した変換基底を適用可能とすることで符号化効率を向上させる符号化装置、復号装置、及びプログラムを提供することを目的とする。

第１の態様に係る符号化装置は、画像をブロック分割して符号化する装置である。前記符号化装置は、符号化対象ブロックに隣接する参照画素列と前記符号化対象ブロックに隣接しない参照画素列とを含む複数の参照画素列の中から選択された参照画素列を用いて、前記符号化対象ブロックをイントラ予測により予測するイントラ予測部と、前記イントラ予測部が出力する予測ブロックと前記符号化対象ブロックとの差分を表す予測残差に対する変換処理を行って変換係数を出力する変換部とを備える。前記変換部は、前記複数の参照画素列の中から選択された前記参照画素列に基づいて、前記変換処理で用いる変換基底を決定する変換基底決定部を有する。

第２の態様に係る復号装置は、符号化データを復号して、復号対象ブロックに対応する量子化変換係数を出力するエントロピー復号部と、前記復号対象ブロックに隣接する参照画素列と前記復号対象ブロックに隣接しない参照画素列とを含む複数の参照画素列の中から選択された参照画素列を用いて、前記復号対象ブロックをイントラ予測により予測するイントラ予測部と、前記エントロピー復号部が出力する前記量子化変換係数に対する逆量子化処理を行って変換係数を出力する逆量子化部と、前記逆量子化部が出力する前記変換係数に対する逆変換処理を行って予測残差を出力する逆変換部とを備える。前記逆変換部は、前記複数の参照画素列の中から選択された前記参照画素列に基づいて、前記逆変換処理で用いる変換基底を決定する変換基底決定部を有する。

第３の態様に係るプログラムは、コンピュータを、第１の態様に係る符号化装置又は第２の態様に係る復号装置として機能させる。

本発明によれば、変換基底を切り替えるためにフラグを伝送しない場合であっても、予測残差の特性により適した変換基底を適用可能とすることで符号化効率を向上させる符号化装置、復号装置、及びプログラムを提供できる。

実施形態に係る符号化装置の構成を示す図である。 ＤＣＴ２（ＤＣＴ－ＩＩ）、ＤＣＴ８（ＤＣＴ－ＶＩＩＩ）、ＤＳＴ７（ＤＳＴ－ＶＩＩ）の合計３つの変換基底を示す図である。 実施形態に係る変換基底決定部が出力する変換基底情報を示す図である。 実施形態に係るイントラ予測モードの候補を示す図である。 実施形態に係るＭＲＬイントラ予測を示す図である。 実施形態に係る符号化装置の動作フローを示す図である。 実施形態に係る復号装置の構成を示す図である。 実施形態に係る復号装置の動作フローを示す図である。

図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

＜符号化装置＞
まず、本実施形態に係る符号化装置の構成について説明する。図１は、本実施形態に係る符号化装置１の構成を示す図である。

図１に示すように、符号化装置１は、ブロック分割部１００と、予測残差生成部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、スキャン制御部１３１と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０とを有する。

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを予測残差生成部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず長方形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化を行う単位（すなわち、符号化対象ブロック）であり、且つ復号装置が復号を行う単位（すなわち、復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。

例えば、ブロック分割部１００は、画像を構成する輝度信号及び色差信号に対してブロック分割を行うことで、輝度ブロック及び色差ブロックを出力する。輝度信号と色差信号とで分割を独立に制御可能であってもよい。以下において、輝度ブロック及び色差ブロックを特に区別しないときは単に符号化対象ブロックと呼ぶ。

予測残差生成部１１０は、ブロック分割部１００が出力する符号化対象ブロックと、符号化対象ブロックを予測部１７０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。具体的には、予測残差生成部１１０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

変換・量子化部１２０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

変換部１２１は、予測残差生成部１１０が出力する予測残差に対して変換処理を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。変換処理とは、予測残差を空間領域から周波数領域に変換する処理をいい、例えば、離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、カルーネンレーブ変換（ＫＬＴ）等をいう。但し、変換処理には、画素領域の信号を周波数領域に変換することなくスケーリング等により調整する変換スキップを含んでもよい。変換部１２１は、符号化対象ブロックに適用する変換処理に関する情報をエントロピー符号化部１３０に出力する。

変換部１２１は、複数の変換基底を符号化対象ブロックごとに切り替えるＭＴＳを輝度信号の符号化において用いる。変換部１２１は、変換基底決定部１２１ａを有する。変換基底決定部１２１ａは、水平方向及び垂直方向のそれぞれについて、ＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８の中から変換基底（変換タイプ）を決定する。すなわち、変換部１２１は、複数種別の変換処理を切り替えて適用する。変換部１２１は、決定した変換基底を示す変換基底情報をエントロピー符号化部１３０及び逆変換部１４２に出力する。

図２は、ＤＣＴ２（ＤＣＴ－ＩＩ）、ＤＣＴ８（ＤＣＴ－ＶＩＩＩ）、ＤＳＴ７（ＤＳＴ－ＶＩＩ）の合計３つの変換基底（Ｂａｓｉｓ ｆｕｎｃｔｉｏｎ）を示す図である。図２において、Ｎは符号化対象ブロックのサイズを表す。ＤＣＴ８は、インパルス応答が単調減少となる基底を含む。具体的には、ＤＣＴ８は、最も低域のフィルタのインパルス応答Ｔ_０（ｊ）が単調減少となる変換である（但し、ｊ＝０，…，Ｎ－１）。ＤＣＴ８は、変換基底波形の一端が大きい値を持ち開放となる。ＤＳＴ７は、インパルス応答が単調増加となる基底を含む。具体的には、ＤＳＴ７は、最も低域のフィルタのインパルス応答Ｔ_０（ｊ）が単調増加となる変換である（但し、ｊ＝０，…，Ｎ－１）。ＤＳＴ７は、変換基底波形の一端が閉じている。

本実施形態では、予測残差に適用する複数種別の変換処理としてＤＣＴ２、ＤＣＴ８、ＤＳＴ７の３つを例に説明するが、上述したような単調増加や単調減少の特徴を持つ基底を含む変換を選択的に切り替えて適用するものであればよく、これら３つの変換基底に限定されない。例えば、ＤＣＴ１やＤＣＴ５などの他のＤＣＴ・ＤＳＴを用いてもよいし、離散ウェーブレット変換などの変換を用いてもよい。

図３は、本実施形態に係る変換基底決定部１２１ａが出力する変換基底情報を示す図である。

図３に示すように、変換基底決定部１２１ａは、ＭＴＳ＿ＣＵ＿ｆｌａｇ、ＭＴＳ＿Ｈｏｒ＿ｆｌａｇ、及びＭＴＳ＿Ｖｅｒ＿ｆｌａｇの合計３つの変換フラグを変換基底情報として出力する。

変換基底決定部１２１ａは、水平変換処理及び垂直変換処理の両方にＤＣＴ２を適用する場合、ＭＴＳ＿ＣＵ＿ｆｌａｇ＝０とする。一方、変換基底決定部１２１ａは、水平変換処理及び垂直変換処理の少なくともいずれか一方にＤＣＴ８もしくはＤＳＴ７を適用する場合、水平変換処理及び垂直変換処理に適用する変換基底の組み合わせに応じてＭＴＳ＿Ｈｏｒ＿ｆｌａｇ及びＭＴＳ＿Ｖｅｒ＿ｆｌａｇを設定する。

これらの３つの変換フラグは、後述のエントロピー符号化部１３０によりエントロピー符号化処理を施されてストリーム出力される。但し、エントロピー符号化部１３０は、ＭＴＳ＿ＣＵ＿ｆｌａｇ＝０である場合、ＭＴＳ＿Ｈｏｒ＿ｆｌａｇ及びＭＴＳ＿Ｖｅｒ＿ｆｌａｇをストリーム出力しなくてもよい。また、詳細については後述するが、エントロピー符号化部１３０は、符号化対象ブロックにＭＲＬが適用される場合、３つの変換フラグをストリーム出力しなくてもよい。

量子化部１２２は、変換部１２１が出力する変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した変換係数である量子化変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。

エントロピー符号化部１３０は、量子化部１２２が出力する量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）等を用いることができる。

また、エントロピー符号化部１３０は、変換処理に関する情報を変換部１２１から入力し、変換処理に関する情報を符号化データ中で復号側に伝送する。変換処理に関する情報は、上述した変換基底情報を含み得る。

さらに、エントロピー符号化部１３０は、予測処理に関する情報を予測部１７０から入力し、入力した予測処理に関する情報を符号化データ中で復号側に伝送する。予測処理に関する情報は、後述する参照画素列情報を含み得る。

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２が出力する量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。

逆変換部１４２は、変換部１２１が出力する変換基底情報に基づいて、変換部１２１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１が出力する変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

合成部１５０は、逆変換部１４２が出力する復元予測残差を、予測部１７０が出力する予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復号（再構成）し、復号済みブロックをメモリ１６０に出力する。なお、復号済みブロックは、再構成ブロックと呼ばれることもある。

メモリ１６０は、合成部１５０が出力する復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ１６０は、記憶している復号済みブロック若しくは復号済み画像を予測部１７０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが介在してもよい。

予測部１７０は、ブロック単位で予測処理を行う。予測部１７０は、インター予測部１７１と、イントラ予測部１７２と、切替部１７３とを有する。

インター予測部１７１は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部１７１は、メモリ１６０に記憶された復号済み画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１７３に出力する。ここで、インター予測部１７１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０に出力する。

イントラ予測部１７２は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部１７２は、メモリ１６０に記憶された復号済み画像のうち、符号化対象ブロックの周辺にある復号済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１７３に出力する。イントラ予測部１７２は、複数のイントラ予測モードの中から、符号化対象ブロックに適用するイントラ予測モードを選択し、選択したイントラ予測モードを用いて対象ブロックを予測する。

図４は、本実施形態に係るイントラ予測モードの候補を示す図である。図４に示すように、輝度ブロックについて、イントラ予測モードの候補は、０から６６までの６７通りがある。イントラ予測モードのモード「０」はＰｌａｎａｒ予測であり、イントラ予測モードのモード「１」はＤＣ予測であり、イントラ予測モードのモード「２」乃至「６６」は方向性予測である。方向性予測において、矢印の方向は参照方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。

本実施形態において、イントラ予測部１７２は、ＭＲＬイントラ予測を行う機能を有する。図５は、本実施形態に係るＭＲＬイントラ予測を示す図である。図５に示す各円は、画素を表している。

図５に示すように、ＭＲＬイントラ予測は、イントラ予測において、複数の参照画素列のうちいずれか１つの参照画素列を予測に用いて予測ブロックを生成するとともに、参照画素列を示すシンタックスを復号側に伝送する手法である。

図５において、複数の参照画素列が、符号化対象ブロックに隣接する隣接参照画素列（０列目）と、隣接参照画素列よりも外側に位置する第１参照画素列（１列目）と、第１参照画素列よりも外側に位置する第２参照画素列（２列目）とを含む一例を示している。

ただし、隣接参照画素列よりも外側に位置する参照画素列については２列目よりも離れた参照画素列を利用しても構わない。例えば、隣接の０列目の参照画素列を隣接参照画素列とし、０列目の参照画素列よりも外側に位置する１列目の参照画素列を第１参照画素列とし、１列目の参照画素列よりも外側に位置する３列目の参照画素列を第２参照画素列としてもよい。

従来のイントラ予測では、符号化対象ブロックに隣接する画素を参照画素として用いて符号化対象ブロック内の各画素を予測しており、参照画素に隣接した予測対象画素に対する予測精度が高い。一方、従来のイントラ予測は、参照画素から距離をとった予測対象画素の予測効率が徐々に低下し、絵柄によっては平均的に見ると符号化対象ブロック内の画素の予測精度が必ずしも高くないという欠点がある。この現象に着目し、ＭＲＬイントラ予測では、符号化対象ブロックの平均的な予測精度を上げるために、符号化対象ブロックに隣接する画素ではなく、数ラインはなれた画素列を参照画素として用いて予測を行うことを可能としている。

例えば、イントラ予測部１７２は、イントラ予測にＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅｓ）を適用する際に、ＭＲＬイントラ予測を適用する。符号化対象ブロック及びその周辺ブロックにおいて利用される予測モードは高い相関があるため、ＭＰＭでは、符号化対象ブロックの左及び上のブロックで利用された予測モードと、それらの予測モードに近い方向の予測モードに優先順位をつけて、他の予測モードに対して相対的に少ないデータ量を割り当てる。また、ＭＲＬイントラ予測は、Ｐｌａｎａｒ予測及びＤＣ予測以外の予測モードに適用される。すなわち、Ｐｌａｎａｒ予測及びＤＣ予測は、隣接参照画素列のみを参照する。

イントラ予測部１７２は、参照画素列選択部１７２ａを有する。参照画素列選択部１７２ａは、ＭＲＬイントラ予測を適用する場合において、隣接参照画素列（０列目）、第１参照画素列（１列目）、及び第２参照画素列（２列目）の中から、イントラ予測に用いる１つの参照画素列を選択する。上述したように、第２参照画素列は、３列目の参照画素列であってもよい。参照画素列選択部１７２ａは、選択した参照画素列を示す参照画素列情報（参照画素列シンタックス）を変換部１２１及びエントロピー符号化部１３０に出力する。また、イントラ予測部１７２は、イントラ予測モードを示すモード情報（予測モードシンタックス）をエントロピー符号化部１３０に出力する。

切替部１７３は、インター予測部１７１が出力するインター予測ブロックとイントラ予測部１７２が出力するイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを予測残差生成部１１０及び合成部１５０に出力する。

このように、本実施形態に係る符号化装置１は、符号化対象ブロックに隣接する参照画素列と符号化対象ブロックに隣接しない参照画素列とを含む複数の参照画素列の中から選択された参照画素列を用いて、符号化対象ブロックをイントラ予測により予測するイントラ予測部１７２と、イントラ予測部１７２が出力する予測ブロックと符号化対象ブロックとの差分を表す予測残差に対する変換処理を行って変換係数を出力する変換部１２１とを有する。

本実施形態において、変換部１２１の変換基底決定部１２１ａは、イントラ予測部１７２がＭＲＬイントラ予測を行う場合、複数の参照画素列の中から選択された参照画素列に基づいて、変換処理で用いる変換基底を決定する。具体的には、変換基底決定部１２１ａは、参照画素列選択部１７２ａが出力する参照画素列情報から参照画素列を特定し、特定した参照画素列と対応付けられた変換基底を決定する。

ここで、変換基底決定部１２１ａは、複数の参照画素列の中から選択された参照画素列に基づいて、水平方向の変換処理で用いる水平方向変換基底と垂直方向の変換処理で用いる垂直方向変換基底とを決定する。

このように、変換部１２１の変換基底決定部１２１ａは、ＭＲＬイントラ予測で選択された参照画素列に基づいて変換基底を決定する。すなわち、参照画素列と変換基底とを対応付けることにより、変換基底を切り替えるためにフラグを復号側に伝送する必要がなくなる。具体的には、エントロピー符号化部１３０は、変換基底を示す変換基底情報を伝送せずに、選択された参照画素列を示す参照画素列情報を復号側に伝送する。このため、変換基底を切り替えるためのフラグ分の符号量を削減し、符号化効率を向上させることができると共に、適切な変換基底を決定するための処理量（すなわち、試行回数）を削減できる。

表１に、参照画素列と変換基底との対応付けの一例を示す。

表１に示す例において、ＭＲＬイントラ予測で選択された参照画素列が０列目の参照画素列（図５参照）である場合、変換基底決定部１２１ａは、ＤＳＴ－７を水平方向変換基底及び垂直方向変換基底として決定する。０列目の参照画素列を用いてイントラ予測を行う場合、０列目の参照画素列に隣接するブロック境界領域の予測精度が高く、ブロック境界領域の予測残差はゼロに近いと考えられる。ＤＳＴ７は、変換基底波形の一端が閉じており、このような特徴を持つ予測残差に好適である。ただし表１の参照画素列は一例であり、隣接参照画素列よりも外側に位置する参照画素列については２列目よりも離れた参照画素列（例えば、３列目）を利用しても構わない。

ＭＲＬイントラ予測で選択された参照画素列が１列目の参照画素列（図５参照）である場合、変換基底決定部１２１ａは、ＤＣＴ－２を水平方向変換基底及び垂直方向変換基底として決定する。１列目の参照画素列を用いてイントラ予測を行う場合、ブロックの平均的な予測精度を上げるようなイントラ予測が行われるため、ＤＣＴ－２を用いることとしている。

ＭＲＬイントラ予測で選択された参照画素列が２列目の参照画素列（図５参照）である場合、変換基底決定部１２１ａは、ＤＳＴ－７を水平方向変換基底及び垂直方向変換基底として決定する。２列目の参照画素列を用いてイントラ予測を行う場合、予測残差の特徴が不定であるため、ＤＳＴ－７を用いることとしている。但し、ＤＳＴ－７に代えてＤＣＴ－２を用いることとしてもよい。

次に、本実施形態に係る符号化装置１の動作フローについて説明する。図６は、本実施形態に係る符号化装置１の動作フローを示す図である。ここでは、ＭＲＬイントラ予測を適用する場合において、変換基底の決定に関する動作のみを示している。

図６に示すように、ステップＳ１１において、イントラ予測部１７２の参照画素列選択部１７２ａは、隣接参照画素列（０列目）、第１参照画素列（１列目）、及び第２参照画素列（２列目）の中から、符号化対象ブロックのイントラ予測に用いる１つの参照画素列を選択する。参照画素列選択部１７２ａは、選択した参照画素列を示す参照画素列情報（参照画素列シンタックス）を変換部１２１及びエントロピー符号化部１３０に出力する。

ステップＳ１２において、イントラ予測部１７２は、ステップＳ１１で選択した参照画素列を参照して符号化対象ブロックのイントラ予測を行い、予測ブロックを出力する。ここで、イントラ予測部１７２は、ＭＰＭ中のイントラ予測モードを用いてイントラ予測を行ってもよい。

ステップＳ１３において、予測残差生成部１１０は、イントラ予測部１７２が出力する予測ブロックと符号化対象ブロックとの差分を表す予測残差を生成し、予測残差を変換部１２１に出力する。

一方、ステップＳ１４において、変換部１２１の変換基底決定部１２１ａは、参照画素列選択部１７２ａが出力する参照画素列情報から参照画素列を特定し、特定した参照画素列と対応付けられた変換基底を決定する。例えば、変換基底決定部１２１ａは、表１に示した対応付けに応じて、参照画素列の番号から変換基底を決定する。

ステップＳ１５において、変換部１２１は、変換基底決定部１２１ａが決定した変換基底を用いて予測残差に対する変換処理を行い、変換係数を出力する。量子化部１２２は、変換部１２１が出力する変換係数に対する量子化処理を行い、量子化変換係数を出力する。

ステップＳ１６において、エントロピー符号化部１３０は、量子化部１２２が出力する量子化変換係数を符号化して符号化データを出力する。ここで、エントロピー符号化部１３０は、変換部１２１が出力する変換基底情報を伝送せずに、イントラ予測部１７２（参照画素列選択部１７２ａ）が出力する参照画素列情報を復号側に伝送する。

＜復号装置＞
次に、本実施形態に係る復号装置の構成について、符号化装置１との相違点を主として説明する。図７は、本実施形態に係る復号装置２の構成を示す図である。

図７に示すように、復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを有する。

エントロピー復号部２００は、符号化データを復号して、復号対象ブロックに対応する量子化変換係数を逆量子化・逆変換部２１０に出力する。

また、エントロピー復号部２００は、変換処理に関する情報を取得し、変換処理に関する情報を逆量子化・逆変換部２１０（逆変換部２１２）に出力する。変換処理に関する情報は、上述した変換基底情報を含み得る。但し、ＭＲＬイントラ予測が適用されている場合、エントロピー復号部２００は、変換基底情報を取得しない。

さらに、エントロピー復号部２００は、予測処理に関する情報を取得し、予測処理に関する情報を予測部２４０に出力する。予測処理に関する情報は、上述した参照画素列情報を含み得る。エントロピー復号部２００は、参照画素列情報を逆量子化・逆変換部２１０（逆変換部２１２）に出力する。

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

逆量子化部２１１は、符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００が出力する量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。

逆変換部２１２は、符号化装置１の変換部１２１が行う変換処理に対応する逆変換処理を行う。逆変換部２１２は、逆量子化部２１１が出力する変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

逆変換部２１２は、変換基底決定部２１２ａを有する。変換基底決定部２１２ａは、ＭＲＬイントラ予測が適用されていない場合、エントロピー復号部２００が出力する変換基底情報に基づいて、逆量子化処理で用いる変換基底を決定する（図３参照）。

一方、ＭＲＬイントラ予測が適用されている場合、変換基底決定部２１２ａは、エントロピー復号部２００が出力する参照画素列情報に基づいて、逆量子化処理で用いる変換基底を決定する（表１参照）。具体的には、変換基底決定部１２１ａは、参照画素列情報から参照画素列を特定し、特定した参照画素列と対応付けられた変換基底を決定する。ここで、変換基底決定部１２１ａは、選択された参照画素列に基づいて、水平方向の逆変換処理で用いる水平方向変換基底と垂直方向の逆変換処理で用いる垂直方向変換基底とを決定する。

合成部２２０は、逆変換部２１２が出力する予測残差と、予測部２４０が出力する予測ブロックとを画素単位で合成することにより、元のブロックを復号（再構成）し、復号済みブロックをメモリ２３０に出力する。

メモリ２３０は、合成部２２０が出力する復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ２３０は、復号済みブロック若しくは復号済み画像を予測部２４０に出力する。また、メモリ２３０は、フレーム単位の復号済み画像を復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが介在してもよい。

予測部２４０は、ブロック単位で予測を行う。予測部２４０は、インター予測部２４１と、イントラ予測部２４２と、切替部２４３とを有する。

インター予測部２４１は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部２４１は、エントロピー復号部２００が出力するインター予測に関する情報（例えば、動きベクトル情報）に基づいて、メモリ２３０に記憶された復号済み画像を参照画像として用いて符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部２４３に出力する。

イントラ予測部２４２は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部２４２は、エントロピー復号部２００が出力するイントラ予測に関する情報（例えば、イントラ予測モード情報）に応じたイントラ予測モードを用いて、メモリ２３０に記憶された復号済み画像のうち符号化対象ブロックの周辺にある復号済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２４３に出力する。

本実施形態において、イントラ予測部２４２は、ＭＲＬイントラ予測を行う機能を有する。イントラ予測部２４２は、エントロピー復号部２００が出力する参照画素列情報に基づいて、複数の参照画素列のうちいずれか１つの参照画素列を予測に用いて予測ブロックを生成する。

切替部２４３は、インター予測部２４１が出力するインター予測ブロックとイントラ予測部２４２が出力するイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。

このように、本実施形態に係る復号装置２は、復号対象ブロックに隣接する参照画素列と復号対象ブロックに隣接しない参照画素列とを含む複数の参照画素列の中から選択された参照画素列を用いて、復号対象ブロックをイントラ予測により予測するイントラ予測部２４２と、エントロピー復号部２００が出力する量子化変換係数に対する逆量子化処理を行って変換係数を出力する逆量子化部２１１と、逆量子化部２１１が出力する変換係数に対する逆変換処理を行って予測残差を出力する逆変換部２１２とを有する。逆変換部２１２は、複数の参照画素列の中から選択された参照画素列に基づいて、逆変換処理で用いる変換基底を決定する変換基底決定部２１２ａを有する。

また、本実施形態において、エントロピー復号部２００は、変換基底を示す変換基底情報を取得せずに、複数の参照画素列の中から符号化側で選択された参照画素列を示す参照画素列情報を取得する。変換基底決定部２１２ａは、取得された参照画素列情報が示す参照画素列に基づいて、変換基底を決定する。

このため、本実施形態に係る復号装置２によれば、変換基底を切り替えるためにフラグを伝送しない場合であっても、予測残差の特性により適した変換基底を適用可能とすることで符号化効率を向上させることができる。

次に、本実施形態に係る復号装置２の動作フローについて説明する。図８は、本実施形態に係る復号装置２の動作フローを示す図である。ここでは、ＭＲＬイントラ予測を適用する場合において、変換基底の決定に関する動作のみを示している。

図８に示すように、ステップＳ２１において、エントロピー復号部２００は、符号化データを復号して、復号対象ブロックに対応する量子化変換係数を逆量子化部２１１に出力する。エントロピー復号部２００は、変換基底を示す変換基底情報を取得せずに、符号化側で選択された参照画素列を示す参照画素列情報を取得し、取得した参照画素列情報を逆変換部２１２及びイントラ予測部２４２に出力する。

ステップＳ２２において、イントラ予測部２４２は、参照画素列情報が示す参照画素列を参照し、ＭＲＬイントラ予測より復号対象ブロックを予測して予測ブロックを出力する。

一方、ステップＳ２３において、逆変換部２１２の変換基底決定部２１２ａは、エントロピー復号部２００が出力する参照画素列情報から参照画素列を特定し、特定した参照画素列と対応付けられた変換基底を決定する。例えば、変換基底決定部１２１ａは、表１に示した対応付けに応じて、参照画素列の番号から変換基底を決定する。

ステップＳ２４において、逆量子化部２１１は、エントロピー復号部２００が出力する量子化変換係数に対する逆量子化処理を行って変換係数を出力する。逆変換部２１２は、逆量子化部２１１が出力する変換係数に対して、ステップＳ２３で決定した変換基底を用いて逆変換処理を行い、予測残差を合成部２２０に出力する。

ステップＳ２５において、合成部２２０は、逆変換部２１２が出力する予測残差と、予測部２４０が出力する予測ブロックとを画素単位で合成することにより、元のブロックを復号（再構成）し、復号済みブロックをメモリ２３０に出力する。

＜その他の実施形態＞
上述した実施形態において、ＭＲＬイントラ予測が適用される場合、選択された参照画素列のみに基づいて変換基底を決定する一例について説明した。しかしながら、選択された参照画素列だけではなく、他の基準に基づいて変換基底を決定してもよい。例えば、選択された参照画素列とブロックサイズとに基づいて変換基底を決定してもよい。

すなわち、他の実施形態に係る符号化装置１において、変換基底決定部１２１ａは、複数の参照画素列の中から選択された参照画素列と、符号化対象ブロックのブロックサイズとに基づいて、変換処理で用いる変換基底を決定する。他の実施形態に係る復号装置２において、変換基底決定部２１２ａは、複数の参照画素列の中から選択された参照画素列と、復号対象ブロックのブロックサイズとに基づいて、逆変換処理で用いる変換基底を決定する。

例えば、変換基底決定部１２１ａ及び２１２ａは、ブロックサイズが所定サイズ以下である場合、表１に示すような対応付けに応じて参照画素列から変換基底を適応的に決定する。一方、ブロックサイズが所定サイズを超える場合、変換基底決定部１２１ａ及び２１２ａは、表１に示すような対応付けにかかわらず、予め定められた変換基底（例えば、ＤＣＴ－２）を決定する。

符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１ ：符号化装置
２ ：復号装置
１００ ：ブロック分割部
１１０ ：予測残差生成部
１２０ ：変換・量子化部
１２１ ：変換部
１２１ａ ：変換基底決定部
１２２ ：量子化部
１３０ ：エントロピー符号化部
１３１ ：スキャン制御部
１４０ ：逆量子化・逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：メモリ
１７０ ：予測部
１７１ ：インター予測部
１７２ ：イントラ予測部
１７２ａ ：参照画素列選択部
１７３ ：切替部
２００ ：エントロピー復号部
２１０ ：逆量子化・逆変換部
２１１ ：逆量子化部
２１２ ：逆変換部
２１２ａ ：変換基底決定部
２２０ ：合成部
２３０ ：メモリ
２４０ ：予測部
２４１ ：インター予測部
２４２ ：イントラ予測部
２４３ ：切替部

Claims (9)

1. 画像をブロック分割して符号化する符号化装置であって、
   符号化対象ブロックに隣接する参照画素列と前記符号化対象ブロックに隣接しない参照画素列とを含む複数の参照画素列の中から選択された参照画素列を用いて前記符号化対象ブロックをイントラ予測により予測するイントラ予測部と、
   前記イントラ予測部が出力する予測ブロックと前記符号化対象ブロックとの差分を表す予測残差に対する変換処理を行って変換係数を出力する変換部と、
   前記変換部が出力する前記変換係数に対する量子化処理を行って量子化変換係数を出力する量子化部と、
   前記量子化変換係数を符号化して符号化データを出力するエントロピー符号化部と、を備え、
   前記変換部は、
   前記複数の参照画素列の中から選択された前記参照画素列に基づいて、前記変換処理で用いる変換基底を決定する変換基底決定部を有し、
   前記エントロピー符号化部は、
   前記複数の参照画素列の中から選択された前記参照画素列を示す参照画素列情報を復号側に伝送し、
   前記参照画素列情報が所定の列を示す場合、前記変換基底を示す変換基底情報を伝送しない制御を行うことを特徴とする符号化装置。
2. 前記変換基底決定部は、
   前記複数の参照画素列の中から選択された前記参照画素列に基づいて、水平方向の前記変換処理で用いる水平方向変換基底と垂直方向の前記変換処理で用いる垂直方向変換基底とを決定することを特徴とする請求項１に記載の符号化装置。
3. 前記変換基底決定部は、
   前記複数の参照画素列の中から選択された前記参照画素列と、前記符号化対象ブロックのブロックサイズとに基づいて、前記変換処理で用いる変換基底を決定することを特徴とする請求項１又は２に記載の符号化装置。
4. 符号化データを復号して、復号対象ブロックに対応する量子化変換係数を出力するエントロピー復号部と、
   前記復号対象ブロックに隣接する参照画素列と前記復号対象ブロックに隣接しない参照画素列とを含む複数の参照画素列の中から選択された参照画素列を用いて、前記復号対象ブロックをイントラ予測により予測するイントラ予測部と、
   前記エントロピー復号部が出力する前記量子化変換係数に対する逆量子化処理を行って変換係数を出力する逆量子化部と、
   前記逆量子化部が出力する前記変換係数に対する逆変換処理を行って予測残差を出力する逆変換部と、を備え、
   前記逆変換部は、
   前記複数の参照画素列の中から選択された前記参照画素列に基づいて、前記逆変換処理で用いる変換基底を決定する変換基底決定部を有し、
   前記エントロピー復号部は、前記複数の参照画素列の中から符号化側で選択された前記参照画素列を示す参照画素列情報を取得し、
   前記参照画素列情報が所定の列を示す場合、前記変換基底を示す変換基底情報を取得しない制御を行うことを特徴とする復号装置。
5. 前記変換基底決定部は、
   前記取得された参照画素列情報が示す前記参照画素列に基づいて、前記変換基底を決定することを特徴とする請求項４に記載の復号装置。
6. 前記変換基底決定部は、
   前記複数の参照画素列の中から選択された前記参照画素列に基づいて、水平方向の前記逆変換処理で用いる水平方向変換基底と垂直方向の前記逆変換処理で用いる垂直方向変換基底とを決定することを特徴とする請求項５に記載の復号装置。
7. 前記変換基底決定部は、
   前記複数の参照画素列の中から選択された前記参照画素列と、前記復号対象ブロックのブロックサイズとに基づいて、前記逆変換処理で用いる変換基底を決定することを特徴とする請求項５又は６に記載の復号装置。
8. コンピュータを、請求項１乃至３のいずれか１項に記載の符号化装置として機能させることを特徴とするプログラム。
9. コンピュータを、請求項４乃至７のいずれか１項に記載の復号装置として機能させることを特徴とするプログラム。

Images