JP7388900B2

JP7388900B2 - 符号化装置、復号装置、及びプログラム

Info

Publication number: JP7388900B2
Application number: JP2019221544A
Authority: JP
Inventors: 和久井口; 俊輔岩村; 慎平根本; 敦郎市ヶ谷
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2019-12-06
Filing date: 2019-12-06
Publication date: 2023-11-29
Anticipated expiration: 2039-12-06
Also published as: JP2021093574A; JP2024003218A

Description

本発明は、符号化装置、復号装置、及びプログラムに関する。

ＨＥＶＣ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ）に代表される符号化方式では、インター予測やイントラ予測による予測画像と原画像との差分により得られる予測残差が一般に低周波成分にエネルギーが集中する傾向があるという性質を利用して、変換処理により予測残差を周波数成分に分解（変換）することで、エントロピーの低減を実現している（例えば、非特許文献１参照）。

予測残差に対して変換処理を行うことにより得られる変換係数の最も左上の成分はＤＣ（ＤｉｒｅｃｔＣｕｒｒｅｎｔ）成分であり、下にいくにつれて垂直方向の周波数の高い成分を、右にいくにつれて水平方向の周波数の高い成分を表している。符号化装置では予測残差をストリーム出力するため、量子化後の変換係数の有意な成分である有意係数の位置や値をエントロピー符号化して伝送する。有意係数とは、ゼロではない変換係数（非ゼロ係数）をいう。

符号化装置は、ブロック内の変換係数を高周波から低周波に向かって、符号化順を表すスキャン順に応じてシリアライズし、シリアライズされた変換係数をエントロピー符号化する。その際に、シリアライズされた変換係数のうち最も高周波側の最後の有意係数の位置を示す最終有意係数座標（ｌａｓｔｐｏｓｉｔｉｏｎ）を伝送し、ｌａｓｔｐｏｓｉｔｉｏｎからＤＣ成分までの有意係数の位置や値を効率的に符号化する。

ＨＥＶＣでは、変換係数の二値化の際のスキャン順がイントラ予測モードに応じて切り替えられる。具体的には、イントラ予測モードに応じた予測残差の分布の統計的な偏りを利用し、適応的にスキャン順を切り替えることにより、符号化効率を改善している。

また、ＨＥＶＣでは、ｌａｓｔｐｏｓｉｔｉｏｎのエントロピー符号化において、ｌａｓｔｐｏｓｉｔｉｏｎのブロック内の座標（ＤＣ成分を基準とした相対位置）であるＸ、Ｙの２つの値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ，ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ）を別々にエントロピー符号化する。予測残差は、一般に低周波成分にエネルギーが集中する傾向にあることから、ｌａｓｔｐｏｓｉｔｉｏｎは変換係数の左上領域に生じる可能性が高い。このため、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ及びｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙを伝送するための二値化の際に、小さい値には少ないビット数を割り当て、大きい値には多くのビット数を割り当てることで、ｌａｓｔｐｏｓｉｔｉｏｎを効率的に符号化している。

ＲｅｃｏｍｍｅｎｄａｔｉｏｎＩＴＵ－ＴＨ．２６５，（１２／２０１６）， "Ｈｉｇｈｅｆｆｉｃｉｅｎｃｙｖｉｄｅｏｃｏｄｉｎｇ"，ＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎ

上述のように、イントラ予測モードに応じて予測残差の分布に統計的な偏りが生じる。言い換えると、イントラ予測モードに応じて、変換係数の値が大きくなる確率が高い領域が変化する。例えば、イントラ予測モードが垂直に近い方向性予測モードである場合、ブロック上部に大きな値の変換係数が現われる可能性が高い。

同様に、ｌａｓｔｐｏｓｉｔｉｏｎが出現する位置もイントラ予測モードにより変化すると考えられる。例えば、イントラ予測モードが垂直に近い方向性予測モードである場合、ブロック上部にｌａｓｔｐｏｓｉｔｉｏｎが現われる可能性が高い。しかしながら、従来の符号化方式では、ｌａｓｔｐｏｓｉｔｉｏｎを伝送するための二値化がイントラ予測モードに応じて制御されていないため、ｌａｓｔｐｏｓｉｔｉｏｎの符号化の効率が悪いという課題があった。

そこで、本発明は、最終有意係数座標（ｌａｓｔｐｏｓｉｔｉｏｎ）の符号化の効率を改善する符号化装置、復号装置、及びプログラムを提供することを目的とする。

第１の態様に係る符号化装置は、画像を構成するブロック単位で符号化を行う符号化装置であって、符号化対象ブロックの周辺の復号済み画素を用いるイントラ予測によって、前記符号化対象ブロックに対応する予測ブロックを生成するイントラ予測部と、前記符号化対象ブロックと前記予測ブロックとの差を表すブロック単位の予測残差に対して変換処理及び量子化処理を行う変換・量子化部と、前記変換・量子化部が出力するブロック単位の変換係数を符号化するエントロピー符号化部と、を備え、前記エントロピー符号化部は、前記イントラ予測に用いたイントラ予測モードに基づいて、前記変換係数に含まれる最終有意係数の位置を示す最終有意係数座標の二値化に適用する二値化方式を決定する符号化制御部を有することを要旨とする。

第２の態様に係る復号装置は、画像を構成するブロック単位で復号を行う復号装置であって、復号対象ブロックの周辺の復号済み画素を用いるイントラ予測によって、前記復号対象ブロックに対応する予測ブロックを生成するイントラ予測部と、符号化ストリームを復号することで、前記復号対象ブロックの変換係数を出力するエントロピー復号部と、前記エントロピー復号部が出力する前記変換係数に対して逆量子化処理及び逆変換処理を行ってブロック単位の予測残差を復元する逆量子化・逆変換部と、前記予測ブロックと前記復元した予測残差とを合成して前記復号対象ブロックを復元する合成部と、を備え、前記エントロピー復号部は、前記イントラ予測に用いるイントラ予測モードに基づいて、前記変換係数に含まれる最終有意係数の位置を示す最終有意係数座標の二値化に適用されている二値化方式を特定する復号制御部を有することを要旨とする。

第３の態様に係るプログラムは、コンピュータを第１の態様に係る符号化装置として機能させることを要旨とする。

第４の態様に係るプログラムは、コンピュータを第２の態様に係る復号装置として機能させることを要旨とする。

本発明によれば、最終有意係数座標（ｌａｓｔｐｏｓｉｔｉｏｎ）の符号化の効率を改善する符号化装置、復号装置、及びプログラムを提供できる。

実施形態に係る符号化装置１の構成を示す図である。実施形態に係るイントラ予測モードの候補を示す図である。実施形態に係るエントロピー符号化部の構成を示す図である。実施形態に係るシリアライズ部の動作例を示す図である。実施形態に係るシリアライズ部の動作例を示す図である。実施形態に係る符号化制御部及び復号制御部の動作を示す図である。実施形態に係る対応付け情報を示す図である。座標値の表現に必要なビット数を示す図である。実施形態に係る復号装置の構成を示す図である。実施形態に係るエントロピー復号部の構成を示す図である。その他の実施形態を説明するための図である。

図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

＜符号化装置＞
本実施形態に係る符号化装置について説明する。

（符号化装置の構成）
まず、本実施形態に係る符号化装置の構成について説明する。図１は、本実施形態に係る符号化装置１の構成を示す図である。

図１に示すように、符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０とを有する。

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず長方形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化を行う単位（すなわち、符号化対象ブロック）であり、且つ復号装置が復号を行う単位（すなわち、復号対象ブロック）である。このような画像ブロックはＣＵ（ＣｏｄｉｎｇＵｎｉｔ）と呼ばれることがある。

例えば、ブロック分割部１００は、画像を構成する輝度信号及び色差信号に対してブロック分割を行うことで、輝度ブロック及び色差ブロックを出力する。輝度信号と色差信号とで分割を独立に制御可能であってもよい。輝度ブロック及び色差ブロックを特に区別しないときは単に符号化対象ブロックと呼ぶ。

減算部１１０は、ブロック分割部１００から出力される符号化対象ブロックと、符号化対象ブロックを予測部１７０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。具体的には、減算部１１０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

変換・量子化部１２０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

変換部１２１は、減算部１１０から出力される予測残差に対して変換処理を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。変換処理とは、例えば、離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、カルーネンレーブ変換（ＫＬＴ）等をいう。但し、変換処理には、画素領域の信号を周波数領域の信号に変換することなくスケーリング等により調整する変換スキップを含んでもよい。変換部１２１は、符号化対象ブロックに適用する変換処理に関する情報をエントロピー符号化部１３０に出力する。

量子化部１２２は、変換部１２１から出力される変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。

エントロピー符号化部１３０は、量子化部１２２から出力される変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄＡｄａｐｔｉｖｅＢｉｎａｒｙＡｒｉｔｈｍｅｔｉｃＣｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。具体的には、エントロピー符号化部１３０は、２次元に配列された変換係数を所定のスキャン順で読み出し、サブブロック単位で符号化を行う。

エントロピー符号化部１３０は、このような変換係数のスキャン処理及び符号化処理に加えて、変換部１２１から出力される変換処理に関する情報の符号化や、予測部１７０から出力される予測処理に関する情報の符号化も行う。

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から出力される変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。

逆変換部１４２は、変換部１２１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

合成部１５０は、逆変換部１４２から出力される復元予測残差を、予測部１７０から出力される予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復号（再構成）し、復号済みブロックをメモリ１６０に出力する。なお、復号済みブロックは、再構成ブロックと呼ばれることもある。

メモリ１６０は、合成部１５０から出力される復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ１６０は、記憶している復号済みブロック若しくは復号済み画像を予測部１７０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。

予測部１７０は、ブロック単位で予測処理を行う。予測部１７０は、インター予測部１７１と、イントラ予測部１７２と、切替部１７３とを有する。

インター予測部１７１は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部１７１は、メモリ１６０に記憶された復号済み画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、インター予測の対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１７３に出力する。ここで、インター予測部１７１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０に出力する。

イントラ予測部１７２は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部１７２は、メモリ１６０に記憶された復号済み画像のうち、イントラ予測の対象ブロックの周辺にある復号済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１７３に出力する。イントラ予測部１７２は、複数のイントラ予測モードの中から、イントラ予測の対象ブロックに適用するイントラ予測モードを選択し、選択したイントラ予測モードを用いて対象ブロックを予測する。イントラ予測部１７２は、選択したイントラ予測モードを示すイントラ予測モードシンタックスをエントロピー符号化部１３０に出力する。

イントラ予測モードシンタックスには、例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ、及びｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒがある。

ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇは、イントラ予測に用いたイントラ予測モードが複数の優先イントラ予測モード（以下、「ＭＰＭモード」と呼ぶ）に含まれるか否かを示すフラグである。ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“１”である場合、イントラ予測モードがＭＰＭモードに含まれることを示す。一方、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“０”である場合、イントラ予測モードがＭＰＭモードに含まれない、すなわち、イントラ予測モードが複数の非優先イントラ予測モード（以下、「非ＭＰＭモード」と呼ぶ）に含まれることを示す。

ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇは、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“１”である場合において、イントラ予測モードがＰｌａｎａｒモードであるか否かを示すフラグである。ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇが“１”である場合、イントラ予測モードがＰｌａｎａｒモードではないことを示す。一方、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇが“０”である場合、イントラ予測モードがＰｌａｎａｒモードであることを示す。

ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘは、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇが“１”である場合において、イントラ予測モードがＭＰＭの何番目であるかを示すインデックスである。なお、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘはＴｒｕｎｃａｔｅｄＵｎａｒｙｅｎｃｏｄｉｎｇを用いてＭＰＭ１からＭＰＭ５までのいずれかの番号を示す。

ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒは、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“０”である場合において、非ＭＰＭのイントラ予測モードのいずれかを示す非ＭＰＭモード番号である。

切替部１７３は、インター予測部１７１から出力されるインター予測ブロックとイントラ予測部１７２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１１０及び合成部１５０に出力する。

図２は、本実施形態に係るイントラ予測モードの候補を示す図である。図２に示すように、イントラ予測モードの候補は、０から６６までの６７通りがある。イントラ予測モードのモード「０」はＰｌａｎａｒ予測であり、イントラ予測モードのモード「１」はＤＣ予測であり、イントラ予測モードのモード「２」乃至「６６」は方向性予測である。

方向性予測において、矢印の方向は参照方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。ブロックの右上頂点及び左下頂点を通る対角線に平行な参照方向として、左下方向を参照するイントラ予測モードであるモード「２」と、右上方向を参照するイントラ予測モードであるモード「６６」とがあり、モード「２」からモード「６６」まで時計回りに所定角度ごとにモード番号が割り振られている。なお、モード「２」乃至「１８」は、イントラ予測の対象ブロックの左側のみの参照画素を参照する予測モードである。一方で、モード「５０」乃至「６６」は、イントラ予測の対象ブロックの上側のみの参照画素を参照する予測モードである。

このように、本実施形態に係る符号化装置１は、画像を構成するブロック単位で符号化を行う。符号化装置１は、符号化対象ブロックの周辺の復号済み画素を用いるイントラ予測によって、符号化対象ブロックに対応する予測ブロックを生成するイントラ予測部１７２と、符号化対象ブロックと予測ブロックとの差を表すブロック単位の予測残差に対して変換処理及び量子化処理を行う変換・量子化部１２０と、変換・量子化部１２０が出力するブロック単位の変換係数を符号化するエントロピー符号化部１３０とを有する。

（エントロピー符号化部の構成）
次に、本実施形態に係るエントロピー符号化部１３０の構成について説明する。図３は、本実施形態に係るエントロピー符号化部１３０の構成を示す図である。

図３に示すように、エントロピー符号化部１３０は、シリアライズ部１３１と、二値化部１３２と、符号化部１３３と、符号化制御部１３４とを有する。

シリアライズ部１３１は、ブロック単位の変換係数について、このブロック内の変換係数をスキャン順によりスキャン（シリアライズ）し、シリアライズ後の変換係数を二値化部１３２に出力する。

図４及び図５は、本実施形態に係るシリアライズ部１３１の動作例を示す図である。図４及び図５において、符号化対象ブロックのサイズが８×８である一例を示している。ここでは、４×４単位でのサブブロック単位でスキャンを行う一例を示している。

図４に示すように、シリアライズ部１３１は、斜め方向スキャンにより、ブロック内の変換係数を最高周波数成分からＤＣ成分に向かってスキャンする。

図５に示すように、シリアライズ部１３１は、シリアライズされた変換係数のうち、最も高周波側の最後の有意係数の位置を示す最終有意係数座標（ｌａｓｔｐｏｓｉｔｉｏｎ）を生成し、ｌａｓｔｐｏｓｉｔｉｏｎを二値化部１３２に出力する。具体的には、シリアライズ部１３１は、スキャン順で最初の有意係数の座標（すなわち、ＤＣ成分を基準とした相対位置）をｘ，ｙの２つの値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ，ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ）で表現したｌａｓｔｐｏｓｉｔｉｏｎを二値化部１３２に出力する。ここで、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘはＸ座標値であり、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙはＹ座標値である。図５の例において、（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ，ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ）＝（６，５）である。ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ及びｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙのそれぞれは、プリフィックス部とサフィックス部とで構成される。

また、シリアライズ部１３１は、サブブロック単位で変換係数の構成を示す各種情報（シンタックス要素）を生成し、生成した情報を二値化部１３２に出力する。例えば、シリアライズ部１３１は、サブブロック内に有意係数があるか否かを示すフラグであるｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇを二値化部１３２に出力する。図５の例において、シリアライズ部１３１は、左下サブブロックについては、このサブブロック内に有意係数が無いことを示すｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇを二値化部１３２に出力する。

また、本実施形態において、符号化制御部１３４は、イントラ予測部１７２が出力するイントラ予測モードシンタックスに基づいて、変換係数に含まれる最終有意係数の位置を示すｌａｓｔｐｏｓｉｔｉｏｎの二値化に適用する二値化方式を決定する。符号化制御部１３４は、決定した二値化方式で二値化を行うように二値化部１３２を制御する。

図６は、本実施形態に係る符号化制御部１３４の動作を示す図である。

図６（ａ）に示すように、符号化対象ブロックに適用されたイントラ予測モードが垂直方向の方向性予測モードを示す場合、ブロック上部に大きな変換係数及び最終有意係数がある可能性が高い。略垂直方向の方向性予測モードとは、図２に示す方向性予測モードのうち垂直方向予測を含む一定の範囲内の方向性予測モードをいう。

また、図２に示す方向性予測モードのうち水平方向予測を含む一定の範囲内の方向性予測モードを、略水平方向の方向性予測モードという。

本実施形態において、符号化制御部１３４は、符号化対象ブロックのイントラ予測に用いたイントラ予測モードを示すイントラ予測モードシンタックスに応じて、略垂直方向の方向性予測モードであるか、略水平方向の方向性予測モードであるか、それ以外の予測モードであるかを決定する。ここで、符号化制御部１３４は、イントラ予測モードを示すイントラ予測モードシンタックスからイントラ予測モードを特定することなく、イントラ予測モードを示すイントラ予測モードシンタックスから略垂直方向の方向性予測モードであるか、略水平方向の方向性予測モードであるか、それ以外の予測モードであるかを直接的に決定する。

具体的には、符号化制御部１３４は、イントラ予測に用いたイントラ予測モードが非ＭＰＭモードに含まれることをｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが示す場合、すなわち、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“０”である場合、イントラ予測モードを示すイントラ予測モードシンタックスから略垂直方向の方向性予測モードであるか、略水平方向の方向性予測モードであるか、それ以外の予測モードであるかを直接的に決定する。

例えば、符号化制御部１３４は、イントラ予測に用いたイントラ予測モードが非ＭＰＭモードに含まれることをｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが示す場合、各非ＭＰＭモード番号をイントラ予測モードのグループと対応付ける対応付け情報を用いて、イントラ予測モードを示すイントラ予測モードシンタックスに含まれる非ＭＰＭモード番号（ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）に応じて、略垂直方向の方向性予測モードであるか、略水平方向の方向性予測モードであるか、それ以外の予測モードであるか決定する。

図７は、本実施形態に係る対応付け情報を示す図である。

図７に示すように、６つのＭＰＭモード以外の６１の非ＭＰＭモード（ｎｏｎ－ＭＰＭｍｏｄｅ）について、参照方向が左下から右上にかけて小さい番号から順に番号を割り当てて表している。各非ＭＰＭモード番号には、イントラ予測モードのグループ（group）が対応付けられている。

具体的には、非ＭＰＭモード番号は、第１グループ乃至第３グループにグループ分けされている。第１グループは、方向性予測モードであって、予測方向が垂直方向よりも水平方向に近いイントラ予測モードと対応付けられたグループである。第２グループは、方向性予測モードであって、予測方向が水平方向よりも垂直方向に近いイントラ予測モードと対応付けられたグループである。第３グループは、第１グループ及び第２グループ以外のグループである。

図７において、非ＭＰＭモード番号“９”乃至“２０”が第１グループに相当し、非ＭＰＭモード番号“３９”乃至“５２”が第２グループに相当し、それ以外の非ＭＰＭモード番号が第３グループに相当する。対応付け情報は、第１グループを略水平方向の方向性予測モード（group＝１）と対応付け、第２グループを略垂直方向の方向性予測モード（group＝２）と対応付け、第３グループをそれ以外の予測モード（group＝０）と対応付ける。

ここで、どのようなイントラ予測モードがＭＰＭモードに選択されても、水平方向又は垂直方向にある程度近い非ＭＰＭモードがgroup＝１又はgroup＝２に含まれるように範囲を設定している。また、この範囲は図７に示す例に固定されるものではなく、範囲は可変であるものとする。

また、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“１”である場合、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“０”である場合（すなわち、イントラ予測に用いたイントラ予測モードがＭＰＭモードに含まれることをｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが示す場合）は、group=0（それ以外の予測モード）と決定する。

符号化制御部１３４は、イントラ予測モードが非ＭＰＭモードに含まれることをｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが示す場合、図７に示すようなテーブル（対応付け情報）を用いて、イントラ予測モードシンタックスに含まれる非ＭＰＭモード番号（ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）をスキャン順の番号（“０”、“１”、“２”のいずれか）に変換できるため、非ＭＰＭモード番号から略水平方向の方向性予測モードであるか、略垂直方向の方向性予測モードであるか、それ以外の予測モードであるかを直接的に決定できる。

図６（ａ）に示すように、符号化対象ブロックに適用されたイントラ予測モードシンタックスが略垂直方向の方向性予測モードを示す場合、符号化制御部１３４は、ｌａｓｔｐｏｓｉｔｉｏｎを構成するＸ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ）に固定長二値化方式を適用するとともに、ｌａｓｔｐｏｓｉｔｉｏｎを構成するＹ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ）に可変長二値化方式を適用する。

ここで、固定長二値化方式は、二値化後のビット数が既定ビット数になる二値化方式である。固定長二値化方式は、固定長バイナライゼーションと呼ばれてもよい。以下において、固定長二値化方式が適用されるべき座標値を適宜「Ｐ座標値」と呼ぶ。

一方、可変長二値化方式は、座標値の増加につれて二値化後のビット数が多くなる二値化方式である。言い換えると、可変長二値化方式は、座標値の減少につれて二値化後のビット数が少なくなる二値化方式である。可変長二値化方式は、トランケーデッド・ライス・バイナライゼーションであってもよい。以下において、可変長二値化方式が適用されるべき座標値を適宜「Ｑ座標値」と呼ぶ。

座標値が小さい場合、可変長二値化方式は、固定長二値化方式に比べて二値化後のビット数が少なくなる。図６（ａ）の場合、ブロック上部に最終有意係数がある可能性が高い、すなわち、Ｙ座標値が小さい値である可能性が高いため、Ｙ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ）に可変長二値化方式を適用することにより、二値化後のビット数を少なくすることができる。

一方、座標値が大きい場合、固定長二値化方式は、可変長二値化方式に比べて二値化後のビット数が少なくなる。図６（ａ）の場合、ブロック上部に最終有意係数がある可能性が高いが、Ｘ座標値は大きい値になり得る。このため、Ｘ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ）に固定長二値化方式を適用することにより、二値化後のビット数を少なくすることができる。但し、ブロックサイズが小さいような場合、座標値がそもそも小さい値であるため、例外的に、Ｘ座標値に可変長二値化方式を適用してもよい。

図６（ｂ）に示すように、符号化対象ブロックに適用されたイントラ予測モードが略水平方向の方向性予測モードを示す場合、ブロック左部に大きな変換係数及び最終有意係数がある可能性が高い。略水平方向の方向性予測モードとは、上述したように、図２に示す方向性予測モードのうち水平方向予測を含む一定の範囲内の方向性予測モードをいう。

また、図６（ｂ）に示すように、符号化対象ブロックに適用されたイントラ予測モードが略水平方向の方向性予測モードを示す場合、符号化制御部１３４は、ｌａｓｔｐｏｓｉｔｉｏｎを構成するＸ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ）に可変長二値化方式を適用するとともに、ｌａｓｔｐｏｓｉｔｉｏｎを構成するＹ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ）に固定長二値化方式を適用する。

上述のように、座標値が小さい場合、可変長二値化方式は、固定長二値化方式に比べて二値化後のビット数が少なくなる。図６（ｂ）の場合、ブロック左部に最終有意係数がある可能性が高い、すなわち、Ｘ座標値が小さい値である可能性が高いため、Ｘ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ）に可変長二値化方式を適用することにより、二値化後のビット数を少なくすることができる。

一方、座標値が大きい場合、固定長二値化方式は、可変長二値化方式に比べて二値化後のビット数が少なくなる。図６（ｂ）の場合、ブロック左部に最終有意係数がある可能性が高いが、Ｙ座標値は大きい値になり得る。このため、Ｙ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ）に固定長二値化方式を適用することにより、二値化後のビット数を少なくすることができる。但し、ブロックサイズが小さいような場合、座標値がそもそも小さい値であるため、例外的に、Ｙ座標値に可変長二値化方式を適用してもよい。

図６（ｃ）に示すように、符号化対象ブロックに適用されたイントラ予測モードシンタックスが略垂直方向の方向性予測モード及び略水平方向の方向性予測モード以外のイントラ予測モードシンタックスである場合（すなわち、符号化制御部１３４がgroup=0と決定した場合）、ブロック左上部に大きな変換係数及び最終有意係数がある可能性が高い。

図７（ｃ）の場合、符号化制御部１３４は、ｌａｓｔｐｏｓｉｔｉｏｎを構成するＸ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ）及びＹ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ）の両方に可変長二値化方式を適用する。

上述のように、座標値が小さい場合、可変長二値化方式は、固定長二値化方式に比べて二値化後のビット数が少なくなる。図７（ｃ）の場合、Ｘ座標値及びＹ座標値の両方が小さい値である可能性が高いため、Ｘ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ）及びＹ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ）の両方に可変長二値化方式を適用することにより、二値化後のビット数を少なくすることができる。

図３に戻り、二値化部１３２は、シリアライズ部１３１が出力する多値信号を二値信号へ変換し、二値信号を符号化部１３３に出力する。二値化部１３２は、符号化制御部１３４により決定された二値化方式に応じて、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ及びｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙのそれぞれを二値化（バイナライゼーション）する。

符号化部１３３は、二値化部１３２が出力する二値信号を算術符号化により符号化して符号化ストリームを生成し、生成した符号化ストリームを出力する。

（二値化の具体例）
次に、本実施形態に係る二値化の具体例について説明する。

第１に、本実施形態の比較例として、ＨＥＶＣ方式における最終有意係数の二値化方式について説明する。ＨＥＶＣ方式、ブロック内における最終有意係数（ｌａｓｔｓｉｇｎｉｆｉｃａｎｔｃｏｅｆｆｉｃｉｅｎｔ）のＸ座標値及びＹ座標値を伝送する。Ｘ座標値については、プリフィックス部であるｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘとサフィックス部であるｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘとに分けて伝送する。

ここで、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘの最小値は０、最大値は（ｌｏｇ２ＴｒａｆｏＳｉｚｅ＜＜１）－１であり、ＴＲ（ＴｒｕｎｃａｔｅｄＲｉｃｅ）（ＲｉｃｅＰａｒａｍ＝０）で二値化される。ここで、「ｌｏｇ２ＴｒａｆｏＳｉｚｅ」はブロックの辺長の２を底とした対数である。例えば、ブロックサイズの幅が１６の場合、ｌｏｇ２ＴｒａｆｏＳｉｚｅは４となり、伝送されるｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘの最大値は７となる。

ここで、ＲｉｃｅＰａｒａｍ＝０のＴＲは、二値化対象の値の数だけ”１”を並べ、その値が最大値未満の場合は最後に”０”をＮ並べることで二値化を行う。例えば、最大値が７のとき、ＴＲ（ＲｉｃｅＰａｒａｍ＝０）で４を二値化すると”１１１１０”となり、７を二値化すると”１１１１１１１”となる。

ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘは、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ＜＝３の場合、伝送されない。ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ＞３の場合、伝送されるｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘの最小値は０、最大値は（１＜＜（（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ＞＞１）－１））－１であり、ＦＬ（Ｆｉｘｅｄ－Ｌｅｎｇｔｈ）で二値化される。例えば、ブロックサイズが１６×１６で、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘが１０の場合、伝送されるｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘの最大値は３となる。

ここで、ＦＬは、ｃｅｉｌ（ｌｏｇ２（二値化対象の最大値＋１））ビットの二進数として、二値化対象の値を二値化する。例えば、最大値が７のとき、ＦＬで４を二値化すると”１００”となり、７を二値化すると”１１１”となる。

Ｘ座標値は、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘが伝送されない場合はＸ＝ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘとして求め、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘが伝送される場合はＸ＝（１＜＜（（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ＞＞１）－１）＊（２＋（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ＆１））＋ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘとして求める。

Ｙ座標値についても同様であり、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘ及びｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘを用いて伝送する。

次世代符号化方式であるＶＶＣ方式では、長方形のブロックがあるため、上記のｌｏｇ２ＴｒａｆｏＳｉｚｅの代わりにＸ座標値についてはブロックサイズの幅の２を底とした対数であるｌｏｇ２ＺｏＴｂＷｉｄｔｈを用い、Ｙ座標値についてはブロックサイズの高さの２を底とした対数であるｌｏｇ２ＺｏＴｂＨｅｉｇｈｔを用いる点が異なる。

上述のように、最終有意係数のＸ座標値及びＹ座標値の表現に用いる二値化後のビット数は、ブロックの左上が最も少なく、右あるいは下に行くほど大きくなる。

図８は、座標値の表現に必要なビット数を示す図である。ここでは、１６×１６のブロックサイズの場合の例を示す。

図８（ａ）に示すように、最終有意係数のＸ座標値が白抜きで示す領域にある場合、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘのみを伝送し、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘは伝送しない。したがって、最も短い二値化後ビット数でＸ座標値が表現可能な領域である。

図８（ａ）に示すように、最終有意係数のＸ座標値が斜線で示す領域にある場合、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘに加え、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘを伝送し、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘの最大値は１である。

図８（ａ）に示すように、最終有意係数のＸ座標値が網掛けで示す領域にある場合、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘに加え、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘも伝送し、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘ最大値は３である。したがって、Ｘ座標値の表現に最も長い二値化後ビット数が必要な領域である。

Ｙ座標値についても同様であり、各領域を図８（ｂ）に示す。

比較例の二値化方式は、イントラ予測の方向性を考慮していないため、二値化後のビット数が増加し得る。例えば、略垂直方向の方向性予測モードの場合（すなわち垂直に近い方向性予測モード）の場合、ブロック上部に最終有意係数が出現する確率が高いにもかかわらず、Ｘ座標値が大きいと、Ｘ座標値の表現に必要なビット数が増加してしまう。

例えば、略垂直方向の方向性予測モードの場合（すなわち、垂直に近い方向性予測モード）の場合、図８に示す１６×１６のブロックにおいて（Ｘ，Ｙ）＝（１４，０）の位置に最終有意係数がある可能性は、（Ｘ，Ｙ）＝（０，３）の位置に最終有意係数がある可能性より高い。しかしながら、（Ｘ，Ｙ）＝（１４，０）の位置に最終有意係数がある場合の方が、（Ｘ，Ｙ）＝（０，３）の位置に最終有意係数がある場合に比べて、最終有意係数位置の表現に必要な二値化後ビット数が多くなってしまう。

具体的には、（Ｘ，Ｙ）＝（１４，０）のＸ座標値“１４”を二値化すると、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ＝“１１１１１１１”、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘ＝“１０”であり、Ｙ座標値“０”を二値化すると、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘ＝“０”、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘは伝送なしとなり、Ｘ座標値及びＹ座標値の合計で二値化後ビット数が１０ビットである。

一方、（Ｘ，Ｙ）＝（０，３）のＸ座標値“０”を二値化すると、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ＝“０”、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘ伝送なしであり、Ｙ座標値“３”を二値化すると、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘ＝“１１１０”、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘは伝送なしとなり、Ｘ座標値及びＹ座標値の合計で二値化後ビット数が５ビットである。

なお、この後でｐｒｅｆｉｘについては符号化部１３３で算術符号化を行うため、二値化後のビット数で符号化後のストリームの長短と直結はしないが、算術符号化前のビット数が少ないほど一般的に符号化後のストリームも短かい傾向がある。一方、ｓｕｆｆｉｘはバイパスで符号化されるため、二値化後ビット数と符号化後ビット数とが一致する。

第２に、本実施形態に係る二値化について説明する。以下の具体例では、Ｘ座標値、Ｙ座標値のかわりに、Ｐ座標値、Ｑ座標値という用語を用いる。

上述のように、Ｐ座標値は、固定長二値化方式で二値化されるため、位置に応じた二値化後ビット数の変化が少ない。これに対し、Ｑ座標値は、ＨＥＶＣと同様な可変長二値化方式で二値化されるため、位置に応じた二値化後ビット数の変化が大きい。

以下において、Ｐ座標値に対応するブロックの辺の長さをｐＳｉｚｅとし、ｐＳｉｚｅの２を底とする対数をｌｏｇ２ｐＳｉｚｅとする。Ｑ座標値に対応するブロックの辺の長さをｑＳｉｚｅとし、ｑＳｉｚｅの２を底とする対数をｌｏｇ２ｑＳｉｚｅとする。

本実施形態では、イントラ予測モードシンタックスが略垂直方向の方向性予測モードである場合、Ｘ座標値の表現としてＰ座標値の表現を用い、Ｙ座標値の表現としてＱ座標値の表現を用いる。イントラ予測モードシンタックスが略水平方向の方向性予測モードであ場合、Ｘ座標値の表現としてＱ座標値の表現を用い、Ｙ座標値の表現としてＰ座標値の表現を用いる。それ以外の場合は、Ｘ座標値の表現及びＹ座標値の表現ともにＱ座標値の表現を用いる（この場合、Ｘ座標値、Ｙ座標値ともにＨＥＶＣの二値化方式と等しくなる）。

エントロピー符号化部１３０は、Ｐ座標値については、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｐ＿ｓｕｆｆｉｘを伝送し、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｐ＿ｐｒｅｆｉｘは伝送しない。なお、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｐ＿ｓｕｆｆｉｘの最大値は、ｐＬｅｎｇｔｈである。

エントロピー符号化部１３０は、Ｑ座標値については、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｑ＿ｐｒｅｆｉｘ及びｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｑ＿ｓｕｆｆｉｘの両方を伝送する。ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｑ＿ｐｒｅｆｉｘの最小値は０、最大値は（ｌｏｇ２ｑＳｉｚｅ＜＜１）－１である。ここで、ｌｏｇ２ｑＳｉｚｅはブロックの辺長の２を底とした対数である。例えば、変換ブロックサイズの幅が１６の場合、ｌｏｇ２ｑＳｉｚｅは４となり、伝送されるｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｑ＿ｐｒｅｆｉｘの最大値は７となる。

ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｑ＿ｓｕｆｆｉｘは、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｑ＿ｐｒｅｆｉｘ＜＝３の場合は伝送しない。ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｑ＿ｐｒｅｆｉｘ＞３の場合、伝送されるｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｑ＿ｓｕｆｆｉｘの最小値は０、最大値は（１＜＜（（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｑ＿ｐｒｅｆｉｘ＞＞１）－１））－１である。

Ｑ座標値は、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｑ＿ｓｕｆｆｉｘが伝送されない場合はＱ＝ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｑ＿ｐｒｅｆｉｘとして求め、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｑ＿ｓｕｆｆｉｘが伝送される場合はＱ＝（１＜＜（（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｑ＿ｐｒｅｆｉｘ＞＞１）－１）＊（２＋（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｑ＿ｐｒｅｆｉｘ＆１））＋ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｑ＿ｓｕｆｆｉｘとして求める。

本実施形態では、上記と同様な条件下で、１６×１６のブロックにおいて（Ｘ，Ｙ）＝（１４，０）及び（Ｘ，Ｙ）＝（０，３）のそれぞれを二値化すると、次のようになる。具体的には、略垂直方向の方向性予測モードの場合、Ｘ座標値の表現としてＰ座標値の表現を用い、Ｙ座標値の表現としてＱ座標値の表現を用いる。

（Ｘ，Ｙ）＝（１４，０）のＸ座標値（Ｐ座標値）“１４”を二値化すると、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘは伝送なし、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘ＝”１１１０”であり、Ｙ座標値（Ｑ座標値）“０”を二値化すると、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘ＝“０”、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘは伝送なしとなり、Ｘ座標値及びＹ座標値の合計で二値化後ビット数が５ビットである。

（Ｘ，Ｙ）＝（０，３）のＸ座標値（Ｐ座標値）“０”を二値化すると、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘは伝送なし、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘ＝“００００”であり、Ｙ座標値（Ｑ座標値）“３”を二値化すると、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘ＝“１１１０”、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘは伝送なしとなり、Ｘ座標値及びＹ座標値の合計で二値化後ビット数が８ビットである。

略垂直方向の方向性予測モードの場合、（Ｘ，Ｙ）＝（１４，０）の位置に最終有意係数がある確率は、（Ｘ，Ｙ）＝（０，３）の位置に最終有意係数がある確率が高いため、本実施形態に係るエントロピー符号化部１３０によれば二値化後ビット数を比較例よりも削減できる。

但し、本実施形態において、Ｐ座標値の最大値とＱ座標値の最大値とが大きく異なる場合、すなわち、ブロックが縦長又は横長の形状である場合、エントロピー符号化部１３０は、Ｐ座標値も従来の表現（すなわち、可変長二値化方式）で二値化及び伝送してもよい。大きく異なるとは、Ｐ座標値及びＱ座標値のうち大きい方の最大値が、小さい方の最大値の例えば２倍以上の場合をいう。

また、本実施形態において、Ｐ座標値の最大値が所定値以下である場合、エントロピー符号化部１３０は、Ｐ座標値も従来の表現（すなわち、可変長二値化方式）で二値化及び伝送してもよい。所定値は、例えば４である。

＜復号装置＞
次に、本実施形態に係る復号装置について、上述の符号化装置１との相違点を主として説明する。

（復号装置の構成）
図９は、本実施形態に係る復号装置２の構成を示す図である。図９に示すように、復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを有する。

エントロピー復号部２００は、符号化装置１が生成した符号化ストリームを復号する。エントロピー復号部２００は、予測処理に関する情報や変換処理に関する情報を取得し、予測処理に関する情報を予測部２４０に出力し、変換処理に関する情報を逆量子化・逆変換部２１０に出力する。予測処理に関する情報は、イントラ予測モードシンタックスを含む。

エントロピー復号部２００は、符号化データに対する算術復号処理が行われた後の変換係数の多値化処理において、スキャン順に応じたスキャン処理を行うことにより、復号対象ブロックに対応する変換係数（具体的には、量子化された変換係数）を逆量子化・逆変換部２１０に出力する。

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

逆量子化部２１１は、符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から出力される量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。

逆変換部２１２は、符号化装置１の変換部１２１が行う変換処理に対応する逆変換処理を行う。逆変換部２１２は、逆量子化部２１１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

合成部２２０は、逆変換部２１２から出力される予測残差と、予測部２４０から出力される予測ブロックとを画素単位で合成することにより、元のブロックを復号（再構成）し、復号済みブロックをメモリ２３０に出力する。

メモリ２３０は、合成部２２０から出力される復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ２３０は、復号済みブロック若しくは復号済み画像を予測部２４０に出力する。また、メモリ２３０は、フレーム単位の復号済み画像を復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。

予測部２４０は、ブロック単位で予測を行う。予測部２４０は、インター予測部２４１と、イントラ予測部２４２と、切替部２４３とを有する。

インター予測部２４１は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部２４１は、エントロピー復号部２００から出力されるインター予測に関する情報（例えば、動きベクトル情報）に基づいて、メモリ２３０に記憶された復号済み画像を参照画像として用いてインター予測の対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部２４３に出力する。

イントラ予測部２４２は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部２４２は、エントロピー復号部２００から出力されるイントラ予測に関する情報（すなわち、イントラ予測モードシンタックス）に応じたイントラ予測モードを用いて、メモリ２３０に記憶された復号済み画像のうちイントラ予測の対象ブロックの周辺にある復号済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２４３に出力する。

切替部２４３は、インター予測部２４１から出力されるインター予測ブロックとイントラ予測部２４２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。

このように、本実施形態に係る復号装置２は、画像を構成するブロック単位で復号を行う。復号装置２は、復号対象ブロックの周辺の復号済み画素を用いるイントラ予測によって、復号対象ブロックに対応する予測ブロックを生成するイントラ予測部２４２と、符号化ストリームを復号することで、復号対象ブロックの変換係数を出力するエントロピー復号部２００と、エントロピー復号部が出力する変換係数に対して逆量子化処理及び逆変換処理を行ってブロック単位の予測残差を復元する逆量子化・逆変換部２１０と、予測ブロックと復元した予測残差とを合成して復号対象ブロックを復元する合成部２２０とを有する。

（エントロピー復号部の構成）
次に、本実施形態に係るエントロピー復号部２００の構成について説明する。図１０は、本実施形態に係るエントロピー復号部２００の構成を示す図である。

図１０に示すように、エントロピー復号部２００は、復号部２０１と、多値化部２０２と、デシリアライズ部２０３と、復号制御部２０４とを有する。

復号部２０１は、符号化ストリームを構文解析（パーシング）するとともに、符号化ストリームから二値信号を復号する。本実施形態において、復号部２０１は、イントラ予測モードシンタックスを取得し、イントラ予測モードシンタックスを復号制御部２０４に出力する。

多値化部２０２は、復号制御部２０４の制御下で、復号部２０１が出力する二値信号を多値信号へ変換し、多値信号をデシリアライズ部２０３に出力する。これにより、量子化された変換係数が復元される。また、多値化部２０２は、二値化されたｌａｓｔｐｏｓｉｔｉｏｎ（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ）を多値信号である座標値に変換して出力する。

デシリアライズ部２０３は、多値化部２０２が出力する多値信号を、スキャン順に応じてデシリアライズすることにより、ブロック単位の変換係数（量子化された変換係数）を逆量子化部２１１に出力する。

復号制御部２０４は、復号対象ブロックに適用するイントラ予測モードを示すイントラ予測モードシンタックスに基づいて、ｌａｓｔｐｏｓｉｔｉｏｎの二値化に適用されている二値化方式を特定する。復号制御部２０４は、特定した二値化方式に応じた多値化を行うように多値化部２０２を制御する。

本実施形態において、復号制御部２０４は、復号対象ブロックのイントラ予測に用いるイントラ予測モードを示すイントラ予測モードシンタックスに応じて、略垂直方向の方向性予測モードであるか、略水平方向の方向性予測モードであるか、それ以外の予測モードであるかを決定する。ここで、復号制御部２０４は、イントラ予測モードシンタックスからイントラ予測モードを特定することなく、イントラ予測モードを示すイントラ予測モードシンタックスから略垂直方向の方向性予測モードであるか、略水平方向の方向性予測モードであるか、それ以外の予測モードであるかを直接的に決定する。このような直接的に決定する動作については、上述した符号化制御部１３４における決定動作と同様である。

図６（ａ）に示すように、復号対象ブロックに適用するイントラ予測モードシンタックスが略垂直方向の方向性予測モードを示す場合、復号制御部２０４は、ｌａｓｔｐｏｓｉｔｉｏｎを構成するＸ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ）に、固定長二値化方式に対応する多値化を適用するとともに、ｌａｓｔｐｏｓｉｔｉｏｎを構成するＹ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ）に、可変長二値化方式に対応する多値化を適用する。

図７（ｂ）に示すように、復号対象ブロックに適用するイントラ予測モードシンタックスが略水平方向の方向性予測モードを示す場合、復号制御部２０４は、ｌａｓｔｐｏｓｉｔｉｏｎを構成するＸ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ）に、可変長二値化方式に対応する多値化を適用するとともに、ｌａｓｔｐｏｓｉｔｉｏｎを構成するＹ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ）に、固定長二値化方式に対応する多値化を適用する。

図７（ｃ）に示すように、復号対象ブロックに適用するイントラ予測モードシンタックスが略垂直方向の方向性予測モード及び略水平方向の方向性予測モード以外のイントラ予測モードシンタックスである場合、復号制御部２０４は、ｌａｓｔｐｏｓｉｔｉｏｎを構成するＸ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ）及びＹ座標値（ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ）の両方に、可変長二値化方式に対応する多値化を適用する。

＜作用・効果＞
本実施形態に係るエントロピー符号化部１３０は、イントラ予測に用いたイントラ予測モードシンタックスに基づいて、変換係数に含まれる最終有意係数の位置を示すｌａｓｔｐｏｓｉｔｉｏｎの二値化に適用する二値化方式を決定する符号化制御部１３４を有する。

また、本実施形態に係るエントロピー復号部２００は、イントラ予測に用いるイントラ予測モードシンタックスに基づいて、変換係数に含まれる最終有意係数の位置を示すｌａｓｔｐｏｓｉｔｉｏｎの二値化に適用されている二値化方式を特定する復号制御部２０４を有する。

このように、ｌａｓｔｐｏｓｉｔｉｏｎを伝送するための二値化をイントラ予測モードシンタックスに応じて制御可能することで、ｌａｓｔｐｏｓｉｔｉｏｎの符号化の効率を改善できる。

＜変更例＞
上述した実施形態において、符号化制御部１３４が、イントラ予測モードを示すシンタックスからイントラ予測モードを特定することなく、このシンタックスから二値化方式を直接的に決定する一例について説明した。同様に、復号制御部２０４が、イントラ予測モードを示すシンタックスからイントラ予測モードを特定することなく、このシンタックスから二値化方式を直接的に特定する一例について説明した。

しかしながら、実施形態の変更例として、符号化制御部１３４は、イントラ予測モードを示すシンタックスからイントラ予測モードを特定したうえで、特定したイントラ予測モードから二値化方式を決定してもよい。同様に、実施形態の変更例として、復号制御部２０４は、イントラ予測モードを示すシンタックスからイントラ予測モードを特定したうえで、特定したイントラ予測モードから二値化方式を特定してもよい。

このため、「イントラ予測モードに基づいて二値化方式を決定・特定する」とは、上述した実施形態の方法で二値化方式を決定・特定する場合と、実施形態の変更例の方法で二値化方式を決定・特定する場合との両方の場合を含むものとする。

＜その他の実施形態＞
上述のように、垂直に近いイントラ予測では、ブロック上部に大きな値の変換係数が現われる可能性が高いと考えられる。しかしながら、図１１に示すように、ブロック上部から離れると、出現する確率の高い位置はブロックの左側に変化すると考えられる。図１１に示す黒塗りの領域は、垂直に近いイントラ予測が行われた際に大きな値の変換係数が表れる可能性が高いと考えられる領域である。このような場合、Ｐ座標値の表現をＱ座標値に応じて変化させることで効率を改善できると考えられる。

そこで、エントロピー符号化部１３０は、Ｑ座標値については、上述した実施形態と同じ伝送を行う。一方、Ｐ座標値については、エントロピー符号化部１３０は、Ｑ座標値に応じてＰ座標値の表現に用いるｌａｓｔ＿ｃｏｅｆｆ＿ｐ＿ｓｕｆｆｉｘの最大値を変化させる。具体的には、エントロピー符号化部１３０は、ｌａｓｔ＿ｃｏｅｆｆ＿ｐ＿ｓｕｆｆｉｘの最大値が０の場合、ｌａｓｔ＿ｃｏｅｆｆ＿ｐ＿ｓｕｆｆｉｘは伝送しない。例えば、エントロピー符号化部１３０は、Ｑ座標値がＮ以下のときは、Ｐ座標値を伝送する際にｌａｓｔ＿ｃｏｅｆｆ＿ｐ＿ｓｕｆｆｉｘの最大値を０とし、ｌａｓｔ＿ｃｏｅｆｆ＿ｐ＿ｓｕｆｆｉｘは伝送しない。Ｑ座標値がＮより大きいときは、Ｐ座標値は従来と同じ表現で伝送する。Ｎは例えば０や１などの小さな値が好適である。このように、エントロピー符号化部１３０（符号化制御部１３４）は、Ｑ座標値に基づいて、固定長二値化方式に代えて可変長二値化方式をＰ座標値に適用する。

Ｑ座標値に応じてＰ座標値の二値化方式を異ならせる場合、エントロピー符号化部１３０は、Ｐ座標値の伝送よりも前にＱ座標値の伝送を行う。例えば、エントロピー符号化部１３０は、符号化対象ブロックに適用するイントラ予測モードが略垂直方向の方向性予測モードである場合、Ｘ座標値＝Ｐ座標値、Ｙ座標値＝Ｑ座標値とし、Ｙ座標値を先に伝送しＸ座標値を後に伝送する。それ以外の場合は、従来と同様にＸ座標値を先に伝送しＹ座標値を後に伝送する。

なお、符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１：符号化装置
２：復号装置
１００：ブロック分割部
１１０：減算部
１２０：変換・量子化部
１２１：変換部
１２２：量子化部
１３０：エントロピー符号化部
１３１：シリアライズ部
１３２：二値化部
１３３：符号化部
１３４：符号化制御部
１４０：逆量子化・逆変換部
１４１：逆量子化部
１４２：逆変換部
１５０：合成部
１６０：メモリ
１７０：予測部
１７１：インター予測部
１７２：イントラ予測部
１７３：切替部
２００：エントロピー復号部
２０１：復号部
２０２：多値化部
２０３：デシリアライズ部
２０４：復号制御部
２１０：逆量子化・逆変換部
２１１：逆量子化部
２１２：逆変換部
２２０：合成部
２３０：メモリ
２４０：予測部
２４１：インター予測部
２４２：イントラ予測部
２４３：切替部

Claims

画像を構成するブロック単位で符号化を行う符号化装置であって、
符号化対象ブロックの周辺の復号済み画素を用いるイントラ予測によって、前記符号化対象ブロックに対応する予測ブロックを生成するイントラ予測部と、
前記符号化対象ブロックと前記予測ブロックとの差を表すブロック単位の予測残差に対して変換処理及び量子化処理を行う変換・量子化部と、
前記変換・量子化部が出力するブロック単位の変換係数を符号化するエントロピー符号化部と、を備え、
前記エントロピー符号化部は、前記イントラ予測に用いたイントラ予測モードに基づいて、前記変換係数に含まれる最終有意係数の位置を示す最終有意係数座標の二値化に適用する二値化方式を決定する符号化制御部を有することを特徴とする符号化装置。
前記符号化制御部は、前記イントラ予測モードを示すシンタックスに基づいて前記二値化方式を決定する場合、前記シンタックスから前記イントラ予測モードを特定することなく、前記シンタックスから二値化方式を直接的に決定することを特徴とする請求項１に記載の符号化装置。
前記符号化制御部は、前記イントラ予測モードに基づいて、前記最終有意係数座標を構成する一方の座標値に固定長二値化方式を適用するとともに、前記最終有意係数座標を構成する他方の座標値に可変長二値化方式を適用し、
前記固定長二値化方式は、二値化後のビット数が既定ビット数になる二値化方式であり、
前記可変長二値化方式は、前記他方の座標値の増加につれて二値化後のビット数が多くなる二値化方式であることを特徴とする請求項１又は２に記載の符号化装置。
前記イントラ予測モードが略垂直方向の方向性予測モードである場合、前記符号化制御部は、前記一方の座標値としてＸ座標値に前記固定長二値化方式を適用するとともに、前記他方の座標値としてＹ座標値に前記可変長二値化方式を適用し、
前記イントラ予測モードが略水平方向の方向性予測モードである場合、前記符号化制御部は、前記一方の座標値としてＹ座標値に前記固定長二値化方式を適用するとともに、前記他方の座標値としてＸ座標値に前記可変長二値化方式を適用することを特徴とする請求項３に記載の符号化装置。
前記符号化制御部は、前記符号化対象ブロックのサイズ又は形状に基づいて、前記固定長二値化方式に代えて前記可変長二値化方式を前記一方の座標値に適用することを特徴とする請求項４に記載の符号化装置。
前記符号化制御部は、前記他方の座標値に基づいて、前記固定長二値化方式に代えて前記可変長二値化方式を前記一方の座標値に適用することを特徴とする請求項４又は５に記載の符号化装置。
前記他方の座標値に基づいて前記一方の座標値の二値化方式を異ならせる場合、前記エントロピー符号化部は、前記一方の座標値の伝送よりも前に前記他方の座標値の伝送を行うことを特徴とする請求項６に記載の符号化装置。
画像を構成するブロック単位で復号を行う復号装置であって、
復号対象ブロックの周辺の復号済み画素を用いるイントラ予測によって、前記復号対象ブロックに対応する予測ブロックを生成するイントラ予測部と、
符号化ストリームを復号することで、前記復号対象ブロックの変換係数を出力するエントロピー復号部と、
前記エントロピー復号部が出力する前記変換係数に対して逆量子化処理及び逆変換処理を行ってブロック単位の予測残差を復元する逆量子化・逆変換部と、
前記予測ブロックと前記復元した予測残差とを合成して前記復号対象ブロックを復元する合成部と、を備え、
前記エントロピー復号部は、前記イントラ予測に用いるイントラ予測モードに基づいて、前記変換係数に含まれる最終有意係数の位置を示す最終有意係数座標の二値化に適用されている二値化方式を特定する復号制御部を有することを特徴とする復号装置。
前記エントロピー復号部は、前記イントラ予測に用いるイントラ予測モードを示すシンタックスを取得し、
前記復号制御部は、前記シンタックスから前記イントラ予測モードを特定することなく、前記シンタックスから前記二値化方式を直接的に特定することを特徴とする請求項８に記載の復号装置。
コンピュータを請求項１乃至７のいずれか１項に記載の符号化装置、又は、請求項８又は９に記載の復号装置として機能させることを特徴とするプログラム。