JPWO2018123313A1 - 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置及びプログラム - Google Patents

Abstract

映像符号化装置１０は、四分木構造に基づいてブロックを分割するかしないかを示すフラグをエントロピー符号化する四分木分割フラグ符号化部１１と、四分木終端ノードのスキップフラグをエントロピー符号化するスキップフラグ符号化部１２と、四分木終端ノードのブロックを二分木構造に基づいて分割するかしないかを示すフラグ及び分割方向を示す水平／垂直分割方向フラグをエントロピー符号化する二分木情報符号化部１３と、二分木構造に基づく分割の最小サイズを示す情報をビットストリームに多重化するサイズ多重化部１４とを備え、二分木情報符号化部１３は、最小サイズと等しいサイズのノードがさらに二分木構造に基づいて分割されるときには、ノードにおける水平／垂直分割方向フラグをエントロピー符号化しない。

Description

本発明は、四分木と二分木とに基づくブロック分割構造を用いる映像像符号化技術に関する。

非特許文献１に記載された映像符号化方式では、ディジタル化された映像の各フレームは符号化ツリーユニット（CTU: Coding Tree Unit ）に分割され、ラスタスキャン順に各CTU が符号化される。

各CTU は、四分木（QT: Quad-Tree ）構造で、符号化ユニット（CU: Coding Unit ）に分割されて符号化される。各CUは、予測ユニット（PU: Prediction Unit ）に分割されて予測符号化される。なお、予測符号化には、イントラ予測とフレーム間予測とがある。

各CUの予測誤差は、四分木構造で、変換ユニット（TU: Transform Unit）に分割されて周波数変換に基づいて変換符号化される。

最も大きなサイズのCUを最大CU（LCU: Largest Coding Unit）、最も小さなサイズのCUを最小CU（SCU: Smallest Coding Unit ）と呼ぶ。なお、LCU サイズとCTU サイズとは同一である。

次に、イントラ予測及びフレーム間予測、並びに、CTU 、CU、PU及びTUのシグナリングを説明する。

イントラ予測は、符号化対象フレームと表示時刻が同一の再構築画像から予測画像を生成する予測である。非特許文献１では、図９に示す３３種類の角度イントラ予測が定義されている。角度イントラ予測は、符号化対象ブロック周辺の再構築画素を３３種類の方向のいずれかに外挿して、イントラ予測信号を生成する。加えて、非特許文献１では、３３種類の角度イントラ予測に加えて、符号化対象ブロック周辺の再構築画素を平均するDCイントラ予測、及び、符号化対象ブロック周辺の再構築画素を線形補間するPlanarイントラ予測が定義されている。以下、イントラ予測に基づいて符号化されたCUをイントラCUと呼ぶ。

フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築画像（参照ピクチャ）から予測画像を生成する予測である。以下、フレーム間予測をインター予測とも呼ぶ。図１０は、フレーム間予測の例を示す説明図である。動きベクトルMV＝（mv_x, mv_y）は、符号化対象ブロックに対する参照ピクチャの再構築画像ブロックの平行移動量を示す。インター予測は、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号を生成する。以下、フレーム間予測に基づいて符号化されたCUをインターCUと呼ぶ。

イントラCUのみで符号化されたフレームはＩフレーム（又は、Ｉピクチャ）と呼ばれる。イントラCUだけでなくインターCUも含めて符号化されたフレームはＰフレーム（又は、Ｐピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターCUを含めて符号化されたフレームはＢフレーム（又は、Ｂピクチャ）と呼ばれる。

スキップモードは、対象のCUが、後述するPU分割形状の2N×2Nの形状に基づくフレーム予測で予測符号化され、かつ、後述する変換量子化値が存在しないことを示す。各CUがスキップモードであるか否かは、非特許文献１に記載されているskip_flag シンタクスによってシグナリングされる。

スキップモードではない各CUがイントラCU／インターCUのいずれであるかは、非特許文献１に記載されているpred_mode_flagシンタクスによってシグナリングされる。

図１１は、フレームの空間解像度がCIF （CIF: Common Intermediate Format ）、CTU サイズが64の場合のフレームt のCTU 分割例、及び、フレームt に含まれる第８のCTU （CTU8）のCU分割例を示す説明図である。

図１２は、CTU8のCU分割例に対応する四分木構造を示す説明図である。各CTU の四分木構造、すなわち、CU分割形状は、非特許文献１に記載されているcu_split_flag シンタクスによってシグナリングされる。

図１３は、CUのPU分割形状を示す説明図である。イントラCUの場合、正方形のPU分割を選択できる。インターCUの場合、正方形に加えて長方形のPU分割も選択できる。各CUのPU分割形状は、非特許文献１に記載されているpart_mode シンタクスによってシグナリングされる。

図１４は、CUのTU分割例を示す説明図である。上段には、2N×2N PU 分割形状のイントラCUのTU分割例が示されている。イントラCUの場合、四分木の根（Root）はPUに配置され、各PUの予測誤差が四分木構造で表現される。下段には、2N×N PU分割形状のインターCUのTU分割例が示されている。インターCUの場合、四分木の根（Root） はCUに配置され、該CUの予測誤差が四分木構造で表現される。上述した予測誤差の四分木構造、すなわち、各CUのTU分割形状は、非特許文献１に記載されるsplit_tu_flag シンタクスによってシグナリングされる。

以上で、イントラ予測及びフレーム間予測、並びに、CTU 、CU、PU及びTUのシグナリングの説明を終了する。

次に、図１５のブロック図を参照して、ディジタル化された映像の各フレームの各CUを入力画像としてビットストリームを出力する、一般的な映像符号化装置の構成と動作を説明する。

図１５に示す映像符号化装置は、変換／量子化器１０１、エントロピー符号化器１０２、逆量子化／逆変換器１０３、バッファ１０４、予測器１０５、及び多重化器１０６を備える。

予測器１０５は、CTU 毎に、符号化コストを最小とするCU分割形状を決定するcu_split_flag シンタクス値を決定する。

続いて、予測器１０５は、CU毎に、符号化コストを最小とする、イントラ予測／インター予測を決定するpred_mode_flagシンタクス値、PU分割形状を決定するpart_mode シンタクス値、TU分割形状を決定するsplit_tu_flag シンタクス値、イントラ予測方向、及び、動きベクトルを決定する。

さらに、予測器１０５は、スキップモードを決定するskip_flag シンタクス値を決定する。

具体的には、対象CUについて、決定されたpred_mode_flagがインター予測を示し、決定されたpart_modeが2Nx2Nを示し、かつ、後述する変換量子化値が存在しないとき、skip_flag を１にする（つまり、スキップモードとする。）。その他のとき、skip_flag を０にする（つまり、スキップモードとしない。）。

そして、予測器１０５は、決定したcu_split_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、及び、動きベクトルなどに基づいて、各CUの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測又はフレーム間予測に基づいて生成される。

変換／量子化器１０１は、予測器１０５が決定したTU分割形状に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。

さらに、変換／量子化器１０１は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値と呼ぶ。

エントロピー符号化器１０２は、予測器１０５が決定したcu_split_flag シンタクス値、skip_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向の差分情報、及び動きベクトルの差分情報（以下、それらの予測に関連した情報を予測パラメータともいう。）、並びに、変換量子化値をエントロピー符号化する。

逆量子化／逆変換器１０３は、変換量子化値を逆量子化する。さらに、逆量子化／逆変換器１０３は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ１０４に供給される。バッファ１０４は、再構築画像を格納する。

多重化器１０６は、エントロピー符号化器１０２から供給されるエントロピー符号化データをビットストリームとして多重化出力する。

上述した動作によって、一般的な映像符号化装置はビットストリームを生成する。

次に、図１６を参照して、ビットストリームを入力として復号された映像フレームを出力する、一般的な映像復号装置の構成と動作を説明する。

図１６に示された映像復号装置は、多重化解除器２０１、エントロピー復号器２０２、逆量子化／逆変換器２０３、予測器２０４、バッファ２０５を備える。

多重化解除器２０１は、入力されるビットストリームを多重化解除して、エントロピー符号化された映像ビットストリームを抽出する。

エントロピー復号器２０２は、映像ビットストリームをエントロピー復号する。エントロピー復号器２０２は、予測パラメータ及び変換量子化値をエントロピー復号し、逆量子化／逆変換器２０３及び予測器２０４に供給する。

逆量子化／逆変換器２０３は、変換量子化値を逆量子化する。さらに、逆量子化／逆変換器２０３は、逆量子化した周波数変換係数を逆周波数変換する。

逆周波数変換後、予測器２０４は、エントロピー復号した予測パラメータに基づいて、バッファ２０５に格納された再構築画像を用いて予測信号を生成する。

予測信号生成後、逆量子化／逆変換器２０３で逆周波数変換された再構築予測誤差画像は、予測器２０４から供給される予測信号が加えられて、再構築画像としてバッファ２０５に供給される。

そして、バッファ２０５に格納された再構築画像がデコード画像（デコード映像）として出力される。

上述した動作に基づいて、一般的な映像復号装置はデコード画像を生成する。

非特許文献２は、上述した非特許文献１に記載された方式の拡張方式であるQuadTree plus Binary Tree （QTBT）と呼ばれる、四分木と二分木（BT: Binary-Tree ）に基づいたブロック分割構造を用いる映像像符号化技術を開示している。

QTBT構造では、四分木構造に基づいて、符号化ツリーユニット（CTU ）が正方形の符号化ユニット（CU）に再帰的に分割される。さらに、二分木構造に基づいて、予測処理や変換処理のために、再帰的に分割された各CUが長方形又は正方形のブロックに再帰的に分割される。QTBT構造では、part_mode シンタクスは利用されない。

図１７は、非特許文献２に記載されたQTBT構造を示す説明図である。図１７（ａ）は、CTU のブロック分割例を示し、図１７（ｂ）は、その木構造を示す。図１７において、実線は四分木構造に基づく分割を示し、破線は二分木構造に基づく分割を示す。二分木構造に基づく分割では、長方形のブロックも許容されるので、分割方向（分割線が延びる方向）を示す情報が必要である。図１７（ｂ）において、０は、横方向（水平方向）に分割されることを示す。１は、縦方向（垂直方向）に分割されることを示す。QTBT構造は、長方形の分割形状をより柔軟に表現できるため、非特許文献１に記載されたブロック分割構造に基づく映像方式の圧縮効率を高めることができる。

High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 12th Meeting: Geneva, CH, 14-23 January 2013 Jicheng An, et al., "Quadtree plus binary tree structure integration with JEM tools", JVET-B0023, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 2nd Meeting: San Diego, USA, 20-26 February 2016

図１８は、QTBT構造に基づくCTU のブロック分割とその木構造の一例を示す説明図である。

まず、図１８において使用されるcu_split_flag 、bt_split_flag 、及びbt_split_vertical_flagの定義を説明する。

cu_split_flag は、四分木構造に基づいて分割されるかされないかを示す。cu_split_flag が０のとき、四分木構造に基づいて分割されない（つまり、ブロックは四分木終端ノードのブロックとなる。）。cu_split_flag が１のとき、四分木構造に基づいて分割される。

bt_split_flag は、二分木構造に基づいて分割されるかされないかを示す。bt_split_flag が０のとき、二分木構造に基づいて分割されない（つまり、ブロックは二分木終端ノードのブロックとなる。）とする。bt_split_flag が１のとき、二分木構造に基づいて分割されるとする。

bt_split_vertical_flagは、bt_split_flag が１のときに存在する。bt_split_vertical_flagは、分割方向を示す。bt_split_vertical_flagが０のとき、水平方向に分割されるとする。bt_split_vertical_flagが１のとき、垂直方向に分割されるとする。

図１８（ａ）には、ブロック分割の一例が示されている。図１８（ｂ）には、図１８（ａ）に示す分割に対応するシンタクス要素及びQTBT構造が示されている。

図１８（ａ）に示す例では、64×64（64画素×64画素）のブロックは四分木構造に基づいて32×32の４ブロックに分割されるので、QT 0-level（depth 0 ）において、cu_split_flag の値は、分割することを示す値（この例では、１）である。

QT 1-level（depth 1 ）では、右下の32×32のブロックが垂直方向に２分割される。その32×32のブロックについて、cu_split_flag の値は分割しないことを示す値（この例では、０）であるが、BT 1-level（depth 1 ）のbt_split_flag の値は、分割することを示す値（この例では、１）である。また、bt_split_vertical_flagの値は垂直方向を示す値（この例では、１）である。なお、他の３つの32×32のブロックについて、二分木構造に関連するbt_split_flag の値は、分割しないことを示す値（この例では、０）である。

BT 2-level（depth 2 ）では、右下の32×32のブロックに含まれる左側の16×32のブロックについては、それ以上分割されないので、bt_split_flag の値は、分割しないことを示す値（この例では、０）である。

右側の16×32のブロックについては、さらに分割されるので、bt_split_flag の値は、分割することを示す値（この例では、１）である。また、bt_split_vertical_flagの値は垂直方向を示す値（この例では、１）である。

BT 3-level（depth 3 ）では、右下の16×32のブロックに含まれる左側の8 ×32のブロックは分割されないので、bt_split_flag の値は、分割しないことを示す値（この例では、０）である。右下の16×32のブロックに含まれる右側の8 ×32のブロックは分割されるので、bt_split_flag の値は、分割することを示す値（この例では、１）である。また、bt_split_vertical_flagの値は水平方向を示す値（この例では、０）である。

右下の8 ×32のブロックに含まれる上側の8 ×16のブロックも下側の8 ×16のブロックも分割されないので、それぞれのブロックについて、bt_split_flag の値は、分割しないことを示す値（この例では、０）である。

上述したQTBT構造を使用するとき、四分木構造に基づくブロックの分割／非分割情報（以下、四分木分割フラグと呼ぶ。）に加えて、二分木に基づいたブロックの分割／非分割情報（以下、二分木分割フラグと呼ぶ。）及び水平／垂直分割方向情報（以下、二分木分割方向フラグと呼ぶ。）の伝送が必要である。

上記の二分木分割フラグ及び二分木分割方向フラグはブロック毎に伝送されるので、特にビットレートが低い条件下において、無視できないレベルのビット数の増加をもたらす。

従って、それらのフラグ情報によるオーバヘッド符号量の発生によって圧縮効率が低下する。また、それらのフラグ情報のエントロピー符号化／復号処理量が増加する。

QTBT構造を使用する場合、ブロックの最小サイズを設定することができる。なお、最小サイズは、横幅の最小値と高さの最小値との双方を含む概念である。最小サイズが「Ｎ」に設定されたとき、ブロックの横幅（横方向の画素数）がＮに達したら、そのブロックをさらに縦方向に分割することはできない。分割すると、横幅がＮ／２になってしまうからである。また、ブロックの高さ（縦方向の画素数）がＮに達したら、そのブロックをさらに横方向に分割することはできない。分割すると、高さがＮ／２になってしまうからである。

つまり、横幅と高さとのうちの一方が最小サイズであるブロックが二分木分割に基づいて分割される場合には、分割の方向は一義的に定まる。しかし、図１８（ｂ）に例示された方式では、そのような場合であっても、本来不要である（換言すれば、冗長な）bt_split_vertical_flagが伝送される。

本発明は、四分木と二分木とに基づくブロック分割構造を用いる映像像符号化処理及び映像復号処理において、圧縮性能を改善し、エントロピー符号化処理量及びエントロピー復号処理量を削減することを目的とする。

本発明による映像符号化方法は、四分木と二分木とに基づくブロック分割構造を用いる映像符号化方法であって、四分木構造に基づいてブロックを分割するかしないかを示すフラグをエントロピー符号化するステップと、四分木終端ノードのスキップフラグをエントロピー符号化するステップと、四分木終端ノードのブロックを二分木構造に基づいて分割するかしないかを示すフラグ及び分割方向を示す水平／垂直分割方向フラグをエントロピー符号化するステップと、二分木構造に基づく分割の最小サイズを示す情報をビットストリームに多重化するステップとを含み、最小サイズと等しいサイズのノードがさらに二分木構造に基づいて分割されるときには、ノードにおける水平／垂直分割方向フラグをエントロピー符号化しないことを特徴とする。

本発明による映像復号方法は、四分木と二分木とに基づくブロック分割構造を用いる映像復号方法であって、四分木終端ノードのスキップフラグをエントロピー復号するステップと、四分木終端ノードのブロックを二分木構造に基づいて分割するかしないかを示すフラグ及び分割方向を示す水平／垂直分割方向フラグをエントロピー復号するステップと、二分木構造に基づく分割の最小サイズを示す情報をビットストリームから抽出するステップとを含み、最小サイズと等しいサイズのノードがさらに二分木構造に基づいて分割されるときには、ノードにおける水平／垂直分割方向フラグをエントロピー復号しないことを特徴とする。

本発明による映像符号化装置は、四分木と二分木とに基づくブロック分割構造を用いる映像符号化装置であって、四分木構造に基づいてブロックを分割するかしないかを示すフラグをエントロピー符号化する四分木分割フラグ符号化手段と、四分木終端ノードのスキップフラグをエントロピー符号化するスキップフラグ符号化手段と、四分木終端ノードのブロックを二分木構造に基づいて分割するかしないかを示すフラグ及び分割方向を示す水平／垂直分割方向フラグをエントロピー符号化する二分木情報符号化手段と、二分木構造に基づく分割の最小サイズを示す情報をビットストリームに多重化するサイズ多重化手段とを備え、二分木情報符号化手段は、最小サイズと等しいサイズのノードがさらに二分木構造に基づいて分割されるときには、ノードにおける水平／垂直分割方向フラグをエントロピー符号化しないことを特徴とする。

本発明による映像復号装置は、四分木と二分木とに基づくブロック分割構造を用いる映像復号装置であって、四分木終端ノードのスキップフラグをエントロピー復号するスキップフラグ復号手段と、四分木終端ノードのブロックを二分木構造に基づいて分割するかしないかを示すフラグ及び分割方向を示す水平／垂直分割方向フラグをエントロピー復号する二分木情報復号手段と、二分木構造に基づく分割の最小サイズを示す情報をビットストリームから抽出するサイズ抽出手段とを備え、二分木情報復号手段は、最小サイズと等しいサイズのノードがさらに二分木構造に基づいて分割されるときには、ノードにおける水平／垂直分割方向フラグをエントロピー復号しないことを特徴とする。

本発明による映像符号化プログラムは、四分木と二分木とに基づくブロック分割構造を用いる映像符号化方法を実施するための映像符号化プログラムであって、コンピュータに、四分木構造に基づいてブロックを分割するかしないかを示すフラグをエントロピー符号化する処理と、四分木終端ノードのスキップフラグをエントロピー符号化する処理と、四分木終端ノードのブロックを二分木構造に基づいて分割するかしないかを示すフラグ及び分割方向を示す水平／垂直分割方向フラグをエントロピー符号化する処理と、二分木構造に基づく分割の最小サイズを示す情報をビットストリームに多重化する処理とを実行させ、最小サイズと等しいサイズのノードがさらに二分木構造に基づいて分割されるときには、ノードにおける水平／垂直分割方向フラグをエントロピー符号化させないことを特徴とする。

本発明による映像復号プログラムは、四分木と二分木とに基づくブロック分割構造を用いる映像復号方法を実施するための映像復号プログラムであって、コンピュータに、四分木終端ノードのスキップフラグをエントロピー復号する処理と、四分木終端ノードのブロックを二分木構造に基づいて分割するかしないかを示すフラグ及び分割方向を示す水平／垂直分割方向フラグをエントロピー復号する処理と、二分木構造に基づく分割の最小サイズを示す情報をビットストリームから抽出する処理とを実行させ、最小サイズと等しいサイズのノードがさらに二分木構造に基づいて分割されるときには、ノードにおける水平／垂直分割方向フラグをエントロピー復号させないことを特徴とする。

本発明によれば、圧縮性能が改善され、エントロピー符号化処理量及びエントロピー復号処理量が削減される。

第１の実施形態の映像符号化装置を示すブロック図である。 エントロピー符号化制御器及びエントロピー符号化器の動作を示すフローチャートである。 第１の実施形態におけるQTBT構造を示す説明図である。 第２の実施形態の映像復号装置を示すブロック図である。 エントロピー復号制御器及びエントロピー復号器の動作を示すフローチャートである。 映像符号化装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 映像符号化装置の主要部を示すブロック図である。 映像復号装置の主要部を示すブロック図である。 ３３種類の角度イントラ予測の例を示す説明図である。 フレーム間予測の例を示す説明図である。 フレームt のCTU 分割例、及び、フレームt のCTU8のCU分割例を示す説明図である。 CTU8のCU分割例に対応するクアッドツリー構造を示す説明図である。 CUのPU分割例を示す説明図である。 CUのTU分割例を示す説明図である。 一般的な映像符号化装置の構成例を示すブロック図である。 一般的な映像復号装置の構成例を示すブロック図である。 非特許文献２に記載されたCTU のブロック分割例とその木構造を示す説明図である。 QTBT構造に基づくCTU のブロック分割とその木構造の一例を示す説明図である。

実施形態１．
図１は、映像符号化装置の実施形態（第１の実施形態）を示すブロック図である。図１に示す映像符号化装置は、変換／量子化器１０１、エントロピー符号化器１０２、逆量子化／逆変換器１０３、バッファ１０４、予測器１０５、多重化器１０６、及びエントロピー符号化制御器１０７を備える。

本実施形態で使用されるcu_split_flag 、bt_split_flag 、及びbt_split_vertical_flagの定義は既に説明されたとおりであるが、映像復号側では、bt_split_flag が存在しない場合、bt_split_flag は暗黙的に０と解釈される。また、本実施形態では、bt_split_flag が１であっても、bt_split_vertical_flagが存在しないことがある。

予測器１０５は、CTU 毎に、符号化コストを最小とする、QTBT分割形状を決定するcu_split_flag 、bt_split_flag 、及びbt_split_vertical_flagを決定する。

以下、四分木構造又は二分木構造に基づいて分割されたブロックをサブブロックということがある。

次に、予測器１０５は、決定したcu_split_flag 、bt_split_flag 、及びbt_split_vertical_flagに基づいてQTBT分割されたサブブロック毎に、符号化コストを最小とする、イントラ予測／インター予測を決定するpred_mode_flag、TU分割形状を決定するsplit_tu_flag 、イントラ予測方向、及び動きベクトルを決定する。

次いで、予測器１０５は、スキップモードを決定するskip_flag を決定する。具体的には、処理対象のサブブロックについて、決定されたpred_mode_flagがインター予測を示し、変換量子化値が存在しないとき、skip_flag を１にする（つまり、スキップモードとする。）。その他のとき、skip_flag を０にする（つまり、スキップモードとしない。）。

そして、予測器１０５は、決定したcu_split_flag シンタクス値、bt_split_flag シンタクス値、bt_split_vertical_flagシンタクス値、skip_flag シンタクス値、pred_mode_flagシンタクス値、split_tu_flag シンタクス値、イントラ予測方向、及び動きベクトルに基づいて、各サブブロックの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測又はフレーム間予測に基づいて生成される。

変換／量子化器１０１は、予測器１０５が決定したTU分割形状に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。さらに、変換／量子化器１０１は、周波数変換した予測誤差画像（周波数変換係数）を量子化して変換量子化値を生成する。

エントロピー符号化制御器１０７は、予測器１０５からエントロピー符号化器１０２に供給される、二分木構造に基づくサブブロック毎のサイズを監視して、bt_split_vertical_flagをエントロピー符号化するか否かを判断する。

具体的には、処理対象のサブブロックの横幅又は高さが最小サイズに等しい場合、当該ブロックがさらに分割されるとき、エントロピー符号化制御器１０７は、エントロピー符号化器１０２に、bt_split_vertical_flagのエントロピー符号化処理をスキップさせる。以下、最小サイズを、minBTsize と表現する。最小サイズは、任意に設定されうるが、本実施形態では、一例として、最小サイズを「８」とする。また、処理対象のサブブロックの横幅をcurPartW、高さをcurPartHと表現する。

エントロピー符号化器１０２は、予測器１０５が決定したcu_split_flag シンタクス値、bt_split_flag シンタクス値、bt_split_vertical_flagシンタクス値、skip_flag シンタクス値、pred_mode_flagシンタクス値、split_tu_flag シンタクス値、イントラ予測方向の差分情報、動きベクトルの差分情報、及び、変換量子化値をエントロピー符号化する。

ただし、エントロピー符号化器１０２は、bt_split_vertical_flagについて、エントロピー符号化制御器１０７がエントロピー符号化をスキップすることに決定したとき、エントロピー符号化をスキップする。

上記のような制御によって、冗長なbt_split_vertical_flagのシグナリングが防止される。

逆量子化／逆変換器１０３は、変換量子化値を逆量子化する。さらに、逆量子化／逆変換器１０３は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ１０４に供給される。バッファ１０４は、再構築画像を格納する。

多重化器１０６は、エントロピー符号化器１０２から供給されるエントロピー符号化データをビットストリームとして多重化出力する。なお、多重化器１０６は、二分木構造に基づく分割の最小サイズを示すminBTsize もビットストリームに多重化する。

上述した動作によって、本実施形態の映像符号化装置はビットストリームを生成する。

次に、図２のフローチャートを参照して、bt_split_flag 、bt_split_vertical_flag、及びskip_flag に対する、本実施形態の特徴部であるエントロピー符号化制御器１０７及びエントロピー符号化器１０２の動作をより詳しく説明する。

ステップＳ１０１では、エントロピー符号化制御器１０７は、cu_split_flag が０か否かを判断する。cu_split_flag が０である場合、ステップＳ１０２に進む。cu_split_flag が１の場合、次の四分木サブブロック（四分木構造に基づく分割後のブロック）の処理に進む。

ステップＳ１０２では、エントロピー符号化器１０２は、bt_split_flag をエントロピー符号化する。ステップＳ１０３では、エントロピー符号化制御器１０７は、bt_split_flag が０か否かを判断する。bt_split_flag ０の場合、処理を終了する。なお、エントロピー符号化器１０２は、処理を終了する前に、skip_flag をエントロピー符号化する。bt_split_flag が１の場合、ステップＳ１０４に進む。

ステップＳ１０４では、エントロピー符号化制御器１０７は、curPartW又はcurPartHがminBTsize と等しいか否か判定する。curPartWとcurPartHとのうちのいずれかがminBTsize と等しいとき、次の二分木サブブロック（二分木構造に基づく分割後のブロック）の処理に進む。なお、次の二分木サブブロックの処理は、ステップＳ１０２以降の処理である。curPartWとcurPartHとのいずれもがminBTsize と等しくないとき、ステップＳ１０５に進む。

ステップＳ１０５では、エントロピー符号化器１０２は、bt_split_vertical_flagをエントロピー符号化する。そして、次の二分木サブブロックの処理に進む。

ステップＳ１０３〜Ｓ１０５の処理によって、エントロピー符号化制御器１０７は、処理対象のサブブロックのbt_split_flag が１（つまり、処理対象のブロックがさらに二分木構図に基づいて分割される。）、かつ、curPartWとcurPartHとのうちのいずれかがminBTsize と等しいとき、bt_split_vertical_flagのエントロピー符号化処理がスキップされる。

次に、本実施形態の具体例を説明する。図３は、第１の実施形態におけるQTBT構造を示す説明図である。

図３（ａ）には、ブロック分割の一例が示されている。図３（ｂ）には、図３（ａ）に示す分割に対応するシンタクス要素及びQTBT構造が示されている。

図３（ａ）に示す例では、64×64（64画素×64画素）のブロックは四分木構造に基づいて32×32の４ブロック（サブブロック）に分割されるので、QT 0-level（depth 0 ）において、cu_split_flag の値は、分割することを示す値（本実施形態では、１）である。

QT 1-level（depth 1 ）では、右下の32×32のブロックが垂直方向に２分割される。その32×32のブロックについて、cu_split_flag の値は分割しないことを示す値（本実施形態では、０）であるが、BT 1-level（depth 1 ）のbt_split_flag の値は、分割することを示す値（本実施形態では、１）である。また、bt_split_vertical_flagの値は垂直方向を示す値（本実施形態では、１）である。

BT 2-level（depth 2 ）では、右下の32×32のブロックに含まれる左側の16×32のブロックについては、それ以上分割されないので、bt_split_flag の値は、分割しないことを示す値（本実施形態では、０）である。

右側の16×32のブロックについては、さらに分割されるので、bt_split_flag の値は、分割することを示す値（本実施形態では、１）である。また、bt_split_vertical_flagの値は垂直方向を示す値（本実施形態では、１）である。なお、横幅（curPartW）である16も高さ（curPartH）である32も、minBTsize に達していない。

BT 3-level（depth 3 ）では、右下の16×32のブロックに含まれる左側の8×32のブロックについては、それ以上分割されないので、bt_split_flag の値は、分割しないことを示す値（本実施形態では、０）である。

右側の8 ×32のブロック（図３（ａ）において、太線で囲まれたブロック）はさらに分割されるので、bt_split_flag の値は、分割することを示す値（本実施形態では、１）である。しかし、curPartWはminBTsize （＝８）に等しいので、bt_split_vertical_flagはエントロピー符号化されず、伝送されない。

BT 4-level（depth 4 ）では、右下の8 ×32のブロックに含まれる上側の8 ×16のブロックも下側の8 ×16のブロックも分割されないので、それぞれのブロックについて、bt_split_flag の値は、分割しないことを示す値（この例では、０）である。

図３（ａ）に示す例では、太線で囲まれた8 ×32のブロックはさらに二分木構造に基づいて水平方向に分割されるので、図１８（ｂ）に示された方式では、値が０のbt_split_vertical_flagがエントロピー符号化され、ビットストリームに含められた。しかし、太線で囲まれた8 ×32のブロックについては、curPartWはminBTsize に等しいので、そのブロックの分割方向は、一義的に水平方向に定まる。

よって、bt_split_vertical_flagのシンタクス値が伝送されなくても、映像復号装置は、curPartWがminBTsize に等しい8 ×32のブロックに関する情報（具体的には、bt_split_flag ）を受信するだけで、8 ×32のブロック分割方向を認識できる。従って、本実施形態では、所定の条件（具体的には、処理対象のブロックのbt_split_flag が１、かつ、curPartWとcurPartHとのうちのいずれかがminBTsize と等しい。）が成立すると、映像符号化装置は、bt_split_vertical_flagのシンタクス値をエントロピー符号化しない。

すなわち、上述したエントロピー符号化制御器１０７及びエントロピー符号化器１０２を利用した本実施形態の映像符号化装置によれば、冗長な二分木分割方向フラグの伝送が防止されて、圧縮性能が改善される。また、冗長な二分木分割方向フラグのエントロピー符号化処理量が削減されて、処理の複雑さが低減する。

なお、ステップＳ１０３，Ｓ１０４の処理による条件は、処理対象のブロックがさらに二分木構造に基づいて分割されるとき、分割後のブロックのサイズがminBTsize 未満になるという条件である。よって、定式的に、
min(curPartW, curPartH)/(1+bt_split_flag) < minBTsize
と表現することもできる。ここで、min(a,b)は、a とb とのうち小さい方の値を返す関数である。

第２の実施形態．
図４は、映像復号装置の実施形態（第２の実施形態）を示すブロック図である。図４に示す映像復号装置は、多重化解除器２０１、エントロピー復号器２０２、逆量子化／逆変換器２０３、予測器２０４、バッファ２０５、及び、エントロピー復号制御器２０６を備える。

多重化解除器２０１は、入力されるビットストリームを多重化解除して、エントロピー符号化データを抽出する。なお、多重化解除器２０１は、ビットストリームから、minBTsize も抽出する。

エントロピー復号器２０２は、エントロピー符号化データをエントロピー復号する。エントロピー復号器２０２は、エントロピー復号した変換量子化値を逆量子化／逆変換器２０３に供給し、さらに、cu_split_flag 、bt_split_flag 、bt_split_vertical_flag、skip_flag 、pred_mode_flag、split_tu_flag 、イントラ予測方向、及び、動きベクトルを供給する。

ただし、本実施形態のエントロピー復号器２０２は、bt_split_vertical_flagについて、上記の映像符号化装置における所定の条件と同じ条件が成立すると、エントロピー復号処理をスキップする。

逆量子化／逆変換器２０３は、量子化ステップ幅で、変換量子化値を逆量子化する。さらに、逆量子化／逆変換器２０３は、逆量子化した周波数変換係数を逆周波数変換する。

予測器２０４は、cu_split_flag 、bt_split_flag 、bt_split_vertical_flag、skip_flag 、pred_mode_flag、split_tu_flag 、イントラ予測方向、及び、動きベクトルに基づいて、各サブブロックの予測信号を生成する。予測信号は、上述したイントラ予測又はフレーム間予測に基づいて生成される。

逆量子化／逆変換器２０３で逆周波数変換された再構築予測誤差画像は、予測器２０４から供給される予測信号が加えられて、再構築ピクチャとしてバッファ２０５に供給される。そして、バッファ２０５に格納された再構築ピクチャがデコード画像として出力される。

上述した動作に基づいて、本実施形態の映像復号装置はデコード画像を生成する。

次に、図５のフローチャートを参照して、bt_split_flag 、及びbt_split_vertical_flagに対する、本実施形態の特徴部であるエントロピー復号制御器２０６及びエントロピー復号器２０２の動作をより詳しく説明する。

ステップＳ２０１では、エントロピー復号制御器２０６は、エントロピー復号されたcu_split_flag が０か否かを判断する。cu_split_flag が０の場合、ステップＳ２０２に進む。cu_split_flag が１の場合、次の四分木サブブロックの処理に進む。

ステップＳ２０２では、エントロピー復号器２０２は、bt_split_flag をエントロピー復号する。続いて、エントロピー復号制御器２０６は、ステップＳ２０３で、エントロピー復号されたbt_split_flag が０か否かを判断する。bt_split_flag が０の場合、処理を終了する。なお、エントロピー復号器２０２は、処理を終了する前に、skip_flag をエントロピー復号する。bt_split_flag が１の場合、ステップＳ２０４に進む。

ステップＳ２０４では、エントロピー復号制御器２０６は、curPartW又はcurPartHがminBTsize と等しいか否か判定する。curPartWとcurPartHとのうちのいずれかがminBTsize と等しいとき、ステップＳ２０６に進む。すなわち、エントロピー復号制御器２０６は、エントロピー復号器２０２に、bt_split_vertical_flagのエントロピー復号処理をスキップさせる。curPartWとcurPartHとのいずれもがminBTsize と等しくないとき、ステップＳ２０５に進む。

ステップＳ２０５では、エントロピー復号器２０２は、処理対象のサブブロックのbt_split_vertical_flagをエントロピー復号する。そして、次の二分木サブブロック（二分木構造に基づく分割後のブロック）の処理に進む。なお、次の二分木サブブロックの処理は、ステップＳ２０２以降の処理である。

ステップＳ２０６〜Ｓ２０８において、エントロピー復号制御器２０６は、エントロピー復号処理がスキップされたbt_split_vertical_flagの値を導出する。

具体的には、ステップＳ２０６で、エントロピー復号制御器２０６は、min(curPartW)/(1+bt_split_flag) < minBTsizeであるか否かを判定する。min(curPartW)/(1+bt_split_flag) < minBTsizeであるときには、ステップＳ２０７で、エントロピー復号制御器２０６は、bt_split_vertical_flagの値を０（水平方向に分割されることを示す。）にする。min(curPartW)/(1+bt_split_flag) ≧ minBTsize であるときには、ステップＳ２０８で、エントロピー復号制御器２０６は、bt_split_vertical_flagの値を１（垂直方向に分割されることを示す。）にする。そして、次の二分木サブブロック（二分木構造に基づく分割後のブロック）の処理に進む。

なお、min(curPartW)/(1+bt_split_flag) < minBTsizeは、処理対象のサブブロックがさらに二分木構造に基づいて分割されるとき、分割後のサブブロックの横幅がminBTSize 未満となるかを示す条件である。よって、エントロピー復号制御器２０６は、ステップＳ２０６で、min(curPartH)/(1+bt_split_flag) < minBTsizeという条件を用いて、min(curPartH)/(1+bt_split_flag) < minBTsizeであるときには、bt_split_vertical_flagの値を１（垂直方向に分割されることを示す。）にし、min(curPartH)/(1+bt_split_flag) ≧ minBTsize であるときには、bt_split_vertical_flagの値を０（水平方向に分割されることを示す。）に設定してもよい。

次に、本実施形態の発明の効果を説明する。上述したエントロピー復号制御器２０６とエントロピー復号器２０２を利用した本実施形態の映像復号装置によれば、冗長な二分木分割方向フラグのエントロピー復号が防止され、処理の複雑さが低減する。

冗長性を排除する利点は以下の通りである。

すなわち、映像符号化と映像復号における冗長なbt_split_vertical_flagのエントロピー符号化処理及びエントロピー復号処理の削減効果と、パラメータ値の組合せエラー防止による映像符号化と映像復号間の相互運用性向上である。

なお、上記の第１の実施形態及び第２の実施形態では、minBTsize は、最小の横幅と最小の高さとの双方を意味しているとしたが、最小の横幅と最小の高さとは別個に設定されてもよい。その場合には、図２に示されたステップＳ１０４の処理及び図５に示されたステップＳ２０４の処理において、curPartWが最小の横幅と比較されるとともに、curPartHが最小の高さと比較される。

上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

図６に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３及びビットストリームを格納するための記憶媒体１００４を備えている。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。

図６に示された情報処理システムにおいて、プログラムメモリ１００２には、図１及び図４に示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、上記の実施形態の映像符号化装置及び映像復号装置の機能を実現する。

図７は、映像符号化装置の主要部を示すブロック図である。図７に示すように、映像符号化装置１０は、四分木構造に基づいてブロックを分割するかしないかを示すフラグ（例えば、cu_split_flag ）をエントロピー符号化する四分木分割フラグ符号化部１１（実施形態では、エントロピー符号化器１０２で実現される。）と、四分木終端ノードのスキップフラグをエントロピー符号化するスキップフラグ符号化部１２（実施形態では、エントロピー符号化器１０２で実現される。）と、四分木終端ノードのブロックを二分木構造に基づいて分割するかしないかを示すフラグ（例えば、bt_split_flag ）及び分割方向を示す水平／垂直分割方向フラグ（例えば、bt_split_vertical_flag）をエントロピー符号化する二分木情報符号化部１３（実施形態では、エントロピー符号化器１０２で実現される。）と、二分木構造に基づく分割の最小サイズを示す情報（例えば、minBTsize ）をビットストリームに多重化するサイズ多重化部１４（実施形態では、多重化器１０６で実現される。）とを備え、二分木情報符号化部１３は、最小サイズと等しいサイズのノードがさらに二分木構造に基づいて分割されるときには、ノードにおける水平／垂直分割方向フラグをエントロピー符号化しない。

図８は、映像復号装置の主要部を示すブロック図である。図８に示すように、映像復号装置２０は、四分木終端ノードのスキップフラグをエントロピー復号するスキップフラグ復号部２１（実施形態では、エントロピー復号器２０２で実現される。）と、四分木終端ノードのブロックを二分木構造に基づいて分割するかしないかを示すフラグ（例えば、bt_split_flag ）及び分割方向を示す水平／垂直分割方向フラグ（例えば、bt_split_vertical_flag）をエントロピー復号する二分木情報復号部２２（実施形態では、エントロピー復号器２０２で実現される。）と、二分木構造に基づく分割の最小サイズを示す情報（例えば、minBTsize ）をビットストリームから抽出するサイズ抽出部２３（実施形態では、多重化解除器２０１で実現される。）とを備え、二分木情報復号部２２は、最小サイズと等しいサイズのノードがさらに二分木構造に基づいて分割されるときには、ノードにおける水平／垂直分割方向フラグをエントロピー復号しない。

映像復号装置２０は、エントロピー復号されない水平／垂直分割方向フラグの値として、最小サイズを満たす値を設定するサイズ設定部（実施形態では、エントロピー復号制御器２０６で実現される。）を備えていてもよい。なお、最小サイズを満たす値は、最小サイズよりも小さいサブブロックに分割されない（具体的には、横幅及び高さともに最小値よりも小さくならない。）ことを特定可能な値である。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１６年１２月２６日に出願された日本特許出願２０１６−２５１２９０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ 映像符号化装置
１１ 四分木分割フラグ符号化部
１２ スキップフラグ符号化部
１３ 二分木情報符号化部
１４ サイズ多重化部
２０ 映像復号装置
２１ スキップフラグ復号部
２２ 二分木情報復号部
２３ サイズ抽出部
１０１ 変換／量子化器
１０２ エントロピー符号化器
１０３ 逆量子化／逆変換器
１０４ バッファ
１０５ 予測器
１０６ 多重化器
１０７ エントロピー符号化制御器
２０１ 多重化解除器
２０２ エントロピー復号器
２０３ 逆量子化／逆変換器
２０４ 予測器
２０５ バッファ
２０６ エントロピー復号制御器
１００１ プロセッサ
１００２ プログラムメモリ
１００３ 記憶媒体
１００４ 記憶媒体

Claims (9)

1. 四分木と二分木とに基づくブロック分割構造を用いる映像符号化方法であって、
   四分木構造に基づいてブロックを分割するかしないかを示すフラグをエントロピー符号化するステップと、
   四分木終端ノードのスキップフラグをエントロピー符号化するステップと、
   前記四分木終端ノードのブロックを二分木構造に基づいて分割するかしないかを示すフラグ及び分割方向を示す水平／垂直分割方向フラグをエントロピー符号化するステップと、
   前記二分木構造に基づく分割の最小サイズを示す情報をビットストリームに多重化するステップとを含み、
   前記最小サイズと等しいサイズのノードがさらに前記二分木構造に基づいて分割されるときには、前記ノードにおける水平／垂直分割方向フラグをエントロピー符号化しない
   ことを特徴とする映像符号化方法。
2. 四分木と二分木とに基づくブロック分割構造を用いる映像復号方法であって、
   四分木終端ノードのスキップフラグをエントロピー復号するステップと、
   前記四分木終端ノードのブロックを二分木構造に基づいて分割するかしないかを示すフラグ及び分割方向を示す水平／垂直分割方向フラグをエントロピー復号するステップと、
   前記二分木構造に基づく分割の最小サイズを示す情報をビットストリームから抽出するステップとを含み、
   前記最小サイズと等しいサイズのノードがさらに前記二分木構造に基づいて分割されるときには、前記ノードにおける水平／垂直分割方向フラグをエントロピー復号しない
   ことを特徴とする映像復号方法。
3. エントロピー復号されない水平／垂直分割方向フラグの値として、前記最小サイズを満たす値を設定する
   請求項２記載の映像復号方法。
4. 四分木と二分木とに基づくブロック分割構造を用いる映像符号化装置であって、
   四分木構造に基づいてブロックを分割するかしないかを示すフラグをエントロピー符号化する四分木分割フラグ符号化手段と、
   四分木終端ノードのスキップフラグをエントロピー符号化するスキップフラグ符号化手段と、
   前記四分木終端ノードのブロックを二分木構造に基づいて分割するかしないかを示すフラグ及び分割方向を示す水平／垂直分割方向フラグをエントロピー符号化する二分木情報符号化手段と、
   前記二分木構造に基づく分割の最小サイズを示す情報をビットストリームに多重化するサイズ多重化手段とを備え、
   前記二分木情報符号化手段は、前記最小サイズと等しいサイズのノードがさらに前記二分木構造に基づいて分割されるときには、前記ノードにおける水平／垂直分割方向フラグをエントロピー符号化しない
   ことを特徴とする映像符号化装置。
5. 四分木と二分木とに基づくブロック分割構造を用いる映像復号装置であって、
   四分木終端ノードのスキップフラグをエントロピー復号するスキップフラグ復号手段と、
   前記四分木終端ノードのブロックを二分木構造に基づいて分割するかしないかを示すフラグ及び分割方向を示す水平／垂直分割方向フラグをエントロピー復号する二分木情報復号手段と、
   前記二分木構造に基づく分割の最小サイズを示す情報をビットストリームから抽出するサイズ抽出手段とを備え、
   前記二分木情報復号手段は、前記最小サイズと等しいサイズのノードがさらに前記二分木構造に基づいて分割されるときには、前記ノードにおける水平／垂直分割方向フラグをエントロピー復号しない
   ことを特徴とする映像復号装置。
6. エントロピー復号されない水平／垂直分割方向フラグの値として、前記最小サイズを満たす値を設定するサイズ設定手段を備える
   請求項５記載の映像復号装置。
7. 四分木と二分木とに基づくブロック分割構造を用いる映像符号化方法を実施するための映像符号化プログラムであって、
   コンピュータに、
   四分木構造に基づいてブロックを分割するかしないかを示すフラグをエントロピー符号化する処理と、
   四分木終端ノードのスキップフラグをエントロピー符号化する処理と、
   前記四分木終端ノードのブロックを二分木構造に基づいて分割するかしないかを示すフラグ及び分割方向を示す水平／垂直分割方向フラグをエントロピー符号化する処理と、
   前記二分木構造に基づく分割の最小サイズを示す情報をビットストリームに多重化する処理とを実行させ、
   前記最小サイズと等しいサイズのノードがさらに前記二分木構造に基づいて分割されるときには、前記ノードにおける水平／垂直分割方向フラグをエントロピー符号化させない
   ための映像符号化プログラム。
8. 四分木と二分木とに基づくブロック分割構造を用いる映像復号方法を実施するための映像復号プログラムであって、
   コンピュータに、
   四分木終端ノードのスキップフラグをエントロピー復号する処理と、
   前記四分木終端ノードのブロックを二分木構造に基づいて分割するかしないかを示すフラグ及び分割方向を示す水平／垂直分割方向フラグをエントロピー復号する処理と、
   前記二分木構造に基づく分割の最小サイズを示す情報をビットストリームから抽出する処理とを実行させ、
   前記最小サイズと等しいサイズのノードがさらに前記二分木構造に基づいて分割されるときには、前記ノードにおける水平／垂直分割方向フラグをエントロピー復号させない
   ための映像復号プログラム。
9. コンピュータに、エントロピー復号されない水平／垂直分割方向フラグの値として、前記最小サイズを満たす値を設定させるための請求項８記載の映像復号プログラム。

Images