WO2018116802A1 - 画像復号装置、画像符号化装置、及び画像予測装置 - Google Patents

Abstract

動画像の符号化効率を向上させること。イントラ、インター予測処理では、輝度と色差で異なる符号化ツリー分割を行うことにより、画素値の変化の大きい輝度は変換サイズを小さく、画素値の変化の小さい色差は変換サイズを大きく設定することができ、符号化効率を向上させることができる。また符号化ツリーをインター予測でも独立にすることで、色差において、色差の隣接ブロックだけでなく輝度の予測パラメータ情報を参照することができる。

Description

画像復号装置、画像符号化装置、及び画像予測装置

　本発明の一様態は、画像復号装置、画像符号化装置、及び画像予測装置に関する。

　動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する画像符号化装置、及び、当該符号化データを復号することによって復号画像を生成する画像復号装置が用いられている。

　具体的な動画像符号化方式としては、例えば、H.264/AVCやHEVC（High-Efficiency Video Coding）にて提案されている方式などが挙げられる。

　このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び、符号化単位を分割することより得られるブロックである予測ユニット（PU）、変換ユニット（TU）からなる階層構造により管理され、CUごとに符号化／復号される。

　また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、及び、画面内予測（イントラ予測）が挙げられる。

　また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられる。

　さらに、近年では、スライスを構成する符号化ツリーユニット（CTU:Coding Tree Unit）から符号化ユニット（CU:Coding Unit）への分割方式として、４分木（quad tree）分割するQT分割に加えて、２分木（binary tree）分割するBT分割が導入されている。このBT分割には、水平分割と垂直分割とが含まれる。

"Algorithm Description of Joint Exploration Test Model 2", JVET-D1001, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 15-21 October2016 "Multiple Direct Modes for chroma intra coding", JVET-D0111, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 15-21 October 2016

　非特許文献１および非特許文献２は、Iスライスに対して、輝度と色差で異なる分割ツリーを利用することができる。しかしながら、PスライスおよびBスライスでは輝度と色差は共通の分割ツリーを利用しているために、輝度と色差で異なる予測単位、変換単位を用いることができず、効率的ではなかった。

　そこで、本発明の一様態は、上記の課題に鑑みてなされたものであり、その目的は、動画像の符号化効率を向上させることができる画像復号装置及び画像符号化装置を提供することにある。

　本発明の一態様に係る画像復号装置は、画像を分割ツリーを用いて分割した符号化単位（ブロック）毎に復号する画像復号装置であって、輝度成分の分割情報を復号する第１の分割情報復号手段と、色差成分の分割情報を復号する第２の分割情報復号手段と、輝度成分のイントラ予測情報およびインター予測情報を復号する第１の予測情報復号手段と、色差成分のイントラ予測情報を復号する第２の予測情報復号手段と、色差成分のインター予測情報を復号する第３の予測情報復号手段とを備え、前記第１の分割情報復号手段と前記第２の分割情報復号手段とは異なる分割情報を復号し、前記第２の予測情報復号手段は、対象色差ブロックの隣接ブロックおよび対象色差ブロックに対応する位置の輝度ブロック（参照ブロック）のイントラ予測情報を用いて、対象色差ブロックのイントラ予測情報を復号し、前記第３の予測情報復号手段は、対象色差ブロックの参照ブロックのインタ―予測情報を用いて、対象色差ブロックのインタ―予測情報を導出する。

　本発明の一態様によれば、動画像の符号化効率を向上させることができる。

本発明の一実施形態に係る画像伝送システムの構成を示す概略図である。 本発明の一実施形態に係る符号化ストリームのデータの階層構造を示す図である。 PU分割モードのパターンを示す図である。（ａ）～（ｈ）は、それぞれ、PU分割モードが、2Nx2N、2NxN、2NxnU、2NxnD、Nx2N、nLx2N、nRx2N、及び、NxNの場合のパーティション形状について示している。 参照ピクチャ及び参照ピクチャリストの一例を示す概念図である。 本発明の一実施形態に係る画像復号装置の構成を示すブロック図である。 本発明の一実施形態に係る画像符号化装置の構成を示すブロック図である。 マージ候補の位置を示す図である。 本発明の一実施形態に係る画像符号化装置を搭載した送信装置、及び、画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、画像符号化装置を搭載した送信装置を示しており、（ｂ）は、画像復号装置を搭載した受信装置を示している。 本発明の一実施形態に係る画像符号化装置を搭載した記録装置、及び、画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、画像符号化装置を搭載した記録装置を示しており、（ｂ）は、画像復号装置を搭載した再生装置を示している。 イントラ予測モードを説明する図である。 本発明の一実施形態に係る参照ブロックを説明する図である。 本発明の一実施形態に係る予測候補リストを説明する図である。 本発明の一実施形態に係る画像復号装置の構成を示すブロック図である。 本発明の一実施形態に係るイントラ予測パラメータ復号部を説明する図である。 本発明の一実施形態に係るイントラ予測パラメータ符号化部を説明する図である。 本発明の一実施形態に係るインタ―予測パラメータ復号部を説明する図である。 本発明の一実施形態に係るマージ予測パラメータ導出部を説明する図である。 本発明の一実施形態に係るインター予測パラメータ符号化部を説明する図である。 本発明の一実施形態に係るSPSのシンタックス表の構成図である。 本発明の一実施形態に係るCT情報復号部の動作を説明するフローチャートである。 本発明の一実施形態に係るCT情報復号処理およびイントラ予測処理の動作を説明するフローチャートである。 本発明の一実施形態に係るイントラ予測処理の動作を説明するフローチャートである。 本発明の一実施形態に係るイントラ予測処理の動作を説明するフローチャートである。 本発明の一実施形態に係るインタ―予測処理の動作を説明するフローチャートである。 本発明の一実施形態に係るインタ―予測処理の動作を説明するフローチャートである。 本発明の一実施形態に係るCT情報復号処理およびイントラ予測処理の動作を説明する別のフローチャートである。 本発明の一実施形態に係るインタ―予測処理の動作を説明するフローチャートである。 本発明の一実施形態に係るインタ―予測処理の動作を説明するフローチャートの動作を説明するフローチャートである。 本発明の一実施形態に係る予測候補リストの一例である。 本発明の一実施形態に係るインタ―予測処理の動作を説明するフローチャートである。 本発明の一実施形態に係るCT情報復号処理およびイントラ予測処理の動作を説明する別のフローチャートである。 本発明の一実施形態に係るインタ―予測処理の動作を説明するフローチャートである。 本発明の一実施形態に係るインタ―予測処理の動作を説明するフローチャートである。 本発明の一実施形態に係る画像復号装置の別のブロック図である。 本発明の一実施形態に係る画像符号化装置の別のブロック図である。

　　（第１の実施形態）
　以下、図面を参照しながら本発明の実施形態について説明する。

　図１は、本実施形態に係る画像伝送システム１の構成を示す概略図である。

　画像伝送システム１は、符号化対象画像を符号化した符号を伝送し、伝送された符号を復号し画像を表示するシステムである。画像伝送システム１は、画像符号化装置１１、ネットワーク２１、画像復号装置３１及び画像表示装置４１を含んで構成される。

　画像符号化装置１１には、単一レイヤもしくは複数レイヤの画像を示す画像Ｔが入力される。レイヤとは、ある時間を構成するピクチャが１つ以上ある場合に、複数のピクチャを区別するために用いられる概念である。たとえば、同一ピクチャを、画質や解像度の異なる複数のレイヤで符号化するとスケーラブル符号化になり、異なる視点のピクチャを複数のレイヤで符号化するとビュースケーラブル符号化となる。複数のレイヤのピクチャ間で予測（インターレイヤ予測、インタービュー予測）を行う場合には、符号化効率が大きく向上する。また予測を行わない場合（サイマルキャスト）の場合にも、符号化データをまとめることができる。

　ネットワーク２１は、画像符号化装置１１が生成した符号化ストリームＴｅを画像復号装置３１に伝送する。ネットワーク２１は、インターネット（internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）またはこれらの組み合わせである。ネットワーク２１は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク２１は、DVD（Digital Versatile Disc）、BD（Blue-ray Disc）等の符号化ストリームTeを記録した記憶媒体で代替されても良い。

　画像復号装置３１は、ネットワーク２１が伝送した符号化ストリームTeのそれぞれを復号し、それぞれ復号した１または複数の復号画像Tdを生成する。

　画像表示装置４１は、画像復号装置３１が生成した１または複数の復号画像Tdの全部または一部を表示する。画像表示装置４１は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。また、空間スケーラブル符号化、ＳＮＲスケーラブル符号化では、画像復号装置３１、画像表示装置４１が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示する。より低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。

　　＜演算子＞
　本明細書で用いる演算子を以下に記載する。

　>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR、|=は別の条件との和演算（OR）である。

　x ? y : zは、xが真（0以外）の場合にy、xが偽（0）の場合にzをとる３項演算子である。

　Clip3(a, b, c) は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返し、c>bの場合にはbを返し、その他の場合にはcを返す関数である（ただし、a<=b）。

　　＜符号化ストリームTeの構造＞
　本実施形態に係る画像符号化装置１１及び画像復号装置３１の詳細な説明に先立って、画像符号化装置１１によって生成され、画像復号装置３１によって復号される符号化ストリームTeのデータ構造について説明する。

　図２は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリームTeは、例示的に、シーケンス、及びシーケンスを構成する複数のピクチャを含む。図２の（ａ）～（ｆ）は、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニット（Coding Unit；CU）を示す図である。

　　（符号化ビデオシーケンス）
　符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために画像復号装置３１が参照するデータの集合が規定されている。シーケンスSEQは、図２の（ａ）に示すように、ビデオパラメータセット（Video Parameter Set）、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤIDを示す。図２では、#0と#1すなわちレイヤ０とレイヤ１の符号化データが存在する例を示すが、レイヤの種類及びレイヤの数はこれによらない。

　ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合及び動画像に含まれる複数のレイヤ及び個々のレイヤに関連する符号化パラメータの集合が規定されている。

　シーケンスパラメータセットSPSでは、対象シーケンスを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れかを選択する。

　ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。

　　（符号化ピクチャ）
　符号化ピクチャでは、処理対象のピクチャPICTを復号するために画像復号装置３１が参照するデータの集合が規定されている。ピクチャPICTは、図２の（ｂ）に示すように、スライスS0～S_NS-1を含んでいる（ＮＳはピクチャPICTに含まれるスライスの総数）。

　なお、以下、スライスS0～S_NS-1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。

　　（符号化スライス）
　符号化スライスでは、処理対象のスライスSを復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスSは、図２の（ｃ）に示すように、スライスヘッダSH、及び、スライスデータSDATAを含んでいる。

　スライスヘッダSHには、対象スライスの復号方法を決定するために画像復号装置３１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダSHに含まれる符号化パラメータの一例である。

　スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるIスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるPスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるBスライスなどが挙げられる。なお、インター予測は、単予測、双予測に限定されず、より多くの参照ピクチャを用いて予測画像を生成してもよい。以下、P, Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライスを指す。

　なお、スライスヘッダSHには、上記符号化ビデオシーケンスに含まれる、ピクチャパラメータセットPPSへの参照（pic_parameter_set_id）を含んでいても良い。

　　（符号化スライスデータ）
　符号化スライスデータでは、処理対象のスライスデータSDATAを復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスデータSDATAは、図２の（ｄ）に示すように、符号化ツリーユニット（CTU:Coding Tree Unit）を含んでいる。CTUは、スライスを構成する固定サイズ（例えば64x64）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。

　　（符号化ツリーユニット）
　図２の（ｅ）に示すように、処理対象の符号化ツリーユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割（QT分割）または２分木分割（BT分割）により符号化処理の基本的な単位である符号化ユニット（CU:Coding Unit）に分割される。再帰的な４分木分割または２分木分割により得られる木構造を符号化ツリー（CT:Coding Tree）、木構造のノードのことを符号化ノード（CN:Coding Node）と称する。４分木及び２分木の中間ノードは、符号化ノードであり、符号化ツリーユニット自身も最上位の符号化ノードとして規定される。

　CTは、CT情報として、QT分割を行うか否かを示すQT分割フラグ（cu_split_flag）、及びBT分割の分割方法を示すBT分割モード（split_bt_mode）を含む。cu_split_flag及び／又はsplit_bt_modeは符号化ノードCNごとに伝送される。cu_split_flagが１の場合には、符号化ノードCNは４つの符号化ノードCNに分割される。cu_split_flagが０の場合には、符号化ノードCNは分割されない。一方、split_bt_modeが１の場合には、符号化ノードCNは２つの符号化ノードCNに水平分割される。split_bt_modeが２の場合には、符号化ノードCNは２つの符号化ノードCNに垂直分割される。split_bt_modeが０の場合には、符号化ノードCNは分割されず、１つの符号化ユニットCUをノードとして持つ。符号化ユニットCUは符号化ノードの末端ノード（リーフノード）であり、これ以上分割されない。

　また、符号化ツリーユニットCTUのサイズが64x64画素の場合には、符号化ユニットのサイズは、64x64画素、64x32画素、32x64画素、32x32画素、64x16画素、16x64画素、32x16画素、16x32画素、16x16画素、64x8画素、8x64画素、32x8画素、8x32画素、16x8画素、8x16画素、8x8画素、64x4画素、4x64画素、32x4画素、4x32画素、16x4画素、4x16画素、8x4画素、4x8画素、及び、4x4画素の何れかをとり得る。

　　（符号化ユニット）
　図２の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、予測ツリー、変換ツリー、CUヘッダCUHから構成される。CUヘッダでは予測モード、分割方法（PU分割モード）等が規定される。

　予測ツリーでは、符号化ユニットを１または複数に分割した各予測ユニット（PU）の予測情報（参照ピクチャインデックス、動きベクトル等）が規定される。別の表現でいえば、予測ユニットは、符号化ユニットを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ユニットを含む。なお、以下では、予測ユニットをさらに分割した予測単位を「サブブロック」と呼ぶ。サブブロックは、複数の画素によって構成されている。予測ユニットとサブブロックのサイズが等しい場合には、予測ユニット中のサブブロックは１つである。予測ユニットがサブブロックのサイズよりも大きい場合には、予測ユニットは、サブブロックに分割される。たとえば予測ユニットが8x8、サブブロックが4x4の場合には、予測ユニットは水平に２分割、垂直に２分割からなる、４つのサブブロックに分割される。

　予測処理は、この予測ユニット（サブブロック）ごとに行ってもよい。

　予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。

　イントラ予測の場合、分割方法は、2Nx2N（符号化ユニットと同一サイズ）と、NxNとがある。

　また、インター予測の場合、分割方法は、符号化データのPU分割モード（part_mode）により符号化され、2Nx2N（符号化ユニットと同一サイズ）、2NxN、2NxnU、2NxnD、Nx2N、nLx2N、nRx2N、及び、NxNなどがある。なお、2NxN、Nx2Nは1:1の対称分割を示し、2NxnU、2NxnD及びnLx2N、nRx2Nは、1:3、3:1の非対称分割を示す。CUに含まれるPUを順にPU0、PU1、PU2、PU3と表現する。

　図３の（ａ）～（ｈ）に、それぞれのPU分割モードにおけるパーティションの形状（PU分割の境界の位置）を具体的に図示している。図３の（ａ）は、2Nx2Nのパーティションを示し、（ｂ）、（ｃ）、（ｄ）は、それぞれ、2NxN、2NxnU、及び、2NxnDのパーティション（横長パーティション）を示す。（ｅ）、（ｆ）、（ｇ）は、それぞれ、Nx2N、nLx2N、nRx2Nである場合のパーティション（縦長パーティション）を示し、（ｈ）は、NxNのパーティションを示す。なお、横長パーティションと縦長パーティションを総称して長方形パーティション、2Nx2N、NxNを総称して正方形パーティションと呼ぶ。

　また、変換ツリーにおいては、符号化ユニットが１または複数の変換ユニットに分割され、各変換ユニットの位置とサイズとが規定される。別の表現でいえば、変換ユニットは、符号化ユニットを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ユニットを含む。

　変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ユニットとして割り付けるものと、上述したCUの分割と同様、再帰的な４分木分割によるものがある。

　変換処理は、この変換ユニットごとに行われる。

　　（予測パラメータ）
　予測ユニット（PU：Prediction Unit）の予測画像は、PUに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、動きベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0リスト、L1リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、フラグが０以外（たとえば１）をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。

　符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、PU分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。

　　（参照ピクチャリスト）
　参照ピクチャリストは、参照ピクチャメモリ３０６に記憶された参照ピクチャからなるリストである。図４は、参照ピクチャ及び参照ピクチャリストの一例を示す概念図である。図４の（ａ）において、矩形はピクチャ、矢印はピクチャの参照関係、横軸は時間、矩形中のI、P、Bは各々イントラピクチャ、単予測ピクチャ、双予測ピクチャ、矩形中の数字は復号順を示す。図に示すように、ピクチャの復号順は、I0、P1、B2、B3、B4であり、表示順は、I0、B3、B2、B4、P1である。図４の（ｂ）に、参照ピクチャリストの例を示す。参照ピクチャリストは、参照ピクチャの候補を表すリストであり、１つのピクチャ（スライス）が１つ以上の参照ピクチャリストを有してもよい。図の例では、対象ピクチャB3は、L0リストRefPicList0及びL1リストRefPicList1の２つの参照ピクチャリストを持つ。対象ピクチャがB3の場合の参照ピクチャは、I0、P1、B2であり、参照ピクチャはこれらのピクチャを要素として持つ。個々の予測ユニットでは、参照ピクチャリストRefPicListX中のどのピクチャを実際に参照するかを参照ピクチャインデックスrefIdxLXで指定する。図では、refIdxL0及びrefIdxL1により参照ピクチャP1とB2が参照される例を示す。

　　（マージ予測とAMVP予測）
　予測パラメータの復号（符号化）方法には、マージ予測（merge）モードとAMVP（Adaptive Motion Vector Prediction、適応動きベクトル予測）モードがある、マージフラグmerge_flagは、これらを識別するためのフラグである。マージモードは、予測リスト利用フラグpredFlagLX（またはインター予測識別子inter_pred_idc）、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めずに、既に処理した近傍PUの予測パラメータから導出する用いるモードである。マージモードでは図７に示す参照PUを用いてマージ候補リストを作成する。図７において、対象PUの左上座標を(xP, yP）、幅をPbW、高さをPbHとする。また、A0、A1、B0、B1、B2は各々、座標(xP-1, yP+PbH)、(xP-1,yP+PbH-1)、(xP+PbW,yP-1)、(xP+PbW-1,yP-1)、(xP-1,yP-1)を含むPUである。これらをマージ候補としてA1、B1、B0、A0、B2の順にマージ候補リストに格納する。ただし、既にマージ候補リストに格納された候補と同じ予測パラメータを持つ候補は、格納しない。またマージ候補リストに空きがある場合、ゼロマージ候補（refIdxLX=0、mvLX=(0,0)）を追加格納する。AMVPモードは、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めるモードである。なお、動きベクトルmvLXは、予測ベクトルmvpLXを識別する予測ベクトルインデックスmvp_LX_idxと差分ベクトルmvdLXとして符号化される。

　インター予測識別子inter_pred_idcは、参照ピクチャの種類及び数を示す値であり、PRED_L0、PRED_L1、PRED_BIの何れかの値をとる。PRED_L0、PRED_L1は、各々L0リスト、L1リストの参照ピクチャリストで管理された参照ピクチャを用いることを示し、１枚の参照ピクチャを用いること（単予測）を示す。PRED_BIは２枚の参照ピクチャを用いること（双予測BiPred）を示し、L0リストとL1リストで管理された参照ピクチャを用いる。予測ベクトルインデックスmvp_LX_idxは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストで管理された参照ピクチャを示すインデックスである。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、LXをL0、L1に置き換えることでL0リストに対するパラメータとL1リストに対するパラメータを区別する。

　マージインデックスmerge_idxは、処理が完了したPUから導出される予測パラメータ候補（マージ候補）のうち、いずれかの予測パラメータを復号対象PUの予測パラメータとして用いるかを示すインデックスである。

　　（動きベクトル）
　動きベクトルmvLXは、異なる２つのピクチャ上のブロック間のずれ量を示す。動きベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。

　　（インター予測識別子inter_pred_idcと予測リスト利用フラグpredFlagLX）
　インター予測識別子inter_pred_idcと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のとおりであり、相互に変換可能である。

　inter_pred_idc = （predFlagL1<<１） + predFlagL0
　predFlagL0 = inter_pred_idc & １
　predFlagL1 = inter_pred_idc >> １
　なお、インター予測パラメータは、予測リスト利用フラグを用いても良いし、インター予測識別子を用いてもよい。また、予測リスト利用フラグを用いた判定は、インター予測識別子を用いた判定に置き替えてもよい。逆に、インター予測識別子を用いた判定は、予測リスト利用フラグを用いた判定に置き替えてもよい。

　　（双予測biPredの判定）
　双予測BiPredであるかのフラグbiPredは、２つの予測リスト利用フラグがともに１であるかによって導出できる。たとえば以下の式で導出できる。

　biPred = (predFlagL0 == 1 && predFlagL1 == 1)
　フラグbiPredは、インター予測識別子が２つの予測リスト（参照ピクチャ）を使うことを示す値であるか否かによっても導出できる。たとえば以下の式で導出できる。

　biPred = (inter_pred_idc == PRED_BI) ? 1 : 0
　上記式は、以下の式でも表現できる。

　biPred = (inter_pred_idc == PRED_BI)
　なお、PRED_BIはたとえば3の値を用いることができる。

　　（イントラ予測モード）
　輝度および色差のイントラ予測モードを図１０に示す。輝度イントラ予測モードIntraPredModeYは67モードであり、プレーナ予測（0）、DC予測（1）、方向予測（2～66）が対応する。色差イントラ予測モードIntraPredModeCは上記の67モードにCCLM（Colour Component Linear Mode）を加えた68モードである。CCLMは、対象色成分における対象画素の画素値を、対象色成分よりも前に符号化された別の色成分の画素値を参照した、線形予測によって導出するモードである。なお、色成分には輝度Y、色差Cb、色差Crが含まれる。輝度と色差で異なるイントラ予測モードを割り当ててもよく、CUあるいはPU単位で予測モードを符号化、復号する。

　例えばCCLMでは、以下の式により、輝度の予測画像predSamplesL[][]と線形予測パラメータ(a, b)から色差の予測画像predSamplesC[][]を導出する。

　predSamplesL[x][y]= (predSamplesL[][] * a) >> shift + b
　　（イントラ予測モードの導出）
　また対象CUのイントラ予測モードは隣接するブロックのイントラ予測モードから推定することができるが、対象CUのイントラ予測モードを直接符号化・復号することもできる。ブロックはCU、PU、TUと読み替えてもよい。隣接ブロックのイントラ予測モードから対象CUのイントラ予測モードを推定するには、イントラ予測候補リストCandModeList[]を用いる。ここでは色差のイントラ予測候補リストCandModeListC[]の作成方法を説明する。図１１は対象色差CUとその隣接ブロックおよび、対象色差CUの位置に対応する位置の輝度CU（コロケート輝度CUと呼ぶ）を図示したものである。コロケート輝度CUの左上座標を(xP, yP）、幅をPbW、高さをPbH、対象色差CUの左上座標を(xPC, yPC）、幅をPbWC、高さをPbHCとする。色差フォーマット4:2:0の場合、
　　xPC=xP>>1, yPC=yP>>1
　　PbWC=PbW>>1, PbHC=PbH>>1
の関係がある。AL、A、AR、L、BLは対象色差CUの隣接ブロックであり、各々座標(xPC-1,yPC-1)、(xPC+PbWC-1,yPC-1) 、(xPC+PbWC,yPC-1)、(xPC-1,yPC+PbHC-1)、(xPC-1, yPC+PbHC)を含むブロックである。cAL、cAR、cCR、cBL、cBRはコロケート輝度CUに含まれるブロックであり、各々座標(xP,yP)、(xP+PbW-1,yP)、(xP+PbW>>1,yP+PbH>>1)、(xP, yP+PbH-1)、(xP+PbW-1,yPC+PbH-1)を含むブロックである。なお、cAL、cAR、cCR、cBL、cBRは前記座標が同じブロックに含まれている場合には、同じブロックである。イントラ予測パラメータ復号部３０４は、隣接するブロックのイントラ予測モード、コロケート輝度CUのイントラ予測モード、その他、CCLMを含むイントラ予測モードを用いて、イントラ予測候補リストCandModeListC[]を生成する。イントラ予測候補リストCandModeList[]の一例を図１２(a)に示す。

　ここで、pmNは参照CU N(NはAL、A、AR、L、BLまたはcAL、cAR、cCR、cBL、cBR)のイントラ予測モード（サブ予測モード）である。CCLMはリストの先頭（*の位置）に配置してもよい。イントラ予測パラメータ復号部３０４は、このリスト中のどの予測モードを選択するかを示すmpm_idxCを復号し、mpm_idxCが示すイントラ予測モードを対象色差CUのイントラ予測モードと推定する。CCLM、対象色差CUの隣接CU、あるいはコロケート輝度CUに含まれるCUのイントラ予測モードに重複がある場合は、２つ目以降のイントラ予測モードをリストから削除する。そして残りのイントラ予測モードをインデックスの小さい方にずらし、表のサイズを小さくしてもよい。

　　（画像復号装置の構成）
　次に、本実施形態に係る画像復号装置３１の構成について説明する。図５は、本実施形態に係る画像復号装置３１の構成を示す概略図である。画像復号装置３１は、エントロピー復号部３０１、予測パラメータ復号部（予測画像復号装置）３０２、ループフィルタ３０５、参照ピクチャメモリ３０６、予測パラメータメモリ３０７、予測画像生成部（予測画像生成装置）３０８、逆量子化・逆DCT部３１１、及び加算部３１２を含んで構成される。

　また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０を含んで構成される。

　エントロピー復号部３０１は、外部から入力された符号化ストリームTeに対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。分離された符号には、予測画像を生成するための予測情報及び、差分画像を生成するための残差情報などがある。

　エントロピー復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、予測モードpredMode、PU分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXである。どの符号を復号するかの制御は、予測パラメータ復号部３０２の指示に基づいて行われる。エントロピー復号部３０１は、量子化係数を逆量子化・逆DCT部３１１に出力する。この量子化係数は、符号化処理において、残差信号に対してDCT（Discrete Cosine Transform、離散コサイン変換）を行い量子化して得られる係数である。

　インター予測パラメータ復号部３０３は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してインター予測パラメータを復号する。

　インター予測パラメータ復号部３０３は、復号したインター予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。インター予測パラメータ復号部３０３の詳細については後述する。

　　（インター予測パラメータ復号部の構成）
　次に、インター予測パラメータ復号部３０３の構成について説明する。

　図１６は、本実施形態に係るインター予測パラメータ復号部３０３の構成を示す概略図である。インター予測パラメータ復号部３０３は、インター予測パラメータ復号制御部３０３１、AMVP予測パラメータ導出部３０３２、加算部３０３５、マージ予測パラメータ導出部（マージ処理部）３０３６を含んで構成される。

　インター予測パラメータ復号制御部３０３１は、インター予測に関連する符号（シンタックス要素）の復号をエントロピー復号部３０１に指示する。そして符号化データに含まれる符号（シンタックス要素）、例えば、PU分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを抽出する。

　インター予測パラメータ復号制御部３０３１は、まず、マージフラグmerge_flagを抽出する。インター予測パラメータ復号制御部３０３１が、あるシンタックス要素を抽出すると表現する場合は、あるシンタックス要素の復号をエントロピー復号部３０１に指示し、該当のシンタックス要素を符号化データから読み出すことを意味する。

　マージフラグmerge_flagが０、すなわち、AMVPモードを示す場合、インター予測パラメータ復号制御部３０３１は、エントロピー復号部３０１を用いて符号化データからAMVP予測パラメータを抽出する。AMVP予測パラメータとして、例えば、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。AMVP予測パラメータ導出部３０３２は予測ベクトルインデックスmvp_LX_idxから予測ベクトルmvpLXを導出する。インター予測パラメータ復号制御部３０３１は、差分ベクトルmvdLXを加算部３０３５出力する。加算部３０３５では、予測ベクトルmvpLXと差分ベクトルmvdLXを加算し、動きベクトルを導出する。

　マージフラグmerge_flagが１、すなわち、マージモードを示す場合、インター予測パラメータ復号制御部３０３１は、マージ予測に係る予測パラメータとして、マージインデックスmerge_idxを抽出する。インター予測パラメータ復号制御部３０３１は、抽出したマージインデックスmerge_idxをマージ予測パラメータ導出部３０３６（詳細は後述する）に出力する。

　図１７は、本実施形態に係るマージ予測パラメータ導出部３０３６の構成を示す概略図である。マージ予測パラメータ導出部３０３６は、マージ候補導出部３０３６１とマージ候補選択部３０３６２を備える。

　マージ候補導出部３０３６１は、予測パラメータメモリ３０７からマージ候補リストmergeCandList[]を作成するために必要な隣接PUの予測パラメータ（予測利用可能フラグpredFlagLX、動きベクトルmvLX、参照ピクチャインデックスrefIdxLX等）を読み込む。次に前述の順序で予測パラメータをマージ候補リストmergeCandList[]に格納する。

　マージ候補選択部３０３６２は、マージ候補導出部３０３６１で作成したマージ候補リストmergeCandList[]から、merge_idxに対応するインデックスが割り当てられたマージ候補mergeCandList[merge_idx]を、対象PUのインター予測パラメータとして選択する。マージ候補選択部３０３６２は選択したマージ候補を予測パラメータメモリ３０７に記憶するとともに、予測画像生成部３０８に出力する。

　イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してイントラ予測パラメータを復号する。イントラ予測パラメータとは、CUを１つのピクチャ内で予測する処理で用いるパラメータ、例えば、イントラ予測モードIntraPredModeである。イントラ予測パラメータ復号部３０４は、復号したイントラ予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。

　　（イントラ予測パラメータ復号部３０４の構成）
　図１４は、図５に示す画像復号装置３１の予測パラメータ復号部３０２のイントラ予測パラメータ復号部３０４の構成を示す概略図である。図１４に示すように、イントラ予測パラメータ復号部３０４は、イントラ予測パラメータ復号制御部３０４１と、輝度イントラ予測パラメータ復号部３０４２と、色差イントラ予測パラメータ復号部３０４３とを含んで構成される。

　イントラ予測パラメータ復号制御部３０４１は、エントロピー復号部３０１に、復号指示信号を供給し、エントロピー復号部３０１から復号されたイントラ予測シンタクスの供給を受ける。また、イントラ予測パラメータ復号制御部３０４１は、輝度イントラ予測パラメータ復号部３０４２にmpm_idxYを供給する。また、イントラ予測パラメータ復号制御部３０４１は、色差イントラ予測パラメータ復号部３０４３にmpm_idxCを供給する。

　輝度イントラ予測パラメータ復号部３０４２は、作成した輝度イントラ予測候補リストとmpm_idxYから、輝度イントラ予測モードIntraPredModeYを導出し、イントラ予測画像生成部３１０に出力する。

　色差イントラ予測パラメータ復号部３０４３は、色差イントラ予測候補リストを作成するMPM候補リスト導出部30431と、色差イントラ予測モード復号部30432からなる。色差イントラ予測モード復号部30432は、色差イントラ予測候補リストとmpm_idxCを用いて色差イントラ予測モードIntraPredModeCを導出し、イントラ予測画像生成部３１０に出力する。

　ループフィルタ３０５は、加算部３１２が生成したCUの復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット（SAO）、適応ループフィルタ（ALF）等のフィルタを施す。

　参照ピクチャメモリ３０６は、加算部３１２が生成したCUの復号画像を、復号対象のピクチャ及びCU毎に予め定めた位置に記憶する。

　予測パラメータメモリ３０７は、予測パラメータを、復号対象のピクチャ及び予測ユニット（もしくはサブブロック、固定サイズブロック、ピクセル）毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ３０７は、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及びエントロピー復号部３０１が分離した予測モードpredModeを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX（インター予測識別子inter_pred_idc）、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXがある。

　予測画像生成部３０８には、エントロピー復号部３０１から入力された予測モードpredModeが入力され、また予測パラメータ復号部３０２から予測パラメータが入力される。また、予測画像生成部３０８は、参照ピクチャメモリ３０６から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードpredModeが示す予測モードで、入力された予測パラメータと読み出した参照ピクチャを用いてPUの予測画像を生成する。

　ここで、予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャを用いてインター予測によりPUの予測画像を生成する。

　インター予測画像生成部３０９は、予測リスト利用フラグpredFlagLXが１である参照ピクチャリスト（L0リスト、もしくはL1リスト）に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャから、復号対象PUを基準として動きベクトルmvLXが示す位置にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックをもとに予測を行ってPUの予測画像を生成する。インター予測画像生成部３０９は、生成したPUの予測画像を加算部３１２に出力する。

　予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に復号されたPUのうち、復号対象PUから予め定めた範囲にある隣接PUを参照ピクチャメモリ３０６から読み出す。予め定めた範囲とは、復号対象PUがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接PUのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。

　イントラ予測画像生成部３１０は、読み出した隣接PUについてイントラ予測モードIntraPredModeが示す予測モードで予測を行ってPUの予測画像を生成する。イントラ予測画像生成部３１０は、生成したPUの予測画像を加算部３１２に出力する。

　イントラ予測パラメータ復号部３０４において、輝度と色差で異なるイントラ予測モードを導出する場合、イントラ予測画像生成部３１０は、輝度予測モードIntraPredModeYに応じて、プレーナ予測（０）、DC予測（１）、方向予測（２～６６）の何れかによって輝度のPUの予測画像を生成し、色差予測モードIntraPredModeCに応じて、プレーナ予測（０）、DC予測（１）、方向予測（２～６６）、LMモード（６７）の何れかによって色差のPUの予測画像を生成する。

　逆量子化・逆DCT部３１１は、エントロピー復号部３０１から入力された量子化係数を逆量子化してDCT係数を求める。逆量子化・逆DCT部３１１は、求めたDCT係数について逆DCT（Inverse Discrete Cosine Transform、逆離散コサイン変換）を行い、残差信号を算出する。逆量子化・逆DCT部３１１は、算出した残差信号を加算部３１２に出力する。

　加算部３１２は、インター予測画像生成部３０９またはイントラ予測画像生成部３１０から入力されたPUの予測画像と逆量子化・逆DCT部３１１から入力された残差信号を画素毎に加算して、PUの復号画像を生成する。加算部３１２は、生成したPUの復号画像を参照ピクチャメモリ３０６に記憶し、生成したPUの復号画像をピクチャ毎に統合した復号画像Tdを外部に出力する。

　　（画像符号化装置の構成）
　次に、本実施形態に係る画像符号化装置１１の構成について説明する。図６は、本実施形態に係る画像符号化装置１１の構成を示すブロック図である。画像符号化装置１１は、予測画像生成部１０１、減算部１０２、DCT・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆DCT部１０５、加算部１０６、ループフィルタ１０７、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）１０８、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）１０９、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。

　予測画像生成部１０１は画像Ｔの各ピクチャについて、そのピクチャを分割した領域である符号化ユニットCU毎に予測ユニットPUの予測画像Ｐを生成する。ここで、予測画像生成部１０１は、予測パラメータ符号化部１１１から入力された予測パラメータに基づいて参照ピクチャメモリ１０９から復号済のブロックを読み出す。予測パラメータ符号化部１１１から入力された予測パラメータとは、例えばインター予測の場合、動きベクトルである。予測画像生成部１０１は、対象PUを起点として動きベクトルが示す参照画像上の位置にあるブロックを読み出す。またイントラ予測の場合、予測パラメータとは例えばイントラ予測モードである。イントラ予測モードで使用する隣接PUの画素値を参照ピクチャメモリ１０９から読み出し、PUの予測画像Pを生成する。予測画像生成部１０１は、読み出した参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いてPUの予測画像Ｐを生成する。予測画像生成部１０１は、生成したPUの予測画像Ｐを減算部１０２に出力する。

　なお、予測画像生成部１０１は、既に説明した予測画像生成部３０８と同じ動作であるためここでの説明を省略する。

　予測画像生成部１０１は、予測パラメータ符号化部から入力されたパラメータを用いて、参照ピクチャメモリから読み出した参照ブロックの画素値をもとにPUの予測画像Pを生成する。予測画像生成部１０１で生成した予測画像は減算部１０２、加算部１０６に出力される。

　減算部１０２は、予測画像生成部１０１から入力されたPUの予測画像Ｐの信号値を、画像Ｔの対応するPUの画素値から減算して、残差信号を生成する。減算部１０２は、生成した残差信号をDCT・量子化部１０３に出力する。

　DCT・量子化部１０３は、減算部１０２から入力された残差信号についてDCTを行い、DCT係数を算出する。DCT・量子化部１０３は、算出したDCT係数を量子化して量子化係数を求める。DCT・量子化部１０３は、求めた量子化係数をエントロピー符号化部１０４及び逆量子化・逆DCT部１０５に出力する。

　エントロピー符号化部１０４には、DCT・量子化部１０３から量子化係数が入力され、予測パラメータ符号化部１１１から符号化パラメータが入力される。入力される符号化パラメータには、例えば、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、予測モードpredMode、及びマージインデックスmerge_idx等の符号がある。

　エントロピー符号化部１０４は、入力された量子化係数と符号化パラメータをエントロピー符号化して符号化ストリームTeを生成し、生成した符号化ストリームTeを外部に出力する。

　逆量子化・逆DCT部１０５は、DCT・量子化部１０３から入力された量子化係数を逆量子化してDCT係数を求める。逆量子化・逆DCT部１０５は、求めたDCT係数について逆DCTを行い、残差信号を算出する。逆量子化・逆DCT部１０５は、算出した残差信号を加算部１０６に出力する。

　加算部１０６は、予測画像生成部１０１から入力されたPUの予測画像Ｐの信号値と逆量子化・逆DCT部１０５から入力された残差信号の信号値を画素毎に加算して、復号画像を生成する。加算部１０６は、生成した復号画像を参照ピクチャメモリ１０９に記憶する。

　ループフィルタ１０７は加算部１０６が生成した復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット（SAO）、適応ループフィルタ（ALF）を施す。

　予測パラメータメモリ１０８は、符号化パラメータ決定部１１０が生成した予測パラメータを、符号化対象のピクチャ及びCU毎に予め定めた位置に記憶する。

　参照ピクチャメモリ１０９は、ループフィルタ１０７が生成した復号画像を、符号化対象のピクチャ及びCU毎に予め定めた位置に記憶する。

　符号化パラメータ決定部１１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述した予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。予測画像生成部１０１は、これらの符号化パラメータのセットの各々を用いてPUの予測画像Ｐを生成する。

　符号化パラメータ決定部１１０は、複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームTeの情報量である。二乗誤差は、減算部１０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部１１０は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部１０４は、選択した符号化パラメータのセットを符号化ストリームTeとして外部に出力し、選択されなかった符号化パラメータのセットを出力しない。符号化パラメータ決定部１１０は決定した符号化パラメータを予測パラメータメモリ１０８に記憶する。

　予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０から入力されたパラメータから、符号化するための形式を導出し、エントロピー符号化部１０４に出力する。符号化するための形式の導出とは、例えば動きベクトルと予測ベクトルから差分ベクトルを導出することである。また予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０から入力されたパラメータから予測画像を生成するために必要なパラメータを導出し、予測画像生成部１０１に出力する。予測画像を生成するために必要なパラメータとは、例えばサブブロック単位の動きベクトルである。

　インター予測パラメータ符号化部１１２は、符号化パラメータ決定部１１０から入力された予測パラメータに基づいて、差分ベクトルのようなインター予測パラメータを導出する。インター予測パラメータ符号化部１１２は、予測画像生成部１０１に出力する予測画像の生成に必要なパラメータを導出する構成として、インター予測パラメータ復号部３０３（図５等、参照）がインター予測パラメータを導出する構成と一部同一の構成を含む。また、イントラ予測パラメータ符号化部１１３は、予測画像生成部１０１に出力する予測画像の生成に必要な予測パラメータを導出する構成として、イントラ予測パラメータ復号部３０４（図５等参照）がイントラ予測パラメータを導出する構成と、一部同一の構成を含む。

　　（インター予測パラメータ符号化部の構成）
　次に、インター予測パラメータ符号化部１１２の構成について説明する。インター予測パラメータ符号化部１１２は、図５のインター予測パラメータ復号部３０３に対応する手段であり、図１８に構成を示す。

　インター予測パラメータ符号化部１１２は、インター予測パラメータ符号化制御部１１２１、AMVP予測パラメータ導出部１１２２、減算部１１２３、及び図示しない、分割モード導出部、マージフラグ導出部、インター予測識別子導出部、参照ピクチャインデックス導出部、ベクトル差分導出部などを含んで構成される。分割モード導出部、マージフラグ導出部、インター予測識別子導出部、参照ピクチャインデックス導出部、ベクトル差分導出部は各々、PU分割モードpart_mode、マージフラグmerge_flag、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、差分ベクトルmvdLXを導出する。インター予測パラメータ符号化部１１２は、動きベクトル（mvLX、subMvLX）と参照ピクチャインデックスrefIdxLX、PU分割モードpart_mode、インター予測識別子inter_pred_idc、あるいはこれらを示す情報を予測画像生成部１０１に出力する。またインター予測パラメータ符号化部１１２は、PU分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、サブブロック予測モードフラグsubPbMotionFlagをエントロピー符号化部１０４に出力する。

　インター予測パラメータ符号化制御部１１２１は、マージインデックス導出部１１２１１とベクトル候補インデックス導出部１１２１２を含む。マージインデックス導出部１１２１１は、符号化パラメータ決定部１１０から入力された動きベクトルと参照ピクチャインデックスを、予測パラメータメモリ１０８から読み出したマージ候補から作成したマージ候補リストmergeCandList[]の動きベクトルと参照ピクチャインデックスと比較して、マージインデックスmerge_idxを導出し、エントロピー符号化部１０４に出力する。ベクトル候補インデックス導出部１１２１２は予測ベクトルインデックスmvp_LX_idxを導出する。

　イントラ予測パラメータ符号化部１１３は、符号化パラメータ決定部１１０から入力されたイントラ予測モードIntraPredModeから、符号化するための形式（例えばMPM_idx、rem_intra_luma_pred_mode等）を導出する。

　　（イントラ予測パラメータ符号化部１１３の構成）
　図１５は、図６に示す画像符号化装置１１の予測パラメータ符号化部１１１のイントラ予測パラメータ符号化部１１３の構成を示す概略図である。図１５に示すように、イントラ予測パラメータ符号化部１１３は、イントラ予測パラメータ符号化制御部１１３１と、輝度イントラ予測パラメータ導出部１１３２と、色差イントラ予測パラメータ導出部１１３３とを含んで構成される。

　イントラ予測パラメータ符号化制御部１１３１は、符号化パラメータ決定部１１０から、輝度イントラ予測モードIntraPredModeYおよび色差イントラ予測モードIntraPredModeCの供給を受ける。また、イントラ予測パラメータ符号化制御部１１３１は、予測画像生成部１０１にIntraPredModeY/Cを供給する（制御する）。また、イントラ予測パラメータ符号化制御部１１３１は、輝度イントラ予測パラメータ導出部１１３２に、輝度イントラ予測モードIntraPredModeYを供給する。また、イントラ予測パラメータ符号化制御部１１３１は、色差イントラ予測パラメータ導出部１１３３に、輝度イントラ予測モードIntraPredModeYおよび色差イントラ予測モードIntraPredModeCを供給する。

　輝度イントラ予測パラメータ導出部１１３２は、作成したイントラ予測候補リストと輝度イントラ予測モードIntraPredModeYから、エントロピー符号化の対象であるmpm_idxYを導出し、エントロピー符号化部１０４に出力する。色差イントラ予測パラメータ導出部１１３３は、イントラ予測候補リストを作成するMPM候補リスト導出部11331とMPMパラメータ導出部11332からなる。MPMパラメータ導出部11332は、作成したイントラ予測候補リストと色差イントラ予測モードIntraPredModeCから、エントロピー符号化の対象であるmpm_idxCを導出し、エントロピー符号化部１０４に出力する。

　　（符号化ツリー）
　図１３に、本実施形態に係る画像復号装置の構成を示すブロック図を示す。本図では、図を簡略化するために、図１３に示したブロック図に含まれる一部の部材の図示を省略し、QTBTの説明に必要な構成について説明している。また、説明の便宜上、図５に示した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

　図１３に示すように、画像復号装置３１は、復号モジュール９、CT情報復号部１０（分割情報復号部、分割部、第１の分割情報復号手段、第２の分割情報復号手段）、予測画像生成部３０８、逆量子化・逆DCT部３１１、参照ピクチャメモリ３０６、加算部３１２、ループフィルタ３０５、ヘッダ復号部１９、及びCU復号部２０を備えている。CU復号部２０は、さらにPU情報復号部１２及びTT情報復号部１３を備えており、TT情報復号部１３は、さらにTU復号部２２を備えている。

　　（復号モジュール）
　以下、各モジュールの概略動作を説明する。復号モジュール９は、符号化データからシンタックス値を復号する復号処理を行う。復号モジュール９は、より具体的には、供給元から供給される符号化データ及びシンタックス種別に基づいて、CABAC等のエントロピー符号化方式により符号化されているシンタックス値を復号し、復号したシンタックス値を供給元に返す。

　以下に示す例では、符号化データ及びシンタックス種別の供給元は、CT情報復号部１０、CU復号部２０（PU情報復号部１２及びTT情報復号部１３）である。

　　（ヘッダ復号部）
　ヘッダ復号部１９は、画像符号化装置１１から入力された符号化データのVPS（video parameter set）、SPS、PPS、スライスヘッダを復号する。

　　（CT情報復号部）
　CT情報復号部１０は、復号モジュール９を用いて、画像符号化装置１１から入力された符号化データについて、符号化ツリーユニット及び符号化ツリーの復号処理を行う。CT情報復号部１０は、具体的には、以下の手順により符号化データから、CTU情報及びCT情報を復号する。

　まず、CT情報復号部１０は、復号モジュール９を用いて、CTUに含まれるCTU情報として、ツリーユニットヘッダCTUHを復号する。次に、CT情報復号部１０は、CT情報として、対象CTをQT分割するか否かを示すQT分割フラグ、及び対象CTのBT分割の分割方法を示すBT分割モードを復号し、QT分割フラグ及びBT分割モードがさらなる分割を通知しなくなるまで対象CTを再帰的に分割し復号する。最後に、CTU情報として、さらに、ツリーユニットフッタCTUFを復号する。

　ツリーユニットヘッダCTUH及びツリーユニットフッタCTUFには、対象符号化ツリーユニットの復号方法を決定するために画像復号装置３１が参照する符号化パラメータが含まれる。また、CT情報には、QT分割フラグ及びBT分割モードの他、対象CT及び下位の符号化ノードで適用されるパラメータを含んでいてもよい。

　　（CU復号部）
　CU復号部２０は、PU情報復号部１２及びTT情報復号部１３から構成され、最下位の符号化ノードCN（すなわちCU）のPUI情報及びTTI情報を復号する。

　　（PU情報復号部）
　PU情報復号部１２では各ＰＵのＰＵ情報（マージフラグ（merge_flag）、マージインデックス（merge_idx）、予測動きベクトルインデックス（mvp_idx）、参照画像インデックス（ref_idx_lX）、インター予測識別子（inter_pred_flag）、及び差分ベクトル（mvdLX）等）を、復号モジュール９を用いて復号する。

　　（TT情報復号部）
　TT情報復号部１３は、各TTI（TU分割フラグSP_TU（split_transform_flag）、CU残差フラグCBP_TU（cbf_cb、cbf_cr、cbf_luma）等、及びＴＵ）を、復号モジュール９を用いて復号する。

　また、TT情報復号部１３は、TU復号部２２を備えている。TU復号部２２は、TUに残差が含まれている場合に、QP更新情報（量子化補正値）を復号する。なお、QP更新情報は、量子化パラメータQPの予測値である量子化パラメータ予測値qPpredからの差分値を示す値である。またTU復号部２２は、量子化予測残差（residual_coding）を復号する。

　　（CT情報復号の処理）
　CT情報復号部１０によるCT情報復号の動作について、図２０を参照して詳細に説明する。図２０は、本発明の一実施形態に係るCT情報復号部１０の動作を説明するフローチャートである。

　CT情報復号部１０によるCT情報復号Ｓ１４００では、QT情報復号と、BT情報復号とを行う。以下では、CT情報復号部１０によるQT情報復号と、BT情報復号とについて順に説明する。

　まず、CT情報復号部１０は、符号化データからCT情報を復号し、再帰的に符号化ツリーCT（coding_quadtree）を復号する。具体的には、CT情報復号部１０は、左上座標(x0, y0)、サイズCbSize、符号化ツリーの階層を示すQT深度cqtDepthの符号化ツリーであるQT情報を復号する。

　（Ｓ１４１１）CT情報復号部１０は、復号したCB情報にQT分割フラグがあるか否かを判定する。具体的には、CT情報復号部１０は、対数CBサイズlog2CbSizeが所定の最小CBサイズの対数値MinCbLog2SizeYより大きいか否かを判定する。対数CBサイズlog2CbSizeがMinCbLog2SizeYより大きい場合には、QT分割フラグがあると判定し、Ｓ１４２１に遷移する。それ以外の場合には、Ｓ１４２２に遷移する。

　（Ｓ１４２１）CT情報復号部１０は、対数CBサイズlog2CbSizeがMinCbLog2SizeYより大きいと判定された場合には、シンタックス要素であるQT分割フラグ(split_cu_flag)を復号する。

　（Ｓ１４２２）CT情報復号部１０は、それ以外の場合（対数CBサイズlog2CbSizeがMinCbLog2SizeY以下）、つまり、符号化データにQT分割フラグsplit_cu_flagが現れない場合には、符号化データからのQT分割フラグsplit_cu_flagの復号を省略し、QT分割フラグsplit_cu_flagを０として導出する。

　（Ｓ１４３１）CT情報復号部１０は、QT分割フラグsplit_cu_flagが０以外（＝１）である場合には、後述の（Ｓ１４４１）を実施し、一階層下に移行して（Ｓ１４１１）以降の処理を繰り返す。それ以外の場合（QT分割フラグsplit_cu_flagが０の場合）には、Ｓ１４５１に遷移する。

　（Ｓ１４４１）CT情報復号部１０は、QT分割を行う。具体的には、CT情報復号部１０は、CT階層cqtDepth + 1の位置(x0, y0)、(x1, y0)、(x0, y1)、(x1, y1)で、対数CBサイズlog2CbSize - 1の４つの符号化ノードCN(CU)を復号する。

　ここで、x0, y0は、対象符号化ツリーの左上座標、x1, y1は、以下の式のように、(x0,y0)に、対数CBサイズ（1 <<log2CbSize）の1/2を加えて導出される。

　x1 = x0 + ( 1<<( log2CbSize - 1 ) )
　y1 = y0 + ( 1<<( log2CbSize -1 ) )
　なお、<<は左シフトを示す。1<<Nは2のN乗と同値である（以下同様）。同様に>>は右シフトを示す。

　そして、CT情報復号部１０は、符号化ツリーの階層を示すCT階層cqtDepthに１を加算し、符号化ユニットサイズの対数値である対数CBサイズlog2CbSizeを１だけ減算（CBサイズを1/2）して更新する。

　cqtDepth = cqtDepth + １
　log2CbSize = log2CbSize - １
　CT情報復号部１０は、下位の符号化ツリーCTにおいても、更新された左上座標、対数CBサイズ、CT階層を用いて、Ｓ１４１１から開始されるQT情報復号を継続する。

　（Ｓ１４５１）CT情報復号部１０は、符号化データからCT情報を復号し、再帰的に符号化ツリーCT（coding_binarytree）を復号する。具体的には、CT情報復号部１０は、BT情報を復号し、左上座標(x0, y0)、幅CbWidth、高さCbHeight、QT深度cqtDepth、BTツリーの階層を示すBT深度cbtDepthの対象符号化ツリーである。

　CT情報復号部１０は、復号したCT情報にBT分割モード（分割情報）があるか否かを判定する。具体的には、CT情報復号部１０は、符号化ツリーの高さ（1<<log2CbHeight）がminBTSizeよりも大きい、または符号化ツリーの幅（1<<log2CbWidth）がminBTSizeよりも大きい、且つ、符号化ツリーの幅（1<<log2CbWidth）がmaxBTSize以下、且つ、符号化ツリーの高さ（1<<log2CbHeight）がmaxBTSize以下、且つ、cbtDepthがmaxBTDepthよりも小さいか否かを判定する（以下では、所定条件と称す）。ここでlog2CbHeight、log2CbWidthは各々CbHeight、CbWidthの対数値であり、minBTSizeは最小BTサイズ（二分木のリーフノードの最小サイズ）、maxBTSizeは最大BTサイズ（二分木のルートノードの最大サイズ）、maxBTDepthは最大BT深度（二分木の深度の最大値）である。

　上記の所定条件を満たす場合には、BT分割モードがあると判定し、Ｓ１４６１に遷移する。それ以外の場合には、Ｓ１４６２に遷移する。

　（Ｓ１４６１）CT情報復号部１０は、上記の所定条件を満たす場合には、シンタックス要素であるBT分割モードsplit_bt_mode[x0][y0]を復号する。

　（Ｓ１４６２）CT情報復号部１０は、それ以外の場合（上記の所定条件を満たさない場合）、つまり、符号化データにBT分割モードsplit_bt_mode[x0][y0]が現れない場合には、符号化データからのBT分割モードsplit_bt_mode[x0][y0]の復号を省略し、BT分割モードsplit_bt_mode[x0][y0]を０として導出する。

　（Ｓ１４７１）CT情報復号部１０は、BT分割モードsplit_bt_mode[x0][y0]が０以外（＝１または２）である場合には、後述の（Ｓ１４８１）を実施し、一階層下に移行して（Ｓ１４５１）以降の処理を繰り返す。それ以外の場合（BT分割モードsplit_bt_mode[x0][y0]が０の場合）には、CT情報復号部１０は、対象符号化ツリーを分割せず、処理を終了する。

　（Ｓ１４８１）CT情報復号部１０は、BT分割を行う。具体的には、CT情報復号部１０は、BT分割モードsplit_bt_mode[x0][y0]が１の場合は、CT階層cbtDepth + 1の位置(x0, y0)、(x0, y1)で、幅及び高さの対数値がそれぞれlog2CbWidth及びlog2CbHeight - 1の２つの符号化ノードCNを復号する。

　一方、BT分割モードsplit_bt_mode[x0][y0]が２の場合は、CT情報復号部１０は、CT階層cbtDepth + 1の位置(x0, y0)、(x1, y0)で、幅及び高さの対数値がそれぞれlog2CbWidth - 1及びlog2CbHeightの２つの符号化ノードCNを復号する。

　ここで、x0, y0は、対象符号化ツリーの左上座標、x1, y1は、以下の式のように、(x0,y0)に、（1 <<log2CbWidth）の1/2及び（1 <<log2CbHeight）の1/2をそれぞれ加えて導出される。

　x1 = x0 + ( 1<<( log2CbWidth - 1 ) )
　y1 = y0 + ( 1<<( log2CbHeight -1 ) )
　なお、<<は左シフトを示す。1<<Nは2のN乗と同値である（以下同様）。同様に>>は右シフトを示す。

　そして、CT情報復号部１０は、符号化ツリーの階層を示すCT階層cbtDepthに１を加算し、log2CbWidthまたはlog2CbHeightを１だけ減算して更新する。

　cbtDepth = cbtDepth + １
　log2CbWidth = log2CbWidth - １
　log2CbHeight = log2CbHeight - １
　CT情報復号部１０は、下位の符号化ツリーCTにおいても、更新された左上座標、CTの幅及び高さの対数値、BT階層を用いて、Ｓ１４５１から開始されるBT情報復号を継続する。

　なお、以上で説明したCT情報復号は、QTツリーとBTツリーとが別レイヤである場合を想定した復号方法である。この方法では、BT分割後にはQT分割を行うことができないが、BT分割後にはQT分割フラグの有無の判定が不要となる。しかし、本実施形態はこれに限定されず、QTツリーとBTツリーとが同一レイヤである場合を想定した復号方法を採用してもよい。この場合は、QT分割及びBT分割のいずれも選択できる、すなわちBT分割後にもQT分割を行うことができるが、毎度QT分割フラグの有無の判定が必要となる。

　図１９(a)に示すように、SPSでは、CT情報復号を行うために画像復号装置３１が参照する符号化パラメータの集合が規定されている。ここで、本図から分かるように、最小QTサイズ（log2_minQT_...）、最大BTサイズ（log2_max_bt_size_...）、及び最大BT深度（max_bt_depth_...）は、Iスライスの輝度用（Luma）、Iスライスの色差用（Chroma）、P、Bスライス用それぞれについて定義されている。

　　（第１の構成）
　本発明の第１の形態は、Iスライスでは輝度および色差各々の符号化ツリーを持ち、P、Bスライスは輝度および色差に共通の符号化ツリーを持つ。さらに、P、Bスライスは同一のCUにおいて異なる予測モードをとり得る。つまり、Iスライスでは輝度および色差で各々の符号化ツリーシンタックス（例えば、QT分割フラグcu_split_flagとBT分割モードsplit_bt_mode）を復号し、P、Bスライスは輝度および色差では一つの符号化ツリーシンタックスを復号する。さらに、P、Bスライスにおいても、輝度および色差で各々の予測モード（cuPredModeYおよびcuPredModeC）を復号する。上記形態の画像復号装置３１のイントラ、インター予測処理のフローチャートを図２１に示す。S2101では、CT情報復号部10は、輝度・色差を示すisLumaを１にセットし、輝度の処理を開始する。S2102では、CT情報復号部10は、エントロピー復号部３０１（図１３では復号モジュール９）を使って、リーフノードにあたるCUまで符号化ツリーの分割情報を復号する。次にCTUの各CUに対し、S2103～S2106の処理を実行する。S2103では、予測パラメータ復号部３０２は、対象CUがイントラ(MODE_INTRA)であるか、インター(MODE_INTER)であるかを示すcuPredModeYを、エントロピー復号部３０１を使って復号する。S2104では、予測パラメータ復号部３０２は、cuPredModeYがMODE_INTRAであればイントラ予測パラメータ復号部３０４に通知し、cuPredModeYがMODE_INTRAでなければインタ―予測パラメータ復号部３０３に通知する。S2105では、イントラ予測パラメータ復号部３０４はイントラ予測処理を行う。具体的な処理は図２２のフローチャートで示す。

　図２２のS2201では、イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１を使ってイントラ予測パラメータ（mpm_idxY等）を復号する。また復号したイントラ予測パラメータからイントラ予測モードIntraPredModeYを導出し、イントラ予測画像生成部３１０に出力する。S2201の詳細な説明は後述する。S2202では、イントラ予測画像生成部３１０はイントラ予測モードIntraPredModeYを用いてイントラ予測画像を生成する。

　図２１に戻り、S2106では、インター予測パラメータ復号部３０３はインター予測処理を行う。具体的な処理は図２４のフローチャートで示す。

　図２４のS2401では、インター予測パラメータ復号部３０３は、エントロピー復号部３０１を使って、インター予測パラメータ（merge_idx、ref_idx_lX、mvp_lX_flag、mvdLX等）を復号する。また、復号したインター予測パラメータから動きベクトルmvLXや参照ピクチャインデックスrefIdxLX等を導出し、インター予測画像生成部３０９に出力する。S2401の詳細は後述する。S2402では、インター予測画像生成部３０９は、動きベクトルmvLX、参照ピクチャインデックスrefIdxLX等を用いてインター予測画像を生成する。

　図２１に戻り、輝度の全CUに対しS2103～S2106の処理が終了すると、CT情報復号部10は、S2107でisLumaを０にセットし、色差の処理を開始する。S2108では、CT情報復号部10はスライスタイプがIスライスか否かを判定する。Iスライスであれば、色差では輝度とは異なる符号化ツリーを持つのでS2109に進み、エントロピー復号部３０１を使って、リーフノードに当たるCUまで符号化ツリーの分割情報（CT情報）を復号する。Iスライスでなければ（P、Bスライスであれば）、色差は輝度の符号化ツリーを用いるので新たにCT情報を復号する必要はなく、S2110に進む。次にCTUの全CUに対し、S2110～S2113の処理を行う。S2110では、予測パラメータ復号部３０２はエントロピー復号部３０１を使ってcuPredModeCを復号する。S2111では、予測パラメータ復号部３０２は、cuPredModeCがMODE_INTRAであればイントラ予測パラメータ復号部３０４に通知し、cuPredModeCがMODE_INTERであればインタ―予測パラメータ復号部３０３に通知する。S2112とS2113の処理は各々S2105とS2106と同じであるため、説明を省略する。全CUに対しS2110～S2113の処理が終了すると、フローチャートの処理を終了する。

　次に図２２のS2201の処理の詳細を、図２３を用いて説明する。図２３はイントラ予測パラメータの復号および導出を説明するフローチャートである。

　S2301では、イントラ予測パラメータ復号制御部３０４１はisLumaをチェックして対象CUが輝度か色差かを判断する。対象CUが輝度(isLuma=1）の場合、イントラ予測パラメータ復号制御部３０４１は輝度イントラ予測パラメータ復号部３０４２（第１の予測情報復号手段）に通知し、輝度イントラ予測パラメータを導出する。対象CUが色差(isLuma=0）の場合、イントラ予測パラメータ復号制御部３０４１は色差イントラ予測パラメータ復号部３０４３（第２の予測情報復号手段）に通知し、色差イントラ予測パラメータを導出する。S2302～S2304は輝度イントラ予測パラメータの導出に関する処理であり、S2305～S2307は色差イントラ予測パラメータの導出に関する処理である。S2302では、輝度イントラ予測パラメータ復号部３０４２はエントロピー復号部３０１を使って、イントラ予測パラメータ（prev_intra_luma_pred_flag、mpm_idxY等）を復号する。S2303では、輝度イントラ予測パラメータ復号部３０４２は輝度のイントラ予測候補リストCandModeListY[]を作成する。S2304では、輝度イントラ予測パラメータ復号部３０４２は、mpm_idxYとCandModeListY[]を用いて輝度イントラ予測モードIntraPredModeYを導出する。

　　IntraPredModeY= CandModeListY[mpm_idxY]
　S2305では、色差イントラ予測パラメータ復号部３０４３（第２の予測情報復号手段）はエントロピー復号部３０１を使って、イントラ予測パラメータ（mpm_idxC）を復号する。S2306では、色差イントラ予測パラメータ復号部３０４３は色差のイントラ予測候補リストCandModeListC[]を作成する。S2307では、色差イントラ予測パラメータ復号部３０４３は、mpm_idxCとCandModeListC[]を用いて色差イントラ予測モードIntraPredModeCを導出する。

　　IntraPredModeC= CandModeListC[mpm_idxC]
　イントラ予測パラメータ復号制御部３０４１は、IntraPredModeCYとIntraPredModeCをイントラ予測画像生成部３１０に出力する。

　次に図２４のS2401の処理を、図２５を用いて説明する。図２５はインター予測パラメータの復号および導出を説明するフローチャートである。

　S2501では、インター予測パラメータ復号制御部３０３１（第１の予測情報復号手段、第３の予測情報復号手段）はエントロピー復号部３０１を用いて、CUをスキップするか否かを示すフラグcu_skip_flagを復号する。なお、スキップとは、対象CUの残差（変換係数）を符号化しないモードであり、残差画像の各要素（画素）として0が設定される。予測画像と残差画像の和として復号画像が生成される場合において、予測画像をそのまま復号画像とする。S2502では、インター予測パラメータ復号制御部３０３１は対象CUがスキップであればS2503に進み、エントロピー復号部３０１を用いてmerge_idxを復号し、マージ予測パラメータ導出部３０３６（第１の予測情報復号手段、第３の予測情報復号手段）に通知する。S2507では、マージ予測パラメータ導出部３０３６（マージ候補導出部３０３６１）はマージ候補リストmergeCandList[]を作成する。S2508では、マージ予測パラメータ導出部３０３６（マージ候補選択部３０３６２）はmergeCandList[]とmerge_idxを用いて予測画像作成に用いる動きベクトルmvLXと参照ピクチャインデックスrefIdxLXを導出する。

　　N=mergeCandList[merge_idx]
　　mvLX=mvLXN
　　refIdxLX=refIdxLXN
　ここで、Ｎは、マージ候補のラベル（識別用名称）、mvLXN、refIdxLXNはマージ候補Nの動きベクトルと参照ピクチャインデックスである。

　S2502に戻り、インター予測パラメータ復号制御部３０３１は対象CUがスキップでない場合、S2504に進み、エントロピー復号部３０１を用いて、マージモードか否かを示すmerge_flagを復号する。S2505では、インター予測パラメータ復号制御部３０３１は、merge_flagを用いて、対象CUがマージモードか否かを判定する。マージモード(merge_flag=1)の場合、インター予測パラメータ復号制御部３０３１はS2503に進む。それ以降の処理は前述と同じであるため、説明を省略する。

　S2505では、インター予測パラメータ復号制御部３０３１はマージモードでない(merge_flag=0)の場合、S2509に進み、エントロピー復号部３０１を用いて、インター予測パラメータ（mvdLX、ref_idx_lX、mvp_lX_flag等）を復号し、AMVP予測パラメータ導出部３０３２に通知する。AMVP予測パラメータ導出部３０３２は、予測パラメータメモリ３０７から参照CUの予測パラメータを読み出し、予測ベクトルリストmvpListLX[]を作成する（S2510）。S2511では、加算部３０３５はAMVP予測パラメータ導出部３０３２で導出した予測ベクトルmvpListLX[mvp_lX_flag]と差分ベクトルmvdLXを加算し、動きベクトルmvLXを導出する。また、参照ピクチャインデックスref_idx_LXからrefIdxLXを導出する。インター予測パラメータ復号制御部３０３１は動きベクトルmvLX、参照ピクチャインデックスrefIdxLX等をインター予測画像生成部３０９に出力する。

　　（第２の構成）
　第２の構成は、I、P、Bスライスで輝度および色差各々異なる符号化ツリーを持つ技術である。第２の構成では、シーケンスパラメータセットSPSとして、図１９(b)を用いてもよい。すなわち、P、Bスライスも輝度および色差において、各々異なる符号化ツリーを有するために、各々独立した最大デプス情報max_bt_depth_pb_slice_luma_minus2[i]、max_bt_depth_pb_slice_chroma_minus2[i]、最小QTサイズlog2_minQT_PBSliceLuma_minus2、log2_minQT_PBSliceChroma_minus2、あるいは最大BTサイズlog2_max_bt_size_pb_slice_luma_minus2、log2_max_bt_size_pb_slice_chroma_minus2を符号化する構成としてもよい。

　第２の構成でも、第１の構成と同様、輝度および色差で各々の予測モード（cuPredModeYおよびcuPredModeC）を復号する。

　色差の予測モードcuPredModeCがイントラ予測を示す場合には、画像復号装置３１の動作は、第１の構成と動作が同じであるため説明を省略する。以下、cuPredModeCがインター予測を示す場合の、色差におけるインター予測処理について説明する。

　第２の構成の色差のインター予測では差分ベクトルを復号するAMVPモードは使用せず、スキップモードを含むマージモードのみを使用してもよい。色差のインター予測では、隣接色差ブロックに加え、コロケート輝度CUの情報を参照することができるため、既復号CUからのパラメータの推定を用いるマージモードでも、十分に符号化効率を維持することができる。

　インター予測パラメータ復号制御部３０３１は、予測モードとしてインター予測の場合に、スキップフラグcu_skip_flagとマージインデックスmerge_idxを復号する。すなわち、インター予測パラメータ復号制御部３０３１は、輝度においては、マージモードであるか否かを示すフラグmerge_flagを復号し、merge_flagに応じてマージモードとAMVPモードの処理を切り替えるが、色差においては、merge_flagを復号せず、マージモードの処理のみを行う。

　第２の構成のおけるイントラ、インター予測処理を含めた画像復号装置３１のフローチャートを図２６に示す。図２６において、図２１と同じ処理には同じステップ番号を付けており、説明を省略する。また、図２６の色差の処理において、I、P、Bスライスともに符号化ツリーの分割情報を含むCT情報を復号するため、図２１のS2108は不要である。

　図２６のS2609では、CT情報復号部10はI、P、Bスライスともに、エントロピー復号部３０１を使って、リーフノードにあたるCUまでCT情報を復号する。CTUの全CUに対し、S2110～S2112、S2613の処理を実行する。ここでインター処理S2613は、図２１と異なる処理であり、図２７のフローチャートを用いて説明する。

　図２７において、S2701では、インター予測パラメータ復号部３０３は、エントロピー復号部３０１を使って、インター予測パラメータとして、色差のスキップフラグcu_skip_flagとマージインデックスmerge_idxを復号する。また、復号したインター予測パラメータmerge_idxと、生成したマージ候補リストから動きベクトルmvLXや参照ピクチャインデックスrefIdxLX等を導出し、インター予測画像生成部３０９に出力する。S2701の詳細を図２８のフローチャートで説明し、S2402は図２４と同じため、説明を省略する。

　既に述べたように、色差のインター予測処理では（スキップモードを含む）マージモードのみを使用する。図２８では、インター予測パラメータ復号制御部３０３１はエントロピー復号部３０１を用いて、S2501でcu_skip_flagを復号し、S2503でmerge_idxを復号し、マージ予測パラメータ導出部３０３６に通知する。S2507では、マージ予測パラメータ導出部３０３６はマージ候補リストmergeCandList[]を作成する。S2508では、マージ予測パラメータ導出部３０３６はmergeCandList[]とmerge_idxを用いて予測画像作成に用いる動きベクトルmvLXと参照ピクチャインデックスrefIdxLXを、以下の方法で導出する。

　インター予測パラメータ復号部３０３は、mergeCandList[]の中で、色差のmerge_idxで示されるインデックスに対応するリストの要素から、対象色差CUの予測パラメータを推定する。

　N=mergeCandList[merge_idx]
　mvLX = mvLXN
　refIdxLX = refIdxLXN
　　（マージ候補リストの例１）
　マージ予測パラメータ導出部３０３６は、色差のマージモードでは、隣接色差ブロックに加え、コロケート輝度CUをマージ候補として用いて、マージ候補リストmergeCandList[]を導出する。例えば、マージ候補の導出において参照するブロックとして色差のイントラ予測において既に説明した図１１に示すブロック（隣接色差ブロックに加え、コロケート輝度CU）を用いる。

　mergeCandList[] = {cCR, cAL, …, CCLM, …, A, AL}
　例えば、図１１(a)のマージ候補となるCUの持つ予測パラメータが下記である場合について説明する。予測パラメータは｛予測モード、mvL0、mvL0、refIdxL0、refIdxL0｝の順に並ぶ。

　　cCR　｛イントラ｝
　　cAL　｛スキップ, (0,0), (1,0), 0, 1｝
　　cAR　｛マージ, (3,5), (1,1), 0, 1｝
　　cBL　｛AMVP, (-3,4), (1.5,0), 2, 1｝
　　cBR　｛イントラ｝
　　L　｛マージ, (-2,2.5), (0,1.5), 2, 1｝
　　A　｛スキップ, (2.5,6), (0.5,0.5), 0, 1｝
　　BL　｛マージ, (-4,3), (1,-0.5), 1, 1｝
　　AR　｛マージ, (3,5), (1,1), 0, 1｝
　　AL　｛スキップ, (-1,0), (-1.5,0), 1, 0｝
　マージ予測パラメータ導出部３０３６は、以下のマージ候補リストmergeCandList[]を導出する。

　　mergeCandList[0] = { NA, NA, NA, NA｝　　　　  // cCR
　　mergeCandList[1] =｛ (0,0), (1,0), 0, 1｝　 　 // cAL
　　mergeCandList[2] =｛ (3,5), (1,1), 0, 1｝　 　 // cAR
　　mergeCandList[3] =｛ (-3,4), (1.5,0), 2, 1｝ 　// cBL
　　mergeCandList[4] = { NA, NA, NA, NA｝　　　　  // cBR
　　mergeCandList[5] =｛ (-2,2.5), (0,1.5), 2, 1｝ // L
　　mergeCandList[6] =｛ (2.5,6), (0.5,0.5), 0, 1｝// A
　　mergeCandList[7] =｛ (-4,3), (1,-0.5), 1, 1｝　// BL
　　mergeCandList[8] =｛ (3,5), (1,1), 0, -1｝　　 // AR
　　mergeCandList[9] =｛ (-1,0), (-1.5,0), 1, 0｝　// AL
　なお、参照CUにイントラが含まれる場合、あるいは参照CU位置が画像外、スライス外の場合は、マージ候補のサブ予測モードpmNに”non available”を格納する。マージ候補のサブ予測モードpmNがnon availableの場合や、マージ候補リストmergeCandListCに格納される２つ以上のマージ候補が冗長である場合には、リストへの格納時、リスト生成途中、又は、リストの生成後に、冗長なマージ候補をリストから削除してインデックスが小さい方に詰めてもよい。例えば、マージ候補が冗長である場合とは、同じ予測モードとイントラ予測モード、もしくは、同じ予測モードと動きベクトル、参照ピクチャインデックスをもつ場合である。

　　（マージ候補リストの例２）
　また、マージ候補の予測パラメータとして、サブ予測モードpmNに参照ブロックがスキップであるか否かを示すフラグであるスキップフラグを含めてもよい。図１２(ｄ)にマージ候補リストmergeCandList[]の一例を示す。インデックス｛0, 1, …, 9｝は各々参照CU｛cCR, cAL, …, AL｝に対応する。この場合、予測パラメータは｛pmN、mvL0、mvL0、refIdxL0、refIdxL0｝の順に並ぶ。なお、コロケート輝度CUがスキップの場合、pmNをスキップ（例えば１）に設定する。逆に、コロケート輝度CUがAMVPモードの場合、pmNはスキップ以外（例えば０）に設定する。同様に、隣接ブロックが、スキップの場合、pmNをスキップ（例えば１）に設定し、それ以外の場合、スキップ（例えば０）に設定する。なお、図１２(ｄ)には予測モードと参照CU位置を記載しているが、これらの情報はリストに含めなくてもよい。
　また、スキップをスキップ、スキップ以外をマージと記載してもよい。

　　mergeCandList[0] =｛non available｝　　　　　　　　　　　　　　　　  // cCR
　　mergeCandList[1] =｛スキップ, (0,0), (1,0), 0, 1｝　　　　　　　　　 // cAL
　　mergeCandList[2] =｛スキップ以外（マージ）, (3,5), (1,1), 0, 1｝　　 // cAR
　　mergeCandList[3] =｛スキップ以外（マージ）, (-3,4), (1.5,0), 2, 1｝　// cBL
　　mergeCandList[4] =｛non available｝　　　　　　　　　　　　　　　　　// cBR
　　mergeCandList[5] =｛スキップ以外（マージ）, (-2,2.5), (0,1.5), 2, 1｝// L
　　mergeCandList[6] =｛スキップ, (2.5,6), (0.5,0.5), 0, 1｝　　　　　　 // A
　　mergeCandList[7] =｛スキップ以外（マージ）, (-4,3), (1,-0.5), 1, 1｝ // BL
　　mergeCandList[8] =｛スキップ以外（マージ）, (3,5), (1,1), 0, 1｝　　 // AR
　　mergeCandList[9] =｛スキップ, (-1,0), (-1.5,0), 1, 0｝　　　　　　　 // AL
　この場合のマージ候補リストを図１２(e)に示す。なお、図１２(e)には予測モードと参照CU位置を記載しているが、これらの情報はリストに含めなくてもよい。

　つまり、対象色差ブロックのインター予測情報としてマージモードとスキップモードのみを導出することを特徴としてもよい。

　また、予測候補リストから上記インデックスを用いて対象色差ブロックの予測モードを導出し、前記予測モードは少なくともイントラ予測とインター予測を含むことを特徴としてもよい。

　（構成のまとめ）
　画像を、分割ツリーを用いて分割した符号化単位（ブロック）毎に復号する画像復号装置であって、輝度成分の分割情報を復号する第１の分割情報復号手段と、色差成分の分割情報を復号する第２の分割情報復号手段と、輝度成分のイントラ予測情報およびインター予測情報を復号する第１の予測情報復号手段と、色差成分のイントラ予測情報を復号する第２の予測情報復号手段と、色差成分のインター予測情報を復号する第３の予測情報復号手段とを備え、第１の分割情報復号手段と第２の分割情報復号手段とは異なる分割情報を復号し、第２の予測情報復号手段は、対象色差ブロックの隣接ブロックおよび対象色差ブロックに対応する位置の輝度ブロック（参照ブロック）のイントラ予測情報を用いて、対象色差ブロックのイントラ予測情報を復号し、第３の予測情報復号手段は、対象色差ブロックの参照ブロックのインタ―予測情報を用いて、対象色差ブロックのインタ―予測情報を導出することを特徴としてもよい。

　上述のように、I、P、Bスライスで輝度および色差各々異なる符号化ツリーを持つ場合のイントラ、インター予測処理では、輝度と色差で異なる符号化ツリー分割を行うことにより、画素値の変化の大きい輝度は変換サイズを小さく、画素値の変化の小さい色差は変換サイズを大きく設定することができ、符号化効率を向上させることができる。また符号化ツリーをインター予測でも独立にすることで、色差において、色差の隣接ブロックだけでなく輝度の予測パラメータ情報を参照することができる。このことを利用して、輝度（第１の色コンポーネント）では、マージモードか否かを示すmerge_flagを復号し、色差（第２の色コンポーネント）では、マージモードか否かを示すmerge_flagを復号しない（AMVP予測を使用しない）構成とする。この構成では、符号化・復号する予測パラメータを削減できるため、色差の符号量および処理量を削減できる。

　　（変形例１）
　上記のインター予測において、対象色差CUがコロケート輝度CUを参照する場合、色差フォーマットに応じた動きベクトルのスケーリングが必要である。具体的には、マージ予測パラメータ導出部３０３６は、マージ候補がコロケート輝度CUを参照しない場合、参照動きベクトルの(x, y)成分を(mvRLX[0], mvRLX[1])とすると、色差のマージ候補の動きベクトル(mvLX[0], mvLX[1])は、以下から導出する。

　mvLX[0] = mvRLX[0], mvLX[0] = mvRLX[0]
　逆に、マージ候補がコロケート輝度CUを参照する場合、輝度動きベクトルの(x, y)成分を(mvYLX[0], mvYLX[1])とすると、色差のマージ候補の動きベクトル(mvLX[0], mvLX[1])を、色差フォーマットに応じて以下から導出する。

　4:2:0の場合、mvLX[0]=mvYLX[0]>>1, mvLX[1]=mvYLX[1]>>1
　4:2:2の場合、mvLX[0]=mvYLX[0]>>1, mvLX[1]=mvYLX[1]
　4:4:4の場合、mvLX[0]=mvYLX[0], mvLX[1]=mvYLX[1]
　対象色差CUがコロケート輝度CUを参照する場合、輝度の動きベクトルに上記のスケーリングを施して対象色差CUの動きベクトルを導出する。

　つまり、参照ブロックが輝度ブロックである場合には、色差フォーマットに基づいて動きベクトルをスケールし、参照ブロックが色差ブロックである場合には、色差フォーマットに基づいて動きベクトルをスケールしないことを特徴とする。

　なお、予測モードとしてIBC(Intra Block Copy)を用いる場合、イントラ予測でも、動きベクトルを使用する。この場合もマージ候補がコロケート輝度CUを参照する場合、上記のように、色差フォーマットに応じて輝度動きベクトルをスケーリングして、色差のマージ候補の動きベクトル(mvLX[0], mvLX[1])を導出することができる。

　　（変形例２）
　上記の実施形態１の構成では、P, Bスライスにおいても、輝度と色差で異なる符号化ツリーを使用するため、輝度、色差で各々スキップフラグcu_skip_flagを符号化・復号する。実施形態１では、スキップフラグcu_skip_flagを符号化・復号した後にmerge_idxを符号化・復号する。以下、実施形態１の実施例２として、スキップフラグcu_skip_flagを、cu_pred_cand_idxCの示す予測候補のパラメータから推定する構成を説明する。この構成では、スキップフラグcu_skip_flagを常に符号化する場合に比べ、符号量を削減することができる。

　変形例２の画像復号装置３１、画像符号化装置１１は、色差の予測モードcuPredModeCがインター予測(MODE_INTER)の場合に、スキップフラグcu_skip_flagより前にmerge_idxを符号化・復号する。図１２(b)、(e)に示すマージ候補リストmergeCand List[]には対象色差CUのコロケート輝度CUのスキップフラグを格納する。

　図２７のインター予測パラメータ復号・導出S2701において、図２８を本変形例に合わせて変更したフローチャートを図３０に示す。S2503では、インター予測パラメータ復号制御部３０３１はエントロピー復号部３０１を用いてmerge_idxを復号し、マージ予測パラメータ導出部３０３６に通知する。S2507では、マージ予測パラメータ導出部３０３６はマージ候補リストmergeCandList[]を作成する。S2508では、マージ予測パラメータ導出部３０３６はmergeCandLilst[]とmerge_idxを用いてサブ予測モードpmN、予測画像作成に用いる動きベクトルmvLXと参照ピクチャインデックスrefIdxLXを導出する。

　変形例２では、（マージ候補リストの例２）で示したように、マージ候補のサブ予測モードpmNをマージ候補リストに含める。

　merge_idxで選択されたマージ候補のサブ予測モードpmNがスキップであることを示す場合には、色差の対象ブロックを、残差画像を符号化・復号しないモードであるスキップとして処理する。

　つまり、インデックスにより選択された予測情報候補の導出に用いた参照ブロックがスキップである場合には、対象色差ブロックの予測情報をスキップとすることを特徴としてもよい。

　また、予測情報候補はスキップであるか否かを示す情報を含み、インデックスにより選択された予測情報候補がスキップである場合には、対象色差ブロックの予測情報をスキップとしてもよい。また、予測情報候補の導出に用いた参照ブロックがスキップである場合には、予測情報候補の情報をスキップとすることを特徴としてもよい。

　上記構成では、符号化装置側で、コロケート輝度CUと同じスキップモードとなるインデックスの中から、対象色差CUに適した予測パラメータ（動きベクトル、参照ピクチャインデックス）をもつ候補をmerge_idxで指定すればよい。例えば、（マージ候補リストの例２）に示すマージ候補の場合、コロケート輝度CUがスキップであれば、対象色差CUのmerge_idxをマージ候補cAL、A、ALの中から選択すればよい。この３候補の中から予測パラメータが対象色差CUに最も適した候補をmerge_idxとすればよい。例えば、符号化装置は、対象色差CUの画素値との２乗誤差和あるいは絶対差分和が最小となる予測ブロックを作成する動きベクトルと参照ピクチャの組み合わせをもつ参照ブロックを候補とする。

　また、コロケート輝度CUはスキップであったが、対象色差CUはマージモードで予測誤差を符号化・復号する方がCTU全体として符号化効率がよい場合は、マージ候補cAR、cBL、L、BL、ARの中から予測パラメータが対象色差CUに最も適した候補をmerge_idxとすればよい。例えば、符号化装置は、対象色差CUの画素値との２乗誤差和あるいは絶対差分和が最小となる予測ブロックを作成する動きベクトルと参照ピクチャの組み合わせをもつ参照ブロックを候補とする。

　このようにmerge_idxをcu_skip_modeより前にシンタクスの順序を符号化・復号することで、インター予測では輝度と色差で異なる符号化ツリーを使用する場合でも、スキップフラグの符号量の増加を防ぎ、符号化効率の低下を回避することができる。

　なお、図３０では、S2508の後に以下の構成を追加してもよい。S3009では、マージ予測パラメータ導出部３０３６はマージ候補CUのサブ予測モードpmNがスキップかどうかを判定する。pmNがスキップモードの場合、処理を終了する。pmNがスキップモードでない場合、マージ予測パラメータ導出部３０３６は、S3010において、エントロピー復号部３０１を用いてcu_skip_flagを復号する。S3011では、マージ予測パラメータ導出部３０３６は、cu_skip_flagがスキップを示すか否かをチェックし、スキップでなければ(cu_skip_flag=0)処理を終了する。スキップであれば(cu_skip_flag=1)、S3012に進み、対象色差CUの予測モードを“マージ”から“スキップ”に置き換えて、処理を終了する。

　S3009～S3012の構成を追加することで、全体としてはmerge_idxとcu_skip_flagの順序を入れ替えることになるが、隣接色差ブロックあるいはコロケート輝度CUに適切なスキップモードが無く、かつ、マージモードを持つ候補の中に予測誤差が小さい候補があればmerge_idxで指定し、その後cu_skip_flagでサブ予測モードpmNをスキップモードに書き換えることができる。これにより、画質を保ちつつ、予測誤差の符号量を削減できる。

　　（画像符号化装置）
　図６は、実施形態１の画像符号化装置１１を示すブロック図である。図６のインター予測パラメータ符号化部１１２では、AMVP予測を行わないため、図１７に示すマージ予測パラメータ導出部３０３６が主な処理を担う。インター予測パラメータ符号化部１１２のマージ予測パラメータ導出部３０３６は、対象色差CUにおいて、予測パラメータメモリ１０８から対象色差CUの隣接色差ブロック、あるいはコロケート輝度CUの予測情報を読み込み、マージ候補候補リストcuPredCandListC[][]を作成する。また符号化パラメータ決定部１１０から入力された予測パラメータから、対象色差CUの予測パラメータ（参照候補、動きベクトル、参照ピクチャ）を導出する。インター予測パラメータ符号化部１１２は対象色差CUの参照候補を導出するために使用したmerge_idxをエントロピー符号化部１０４に出力する。

　　（実施形態２）
　本実施形態１では、I、P、Bスライスにおいて、輝度と色差で異なる符号化ツリーを用いる技術を説明した。実施形態２では、I、P、Bスライスにおいて、輝度と色差で異なる符号化ツリーを実施する際に、色差の予測モード(MODE_INTRA、MODE_INTER)を示すフラグを符号化・復号せず、参照候補である隣接色差ブロックあるいはコロケート輝度CUから推定する。これによって、別々に管理していたイントラ予測候補リストおよびマージ候補リストを統一して扱うことができるようになり、色差の予測モードフラグの符号量削減以外に、予測候補リストのavailability（有効性）のチェックが不必要になり、処理が簡単になるというメリットがある。

　まず、イントラ予測で用いるイントラ予測候補リストと、インター予測で用いるマージ候補リストの共通化について述べる。実施形態１では予測モード(MODE_INTRA、MODE_INTER)に応じてイントラ予測候補リストとマージ候補リストを使い分けていたが、実施形態２では、図１１に示す参照候補CUの予測パラメータを１つのリストに格納し、管理する。

　インター予測パラメータ復号部３０３のリスト導出部３１３１は、隣接ブロックの予測パラメータと、コロケート輝度CUの予測パラメータから共通予測候補リストcuPredCandListC[][]を導出する。共通予測候補リストcuPredCandListC[][]には、CCLMやDCモードなどの輝度イントラ予測モード、ゼロベクトル候補などのインター予測モードを含んでいてもよい。

　なお、共通予測候補リストの「共通」とは、イントラ予測、インター予測共通の予測候補を格納したリストであることを意味する。従来は、イントラ予測、インター予測を区別するためのフラグcuPredModeCを先に符号化・復号し、cuPredModeCがイントラ予測の場合、イントラ予測の候補リストCandModeList[]、cuPredModeCがインター予測の場合、インター予測の候補リストmergeCand[]を導出していた。

　インター予測パラメータ復号部３０３は、予測パラメータ候補インデックスcu_pred_cand_idxCを復号する。さらに、共通予測候補リストcuPredCandListC[][]とcu_pred_cand_idxCから、予測候補Nを導出する。

　N＝cuPredCandListC[cu_pred_cand_idxC]
　続いて、予測候補Nの予測モード（MODE_INTER or MODE_INTRA）から、色差対象CUの予測モードを決定する。

　予測モードcuPredModeC＝予測候補Nの予測モード
　さらに、インター予測パラメータ復号部３０３は、予測候補NがMODE_INTRAの場合（MODE_INTER以外）には、予測候補Nのパラメータから、色差対象CUのイントラ予測モードIntraPredModeCを導出する。

　IntraPredModeC =予測候補Nのイントラ予測モード
　逆に、インター予測パラメータ復号部３０３は、予測候補NがMODE_INTERの場合には（MODE_INTRA以外）、予測候補Nのパラメータから、色差対象CUの動きベクトルと参照ピクチャインデックスを導出する。

　mvLX=mvLXN
　refIdxLX=refIdxLXN
　なお、共通予測候補リストcuPredCandListCは２次元配列として表現してもよい。例えば（共通予測候補リストcuPredCandListC[][]）の一例を図１２(c)に示す。ここでは、インデックス{0, 1, 2, …, 9}を参照CU{cCR, cAL,cAR, … AL}に対応させる。インデックス10にCCLM、インデクッス11にゼロマージを格納する。参照位置N（Nは{cCR, cAL,cAR,… AL}）のCUの情報を対応するインデックスiに書き込む。この例では、cuPredCandListC[0][i]には予測モード、cuPredCandListC[1][i]には、サブ予測モードpmNを格納する。

　　cuPredCandListC[0][i] = 予測候補/参照CUの予測モードcuPredModeC
　　cuPredCandListC[1][i] = 予測候補/参照CUのサブ予測モードpmN
　　cuPredCandListC[2][i] = 予測候補/参照CUの参照CU位置N
　　cuPredCandListC[3][i] =予測候補/参照CUの予測パラメータmvL0
　　cuPredCandListC[4][i] =予測候補/参照CUの予測パラメータmvL1
　　cuPredCandListC[5][i] =予測候補/参照CUの予測パラメータrefIdxL0
　　cuPredCandListC[6][i] =予測候補/参照CUの予測パラメータrefIdxL1
　　cuPredCandListC[7][i] = 予測候補/参照CUのイントラ予測モード
　例えば、図１１の参照CUの情報が下記の場合、図１２(c)に共通予測候補リストcuPredCandListC[][]の一例を示す。

　　cCR　｛マージ, (1,0), (3,0), 1, 1｝
　　cAL　｛スキップ, (0,0), (1,0), 0, 1｝
　　cAR　｛マージ, (3,5), (1,1), 0, 1｝
　　cBL　｛AMVP, (-3,4), (1.5,0), 2, 1｝
　　cBR　｛イントラ, 12｝
　　L　｛マージ, (-2,2.5), (0,1.5), 2, 1｝
　　A　｛スキップ, (2.5,6), (0.5,0.5), 0, 1｝
　　BL　｛マージ, (-4,3), (1,-0.5), 1, 1｝
　　AR　｛マージ, (3,5), (1,1), 0, 1｝
　　AL　｛スキップ, (-1,0), (-1.5,0), 1, 0｝
　この場合、リスト導出部３１３１は、共通予測候補リストcuPredCandListC[][]を、以下のように導出できる。

　　cuPredCandListC[][0] =｛インタ―, スキップ以外, cCR, (1,0), (3,0), 1, NA｝
　　cuPredCandListC[][1] =｛インター, スキップ, cAL, (0,0), (1,0), 0, 1, NA｝
　　cuPredCandListC[][2] =｛インター, スキップ以外, cAR, (3,5), (1,1), 0, 1, NA｝
　　cuPredCandListC[][3] =｛インター, スキップ以外, cBL, (-3,4), (1.5,0), 2, 1, NA｝
　　cuPredCandListC[][4] =｛イントラ, NA, cBR, NA, NA, NA, NA, 12｝
　　cuPredCandListC[][5] =｛インター, スキップ以外, L, (-2,2.5), (0,1.5), 2, 1, NA｝
　　cuPredCandListC[][6] =｛インター, スキップ, A, (2.5,6), (0.5,0.5), 0, 1, NA｝
　　cuPredCandListC[][7] =｛インター, スキップ以外, BL, (-4,3), (1,-0.5), 1, 1, NA｝
　　cuPredCandListC[][8] =｛インター, スキップ以外, AR, (3,5), (1,1), 0, 1, NA｝
　　cuPredCandListC[][9] =｛インター, スキップ, AL, (-1,0), (-1.5,0), 1, 0, NA｝
　なお、下記のように、予測候補/参照ブロックの予測モードcuPredModeCと予測候補/参照ブロックのサブ予測モードpmNを合わせて一つのパラメータとしてもよい。以下の例では、予測候補/参照ブロックの予測モードとして、イントラ、スキップ（インターかつスキップ）、マージ（インターかつスキップ以外）を設定する。

　　cuPredCandListC[][0] =｛マージ, cCR, (1,0), (3,0), 1, NA｝
　　cuPredCandListC[][1] =｛スキップ, cAL, (0,0), (1,0), 0, 1, NA｝
　　cuPredCandListC[][2] =｛マージ, cAR, (3,5), (1,1), 0, 1, NA｝
　　cuPredCandListC[][3] =｛マージ, cBL, (-3,4), (1.5,0), 2, 1, NA｝
　　cuPredCandListC[][4] =｛イントラ, cBR, NA, NA, NA, NA, 12｝
　　cuPredCandListC[][5] =｛マージ, L, (-2,2.5), (0,1.5), 2, 1, NA｝
　　cuPredCandListC[][6] =｛スキップ, A, (2.5,6), (0.5,0.5), 0, 1, NA｝
　　cuPredCandListC[][7] =｛マージ, BL, (-4,3), (1,-0.5), 1, 1, NA｝
　　cuPredCandListC[][8] =｛マージ, AR, (3,5), (1,1), 0, 1, NA｝
　　cuPredCandListC[][9] =｛スキップ, AL, (-1,0), (-1.5,0), 1, 0, NA｝
　実施形態２では、参照する隣接ブロックおよびコロケート輝度CUが、イントラ予測であっても、インター予測であっても、共通予測候補リストの要素である予測候補として利用可能である。すなわち、図１２(c)の表はイントラ予測もインター予測も含むので、参照CUが画面外やスライス外に位置しない限り、non availableになることはなく、availabilityのチェックは不要である。共通予測候補リストcuPredCandListC[][]の中からcu_pred_cand_idxCで指定される参照ブロックの予測モードと予測パラメータを、対象色差CUの予測モード、予測パラメータとして推定する。ここで、cu_pred_cand_idxCは共通予測候補リストcuPredCandListC[][]の候補を選択するためのインデックスである。

　実施形態２では、イントラかインターかを示す予測モードをパラメータの一つとして含む予測候補を生成し、共通予測候補リストcuPredCandListC[][]に格納する。そのため実施形態２では、予測パラメータ復号部３０２は図５の代わりに図３４の構成を用いる。図３４の予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３、イントラ予測パラメータ復号部３０４に加え、色差予測制御部３１３からなる。色差予測制御部３１３は対象色差CUにおいて、色差処理の制御を行い、共通予測候補リストcuPredCandListC[][]を作成し、予測モードcuPredModeCを推定する。

　色差予測制御部３１３は、リスト導出部３１３１と色差予測パラメータ導出部３１３２からなる。リスト導出部３１３１は、予測パラメータメモリ３０７から対象色差CUの参照候補である隣接色差ブロックとコロケート輝度CUの予測パラメータおよび予測モードを読み出し、共通予測候補リストcuPredCandListC[][]を作成する。色差予測パラメータ導出部３１３２は作成された共通予測候補リストcuPredCandListC[][]とcu_pred_cand_idxCから、予測モードcuPredModeCと予測パラメータを導出する。予測モードcuPredModeCに応じて、予測パラメータ復号部３０２から予測画像生成部３０８に予測パラメータが出力される。つまり、色差処理では、イントラ予測パラメータ復号部３０４とインター予測パラメータ復号部３０３に代わり、色差予測制御部３１３が予測モードと予測パラメータの復号と導出を行う。

　これらの動作を図３１のフローチャートで説明する。

　図３１の処理の中で、図２６（実施形態１）と同じ処理には同じステップ番号を付与し、説明を省略する。図３１では色差処理において、予測モードcuPredModeCの復号を行わない。従って図２６のS2110は不要である。S3112は予測モードと予測パラメータの復号および導出を行う。S3112の詳細を図３２のフローチャートで説明する。

　色差予測制御部３１３は、エントロピー復号部３０１を使って、S3201ではスキップフラグcu_skip_flagを復号し、S3202ではcu_pred_cand_idxCを復号する。S3203では、リスト導出部３１３１（第２の予測情報復号手段）は、予測パラメータメモリ３０７から隣接色差ブロックおよびコロケート輝度CUの予測モードと予測パラメータを読み出し、共通予測候補リストcuPredCandListC[][]を作成する。S3204では、色差予測パラメータ導出部３１３２は、S3203で作成した共通予測候補リストcuPredCandListC[][]とcu_pred_cand_idxCを用いて、対象色差CUの予測モードcuPredModeC、サブ予測モードpmN、動きベクトルmvLX、参照ピクチャインデックスrefIdxLX、イントラ予測モードIntraPredModeC等を下記のように導出する。

　　予測モードcuPredModeC = cuPredCandListC[0][cu_pred_cand_idxC]
　　サブ予測モードpmN = cuPredCandListC[1][cu_pred_cand_idxC]
　　参照CU位置N = cuPredCandListC[2][cu_pred_cand_idxC]
　　予測パラメータmvL0 = cuPredCandListC[3][cu_pred_cand_idxC]
　　予測パラメータmvL1 = cuPredCandListC[4][cu_pred_cand_idxC]
　　予測パラメータrefIdxL0 = cuPredCandListC[5][cu_pred_cand_idxC]
　　予測パラメータrefIdxL1 = cuPredCandListC[6][cu_pred_cand_idxC]
　　予測パラメータIntraPredModeC = cuPredCandListC[7][cu_pred_cand_idxC]
　S3205では、色差予測制御部３１３はcu_skip_flagが１か否かをチェックする。cu_skip_flagが１の場合、スキップであるので、S3206に進み、色差対象CUのサブ予測モードpmNをスキップにセットする。

　色差予測制御部３１３は、予測モードがイントラの場合、イントラ予測画像生成部３１０に色差イントラ予測モードIntraPredModeCを出力し、予測モードがインターの場合、インター予測画像生成部３０９に動きベクトルmvLX、参照ピクチャインデックスrefIdxLXを出力する。

　図３１に戻って、S3113のイントラおよびインター予測画像生成処理は、これまでの説明と同じであり、説明を省略する。

　（構成のまとめ）
　画像を、分割ツリーを用いて分割した符号化単位（ブロック）毎に復号する画像復号装置であって、輝度成分の分割情報を復号する第１の分割情報復号手段と、色差成分の分割情報を復号する第２の分割情報復号手段と、輝度成分のイントラ予測情報およびインター予測情報を復号する第１の予測情報復号手段と、色差成分のイントラ予測情報およびインター予測情報を復号する第２の予測情報復号手段と、第２の予測情報復号手段の中に、参照ブロックの予測情報を用いて、対象色差ブロックのイントラ予測情報およびインター予測情報の導出に使用する予測候補リストを作成する手段とを備え、第１の分割情報復号手段と第２の分割情報復号手段とは異なる分割情報を復号し、第２の予測情報復号手段は、予測候補リストから対象色差ブロックの予測モードを選択するインデックスを復号し、予測候補リストはイントラ予測およびインター予測に共通のリストであり、第２の予測情報復号手段は、予測候補リストからインデックスを用いて対象色差ブロックの予測モードを導出することを特徴とする画像復号装置であってもよい。

　以上の構成により、I、P、Bスライスにおいて、輝度と色差で異なる符号化ツリーを実施する際に、色差の予測モードを示すフラグを符号化・復号せず、参照候補である隣接色差ブロックあるいはコロケート輝度CUから推定する。これによって、別々に管理していたイントラ予測候補リストおよびマージ候補リストを統一して扱うことができるようになる。また、色差の予測モードフラグの符号量削減以外に、予測候補リストのavailability（有効性）のチェックが不必要になり、処理が簡単になるというメリットがある。

　　（変形例３）
　ここでは、図３４のリスト導出部３１３１が作成する共通予測候補リストcuPredCandListC[][]について説明する。例えば、図１２(c)に示すリストは、インデックス{0, 1, 2, …, 9}を参照ブロック{cCR, cAL,cAR, … AL}に対応させ、インデックス10にCCLM、インデックス11にゼロマージを格納する。そして参照位置N（Nは{cCR, cAL,cAR, … AL}）のブロックの情報を対応するインデックスiに書き込む。

　この状態から共通予測候補リストcuPredCandListC[][]（リスト）をソートし、出現頻度が高いと予想される参照位置Nとその予測モードをリストの先頭に近い位置に移動させることで、さらに符号化効率を向上させることが可能である。

　１つの構成としては、リスト導出部３１３１は、イントラ予測モードCCLMをリストの先頭に挿入し、残りの要素を、隣接ブロックの予測パラメータおよび予測モード、コロケート輝度CUの予測パラメータおよび予測モードから導出する。リスト導出部３１３１は、先頭要素以外の要素を１つづつ後ろにずらし先頭要素にCCLMを挿入する構成としてもよい（図２９(a)）。色差のイントラ予測ではCCLMの出現確率は高いので、CCLMをリストの先頭に挿入することで、小さいインデックスを割り当てることにより、イントラ予測モードIntraPredModeCの符号量を削減することができる。

　別の構成としては、リスト導出部３１３１は、対象色差CUがイントラ予測モードの場合、イントラ予測モードCCLMをリストの先頭に挿入し、残りのインデックスを１つづつ後ろにずらす（図２９(a)と同じ）。対象色差CUがインター予測モードの場合はCCLMを２番目の要素であるインデックス1に挿入し、後ろのインデックスの要素を１つづつ後ろにずらす（図２９(b)）。色差のイントラ予測ではCCLMの出現確率は高いので、CCLMをリストの先頭に挿入することで、小さいインデックスを割り当てることにより、インター予測での符号化効率に影響を与えることなく、イントラ予測モードIntraPredModeCの符号量を削減することができる。

　別の構成としては、リスト導出部３１３１は、リスト内で最初に出現するイントラ予測モードの前にイントラ予測モードCCLMを挿入し、後ろのインデックスの要素を１つづつ後ろにずらす（図２９(c)）。色差のイントラ予測ではCCLMの出現確率は高いので、CCLMをリストの先頭に挿入することで、小さいインデックスを割り当てることにより、インター予測での符号化効率に影響を与えることなく、イントラ予測モードIntraPredModeCの符号量を削減することができる。

　別の構成としては、リスト導出部３１３１は、インター予測の符号化効率はイントラ予測の符号化効率より高いことを利用して、インター予測モードを優先してリストの先頭から配置し、イントラ予測モードはリストの後方に配置する。CCLMはインター予測モードの直後に配置する（図２９(d)）。リスト導出部３１３１は、一度共通予測候補リストcuPredCandListC[][]を生成し、その後にリストの要素がインター予測モードであるか、イントラ予測モードであるかに応じて順番を入れ替えてもよい。例えば、リストの中で、インター予測モードを順に探索し、最初に見つかったインター予測モードをリストの先頭に配置するようにしてもよい。また、最初に見つかったインター予測モードと２番目に見つかったインター予測モードを、リストの先頭と２番目の要素に配置してもよい。また、さらに、リストの先頭要素と２番目の要素を比較して、先頭がイントラモードで、２番目の要素がインターモードの場合に先頭要素を２番目の要素を入れ替えてもよい。符号化効率の高いインター予測をリストの先頭から配置し、小さいインデックスを割り当てることにより、インター予測が選択される確率を増やし、符号化効率を向上させることができる。

　　（変形例４）
　上記の実施形態２の構成では、P, Bスライスにおいても、輝度と色差で異なる符号化ツリーを使用し、輝度、色差で各々スキップフラグcu_skip_flagを符号化・復号した後にcu_pred_cand_idxCを符号化・復号する。以下、実施形態２の変形例４として、シンタクスの順序を変更することで、スキップフラグcu_skip_flagを、cu_pred_cand_idxCの示す予測候補のパラメータから推定する構成を説明する。この構成では、スキップフラグcu_skip_flagを常に符号化する場合に比べ、符号量を削減することができる。

　変形例４の画像復号装置３１、画像符号化装置１１は、対象色差CUの予測パラメータを符号化・復号する場合に、まずcu_pred_cand_idxCを符号化・復号する。

　図３３に図３２を本変形例に合わせて変更したフローチャートを示す。図３２と同じ処理は同じ番号を付している。S3202では、色差予測制御部３１３は、エントロピー復号部３０１を用いてcu_pred_cand_idxCを復号し、色差予測パラメータ導出部３１３２に通知する。S3203では、リスト導出部３１３１は共通予測候補リストcuPredCandListC[][]を作成する。S3204では、色差予測パラメータ導出部３１３２は共通予測候補リストcuPredCandListC[][]とcu_pred_cand_idxCを用いてサブ予測モードpmN、予測画像作成に用いる動きベクトルmvLX、参照ピクチャインデックスrefIdxLX等を導出する。色差予測制御部３１３は、cuPredModeCがイントラの場合、色差イントラ予測モードintraPredModeCをイントラ予測画像生成部３１０に出力し、cuPredModeCがインターの場合、動きベクトル、参照ピクチャインデックスをインター予測画像生成部３０９に出力する。

　また、図３０と同じ処理であるが、S3009～S3012をS3204の後に実施してもよい。

　図１２に示す共通予測候補リストcuPredCandListC[][]には対象色差CUのコロケート輝度CUのサブ予測モードpmN(スキップ以外、スキップ)が格納されている。従来のようにコロケート輝度CUと同じスキップモードを用いる場合は、符号化装置側で、コロケート輝度CUと同じスキップモードとなるインッデクスの中から、対象色差CUに適した予測パラメータ（動きベクトル、参照ピクチャインッデクス）をもつ候補をcu_pred_cand_idxCで指定すればよい。例えば、図１１に示す参照候補の場合、コロケート輝度CUがスキップであれば、対象色差CUのmerge_idxをマージ候補cAL、A、ALの中から選択する。この３候補の中から、例えば符号化装置は、対象色差CUの画素値との２乗誤差和あるいは絶対差分和が最小となる予測ブロックを作成する動きベクトルと参照ピクチャの組み合わせをもつ参照ブロックを対象色差CUに最も適した候補として選択し、merge_idxで指定すればよい。

　また、コロケート輝度CUはスキップであったが、対象色差CUはマージモードで予測誤差を符号化・復号する方がCTU全体として符号化効率がよい場合は、マージ候補cAR、cBR、L、BL、ARの中から予測パラメータが対象色差CUに最も適した候補をcu_pred_cand_idxCとすればよい。

　このようにcu_pred_cand_idxCの後にスキップフラグcu_skip_flagを符号化・復号することで、P, Bスライスでは輝度と色差で異なる符号化ツリーを使用する場合でも、スキップフラグの符号量の増加を防ぎ、符号化効率の低下を回避することができる。

　　（画像符号化装置）
　図３５は、実施形態２の画像符号化装置１１を示すブロック図である。図３５と図６の違いは予測パラメータ符号化部１１１にインター予測パラメータ符号化部１１２、イントラ予測パラメータ符号化部１１３に加え、色差予測制御部１１４が追加されたことである。色差予測制御部１１４は、図３４に示す画像復号装置３１の色差予測制御部３１３と同じ構成であり、対象色差CUにおいて、色差処理の制御を行う。具体的には、共通予測候補リストcuPredCandListC[][]を作成し、符号化パラメータ決定部１１０から入力された予測パラメータから、対象色差CUの予測モードcuPredModeC、および予測パラメータ（参照候補、動きベクトル、参照ピクチャ、イントラ予測モード等）を導出する。予測パラメータ符号化部１１１は予測モードcuPredModeCを導出するために使用したcu_pred_cand_idxCをエントロピー符号化部１０４に出力する。

　　（ソフトウェアによる実現例）
　なお、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、例えば、エントロピー復号部３０１、予測パラメータ復号部３０２、ループフィルタ３０５、予測画像生成部３０８、逆量子化・逆DCT部３１１、加算部３１２、予測画像生成部１０１、減算部１０２、DCT・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆DCT部１０５、ループフィルタ１０７、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１１、画像復号装置３１のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

　また、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、または全部を、LSI（Large Scale Integration）等の集積回路として実現しても良い。画像符号化装置１１、画像復号装置３１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

　　（応用例）
　上述した画像符号化装置１１及び画像復号装置３１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（CG及びGUIを含む）であってもよい。

　まず、上述した画像符号化装置１１及び画像復号装置３１を、動画像の送信及び受信に利用できることを、図８を参照して説明する。

　図８の（ａ）は、画像符号化装置１１を搭載した送信装置PROD_Aの構成を示したブロック図である。図８の（ａ）に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した画像符号化装置１１は、この符号化部PROD_A1として利用される。

　送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図８の（ａ）においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。

　なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。

　図８の（ｂ）は、画像復号装置３１を搭載した受信装置PROD_Bの構成を示したブロック図である。図８の（ｂ）に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した画像復号装置３１は、この復号部PROD_B3として利用される。

　受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示するディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図８の（ｂ）においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。

　なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

　なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

　例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。

　また、インターネットを用いたVOD（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置PROD_A／受信装置PROD_Bの一例である（通常、ＬＡＮにおいては伝送媒体として無線または有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

　なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。

　次に、上述した画像符号化装置１１及び画像復号装置３１を、動画像の記録及び再生に利用できることを、図９を参照して説明する。

　図９の（ａ）は、上述した画像符号化装置１１を搭載した記録装置PROD_Cの構成を示したブロック図である。図９の（ａ）に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した画像符号化装置１１は、この符号化部PROD_C1として利用される。

　なお、記録媒体PROD_Mは、
（１）HDD（Hard Disk Drive）やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのもの
（２）SDメモリカードやUSB（Universal Serial Bus）フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのもの
（３）DVD（Digital Versatile Disc）やBD（Blu-ray Disc:登録商標）などのように、記録装置PROD_Cに内蔵されたドライブ装置（不図示）に装填されるもの
であってもよい。

　また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部PROD_C6を更に備えていてもよい。図９の（ａ）においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。

　なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

　このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子PROD_C4または受信部PROD_C5が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラPROD_C3が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部PROD_C5または画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラPROD_C3または受信部PROD_C5が動画像の主な供給源となる）なども、このような記録装置PROD_Cの一例である。

　図９の（ｂ）は、上述した画像復号装置３１を搭載した再生装置PROD_Dの構成を示したブロックである。図９の（ｂ）に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した画像復号装置３１は、この復号部PROD_D2として利用される。

　なお、記録媒体PROD_Mは、（１）HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、（３）DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

　また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図９の（ｂ）においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。

　なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

　このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイPROD_D3が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）、デスクトップ型PC（この場合、出力端子PROD_D4または送信部PROD_D5が動画像の主な供給先となる）、ラップトップ型またはタブレット型PC（この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）なども、このような再生装置PROD_Dの一例である。

　　（ハードウェア的実現及びソフトウェア的実現）
　また、上述した画像復号装置３１及び画像符号化装置１１の各ブロックは、集積回路（ICチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、CPU（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

　後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM（Read Only Memory）、上記プログラムを展開するRAM（RandomAccess Memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはCPUやMPU）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやCD-ROM（Compact Disc Read-Only Memory）／MOディスク（Magneto-Optical disc）／MD（Mini Disc）／DVD（Digital Versatile Disc）／CD-R（CD Recordable）／ブルーレイディスク（Blu-ray Disc：登録商標）等の光ディスクを含むディスク類、ICカード（メモリカードを含む）／光カード等のカード類、マスクROM／EPROM（Erasable Programmable Read-Only Memory）／EEPROM（Electrically Erasable and Programmable Read-Only Memory：登録商標）／フラッシュROM等の半導体メモリ類、あるいはPLD（Programmable logic device）やFPGA（Field Programmable Gate Array）等の論理回路類などを用いることができる。

　また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN（Local Area Network）、ISDN（Integrated Services Digital Network）、VAN（Value-Added Network）、CATV（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE（Institute of Electrical and Electronic Engineers）1394、USB、電力線搬送、ケーブルＴＶ回線、電話線、ADSL（Asymmetric Digital Subscriber Line）回線等の有線でも、IrDA（Infrared Data Association）やリモコンのような赤外線、BlueTooth（登録商標）、IEEE802.11無線、HDR（High Data Rate）、NFC（Near Field Communication）、DLNA（Digital Living Network Alliance：登録商標）、携帯電話網、衛星回線、地上デジタル放送網等の無線でも利用可能である。なお、本発明の実施形態は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

　本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

　本発明の実施形態は、画像データが符号化された符号化データを復号する画像復号装置、及び、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。

　（関連出願の相互参照）
　本出願は、2016年12月22日に出願された日本国特許出願：特願2016-249165に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

１０　CT情報復号部
１１　画像符号化装置
２０　CU復号部
３１　画像復号装置
４１　画像表示装置
 

Claims (9)

1. 　画像を、分割ツリーを用いて分割した符号化単位であるブロック毎に復号する画像復号装置であって、
   　輝度成分の分割情報を復号する第１の分割情報復号手段と、
   　色差成分の分割情報を復号する第２の分割情報復号手段と、
   　輝度成分のイントラ予測情報およびインター予測情報を復号する第１の予測情報復号手段と、
   　色差成分のイントラ予測情報を復号する第２の予測情報復号手段と、
   　色差成分のインター予測情報を復号する第３の予測情報復号手段とを備え、
   　前記第１の分割情報復号手段と前記第２の分割情報復号手段とは異なる分割情報を復号し、
   　前記第２の予測情報復号手段は、
   　　前記第２の分割情報復号手段によって復号された色差成分の分割情報を用いて分割された、対象色差ブロックの隣接ブロックである参照ブロック、および、
   　　前記第１の分割情報復号手段によって復号された輝度成分の分割情報を用いて分割された輝度ブロックであって、対象色差ブロックに対応する位置の輝度ブロックである参照ブロックのイントラ予測情報を用いて、対象色差ブロックのイントラ予測情報を復号し、
   　前記第３の予測情報復号手段は、対象色差ブロックの前記参照ブロックのインタ―予測情報を用いて、対象色差ブロックのインタ―予測情報を導出することを特徴とする画像復号装置。
2. 　前記第３の予測情報復号手段は、マージモードとスキップモードのみを用いることを特徴とする請求項１に記載の画像復号装置。
3. 　画像を、分割ツリーを用いて分割した符号化単位であるブロック毎に復号する画像復号装置であって、
   　輝度成分の分割情報を復号する第１の分割情報復号手段と、
   　色差成分の分割情報を復号する第２の分割情報復号手段と、
   　輝度成分のイントラ予測情報およびインター予測情報を復号する第１の予測情報復号手段と、
   　色差成分のイントラ予測情報およびインター予測情報を復号する第２の予測情報復号手段と、
   　前記第２の予測情報復号手段において、
   　前記第２の分割情報復号手段によって復号された色差成分の分割情報を用いて分割された、対象色差ブロックの隣接ブロックである参照ブロック、および、
   前記第１の分割情報復号手段によって復号された輝度成分の分割情報を用いて分割された輝度ブロックであって、対象色差ブロックに対応する位置の輝度ブロックである参照ブロックの予測情報を用いて、対象色差ブロックのイントラ予測情報およびインター予測情報の導出に使用する予測候補リストを作成する手段と、
   　前記予測候補リストから対象色差ブロックの予測モードを選択するインデックスを復号する手段とを備え、
   　前記第１の分割情報復号手段と前記第２の分割情報復号手段とは異なる分割情報を復号し、
   　前記予測候補リストはイントラ予測およびインター予測に共通のリストであり、
   　前記第２の予測情報復号手段は、前記予測候補リストから前記インデックスを用いて対象色差ブロックの予測モードを導出することを特徴とする画像復号装置。
4. 　画像を、分割ツリーを用いて分割した符号化単位であるブロック毎に符号化する画像符号化装置であって、
   　輝度成分の分割情報を符号化する第１の分割情報符号化手段と、
   　色差成分の分割情報を符号化する第２の分割情報符号化手段と、
   　輝度成分のイントラ予測情報およびインター予測情報を符号化する第１の予測情報符号化手段と、
   　色差成分のイントラ予測情報を符号化する第２の予測情報符号化手段と、
   　色差成分のインター予測情報を符号化する第３の予測情報符号化手段とを備え、
   　前記第１の分割情報符号化手段と前記第２の分割情報符号化手段とは異なる分割情報を符号化し、
   　前記第２の予測情報符号化手段は、
   前記第２の分割情報符号化手段によって符号化された色差成分の分割情報を用いて分割された、対象色差ブロックの隣接ブロックである参照ブロック、および、
   前記第１の分割情報符号化手段によって符号化された輝度成分の分割情報を用いて分割された輝度ブロックであって、対象色差ブロックに対応する位置の輝度ブロックである参照ブロックのイントラ予測情報を用いて、対象色差ブロックのイントラ予測情報を符号化し、
   　前記第３の予測情報符号化手段は、対象色差ブロックの参照ブロックのインタ―予測情報を用いて、対象色差ブロックのインタ―予測情報を導出することを特徴とする画像符号化装置。
5. 　前記第３の予測情報符号化手段は、マージモードとスキップモードのみを用いることを特徴とする請求項４に記載の画像符号化装置。
6. 　画像を、分割ツリーを用いて分割した符号化単位であるブロック毎に符号化する画像符号化装置であって、
   　輝度成分の分割情報を符号化する第１の分割情報符号化手段と、
   　色差成分の分割情報を符号化する第２の分割情報符号化手段と、
   　輝度成分のイントラ予測情報およびインター予測情報を符号化する第１の予測情報符号化手段と、
   　色差成分のイントラ予測情報およびインター予測情報を符号化する第２の予測情報符号化手段と、
   　前記第２の予測情報符号化手段において、
   　参照ブロックの予測情報を用いて、対象色差ブロックのイントラ予測情報およびインター予測情報の導出に使用する予測候補リストを作成する手段と、
   　前記予測候補リストから対象色差ブロックの予測モードを選択するインデックスを符号化する手段とを備え、
   　前記第１の分割情報符号化手段と前記第２の分割情報符号化手段とは異なる分割情報を符号化し、
   　　前記予測候補リストはイントラ予測およびインター予測に共通のリストであり、
   　前記第２の予測情報符号化手段は、前記予測候補リストから前記インデックスを用いて対象色差ブロックの予測モードを導出することを特徴とする画像符号化装置。
7. 　画像を、分割ツリーを用いて分割した符号化単位であるブロック毎に予測する画像予測装置であって、
   　輝度成分のイントラ予測情報およびインター予測情報を予測する第１の予測手段と、
   　色差成分のイントラ予測情報を予測する第２の予測手段と、
   　色差成分のインター予測情報を予測する第３の予測手段とを備え、
   　輝度成分および色差成分の分割情報が異なる場合、
   　前記第２の予測手段は、対象色差ブロックの隣接ブロックである参照ブロックおよび対象色差ブロックに対応する位置の輝度ブロックである参照ブロックのイントラ予測情報を用いて、対象色差ブロックのイントラ予測情報を予測し、
   　前記第３の予測手段は、対象色差ブロックの参照ブロックのインタ―予測情報を用いて、対象色差ブロックのインタ―予測情報を導出することを特徴とする画像予測装置。
8. 　前記第３の予測手段は、マージモードとスキップモードのみを用いることを特徴とする請求項７に記載の画像予測装置。
9. 　画像を、分割ツリーを用いて分割した符号化単位であるブロック毎に予測する画像予測装置であって、
   　輝度成分のイントラ予測情報およびインター予測情報を予測する第１の予測手段と、
   　色差成分のイントラ予測情報およびインター予測情報を予測する第２の予測手段と、
   　前記第２の予測手段において、
   　参照ブロックの予測情報を用いて、対象色差ブロックのイントラ予測情報およびインター予測情報の導出に使用する予測候補リストを作成する手段と、
   　前記予測候補リストから対象色差ブロックの予測モードを選択するインデックスを導出する手段とを備え、
   　輝度成分および色差成分の分割情報が異なる場合、
   　　前記予測候補リストはイントラ予測およびインター予測に共通のリストであり、
   　前記第２の予測手段は、前記予測候補リストから前記インデックスを用いて対象色差ブロックの予測モードを導出することを特徴とする画像予測装置。

Images