JP5907192B2 - 画像復号装置、画像復号方法及び画像復号プログラム - Google Patents

Description

本発明は、画像復号技術に関し、特に画面内復号技術に関する。

動画像の圧縮符号化方式の代表的なものとして、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４の規格がある。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４では、ピクチャを複数の矩形ブロックに分割したマクロブロック単位で符号化を行う。マクロブロックのサイズは画像サイズに拘わらず、輝度信号で１６×１６画素と規定されている。なお、マクロブロックには色差信号も含まれるが、マクロブロックに含まれる色差信号のサイズは符号化される画像の色差フォーマットによって異なり、色差フォーマットが４：２：０の場合、色差信号で８×８画素、色差フォーマットが４：２：２の場合、色差信号で８×１６画素、色差フォーマットが４：４：４の場合、色差信号で１６×１６画素となる。

色差フォーマットは１つの輝度情報と２つの色差情報の３つの信号の標本化された画素数の比率をＸ：Ｙ：Ｚで表す。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４で符号化、及び復号の対象となる画像の色差フォーマットは４：２：０、４：２：２、４：４：４、モノクロがある。

図３は画像の各色差フォーマットを説明する図である。×は画像の画面平面上での輝度信号の画素の位置を示し、○は色差信号の画素の位置を示す。
図３（ａ）に示す４：２：０は、輝度信号に対して色差信号が水平、垂直の両方向に２分の１の密度で標本化された色差フォーマットである。即ち、４：２：０は輝度信号と色差信号の画素のアスペクト比が同じである。なお、４：２：０は図３（ｅ）に示す位置で色差信号が標本化される場合もある。
図３（ｂ）に示す４：２：２は、輝度信号に対して色差信号が水平方向に２分の１の密度、垂直方向に同じ密度で標本化された色差フォーマットである。即ち、４：２：２は輝度信号と色差信号の画素のアスペクト比が異なる。
図３（ｃ）に示す４：４：４は輝度信号、色差信号ともに同じ密度で標本化された色差フォーマットである。即ち、４：４：４は輝度信号と色差信号の画素のアスペクト比が同じである。
図３（ｄ）に示すモノクロは色差信号が無く、輝度信号だけで構成される色差フォーマットである。

なお、輝度信号と色差信号は動き補償等の符号化情報を共有するためにセットにして符号化および復号されるが、４：４：４では、１つの輝度信号と２つの色差信号を独立に３つのモノクロとして符号化および復号する仕組みも用意されている。

ＡＶＣ／Ｈ．２６４方式では、符号化／復号対象ピクチャ内のすでに符号化・復号したブロックから予測する手法が用いられている。この手法をイントラ予測と呼ぶ。また、すでに符号化・復号したピクチャを参照ピクチャとし、参照ピクチャからの動きを予測する動き補償が用いられている。この動き補償により動きを予測する手法をインター予測と呼ぶ。

まず、ＡＶＣ／Ｈ．２６４方式のイントラ符号化におけるイントラ予測でイントラ予測モードを切り替える単位について説明する。図４（ａ）〜（ｃ）は、イントラ予測モードを切り替える単位を説明するための図である。ＡＶＣ／Ｈ．２６４方式のイントラ符号化では、イントラ予測モードを切り替える単位として、「４×４イントラ予測」、「１６×１６イントラ予測」、「８×８イントラ予測」の３種類が用意されている。

「４×４イントラ予測」では、マクロブロック（輝度信号１６×１６画素ブロック、色差信号８×８画素ブロック）の輝度信号を４×４画素ブロックに１６分割し、分割された４×４画素単位で９種類の４×４イントラ予測モードの中からモードが選択され、イントラ予測が順次行われる（図４（ａ））。
「１６×１６画素イントラ予測」では、輝度信号の１６×１６画素ブロック単位で４種類の１６×１６イントラ予測モードの中からモードが選択され、イントラ予測が行われる（図４（ｂ））。
「８×８画素イントラ予測」では、マクロブロックの輝度信号を８×８画素ブロックに４分割し、分割された８×８画素単位で９種類の８×８イントラ予測モードの中からモードが選択され、イントラ予測が順次行われる（図４（ｃ））。

また、色差信号のイントラ予測は色差フォーマットが４：２：０、または４：２：２の場合、マクロブロック単位で４種類の色差信号のイントラ予測モードの中からモードが選択されて、イントラ予測が行われる。

次に、ＡＶＣ／Ｈ．２６４方式のインター符号化におけるインター予測する単位について説明する。図５（ａ）〜（ｈ）は、マクロブロック・パーティションおよびサブマクロブロック・パーティションを説明するための図である。ここでは説明を簡略化するため、輝度信号の画素ブロックのみ描いている。ＭＰＥＧシリーズでは、マクロブロックは正方形領域で規定される。一般的にＡＶＣ／Ｈ．２６４方式を含むＭＰＥＧシリーズでは、１６×１６画素（水平１６画素、垂直１６画素）で規定されるブロックをマクロブロックという。さらに、ＡＶＣ／Ｈ．２６４方式では、８×８画素で規定されるブロックをサブマクロブロックという。マクロブロック・パーティションとは、マクロブロックを動き補償予測のために、さらに分割したそれぞれの小ブロックをいう。サブマクロブロック・パーティションとは、サブマクロブロックを動き補償予測のために、さらに分割したそれぞれの小ブロックをいう。

図５（ａ）は、マクロブロックが１６×１６画素の輝度信号とそれに対応する２つの色差信号から構成される１つのマクロブロック・パーティションで構成されていることを示す図である。ここでは、この構成を１６×１６モードのマクロブロック・タイプと呼ぶ。
図５（ｂ）は、マクロブロックが１６×８画素（水平１６画素、垂直８画素）の輝度信号とそれに対応する２つの色差信号から構成される２つのマクロブロック・パーティションで構成されていることを示す図である。この２つのマクロブロック・パーティションは縦に並べられている。ここでは、この構成を１６×８モードのマクロブロック・タイプと呼ぶ。
図５（ｃ）は、マクロブロックが８×１６画素（水平８画素、垂直１６画素）の輝度信号とそれに対応する２つの色差信号から構成される２つのマクロブロック・パーティションで構成されていることを示す図である。この２つのマクロブロック・パーティションは横に並べられている。ここでは、この構成を８×１６モードのマクロブロック・タイプと呼ぶ。
図５（ｄ）は、マクロブロックが８×８画素の輝度信号とそれに対応する２つの色差信号から構成される４つのマクロブロック・パーティションで構成されていることを示す図である。この４つのマクロブロック・パーティションは縦横２つずつ並べられている。この構成を８×８モードのマクロブロック・タイプと呼ぶ。
図５（ｅ）は、サブマクロブロックが８×８画素の輝度信号とそれに対応する２つの色差信号から構成される１つのサブマクロブロック・パーティションで構成されていることを示す図である。ここでは、この構成を８×８モードのサブマクロブロック・タイプと呼ぶ。
図５（ｆ）は、サブマクロブロックが８×４画素（水平８画素、垂直４画素）の輝度信号とそれに対応する２つの色差信号から構成される２つのサブマクロブロック・パーティションで構成されていることを示す図である。この２つのサブマクロブロック・パーティションは縦に並べられている。この構成を８×４モードのサブマクロブロック・タイプと呼ぶ。
図５（ｇ）は、サブマクロブロックが４×８画素（水平４画素、垂直８画素）の輝度信号とそれに対応する２つの色差信号から構成される２つのマクロブロック・パーティションで構成されていることを示す図である。この２つのマクロブロック・パーティションは横に並べられている。ここでは、この構成を４×８モードのサブマクロブロック・タイプと呼ぶ。
図５（ｈ）は、サブマクロブロックが４×４画素の輝度信号とそれに対応する２つの色差信号から構成される４つのサブマクロブロック・パーティションで構成されていることを示す図である。この４つのサブマクロブロック・パーティションは縦横２つずつ並べられている。ここでは、この構成を４×４モードのサブマクロブロック・タイプと呼ぶ。

ＡＶＣ／Ｈ．２６４符号化方式では、以上の動き補償ブロックサイズの中から、選択して用いることができる仕組みが取り入れられている。まず、マクロブロック単位の動き補償ブロックサイズとして、１６×１６、１６×８、８×１６および８×８モードのマクロブロック・タイプの中からいずれかが選択できる。８×８モードのマクロブロック・タイプが選択された場合、サブマクロブロック単位の動き補償ブロックサイズとして、８×８、８×４、４×８、４×４モードのサブマクロブロック・タイプの中からいずれかが選択できる。

ISO/IEC 14496-10 Information technology -- Coding of audio-visual objects -- Part 10: Advanced Video Coding

画像信号のイントラ予測モードに関する情報を符号化する際、輝度信号のイントラ予測モードに関する情報と色差信号のイントラ予測モードに関する情報を符号化して符号化ストリーム内に配列することになるが、その際、色差フォーマットに応じてイントラ予測モードを符号化しなければ、処理効率が悪くなることがある。

本発明はこうした状況に鑑みてなされたものであり、その目的は、色差フォーマットに応じた輝度信号と色差信号のイントラ予測により画像信号を効率良く復号することのできる画像復号技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像復号装置は、予測ブロック単位でイントラ予測モードに関する情報を復号して、変換ブロック単位で輝度信号と色差信号とを含む画像信号をイントラ予測を用いて復号する画像復号装置であって、輝度信号の予測ブロックのイントラ予測方法を示すイントラ輝度予測モードに関する情報が符号化された符号化ストリームから、輝度信号のイントラ予測モードに関するシンタックス要素を復号し、輝度信号のイントラ予測モードを導出するイントラ輝度予測モード復号部（２２２、２２４）と、色差信号の予測ブロックのイントラ予測方法を示すイントラ色差予測モードに関する情報が符号化された符号化ストリームから、色差信号のイントラ色差予測モードに関するシンタックス要素を復号し、前記イントラ輝度予測モードも参照して、第１イントラ色差予測モードを導出するイントラ色差予測モード復号部（２２２、２２５）と、前記輝度信号の予測ブロック毎に特定されたイントラ輝度予測モードに応じて、輝度信号の変換ブロックの周囲の輝度信号から前記輝度信号の変換ブロックの輝度信号を予測する輝度信号イントラ予測部（２０６）と、前記色差信号の予測ブロック毎に特定されたイントラ色差予測モードに応じて、色差信号の変換ブロックの周囲の色差信号から前記色差信号の変換ブロックの色差信号を予測する色差信号イントラ予測部（２０６）とを備える。前記イントラ色差予測モード復号部（２２２、２２５）は、前記輝度信号と前記色差信号の画素のアスペクト比が異なる場合、前記アスペクト比が同じ場合に使用する第１イントラ色差予測モードのモード番号を変換して、前記アスペクト比が異なる場合に使用する第２イントラ色差予測モードを導出する。

本発明の別の態様は、画像復号方法である。この方法は、予測ブロック単位でイントラ予測モードに関する情報を復号して、変換ブロック単位で輝度信号と色差信号とを含む画像信号をイントラ予測を用いて復号する画像復号方法であって、輝度信号の予測ブロックのイントラ予測方法を示すイントラ輝度予測モードに関する情報が符号化された符号化ストリームから、輝度信号のイントラ予測モードに関するシンタックス要素を復号し、輝度信号のイントラ予測モードを導出するイントラ輝度予測モード復号ステップと、色差信号の予測ブロックのイントラ予測方法を示すイントラ色差予測モードに関する情報が符号化された符号化ストリームから、色差信号のイントラ色差予測モードに関するシンタックス要素を復号し、前記イントラ輝度予測モードも参照して、第１イントラ色差予測モードを導出するイントラ色差予測モード復号ステップと、前記輝度信号の予測ブロック毎に特定されたイントラ輝度予測モードに応じて、輝度信号の変換ブロックの周囲の輝度信号から前記輝度信号の変換ブロックの輝度信号を予測する輝度信号イントラ予測ステップと、前記色差信号の予測ブロック毎に特定されたイントラ色差予測モードに応じて、色差信号の変換ブロックの周囲の色差信号から前記色差信号の変換ブロックの色差信号を予測する色差信号イントラ予測ステップとを備える。前記イントラ色差予測モードステップは、前記輝度信号と前記色差信号の画素のアスペクト比が異なる場合、前記アスペクト比が同じ場合に使用する第１イントラ色差予測モードのモード番号を変換して、前記アスペクト比が異なる場合に使用する第２イントラ色差予測モードを導出する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、色差フォーマットに応じた輝度信号と色差信号のイントラ予測により画像信号を効率良く復号することができる。

実施の形態の画像符号化装置の構成を示すブロック図である。 実施の形態の画像復号装置の構成を示すブロック図である。 画像の色差フォーマットを説明する図である。 ＡＶＣ／Ｈ．２６４方式のイントラ予測モードを切り替える単位を説明する図である。 ＡＶＣ／Ｈ．２６４方式のインター予測する単位を説明する図である。 本実施例で規定するツリーブロック、及び符号化ブロックを説明する図である。 本実施例で規定する分割モードを説明する図である。 本実施例で規定するイントラ予測モードの値と予測方向を説明する図である。 本実施例で規定するブロックの位置を説明するための一例の図である。 本実施例で規定するシーケンス全体の符号化に関する情報を符号化するヘッダとなるシーケンス・パラメータ・セットで色差フォーマット情報を符号化する際の、シンタックスの定義の一例を説明する図である。 本実施例で規定するイントラ予測の際のＮ×Ｎ分割での符号化ブロックの色差信号の分割方法を説明する図である。 実施の形態の画像符号化装置の第２の符号化ストリーム生成部の構成を示すブロック図である。 実施の形態の画像復号装置の第２の符号化ストリーム復号部の構成を示すブロック図である。 本実施例で規定する復号側で用いるシンタックス要素の値と色差信号の予測ブロックと同じ位置の輝度信号の予測ブロックのイントラ輝度予測モードの値からイントラ色差予測モードの値を導出するテーブルである。 本実施例で規定する色差フォーマットが４：２：２で、イントラ輝度予測モードまたは第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換するための変換テーブルの例である。 本実施例で規定する色差フォーマットが４：２：２で、イントラ輝度予測モードまたは第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換するための変換テーブルである。 本実施例で規定する色差フォーマットが４：２：２で、イントラ輝度予測モードまたは第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換するための変換テーブルの別の例である。 本実施例で規定する図１５の変換テーブルのイントラ予測モードの値と予測方向を説明する図である。 本実施例で規定する図１６の変換テーブルのイントラ予測モードの値と予測方向を説明する図である。 本実施例で規定する図１７の変換テーブルのイントラ予測モードの値と予測方向を説明する図である。 色差フォーマットが４：２：２の場合の輝度信号、及び色差信号のイントラ予測の予測方向の対応関係を説明する図である。 色差フォーマットが４：２：０の場合の輝度信号、及び色差信号のイントラ予測の予測方向の対応関係を説明する図である。 本実施例で規定する図１５及び図１６の変換テーブルに対応する、イントラ輝度予測モードまたは第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換する際の導出処理手順を説明する図である。 本実施例で規定する図１７の変換テーブルに対応する、第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換する際の導出処理手順を説明する図である。 本実施例で規定する符号化側で用いるイントラ色差予測モードの値と色差信号の予測ブロックと同じ位置の輝度信号の予測ブロックのイントラ輝度予測モードの値からイントラ色差予測モードに関するシンタックス要素の値を導出するテーブルである。 復号側のイントラ予測モードの復号及びイントラ予測の処理手順を説明する図である。 第１のイントラ色差予測モードから色差フォーマット４：２：２用のイントラ予測の角度を導出するテーブルの例である。 第１のイントラ色差予測モードから色差フォーマット４：２：２用のイントラ予測の角度を導出するテーブルの別の例である。 本実施例で規定する図２８のテーブルに対応する、第１のイントラ色差予測モードから色差フォーマット４：２：２用のイントラ予測の角度を導出する導出処理手順を説明する図である。 本実施例で規定する色差フォーマットが４：２：２で、イントラ輝度予測モードまたは第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換するための変換テーブルである。 本実施例で規定する図３０の変換テーブルのイントラ予測モードの値と予測方向を説明する図である。 本実施例で規定する図３０の変換テーブルに対応する、第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換する際の導出処理手順を説明する図である。 本実施例で規定する色差フォーマットが４：２：２で、イントラ輝度予測モードまたは第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換するための変換テーブルである。 本実施例で規定する図３３の変換テーブルのイントラ予測モードの値と予測方向を説明する図である。 本実施例で規定する図３３の変換テーブルに対応する、第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換する際の導出処理手順を説明する図である。

本実施の形態では、動画像の符号化、及び復号に関し、特にピクチャを任意のサイズ、形状の矩形に分割したブロック単位で、符号化においては既に符号化および復号済み、復号においては復号済み（以下復号済みとする）の周囲のブロックの画素値から予測を行うイントラ予測、及び既に復号済みのピクチャから動き補償によるインター予測を用いて符号量を削減する。

まず、本実施例において使用する技術、及び技術用語を定義する。

（色差フォーマット）
実施の形態の説明で符号化及び復号の対象とする画像の色差フォーマットは、モノクロ、４：２：０、４：２：２、４：４：４とし、輝度信号と色差信号をセットにして符号化、及び復号するものとする。ただし、色差信号に関する説明に関しては、モノクロの場合の説明を省略する。なお、色差フォーマットが４：４：４ではＲＧＢの信号を符号化、及び復号することもできる。その場合、Ｇ（緑）信号を輝度信号とみなし、Ｂ（青）信号、Ｒ（赤）信号を色差信号とみなして符号化、及び復号する。なお、４：４：４で輝度信号と色差信号を独立に符号化、及び復号する方法に関しては本実施例ではモノクロとみなすこととする。

（ツリーブロック、符号化ブロックについて）
実施の形態では、図６に示されるように、画面内を任意の同一サイズの正方の矩形の単位にて均等分割する。この単位をツリーブロックと定義し、画像内での符号化／復号対象ブロック（符号化においては符号化対象ブロック、復号においては復号対象ブロック）を特定するためのアドレス管理の基本単位とする。モノクロを除きツリーブロックは１つの輝度信号と２つの色差信号で構成される。ツリーブロックのサイズはピクチャサイズや画面内のテクスチャに応じて、２のべき乗のサイズで自由に設定することができるものとする。ツリーブロックは画面内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じてツリーブロック内の輝度信号、及び色差信号を階層的に４分割（縦横に２分割ずつ）して、ブロックサイズの小さいブロックにすることができる。このブロックをそれぞれ符号化ブロックと定義し、符号化及び復号を行う際の処理の基本単位とする。モノクロを除き符号化ブロックも１つの輝度信号と２つの色差信号で構成される。符号化ブロックの最大サイズはツリーブロックのサイズと同一である。符号化ブロックの最小のサイズとなる符号化ブロックを最小符号化ブロックと呼び、２のべき乗のサイズで自由に設定することができるものとする。

図６においては、符号化ブロックＡは、ツリーブロックを分割せず、１つの符号化ブロックとしたものである。符号化ブロックＢは、ツリーブロックを４分割してできた符号化ブロックである。符号化ブロックＣは、ツリーブロックを４分割してできたブロックをさらに４分割してできた符号化ブロックである。符号化ブロックＤは、ツリーブロックを４分割してできたブロックをさらに階層的に２度４分割してできた符号化ブロックであり、最小サイズの符号化ブロックである。

実施の形態の説明においては、色差フォーマットが４：２：０で、ツリーブロックのサイズを輝度信号で６４×６４画素、色差信号で３２×３２画素と設定し、最小の符号化ブロックのサイズを輝度信号で８×８画素、色差信号で４×４画素と設定するものとする。図６では、符号化ブロックＡのサイズは輝度信号で６４×６４画素、色差信号で３２×３２画素となり、符号化ブロックＢのサイズは輝度信号で３２×３２画素、色差信号で１６×１６画素となり、符号化ブロックＣのサイズは輝度信号で１６×１６画素、色差信号で８×８画素となり、符号化ブロックＤのサイズは輝度信号で８×８画素、色差信号で４×４画素となる。なお、色差フォーマットが４：４：４の場合、各符号化ブロックの輝度信号と色差信号のサイズが等しくなる。色差フォーマットが４：２：２の場合、符号化ブロックＡのサイズは色差信号で３２×６４画素となり、符号化ブロックＢのサイズは色差信号で１６×３２画素となり、符号化ブロックＣのサイズは色差信号で８×１６画素となり、最小の符号化ブロックである符号化ブロックＤのサイズは色差信号で４×８画素となる。

（予測モードについて）
符号化ブロック単位で、符号化／復号済みの周囲の画像信号から予測を行うイントラ予測、及び符号化／復号済みの画像の画像信号から予測を行うインター予測を切り替える。このイントラ予測とインター予測を識別するモードを予測モード（PredMode）と定義する。予測モード（PredMode）はイントラ予測（MODE_INTRA）、またはインター予測（MODE_INTER）を値として持ち、選択して符号化できる。

（分割モード、予測ブロックについて）
画面内をブロックに分割してイントラ予測及びインター予測を行う場合、イントラ予測及びインター予測の方法を切り替える単位をより小さくするために、必要に応じて符号化ブロックを分割して予測を行う。この符号化ブロックの輝度信号と色差信号の分割方法を識別するモードを分割モード（PartMode）と定義する。さらに、この分割されたブロックを予測ブロックと定義する。図７に示すように、符号化ブロックの輝度信号の分割方法に応じて４種類の分割モード（PartMode）を定義する。符号化ブロックの輝度信号を分割せず１つの予測ブロックとみなしたもの（図７（ａ））の分割モード（PartMode）を２Ｎ×２Ｎ分割（PART_2Nx2N）、符号化ブロックの輝度信号を水平方向に２分割し、２つの予測ブロックとしたもの（図７（ｂ））の分割モード（PartMode）を２Ｎ×Ｎ分割（PART_2NxN）、符号化ブロックの輝度信号を垂直方向に分割し、符号化ブロックを２つの予測ブロックとしたもの（図７（ｃ））の分割モード（PartMode）をＮ×２Ｎ分割（PART_Nx2N）、符号化ブロックの輝度信号を水平と垂直の均等分割により４つの予測ブロックとしたもの（図７（ｄ））の分割モード（PartMode）をＮ×Ｎ分割（PART_NxN）とそれぞれ定義する。なお、イントラ予測（MODE_INTRA）のＮ×Ｎ分割（PART_NxN）を除き、各分割モード（PartMode）毎に輝度信号の縦横の分割比率と同様に色差信号も分割する。イントラ予測（MODE_INTRA）のＮ×Ｎ分割（PART_NxN）の符号化ブロックの色差信号の縦横の分割比率は色差フォーマットの種類によって異なり、後述する。

符号化ブロック内部において、各予測ブロックを特定する為に、０から開始する番号を、符号化順序で、符号化ブロック内部に存在する予測ブロックに対して割り当てる。この番号を分割インデックスPartIdxと定義する。図７の符号化ブロックの各予測ブロックの中に記述された数字は、その予測ブロックの分割インデックスPartIdxを表す。図７（ｂ）に示す２Ｎ×Ｎ分割（PART_2NxN）では上の予測ブロックの分割インデックスPartIdxを０とし、下の予測ブロックの分割インデックスPartIdxを１とする。図７（ｃ）に示すＮ×２Ｎ分割（PART_Nx2N）では左の予測ブロックの分割インデックスPartIdxを０とし、右の予測ブロックの分割インデックスPartIdxを１とする。図７（ｄ）に示すＮ×Ｎ分割（PART_NxN）では、左上の予測ブロックの分割インデックスPartIdxを０とし、右上の予測ブロックの分割インデックスPartIdxを１とし、左下の予測ブロックの分割インデックスPartIdxを２とし、右下の予測ブロックの分割インデックスPartIdxを３とする。

予測モード（PredMode）がイントラ予測（MODE_INTRA）では、最小の符号化ブロックである符号化ブロックＤ（本実施例は輝度信号で８×８画素）以外では、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）を定義し、最小の符号化ブロックである符号化ブロックＤのみ、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）とＮ×Ｎ分割（PART_NxN）を定義する。

予測モード（PredMode）がインター予測（MODE_INTER）では、最小の符号化ブロックである符号化ブロックＤ以外では、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、及びＮ×２Ｎ分割（PART_Nx2N）を定義し、最小の符号化ブロックである符号化ブロックＤのみ、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、及びＮ×２Ｎ分割（PART_Nx2N）に加えてＮ×Ｎ分割（PART_NxN）を定義する。なお、最小の符号化ブロック以外にＮ×Ｎ分割（PART_NxN）を定義しない理由は最小の符号化ブロック以外では、符号化ブロックを４分割して小さな符号化ブロックを表現できるからである。

（イントラ予測、イントラ予測モードについて）
イントラ予測では同じ画面内の周囲の復号済みの後述する変換ブロックの画素の値から処理対象変換ブロックの画素の値を予測する。本実施例の符号化装置及び復号装置では予測ブロック毎に３５通りのイントラ予測モードから選択して、変換ブロック毎にイントラ予測する。予測ブロックと、変換ブロックのサイズが異なる場合があるが、変換ブロックのイントラ予測の際には、当該変換ブロックを含む予測ブロックのイントラ予測モードが使われる。図８は本実施例で規定するイントラ予測モードの値と予測方向の説明図である。イントラ予測モードの値は０から３４までのモード番号で規定される。イントラ予測モード（intraPredMode）は、周囲の復号済みのブロックから画素値を内挿することにより予測する平面予測（イントラ予測モードintraPredMode=0）、周囲の復号済みのブロックから平均値を導出することにより予測する平均値予測（イントラ予測モードintraPredMode=1）に加えて、周囲の復号済みのブロックから様々な角度で予測する３３通りの角度予測（イントラ予測モードintraPredMode=2…34）を定義する。

（変換ブロック）
従来と同様に、本実施の形態でもＤＣＴ（離散コサイン変換）、ＤＳＴ（離散サイン変換）等の、離散信号を周波数領域へ変換する直交変換とその逆変換を用いて、符号量の削減を図る。符号化ブロックを階層的に４分割した変換ブロック単位で、変換、または逆変換を行う。実施の形態においては、３２×３２画素、１６×１６画素、８×８画素、４×４画素の４通りの変換サイズを定義し、３２×３２変換、１６×１６変換、８×８変換、４×４変換、およびそれぞれの逆変換を行うものとする。

（ツリーブロック、符号化ブロック、予測ブロック、変換ブロックの位置）
本実施例で説明するツリーブロック、符号化ブロック、予測ブロック、変換ブロックを始めとする各ブロックの位置は、輝度信号の画面の一番左上の輝度信号の画素の位置を原点（０，０）とし、それぞれのブロックの領域に含まれる一番左上の輝度信号の画素の位置を（ｘ，ｙ）の二次元座標で表す。座標軸の向きは水平方向に右の方向、垂直方向に下の方向をそれぞれ正の向きとし、単位は輝度信号の１画素単位である。輝度信号と色差信号で画像サイズ（画素数）が同じである色差フォーマットが４：４：４の場合ではもちろんのこと、輝度信号と色差信号で画像サイズ（画素数）が異なる色差フォーマットが４：２：０、４：２：２の場合でも色差信号の各ブロックの位置をそのブロックの領域に含まれる輝度信号の画素の座標で表し、単位は輝度信号の１画素である。この様にすることで、色差信号の各ブロックの位置が特定できるのはもちろんのこと、座標の値を比較するだけで、輝度信号のブロックと色差信号のブロックの位置の関係も明確となる。図９は色差フォーマットが４：２：０での本実施例で規定するブロックの位置の説明をするための一例の図である。図９の×は画像の画面平面上での輝度信号の画素の位置を示し、○は色差信号の画素の位置を示す。図９の点線の四角形は８×８画素の輝度信号のブロックＥであると同時に、４×４画素の色差信号のブロックＦでもある。▲は点線で示される８×８画素の輝度信号のブロックＥの一番左上の輝度信号の画素の位置である。したがって、▲は点線で示される８×８画素の輝度信号のブロックＥの位置となり、▲で示される画素の輝度信号の座標を点線で示される８×８画素の輝度信号のブロックＥの座標となる。同様に、▲は点線で示される４×４画素の色差信号のブロックＦの領域に含まれる一番左上の輝度信号の画素の位置でもある。したがって、▲は点線で示される４×４画素の色差信号のブロックＦの位置ともなり、▲で示される画素の輝度信号の座標を点線で示される４×４画素の色差信号のブロックＦの座標となる。実施の形態においては、色差フォーマットの種類やブロックの形状、大きさにかかわらず、定義した輝度信号のブロックの座標と色差信号のブロックの座標のｘ成分とｙ成分の値が共に同一の場合にだけ、これらのブロックは同じ位置にあると定義する。

図１は実施の形態に係る画像符号化装置の構成を示すブロックである。実施の形態の画像符号化装置は、色差フォーマット設定部１０１、画像メモリ１０２、イントラ予測部１０３、インター予測部１０４、符号化方法決定部１０５、残差信号生成部１０６、直交変換・量子化部１０７、逆量子化・逆直交変換部１０８、復号画像信号重畳部１０９、復号画像メモリ１１１、第１の符号化ストリーム生成部１１２、第２の符号化ストリーム生成部１１３、第３の符号化ストリーム生成部１１４、符号化ストリーム多重化部１１５を備える。

色差フォーマット設定部１０１では符号化対象の画像信号の色差フォーマットを設定する。色差フォーマット設定部１０１に供給される符号化画像信号から色差フォーマットを判断して色差フォーマットを設定してもよいし、外部から設定してもよい。輝度信号のみ、４：２：０、４：２：２、または４：４：４と設定された色差フォーマットの情報は第１の符号化ストリーム生成部１１２に供給されるとともに、第２の符号化ストリーム生成部１１３に供給されて、色差フォーマットに基づいた符号化処理が行われる。なお、図示していないが、図１の画像メモリ１０２、イントラ予測部１０３、インター予測部１０４、符号化方法決定部１０５、残差信号生成部１０６、直交変換・量子化部１０７、逆量子化・逆直交変換部１０８、復号画像信号重畳部１０９、第３の符号化ストリーム生成部１１４でもこの設定された色差フォーマットに基づいて符号化処理が行われ、符号化情報格納メモリ１１０、復号画像メモリ１１１では、この設定された色差フォーマットに基づいて管理される。

画像メモリ１０２では、時間順に供給された符号化対象の画像信号を一時格納する。画像メモリ１０２に格納された符号化対象の画像信号は符号化順序に並べ替えられて、設定に応じた複数の組み合わせでそれぞれの符号化ブロック単位に分割され、さらに、それぞれの予測ブロック単位に分割されて、イントラ予測部１０３、インター予測部１０４に供給される。

イントラ予測部１０３は複数の符号化ブロック単位におけるそれぞれの分割モード（PartMode）に応じた予測ブロック単位で、復号画像メモリ１１１に格納された復号済みの画像信号から符号化対象の予測ブロックの輝度信号、色差信号それぞれについて複数のイントラ輝度予測モード、及びイントラ色差予測モードを設定し、イントラ輝度予測モード、及びイントラ色差予測モードに応じたそれぞれのイントラ予測を変換ブロック毎に行い、イントラ予測信号を得る。なお、イントラ色差予測モードはイントラ輝度予測モードから予測される値、または、代表的なイントラ予測モードである０（平面予測）、１（平均値予測）、１０（水平予測）、２６（垂直予測）、３４（斜め予測）のいずれかを予測ブロック毎に選択することができる。ただし本実施の形態においては、色差フォーマットが４：２：２のイントラ予測の際には後述する第２のイントラ色差予測モードを用いる。なお、色差信号のイントラ予測、及びイントラ予測モードについては後ほど詳細に説明する。

予測ブロック単位に供給された符号化対象の信号から、予測ブロック単位のイントラ予測信号を画素毎に減算して、予測残差信号を得る。その予測残差信号を用いて符号量と歪量を評価するための評価値を導出し、予測ブロック単位で、複数のイントラ輝度予測モード、及びイントラ色差予測モードの中から最も符号量、及び歪量の観点で最適なモードを選択し、当該予測ブロックのイントラ予測の候補として、選択されたイントラ予測モードに対応するイントラ予測情報、イントラ予測信号、及びイントラ予測の評価値を符号化方法決定部１０５に供給する。

インター予測部１０４は複数の符号化ブロック単位におけるそれぞれの分割モード（PartMode）に応じた単位、即ち予測ブロック単位で、復号画像メモリ１１１に格納された復号済みの画像信号から複数のインター予測モード（Ｌ０予測、Ｌ１予測、両予測）、及び参照画像に応じたそれぞれのインター予測を行い、インター予測信号を得る。その際、動きベクトル探索を行い、探索された動きベクトルに応じてインター予測を行う。なお、両予測の場合は、２つのインター予測信号を画素毎に平均、または重み付け加算することにより、両予測のインター予測を行う。予測ブロック単位に供給された符号化対象の信号から、予測ブロック単位のインター予測信号を画素毎に減算して、予測残差信号を得る。その予測残差信号を用いて符号量と歪量を評価するための評価値を導出し、予測ブロック単位で、複数のインター予測モードの中から最も符号量、及び歪量の観点で最適なモードを選択し、当該予測ブロックのインター予測の候補として、選択されたインター予測モードに対応するインター予測情報、インター予測信号、及びインター予測の評価値を符号化方法決定部１０５に供給する。

符号化方法決定部１０５は複数の符号化ブロック単位におけるそれぞれの予測ブロック毎に選択されたイントラ予測情報に対応するイントラ予測評価値及びインター予測情報に対応するインター予測評価値に基づき、最適な符号化ブロックの分割方法、予測モード（PredMode）、分割モード（PartMode）を決定し、決定に応じたイントラ予測情報、またはインター予測情報を含む符号化情報を第２の符号化ストリーム生成部１１３に供給するとともに、符号化情報格納メモリ１１０に格納し、決定に応じたイントラ予測またはインター予測された予測信号を残差信号生成部１０６、及び復号画像信号重畳部１０９に供給する。

残差信号生成部１０６は、符号化する画像信号からイントラ予測またはインター予測された予測信号を画素毎に減じて残差信号を生成し、直交変換・量子化部１０７に供給する。

直交変換・量子化部１０７は、供給される残差信号に対して量子化パラメータに応じてＤＣＴやＤＳＴ等の周波数領域に変換する直交変換及び量子化を行い直交変換・量子化された残差信号を生成し、第３の符号化ストリーム生成部１１４、及び逆量子化・逆直交変換部１０８に供給する。

第１の符号化ストリーム生成部１１２は、シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、シーケンス、ピクチャ、及びスライス単位の符号化情報に関するシンタックス要素の値を導出し、導出した各シンタックス要素の値をシンタックス規則に従って、可変長符号化、算術符号化等によるエントロピー符号化を行い、第１の符号化ストリームを生成し、符号化された第１の符号化ストリームを符号化ストリーム多重化部１１５に供給する。色差フォーマットに関するシンタックス要素の値も第１の符号化ストリーム生成部１１２で導出される。色差フォーマット設定部１０１から供給される色差フォーマット情報から色差フォーマットに関するシンタックス要素を導出する。図１０は本実施例で規定するシーケンス全体の符号化に関する情報を符号化するヘッダとなるシーケンス・パラメータ・セットで色差フォーマット情報を符号化する際の、シンタックスの定義の一例である。シンタックス要素chroma_format_idcは色差フォーマットの種類を示す。シンタックス要素chroma_format_idcの意味は値が０はモノクロ、１は４：２：０、２は４：２：２、３は４：４：４を表す。また、シンタックス要素separate_colour_plane_flagの意味は輝度信号と色差信号が別々に符号化されるかどうかを表し、separate_colour_plane_flagの値が０の場合、輝度信号に２つの色差信号が対応付けられて符号化されることを表す。シンタックス要素chroma_format_idcの値が１の場合、輝度信号と２つの色差信号が別々に符号化されることを表す。シンタックス要素chroma_format_idcの値が３、即ち色差フォーマットが４：４：４の場合のみ、chroma_format_idcの値を０または１に設定することができ、それ以外の色差フォーマットでは、常にシンタックス要素separate_colour_plane_flagの値が０であるものとして、符号化される。

第２の符号化ストリーム生成部１１３は、シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、符号化ブロック単位の符号化情報に加えて、予測ブロック毎に符号化方法決定部１０５によって決定された符号化情報に関するシンタックス要素の値を導出する。具体的には、符号化ブロックの分割方法、予測モード（PredMode）、分割モード（PartMode）等の符号化ブロック単位の符号化情報に加えて、予測ブロック単位の符号化情報に関するシンタックス要素の値を導出する。予測モード（PredMode）がイントラ予測の場合、イントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードに関するシンタックス要素の値を導出し、予測モード（PredMode）がインター予測の場合、インター予測モード、参照画像を特定する情報、動きベクトル等のインター予測情報に関するシンタックス要素の値を導出する。導出された各シンタックス要素の値をシンタックス規則に従って、可変長符号化、算術符号化等によるエントロピー符号化を行い、第２の符号化ストリームを生成し、符号化された第２の符号化ストリームを符号化ストリーム多重化部１１５に供給する。なお、第２の符号化ストリーム生成部１１３で行われるイントラ輝度予測モード、及びイントラ色差予測モードに関するシンタックス要素の導出に関する詳細な処理内容については後述する。

第３の符号化ストリーム生成部１１４は、直交変換及び量子化された残差信号を規定のシンタックス規則に従って可変長符号化、算術符号化等によるエントロピー符号化を行い、第３の符号化ストリームを生成して、第３の符号化ストリームを符号化ストリーム多重化部１１５に供給する。

符号化ストリーム多重化部１１５で、第１の符号化ストリームと第２の符号化ストリーム、及び第３の符号化ストリームを規定のシンタックス規則に従って多重化してビットストリームを生成し、多重化されたビットストリームを出力する。

逆量子化・逆直交変換部１０８は、直交変換・量子化部１０７から供給された直交変換・量子化された残差信号を逆量子化及び逆直交変換して残差信号を導出し、復号画像信号重畳部１０９に供給する。復号画像信号重畳部１０９は、符号化方法決定部１０５による決定に応じてイントラ予測またはインター予測された予測信号と逆量子化・逆直交変換部１０８で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ１１１に格納する。なお、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ１１１に格納されることもある。

図２は図１の画像符号化装置に対応した実施の形態に係る画像復号装置の構成を示すブロックである。実施の形態の画像復号装置は、符号化ストリーム分離部２０１、第１の符号化ストリーム復号部２０２、第２の符号化ストリーム復号部２０３、第３の符号化ストリーム復号部２０４、色差フォーマット管理部２０５、イントラ予測部２０６、インター予測部２０７、逆量子化・逆直交変換部２０８、復号画像信号重畳部２０９、符号化情報格納メモリ２１０、復号画像メモリ２１１、およびスイッチ２１２、２１３を備える。

符号化ストリーム分離部２０１に供給されるビットストリームは規定のシンタックスの規則に従って分離し、シーケンス、ピクチャ、及びスライス単位の符号化情報を示す第１の符号化ストリームが第１の符号化ストリーム復号部２０２に供給され、符号化ブロック単位の符号化情報を含む第２の符号化ストリームが第２の符号化ストリーム復号部２０３に供給され、直交変換及び量子化された残差信号を含む第３の符号化ストリームが第３の符号化ストリーム復号部２０４に供給される。

第１の符号化ストリーム復号部２０２は、シンタックス規則に従って、供給された第１の符号化ストリームをエントロピー復号して、シーケンス、ピクチャ、及びスライス単位の符号化情報に関するシンタックス要素のそれぞれの値を得る。シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、復号されたシーケンス、ピクチャ、及びスライス単位の符号化情報に関するシンタックス要素の値から、シーケンス、ピクチャ、及びスライス単位の符号化情報を導出する。第１の符号化ストリーム復号部２０２は符号化側の第１の符号化ストリーム生成部１１２に対応する符号化ストリーム復号部であり、第１の符号化ストリーム生成部１１２で符号化されたシーケンス、ピクチャ、及びスライス単位の符号化情報を含む第１の符号化ストリームからそれぞれの符号化情報に戻す機能を有する。第１の符号化ストリーム生成部１１２で符号化された色差フォーマット情報は第１の符号化ストリーム復号部２０２で第２の符号化ストリームをエントロピー復号することにより得られる色差フォーマット情報に関するシンタックス要素の値から導出する。図１０に示すシンタックス規則、及びセマンティクス規則に従って、シンタックス要素chroma_format_idcの値から色差フォーマットの種類を特定し、シンタックス要素chroma_format_idcの値が０はモノクロ、１は４：２：０、２は４：２：２、３は４：４：４となる。さらに、シンタックス要素chroma_format_idcの値が３、即ち色差フォーマットが４：４：４の時にはシンタックス要素separate_colour_plane_flagを復号して、輝度信号と色差信号が別々に符号化されているかどうかを判別する。導出された色差フォーマット情報は色差フォーマット管理部２０５に供給される。

色差フォーマット管理部２０５は、供給された色差フォーマット情報を管理する。供給された色差フォーマット情報は第２の符号化ストリーム復号部２０３に供給され、色差フォーマット情報に基づいた符号化ブロック、及び予測ブロックの符号化情報の導出処理が行われる。なお、図に明示していないが、第３の符号化ストリーム復号部２０４、図２のイントラ予測部２０６、インター予測部２０７、逆量子化・逆直交変換部２０８、復号画像信号重畳部２０９でもこの色差フォーマット情報に基づいた復号処理が行われ、符号化情報格納メモリ２１０、復号画像メモリ２１１ではこの色差フォーマット情報に基づいて管理される。

第２の符号化ストリーム復号部２０３は、シンタックス規則に従って、供給された第１の符号化ストリームをエントロピー復号して、符号化ブロック、及び予測ブロック単位の符号化情報に関するシンタックス要素のそれぞれの値を得る。シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、供給された符号化ブロック単位、及び予測ブロック単位の符号化情報に関するシンタックス要素の値から、符号化ブロック単位、及び予測ブロック単位の符号化情報を導出する。第２の符号化ストリーム復号部２０３は符号化側の第２の符号化ストリーム生成部１１３に対応する符号化ストリーム復号部であり、第２の符号化ストリーム生成部１１３で符号化された符号化ブロック、及び予測ブロック単位の符号化情報を含む第２の符号化ストリームからそれぞれの符号化情報に戻す機能を有する。具体的には、第２の符号化ストリームを規定のシンタックス規則に従って復号することにより得られる各シンタックス要素から、符号化ブロックの分割方法、予測モード（PredMode）、分割モード（PartMode）に加えて、予測モード（PredMode）がイントラ予測の場合、イントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードを得る。一方、予測モード（PredMode）がインター予測の場合、インター予測モード、参照画像を特定する情報、動きベクトル等のインター予測情報を得る。予測モード（PredMode）がイントラ予測の場合、スイッチ２１２を通じて、イントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードをイントラ予測部２０６に供給し、予測モード（PredMode）がインター予測の場合、スイッチ２１２を通じて、インター予測モード、参照画像を特定する情報、動きベクトル等のインター予測情報をインター予測部２０７に供給する。なお、第２の符号化ストリーム復号部２０３で行われるエントロピー復号処理、及びイントラ輝度予測モード、及びイントラ色差予測モードに関するシンタックス要素からのイントラ輝度予測モード、及びイントラ色差予測モードの導出処理に関する詳細な処理については後述する。

第３の符号化ストリーム復号部２０４は、供給された第３の符号化ストリームを復号して直交変換・量子化された残差信号を導出し、直交変換・量子化された残差信号を逆量子化・逆直交変換部２０８に供給する。

イントラ予測部２０６は、供給されるイントラ輝度予測モード、及びイントラ色差予測モードに応じて復号画像メモリ２１１に格納されている復号済みの周辺ブロックからイントラ予測により予測画像信号を生成し、スイッチ２１３を介して、予測画像信号を復号画像信号重畳部２０９に供給する。ただし本実施の形態においては、色差フォーマットが４：２：２のイントラ予測の際には後述する第２のイントラ色差予測モードを用いる。なお、色差信号のイントラ予測、及びイントラ予測モードについては後ほど詳細に説明する。

インター予測部２０７は、供給されるインター予測モード、参照ピクチャを特定する情報、動きベクトル等のインター予測情報を用いて復号画像メモリ２１１に格納されている復号済みの参照ピクチャから動き補償を用いたインター予測により予測画像信号を生成し、スイッチ２１３を介して、予測画像信号を復号画像信号重畳部２０９に供給する。なお、両予測の場合は、Ｌ０予測、Ｌ１予測の２つの動き補償予測画像信号に適応的に重み係数を乗算して重畳し、最終的な予測画像信号を生成する。

逆量子化・逆直交変換部２０８は、第３の符号化ストリーム復号部２０４で復号された直交変換・量子化された残差信号に対して逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。

復号画像信号重畳部２０９は、イントラ予測部２０６、またはインター予測部２０７で予測された予測画像信号と、逆量子化・逆直交変換部２０８により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を復号し、復号画像メモリ２１１に格納する。復号画像メモリ２１１に格納する際には、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ２１１に格納されることもある。復号画像メモリ２１１に格納された復号画像信号は、出力順で出力される。

次に、図１の画像符号化装置のイントラ予測部１０３、及び図２の画像復号装置のイントラ予測部２０６で行われるイントラ予測、及びイントラ予測の際に用いられ、図１の第２の符号化ストリーム生成部１１３で符号化され、図２の第２の符号化ストリーム復号部２０３で復号されるイントラ予測モードについて説明する。

イントラ予測では同じ画面内の周囲の復号済みの変換ブロックの画素の値から処理対象の変換ブロックの画素の値を予測する。本実施例の符号化装置及び復号装置では３５通りのイントラ予測モードから選択して、イントラ予測する。図８は本実施例で規定するイントラ予測モードの値と予測方向を説明図である。矢印の指し示す方向は各イントラ予測の予測方向、即ちイントラ予測で参照する方向を示す。各イントラ予測モードにおいてイントラ予測の対象となる変換ブロックに隣接する変換ブロックに含まれるイントラ予測の予測方向（図８の矢印の指し示す方向）の復号済みの境界の画素を参照して各画素（図８の矢印の始点の画素）のイントラ予測を行う。左側、上側の番号はイントラ予測モードの値を示す。右側、下側の数字はそれぞれ左側、上側のイントラ予測モードに対応するイントラ予測の角度を示す。イントラ予測モード（intraPredMode）は、周囲の復号済みの変換ブロックの画素から画素値を内挿することにより予測する平面予測（イントラ予測モードintraPredMode=0）、周囲の復号済みの変換ブロックの画素から平均値を導出することにより予測する平均値予測（イントラ予測モードintraPredMode=1）に加えて、周囲の復号済みの変換ブロックの画素から様々な角度で予測する３３通りの角度予測（イントラ予測モードintraPredMode=2…34）を定義する。なお、この角度予測には上の復号済みの変換ブロックの画素から垂直方向に予測する垂直予測（イントラ予測モードintraPredMode=26）、左の復号済みの変換ブロックの画素から水平方向に予測する水平予測（イントラ予測モードintraPredMode=10）も含まれる。なお、本実施例では水平方向の単位長さ３２に対する垂直方向の長さ、または垂直方向の単位長さ３２に対する水平方向の長さによってイントラ予測の角度を表す。水平方向に予測する水平予測のイントラ予測モードに対応するイントラ予測の角度を０として、水平方向の単位長さ３２に対する垂直方向の長さを下方向に正、上方向に負の値で表し、イントラ予測の角度とする。または、垂直方向に予測する垂直予測のイントラ予測モードに対応するイントラ予測の角度を０として、垂直方向の単位長さ３２に対する水平方向の長さを右方向に正、左方向に負の値で表し、イントラ予測の角度とする。例えば、イントラ予測の角度が３２は度数法の４５°を表し、−３２は度数法の−４５°を表す。

イントラ予測モードは、輝度信号、色差信号それぞれに用意し、輝度信号用のイントラ予測モードをイントラ輝度予測モード、色差信号用のイントラ予測モードをイントラ色差予測モードと定義する。イントラ輝度予測モードの符号化、および復号においては、周辺のブロックのイントラ輝度予測モードとの相関性を利用し、符号化側で周辺のブロックのイントラ輝度予測モードから予測できると判断された場合は参照するブロックを特定する情報を伝送し、周辺のブロックのイントラ輝度予測モードから予測するよりもイントラ輝度予測モードに別の値を設定した方が良いと判断された場合に、さらにイントラ輝度予測モードの値を符号化、または復号する仕組みを用いる。周辺のブロックのイントラ輝度予測モードから符号化・復号対象ブロックのイントラ輝度予測モードを予測することにより、伝送する符号量を削減できる。一方、イントラ色差予測モードの符号化、および復号においては、色差信号の予測ブロックと同じ位置の輝度信号の予測ブロックのイントラ輝度予測モードとの相関性を利用し、符号化側でイントラ輝度予測モードから予測できると判断された場合はイントラ輝度予測モードの値からイントラ色差予測モードの値を予測し、イントラ輝度予測モードから予測するよりもイントラ色差予測モードに独自の値を設定した方が良いと判断した場合に、イントラ色差予測モードの値を符号化、または復号する仕組みを用いる。イントラ輝度予測モードからイントラ色差予測モードを予測することにより、伝送する符号量を削減できる。

次に、図１の第２の符号化ストリーム生成部１１３で行われる符号化ブロック、及び予測ブロック単位での符号化情報の符号化処理について実施の形態の特徴であるイントラ予測モードに係わるポイントを中心に説明する。図１２は図１の第２の符号化ストリーム生成部１１３の構成を示すブロック図である。

図１２に示すように、図１の第２の符号化ストリーム生成部１１３は、符号化ブロック単位の符号化情報に関するシンタックス要素導出部１２１、イントラ輝度予測モードに関するシンタックス要素導出部１２２、イントラ色差予測モードに関するシンタックス要素導出部１２３、インター予測情報に関するシンタックス要素導出部１２４、イントラ予測モード符号化制御部１２５、エントロピー符号化部１２６から構成されている。第２の符号化ストリーム生成部１１３を構成する各部においては、色差フォーマット設定部１０１から供給される色差フォーマット情報に応じた処理が行われるとともに、符号化ブロック単位の予測モード、分割モード（PartMode）等の符号化情報に応じた処理が行われる。

符号化ブロック単位の符号化情報に関するシンタックス要素導出部１２１は、符号化ブロック単位の符号化情報に関するシンタックス要素の値を導出し、導出した各シンタックス要素の値をエントロピー符号化部１２６に供給する。符号化ブロックのイントラ予測（MODE_INTRA）、またはインター予測（MODE_INTER）を判別する予測モード（PredMode）、及び、予測ブロックの形状を判別する分割モード（PartMode）に関するシンタックス要素の値はこの符号化ブロック単位の符号化情報に関するシンタックス要素導出部１２１で導出される。

イントラ輝度予測モードに関するシンタックス要素導出部１２２は、符号化ブロックの予測モード（PredMode）がイントラ予測（MODE_INTRA）の場合に、輝度信号の予測ブロックのイントラ輝度予測モードに関するシンタックス要素の値をそれぞれ導出し、導出した各シンタックス要素の値をエントロピー符号化部１２６に供給する。イントラ輝度予測モードに関するシンタックス要素は周辺のブロックのイントラ輝度予測モードから予測できるかどうかを示すフラグであるシンタックス要素prev_intra_luma_pred_flag[ x0 ][ y0 ]、予測元の予測ブロックを指し示すインデックスであるシンタックス要素mpm_idx[ x0 ][ y0 ]、及び予測ブロック単位のイントラ輝度予測モードを示すシンタックス要素rem_intra_luma_pred_mode[ x0 ][ y0 ]である。なお、x0, 及びy0は予測ブロックの位置を示す座標である。イントラ輝度予測モードに関するシンタックス要素の値の導出においては、符号化情報格納メモリ１１０に格納されている周辺のブロックのイントラ輝度予測モードとの相関性を利用し、周辺のブロックのイントラ輝度予測モードから予測できる場合はその値を用いることを示すフラグであるシンタックス要素prev_intra_luma_pred_flag[ x0 ][ y0 ]を１（真）に設定して、予測元の予測ブロックを指し示すインデックスであるシンタックス要素mpm_idx[ x0 ][ y0 ]に参照先を特定する値を設定し、予測できない場合には、prev_intra_luma_pred_flag[ x0 ][ y0 ]を０（偽）に設定して、符号化するイントラ輝度予測モードを示すシンタックス要素rem_intra_luma_pred_mode[ x0 ][ y0 ]にイントラ輝度予測モードを特定する値を設定する。

なお、分割ブロックに応じて符号化ブロック内の予測ブロックのイントラ輝度予測モードの数が異なり、分割モード（PartMode）が２Ｎ×２Ｎ分割の場合、符号化ブロック毎に１セットの予測ブロックのイントラ輝度予測モードに関するシンタックス要素の値を導出し、分割モードがＮ×Ｎ分割の場合、符号化ブロック毎に４セットの予測ブロックのイントラ輝度予測モードに関するシンタックス要素の値を導出する。

イントラ色差予測モードに関するシンタックス要素導出部１２３は、符号化ブロックの予測モード（PredMode）がイントラ予測（MODE_INTRA）の場合に、色差信号の予測ブロックのイントラ色差予測モードに関するシンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値を導出し、導出したシンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値をエントロピー符号化部１２６に供給する。イントラ予測部１０３でのイントラ色差予測モードの決定、及びイントラ色差予測モードに関するシンタックス要素導出部１２３のイントラ色差予測モードに関するシンタックス要素の値の導出においては、色差信号の予測ブロックと同じ位置の輝度信号の予測ブロックのイントラ輝度予測モードとの相関性を利用し、イントラ色差予測モードが色差信号の予測ブロックと同じ位置の輝度信号の予測ブロックのイントラ輝度予測モードからの予測値が最も適している場合はイントラ輝度予測モードの値からイントラ色差予測モードの値を予測し、イントラ輝度予測モードからの予測値よりも独自の値を設定したほうがよいと判断した場合には、イントラ色差予測モードに代表的なイントラ予測モードである０（平面予測）、１（平均値予測）、１０（水平予測）、２６（垂直予測）、３４（斜め予測）のいずれかの値を設定する仕組みを用いることにより、符号量を削減する。

ここで、復号側の後述するイントラ色差予測モード導出部２２５で、イントラ輝度予測モードの値とイントラ色差予測モードに関するシンタックス要素の値からイントラ色差予測モードの値を導出する方法について説明する。なお、本実施例においては、後述する色差フォーマット４：２：２用のイントラ色差予測モードと区別するために、後述の図１４のテーブルにより導出される４：２：０または４：４：４用のイントラ色差予測モードを第１のイントラ色差予測モードと定義する。図１４は本実施例で規定するイントラ色差予測モードに関するシンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値と色差信号の予測ブロックと同じ位置の予測ブロックのイントラ輝度予測モードの値から第１のイントラ色差予測モードの値導出するテーブルであり、このテーブルを用いて、復号側では、第１のイントラ色差予測モードの値を導出する。
シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値が０の場合、色差信号の予測ブロックと同じ位置の予測ブロックのイントラ輝度予測モードの値が０でなければ、第１のイントラ色差予測モードの値は０（平面予測）の値をとり、イントラ輝度予測モードの値が０であれば、第１のイントラ色差予測モードの値は３４（斜め予測）の値をとる。

シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値が１の場合、色差信号の予測ブロックと同じ位置の予測ブロックのイントラ輝度予測モードの値が１でなければ、第１のイントラ色差予測モードの値は２６（垂直予測）の値をとり、イントラ輝度予測モードの値が１であれば、第１のイントラ色差予測モードの値は３４（斜め予測）の値をとる。

シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値が２の場合、色差信号の予測ブロックと同じ位置の予測ブロックのイントラ輝度予測モードの値が２でなければ、第１のイントラ色差予測モードの値は１０（水平予測）の値をとり、イントラ輝度予測モードの値が２であれば、第１のイントラ色差予測モードの値は３４（斜め予測）の値をとる。

シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値が３の場合、色差信号の予測ブロックと同じ位置の予測ブロックのイントラ輝度予測モードが３でなければ、第１のイントラ色差予測モードの値は１（平均値予測）の値をとり、イントラ輝度予測モードの値が３であれば、第１のイントラ色差予測モードの値は３４（斜め予測）の値をとる。

シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値が４の場合、第１のイントラ色差予測モードの値は色差信号の予測ブロックと同じ位置の予測ブロックのイントラ輝度予測モードと同じ値をとる。

色差フォーマットが４：２：０または４：４：４では、図１４により導出される第１のイントラ色差予測モードを色差フォーマットが４：２：０または４：４：４用の色差信号のイントラ予測モードとして用いる。図１の画像符号化装置のイントラ予測部１０３、及び図２の画像復号装置のイントラ予測部２０６では、色差フォーマットが４：２：０または４：４：４の際に、第１のイントラ色差予測モードを用いて色差信号のイントラ予測を行う。

色差フォーマットが４：２：２では、図１４により導出された第１のイントラ色差予測モードから変換テーブルにより、色差フォーマット４：２：２用のイントラ色差予測モードの値を導出する。本実施の形態の符号化及び復号においては、後述の図１５、図１６、図１７、図３０、または図３３の変換テーブルにより導出される色差フォーマット４：２：２用のイントラ色差予測モードを第２のイントラ色差予測モードと定義する。図１の画像符号化装置のイントラ予測部１０３、及び図２の画像復号装置のイントラ予測部２０６では、色差フォーマットが４：２：２の際に、第２のイントラ色差予測モードを用いて色差信号のイントラ予測を行う。図１５、図１６、図１７、図３０、及び図３３は本実施例で規定するイントラ輝度予測モードまたは図１４のテーブルにより導出された第１のイントラ色差予測モードからさらに色差フォーマットが４：２：２の色差信号のイントラ予測に用いる色差フォーマット４：２：２用の第２のイントラ色差予測モードの値を導出するための変換テーブルである。図１８は本実施例で規定する図１５の変換テーブルで導出されるイントラ予測モードの値と予測方向を説明する図であり、図１９は本実施例で規定する図１６の変換テーブルで導出されるイントラ予測モードの値と予測方向を説明する図であり、図２０は本実施例で規定する図１７の変換テーブルで導出されるイントラ予測モードの値と予測方向を説明する図であり、図３１は本実施例で規定する図３０の変換テーブルで導出されるイントラ予測モードの値と予測方向を説明する図であり、図３４は本実施例で規定する図３３の変換テーブルで導出されるイントラ予測モードの値と予測方向を説明する図である。

本実施の形態では、図１５、図１６、図１７、図３０、及び図３３によるイントラ輝度予測モードまたは第１のイントラ色差予測モードから色差フォーマット４：２：２用の第２のイントラ色差予測モードを導出する処理は、符号化側では符号化装置のイントラ予測部１０３で行われ、復号側では復号装置の第２の符号化ストリーム復号部２０３、あるいはイントラ予測部２０６で行われる。

本実施の形態の符号化及び復号において、色差フォーマットが４：２：２の場合に、４：２：０や、４：４：４の様に図１４のテーブルにより導出された第１のイントラ色差予測モードをそのまま用いるのではなく、図１５、図１６、図１７、図３０、または図３３の変換テーブルを用いて色差フォーマット４：２：２用の第２のイントラ色差予測モードを導出する理由について説明する。色差フォーマットが４：２：２では、図３（ｂ）に示すように輝度信号に対して色差信号が水平方向に２分の１の密度、垂直方向に同じ密度で標本化された色差フォーマットである。したがって、イントラ輝度予測モードまたは第１のイントラ色差予測モードのそれぞれの予測方向に対して、水平方向に２分の１倍にスケーリングした予測方向、またはその近傍の予測方向で色差信号のイントラ予測を行うと、色差信号の予測ブロックと同じ位置の予測ブロックの輝度信号のイントラ予測と等価、または等価に近くなる。

このことを図２１を参照してより詳しく説明する。図２１は色差フォーマットが４：２：２の場合の輝度信号、及び色差信号のイントラ予測の予測方向の対応関係を説明する図である。図２１において、×は輝度信号の画素の位置、○は色差信号の画素の位置を示す。４：２：２では、輝度信号に対して色差信号は水平方向に１／２で標本化（サンプリング）されており、輝度信号と色差信号の画素のアスペクト比が異なる。図２１（ａ）は４：２：２の輝度信号と色差信号の標本化された画素の位置を示す。符号Ｐ１はイントラ予測される画素、符号Ｐ２はイントラ予測の際に参照する画素（実際にはフィルタリングされるのでその隣の画素も参照する）である。符号２７０１に示す画素Ｐ１から画素Ｐ２への矢印は、輝度信号の画素Ｐ１のイントラ予測方向を示すとともに、色差信号の画素Ｐ１のイントラ予測方向を示す。

図２１（ｂ）は、水平方向に１／２でサンプリングされた色差信号の画素の配列を示す。ここで、色差信号のイントラ予測の際に、水平方向に１／２のスケーリングを行わなかった場合、色差信号の画素Ｐ１のイントラ予測方向は符号２７０２で示す矢印の方向となってしまい、色差信号の画素配列において、誤って符号Ｐ３の画素を参照することになってしまう。しかし、正しい参照先は符号Ｐ２の画素である。そこで、輝度信号のイントラ予測方向を水平方向に１／２倍のスケーリングを行い、色差信号のイントラ予測方向とすることで、符号２７０３に示すように、色差信号の配列における正しいイントラ予測方向を導出し、そのイントラ予測方向上の正しい参照先である上側に隣接している画素（実際にはフィルタリングされるのでその隣の画素も参照する）を取得する。

図２１（ａ）、（ｂ）では予測ブロックの上側に隣接する画素を参照している場合を説明したが、左側に隣接する画素を参照している場合でも同様である。左側に隣接する画素の場合は、輝度信号のイントラ予測方向を垂直方向に２倍にスケーリングする（これは水平方向に１／２倍にスケーリングすることとイントラ予測の方向を求める意味では等価である）ことで、色差信号の配列における正しいイントラ予測方向を導出し、そのイントラ予測方向上の正しい参照先である左側に隣接している画素（一部上側に隣接している画素も含む）を取得する。

したがって、図１５及び図１６の変換テーブルでは、それぞれ図１８及び図１９の点線の矢印に示すように、水平方向（水平軸上）に並ぶイントラ輝度予測モードまたは図１４のテーブルにより導出された第１のイントラ色差予測モードの値が１８、１９、２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、３０、３１、３２、３３、３４のとき、予測方向の角度を垂直予測（イントラ予測モード２６）を中心に水平方向に２分の１倍にスケーリングすることにより導出した予測方向に近い予測方向のイントラ予測モードの値を第２のイントラ色差予測モードの値として選択し、第２のイントラ色差予測モードの値をそれぞれ、２１、２２、２３、２３、２４、２４、２５、２５、２６、２７、２７、２８、２８、２９、２９、３０、３１とする。また、イントラ予測の予測方向を水平方向に２分の１倍にスケーリングすることは、垂直方向に２倍にスケーリングすることと等価である。したがって、イントラ輝度予測モードまたは第１のイントラ色差予測モードのそれぞれの予測方向に対して、水平予測（イントラ予測モード１０）を中心に垂直方向に２倍にスケーリングした予測方向、またはその近傍の予測方向で色差信号のイントラ予測を行うと、色差信号の予測ブロックと同じ位置の予測ブロックの輝度信号のイントラ予測と等価、または等価に近くなる。したがって、図１５及び図１６の変換テーブルでは、それぞれ図１８及び図１９に示すように、垂直方向（垂直軸上）に並ぶイントラ予測モード（イントラ輝度予測モードまたは第１のイントラ色差予測モード）の値が２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７のとき、予測方向の角度を水平予測（イントラ予測モード１０）を中心に垂直方向に２倍にスケーリングすることにより導出した予測方向に近い予測方向のイントラ予測モードの値を第２のイントラ色差予測モードの値として選択し、第２のイントラ色差予測モードの値をそれぞれ、２、２、２、２、３、５、７、８、１０、１２、１３，１５，１７、１８、１８、１８、１８、及び２、２、２、２、３、５、７、８、１０、１２、１３，１５，１７、１８、１８、１９、２０とする。

また、図１７の変換テーブルを用いてイントラ予測モード（イントラ輝度予測モードまたは第１のイントラ色差予測モード）から第２のイントラ色差予測モードに変換することもできる。図１７の変換テーブルでは、図２０の点線の矢印に示すように、参照先が水平方向（水平軸上）に並ぶイントラ輝度予測モードまたは図１４のテーブルにより導出された第１のイントラ色差予測モードの値が１８、１９、２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、３０、３１、３２、３３、３４のとき、イントラ輝度予測モードまたは第１のイントラ色差予測モードを垂直予測（イントラ予測モード２６）を中心に水平方向に２分の１倍にスケーリングすることにより導出した値を第２のイントラ色差予測モードの値とし、第２のイントラ色差予測モードの値をそれぞれ、２２、２２、２３、２３、２４、２４、２５、２５、２６、２７、２７、２８、２８、２９、２９、３０、３０とする。また、イントラ予測の予測方向を水平方向に２分の１倍にスケーリングすることは、垂直方向に２倍にスケーリングすることと等価である。したがって、イントラ輝度予測モードまたは第１のイントラ色差予測モードのそれぞれの予測方向に対して、水平予測（イントラ予測モード１０）を中心に垂直方向に２倍にスケーリングした予測方向、またはその近傍の予測方向で色差信号のイントラ予測を行うと、色差信号の予測ブロックと同じ位置の予測ブロックの輝度信号のイントラ予測と等価、または等価に近くなる。したがって、図１７の変換テーブルでは、図２０の点線の矢印に示すように、参照先が垂直方向（垂直軸上）に並ぶイントラ輝度予測モードまたは第１のイントラ色差予測モードの値が２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７のとき、イントラ輝度予測モードまたは第１のイントラ色差予測モードを水平予測（イントラ予測モード１０）を中心に垂直方向に２倍にスケーリングし、２以上１８以下に制限することにより導出した値をイントラ色差予測モードの値とし、第２のイントラ色差予測モードの値を２、２、２、２、２、４、６、８、１０、１２、１４，１６，１８、１８、１８、１８とする。

また、図３０の変換テーブルを用いてイントラ予測モード（イントラ輝度予測モードまたは第１のイントラ色差予測モード）から第２のイントラ色差予測モードに変換することもできる。図３０の変換テーブルでは、図３１の点線の矢印に示すように、イントラ輝度予測モードまたは図１４のテーブルにより導出された第１のイントラ色差予測モードの値が１６、１７、１８、１９、２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、３０、３１、３２、３３、３４のとき、イントラ輝度予測モードまたは第１のイントラ色差予測モードを垂直予測（イントラ予測モード２６）を中心に水平方向に２分の１倍にスケーリングすることにより導出した値を第２のイントラ色差予測モードの値とし、第２のイントラ色差予測モードの値をそれぞれ、２１、２１、２２、２２、２３、２３、２４、２４、２５、２５、２６、２７、２７、２８、２８、２９、２９、３０、３０とする。また、イントラ輝度予測モードまたは第１のイントラ色差予測モードの値が２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５のとき、イントラ輝度予測モードまたは第１のイントラ色差予測モードを水平予測（イントラ予測モード１０）を中心に垂直方向に２倍にスケーリングし、２以上に制限することにより導出した値を第２のイントラ色差予測モードの値とし、第２のイントラ色差予測モードの値を２、２、２、２、２、４、６、８、１０、１２、１４，１６，１８、２０とする。

また、図３３の変換テーブルを用いてイントラ予測モード（イントラ輝度予測モードまたは第１のイントラ色差予測モード）から第２のイントラ色差予測モードに変換することもできる。図３３の変換テーブルでは、図３４の点線の矢印に示すように、イントラ輝度予測モードまたは図１４のテーブルにより導出された第１のイントラ色差予測モードの値が２１、２２、２３、２４、２５、２６、２７、２８、２９、３０、３１のとき、イントラ輝度予測モードまたは第１のイントラ色差予測モードを垂直予測（イントラ予測モード２６）を中心に水平方向に２分の１倍にスケーリングすることにより導出した値を第２のイントラ色差予測モードの値とし、第２のイントラ色差予測モードの値をそれぞれ、２３、２４、２４、２５、２５、２６、２７、２７、２８、２８、２９とする。また、イントラ輝度予測モードまたは第１のイントラ色差予測モードの値が７、８、９、１０、１１、１２、１３のとき、イントラ輝度予測モードまたは第１のイントラ色差予測モードを水平予測（イントラ予測モード１０）を中心に垂直方向に２倍にスケーリングすることにより導出した値を第２のイントラ色差予測モードの値とし、第２のイントラ色差予測モードの値を４、６、８、１０、１２、１４、１６とする。さらに、イントラ輝度予測モードまたは第１のイントラ色差予測モードの値が２、３、４、５、６のとき、イントラ輝度予測モードまたは第１のイントラ色差予測モードから３を減算し、２以上に制限することにより導出した値を第２のイントラ色差予測モードの値とし、第２のイントラ色差予測モードの値を２、２、２、２、３とする。さらに、イントラ輝度予測モードまたは第１のイントラ色差予測モードの値が１４、１５、１６、１７、１８、１９、２０のとき、イントラ輝度予測モードまたは第１のイントラ色差予測モードに３を加算することにより導出した値を第２のイントラ色差予測モードの値とし、第２のイントラ色差予測モードの値を１７、１８、１９、２０、２１、２２とする。さらに、イントラ輝度予測モードまたは第１のイントラ色差予測モードの値が３２、３３、３４のとき、イントラ輝度予測モードまたは第１のイントラ色差予測モードから３を減算することにより導出した値を第２のイントラ色差予測モードの値とし、第２のイントラ色差予測モードの値を２９、３０、３１とする。

色差フォーマットが４：２：２において、第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換する際の図１５及び図１６の変換テーブルに対応する第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換する際の導出処理手順について図２３のフローチャートを用いて説明する。

第１のイントラ予測モードIntraPredMode1の０から３４までの各値において、図２３のフローチャートの手順により、第２のイントラ予測モードIntraPredMode2を導出する。

まず、角度予測ではない場合、即ち第１のイントラ予測モードIntraPredMode1が１以下の場合（図２３のステップＳ３００１のＮＯ）、第１のイントラ予測モードIntraPredMode1の値をそのまま第２のイントラ色差予測モードIntraPredMode2として（図２３のステップＳ３００２）、本導出処理を終了する。第１のイントラ予測モードIntraPredMode1が１以下なのは周囲の復号済みのブロックから画素値を内挿することにより予測する平面予測（イントラ予測モードintraPredMode1=0）、周囲の復号済みのブロックから平均値を導出することにより予測する平均値予測（イントラ予測モードintraPredMode1=1）である。

一方、第１のイントラ色差予測モードIntraPredMode1が角度予測の場合、即ち１より大きい場合（図２３のステップＳ３００１のＹＥＳ）、ステップＳ３００３以降の第１のイントラ色差予測モードから第２のイントラ色差予測モードへの変換処理を行う。
イントラ色差予測モードIntraPredMode1が１８より小さい場合（図２３のステップＳ３００３のＹＥＳ）、第１のイントラ色差予測モードIntraPredMode1に対応する第１のイントラ予測の角度IntraPredAngle1を２倍して、イントラ予測の角度IntraPredAngle2'とする（図２３のステップＳ３００４）。さらに、イントラ予測の角度IntraPredAngle2'に近い第１のイントラ予測の角度IntraPredAngle1に対応するイントラ輝度予測モードまたは第１のイントラ色差予測モードIntraPredMode1の値を第２のイントラ予測モードIntraPredMode2に設定し（図２３のステップＳ３００５）、本導出処理を終了する。ただし、第１のイントラ予測モードが２、３、４及び５の場合、イントラ予測の角度IntraPredAngle2'の値が−３２以下となるが、その際のイントラ予測の角度は−３２とし、第２のイントラ色差予測モードは２とする。第１のイントラ予測モードが１５、１６及び１７の場合、イントラ予測の角度IntraPredAngle2'の値が３２以上となるが、その際のイントラ予測の角度は３２とし、第２のイントラ色差予測モードは１８とする。なお、図１９に示すように、第１のイントラ予測モードが１６に対応するイントラ予測の角度を縦方向に２倍すると、イントラ予測モードが１９に対応するイントラ予測の角度に近い値をとり、第１のイントラ予測モードが１７に対応するイントラ予測の角度を縦方向に２倍すると、イントラ予測モードが２０に対応するイントラ予測の角度に近い値をとる。そこで、図１９に示すように、第１のイントラ予測モードが１６の場合、第２のイントラ予測モードを１９とし、第１のイントラ予測モードが１７の場合、第２のイントラ予測モードを２０とすることもできる。

一方、イントラ色差予測モードIntraPredMode1が１８より小さくない場合、即ち１８以上の場合（図２３のステップＳ３００３のＮＯ）、第１のイントラ色差予測モードIntraPredMode1に対応する第１のイントラ予測の角度IntraPredAngle1を１／２倍して、イントラ予測の角度IntraPredAngle2'とする（図２３のステップＳ３００６〜Ｓ３００７）。本実施例では、第１のイントラ色差予測モードIntraPredMode1に対応する第１のイントラ予測の角度IntraPredAngle1の正負符号に応じて、負の場合−１、正または変数ａが０の場合１の値を持つ変数SignIntraPredAngleに値を設定し（図２３のステップＳ３００６）、第１のイントラ色差予測モードIntraPredMode1の絶対値に１／２倍と等価の１ビット右シフト演算を行った結果に変数SignIntraPredAngleを乗算し、イントラ予測の角度IntraPredAngle2'に設定する（図２３のステップＳ３００７）。なお、第１のイントラ色差予測モードIntraPredMode1の絶対値に１を加えてから１／２倍と等価の１ビット右シフト演算を行った結果に変数SignIntraPredAngleを乗算し、イントラ予測の角度IntraPredAngle2'に設定してもよい。さらに、イントラ予測の角度IntraPredAngle2'に近いイントラ輝度予測モード及び第１のイントラ色差予測モードで用意されているイントラ予測の角度（図８の下段）に対応するイントラ予測モード（図８の上段）の値を第２のイントラ予測モードIntraPredMode2に設定し（図２３のステップＳ３００８）、本導出処理を終了する。イントラ予測の角度IntraPredAngle2'をイントラ輝度予測モード及び第１のイントラ色差予測モードで用意されているイントラ予測の角度に値を丸める際には、イントラ予測の角度IntraPredAngle2'に最も近い値に丸めてもよいし、四捨五入しても、切り上げても、切り下げてもよい。また、イントラ予測の角度IntraPredAngle2'の絶対値を四捨五入するか切り上げるか切り下げて得られた値にイントラ予測の角度IntraPredAngle2'と同じ正負の符号を設定してもよい。

なお、第１のイントラ色差予測モードが２５のイントラ予測の角度を１／２倍すると−１となり、−１はイントラ予測モードの値が２５に対応する−２とイントラ予測モードの値が２６に対応する０のどちらの値にも丸めこむ（変換する）ことができるが、垂直予測を示す２６は常に符号化することができるので、第１のイントラ色差予測モードが２５を第２のイントラ色差予測モードに変換する際には２５とする。第１のイントラ色差予測モードが２７のイントラ予測の角度を１／２倍すると１となり、イントラ予測モードの値が２６に対応する０とイントラ予測モードの値が２７に対応する２のどちらの値に丸めこむ（変換する）ことができるが、垂直予測を示す２６は常に符号化することができるので、第１のイントラ色差予測モードが２７を第２のイントラ色差予測モードに変換する際には２７とする。つまり、図１５、図１６、図１７、図３０及び図３３に示す変換テーブルを用いて第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換する際には、第１のイントラ色差予測モードが垂直予測である２６でない場合には、垂直予測である２６を回避した値に変換することにより、第１イントラ色差予測モードから第２イントラ色差予測モードを導出する。即ち、イントラ輝度予測モードの値とイントラ色差予測モードの値が一致しないときにおいて選択されるイントラ色差予測モードのシンタックス要素（図１４、図２５の０、１、２、３）から導出可能な値（０、１、１０、２６、３４）を回避するように変換する。この様に設定することで、イントラ色差予測モードの選択の幅が広がり、符号化効率を向上させることができる。

なお、ステップＳ３００５、及びＳ３００８において、イントラ予測の角度IntraPredAngle2'に近い第１のイントラ予測の角度IntraPredAngle1に対応するイントラ輝度予測モードまたは第１のイントラ色差予測モードIntraPredMode1の値を第２のイントラ予測モードIntraPredMode2に設定することで、色差フォーマット４：２：２での色差信号のイントラ予測演算をハードウェアで実装する場合、第２のイントラ色差予測モードを用いたイントラ予測演算を、イントラ輝度予測モードまたは第１のイントラ色差予測モードIntraPredMode1に対応したイントラ予測の角度のみで実現できるので、新たなイントラ予測の角度によるハードウェアを追加することなく行うことができる。

なお、この角度予測には上の復号済みのブロックから垂直方向に予測する垂直予測（イントラ予測モードintraPredMode1=26）、左の復号済みのブロックから水平方向に予測する水平予測（イントラ予測モードintraPredMode1=10）も含まれる。ただし、垂直予測、及び水平予測はステップＳ３００３以降の第１のイントラ色差予測モードから第２のイントラ色差予測モードへの変換処理を行っても値は変わらない。したがって、ステップＳ３００１の条件判断において、垂直予測、及び水平予測の場合もステップＳ３００２に進んでもよい。

色差フォーマットが４：２：２において、図１７の変換テーブルに対応する第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換する際の導出処理手順について図２４のフローチャートを用いて説明する。

角度予測ではない場合、即ち第１のイントラ予測モードIntraPredMode1が１以下の場合（図２４のステップＳ３１０１のＮＯ）、第１のイントラ予測モードIntraPredMode1の値をそのまま第２のイントラ色差予測モードIntraPredMode2として（図２４のステップＳ３１０２）、本導出処理を終了する。

一方、第１のイントラ色差予測モードIntraPredMode1が角度予測の場合、即ち１より大きい場合（図２４のステップＳ３１０１のＹＥＳ）、ステップＳ３１０３以降の第１のイントラ色差予測モードから第２のイントラ色差予測モードへの変換処理を行う。
第１のイントラ色差予測モードIntraPredMode1が１８より小さい場合（図２４のステップＳ３１０３のＹＥＳ）、図１４のテーブルにより導出された第１のイントラ色差予測モードを水平予測（イントラ予測モード１０）を中心に垂直方向に２倍にスケーリングすることにより導出した値を第２のイントラ色差予測モードの値とする（図３２のステップＳ３３０４〜Ｓ３３０７）。第１のイントラ色差予測モードIntraPredMode1から水平予測を示す１０を減算して得られる値を変数ａに設定する（図２４のステップＳ３１０４）。続いて、変数ａを２倍して得られる値を変数ｂに設定する（図２４のステップＳ３１０５）。続いて、ｂに水平予測を示す１０を加算して得られる値を変数ｃに設定する（図２４のステップＳ３１０６）。続いて、変数ｃの値を２以上１８以下に制限して得られる値を第２のイントラ予測モードIntraPredMode2に設定し（図２４のステップＳ３１０７）、本導出処理を終了する。具体的には、変数ｃが２以上１８未満の場合、イントラ予測モードIntraPredMode2の値に変数ｃをそのまま設定し、変数ｃが２未満の場合、イントラ予測モードIntraPredMode2に２を設定し、変数ｃが１８を超える場合、イントラ予測モードIntraPredMode2に１８を設定する。即ち、第１のイントラ色差予測モードの角度予測のモード番号をスケーリングして導出された値が、イントラ予測モードで規定される角度予測のモード番号の範囲外になったとき、導出された値をその範囲内の値にする。これにより、色差フォーマット４：２：２での色差信号のイントラ予測演算をハードウェアで実装する場合、第２のイントラ色差予測モードを用いたイントラ予測演算を、ハードウェアを追加することなく行うことができる。

一方、第１のイントラ色差予測モードIntraPredMode1が１８より小さくない場合、即ち１８以上の場合（図２４のステップＳ３１０３のＮＯ）、図１４のテーブルにより導出された第１のイントラ色差予測モードを垂直予測（イントラ予測モード２６）を中心に水平方向に２分の１倍にスケーリングすることにより導出した値を第２のイントラ色差予測モードの値とする（図２４のステップＳ３１０８〜Ｓ３１１２）。第１のイントラ色差予測モードIntraPredMode1から垂直予測を示す２６を減算して得られる値を変数ａに設定する（図２４のステップＳ３１０８）。続いて、変数ａの正負符号に応じて、負の場合−１、正または変数ａが０の場合１の値を持つ変数SignIntraPredModeに値を設定する（図２４のステップＳ３１０９）。続いて変数ａの絶対値に１／２倍と等価の１ビット右シフト演算を行った結果に変数SignIntraPredModeを乗算して得られる値を変数ｂに設定する（図２４のステップＳ３１１０）。なお、変数ａの絶対値に１を加えてから１／２倍と等価の１ビット右シフト演算を行った結果に変数SignIntraPredModeを乗算してえられる値を変数ｂに設定してもよい。続いて、ｂに垂直予測を示す２６を加算して得られる値を変数ｃに設定する（図２４のステップＳ３１１１）。続いて、変数ｃの値を第２のイントラ予測モードIntraPredMode2に設定し（図２４のステップＳ３１１２）、本導出処理を終了する。なお、第１のイントラ色差予測モードが２５に対応する変数ｃの値が２６になる場合においては、常に符号化することができる垂直予測を示す２６を避けて、第１のイントラ色差予測モードが２５を第２のイントラ色差予測モードに変換する際には２５とする。第１のイントラ色差予測モードが２７に対応する変数ｃの値が２６になる場合においては、常に符号化することができる垂直予測を示す２６を避けて、第１のイントラ色差予測モードが２７を第２のイントラ色差予測モードに変換する際には２７とする。即ち、イントラ輝度予測モードの値とイントラ色差予測モードの値が一致しないときにおいて選択されるイントラ色差予測モードのシンタックス要素（図１４、図２５の０、１、２、３）から導出可能な値（０、１、１０、２６、３４）を回避するように丸める（変換する）。
この様に設定することで、イントラ色差予測モードの選択の幅が広がり、符号化効率を向上させることができる。本導出処理手順においては、イントラ輝度予測モードの値とイントラ色差予測モードの値が一致しないときにおいて選択されるイントラ色差予測モードのシンタックス要素（図１４、図２５の１）から導出可能な値２６を回避するように変換するために、ステップＳ３１１０において、変数ａの絶対値に１ビット右シフト演算を行う前に、変数ａの絶対値に１を加える。

色差フォーマットが４：２：２において、図３０の変換テーブルに対応する第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換する際の導出処理手順について図３２のフローチャートを用いて説明する。

角度予測ではない場合、即ち第１のイントラ予測モードIntraPredMode1が１以下の場合（図３２のステップＳ３３０１のＮＯ）、第１のイントラ予測モードIntraPredMode1の値をそのまま第２のイントラ色差予測モードIntraPredMode2として（図３２のステップＳ３３０２）、本導出処理を終了する。

一方、第１のイントラ色差予測モードIntraPredMode1が角度予測の場合、即ち１より大きい場合（図３２のステップＳ３３０１のＹＥＳ）、ステップＳ３３０３以降の第１のイントラ色差予測モードから第２のイントラ色差予測モードへの変換処理を行う。
第１のイントラ色差予測モードIntraPredMode1が１６より小さい場合、即ち１５以下の場合（図３２のステップＳ３３０３のＹＥＳ）、図１４のテーブルにより導出された第１のイントラ色差予測モードを水平予測（イントラ予測モード１０）を中心に垂直方向に２倍にスケーリングし、２以上に制限することにより導出した値を第２のイントラ色差予測モードの値とする（図３２のステップＳ３３０４〜Ｓ３３０７）。第１のイントラ色差予測モードIntraPredMode1から水平予測を示す１０を減算して得られる値を変数ａに設定する（図３２のステップＳ３３０４）。続いて、変数ａを２倍して得られる値を変数ｂに設定する（図３２のステップＳ３３０５）。続いて、ｂに水平予測を示す１０を加算して得られる値を変数ｃに設定する（図３２のステップＳ３３０６）。続いて、変数ｃの値を２以上に制限して得られる値を第２のイントラ予測モードIntraPredMode2に設定し（図３２のステップＳ３３０７）、本導出処理を終了する。具体的には、変数ｃが２以下の場合、イントラ予測モードIntraPredMode2の値を２とする。即ち、第１のイントラ色差予測モードの角度予測のモード番号をスケーリングして導出された値が、イントラ予測モードで規定される角度予測のモード番号の範囲外になったとき、導出された値をその範囲内の値にする。これにより、色差フォーマット４：２：２での色差信号のイントラ予測演算をハードウェアで実装する場合、第２のイントラ色差予測モードを用いたイントラ予測演算を、ハードウェアを追加することなく行うことができる。

一方、第１のイントラ色差予測モードIntraPredMode1が１６より小さくない場合、即ち１６以上の場合（図３２のステップＳ３３０３のＮＯ）、図１４のテーブルにより導出された第１のイントラ色差予測モードを垂直予測（イントラ予測モード２６）を中心に水平方向に２分の１倍にスケーリングすることにより導出した値を第２のイントラ色差予測モードの値とする（図３２のステップＳ３３０８〜Ｓ３３１２）。第１のイントラ色差予測モードIntraPredMode1から垂直予測を示す２６を減算して得られる値を変数ａに設定する（図３２のステップＳ３３０８）。続いて、変数ａの正負符号に応じて、負の場合−１、正または変数ａが０の場合１の値を持つ変数SignIntraPredModeに値を設定する（図３２のステップＳ３３０９）。続いて変数ａの絶対値に２分の１倍と等価の１ビット右シフト演算を行った結果に変数SignIntraPredModeを乗算して得られる値を変数ｂに設定する（図３２のステップＳ３３１０）。なお、変数ａの絶対値に１を加えてから２分の１倍と等価の１ビット右シフト演算を行った結果に変数SignIntraPredModeを乗算してえられる値を変数ｂに設定してもよい。続いて、ｂに垂直予測を示す２６を加算して得られる値を変数ｃに設定する（図３２のステップＳ３３１１）。続いて、変数ｃの値を第２のイントラ予測モードIntraPredMode2に設定し（図３２のステップＳ３３１２）、本導出処理を終了する。なお、第１のイントラ色差予測モードが２５に対応する変数ｃの値が２６になる場合においては、常に符号化することができる垂直予測を示す２６を避けて、第１のイントラ色差予測モードが２５を第２のイントラ色差予測モードに変換する際には２５とする。第１のイントラ色差予測モードが２７に対応する変数ｃの値が２６になる場合においては、常に符号化することができる垂直予測を示す２６を避けて、第１のイントラ色差予測モードが２７を第２のイントラ色差予測モードに変換する際には２７とする。つまり、図１５、図１６、図１７、図３０及び図３３に示す変換テーブルを用いて第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換する際には、第１のイントラ色差予測モードが垂直予測である２６でない場合には、垂直予測である２６を回避した値に変換することにより、第１イントラ色差予測モードから第２イントラ色差予測モードを導出する。即ち、イントラ輝度予測モードの値とイントラ色差予測モードの値が一致しないときにおいて選択されるイントラ色差予測モードのシンタックス要素（図１４、図２５の０、１、２、３）から導出可能な値（０、１、１０、２６、３４）を回避するように丸める（変換する）。本導出処理手順においては、イントラ輝度予測モードの値とイントラ色差予測モードの値が一致しないときにおいて選択されるイントラ色差予測モードのシンタックス要素（図１４、図２５の１）から導出可能な値２６を回避するように変換するために、ステップＳ３３１０において、変数ａの絶対値に１ビット右シフト演算を行う前に、変数ａの絶対値に１を加える。

なお、本導出処理手順のステップＳ３３０３において、イントラ色差予測モードIntraPredMode1が１６より小さい場合、即ち１５以下の場合、第１のイントラ色差予測モードを水平予測（イントラ予測モード１０）を中心に垂直方向に２倍にスケーリングし、２以上に制限することにより導出した値を第２のイントラ色差予測モードの値とし（図３２のステップＳ３３０４〜Ｓ３３０７）、イントラ色差予測モードIntraPredMode1が１６より小さくない場合、即ち１６以上の場合、第１のイントラ色差予測モードを垂直予測（イントラ予測モード２６）を中心に水平方向に２分の１倍にスケーリングすることにより導出した値を第２のイントラ色差予測モードの値としたが（図３２のステップＳ３３０８〜Ｓ３３１２）、イントラ色差予測モードIntraPredMode1が１５より小さい場合、即ち１４以下の場合、第１のイントラ色差予測モードを水平予測（イントラ予測モード１０）を中心に垂直方向に２倍にスケーリングすることにより導出した値を第２のイントラ色差予測モードの値とし（図３２のステップＳ３３０４〜Ｓ３３０７）、イントラ色差予測モードIntraPredMode1が１５より小さくない場合、即ち１５以上の場合、第１のイントラ色差予測モードを垂直予測（イントラ予測モード２６）を中心に水平方向に２分の１倍にスケーリングすることにより導出した値を第２のイントラ色差予測モードの値としてもよく（図３２のステップＳ３３０８〜Ｓ３３１２）、変換結果は結果は同じである。なぜなら、イントラ色差予測モードIntraPredMode1が１５の場合、第１のイントラ色差予測モードを水平予測（イントラ予測モード１０）を中心に垂直方向に２倍にスケーリングして導出した値と、第１のイントラ色差予測モードを垂直予測（イントラ予測モード２６）を中心に水平方向に２分の１倍にスケーリングすることにより導出した値が等しいからである。

次に、色差フォーマットが４：２：２において、図３３の変換テーブルに対応する第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換する際の導出処理手順について図３５のフローチャートを用いて説明する。

角度予測ではない場合、即ち第１のイントラ予測モードIntraPredMode1が１以下の場合（図３５のステップＳ３４０１のＮＯ）、第１のイントラ予測モードIntraPredMode1の値をそのまま第２のイントラ色差予測モードIntraPredMode2として（図３５のステップＳ３４０２）、本導出処理を終了する。

一方、第１のイントラ色差予測モードIntraPredMode1が角度予測の場合、即ち１より大きい場合（図３５のステップＳ３４０１のＹＥＳ）、ステップＳ３４０３以降の第１のイントラ色差予測モードから第２のイントラ色差予測モードへの変換処理を行う。
第１のイントラ色差予測モードIntraPredMode1が７より小さい場合、即ち６以下の場合（図３５のステップＳ３４０３のＹＥＳ）、第１のイントラ色差予測モードIntraPredMode1から水平予測を示す３を減算して得られる値を変数ｃに設定する（図３５のステップＳ３４０７）。続いて、変数ｃの値を２以上に制限して得られる値を第２のイントラ予測モードIntraPredMode2に設定し（図３５のステップＳ３４０８）、本導出処理を終了する。具体的には、変数ｃが２以上の場合、イントラ予測モードIntraPredMode2に変数ｃをそのまま設定し、変数ｃが２未満の場合、イントラ予測モードIntraPredMode2に２を設定する。即ち、第１のイントラ色差予測モードの角度予測のモード番号をスケーリングして導出された値が、イントラ予測モードで規定される角度予測のモード番号の範囲外になったとき、導出された値をその範囲内の値にする。これにより、色差フォーマット４：２：２での色差信号のイントラ予測演算をハードウェアで実装する場合、第２のイントラ色差予測モードを用いたイントラ予測演算を、ハードウェアを追加することなく行うことができる。

一方、第１のイントラ色差予測モードIntraPredMode1が７より小さくなく、第１のイントラ色差予測モードIntraPredMode1が１４より小さい場合、即ち７以上１３以下の場合（図３５のステップＳ３４０３のＮＯでステップＳ３４０４のＹＥＳ）、図１４のテーブルにより導出された第１のイントラ色差予測モードを水平予測（イントラ予測モード１０）を中心に垂直方向に２倍にスケーリングすることにより導出した値を第２のイントラ色差予測モードの値とする（図３５のステップＳ３４０９〜Ｓ３４１２）。第１のイントラ色差予測モードIntraPredMode1から水平予測を示す１０を減算して得られる値を変数ａに設定する（図３５のステップＳ３４０９）。続いて、変数ａを２倍して得られる値を変数ｂに設定する（図３５のステップＳ３４１０）。続いて、ｂに水平予測を示す１０を加算して得られる値を変数ｃに設定する（図３５のステップＳ３４１１）。続いて、変数ｃの値を第２のイントラ予測モードIntraPredMode2に設定し（図３５のステップＳ３４１２）、本導出処理を終了する。

一方、第１のイントラ色差予測モードIntraPredMode1が１４より小さくなく、２１より小さい場合、即ち１４以上２０以下の場合（図３５のステップＳ３４０４のＮＯでステップＳ３４０５のＹＥＳ）、第１のイントラ色差予測モードIntraPredMode1に３を加算して得られる値を変数ｃに設定する（図３５のステップＳ３４１３）。続いて、変数ｃの値を第２のイントラ予測モードIntraPredMode2に設定し（図３５のステップＳ３４１４）、本導出処理を終了する。

一方、第１のイントラ色差予測モードIntraPredMode1が２１より小さくなく、３２より小さい場合、即ち２１以上３１以下の場合（図３５のステップＳ３４０５のＮＯでステップＳ３４０６のＹＥＳ）、図１４のテーブルにより導出された第１のイントラ色差予測モードを垂直予測（イントラ予測モード２６）を中心に水平方向に２分の１倍にスケーリングすることにより導出した値を第２のイントラ色差予測モードの値とする（図３５のステップＳ３４１５〜Ｓ３４１９）。第１のイントラ色差予測モードIntraPredMode1から垂直予測を示す２６を減算して得られる値を変数ａに設定する（図３５のステップＳ３４１５）。続いて、変数ａの正負符号に応じて、負の場合−１、正または変数ａが０の場合１の値を持つ変数SignIntraPredModeに値を設定する（図３５のステップＳ３４１６）。続いて変数ａの絶対値に２分の１倍と等価の１ビット右シフト演算を行った結果に変数SignIntraPredModeを乗算して得られる値を変数ｂに設定する（図３５のステップＳ３４１７）。なお、変数ａの絶対値に１を加えてから２分の１倍と等価の１ビット右シフト演算を行った結果に変数SignIntraPredModeを乗算してえられる値を変数ｂに設定してもよい。続いて、ｂに垂直予測を示す２６を加算して得られる値を変数ｃに設定する（図３５のステップＳ３４１８）。続いて、変数ｃの値を第２のイントラ予測モードIntraPredMode2に設定し（図３５のステップＳ３４１９）、本導出処理を終了する。なお、第１のイントラ色差予測モードが２５に対応する変数ｃの値が２６になる場合においては、常に符号化することができる垂直予測を示す２６を避けて、第１のイントラ色差予測モードが２５を第２のイントラ色差予測モードに変換する際には２５とする。第１のイントラ色差予測モードが２７に対応する変数ｃの値が２６になる場合においては、常に符号化することができる垂直予測を示す２６を避けて、第１のイントラ色差予測モードが２７を第２のイントラ色差予測モードに変換する際には２７とする。即ち、イントラ輝度予測モードの値とイントラ色差予測モードの値が一致しないときにおいて選択されるイントラ色差予測モードのシンタックス要素（図１４、図２５の０、１、２、３）から導出可能な値（０、１、１０、２６、３４）を回避するように丸める（変換する）。本導出処理手順においては、イントラ輝度予測モードの値とイントラ色差予測モードの値が一致しないときにおいて選択されるイントラ色差予測モードのシンタックス要素（図１４、図２５の１）から導出可能な値２６を回避するように変換するために、ステップＳ３４１７において、変数ａの絶対値に１ビット右シフト演算を行う前に、変数ａの絶対値に１を加える。

一方、第１のイントラ色差予測モードIntraPredMode1が３２より小さくない場合、即ち３２以上の場合（図３５のステップＳ３４１６のＮＯ）、第１のイントラ色差予測モードIntraPredMode1から３を減算して得られる値を変数ｃに設定する（図３５のステップＳ３４２０）。続いて、変数ｃの値を第２のイントラ予測モードIntraPredMode2に設定し（図３５のステップＳ３４２１）、本導出処理を終了する。

なお、本導出処理手順のステップＳ３４０３において、イントラ色差予測モードIntraPredMode1が６以下の場合、第１のイントラ色差予測モードから３を減算して得られる値を２以上に制限して第２のイントラ色差予測モードとしたが、簡略化のために、ステップＳ３４０３の条件判断を省略して、イントラ色差予測モードIntraPredMode1が７以上１３以下の場合と同様に、イントラ色差予測モードIntraPredMode1が６以下の場合においても、第１のイントラ色差予測モードを水平予測（イントラ予測モード１０）を中心に垂直方向に２倍にスケーリングすることにより導出した値を第２のイントラ色差予測モードの値とすることもできる（図３５のステップＳ３４０９〜Ｓ３４１２）。ただし、ステップＳ３４１２では、Ｓ３４０８と同様にステップＳ３４１１で導出される変数ｃを２以上に制限して第２のイントラ色差予測モードとする。

さらに、本導出処理手順のステップＳ３４０６において、イントラ色差予測モードIntraPredMode1が３２以上の場合、第１のイントラ色差予測モードから３を減算して得られる値を第２のイントラ色差予測モードとしたが、簡略化のために、ステップＳ３４０６の条件判断を省略して、イントラ色差予測モードIntraPredMode1が２１以上３１以下の場合と同様に、イントラ色差予測モードIntraPredMode1が３２以上の場合においても、第１のイントラ色差予測モードを垂直予測（イントラ予測モード２６）を中心に水平方向に２分の１倍にスケーリングすることにより導出した値を第２のイントラ色差予測モードの値とすることもできる（図３５のステップＳ３４１５〜Ｓ３４１９）。

一方、色差フォーマットが４：２：０または４：４：４の場合は、輝度信号のイントラ予測方向と色差信号の水平方向と垂直方向の標本化の比率が一致するので、図１４のテーブルにより導出された第１のイントラ色差予測モードを第２のイントラ色差予測モードに変換する必要はない。このことを図２２を参照して説明する。図２２は色差フォーマットが４：２：０の場合の輝度信号、及び色差信号のイントラ予測の予測方向の対応関係を説明する図である。図２２（ａ）は、色差フォーマットが４：２：０の場合の輝度信号と色差信号の配置を示すものであり、色差信号は輝度信号に対して水平、垂直ともに１／２で標本化（サンプリング）されており、輝度信号と色差信号の画素のアスペクト比が同じである。符号２７０４に示す画素Ｐ４から画素Ｐ５への矢印は、輝度信号の画素Ｐ４のイントラ予測方向を示す。符号２７０５に示す画素Ｐ１から画素Ｐ２への矢印は、色差信号の画素Ｐ１のイントラ予測方向を示す。符号２７０４に示す画素Ｐ４から画素Ｐ５への矢印と符号２７０５に示す画素Ｐ１から画素Ｐ２への矢印は同じ方向を向いており、イントラ予測方向は同一である。この場合、図２２（ｂ）に示す色差信号の配列においても、輝度信号のイントラ予測方向はそのまま、符号２７０６に示すように、色差信号のイントラ予測方向であり、色差信号の画素Ｐ１の参照先の画素Ｐ２を正しく参照することができる。

なお、イントラ予測部１０３でも以上の点を考慮して、イントラ色差予測モードの値を予測する場合、色差フォーマットに応じて、色差信号の予測ブロックと同じ位置の予測ブロックのイントラ輝度予測モードの値からイントラ色差予測モードの値を予測する。即ち、輝度信号と色差信号の画素のアスペクト比が同じである色差フォーマットが４：２：０または４：４：４でイントラ色差予測モードの値を予測する場合、図１４のテーブルから得られたイントラ色差予測モードの値をそのまま、色差フォーマット４：２：０または４：４：４用のイントラ色差予測モードの値とし、このイントラ色差予測モードに応じて色差信号のイントラ予測を行う。色差フォーマットが４：２：２でイントラ色差予測モードの値を予測する場合、図１５、図１６、図１７、図３０、または図３３に示す変換テーブルにより、図１４のテーブルから得られたイントラ色差予測モードの値から色差フォーマット４：２：２用のイントラ色差予測モードの値を導出し、このイントラ色差予測モードに応じて色差信号のイントラ予測を行う。

図２５はイントラ色差予測モードの値と色差信号の予測ブロックと同じ位置の輝度信号の予測ブロックのイントラ輝度予測モードの値からイントラ色差予測モードに関するシンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値を導出するテーブルであり、符号化側で用いる図２５のテーブルは復号側で用いる図１４のテーブルに対応している。この図２５に示すテーブルを用いて、符号化側では、シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値を導出する。

第１または第２のイントラ色差予測モードの値が０の場合、色差信号の予測ブロックと同じ位置の予測ブロックのイントラ輝度予測モードの値が０でなければ、シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値は０の値をとり、イントラ輝度予測モードの値が０であれば、シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値は４の値をとる。

第１または第２のイントラ色差予測モードの値が２６の場合、色差信号の予測ブロックと同じ位置の予測ブロックのイントラ輝度予測モードの値が２６でなければ、シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値は１の値をとり、イントラ輝度予測モードの値が２６であれば、シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値は４の値をとる。

第１または第２のイントラ色差予測モードの値が１０の場合、色差信号の予測ブロックと同じ位置の予測ブロックのイントラ輝度予測モードの値が１０でなければ、シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値は２の値をとり、イントラ輝度予測モードの値が１０であれば、シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値は４の値をとる。

第１または第２のイントラ色差予測モードの値が１の場合、色差信号の予測ブロックと同じ位置の予測ブロックのイントラ輝度予測モードの値が１０でなければ、シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値は３の値をとり、イントラ輝度予測モードの値が１０であれば、シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値は４の値をとる。

第１のイントラ色差予測モードの値が３４の場合、色差信号の予測ブロックと同じ位置の予測ブロックのイントラ輝度予測モードの値が０でなければ、シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値は０の値をとり、イントラ輝度予測モードの値が１であれば、シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値は１の値をとり、イントラ輝度予測モードの値が２であれば、シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値は２の値をとり、イントラ輝度予測モードの値が３であれば、シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値は３の値をとり、イントラ輝度予測モードの値が３４であれば、シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値は４の値をとる。

第１のイントラ色差予測モードの値が色差信号の予測ブロックと同じ位置の予測ブロックのイントラ輝度予測モードの値と同じ場合、シンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値は４の値をとる。ただし、色差フォーマットが４：２：２でイントラ色差予測モードの値を予測する場合、イントラ予測部１０３では、図１５、図１６、図１７、図３０、または図３３に示す変換テーブルにより、色差フォーマット４：２：０または４：４：４用の第１のイントラ色差予測モードから色差フォーマット４：２：２用の第２のイントラ色差予測モードが導出され、第２のイントラ色差予測モードが色差フォーマット４：２：２用の色差信号のイントラ予測に用いられる。

なお、色差信号の予測ブロックと同じ位置の輝度信号の予測ブロックを特定する際には、それぞれの予測ブロックを特定する分割インデックスPartIdxを参照することにより特定してもよいし、それぞれの予測ブロックの位置を示す座標を参照することにより特定してもよい。

なお、色差フォーマット設定部１０１から供給される分割モードと色差フォーマットの組み合わせ応じて符号化ブロック内の予測ブロックのイントラ色差予測モードの数が異なる。分割モードが２Ｎ×２Ｎ分割の場合、色差フォーマットの種類にかかわらず、符号化ブロック毎に１個の予測ブロックのイントラ色差予測モードに関するシンタックス要素の値を導出する。

分割モードがＮ×Ｎ分割で色差フォーマットが４：２：０の場合、符号化ブロック毎に１個の予測ブロックのイントラ色差予測モードに関するシンタックス要素の値を導出する。分割モードがＮ×Ｎ分割で色差フォーマットが４：２：２の場合、符号化ブロック毎に２個の予測ブロックのイントラ色差予測モードに関するシンタックス要素の値を導出する。分割モードがＮ×Ｎ分割で色差フォーマットが４：４：４の場合、符号化ブロック毎に４個の予測ブロックのイントラ色差予測モードに関するシンタックス要素の値を導出する。図１１はイントラ予測の際のＮ×Ｎ分割での符号化ブロックの色差信号の予測ブロックへの分割方法を説明する図である。図１１（ａ）は、Ｎ×Ｎ分割での輝度信号を示し、図１１（ｂ）は、色差フォーマットが４：２：０の場合のＮ×Ｎ分割での色差信号を示し、図１１（ｃ）は、色差フォーマットが４：２：２の場合のＮ×Ｎ分割での色差信号を示し、図１１（ｄ）は、色差フォーマットが４：４：４の場合のＮ×Ｎ分割での色差信号を示す。色差フォーマットが４：２：０、４：４：４の場合、輝度信号の符号化ブロックと色差信号の符号化ブロックが相似し、両ブロックのアスペクト比が一致する。色差フォーマットが４：２：２の場合、輝度信号の符号化ブロックと色差信号の符号化ブロックが相似せず、両符号化ブロックのアスペクト比が異なる。なお、色差フォーマットが４：２：０の場合と同様に、色差フォーマットが４：２：２や４：４：４の場合においても、分割モードがＮ×Ｎ分割の色差信号において符号化ブロックを分割せずに１個の予測ブロックとすることもできる。なお、色差フォーマットが４：０：０の場合と同様に、色差フォーマットが４：２：２や４：４：４の場合においても、分割モードがＮ×Ｎ分割の色差信号において符号化ブロックを分割せずに１個の予測ブロックとすることもできる。

インター予測情報に関するシンタックス要素導出部１２４は、符号化ブロックの予測モード（PredMode）がインター予測（MODE_INTER）の場合に、予測ブロック単位のインター予測情報に関するシンタックス要素の値を導出し、導出した各シンタックス要素の値をエントロピー符号化部１２６に供給する。予測ブロック単位のインター予測情報には、インター予測モード（Ｌ０予測、Ｌ１予測、両予測）、複数の参照画像を特定するインデックス、動きベクトル等の情報が含まれる。

エントロピー符号化部１２６は、符号化ブロック単位の符号化情報に関するシンタックス要素導出部１２１から供給される符号化ブロック単位の符号化情報に関するシンタックス要素の値、イントラ輝度予測モードに関するシンタックス要素導出部１２２から供給される輝度信号の予測ブロックのイントラ輝度予測モードに関するシンタックス要素の値、イントラ色差予測モードに関するシンタックス要素導出部１２３から供給される色差信号の予測ブロックのイントラ色差予測モードに関するシンタックス要素の値、及びインター予測情報に関するシンタックス要素導出部１２４から供給される予測ブロック単位のインター予測情報に関するシンタックス要素の値を既定のシンタックス規則に従ってエントロピー符号化する。その際、イントラ予測モード符号化制御部１２５は分割モードと色差フォーマットに応じて、イントラ輝度予測モードとイントラ色差予測モードのエントロピー符号化の順序を制御し、エントロピー符号化部１２６はそのイントラ予測モード符号化制御部１２５で指示された順序で、イントラ輝度予測モードとイントラ色差予測モードのエントロピー符号化処理を行う。

次に、図２の第２の符号化ストリーム復号部２０３で行われる符号化ブロック、及び予測ブロック単位での符号化情報の復号処理について実施の形態の特徴であるイントラ予測モードに係わるポイントを中心に説明する。図１３は図２の第２の符号化ストリーム復号部２０３の構成を示すブロック図である。

図１３に示すように、図２の第２の符号化ストリーム復号部２０３は、イントラ予測モード復号制御部２２１、エントロピー復号部２２２、符号化ブロック単位の符号化情報導出部２２３、イントラ輝度予測モード導出部２２４、イントラ色差予測モード導出部２２５、インター予測情報導出部２２６から構成されている。第２の符号化ストリーム復号部２０３を構成する各部においては、色差フォーマット管理部２０５から供給される色差フォーマット情報に応じた処理が行われるとともに、符号化ブロック単位の予測モード、分割モード等の符号化情報に応じた処理が行われる。

エントロピー復号部２２２は、符号化ストリーム分離部２０１から供給される符号化ブロック、及び予測ブロック単位の符号化情報を含む第２の符号化ストリームを既定のシンタックス規則に従ってエントロピー復号して、符号化ブロック単位の符号化情報に関するシンタックス要素の値、輝度信号の予測ブロックのイントラ輝度予測モードに関するシンタックス要素の値、色差信号の予測ブロックのイントラ色差予測モードに関するシンタックス要素の値、及び予測ブロック単位のインター予測情報に関するシンタックス要素の値を得る。その際、イントラ予測モード復号制御部２２１は分割モードと色差フォーマットに応じて、イントラ輝度予測モードとイントラ色差予測モードのエントロピー復号の順序を制御し、エントロピー復号部２２２はそのイントラ予測モード復号制御部２２１で指示された順序で、イントラ輝度予測モードとイントラ色差予測モードのエントロピー復号処理を行う。イントラ予測モード復号制御部２２１は符号化側のイントラ予測モード符号化制御部１２５に対応する制御部であり、分割モードと色差フォーマットに応じてイントラ予測モード符号化制御部１２５で設定するイントラ予測モードの符号化順序と同じイントラ予測モードの復号順序を設定し、エントロピー復号部２２２のイントラ予測モードの復号順序を制御する。エントロピー復号部２２２は符号化側のエントロピー符号化部１２６に対応する復号部であり、エントロピー符号化部１２６で用いたシンタックス規則と同一の規則でエントロピー復号処理を行う。

復号されて得た符号化ブロック単位の符号化情報に関するシンタックス要素の値は符号化ブロック単位の符号化情報導出部２２３に供給され、輝度信号の予測ブロックのイントラ輝度予測モードに関するシンタックス要素の値はイントラ輝度予測モード導出部２２４に供給され、色差信号の予測ブロックのイントラ色差予測モードに関するシンタックス要素の値はイントラ色差予測モード導出部２２５に供給され、予測ブロック単位のインター予測情報に関するシンタックス要素の値はインター予測情報導出部２２６に供給される。

符号化ブロック単位の符号化情報導出部２２３は、供給される符号化ブロック単位の符号化情報に関するシンタックス要素の値から符号化ブロック単位の符号化情報を導出し、スイッチ２１２を介してイントラ予測部２０６またはインター予測部２０７に供給する。

符号化ブロック単位の符号化情報導出部２２３は符号化側の符号化ブロック単位の符号化情報に関するシンタックス要素導出部１２１に対応する符号化情報導出部であり、符号化側と復号側で共通の規則に従って符号化情報を導出する。符号化ブロックのイントラ予測（MODE_INTRA）、またはインター予測（MODE_INTER）を判別する予測モード（PredMode）、及び、予測ブロックの形状を判別する分割モード（PartMode）に関する値はこの符号化ブロック単位の符号化情報導出部２２３で導出される。

イントラ輝度予測モード導出部２２４は、符号化ブロック単位の符号化情報導出部２２３で導出された符号化ブロックの予測モード（PredMode）がイントラ予測（MODE_INTRA）の場合に、供給される輝度信号の予測ブロックのイントラ輝度予測モードに関するシンタックス要素の値から輝度信号の予測ブロックのイントラ輝度予測モードを導出し、イントラ色差予測モード導出部２２５に供給するとともに、スイッチ２１２を介してイントラ予測部２０６に供給する。イントラ輝度予測モード導出部２２４は符号化側のイントラ輝度予測モードに関するシンタックス要素導出部１２２に対応する導出部であり、符号化側と復号側で共通の規則に従って導出する。イントラ輝度予測モードに関するシンタックス要素は周辺のブロックのイントラ輝度予測モードから予測できるかどうかを示すフラグであるシンタックス要素prev_intra_luma_pred_flag[ x0 ][ y0 ]、予測元の予測ブロックを指し示すインデックスであるシンタックス要素mpm_idx[ x0 ][ y0 ]、及び予測ブロック単位のイントラ輝度予測モードを示すシンタックス要素rem_intra_luma_pred_mode[ x0 ][ y0 ]である。イントラ輝度予測モードの導出においては、符号化情報格納メモリ２１０に格納されている周辺のブロックのイントラ輝度予測モードとの相関性を利用し、周辺のブロックのイントラ輝度予測モードから予測できる場合はその値を用いることを示すフラグであるシンタックス要素prev_intra_luma_pred_flag[ x0 ][ y0 ]が１（真）になっており、予測元の予測ブロックを指し示すインデックスであるシンタックス要素mpm_idx[ x0 ][ y0 ]で指し示されている周辺の予測ブロックのイントラ輝度予測モードを当該予測モードのイントラ輝度予測モードとする。シンタックス要素prev_intra_luma_pred_flag[ x0 ][ y0 ]が０（偽）の場合は、周辺の予測ブロックからイントラ輝度予測モードを予測するのではなく、復号されたイントラ輝度予測モードを示すシンタックス要素rem_intra_luma_pred_mode[ x0 ][ y0 ]の値からイントラ輝度予測モードを導出する。

なお、分割モードに応じて符号化ブロック内の予測ブロックのイントラ輝度予測モードの数が異なり、分割モードが２Ｎ×２Ｎ分割の場合、符号化ブロック毎に１セットの予測ブロックのイントラ輝度予測モードの値を導出し、分割モードがＮ×Ｎ分割の場合、符号化ブロック毎に４セットの予測ブロックのイントラ輝度予測モードの値を導出する。

イントラ色差予測モード導出部２２５は、符号化ブロック単位の符号化情報導出部２２３で導出された符号化ブロックの予測モード（PredMode）がイントラ予測（MODE_INTRA）の場合に、供給される色差信号の予測ブロックのイントラ色差予測モードに関するシンタックス要素intra_chroma_pred_mode[ x0 ][ y0 ]の値とイントラ輝度予測モード導出部２２４から供給されるイントラ輝度予測モードの値から図１４のテーブルに従い、第１のイントラ色差予測モードの値を導出する。色差フォーマットが４：２：０または４：４：４の場合には第１のイントラ色差予測モードを色差信号のイントラ予測モードとしてスイッチ２１２を介してイントラ予測部２０６に供給する。また、色差フォーマットが４：２：２の場合には図１５、図１６、図１７、図３０、または図３３の変換テーブルにより、第１のイントラ色差予測モードから第２のイントラ色差予測モードを導出し、第２のイントラ色差予測モードを色差信号のイントラ予測モードとしてスイッチ２１２を介してイントラ予測部２０６に供給する。イントラ色差予測モード導出部２２５は符号化側のイントラ色差予測モードに関するシンタックス要素導出部１２３に対応する符号化情報導出部であり、符号化側と復号側で共通の規則に従って導出する。符号化側では、イントラ色差予測モードの符号化においては、色差信号の予測ブロックと同じ位置の輝度信号の予測ブロックのイントラ輝度予測モードとの相関性を利用し、符号化側で、イントラ色差予測モードが色差信号の予測ブロックと同じ位置の輝度信号の予測ブロックのイントラ輝度予測モードからの予測値が最も適していると判断された場合はイントラ輝度予測モードの値からイントラ色差予測モードの値が予測され、イントラ輝度予測モードから予測するよりもイントラ色差予測モードに独自の値を設定した方が良いと判断された場合に、イントラ色差予測モードに代表的なイントラ予測モードである０（平面予測）、１（平均値予測）、１０（水平予測）、２６（垂直予測）、３４（斜め予測）のいずれかの値を設定する仕組みを用いることにより、符号量が削減されている。

インター予測情報導出部２２６は、符号化ブロックの予測モード（PredMode）がインター予測（MODE_INTER）の場合に、予測ブロック単位のインター予測情報に関するシンタックス要素の値からインター予測情報を導出し、導出したインター予測情報の値をスイッチ２１２を介してインター予測部２０７に供給する。インター予測情報導出部２２６は符号化側のインター予測情報に関するシンタックス要素導出部１２４に対応するインター予測情報導出部であり、符号化側と復号側で共通の規則に従って導出する。導出される予測ブロック単位のインター予測情報には、インター予測モード（Ｌ０予測、Ｌ１予測、両予測）、複数の参照画像を特定するインデックス、動きベクトル等の情報が含まれる。

次に、復号側でのイントラ予測モードの復号及びイントラ予測の処理手順について説明する。図２６は復号側の第２の符号化ストリーム復号部２０３及びイントラ予測部２０６で実施されるイントラ予測モードの復号及びイントラ予測の処理手順を説明する図である。まず、第２の符号化ストリーム復号部２０３のイントラ輝度予測モード導出部２２４でイントラ輝度予測モードが復号される（図２６のステップＳ４００１）。続いて、第２の符号化ストリーム復号部２０３のイントラ色差予測モード導出部２２５で図１４のテーブルに従い、第１のイントラ色差予測モードが復号される（図２６のステップＳ４００２）。続いて、色差フォーマットが４：２：２でない場合（図２６のステップＳ４００３のＮＯ）、ステップＳ４００４に進み、色差フォーマットが４：２：２の場合（図２６のステップＳ４００３のＹＥＳ）、第２の符号化ストリーム復号部２０３のイントラ色差予測モード導出部２２５で図１５、図１６、図１７、図３０、または図３３の変換テーブルにより、第１のイントラ色差予測モードから第２のイントラ色差予測モードを導出する（図２６のステップＳ４００４）。続いて、イントラ予測部２０６で、輝度信号、及び色差信号のイントラ予測を行う（図２６のステップＳ４００４）。なお、図２６のステップＳ４００４の第１のイントラ色差予測モードから第２のイントラ色差予測モードを導出する処理は第２の符号化ストリーム復号部２０３のイントラ色差予測モード導出部２２５の代わりにイントラ予測部２０６で実施してもよい。

なお、平面予測のイントラ予測モードが０及び平均値予測のイントラ予測モードが１においては、色差フォーマット４：２：０、色差フォーマット4：4：4と同様に、色差フォーマット４：２：２の際にも、それぞれ平面予測のイントラ予測モードが０及び平均値予測のイントラ予測モードが１としてイントラ予測を実施するので、図１５、図１６、図１７、図３０、または図３３の変換テーブルにおいて、第１のイントラ色差予測モードから第２のイントラ色差予測モードに変換しても値は同じとしている。したがって、角度予測でないイントラ予測モード０及び１の際は、図１５、図１６、図１７、図３０、または図３３の変換テーブルを用いて第１のイントラ色差予測モードの値から第２のイントラ色差予測モードの値を導出してからイントラ予測を実施してもよいし、図１５、図１６、図１７、図３０、または図３３の変換テーブルを用いて第２のイントラ色差予測モードを導出せずに、第１のイントラ色差予測モードに従ってそのままイントラ予測を実施してもよい。

本実施の形態の画像符号化装置、及び画像復号装置においては、色差フォーマットが４：２：２の場合には、図１５、図１６、図１７、図３０、または図３３の変換テーブルを用いて第１のイントラ色差予測モードの値から第２のイントラ色差予測モードの値を導出するものとして説明したが、変換テーブルの代わりに計算式により、第１のイントラ色差予測モードの値から第２のイントラ色差予測モードの値を導出してもよい。

本実施の形態の画像符号化装置、及び画像復号装置においては、輝度信号と色差信号の画素のアスペクト比が異なる色差フォーマットが４：２：２の場合には、図１５、図１６、図１７、図３０、または図３３の変換テーブルを用いて第１のイントラ色差予測モードの値から第２のイントラ色差予測モードの値を導出するものとして説明したが、符号化装置のイントラ予測部１０３及び復号装置のイントラ予測部２０６において、第２のイントラ色差予測モードに変換する代わりに、図２７、または図２８に示すイントラ予測モードから色差フォーマット４：２：２の色差信号以外のイントラ予測の角度（輝度信号用のイントラ予測の角度、及び色差フォーマット４：２：０、４：４：４の色差信号用のイントラ予測の角度）に加えて、色差フォーマット４：２：２の色差信号用のイントラ予測の角度に対応づけるテーブルを用意して、色差フォーマットが４：２：２の際にはこのテーブルを用いて第１のイントラ色差予測モードから色差フォーマット４：２：２の色差信号用のイントラ予測の角度を導出し、この角度を用いて色差信号のイントラ予測を行うこともできる。図２７、及び図２８はイントラ予測モードから色差フォーマット４：２：２の色差信号以外のイントラ予測の角度（輝度信号用のイントラ予測の角度、及び色差フォーマット４：２：０、４：４：４の色差信号用のイントラ予測の角度）に加えて色差フォーマット４：２：２用の色差信号のイントラ予測の角度を導出する際に用いるテーブルである。図２７は、図１５の変換テーブルを用いて第１のイントラ色差予測モードの値から第２のイントラ色差予測モードの値を導出して色差信号のイントラ予測を行ったのと同じ結果となるように色差フォーマット４：２：２の色差信号用のイントラ予測の角度を設定したテーブルである。色差フォーマットが４：２：２において、図２７のテーブルに従って色差信号用のイントラ予測の角度を導出し、イントラ予測を行うことにより、図１５の変換テーブルを用いて第１のイントラ色差予測モードの値から第２のイントラ色差予測モードの値を導出して色差信号のイントラ予測を行ったのと同じ結果となる。

また、図２８は、イントラ予測の角度を垂直方向に２倍、水平方向に２分の１倍にした結果を設定したテーブルである。色差フォーマットが４：２：２において、第１のイントラ色差予測の角度から第２のイントラ色差予測の角度に変換する際の図２８テーブルの導出処理手順について図２９のフローチャートを用いて説明する。

第１のイントラ予測モードIntraPredMode1の０から３４までの各値において、図２９のフローチャートの手順により、色差フォーマット４：２：２の色差信号のイントラ予測に用いる第２のイントラ予測の角度IntraPredMode2を導出する。

まず、角度予測ではない場合、即ち第１のイントラ予測モードIntraPredMode1が１以下の場合（図２９のステップＳ３２０１のＮＯ）、本導出処理を終了する。第１のイントラ予測モードIntraPredMode1が１以下なのは周囲の復号済みのブロックから画素値を内挿することにより予測する平面予測（イントラ予測モードintraPredMode1=0）、周囲の復号済みのブロックから平均値を導出することにより予測する平均値予測（イントラ予測モードintraPredMode1=1）である。

一方、第１のイントラ色差予測モードIntraPredMode1が角度予測の場合、即ち１より大きい場合（図２９のステップＳ３２０１のＹＥＳ）、ステップＳ３２０２以降の第１のイントラ予測の角度から第２のイントラ予測の角度への変換処理を行う。

イントラ色差予測モードIntraPredMode1が１８より小さい場合（図２９のステップＳ３２０２のＹＥＳ）、第１のイントラ色差予測モードIntraPredMode1に対応する第１のイントラ予測の角度IntraPredAngle1を２倍して、第２のイントラ予測の角度IntraPredAngle2とする（図２９のステップＳ３２０３）。さらに、第２のイントラ予測の角度IntraPredAngle2を−３２以上３２以下に制限し（図２９のステップＳ３２０４）、本導出処理を終了する。具体的には、第２のイントラ予測の角度IntraPredAngle2が−３２よりも小さい場合は、第２のイントラ予測の角度IntraPredAngle2に−３２を設定し、第２のイントラ予測の角度IntraPredAngle2が３２よりも大きい場合は、第２のイントラ予測の角度IntraPredAngle2に３２を設定する。イントラ予測モードIntraPredMode2が２以上１８未満の場合、イントラ予測モードIntraPredMode2はそのままとなる。

一方、イントラ色差予測モードIntraPredMode1が１８より小さくない場合、即ち１８以上の場合（図２９のステップＳ３２０２のＮＯ）、第１のイントラ色差予測モードIntraPredMode1に対応する第１のイントラ予測の角度IntraPredAngle1を２分の１倍して、第２のイントラ予測の角度IntraPredAngle2とし（図２９のステップＳ３２０５）、本導出処理を終了する。本実施例では、第１のイントラ予測の角度IntraPredAngle1に２分の１倍と等価の１ビット右シフト演算を行った結果を第２のイントラ予測の角度IntraPredAngle2に設定する。

以上においては、色差フォーマットが４：２：２の場合に、図２８のテーブルを用いて第１のイントラ予測の角度から第２のイントラ予測の角度を導出するものとして説明したが、符号化装置のイントラ予測部１０３及び復号装置のイントラ予測部２０６において、図２８のテーブルの代わりに図２９の処理手順による導出方法により、第１のイントラ色差予測モードの値から第２のイントラ予測の角度を導出してもよい。

以上述べた実施の形態の画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、画像符号化装置に対応する画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。

画像符号化装置と画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して画像復号装置に供給する画像受信装置とが設けられる。

画像送信装置は、画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、画像復号装置に提供するパケット処理部とを含む。

以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０１ 色差フォーマット設定部、 １０２ 画像メモリ、 １０３ イントラ予測部、 １０４ インター予測部、 １０５ 符号化方法決定部、 １０６ 残差信号生成部、 １０７ 直交変換・量子化部、 １０８ 逆量子化・逆直交変換部、 １０９ 復号画像信号重畳部、 １１０ 符号化情報格納メモリ、 １１１ 復号画像メモリ、 １１２ 第１の符号化ストリーム生成部、 １１３ 第２の符号化ストリーム生成部、 １１４ 第３の符号化ストリーム生成部、 １１５ 符号化ストリーム多重化部、 １２１ 符号化ブロック単位の符号化情報に関するシンタックス要素導出部、 １２２ イントラ輝度予測モードに関するシンタックス要素導出部、 １２３ イントラ色差予測モードに関するシンタックス要素導出部、 １２４ インター予測情報に関するシンタックス要素導出部、 １２５ イントラ予測モード符号化制御部、 １２６ エントロピー符号化部、 ２０１ 符号化ストリーム分離部、 ２０２ 第１の符号化ストリーム復号部、 ２０３ 第２の符号化ストリーム復号部、 ２０４ 第３の符号化ストリーム復号部、 ２０５ 色差フォーマット管理部、 ２０６ イントラ予測部、 ２０７ インター予測部、 ２０８ 逆量子化・逆直交変換部、 ２０９ 復号画像信号重畳部、 ２１０ 符号化情報格納メモリ、 ２１１ 復号画像メモリ、 ２１２ スイッチ、 ２１３ スイッチ、 ２２１ イントラ予測モード復号制御部、 ２２２ エントロピー復号部、 ２２３ 符号化ブロック単位の符号化情報導出部２２３、 ２２４ イントラ輝度予測モード導出部、 ２２５ イントラ色差予測モード導出部、 ２２６ インター予測情報導出部。

Claims (3)

1. 予測ブロック単位でイントラ予測モードに関する情報を復号して、変換ブロック単位で輝度信号と色差信号とを含む画像信号をイントラ予測を用いて復号する画像復号装置であって、
   輝度信号の予測ブロックのイントラ予測方法を示すイントラ輝度予測モードに関する情報が符号化された符号化ストリームから、輝度信号のイントラ予測モードに関するシンタックス要素を復号し、輝度信号のイントラ予測モードを導出するイントラ輝度予測モード復号部と、
   色差信号の予測ブロックのイントラ予測方法を示すイントラ色差予測モードに関する情報が符号化された符号化ストリームから、色差信号のイントラ色差予測モードに関するシンタックス要素を復号し、前記イントラ輝度予測モードも参照して、第１イントラ色差予測モードを導出するイントラ色差予測モード復号部と、
   前記輝度信号の予測ブロック毎に特定されたイントラ輝度予測モードに応じて、輝度信号の変換ブロックの周囲の輝度信号から前記輝度信号の変換ブロックの輝度信号を予測する輝度信号イントラ予測部と、
   前記色差信号の予測ブロック毎に特定されたイントラ色差予測モードに応じて、色差信号の変換ブロックの周囲の色差信号から前記色差信号の変換ブロックの色差信号を予測する色差信号イントラ予測部とを備え、
   前記イントラ色差予測モード復号部は、前記輝度信号と前記色差信号の画素のアスペクト比が異なる場合、前記アスペクト比が同じ場合に使用する第１イントラ色差予測モードのモード番号を変換して、前記アスペクト比が異なる場合に使用する第２イントラ色差予測モードを導出することを特徴とする画像復号装置。
2. 予測ブロック単位でイントラ予測モードに関する情報を復号して、変換ブロック単位で輝度信号と色差信号とを含む画像信号をイントラ予測を用いて復号する画像復号方法であって、
   輝度信号の予測ブロックのイントラ予測方法を示すイントラ輝度予測モードに関する情報が符号化された符号化ストリームから、輝度信号のイントラ予測モードに関するシンタックス要素を復号し、輝度信号のイントラ予測モードを導出するイントラ輝度予測モード復号ステップと、
   色差信号の予測ブロックのイントラ予測方法を示すイントラ色差予測モードに関する情報が符号化された符号化ストリームから、色差信号のイントラ色差予測モードに関するシンタックス要素を復号し、前記イントラ輝度予測モードも参照して、第１イントラ色差予測モードを導出するイントラ色差予測モード復号ステップと、
   前記輝度信号の予測ブロック毎に特定されたイントラ輝度予測モードに応じて、輝度信号の変換ブロックの周囲の輝度信号から前記輝度信号の変換ブロックの輝度信号を予測する輝度信号イントラ予測ステップと、
   前記色差信号の予測ブロック毎に特定されたイントラ色差予測モードに応じて、色差信号の変換ブロックの周囲の色差信号から前記色差信号の変換ブロックの色差信号を予測する色差信号イントラ予測ステップとを有し、
   前記イントラ色差予測モード復号ステップは、前記輝度信号と前記色差信号の画素のアスペクト比が異なる場合、前記アスペクト比が同じ場合に使用する第１イントラ色差予測モードのモード番号を変換して、前記アスペクト比が異なる場合に使用する第２イントラ色差予測モードを導出することを特徴とする画像復号方法。
3. 予測ブロック単位でイントラ予測モードに関する情報を復号して、変換ブロック単位で輝度信号と色差信号とを含む画像信号をイントラ予測を用いて復号する画像復号プログラムであって、
   輝度信号の予測ブロックのイントラ予測方法を示すイントラ輝度予測モードに関する情報が符号化された符号化ストリームから、輝度信号のイントラ予測モードに関するシンタックス要素を復号し、輝度信号のイントラ予測モードを導出するイントラ輝度予測モード復号ステップと、
   色差信号の予測ブロックのイントラ予測方法を示すイントラ色差予測モードに関する情報が符号化された符号化ストリームから、色差信号のイントラ色差予測モードに関するシンタックス要素を復号し、前記イントラ輝度予測モードも参照して、第１イントラ色差予測モードを導出するイントラ色差予測モード復号ステップと、
   前記輝度信号の予測ブロック毎に特定されたイントラ輝度予測モードに応じて、輝度信号の変換ブロックの周囲の輝度信号から前記輝度信号の変換ブロックの輝度信号を予測する輝度信号イントラ予測ステップと、
   前記色差信号の予測ブロック毎に特定されたイントラ色差予測モードに応じて、色差信号の変換ブロックの周囲の色差信号から前記色差信号の変換ブロックの色差信号を予測する色差信号イントラ予測ステップとをコンピュータに実行させ、
   前記イントラ色差予測モード復号ステップは、前記輝度信号と前記色差信号の画素のアスペクト比が異なる場合、前記アスペクト比が同じ場合に使用する第１イントラ色差予測モードのモード番号を変換して、前記アスペクト比が異なる場合に使用する第２イントラ色差予測モードを導出することを特徴とする画像復号プログラム。

Images