図2〜図24に基づいて、本発明の一実施形態に係る階層動画像復号装置1および階層動画像符号化装置2を説明すれば以下のとおりである。
〔概要〕
本実施の形態に係る階層動画像復号装置(画像復号装置)1は、階層動画像符号化装置(画像符号化装置)2によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、SVCやSHVCにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合(すなわち、異なる符号化雑音により符号化された動画像の場合)も互いに動画像の品質が異なるといえる。
また、階層符号化技術は、階層化される情報の種類の観点から、(1)空間スケーラビリティ、(2)時間スケーラビリティ、(3)SNR(Signal to Noise Ratio)スケーラビリティ、および(4)ビュースケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレームレート(単位時間のフレーム数)において階層化する技術である。SNRスケーラビリティは、符号化雑音において階層化する技術である。また、ビュースケーラビリティは、各画像に対応付けられた視点位置において階層化する技術である。
本実施形態に係る階層動画像符号化装置2及び階層動画像復号装置1の詳細な説明に先立って、まず(1)階層動画像符号化装置2によって生成され、階層動画像復号装置1によって復号される階層符号化データのレイヤ構造を説明し、次いで(2)各レイヤで採用できるデータ構造の具体例について説明を行う。
〔階層符号化データのレイヤ構造〕
ここで、図2を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図2は、動画像を、下位階層L3、中位階層L2、および上位階層L1の3階層により階層的に符号化/復号する場合について模式的に表わす図である。つまり、図2(a)および(b)に示す例では、3階層のうち、上位階層L1が最上位層となり、下位階層L3が最下位層となる。
以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像(または、特定の階層に対応する復号画像)と称される(例えば、上位階層L1の復号画像POUT#A)。
図2(a)は、入力画像PIN#A〜PIN#Cをそれぞれ階層的に符号化して符号化データDATA#A〜DATA#Cを生成する階層動画像符号化装置2#A〜2#Cを示している。図2(b)は、階層的に符号化された符号化データDATA#A〜DATA#Cをそれぞれ復号して復号画像POUT#A〜POUT#Cを生成する階層動画像復号装置1#A〜1#Cを示している。
まず、図2(a)を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像PIN#A、PIN#B、およびPIN#Cは、原画は同じだが、画像の品質(解像度、フレームレート、および画質等)が異なる。画像の品質は、入力画像PIN#A、PIN#B、およびPIN#Cの順に低くなる。
下位階層L3の階層動画像符号化装置2#Cは、下位階層L3の入力画像PIN#Cを符号化して下位階層L3の符号化データDATA#Cを生成する。下位階層L3の復号画像POUT#Cを復号するのに必要な基本情報が含まれる(図2において“C”にて示している)。下位階層L3は、最下層の階層であるため、下位階層L3の符号化データDATA#Cは、基本符号化データとも称される。
また、中位階層L2の階層動画像符号化装置2#Bは、中位階層L2の入力画像PIN#Bを、下位階層の符号化データDATA#Cを参照しながら符号化して中位階層L2の符号化データDATA#Bを生成する。中位階層L2の符号化データDATA#Bには、符号化データDATA#Cに含まれる基本情報“C”に加えて、中位階層の復号画像POUT#Bを復号するのに必要な付加的情報(図2において“B”にて示している)が含まれる。
また、上位階層L1の階層動画像符号化装置2#Aは、上位階層L1の入力画像PIN#Aを、中位階層L2の符号化データDATA#Bを参照しながら符号化して上位階層L1の符号化データDATA#Aを生成する。上位階層L1の符号化データDATA#Aには、下位階層L3の復号画像POUT#Cを復号するのに必要な基本情報“C”および中位階層L2の復号画像POUT#Bを復号するのに必要な付加的情報“B”に加えて、上位階層の復号画像POUT#Aを復号するのに必要な付加的情報(図2において“A”にて示している)が含まれる。
このように上位階層L1の符号化データDATA#Aは、異なる複数の品質の復号画像に関する情報を含む。
次に、図2(b)を参照しながら復号装置側について説明する。復号装置側では、上位階層L1、中位階層L2、および下位階層L3それぞれの階層に応じた復号装置1#A、1#B、および1#Cが、符号化データDATA#A、DATA#B、およびDATA#Cを復号して復号画像POUT#A、POUT#B、およびPOUT#Cを出力する。
なお、上位の階層符号化データの一部の情報を抽出(ビットストリーム抽出とも呼ぶ)して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。
例えば、中位階層L2の階層復号装置1#Bは、上位階層L1の階層符号化データDATA#Aから、復号画像POUT#Bを復号するのに必要な情報(すなわち、階層符号化データDATA#Aに含まれる“B”および“C”)を抽出して、復号画像POUT#Bを復号してもよい。言い換えれば、復号装置側では、上位階層L1の階層符号化データDATA#Aに含まれる情報に基づいて、復号画像POUT#A、POUT#B、およびPOUT#Cを復号できる。
なお、以上の3階層の階層符号化データに限られず、階層符号化データは、2階層で階層符号化されていてもよいし、3階層よりも多い階層数にて階層符号化されていてもよい。
また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図2(a)および(b)を用いて上述した例では、復号画像POUT#Bの復号に“C”および“B”を参照すると説明したが、これに限られない。復号画像POUT#Bが“B”だけを用いて復号できるように階層符号化データを構成することも可能である。例えば、復号画像POUT#Bの復号に、“B”だけから構成される階層符号化データと、復号画像POUT#Cを入力とする階層動画像復号装置も構成できる。
なお、SNRスケーラビリティを実現する場合、入力画像PIN#A、PIN#B、およびPIN#Cとして同一の原画を用いた上で、復号画像POUT#A、POUT#B、およびPOUT#Cが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。
本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。
プロファイル(Profile): プロファイルとは、特定のアプリケーションを想定し、規格に準拠するデコーダが備えるべき処理機能を規定するものであり、符号化ツール(要素技術)の組み合わせ、あるいは集合によって定義される。プロファイルを規定することで、個々のアプリケーションでは、規格全体でなく、適したプロファイルのみを実装すればよく、デコーダ/エンコーダの複雑度を低減することが可能となるメリットがある。
レベル(Level): レベルは、デコーダの処理能力上限や回路規模の範囲を規定するものであり、単位時間当たりの最大処理画素数、画像の最大解像度、最大ビットレート、最大参照画像バッファサイズ、最低限の圧縮率などのパラメータの制限を規定している。すなわち、レベルはデコーダの処理能力やビットストリームの複雑さを規定するものである。また、レベルでは、各プロファイルで規定されたツールを、どの範囲までサポートするかについても規定されている。そのため、上位のレベルでは、下位のレベルをサポートする必要がある。例えば、レベル制限される各種パラメータには、最大輝度ピクチャサイズ(Max luma picture size)、最大ビットレート(Max bitrate)、最大CPBサイズ(Max CPB size)、ピクチャ単位当りの最大スライスセグメント数(Max slice segments per picture)、ピクチャ単位当たりの最大タイル行数(Max number of tile rows)、ピクチャ単位当たりの最大タイル列数(Max number of tile columns)等がある。また、特定のプロファイルに対して適用される、レベル制限される各種パラメータには、最大輝度サンプルレート(Max luma sample rate)、最大ビットレート(Max bit rate)、及び最低圧縮比率(Mincompression Ratio)が挙げられる。なお、レベルのサブ概念として、各レベルに対応するビットストリーム(符号化データ)の最大ビットレート、及びビットストリームを格納する最大CPBサイズがメインティア(Main tier:コンシューマ用)で規定される値か、または、ハイティア(High tier:業務用)で規定される値であるか表す“ティア”(tier)がある。
HRD (Hypothetical Reference Decoder、仮想参照デコーダ) : HRDとは、バッファの動作を中心としたデコーダの仮想モデルであり、バッファモデルとも呼ばれる。HRDは、(1)ビットストリームの伝送バッファであるCPB(Coded Picture Buffer、符号化済ピクチャバッファ)、(2)瞬時に復号動作を行う復号処理部、(3)復号したピクチャを保存するDPB(Decoded Picture Buffer、復号ピクチャバッファ)、(4)切り出し処理を行うクロッピング処理部(画像の有効領域のみ切り出す処理)から構成される。
HRDの基本動作は以下の通りである。
(SA01)入力ビットストリームをCPBへ蓄積する。
(SA02)CPBに蓄積されたAUを瞬時復号処理する。
(SA03)瞬時復号処理して得られた復号済ピクチャをDPBへ保存する。
(SA04)DPBに保存された復号ピクチャをクロップして出力する。
HRDパラメータ(HRD parameters) : HRDパラメータとは、入力されたビットストリームが、HRDにおいて、コンフォーマンス条件を満たすか検証するために利用されるバッファモデルを示すパラメータである。
ビットストリームコンフォーマンス : ビットストリームコンフォーマンスとは、階層動画像復号装置(ここでは本発明の実施形態に係る階層動画像復号装置)が復号するビットストリームが満たす必要がある条件である。同様に、階層動画像符号化装置(ここでは本発明の実施形態に係る階層動画像符号化装置)が生成するビットストリームに関しても、上記階層動画像復号装置が復号可能なビットストリームであることを保障するため、上記ビットストリームコンフォーマンスを満たす必要がある。
VCL NALユニット : VCL(Video Coding Layer、ビデオ符号化レイヤ) NALユニットとは、動画像(映像信号)の符号化データを含むNALユニットである。例えば、VCL NALユニットには、スライスデータ(CTUの符号化データ)、及び当該スライスの復号を通じて共通で利用されるヘッダ情報(スライスヘッダ)が含まれる。
non-VCL NALユニット : non-VCL(non-Video Coding Layer、非ビデオ符号化レイヤ、非VCL) NALユニットとは、ビデオパラメータセットVPS、シーケンスパラメータセットSPS、ピクチャパラメータセットPPS等の各シーケンスやピクチャを復号する時に利用される符号化パラメータの集合であるヘッダ情報や補助情報SEI等の符号化データを含むNALユニットである。
レイヤ識別子 : レイヤ識別子(レイヤIDとも称する)は、階層(レイヤ)を識別するためのものであり、階層と1対1に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。
一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および/または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および/または、対象レイヤの下位レイヤに含まれる1つ以上階層のレイヤ表現が用いられる。
レイヤ : 特定の階層(レイヤ)のレイヤ識別子の値(nuh_layer_id, nuhLayerId)をもつVCL NAL UNIT及びそのVCL NALユニットに関連付けられたnon-VCL NAL UNITの集合、あるいは、階層的な関係をもつシンタックス構造の集合の一つである。
上位レイヤ : ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図2において、下位階層L3の上位レイヤは、中位階層L2および上位階層L1である。また、上位レイヤの復号画像とは、より品質の高い(例えば、解像度が高い、フレームレートが高い、画質が高い等)復号画像のことをいう。
下位レイヤ : ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図2において、上位階層L1の下位レイヤは、中位階層L2および下位階層L3である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。
対象レイヤ : 復号または符号化の対象となっている階層のことをいう。なお、対象レイヤに対応する復号画像を対象レイヤピクチャと呼ぶ。また、対象レイヤピクチャを構成する画素を対象レイヤ画素と呼ぶ。
出力レイヤ : 復号または符号化の対象となるレイヤのうち、該レイヤの復号ピクチャを、出力ピクチャとして出力することが指定されたレイヤのことである。
参照レイヤ : 対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。なお、参照レイヤに対応する復号画像を参照レイヤピクチャと呼ぶ。また、参照レイヤを構成する画素を参照レイヤ画素と呼ぶ。
図2(a)および(b)に示した例では、上位階層L1の参照レイヤは、中位階層L2および下位階層L3である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層L1の参照レイヤが、中位階層L2および下位階層L3のいずれか一方となるように階層符号化データを構成することも可能である。また、参照レイヤは、対象レイヤの復号に用いられる符号化パラメータ等を予測する際に利用(参照)される、対象レイヤとは異なるレイヤであるとも表現できる。対象レイヤのレイヤ間予測で、直接的に参照される参照レイヤは、直接参照レイヤと呼ばれる。また、対象レイヤの直接参照レイヤAのレイヤ間予測で参照される直接参照レイヤBは、対象レイヤが、間接的に依存するため、対象レイヤの間接参照レイヤとも呼ばれる。換言すれば、レイヤiが、1又は複数のレイヤk(i<k<j)を介して、レイヤjに対して、間接的に依存す場合、レイヤjは、レイヤiの間接参照レイヤである。なお、対象レイヤに対する直接参照レイヤ、及び間接参照レイヤを総称して、依存レイヤと呼ぶ。
基本レイヤ(base layer) : 最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層L1の階層符号化データDATA#Aに含まれる基本情報“C”が基本符号化データである。また、基本レイヤは、少なくとも、同一のレイヤ識別子を有し、かつそのレイヤ識別子(nuh_layer_id)の値は0である、1又は複数のVCL NALユニットからなるレイヤである。
拡張レイヤ(non-base layer) : 基本レイヤの上位レイヤは、拡張レイヤと称される。また、拡張レイヤは、少なくとも、同一のレイヤ識別子を有し、そのレイヤ識別子(nuh_layer_id)の値が0より大きい、1又は複数のVCL NALユニットからなるレイヤである。
レイヤ間予測 : レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層(参照レイヤ)のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を参照レイヤの情報から予測するレイヤ間予測のことをレイヤ間動き情報予測と称することもある。また、下位レイヤの復号画像から予測するレイヤ間予測のことをレイヤ間画像予測(あるいはレイヤ間テクスチャ予測)と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。
テンポラル識別子: テンポラル識別子(テンポラルID)は、時間スケーラビリティに関するレイヤ(以降、サブレイヤ)を識別するための識別子である。テンポラル識別子は、サブレイヤを識別するためのものであり、サブレイヤと1対1に対応する。符号化データには特定のサブレイヤの復号画像の復号に必要な部分符号化データを選択するために用いられるテンポラル識別子が含まれる。特に、最高次(最上位)のサブレイヤのテンポラル識別子を最高次(最上位)テンポラル識別子(highest TemporalId, highestTid)と称する。
サブレイヤ: サブレイヤとは、テンポラル識別子により特定される時間スケーラビリティに関するレイヤである。空間スケーラビリティ、SNRスケーラビリティ等、そのほかのスケーラビリティと区別するため、以降サブレイヤと称する(テンポラルレイヤとも称する)。また、以降では、時間スケーラビリティは、基本レイヤの符号化データ、またはあるレイヤを復号するために必要な階層符号化データ、に含まれるサブレイヤによって実現されるものとする。
レイヤセット: レイヤセットとは、1以上のレイヤからなるレイヤの集合である。特に、レイヤセットの構成は、レイヤIDリストLayerSetLayerIdList[](あるいは、LayerIdList[])によって表現され、レイヤセットに含まれるレイヤを識別するレイヤID(または、VPS上でのレイヤの順番を示すインデクス)は、レイヤIDリストLayerIdList[K](K=0..N-1, Nはレイヤセットに含まれるレイヤ数)の各要素に、格納される。
出力レイヤセット: 出力レイヤセットとは、上記レイヤセットに含まれるレイヤに対して、出力レイヤであるかどうか指定されたレイヤの集合である。また、出力レイヤセットは、レイヤセットと出力レイヤを指定する出力レイヤフラグの組み合わせにより表現される集合とも表現される。
ビットストリーム抽出処理 : ビットストリーム抽出処理とは、あるビットストリーム(階層符号化データ、符号化データ)から、対象最高次テンポラル識別子(highestTid)、及び対象レイヤセットに含まれるレイヤを表わすレイヤIDリストLayerIdList[]によって定まる集合(ターゲットセットTargetSetと呼ぶ)に含まれないNALユニットを除去(破棄)し、ターゲットセットTargetSetに含まれるNALユニットから構成されるビットストリームを抽出する処理である。なお、ビットストリーム抽出は、サブビットストリーム抽出とも呼ばれる。
また、対象最高次テンポラル識別子をTargetHighestTidと称し、対象レイヤセットをTargetLayerSetと称し、対象レイヤセットのレイヤIDリスト(対象レイヤIDリスト)をTargetLayerIdListとも称する。特に、復号対象となるレイヤIDリストを、TargetDecLayerIdListとも呼ぶ。また、ビットストリーム抽出により生成された、ターゲットセットTargetSetに含まれるNALユニットから構成されるビットストリームを符号化データBitstreamToDecodeとも称する。
次に、図3を参照して、ビットストリーム抽出処理により、あるレイヤセットAを含む階層符号化データより、レイヤセットAのサブセットとなるレイヤセットBを含む階層符号化データを抽出する例について説明する。
図3は、3つのレイヤ(L#0, L#1, L#2)、及び各レイヤは3つのサブレイヤ(TID1, TID2, TID3)からなるレイヤセットA、及びそのサブセットであるレイヤセットBの構成を表わす。なお、以降では、レイヤセットを構成するレイヤ、及びサブレイヤを、{LayerIdList={L#0, ..,L#N}, HighestTid=K}と表わす。例えば、図3のレイヤセットAは、{LayerIdList={L#0, L#1, L#2}, HighestTid=3}と表現される。ここで、符号L#Nは、あるレイヤNを示し、図3中の各ボックスは、ピクチャを表わし、ボックス内の番号は、復号順の一例を表わす。以降、ピクチャで番号Nを、P#Nと表記する。
また、各ピクチャ間の矢印は、ピクチャ間の依存方向(参照関係)を表わす。同一レイヤ内の矢印であれば、インター予測に利用される参照ピクチャであることを示す。レイヤ間の矢印であれば、レイヤ間予測に利用される参照ピクチャ(参照レイヤピクチャともいう)であることを表わす。
また、図3中のAUは、アクセスユニットを表わし、符号#Nは、アクセスユニット番号を表わす。AU#Nは、ある起点(例えば、ランダムアクセス開始点)のAUをAU#0とすれば、(N−1)番目のアクセスユニットであることを表わし、ビットストリームに含まれるAUの順番を表わす。すなわち、図3の例であれば、ビットストリーム上で、アクセスユニットは、AU#0、AU#1、AU#2、AU#3、AU#4..の順で並んでいる。なお、アクセスユニットとは、特定の分類ルールにより集約されたNALユニットの集合を表わす。図3のAU#0は、ピクチャP#1、P#1、及びP#3の符号化データを含むVCL NALの集合とみることができる。なお、アクセスユニットの詳細については後述する。なお、本明細書では、X番目と記す場合、先頭要素が0番目であり、0番目から数えることとする(以下同様)。
図3の例では、ターゲットセットTargetSet(レイヤセットB)は、{LayerIdList={L#0,L#1}、HighestTid=2}であるから、レイヤセットAを含むビットストリームから、ターゲットセットTargetSetに含まれないレイヤ、及び最高次テンポラルID(HighestTid=2)より大きいサブレイヤを、ビットストリーム抽出により破棄する。すなわち、レイヤIDリストに含まれないレイヤL#2、及びサブレイヤ(TID3)を有するNALユニットが破棄され、最終的には、レイヤセットBを含むビットストリームが抽出される。図3では、点線のボックスは、破棄されたピクチャを表わし、点線の矢印は、破棄されたピクチャと参照ピクチャ間の依存方向を示す。なお、レイヤL#3、及びTID3のサブレイヤのピクチャを構成するNALユニットは破棄済のため、依存関係は既に断ち切られている。
SHVCやMV-HEVCでは、SNRスケーラビリティ、空間スケーラビリティ、時間スケーラビリティ等を実現するために、レイヤ、及びサブレイヤの概念が導入されている。図3で既に説明したように、フレームレートを変更し時間スケーラビリティを実現する場合、ビットストリーム抽出処理により、まず他のピクチャから参照されないピクチャ(最高次テンポラルID(TID3))の符号化データを破棄する。図3の場合、ピクチャ(10、13、11、14、12、15)の符号化データを破棄することにより、フレームレートが1/2となる符号化データが生成される。
また、SNRスケーラビリティ、空間スケーラビリティや、ビュースケーラビリティを実現する場合、ビットストリーム抽出により、ターゲットセットTargetSetに含まれない、レイヤの符号化データを破棄することで、各スケーラビリティの粒度を変更することができる。図3の場合、ピクチャ(3、6、9、12、15)の符号化データを破棄することで、スケーラビリティの粒度を粗くした符号化データが生成される。上記処理を繰り返すことで、段階的にレイヤ、サブレイヤの粒度を調整することができる。
なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、HEVCおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、MPEG-2や、H.264/AVCなどの符号化方式により生成してもよい。
また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、各階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置1に供給されてもよいし、同一の伝送路を介して階層動画像復号装置1に供給されてもよい。
例えば、超高精細映像(動画像、4K映像データ)を基本レイヤおよび1つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、4K映像データをダウンスケーリングし、インタレース化した映像データをMPEG-2またはH.264/AVCにより符号化してテレビ放送網で伝送し、拡張レイヤは、4K映像(プログレッシブ)をHEVCにより符号化して、インターネットで伝送してもよい。
<階層符号化データDATAの構造>
本実施形態に係る画像符号化装置2および画像復号装置1の詳細な説明に先立って、画像符号化装置2によって生成され、画像復号装置1によって復号される階層符号化データDATAのデータ構造について説明する。
(NALユニットレイヤ)
図4は、階層符号化データDATAにおけるデータの階層構造を示す図である。階層符号化データDATAは、NAL(Network Abstraction Layer)ユニットと呼ばれる単位で符号化される。
NALは、動画像符号化処理を行う層であるVCL(Video Coding Layer)と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。
VCLは、画像符号化処理を行う層のことであり、VCLにおいて符号化が行われる。一方、ここでいう、下位システムは、H.264/AVCおよびHEVCのファイルフォーマットや、MPEG-2システムに対応する。以下に示す例では、下位システムは、対象レイヤおよび参照レイヤにおける復号処理に対応する。なお、NALでは、VCLで生成されたビットストリームが、NALユニットという単位で区切られて、宛先となる下位システムへ伝送される。
図5(a)は、NALユニットのシンタックステーブルを示す。NALユニットには、VCLで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダ(NALユニットヘッダ:nal_unit_header())が含まれる。NALユニットヘッダは、例えば、図5(b)に示すシンタックスで表わされる。NALユニットヘッダには、NALユニットに格納された符号化データの種類を表わす“nal_unit_type”、格納された符号化データが属するサブレイヤの識別子(テンポラル識別子)を表わす”nuh_temporal_id_plus1”や、格納された符号化データが属するレイヤの識別子(レイヤ識別子)を表わす”nuh_layer_id”(または、nuh_reserved_zero_6bits)が記述されている。一方、NALユニットデータには、後述のパラメータセット、SEI、スライスなどが含まれる。
図6は、NALユニットタイプの値とNALユニットの種別の関係を示す図である。図6に示す通り、SYNA101で示される0から15の値のNALユニットタイプを持つNALユニットは、非RAP (ランダムアクセスピクチャ)のスライスである。SYNA102で示される16から21の値のNALユニットタイプを持つNALユニットは、RAP (ランダムアクセスピクチャ、IRAPピクチャ)のスライスである。RAPピクチャには、大きく分けて、BLAピクチャ、IDRピクチャ、CRAピクチャがあり、BLAピクチャは、さらに、BLA_W_LP、BLA_W_DLP、BLA_N_LPに分類される。IDRピクチャは、さらに、IDR_W_DLP、IDR_N_LPに分類される。RAPピクチャ以外のピクチャには、リーディングピクチャ(LPピクチャ)、テンポラルアクセスピクチャ(TSAピクチャ、STSAピクチャ)、トレイリングピクチャ(TRAILピクチャ)などがある。なお、各階層における符号化データは、NALユニットに格納されることでNAL多重化されて階層動画像復号装置1に伝送される。
図6、特にNAL Unit Type Classで示されるように、各NALユニットは、NALユニットタイプに応じて、ピクチャを構成するデータ(VCLデータ)と、それ以外のデータ(non-VCL)に分類される。ピクチャは、ランダムアクセスピクチャ、リーディングピクチャ、トレイリングピクチャなどのピクチャ種別によらず、全てVCL NALユニットに分類され、ピクチャの復号に必要なデータであるパラメータセットや、ピクチャの補助情報であるSEI、シーケンスの区切りを表わすアクセスユニットデリミタ(AUD)、エンドオブシーケンス(EOS)、エンドオブビットストリーム(EOB)などは、non-VCL NALユニットに分類される。
(アクセスユニット)
特定の分類ルールにより集約されたNALユニットの集合のことをアクセスユニットと呼ぶ。レイヤ数が1の場合には、アクセスユニットは1ピクチャを構成するNALユニットの集合である。レイヤ数が1より大きい場合には、アクセスユニットは同じ時刻(同一出力タイミング)の複数のレイヤのピクチャを構成するNALユニットの集合である。なお、アクセスユニットの区切りを示すために、符号化データはアクセスユニットデリミタ(AUD:Access unit delimiter)と呼ばれるNALユニットを含んでも良い。アクセスユニットデリミタは、符号化データ中にあるアクセスユニットを構成するNALユニットの集合と、別のアクセスユニットを構成するNALユニットの集合の間に含まれる。
図7は、アクセスユニットに含まれるNALユニットの構成の一例を示す図である。同図において、AUには、AUの先頭であることを示すアクセスユニットデリミタ(AUD)、各種パラメータセット(VPS, SPS, PPS)、各種SEI(Prefix SEI, Suffix SEI)、レイヤ数が1の場合は1ピクチャを構成するVCL(slice)、レイヤ数が1より大きい場合はレイヤ数分のピクチャを構成するVCL、シーケンスの終端を示すEOS(End of Sequence)、ビットストリームの終端を示すEOB(End of Bitstream)等のNALユニットから構成される。なお、図7において、VPS, SPS, SEI, VCLの後の符号L#K(K=Nmin..Nmax)は、レイヤID(あるいは、VPS上で定義されたレイヤの順番を示すインデクス)を表わす。図7の例では、AU内に、VPSを除き、各レイヤL#Nmin〜レイヤL#NmaxのSPS, PPS, SEI, VCLが、レイヤID(あるいは、VPS上で定義されたレイヤの順番を示すインデクス)の昇順で存在する。図7の例では、VPSは、最低次のレイヤIDでのみ送られる。なお、図7において、特定NALユニットがAU内に存在するか、または繰り返し存在するかを、矢印によって示している。
例えば、特定のNALユニットがAU内に存在すれば、そのNALユニットを通過する矢印で示し、特定のNALユニットがAU内に存在しなければ、そのNALユニットをスキップする矢印で示している。例えば、AUDを通らずに、VPSへ向かう矢印は、AUDがAU内に存在しない場合を示す。また、VCLを通過してから再びVCLへ戻る矢印は、1以上のVCLが存在する場合を示す。
また、最低次以外の上位のレイヤIDを有するVPSがAU内に含まれてもよいが、画像復号装置は、最低次以外のレイヤIDを有するVPSを無視するものとする。また、各種パラメータセット(VPS,SPS,PPS)や補助情報であるSEIは、図7のように、アクセスユニットの一部として含まれてもよいし、ビットストリームとは別の手段でデコーダに伝達されてもよい。なお、図7は、アクセスユニットに含まれるNALユニットの構成の一実施形態に過ぎず、アクセスユニットに含まれるNALユニットの構成は、ビットストリームを復号することが可能な範囲で変更が可能である。
特に、レイヤ識別子nuhLayerId=0のIRAPピクチャを含むアクセスユニットを、IRAPアクセスユニット(ランダムアクセスポイント・アクセスユニット)と呼ぶ。また、ターゲットセットに含まれる全レイヤの復号処理の初期化を実施するIRAPアクセスユニットを初期化IRAPアクセスユニットと呼ぶ。また、復号順で、初期化IRAPアクセスユニットから、0以上の非初期化IRAPアクセスユニット(初期化IRAPアクセスユニット以外のアクセスユニット)が続き、次の初期化IRAPアクセスユニットまでのアクセスユニットの集合(ただし、次の初期化IRAPアクセスユニットは除く)を、CVS(Coded Video Sequence;符号化ビデオシーケンス、以降ではシーケンスSEQとも称する)とも称する。
図8は、階層符号化データDATAにおけるデータの階層構造を示す図である。階層符号化データDATAは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図8の(a)〜(f)は、それぞれ、シーケンスSEQを既定するシーケンスレイヤ、ピクチャPICTを規定するピクチャレイヤ、スライスSを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、符号化ツリーに含まれる符号化単位(Coding Unit;CU)を規定する符号化ユニットレイヤを示す図である。
(シーケンスレイヤ)
シーケンスレイヤでは、処理対象のシーケンスSEQ(以下、対象シーケンスとも称する)を復号するために画像復号装置1が参照するデータの集合が規定されている。シーケンスSEQは、図8の(a)に示すように、ビデオパラメータセット(Video Parameter Set)シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、ピクチャPICT、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。ここで#の後に示される値はレイヤIDを示す。図8では、#0と#1すなわちレイヤIDが0とレイヤIDが1の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれに限定されない。
(ビデオパラメータセット)
図11は、ビデオパラメータセットVPSのシンタックス表の一例であり、図12は、ビデオパラメータセットVPSの拡張データのシンタックス表の一例である。ビデオパラメータセットVPSでは、1以上のレイヤから構成される符号化データを復号するために画像復号装置1が参照する符号化パラメータの集合が規定されている。例えば、後述のシーケンスパラメータセットや他のシンタックス要素が参照するVPSを識別するために用いるVPS識別子(video_parameter_set_id)(図11上のSYNVPS01)や、符号化データに含まれるレイヤ数(vps_max_layers_minus1) (図11上のSYNVPS02)、レイヤに含まれるサブレイヤ数(vps_sub_layers_minus1) (図11上のSYNVPS03)、符号化データ中で表現される1以上のレイヤからなるレイヤの集合を規定するレイヤセットの数(vps_num_layer_sets_minus1) (図11上のSYNVPS06)、レイヤセットを構成するレイヤの集合を規定するレイヤセット情報(layer_id_included_flag[i][j]) (図11上のSYNVPS07)や、レイヤ間の依存関係(直接依存フラグdirect_dependency_flag[i][j])(図12上のSYNVPS0C)、出力レイヤセットを構成する出力レイヤの集合や、PTL情報等を規定した出力レイヤセット情報 (デフォルト出力レイヤ識別子default_target_output_layer_idc、出力レイヤフラグoutput_layer_flag[i][j]など)(図12上のSYNVPS0G〜SYNVPS0K)などが規定されている。VPSは符号化データ内に複数存在してもよい。その場合、対象シーケンス毎に復号に用いられるVPSが複数の候補から選択される。
あるレイヤに属する特定シーケンスの復号に使用されるVPSは、アクティブVPSと呼ばれる。以下では、特に断りがなければ、VPSは、あるレイヤに属する対象シーケンスに対するアクティブVPSを意味する。
(シーケンスパラメータセット)
図15(a)は、シーケンスパラメータセットSPSのシンタックス表の一例である。シーケンスパラメータセットSPSでは、対象シーケンスを復号するために画像復号装置1が参照する符号化パラメータの集合が規定されている。例えば、対象SPSが参照するアクティブVPSを表わすアクティブVPS識別子(sps_video_parameter_set_id)(図15(a)上のSYNSPS01)、後述のピクチャパラメータセットや他のシンタックス要素が参照するSPSを識別するために用いるSPS識別子(sps_seq_parameter_set_id)(図15(a)上のSYNSPS02)や、ピクチャの幅や高さが規定される。SPSは符号化データ内に複数存在してもよく、その場合には、対象シーケンス毎に復号に用いられるSPSが複数の候補から選択される。
あるレイヤに属する特定シーケンスの復号に使用されるSPSは、アクティブSPSとも呼ばれる。以下では、特に断りがなければ、SPSは、あるレイヤに属する対象シーケンスに対するアクティブSPSを意味する。
(ピクチャパラメータセット)
図15(b)は、ピクチャパラメータセットPPSのシンタックス表の一例である。ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために画像復号装置1が参照する符号化パラメータの集合が規定されている。例えば、対象PPSが参照するアクティブSPSを表わすアクティブSPS識別子(pps_seq_parameter_set_id)(図15(b)のSYNPPS01)、後述のスライスヘッダや他のシンタックス要素が参照するPPSを識別するために用いるPPS識別子(pps_pic_parameter_set_id)(図15(b)のSYNPPS02)や、ピクチャの復号に用いられる量子化幅の基準値(pic_init_qp_minus26)や重み付き予測の適用を示すフラグ(weighted_pred_flag)、スケーリングリスト(量子化マトリックス)が含まれる。なお、PPSは複数存在してもよく、その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。
あるレイヤに属する特定ピクチャの復号に使用されるPPSはアクティブPPSと呼ばれる。以下では、特に断りがなければ、PPSは、あるレイヤに属する対象ピクチャに対するアクティブPPSを意味する。なお、アクティブSPS、及びアクティブPPSは、レイヤ毎に異なるSPSやPPSに設定してもよい。すなわち、レイヤ毎に異なるSPSやPPSを参照して復号処理を実行することができる。
(ピクチャレイヤ)
ピクチャレイヤでは、処理対象のピクチャPICT(以下、対象ピクチャとも称する)を復号するために階層動画像復号装置1が参照するデータの集合が規定されている。ピクチャPICTは、図8(b)に示すように、スライスS0〜SNS-1を含んでいる(NSはピクチャPICTに含まれるスライスの総数)。なお、以下、スライスS0〜SNS-1のそれぞれを区別する必要が無い場合、符号の添字を省略して記述することがある。また、以下に説明する階層符号化データDATAに含まれるデータであって、添字を付している他のデータについても同様である。
(スライスレイヤ)
スライスレイヤでは、処理対象のスライスS(対象スライスとも称する、スライスセグメント)を復号するために階層動画像復号装置1が参照するデータの集合が規定されている。スライスSは、図8(c)に示すように、スライスヘッダSH、および、スライスデータSDATAを含んでいる。
スライスヘッダSHには、対象スライスの復号方法を決定するために階層動画像復号装置1が参照する符号化パラメータ群が含まれる。図15(d)は、スライスヘッダのシンタックス表の一例である。例えば、対象スライスを復号するために参照するPPS(アクティブPPS)を指定するアクティブPPS識別子(slice_pic_parameter_set_id)(図15(d)のSYNSH02)が含まれる。なお、アクティブPPSが参照するSPSは、アクティブPPSに含まれるアクティブSPS識別子(pps_seq_parameter_set_id)により指定される。さらに、アクティブSPSが参照するVPS(アクティブVPS)は、アクティブSPSに含まれるアクティブVPS識別子(sps_video_parameter_set_id)により指定される。
図9を例に、パラメータセットのアクティベートについて説明する。同図は、ヘッダ情報とアクセスユニット(AU)を構成する符号化データの参照関係を説明する。同図の例では、各AU内のレイヤL#K(K=Nmin..Nmax)に属するピクチャを構成する各スライスは、参照すべきPPSを指定するアクティブPPS識別子をスライスヘッダ内に含んでおり、各スライスの復号開始時に該識別子によって復号に用いるPPS(アクティブPPS)を指定する(アクティベートするともいう)。なお、同一ピクチャ内のスライスが参照する各PPS, SPS, VPSの識別子は同一でなければならない。アクティベートされたPPSの中には、復号処理上参照すべきSPS(アクティブSPS)を指定するアクティブSPS識別子が含まれており、該識別子によって復号に用いるSPS(アクティブSPS)を指定する。同様に、アクティベートされたSPSの中には、各レイヤに属するシーケンスの復号処理上参照すべきVPS(アクティブVPS)を指定するアクティブVPS識別子が含まれており、該識別子によって復号に用いるVPS(アクティブVPS)を指定する。以上の手順により、各レイヤの符号化データの復号処理を実行するにあたって必要なパラメータセットが確定する。
なお、各ヘッダ情報(スライスヘッダSH、PPS、SPS)が参照する上位のパラメータセットの識別子は、同図の例に限定されない。VPSであれば、VPS識別子k=0..15の中から選択されてよいし、SPSであれば、SPS識別子m=0..15の中から選択されてよいし、PPSであれば、PPS識別子n=0..63の中から選択されてよい。
また、スライスタイプを指定するスライスタイプ指定情報(slice_type)は、スライスヘッダSHに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、(1)符号化の際にイントラ予測のみを用いるIスライス、(2)符号化の際に単方向予測、または、イントラ予測を用いるPスライス、(3)符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるBスライスなどが挙げられる。
(スライスデータレイヤ)
スライスデータレイヤでは、処理対象のスライスデータSDATAを復号するために階層動画像復号装置1が参照するデータの集合が規定されている。スライスデータSDATAは、図8(d)に示すように、符号化ツリーブロック(CTB:Coded Tree Block)を含んでいる。CTBは、スライスを構成する固定サイズ(例えば64×64)のブロックであり、最大符号化単位(LCU:Largest Cording Unit)と呼ぶこともある。
(符号化ツリーレイヤ)
符号化ツリーレイヤは、図8(e)に示すように、処理対象の符号化ツリーブロックを復号するために階層動画像復号装置1が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な4分木分割により分割される。再帰的な4分木分割により得られる木構造のノードのことを符号化ツリー(coding tree)と称する。4分木の中間ノードは、符号化ツリーユニット(CTU:Coded Tree Unit)であり、符号化ツリーブロック自身も最上位のCTUとして規定される。CTUは、分割フラグ(split_flag)を含み、split_flagが1の場合には、4つの符号化ツリーユニットCTUに分割される。split_flagが0の場合には、符号化ツリーユニットCTUは4つの符号化ユニット(CU:Coded Unit)に分割される。符号化ユニットCUは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットCUは、符号化処理の基本的な単位となる。
なお、符号化ツリーユニットより復号される対象ピクチャ上の部分領域を符号化ツリーブロック(CTB: Coding Tree block)と呼ぶ。対象ピクチャの輝度成分である輝度ピクチャに対応するCTBは輝度CTBと呼ばれる。換言すると、CTUから復号される輝度ピクチャ上の部分領域は輝度CTBと呼ばれる。一方、CTUから復号される色差ピクチャに対応する部分領域は色差CTBと呼ばれる。一般に、画像の色フォーマットが決まっていれば、輝度CTBサイズと色差CTBサイズは相互に変換可能である。例えば、色フォーマットが4:2:2の場合は、色差CTBサイズは輝度CTBサイズの各半分である。以下の記載では、特に断りがなければ、CTBサイズとは輝度CTBサイズを意味する。また、CTUサイズは、CTUに対応する輝度CTBサイズである。
(符号化ユニットレイヤ)
符号化ユニットレイヤは、図8(f)に示すように、処理対象の符号化ユニットを復号するために階層動画像復号装置1が参照するデータの集合が規定されている。具体的には、符号化ユニットCU(coding unit)は、CUヘッダCUH、予測ツリー、変換ツリーから構成される。CUヘッダCUHでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかなどが規定される。符号化ユニットは、予測ツリー(prediction tree;PT)および変換ツリー(transform tree;TT)のルートとなる。なお、CUに対応するピクチャ上の領域は符号化ブロック(CB:Coding Block)と呼ばれる。輝度ピクチャ上のCBを輝度CB、色差ピクチャ上のCBを色差CBと呼ぶ。CUサイズ(符号化ノードのサイズ)とは、輝度CBサイズを意味する。
(変換ツリー)
変換ツリー(以下、TTと略称する)は、符号化ユニットCUが1または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ユニットCUを構成する1または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた1または複数の変換ブロックを含む。なお、CUに含まれる変換ツリーに関する情報、及び変換ツリーに包含される情報を、TT情報と呼ぶ。
変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な4分木分割によるものがある。変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位(transform unit;TU)とも称する。
変換ツリーTTには、対象CUの各変換ブロックへの分割パターンを指定するTT分割情報SP_TT、及び量子化予測残差QD 1〜QD NT(NTは、対象CUに含まれる変換単位TUの総数)を含んでいる。
TT分割情報SP_TTは、具体的には、対象CUに含まれる各変換ブロックの形状、および、対象CU内での位置を決定するための情報である。例えば、TT分割情報SP_TTは、対象ノードの分割を行うのか否かを示す情報(split_transform_unit_flag)と、その分割の深度を示す情報(trafoDepth)とから実現できる。
各量子化予測残差QDは、階層動画像符号化装置2が以下の処理1〜3を、処理対象の変換ブロックである対象ブロックに施すことによって生成した符号化データである。
処理1:符号化対象画像から予測画像を減算した予測残差を周波数変換(例えば、DCT変換(Discrete Cosine Transform)およびDST変換(Discrete Sine Transform)等)する。
処理2:処理1にて得られた変換係数を量子化する。
処理3:処理2にて量子化された変換係数を可変長符号化する。
なお、上述した量子化パラメータqpは、階層動画像符号化装置2が変換係数を量子化する際に用いた量子化ステップQPの大きさを表わす(QP=2qp/6)。
(予測ツリー)
予測ツリー(以下、PTと略称する)は、符号化ユニットCUが1または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ユニットCUを構成する1または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた1または複数の予測ブロックを含む。なお、CUに含まれる予測ツリーに関する情報、及び予測ツリーに包含される情報を、PT情報と呼ぶ。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位(prediction unit;PU)とも称する。
予測ツリーにおける分割の種類は、イントラ予測の場合と、インター予測の場合との2つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間(例えば、表示時刻間、レイヤ画像間)で行われる予測処理を指す。すなわち、インター予測では、対象レイヤと同一レイヤの参照ピクチャ(レイヤ内参照ピクチャ)または、対象レイヤの参照レイヤ上の参照ピクチャ(レイヤ間参照ピクチャ)のいずれかを参照ピクチャとして、参照ピクチャ上の復号画像から予測画像を生成する。
イントラ予測の場合、分割方法は、2N×2N(符号化ユニットと同一サイズ)と、N×Nとがある。
また、インター予測の場合、分割方法は、符号化データのpart_modeにより符号化され、2N×2N(符号化ユニットと同一サイズ)、2N×N、2N×nU、2N×nD、N×2N、nL×2N、nR×2N、および、N×Nなどがある。
(予測パラメータ)
予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータ、もしくはインター予測の予測パラメータがある。
イントラ予測パラメータは、各イントラPUについてのイントラ予測(予測モード)を復元するためのパラメータである。予測モードを復元するためのパラメータには、MPM(Most Probable Mode、以下同様)に関するフラグであるmpm_flag、MPMを選択するためのインデクスであるmpm_idx、及び、MPM以外の予測モードを指定するためのインデクスであるrem_idxが含まれる。
インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0参照リスト、L1参照リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が1の場合に対応する参照ピクチャリストが用いられる。2つの参照ピクチャリストが用いられる場合、つまり、predFlagL0=1, predFlagL1=1の場合が、双予測に対応し、1つの参照ピクチャリストを用いる場合、すなわち、(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。
(参照ピクチャリストの一例)
次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、復号ピクチャバッファに記憶された参照ピクチャからなる列である。図10 (a)は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリストRPL0において、左右に一列に配列された5個の長方形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号P1、P2、Q0、P3、P4は、それぞれの参照ピクチャを示す符号である。同様に、参照ピクチャリストRPL1において、左端から右へ順に示されている符号P4、P3、R0、P2、P1は、それぞれの参照ピクチャを示す符号である。P1等のPとは、対象レイヤPを示し、そしてQ0のQとは、対象レイヤPとは異なるレイヤQを示す。同様に、R0のRとは、対象レイヤP、及びレイヤQとは異なるレイヤRを示す。P、Q及びRの添字は、ピクチャ順序番号POC(Picture Ordering Count)を示す。refIdxL0の真下の下向きの矢印は、参照ピクチャインデックスrefIdxL0が、復号ピクチャバッファにおいて、参照ピクチャリストRPL0より参照ピクチャQ0を参照するインデックスであることを示す。同様に、refIdxL1の真下の下向きの矢印は、参照ピクチャインデックスrefIdxL1が、復号ピクチャバッファにおいて、参照ピクチャリストRPL1より参照ピクチャP3を参照するインデックスであることを示す。
(参照ピクチャの例)
次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図10 (b)は、参照ピクチャの例を示す概念図である。図10 (b)において、横軸は表示時刻を示し、縦軸はレイヤ数を示す。図示されている、縦3行、横3列(計9個)の長方形は、それぞれピクチャを示す。9個の長方形のうち、下行の左から2列目の長方形は復号対象のピクチャ(対象ピクチャ)を示し、残りの8個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから下向きの矢印で示される参照ピクチャQ2、及びR2は対象ピクチャと同じ表示時刻であってレイヤが異なるピクチャである。対象ピクチャcurPic(P2)を基準とするレイヤ間予測においては、参照ピクチャQ2、またはR2が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャP1は、対象ピクチャと同じレイヤであって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャP3は、対象ピクチャと同じレイヤであって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャP1又はP3が用いられる。
(動きベクトルと変位ベクトル)
ベクトルmvLXには、動きベクトルと変位ベクトル(disparity vector、視差ベクトル)がある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、異なる表示時刻(例えば、隣接する離散時刻)における同一のレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。
変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、同一解像度でかつ品質が異なるピクチャである場合、異なる視点のピクチャである場合、もしくは、異なる解像度のピクチャである場合などがある。特に、異なる視点のピクチャに対応する変位ベクトルを視差ベクトルと呼ぶ。
〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置1の構成について、図16〜図19を参照して説明する。
(階層動画像復号装置の構成)
本実施形態に係る階層動画像復号装置1の構成について説明する。図16は、本実施形態に係る階層動画復号装置1の構成を示す概略図である。
階層動画像復号装置1は、階層動画像符号化装置2から供給される階層符号化データDATAを復号して、外部より供給される出力指定情報(対象レイヤセット識別子)により特定される復号対象となるレイヤセットTargetDecLayerSetのレイヤIDリストTargetDecLayerIdList、及び外部より供給される復号対象とするレイヤに付随する最高次のサブレイヤを指定する対象最高次テンポラル識別子TargetHighestTidによって定まるターゲットセットTargetSetに含まれる各レイヤの復号ピクチャを生成し、対象出力レイヤセットに係る出力レイヤ情報OutputLayerFlagにより出力レイヤと指定されたレイヤの復号ピクチャを出力ピクチャPOUT#Tとして出力する。
すなわち、階層動画像復号装置1は、対象復号レイヤセットTargetDecLayerSetのレイヤIDリストの要素TargetDecLayerIdList [0]..TargetDecLayerIdList [N-1](Nは対象復号レイヤセットに含まれるレイヤ数)の順で、レイヤiのピクチャの符号化データを復号し、その復号ピクチャを生成し、該レイヤiの出力レイヤ情報OutputLayerFlag[i]が“出力レイヤ”を示す場合、該レイヤiの復号ピクチャを所定のタイミングに出力する。
図16に示すように階層動画像復号装置1は、NAL逆多重化部11、及びターゲットセットピクチャ復号部10を含んで構成される。さらに、ターゲットセットピクチャ復号部10は、non-VCL復号部12、パラメータメモリ13、ピクチャ復号部14、復号ピクチャ管理部15、及び出力制御部16を含んで構成される。また、NAL逆多重化部11は、さらにビットストリーム抽出部17を備える。
階層符号化データDATAには、VCLにより生成されたNALU(NAL Unit)の他に、パラメータセット(VPS、SPS、PPS)やSEI等を含むNALUが含まれる。それらのNALはVCL NALUに対して非VCL NALU(non-VCL NAL unit)と呼ばれる。
出力制御部16は、外部より供給される出力指定情報と、パラメータメモリ13に保持されたアクティブVPSのレイヤセット情報、及び出力レイヤセット情報に基づいて、出力制御情報として、対象出力レイヤセットTargetOptLayerSetのレイヤ構成を示す対象出力レイヤIDリストTargetOptLayerIdList、及び対象出力レイヤセットの復号に必要とするレイヤの構成を示す対象復号レイヤIDリストTargetDecLayerIdListを導出する。導出された対象出力レイヤIDリストTargetOptLayerIdList、及び対象復号レイヤIDリストTargetDecLayerIdListはそれぞれ、ビットストリーム抽出部17、及び復号ピクチャ管理部15へ供給される。なお、出力制御部16における対象出力レイヤIDリスト、及び対象復号レイヤIDリストの導出処理の詳細については後述する。
NAL逆多重化部11の備えるビットストリーム抽出部17は、概略的には、ビットストリーム抽出処理を行い、階層符号化データDATAから、出力制御部16より供給された対象復号レイヤIDリスト、及び復号対象最高次サブレイヤ識別子TargetHighestTidによって定まる集合ターゲットTargetSetに含まれるNALユニットから構成されるターゲットセット符号化データDATA#T(BitstreamToDecode)を抽出する。なお、ビットストリーム抽出部17における本発明との関連性の高い処理の詳細について後述する。
続いて、NAL逆多重化部11は、ビットストリーム抽出部17より抽出されたターゲットセット符号化データDATA#T(BitstreamToDecode)を逆多重化して、NALユニットに含まれるNALユニットタイプ、レイヤ識別子(レイヤID)、テンポラル識別子(テンポラルID)を参照し、ターゲットセットに含まれるNALユニットを、ターゲットセットピクチャ復号部10へ供給する。
ターゲットセットピクチャ復号部10は、供給されたターゲットセット符号化データDATA#Tに含まれるNALUのうち、non-VCL NALUをnon-VCL復号部12に、VCL NALUをピクチャ復号部14にそれぞれ供給する。すなわち、ターゲットセットピクチャ復号部10は、供給されたNALユニットのヘッダ(NALユニットヘッダ)を復号し、復号したNALユニットヘッダに含まれるNALユニットタイプ、レイヤ識別子、及びテンポラル識別子に基づいて、non-VCL NALUの符号化データをnon-VCL復号部12へ、VCL NALUの符号化データをピクチャ復号部14へ、復号したNALユニットタイプ、レイヤ識別子、及びテンポラル識別子と合わせて供給する。
non-VCL復号部12は、入力されるnon-VCL NALUからパラメータセット、すなわち、VPS、SPS、および、PPSを復号してパラメータメモリ13に供給する。なお、non-VCL復号部12における本発明との関連性の高い処理の詳細について後述する。
パラメータメモリ13は、復号されたパラメータセットを各パラメータセットの識別子毎に、パラメータセットの符号化パラメータを保持する。具体的には、VPSであれば、VPS識別子(video_parameter_set_id)毎に、VPSの符号化パラメータを保持する。SPSであれば、SPS識別子(sps_seq_parameter_set_id)毎に、SPSの符号化パラメータを保持する。PPSであれば、PPS識別子(pps_pic_parameter_set_id)毎に、PPSの符号化パラメータを保持する。なお、パラメータメモリ13に保持される符号化パラメータには、各パラメータセットのレイヤ識別子、及びテンポラル識別子が含まれていてもよい。
また、パラメータメモリ13は、後述のピクチャ復号部14が、ピクチャを復号するために参照するパラメータセット(アクティブパラメータセット)の符号化パラメータを、ピクチャ復号部14へ供給する。具体的には、まず、ピクチャ復号部14で復号されたスライスヘッダSHに含まれるアクティブPPS識別子(slice_pic_parameter_set_id)により、アクティブPPSが指定される。次に、指定されたアクティブPPSに含まれるアクティブSPS識別子(pps_seq_parameter_set_id)により、アクティブSPSが指定される。最後に、アクティブSPSに含まれるアクティブVPS識別子(sps_video_parameter_set_id)により、アクティブVPSが指定される。その後、指定されたアクティブPPS、アクティブSPS、アクティブVPSの符号化パラメータを、ピクチャ復号部14へ供給する。また、パラメータメモリ13は、同様に、出力制御部16が出力制御情報を導出するために参照するアクティブパラメータセットの符号化パラメータを、出力制御部16へ供給する。
ピクチャ復号部14は、入力されるVCL NALU、アクティブパラメータセット(アクティブPPS、アクティブSPS、アクティブVPS),及び参照ピクチャに基づいて復号ピクチャを生成して復号ピクチャ管理部15へ供給する。供給された復号ピクチャは、復号ピクチャ管理部15内のバッファに記録される。なお、ピクチャ復号部14の詳細な説明は後述する。
復号ピクチャ管理部15は、入力される復号ピクチャを内部の復号ピクチャバッファ(DPB: Decoded Picture Buffer)に記録するとともに、参照ピクチャリスト生成や出力ピクチャ決定を行う。また、復号ピクチャ管理部15は、DPBに記録されている復号ピクチャのうち、出力制御部16により導出された対象出力レイヤIDリストTargetOptLayerIdListに含まれる出力レイヤの復号ピクチャを出力ピクチャPOUT#Tとして、所定のタイミングに外部に出力する。
(non-VCL復号部12)
non-VCL復号部12は、入力されるターゲットセット符号化データから、ターゲットセットの復号に用いられるパラメータセット(VPS, SPS, PPS)を復号する。復号されたパラメータセットの符号化パラメータは、パラメータメモリ13に供給され、各パラメータセットの有する識別子毎に記録される。なお、non-VCL復号部12は、パラメータセットに限定されず、図6において、non-VCLに分類されるNALユニット(nal_unit_type=32..63)を復号してもよい。パラメータセットと同様に、復号されたnon-VCLの符号化パラメータは、パラメータメモリ13において、各々記録される。
一般に、パラメータセットの復号は既定のシンタックス表に基づいて実行される。すなわち、シンタックス表の定める手順に従って符号化データからビット列を読み出して、シンタックス表に含まれるシンタックスを復号する。また、必要に応じて、復号したシンタックスに基づいて変数を導出して、出力するパラメータセットに含めてもよい。したがって、non-VCL復号部12から出力されるパラメータセットは、符号化データに含まれるパラメータセット(VPS、SPS、PPS)に係るシンタックス、および、該シンタックスより導出される変数の集合と表現することもできる。
また、non-VCL復号部12は、図示されない、規定のシンタックス表に基づいてパラメータセット(VPS/SPS/PPS)を復号するパラメータセット復号手段を含んで構成される。さらに、パラメータセット復号手段には、さらに、図示されない、レイヤセット情報を復号するレイヤセット復号手段、レイヤ間依存情報を復号するレイヤ間依存情報復号手段、出力レイヤセット情報を復号する出力レイヤセット情報復号手段、出力レイヤセットに対応するPTL情報を復号するPTL情報復号手段、出力レイヤセットに対応するHRDパラメータを復号するHRDパラメータ復号手段、出力レイヤセットに対応DPB情報を復号するDPB情報復号手段等を備える。
以下では、non-VCL復号部12において復号に使用されるシンタックス表のうち、本発明との関連性が高いシンタックス表を中心に説明する。
(レイヤセット情報)
レイヤセット情報は、階層符号化データに含まれるレイヤセットを構成するレイヤの集合を表わすリスト(以下、レイヤIDリストLayerIdList)であり、レイヤセット情報復号手段によってVPSから復号される。レイヤセット情報には、VPS上に定義されるレイヤセットの数を示すシンタックス(vps_num_layer_sets_minus1) (図11上のSYNPVS06)及び、VPS上のレイヤ定義の順番で、j番目のレイヤ(レイヤj)が、i番目のレイヤセット(レイヤセットi)に含まれるか否かを示すシンタックス“layer_id_included_flag[i][j]”(SYNVPS07)が含まれている。レイヤセット数VpsNumLayerSetsは、(vps_num_layer_sets_minus1 + 1)に設定される。また、レイヤセットiは、シンタックス”layer_id_included_flag[i][j]”の値が1であるレイヤjから構成される。すなわち、レイヤセットiを構成するレイヤjは、レイヤIDリストLayerIdList[i]に含まれる。
また、レイヤセットiに含まれるレイヤ数NumLayersInIdList[i]は、シンタックス“layer_id_included_flag[i][j]”のうち、レイヤセットiに関して、該シンタックスの値が1であるフラグの個数である。
より具体的には、各レイヤセットiのレイヤIDリストLayerIdList[i]、及びレイヤセットiに含まれるレイヤ数NumLayersInIdList[i]は、以下の疑似コードにより導出される。
(各レイヤセットのレイヤIDリストの導出を示す疑似コード)
for( i = 0; i < VpsNumLayerSets; i++){
NumLayersInIdList[i] = 0;
for( m = 0; m <= vps_max_layer_id; m++ ){
if( layer_id_included_flag[ i ][ m ] ){
LayerIdList[ i ][ NumLayersInIdList[i] ] = m;
NumLayersInIdList[i]++;
}
} // end of loop on for(m=0; m<= vps_max_layer_id; m++)
} // end of loop on for(i=0; i<VpsNumLayerSets; i++)
なお、上記疑似コードをステップで表わせば、次の通りである。
(SA01)レイヤセットiのレイヤIDリストの導出に係るループの開始点である。ループの開始前に、変数iは0に初期化される。ループ内の処理は、変数iがレイヤセット数“NumLayerSets”未満のときに実行され、ループ内の処理が1回実行される度に、変数iは“1”加算される。
(SA02)レイヤセットiのレイヤ数NumLayresInIdList[i]を0へ初期化する(すなわち、NumLayersInIdList[i] = 0;)。
(SA03)レイヤセットiのレイヤIDリストへm番目のレイヤ(レイヤm)の要素追加に係るループの開始点である。ループの開始前に、変数mは0に初期化される。ループ内の処理は、変数m(m番目のレイヤ)が、最大レイヤ識別子“vps_max_layer_id”以下(m<=vps_max_layer_id)のときに実行され、ループ内の処理が1回実行される度に、変数mは“1”加算される。なお、最大レイヤ識別子“vps_max_layer_id”の代わりに、最大レイヤ数VpsMaxLayersを用いて、変数mが、最大レイヤ数VpsMaxLayers未満のときに、ループ内の処理が実行されるようにしてもよい。すなわち、for文の“m<=vps_max_layer_id”の判定式を“m<VpsMaxLayers”へ変更してもよい。
(SA04)レイヤmがレイヤセットiに含まれるか否か(layer_id_included_flag[i][m])を判定する。layer_id_included_flag[i][m]が1であれば、ステップSA05へ遷移する。layer_id_included_flag[i][m]が0であれば、ステップSA05〜SA06の処理を省略し、SA0Aへ遷移する。
(SA05)レイヤセットiのレイヤIDリストLayerIdList[i][]のNumLayersInIdList[i]番目の要素へ、レイヤmを追加する(すなわち、LayerIdList[i][NumLayersInIdList[i]] = m;)。
(SA06)レイヤセットiのレイヤ数NumLayersInIdList[i]の値を“1”加算する(すなわち、NumLayersInIdList[i]++;)。
(SA0A)レイヤセットiのレイヤIDリストへm番目のレイヤ(レイヤm)の要素追加に係るループの終端である。
(SA0B)レイヤセットiのレイヤIDリストの導出に係るループの終端である。
以上の手順により、各レイヤセットiのレイヤIDリストLayerIdList[i]を導出することができる。レイヤIDリストLayerIdList[]を参照することで、レイヤセットiで、m番目の要素であるレイヤが、全レイヤ(VPSで定義されるレイヤ)の中で、何番目のレイヤであるかを把握することができる。また、レイヤセットiに含まれるレイヤ数は、レイヤセットiのレイヤ数を表す変数NumLayersInIdList[i]を参照することで把握することができる。なお、導出の手順は、上記ステップに限定されず、実施可能な範囲で変更してもよい。
(PTL情報)
PTL情報は、出力レイヤセットを復号するために必要とするプロファイル及びレベルを示す情報であり、PTL情報復号手段によってVPSまたはSPSから復号される。
出力レイヤセットOLS#0に対応するPTL情報は、VPS上の図11に示すSYNVPS04、又はSPS上の図15(a)において通知される。また、出力レイヤセットOLS#i(i=1..NumOutputLayerSets-1)に対応するPTL情報は、VPS上で定義される”PTL情報の数−1”を示すシンタックス”vps_num_profile_tier_level_minus1”(図11上のSYNVPS0D)、i番目(i=1..num_profile_tier_level_minus1)のPTL情報のプロファイル情報の有無を示プロファイル有無フラグ”vps_profile_present_flag[i]” (図11上のSYNVPS0E)、及びi番目のPTL情報”profile_tier_level()” (図11上のSYNVPS0F)からなる。
各PTL情報は、後述の出力レイヤセットOLS#iに含まれるPTL指定識別子(profile_level_tier_idx[i]) (図12上のSYNVPS0J)によって、出力レイヤセットOLS#iと対応付けられる。例えば、出力レイヤセットOLS#3のPTL指定識別子が、profile_level_tier_idx[3] = 10であれば、図12のSYNVPS0F上のPTL情報のリストにおいて、先頭から10番目のPTL情報が出力レイヤセットOLS#3に適用されるPTL情報である。
なお、図13に示すようにPTL情報(SYNVPS04及びSYNVPS0H)は、プロファイル及びレベルに関するシンタックス群(SYNPTL01、SYNPTL02、SYNPTL03、SYNPTL04、SYNPTL05、SYNPTL06)が含まれ、PTL情報復号手段によって復号される。
シンタックス群SYNPTL01には、下記シンタックスが含まれる。
・プロファイル空間general_profile_space
・ティアフラグgeneral_tier_flag
・プロファイル識別子general_profile_idc
・プロファイル互換フラグgeneral_profile_compatibility_flag[ i ]
・プロファイル予約シンタックスgeneral_reserved_zero_44bits
シンタックス群SYNPTL02は、レベル識別子general_level_idcが含まれる。
シンタックス群SYNPTL03は、サブレイヤのサブレイヤプロファイル有無フラグ、およびサブレイヤレベル有無フラグを含む。
シンタックス群SYNPTL04は、サブレイヤ数(MaxNumSbuLayersMinus1,またはMaxNumSubLayers-1)に基づいて定まるビット数分のバイトアラインデータ(reserved_zero_2bits[i])である。
シンタックス群SYNPTL05には、下記シンタックスが含まれる。
・サブレイヤプロファイル空間sub_layer_profile_space[ i ]
・サブレイヤティアフラグsub_layer_tier_flag[ i ]
・サブレイヤプロファイル識別子sub_layer_profile_idc[ i ]
・サブレイヤプロファイル互換フラグsub_layer_profile_compatibility_flag[ i ][ j ]・サブレイヤプロファイル予約シンタックスsub_layer_reserved_zero_44bits[ i ]
シンタックス群SYNPTL05には、サブレイヤのサブレイヤレベル情報として、サブレイヤレベル識別子sub_layer_level_idc[ i ]が含まれる。
(出力レイヤセット情報)
出力レイヤセットは、出力するレイヤの集合(出力レイヤ情報)と、復号処理の対象となるレイヤの集合(レイヤセット情報)の組み合わせにより定義され、階層動画像復号装置の備える図示しない出力レイヤセット情報復号手段で復号される。階層動画像復号装置は、レイヤセット情報復号手段で復号される出力レイヤセットに含まれるレイヤセット(出力レイヤセットに対応づけらるレイヤセット)に含まれるレイヤを復号対象とし、該レイヤの復号ピクチャを復号してバッファに記録し、出力レイヤセットに含まれる出力レイヤを対象として、バッファに記録された特定のレイヤの復号ピクチャを選択して出力する。
出力レイヤセット情報には、以下のシンタックス要素(E1〜E5)が含まれる。
E1:追加出力レイヤセット数(num_add_output_layer_sets)(図12上のSYNVPS0G)
E2:デフォルト出力レイヤ識別子(default_target_output_layer_idc)(図12上のSYNVPS0H)
E3:レイヤセット識別子(output_layer_set_idx_minus1)(図12上のSYNVPS0I)
E4:出力レイヤ情報(output_layer_flag)(図12上のSYNVPS0J)
E5:PTL指定IDX(profile_level_tier_idx)(図12上のSYNVPS0K)
本実施形態の出力レイヤセット情報復号手段は少なくとも出力レイヤセットのレイヤセット識別子と出力レイヤフラグを復号する。
(E1:追加出力レイヤセット)
出力レイヤセットは対応するレイヤセットに基づいて規定される。追加出力レイヤセットは、ベースとなるレイヤセットの数VpsNumlayerSetsよりも多く、出力レイヤセットを定義する場合に追加出力レイヤセットを定義する。追加出力レイヤセット数num_add_output_layer_setsは、追加出力レイヤセットの数に係るシンタックス要素である。
本実施形態の出力レイヤセット情報復号手段は、出力レイヤセット数NumOutputLayerSetsを復号し、出力レイヤセット数NumOutputLayerSetsをレイヤセット数VpsNumlayerSets+追加出力レイヤセット数num_add_output_layer_setsにより導出する。以下、i= VpsNumLayerSets - 1..NumOutputLayerSetの追加レイヤセットOLS#iに対し、i=0..(VpsNumLayerSets - 1)までの出力レイヤセットOLS#iを基本レイヤセットと呼ぶ。
また、本実施形態の出力レイヤセット情報復号手段は、レイヤセット数VpsNumLayerSetsに応じて、追加出力レイヤセット数の復号を省略する。具体的には、出力レイヤセット情報復号手段は、レイヤセット数VpsNumLayerSetsが1より大きい場合(vps_num_layer_sets_minus1>0)に、追加出力レイヤセット数num_add_output_layer_setsを符号化データから復号する(SYNVPS0G)。出力レイヤセット情報復号手段は、追加出力レイヤセット数num_add_output_layer_setsが符号化データ中に現れない場合、つまり、レイヤセット数VpsNumLayerSetsが1の場合(vps_num_layer_sets_minus1=0)、追加出力レイヤセット数num_add_output_layer_setsを0と推定する。
なお、レイヤセット0は常にベースレイヤから構成されるレイヤセットであるから、レイヤセット数が1の場合には、出力レイヤセットに含まれるレイヤ(=レイヤセット)はベースレイヤのみである。ベースレイヤから構成される出力レイヤセットとして復号する意味のある場合は、ベースレイヤの出力フラグが1の場合のみであり、それ以外に追加出力レイヤセットを復号する意味はない。従って、レイヤセット数が0の場合に追加出力レイヤセット数を復号しない(追加出力レイヤを用いない)上記構成の出力レイヤセット情報復号手段は適当である。
上記構成の出力レイヤセット情報復号手段によれば、レイヤセット数が1の場合、追加出力レイヤセット数のシンタックス要素に係る復号/符号化を省略することが可能である。
(E2:デフォルト出力レイヤ識別子)
デフォルト出力レイヤ識別子default_target_output_layer_idc は、出力レイヤセット(出力レイヤ情報)の導出処理を指定するシンタックス要素である。本実施形態の出力レイヤセット情報復号手段は、デフォルト出力レイヤ識別子を復号に基づいて、出力レイヤセットOLS#i(i=1.. (VpsNumLayerSets-1))の出力レイヤ情報(OutputLayerFlag)を導出する。
(1)デフォルト出力レイヤ識別子=0の場合:基本レイヤセット(i=1.. (VpsNumLayerSets - 1)までの出力レイヤセットOLS#i)に対し後述のoutput_layer_flagを省略し、各出力レイヤセットに含まれる全レイヤを出力レイヤとする。追加レイヤセットについてはoutput_layer_flagにより明示的に出力レイヤを指定する。
(2)デフォルト出力レイヤ識別子=1の場合:基本レイヤセット(i=1.. (VpsNumLayerSets - 1)までの出力レイヤセットOLS#i)において、各出力レイヤセットに含まれる最高次レイヤ識別子を有するプライマリレイヤを出力レイヤとする。追加レイヤセットについてはoutput_layer_flagにより明示的に出力レイヤを指定する。
(3)デフォルト出力レイヤ識別子=2の場合:全ての出力レイヤセット(基本レイヤセットおよび追加レイヤセット、i=0...(NumOutputLayerSet-1)までの出力レイヤセットOLS#i)において、明示的にoutput_layer_flag[i][j]を符号化し出力レイヤを指定する。
なお、デフォルト出力レイヤ識別子の値のうち、3以上の値は将来の規格拡張のための予約値である。
また、本実施形態の出力レイヤセット情報復号手段は、レイヤセット数VpsNumLayerSetsに応じて、デフォルト出力レイヤ識別子(default_target_output_layer_idc)の復号を省略する。
具体的には、本実施形態の出力レイヤセット情報復号手段は、レイヤセット数VpsNumLayerSetsが1より大きい場合(vps_num_layer_sets_minus1>0の場合)、デフォルト出力レイヤ識別子(default_target_output_layer_idc)を復号し、レイヤセット数VpsNumLayerSetsが1に等しい場合(vps_num_layer_sets_minus1=0の場合)、デフォルト出力レイヤ識別子(default_target_output_layer_idc)を復号しない。デフォルト出力レイヤ識別子(default_target_output_layer_idcが符号化データに現れない場合には、本実施形態の出力レイヤセット情報復号手段は、デフォルト出力レイヤ識別子(default_target_output_layer_idc)に0を推定する(上記、デフォルト出力レイヤ識別子=2以外の場合を推定する)。
上記構成の出力レイヤセット情報復号手段によれば、出力レイヤセット数NumOutputLayerSetsの代わりに、レイヤセット数VpsNumLayerSetsを復号の条件とすることで、追加出力レイヤセット数(num_add_output_layer_sets)に係るシンタックス要素を復号し、追加出力レイヤセット数から定まる出力レイヤセット数NumOutputLayerSets(=VpsNumOutputLayerSets + num_add_output_layer_sets)を導出せずに、デフォルト出力レイヤ識別子に係るシンタックス要素を復号することができる。すなわち、デフォルト出力レイヤ識別子の復号に係る処理を簡略化することができる。
(E3:レイヤセット識別子)
レイヤセット識別子は、出力レイヤセットに関連付けられるレイヤセットを特定する値である。本実施形態の出力レイヤセット情報復号手段は、シンタックス要素output_layer_set_idx_minus1[i]を復号し、output_layer_set_idx_minus1[i]に1を加えた値のレイヤセット識別子が指すレイヤセット(LS#(output_layer_set_idx_minus1[i] + 1))を出力レイヤセットOLS#iに関連付けられる。
なお、出力レイヤセット情報復号手段は、符号化データにおいて、出力レイヤセットOLS#iのレイヤセット識別子output_layer_set_idx_minus1[i]が存在しない場合(省略された場合)には、推定してもよい。例えば、i=0..VpsNumLayerSets-1までの出力レイヤセットOLS#iの場合には、レイヤセット識別子output_layer_set_minus1[i] = (i - 1)と推定する。なお、本実施形態において、レイヤセット識別子に係るシンタックス要素は、”レイヤセット識別子の値−1”で表現されるが、これに限定されず、”レイヤセット識別子の値”そのものでもよい。
(E4:出力レイヤ情報)
出力レイヤ情報は、出力レイヤセットに関連付けられるレイヤセットに含まれる各レイヤを出力対象レイヤとするかを示すフラグOutputLayerFlag[i][j]である。本実施形態の出力レイヤセット情報復号手段は、シンタックス要素output_layer_flag[i][j]から、出力レイヤ情報OutputLayerFlag[i][j]を復号する。output_layer_flag[i][j]は、出力レイヤセットiに含まれるj番目のレイヤを出力対象レイヤとするか否かを表すフラグであって、値が真(1)の場合には出力対象レイヤとすることを示し、値が偽(0)の場合には出力対象レイヤとしないことを表す。
なお、出力レイヤセット情報復号手段は、一部または全ての出力レイヤ情報の復号を省略し、推定、または、他のシンタックス要素の値に基づいた導出処理により出力レイヤ情報を決定してもよい。例えば、デフォルト出力レイヤ識別子(default_target_output_layer_idc)に基づいて、次の(1)〜(3)に示す導出処理に基づいて、出力レイヤセットOLS#i(i=1..VpsNumLayerSets-1)の出力レイヤ情報を決めてもよい。なお、ベースレイヤのみからなる出力レイヤセットOLS#0の出力レイヤ情報は、OutputLayerFlag[0][0]=1と推定してもよい。
(1)デフォルト出力レイヤ識別子=0の場合:出力レイヤセット情報復号手段は、以下の疑似コードに示すように、i=0..vps_number_layer_sets_minus1の基本出力レイヤに対して、全レイヤの出力レイヤフラグOutputLayerFlag[i][j]を1に推定する。ここで、変数LayerSetIdx[i]は、出力レイヤセットOLS#iに関連付けられたレイヤセットを示すレイヤセット識別子を表わし、(output_layer_set_idx_minus1[i] + 1)に設定されており、変数NumLayersInIdList[LayerSetIdx[i]]は、レイヤセットLS#(LayerSetIdx[i])に含まれるレイヤ数である(以下、同様)。
for( j=0; j<NumLayersInIdList[LayerSetIdx[i]]; j++){
OutputLayerFlag[i][j] = 1;
}
(2)デフォルト出力レイヤ識別子=1の場合:出力レイヤセット情報復号手段は、i=0..vps_number_layer_sets_minus1の基本出力レイヤに対して、各出力レイヤセットに含まれる最高次レイヤ識別子を有するプライマリレイヤを出力レイヤとする。出力レイヤ情報(OutputLayerFlag)は、以下に示す疑似コードによって導出される。
for( j=0; j<NumLayersInIdList[LayerSetIdx[i]]; j++){
if(レイヤjがLayerIdList[LayerSetIdx[i]]中にある最高次レイヤ識別子を有する
プライマリレイヤである){
OutputLayerFlag[i][j] = 1;
} else{
OutputLayerFlag[i][j] = 0;
}
}
なお、レイヤjがプライマリレイヤであるか否かは、レイヤjに関する次元IDを示すシンタックス”dimension_id[i][j]”から導出されるスケーラビリティID(ScalabilityId)と、図13上に示すスケーラビリティIDとスケーラビリティタイプ(Scalability Diemnsion)との対応表を参照して、同表のうち、“Auxiliary”の項目 (AuxId[j] = ScalabilityId[j][3]) の値によって決まる。すなわち、同項目の値が0である場合(AuxId[j]==0)、レイヤjがプライマリレイヤであることを示し、0より大きい場合(AuxId[j]>0)、レイヤjが補助レイヤ(あるいは、AUXレイヤ)であることを示す。なお、補助レイヤとは、プライマリレイヤに属するピクチャに対するデプスマップや、アルファチャネルなどの補助ピクチャを通知するためのレイヤである。一方、プライマリレイヤとは、輝度/色差からなるピクチャを通知するためのレイヤであって、補助ピクチャは含まれない。
(3)デフォルト出力レイヤ識別子=2の場合:各出力レイヤセットOLS#iにおいて、明示的に通知される出力レイヤ情報に係るシンタックス要素”output_layer_flag[i][j]”によって、出力レイヤを決める。すなわち、以下の疑似コードに示すように、出力レイヤセットOLS#iのj番目のレイヤjの出力レイヤ情報(OutputLayerFlag[i][j])に、シンタックス要素output_layer_flag[i][j]の値を設定する。
for( j=0; j<NumLayersInIdList[LayerSetIdx[i]]; j++){
OutputLayerFlag[i][j] = output_layer_flag[i][j];
}
なお、出力レイヤセット情報復号手段は、導出された出力レイヤ情報(OutputLayerFlag)に基づいて、各出力レイヤセットOLS#i(i=0..NumOuputLayerSets-1)の出力レイヤ数NumOptLayersInOLS[i]を、以下に示す疑似コードによって導出してもよい。すなわち、出力レイヤセットOLS#iの出力レイヤ数NumOptLayersInOLS[i]は、レイヤjの出力レイヤフラグOutputLayerFlag[i][j]が”出力レイヤ”を示すフラグの個数である。
NumOptLayersInOLS[i] = 0;
for(j=0; j<NumLayersInIdList[LayerSetIdx[i]]; j++){
NumOptLayersInOLS[i] += OuputLayerFlag[i][j];
}
(E5:PTL指定識別子)
PTL指定識別子(profile_level_tier_idx)(図12上のSYNVPS0K)・・・出力レイヤセットOLS#i(i=1..NumOutputLayerSets-1)に適用するPTL情報を指定するためのシンタックス要素である。PTL指定識別子(profile_tier_level[i])で指定される(profile_tier_level_idx[i])番目のPTL情報が、出力レイヤセットOLS#iに適用される。
(出力レイヤセットに関するビットストリームコンフォーマンス)
出力レイヤセットが満たすべき各種ビットストリームコンフォーマンスについて説明する。
従来技術において課題であった、出力レイヤを持たない出力レイヤセットの定義を禁止するため、本実施例において、画像復号装置1/画像符号化装置2は、少なくとも、以下に示す出力レイヤセットに関するコンフォーマンス条件CA1を満たす符号化データを復号/生成する必要がある。
CA1:各出力レイヤセットOLS#i(i=0..NumOutputLayerSets-1)は、1以上の出力レイヤを有する(または、少なくとも1つの出力レイヤを有する)。
条件CA1は、出力レイヤフラグOutputLayerFlagを用いて、条件CA2、もしくは条件CA3、のように言い換えることができる。
CA2:各出力レイヤセットOLS#i(i=0..NumOutputLayerSets-1)において、出力レイヤフラグの総和は1以上である(または、0より大きい)(全てのi=0..NumOutputLayerSets-1に対し、j=0.. NumLayersInIdList[LayerSetIdx[i]]に関するOutputLayerFlag[i][j]の和は1以上)。
条件CA2において、出力レイヤセットOLS#iの出力レイヤフラグの総和SumOfOutputLayerFlagは、例えば、以下の疑似コードによって導出される。
SumOfOutputLayerFlag = 0;
for( j=0; j<NumLayersInIdList[LayerSetIdx[i]]; j++){
SumOfOutputLayerFlag += OutputLayerFlag[i][j];
}
CA3:全てのi=0..NumOutputLayerSets-1に対し、0.. NumLayersInIdList[LayerSetIdx[i]]を満たす少なくとも一つのjに対してOutputLayerFlag[i][j]が1に等しい。
上記コンフォーマンス条件CA1〜CA3は、換言すれば、出力レイヤを持たない出力レイヤセットの定義を禁止する。符号化データは、出力レイヤセットに関して上記コンフォーマンス条件CA1(またはCA2、CA3)を満たすことによって、画像復号装置1において、上記符号化データから復号される出力レイヤセットは、少なくとも1以上の出力レイヤの復号ピクチャを出力ピクチャとして出力されることが保障される。従って、従来技術において課題であった、画像復号装置が、符号化データから出力レイヤを持たない出力レイヤセットの各レイヤを復号しても、出力されるピクチャがなく、予期しない動作が生じる可能性を防止することができる。
さらに、画像復号装置1/画像符号化装置2は、以下に示す出力レイヤセットに関するコンフォーマンス条件CB1を満たす符号化データを復号/生成することが好ましい。
条件CB1:2以上の出力レイヤセットが、同一のレイヤセットに対応(関連)付けられ、かつ、出力レイヤ数が等しいとき、上記2以上の出力レイヤセットにおいて、少なくとも1つの同一レイヤに関する出力レイヤフラグの値は互い異なる。
上記条件CB1は、条件CB2〜CB3とも表現することができる。
条件CB2:出力レイヤセットOLS#i(i=0..NumOutputLayerSets-1)のレイヤセット識別子LayerSetIdx[i]と、出力レイヤセットOLS#j(j=0..NumOutputLayerSets-1, i!=j)のレイヤセット識別子LayerSetIdx[j]が等しく、かつ、出力レイヤセットOLS#iの出力レイヤ数NumOptLayersInOLS [i]と出力レイヤセットOLS#jの出力レイヤ数NumOptLayersInOLS[j]が等しいとき、少なくとも1つのレイヤn(n=0..NumOptLayersInOLS[i]-1)に関して、出力レイヤセットOLS#iの出力レイヤフラグOuputLayerFlag[i][n]と出力レイヤセットOLS#jの出力レイヤフラグOuputLayerFlag[i][n]は異なる。
条件CB3:出力レイヤセットOLS#i(i=0..NumOutputLayerSets-1)のレイヤセット識別子LayerSetIdx[i]と、出力レイヤセットOLS#j(j=0..NumOutputLayerSets-1, i!=j)のレイヤセット識別子LayerSetIdx[j]が等しいとき、出力レイヤセットOLS#iの出力レイヤフラグのリストOutputLayerFlag[j][]と出力レイヤセットOLS#jの出力レイヤフラグのリストOutputLayerFlag[j][]は互い異なる。
条件CB1〜CB3は、換言すれば、同一の出力レイヤの構成をもつ出力レイヤセットの重複定義を禁止する。符号化データは、出力レイヤセットに関して上記コンフォーマンス条件CB1(又はCB2/CB3)を満たすことによって、画像復号装置1において、上記符号化データから復号される2以上の出力レイヤセットは、互いに異なる出力レイヤの構成であることが保障される。従って、画像復号装置は、符号化データから、重複定義された出力レイヤセットに係る復号を防止することができる。また、出力レイヤセットの重複定義に係る符号量を削減することができる。
また、画像復号装置1/画像符号化装置2は、出力レイヤセットの重複定義の禁止に係るコンフォーマンス条件として、条件CB1〜CB3の代わりに、出力レイヤフラグ、及びPTL情報との組み合わせ時の重複定義を禁止するコンフォーマンス条件CB4〜CB6を満たす符号化データを復号/生成してもよい。
条件CB4:2以上の出力レイヤセットが、同一のレイヤセットに対応(関連)付けられ、かつ、出力レイヤ数が等しいとき、上記2以上の出力レイヤセットにおいて、各出力レイヤセットに関連付けられたPTL情報が互いに異なる、又は少なくとも1つの同一レイヤに関する出力レイヤフラグの値は互い異なる。
条件CB5:出力レイヤセットOLS#i(i=0..NumOutputLayerSets-1)のレイヤセット識別子LayerSetIdx[i]と、出力レイヤセットOLS#j(j=0..NumOutputLayerSets-1, i!=j)のレイヤセット識別子LayerSetIdx[j]が等しく、かつ、出力レイヤセットOLS#iの出力レイヤ数NumOptLayersInOLS [i]と出力レイヤセットOLS#jの出力レイヤ数NumOptLayersInOLS[j]が等しいとき、各出力レイヤセットに関連付けられたPTL情報が互いに異なる、又は少なくとも1つのレイヤn(n=0..NumOptLayersInOLS[i]-1)に関して、出力レイヤセットOLS#iの出力レイヤフラグOuputLayerFlag[i][n]と出力レイヤセットOLS#jの出力レイヤフラグOuputLayerFlag[i][n]は異なる。
条件CB6:出力レイヤセットOLS#i(i=0..NumOutputLayerSets-1)のレイヤセット識別子LayerSetIdx[i]と、出力レイヤセットOLS#j(j=0..NumOutputLayerSets-1, i!=j)のレイヤセット識別子LayerSetIdx[j]が等しいとき、出力レイヤセットOLS#iのPTL情報と出力レイヤフラグからなる集合は互い異なる。
ここで、各出力レイヤセットに関連付けられたPTL情報が互いに異なるとは、「出力レイヤセットOSL#i出力レイヤセットOLS#iのPTL指定識別子(profile_tier_level[i])によって指定されるPTL情報と、出力レイヤセットOLS#jのPTL指定識別子IDX(profile_tier_level[j])によって指定されるPTL情報のうち、少なくとも、プロファイル空間general_profile_space、プロファイル識別子general_profile_idcと、レベル識別子general_level_idcと、ティアフラグgeneral_tier_flag、プロファイル互換フラグgeneral_compatibility_flag[i]のシンタックス要素の集合P={general_profile_space, general_profile_idc, general_level_idc, general_tier_flag, general_compatibility_flag[i](i=0..31)}が互いに異なること」であることが好ましい。
条件CB4〜CB6は、換言すれば、同一の出力レイヤの構成をもち、かつ、同一のプロファイル/レベルをもつ出力レイヤセットの重複定義を禁止する。符号化データは、出力レイヤセットに関して上記コンフォーマンス条件CB4(又はCB5/CB6)を満たすことによって、画像復号装置1において、上記符号化データから2以上の出力レイヤセットが復号されるとき、各出力レイヤセットは、互いに異なる出力レイヤの構成、又は異なるプロファイル/レベルであることが保障される。従って、画像復号装置は、符号化データから、重複定義された出力レイヤセットに係る復号を防止することができる。また、出力レイヤセットの重複定義に係る符号量を削減することができる。
また、画像復号装置1/画像符号化装置2は、以下に示す出力レイヤセットに関連付けられたレイヤセットに関するコンフォーマンス条件CC1を満たす符号化データを復号/生成することが好ましい。
条件CC1:レイヤセットLS#i(i=0..VpsNumLayerSets-1)は、ベースレイヤを含む。
上記条件CC1は、条件CC2〜CC4とも表現することができる。
CC2:レイヤセットLS#i(i=0..VpsNumLayerSets-1)は、レイヤ識別子が0であるレイヤを含む。
CC3:レイヤセットLS#i(i=0..VpsNumLayerSets-1)のレイヤIDリストLayerIdList[i]の0番目の要素LayerIdList[i][0]は、レイヤ識別子が0であるレイヤである。
CC4:レイヤ0がレイヤセットLS#i(i=0..VpsNumLayerSets-1)に含まれるか否かを示すフラグlayer_id_included_flag[i][0]の値は1である(i=0..VpsNumLayerSets-1に対しlayer_id_included_flag[i][0]=1である)。
よって、本実施形態の画像復号装置1/画像符号化装置2は、コンフォーマンス条件CC(CCはCC1からCC4のいずれか)を満たす符号化データを復号/生成することが好ましい。
条件CC1〜CC4は、換言すれば、出力レイヤセットにおいて、復号対象とするレイヤとして、ベースレイヤ(レイヤ識別子が0のレイヤ)を常に含めることを意味する。符号化データは、出力レイヤセットに関連付けられたレイヤセット(すなわち全てのレイヤセット)に関して上記コンフォーマンス条件CC(CCは、CC1〜CC4のいずれか)を満たすことによって、画像復号装置1において、上記符号化データから復号される出力レイヤセットは、必ずベースレイヤを復号することが保障される。従って、あるレイヤセットAを含む符号化データからビットストリーム抽出処理によって生成された、レイヤセットAのサブセットであるレイヤセットBを含む符号化データを復号する際に、ベースレイヤ(レイヤ識別子0のレイヤ)の復号のみに対応した復号装置V1(例えばHEVC Main profileで規定される復号)においても、以下の理由により問題なく動作できる。
・抽出されたレイヤセットBを含む符号化データは、レイヤ識別子0のVCL(スライスセグメント)およびnonVCL(パラメータセット(VPS/SPS/PPS)を含む。
・復号装置V1は、レイヤ識別子0のスライスセグメントを復号し、レイヤ識別子0のスライスセグメントから参照されるSPSのプロファイルが復号可能であることを示す場合には復号を行い、レイヤ識別子0のスライスセグメントから参照されるSPSのプロファイルなどのPTL情報が復号可能を示さない場合には復号を行わないことができる。
復号装置V1は復号もしくは復号停止することができる。すなわち、復号装置V1は問題なく復号可能(対応可能)である。
逆に、条件CC1〜CC4を満たさない符号化データをレイヤセット復号装置V1で復号する。つまり、ベースレイヤを含まないレイヤセットを復号装置V1で復号する場合には以下の問題が発生する。
・符号化データ中にレイヤ識別子0のスライスセグメントが存在しないため、復号装置V1は、スライスセグメントを復号しない。
・スライスセグメントのslice_pic_parameter_set_idを復号しないため、PPSがアクティベートされない(同様に、SPS、VPSもアクティベートされない)。
・復号装置V1は、アクティベートされるSPS(及びVPS)を復号しないため、SPS(VPS)に含まれるプロファイルなどのPTL情報を復号しないため、復号されない。
・復号装置V1は、内部バッファの符号化データが尽きると、符号化装置(もしくは符号化データ送信装置、符号化データバッファリング装置)に符号化データのリクエストを要求する。要求した符号化データもまた復号する対象を有しないため、要求された出力画像(例えばピクチャ1枚)を復号しようと永久に、符号化データの要求と復号を継続する可能性がある。
コンフォーマンス条件CC(CCはCC1〜CC4)を満たす場合には、レイヤセットA(もしくはレイヤセットAを含む符号化データから、ビットストリーム抽出により生成されたレイヤセットAのサブセットであるレイヤセットB)を含む符号化データが復号可能(対応可能)であることを保障することができる。
(出力制御部16)
出力制御部16は、外部より供給される出力指定情報と、パラメータメモリ13に保持されたアクティブVPSのレイヤセット情報、及び出力レイヤセット情報に基づいて、出力制御情報として、対象出力レイヤセットTargetOptLayerSetのレイヤ構成を示す対象出力レイヤIDリストTargetOptLayerIdList、及び対象出力レイヤセットの復号に必要とするレイヤの構成を示す対象復号レイヤIDリストTargetDecLayerIdListを導出し、その結果を、ビットストリーム抽出部17、及び復号ピクチャ管理部15へ供給する。
外部より供給される出力指定情報には、少なくとも、処理対象とする出力レイヤセットを特定するための情報として、対象出力レイヤセット識別子TargetOLSIdxが含まれる。また出力制御部16が参照するアクティブVPSは、予め復号済であり、パラメータメモリ13に格納されているものとする。なお、アクティブVPSを特定するために、アクティブVPS識別子を、出力指定情報に含めてもよい。
対象出力レイヤIDリストTargetOptLayerIdList、及び対象復号レイヤIDリストTargetDecLayerIdListは、例えば、以下に示す疑似コードによって導出される。
(TargetDecLayerIdList、及びTargetOptLayerIdListの導出を示す疑似コード)for(k=0, j=0; j< NumLayersInIdList[ LayerSetIdx[ TargetOLSIdx ]]; j++){ //SA01
TargetDecLayerIdList[j] = LayerIdList[LayerSetIdx[ TargetOLSIdx ] ][j]; //SA02
if( OutputLayerFlag[ TargetOLSIdx ][j] ){ //SA03
TargetOptLayerIdList[k] = LayerIdList[LayerSetIdx[ TargetOLSIdx ] ][j]; //SA04
k++; //SA05
}
} // end of loop //SA07
なお、上記疑似コードをステップで表わせば、次の通りである。
(SA01)対象出力レイヤセットOLS#(TargetOLSIdx)のレイヤIDリストTargetOptLayerIdList[]、及び対象復号レイヤIDリストTargetDecLayerIdList[]の導出に係るループの開始点である。ループの開始前に、変数k、及びjは0に初期化される。ループ内の処理は、変数jが、対象出力レイヤセットOLS#(TargetOLSIdx)に関連付けられたレイヤセットLS#(LayerSetIdx[TargetOLSIdx])に含まれるレイヤ数 “NumLayersInIdList[ LayerSetIdx[ TargetOLSIdx] ]”未満のときに実行され、ループ内の処理が1回実行される度に、変数jは“1”加算される。
(SA02)出力レイヤセットOLS#(TargetOLSIdx)に関連付けられたレイヤセットLS#(LayerSetIdx[ TargetOLSIdx ])のj番目の要素を、対象復号レイヤIDリストTargetDecLayerIdList []のj番目の要素へ追加する(すなわち、TargetDecLayerIdList[j] = LayerIdList[LayerSetIdx[ TargetOLSIdx ] ][j]; )。
(SA03)出力レイヤセットOLS#(TargetOLSIdx)においてj番目のレイヤが出力レイヤであるか判定する。すなわち、出力レイヤフラグOutputLayerFlag[ TargetOLSIdx ][j]が1(真)である場合(出力レイヤである)、ステップSA04へ遷移する。出力レイヤフラグOutputLayerFlag[ TargetOLSIdx ][j]が0(偽)である場合(出力レイヤでない)、ステップSA0Aへ遷移する。
(SA04)出力レイヤセットOLS#(TargetOLSIdx)に関連付けられたレイヤセットLS#(LayerSetIdx[ TargetOLSIdx ])のj番目の要素を、出力レイヤセットOLS#(TargetOLSIdx)のレイヤIDリストTargetOptLayerIdList[]のk番目の要素へ追加する(すなわち、TargetOptLayerIdList[k] = LayerIdList[LayerSetIdx[ TargetOLSIdx ] ][j]; )。
(SA05)変数kに”1”加算する(すなわち、k++;)。
(SA0A)対象出力レイヤセットOLS#(TargetOLSIdx)のレイヤIDリストTargetOptLayerIdList[]、及び対象復号レイヤIDリストTargetDecLayerIdList[]の導出に係るループの終端である。
以上、出力制御部16によれば、外部より供給される出力指定情報と、パラメータメモリ13に保持されたアクティブVPSのレイヤセット情報、及び出力レイヤセット情報に基づいて、出力制御情報として、対象出力レイヤセットTargetOptLayerSetのレイヤ構成を示す対象出力レイヤIDリストTargetOptLayerIdList、及び対象出力レイヤセットの復号に必要とするレイヤの構成を示す対象復号レイヤIDリストTargetDecLayerIdListを導出することができる。なお、出力制御部16において、指定された出力レイヤセットOLS#(TargetOLSIdx)が出力レイヤを有さない場合は、出力レイヤセットに含まれる、少なくとも1以上のレイヤを出力レイヤとして指定することが好ましい。例えば、出力レイヤセットに含まれる全レイヤ、あるは最高次レイヤ識別子を有するプライマリレイヤを出力レイヤと指定すればよい。
(ピクチャ復号部14)
ピクチャ復号部14は、入力されるVCL NALユニット、および、アクティブパラメータセットに基づいて復号ピクチャを生成して出力する。
図17を用いて、ピクチャ復号部14の概略的構成を説明する。図17は、ピクチャ復号部14の概略的構成を示した機能ブロック図である。
ピクチャ復号部14は、スライスヘッダ復号部141、CTU復号部142を備えている。CTU復号部142は、さらに、予測残差復元部1421、予測画像生成部1422、及びCTU復号画像生成部1423を含んでいる。
(スライスヘッダ復号部141)
スライスヘッダ復号部141は、入力されるVCL NALユニットとアクティブパラメータセットに基づいてスライスヘッダを復号する。復号したスライスヘッダは、入力されるVCL NALユニットと合わせてCTU復号部142に出力する。
(CTU復号部142)
CTU復号部142は、概略的には、入力されるVCL NALユニットに含まれるスライスセグメント(スライスヘッダおよびスライスデータ)、及びアクティブパラメータセットに基づいて、ピクチャを構成するスライスに含まれる各CTUに対応する領域の復号画像を復号することで、スライスの復号画像を生成する。CTUの復号画像は、CTU復号部142内部の予測残差復元部1421、予測画像生成部1422、及びCTU復号画像生成部1423により生成される。
予測残差復元部1421は、入力のスライスデータに含まれる予測残差情報(TT情報)を復号して対象CTUの予測残差を生成して出力する。
予測画像生成部1422は、入力のスライスデータに含まれる予測情報(PT情報)の示す予測方法と予測パラメータに基づいて予測画像を生成して出力する。その際、必要に応じて、参照ピクチャの復号画像や符号化パラメータが利用される。例えば、インター予測、または、レイヤ間画像予測を使用する場合は、復号ピクチャ管理部15より対応する参照ピクチャを読み出す。
CTU復号画像生成部1423は、入力される予測画像と予測残差を加算して対象CTUの復号画像を生成して出力する。
<ピクチャ復号部14の復号プロセス>
以下、図18を参照して、ピクチャ復号部14における対象レイヤiのピクチャの復号の概略的な動作について説明する。図18は、ピクチャ復号部14における対象レイヤiのピクチャを構成するスライス単位の復号プロセスを示すフロー図である。
(SD101)復号対象スライスの先頭スライスフラグ(first_slice_segment_in_pic_flag)(図15(d)のSYNSH01)を復号する。先頭スライスフラグが1の場合、復号対象スライスは、ピクチャ内の復号順(以降、処理順)で先頭スライスであり、復号対象スライスの先頭CTUのピクチャ内でのラスタスキャン順での位置(以降、CTUアドレス)を0に設定する。さらに、ピクチャ内の処理済みCTU数のカウンタnumCtu(以降、処理済CTU数numCtu)を0に設定する。先頭スライスフラグが0の場合、後述のSD106で復号されるスライスアドレスに基づいて、復号対象スライスの先頭CTUアドレスを設定する。
(SD102)復号対象スライスの復号時に参照するアクティブPPSを指定するアクティブPPS識別子(slice_pic_paramter_set_id)(図15(d)のSYNSH02)を復号する。
(SD104)アクティブパラメータセットをパラメータメモリ13よりフェッチする。すなわち、復号対象スライスが参照するアクティブPPS識別子(slice_pic_parameter_set_id)と同一のPPS識別子(pps_pic_parameter_set_id)を有するPPSをアクティブPPSとし、パラメータメモリ13から、アクティブPPSの符号化パラメータをフェッチする(読み出す)。さらに、アクティブPPS内のアクティブSPS識別子(pps_seq_parameter_set_id)と同一のSPS識別子(sps_seq_parameter_set_id)を有するSPSをアクティブSPSとし、パラメータメモリ13から、アクティブSPSの符号化パラメータをフェッチする。さらに、アクティブSPS内のアクティブVPS識別子(sps_video_parameter_set_id)と同一のVPS識別子(vps_video_parameter_set_id)を有するVPSをアクティブVPSとし、パラメータメモリ13から、アクティブVPSの符号化パラメータをフェッチする。
(SD105)復号対象スライスが、ピクチャ内の処理順で先頭スライスであるか否かを先頭スライスフラグに基づいて判定する。先頭スライスフラグが0の場合(SD105でYes)、ステップSD106へ遷移する。それ以外の場合(SD105でNo)、ステップSD106の処理をスキップする。なお、先頭スライスフラグが1の場合、復号対象スライスのスライスアドレスは0である。
(SD106)復号対象スライスのスライスアドレス(slice_segment_address)(図15(d)のSYNSH03)を復号し、復号対象スライスの先頭CTUアドレスを設定する。例えば、先頭スライスCTUアドレス=slice_segment_addressである。
・・・省略・・・
(SD10A)CTU復号部142は、入力されるスライスヘッダ、アクティブパラメータセット、及びVCL NALユニットに含まれるスライスデータ内の各CTU情報(図15(d)のSYNSD01)に基づいて、ピクチャを構成するスライスに含まれる各CTUに対応する領域のCTU復号画像を生成する。さらに、各CTU情報の後に、該CTUが復号対象スライスの終端であるかを示すスライス終端フラグ(end_of_slice_segment_flag)(図15(e)のSYNSD2)。また、各CTUの復号後に、処理済CTU数numCtuの値を1加算する(numCtu++)。
(SD10B)該CTUが復号対象スライスの終端であるか否かをスライス終端フラグに基づいて判定する。スライス終端フラグが1の場合(SD10BでYes)、ステップSD10Cへ遷移する。それ以外の場合(SD10BでNo)、後続のCTU情報を復号するため、ステップSD10Aへ遷移する。
(SD10C)処理済CTU数numCtuが、ピクチャを構成するCTUの総数(PicSizeInCtbsY)に達したか判定する。すなわち、numCtu==PicSizeInCtbsYであるか判定する。numCtuがPicSizeInCtbsYと等しい場合(SD10CでYes)、復号対象ピクチャを構成するスライス単位の復号処理を終了する。それ以外の場合(numCtu<PicSizeInCtbsY)(SD10CでNo)、復号対象ピクチャを構成するスライス単位の復号処理を継続するため、ステップSD101へ遷移する。
以上、実施例1に係るピクチャ復号部14の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
(ビットストリーム抽出部17)
ビットストリーム抽出部17は、出力制御部16より供給される出力制御情報(出力レイヤセットのうち、復号対象となるレイヤの構成を示す対象復号レイヤIDリストTargetDecLayerIdList、及び、及び対象最高次テンポラル識別子TargetHighestTid)に基づいて、ビットストリーム抽出処理を行い、入力される階層符号化データDATAから、対象最高次テンポラル識別子TargetHighestTid、及び対象復号レイヤIDリストTargetDecLayerIdListによって定まる集合(ターゲットセットTargetSetと呼ぶ)に含まれないNALユニットを除去(破棄)し、ターゲットセットTargetSetに含まれるNALユニットから構成されるターゲットセット符号化データDATA#T(BitstreamToDecode)を抽出し、出力する。
より具体的には、上記ビットストリーム抽出部17は、NALユニットヘッダを復号するNALユニット復号手段を備える。
以下、図19を参照して、本実施例に係るビットストリーム抽出部17の概略的な動作について説明する。図19は、ビットストリーム抽出部17におけるアクセスユニット単位のビットストリーム抽出処理を示すフロー図である。
(SG101)ビットストリーム抽出部17は、図5(b)に示すシンタックス表に従って、供給された対象NALユニットのNALユニットヘッダを復号する。すなわち、NALユニットタイプ(nal_unit_type)、レイヤ識別子(nuh_layer_id)、及びテンポラル識別子(nuh_temporal_id_plus1)を復号する。なお、対象NALユニットのレイヤ識別子nuhLayerIdは、 “nuh_layer_id”に設定され、対象NALユニットのテンポラル識別子temporalIdは、“nuh_temporal_id_plus1 - 1”に設定される。
(SG102)対象NALユニットのレイヤ識別子、テンポラル識別子がターゲットセットTargetSetに含まれるか否かを、対象復号レイヤIDリストTargetDecLayerIdList、及び対象最高次テンポラル識別子に基づいて判定する。より具体的には、以下の(1)〜(2)の条件のうち、少なくとも何れかの条件が偽である場合(SG102でNo)、ステップSG103へ遷移する。それ以外((1)、(2)ともに真)の場合(SG102でYes)、ステップSG104へ遷移する。
(1)「対象復号レイヤIDリストTargetDecLayerIdListに、対象NALユニットのレイヤ識別子と同一の値がある」場合、真と判定し、それ以外の場合(対象復号レイヤIDリストTargetDecLayerIdListに、対象NALユニットのレイヤ識別子と同一の値がない)、偽と判定する。
(2)「対象NALユニットのテンポラル識別子が対象最高次テンポラル識別子TargetHighestTid以下である」場合、真と判定し、それ以外の場合(対象NALユニットのテンポラル識別子が対象最高次テンポラル識別子TargetHighestTidより大きい)、偽と判定する。
(SG103)対象NALユニットを破棄する。すなわち、対象NALユニットは、ターゲットセットTargetSetに含まれないため、ビットストリーム抽出部17は、入力された階層符号化データDATAから、対象NALユニットを除去する。
(SG10A)同一アクセスユニット内に、未処理のNALユニットがあるか判定する。未処理のNALユニットがある場合(SG10AでNo)、対象アクセスユニットを構成するNALユニット単位のビットストリーム抽出を継続するため、ステップSG101へ遷移する。それ以外の場合(SG10AでYes)、ステップSG10Bへ遷移する。
(SG10B)入力された階層符号化データDATAに、対象アクセスユニットの次のアクセスユニットがあるか判定する。次のアクセスユニットがある場合(SG10BでYes)、次のアクセスユニットの処理を継続するため、ステップSG101へ遷移する。次のアクセスユニットがない場合(SG10BでNo)、ビットストリーム抽出処理を終了する。
以上、実施例1に係るビットストリーム抽出部17の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
以上説明したビットストリーム抽出部17によれば、外部より供給される対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTarget、及び対象最高次テンポラル識別子HighestTidTargetに基づいて、ビットストリーム抽出処理を行い、入力される階層符号化データDATAから、対象最高次テンポラル識別子HighestTidTarget、及び対象レイヤセットLayerSetTargetのレイヤIDリストLayerIdListTargetによって定まるターゲットセットTargetSetに含まれないNALユニットを除去(破棄)し、ターゲットセットTargetSetに含まれるNALユニットから構成される符号化データBitstreamToDecodeを抽出し、生成することができる。
(動画像復号装置1の効果)
以上説明した本実施形態に係る階層動画像復号装置1(階層画像復号装置)は、ビットストリーム抽出処理を行い、入力される階層符号化データDATAから、外部より供給される対象出力レイヤセット識別子により特定される復号対象となるレイヤ構成を示す対象復号レイヤIDリストTargetDecLayerIdList、及び外部より供給される復号対象とするレイヤに付随する最高次のサブレイヤを指定する対象最高次テンポラル識別子TargetHighestTidによって定まるターゲットセットTargetSetに含まれないNALユニットを除去(破棄)し、ターゲットセットTargetSetに含まれるNALユニットから構成されるターゲットセット符号化データDATA#T(BitstreamToDecode)を抽出するビットストリーム抽出部17を備える。
また、階層動画像復号装置1(階層画像復号装置)は、入力された階層符号化データから、レイヤセットを1以上含むレイヤセット情報を復号するレイヤセット情報復号手段と、上記レイヤセットと出力レイヤフラグとの組み合わせにより表現される出力レイヤセットを1以上含む出力レイヤセット情報を復号する出力レイヤセット情報復号手段と、上記出力レイヤセット情報に含まれる出力レイヤセットの一つを選択する出力レイヤセット選択手段と、上記選択された出力レイヤセットに対応するレイヤセットに含まれる各レイヤの復号ピクチャを生成するピクチャ復号手段と、上記各レイヤの復号ピクチャを保持するバッファ手段を備え、上記バッファ手段は、保持された上記各レイヤの復号ピクチャのうち、少なくとも1以上のレイヤに対して、該レイヤに対応する復号ピクチャを出力ピクチャとして出力することを特徴とする。従って、出力レイヤを有さない出力レイヤセットの符号化データが入力されても復号対象となるレイヤセットのうち、少なくとも1つのレイヤを出力レイヤとし、該出力レイヤの復号ピクチャを出力することが可能である。
〔階層動画像符号化装置〕
以下では、本実施形態に係る階層動画像符号化装置2の構成について、図20を参照して説明する。
(階層動画像符号化装置の構成)
図20を用いて、階層動画像符号化装置2の概略構成を説明する。同図は、階層動画像符号化装置2の概略的構成を示した機能ブロック図である。階層動画像符号化装置2は、符号化対象とするターゲットセットに含まれる各レイヤ/サブレイヤの入力画像PIN#T(ピクチャ)を符号化して、ターゲットセットの階層符号化データDATAを生成する。すなわち、動画像符号化装置2は、ターゲットセットTargetSetのレイヤIDリストの要素TargetLayerIdList [0]..TargetLayerIdList [N-1](Nはターゲットセット(対象レイヤセット)に含まれるレイヤ数)の順で、各レイヤのピクチャを符号化し、その符号化データを生成する。なお、階層動画像復号装置1(及びその変形例を含む)において、上記符号化データから復号される出力レイヤセットの少なくとも1以上の出力レイヤの復号ピクチャを出力ピクチャとして出力されることを保障するため、階層動画像符号化装置2は、少なくとも前述のコンフォーマンス条件CA1(又はCA2、CA3)を満たすように、ターゲットセットの階層符号化データDATAを生成する。また、上記符号化データから復号される2以上の出力レイヤセットが、互いに異なる出力レイヤの構成であることを保障するために、前述のコンフォーマンス条件CB1(又はCB2〜CB6)を満たすように、ターゲットセットの階層符号化データDATAを生成することが好ましい。また、レイヤセットにベースレイヤが含まれることを保障するために、前述のコンフォーマンス条件CC(CCはCC1〜CC4)を満たすように、ターゲットセットの階層符号化データDATAを生成することが好ましい。また、非特許文献1のAnnex.C、又は非特許文献2及び3のAnnex.Cのコンフォーマンステストを満たすように、ターゲットセットの階層符号化データDATAを生成してもよい。
図20に示すように階層動画像符号化装置2は、ターゲットセットピクチャ符号化部20、及びNAL多重化部21を含んで備える。さらに、ターゲットセットピクチャ符号化部20は、non-VCL符号化部22、ピクチャ符号化部24、復号ピクチャ管理部15、および符号化パラメータ決定部26を含んで構成される。
復号ピクチャ管理部15は、既に説明した階層動画像復号装置1の備える復号ピクチャ管理部15と同一の構成要素である。ただし、階層動画像符号化装置2の備える復号ピクチャ管理部15では、内部のDPBに記録されたピクチャを出力ピクチャとして出力する必要はないため、当該出力は省略可能である。なお、階層動画像復号装置1の復号ピクチャ管理部15の説明において「復号」として説明した記載は「符号化」と置き換えることで、階層動画像符号化装置2の備える復号ピクチャ管理部15にも適用できる。
NAL多重化部21は、入力されるターゲットセットの各レイヤのVCL、及びnon-VCLを、NALユニットに格納することでNAL多重化した階層動画像符号化データDATA#Tを生成し、外部へ出力する。言い換えれば、NAL多重化部21は、ターゲットセットピクチャ符号化部20から供給されるnon-VCLの符号化データ、VCLの符号化データ、及び各non-VCL、VCLに対応するNALユニットタイプ、レイヤ識別子、テンポラル識別子を、NALユニットに格納して(符号化して)、NAL多重化した階層符号化データDATA#Tを生成する。
符号化パラメータ決定部26は、符号化パラメータの複数のセットのうち、1つのセットを選択する。符号化パラメータとは、各パラメータセット(VPS、SPS、PPS)に関連した各種パラメータや、ピクチャを符号化するための予測パラメータや、該予測パラメータに関連して生成される符号化の対象となるパラメータである。符号化パラメータ決定部26は、上記符号化パラメータの複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータを可変長符号化して得られるターゲットセットの各レイヤ/サブレイヤの符号化データの情報量である。二乗誤差は、入力画像PIN#Tと予測画像との差分値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部26は、算出したコスト値が最小となる符号化パラメータのセットを選択し、選択した各符号化パラメータのセットをパラメータセット符号化部22、及びピクチャ符号化部24へ供給する。
Non-VCL符号化部22は、階層動画像復号装置1におけるNon-VCL復号部12の逆処理に対応し、符号化パラメータ決定部26から入力される各non-VCLの符号化パラメータと入力画像に基づいて、入力画像の符号化に用いるパラメータセット(VPS、SPS、およびSPS)やその他にnon-VCLを設定し、各パラメータセットやその他のnon-VCLをnon-VCL NALユニットに格納されるデータとして、NAL多重化部21へ供給する。なお、Non-VCL符号化部22で符号化されるnon-VCLには、階層動画像復号装置1の備えるnon-VCL復号部12の説明で記載したレイヤセット情報、出力レイヤセット情報、及びPTL情報を含んでいる。すなわち、non-VCL符号化部22は、図示しない、パラメータセット符号化手段を備える。さらに、パラメータセット符号化手段は、図示しない、レイヤセット情報を符号化(生成)するレイヤセット情報符号化手段、出力レイヤセット情報を符号化(生成)する出力レイヤセット情報符号化手段、及びPTL情報を符号化するPTL情報符号化手段をさらに含んで構成される。各符号化部、符号化手段の機能及び動作は、対応する復号部、復号手段の逆処理に相当し、復号部、復号手段において、“復号”を“符号化”と読み替えて解釈するものとする。なお、Non-VCL符号化部22は、NAL多重化部21へnon-VCLの符号化データを供給するときに、non-VCLに対応するNALユニットタイプ、レイヤ識別子、及びテンポラル識別子も付与して出力する。
また、Non-VCL符号化部22で生成されるパラメータセットには、該パラメータセットを識別する識別子、及び各レイヤのピクチャを復号するために参照する該パラメータセットが参照するパラメータセット(アクティブパラメータセット)を指定するアクティブパラメータセット識別子が含まれる。具体的には、ビデオパラメータセットVPSであれば、該VPSを識別するVPS識別子が含まれる。シーケンスパラメータセットSPSであれば、該SPSを識別するSPS識別子(sps_seq_parameter_set_id)、及び該SPSや他のシンタックスが参照するVPSを特定するアクティブVPS識別子(sps_video_parameter_set_id)が含まれる。ピクチャパラメータセットPPSであれば、該PPSを識別するPPS識別子(pps_pic_parameter_set_id)、及び該PPSや他のシンタックスが参照するSPSを特定するアクティブSPS識別子(pps_seq_parameter_set_id)が含まれる。
ピクチャ符号化部24は、入力される各レイヤの入力画像PIN#T、符号化パラメータ決定部26より供給されるNon-VCL(特に、パラメータセット)、および復号ピクチャ管理部15に記録されている参照ピクチャに基づいて、ピクチャを構成するスライスに対応する各レイヤの入力画像の一部を符号化して、当該部分の符号化データを生成し、VCL NALユニットに格納されるデータとして、NAL多重化部21へ供給する。ピクチャ符号化部24の詳細な説明は後述する。なお、ピクチャ符号化部24は、NAL多重化部21へVCLの符号化データを供給するときに、VCLに対応するNALユニットタイプ、レイヤ識別子、及びテンポラル識別子も付与して出力する。
(ピクチャ符号化部24)
図21を参照して、ピクチャ符号化部24の構成の詳細を説明する。図21は、ピクチャ符号化部24の概略的構成を示した機能ブロック図である。
図21に示すように、ピクチャ符号化部24は、スライスヘッダ符号化部241、及びCTU符号化部242を含んで構成される。
スライスヘッダ符号化部241は、入力されるアクティブパラメータセットに基づいてスライス単位で入力される各レイヤの入力画像の符号化に用いるスライスヘッダを生成する。生成されたスライスヘッダは、スライス符号化データの一部として出力されるとともに、入力画像と共にCTU符号化部242へ供給される。なお、スライスヘッダ符号化部241で生成されるスライスヘッダには、各レイヤのピクチャを復号するために参照するピクチャパラメータセットPPS(アクティブPPS)を指定するアクティブPPS識別子が含まれる。
CTU符号化部242は、入力されるアクティブパラメータセット、スライスヘッダに基づいて、入力画像(対象スライス部分)をCTU単位で符号化して、対象スライスに係るスライスデータおよび復号画像(復号ピクチャ)を生成して出力する。より具体的には、CTU符号化部242は、パラメータセットが含むCTBサイズの大きさのCTBを単位として対象スライスの入力画像を分割し、各CTBに対応する画像を一つのCTUとして符号化する。CTUの符号化は、予測残差符号化部2421、予測画像符号化部2422、CTU復号画像生成部2423により実行される。
予測残差符号化部2421は、入力される入力画像と予測画像の差分画像を、変換・量子化して得られる量子化残差情報(TT情報)を、スライス符号化データに含まれるスライスデータの一部として出力する。また、量子化残差情報に逆変換・逆量子化を適用して予測残差を復元し、復元した予測残差をCTU復号画像生成部2423に出力する。
予測画像符号化部2422は、符号化パラメータ決定部26で決定された、対象スライスに含まれる対象CTUの予測方式および予測パラメータに基づいて、予測画像を生成して予測残差符号化部2421とCTU復号画像生成部2423に出力する。なお、予測方式や予測パラメータの情報は予測情報(PT情報)として可変長符号化されて、スライス符号化データに含まれるスライスデータの一部として出力される。なお、インター予測、または、レイヤ間画像予測を使用する場合は、復号ピクチャ管理部15より対応する参照ピクチャを読み出す。
CTU復号画像生成部2423は、階層動画像復号装置1の備えるCTU復号画像制生成部1423と同一の構成要素であるため、説明を省略する。なお、対象CTUの復号画像は、復号ピクチャ管理部15へ供給され、内部のDPBに記録される。
<ピクチャ符号化部24の符号化プロセス>
以下、図22を参照して、ピクチャ符号化部24における対象レイヤiのピクチャの符号化の概略的な動作について説明する。図22は、ピクチャ符号化部24における対象レイヤiのピクチャを構成するスライス単位の符号化プロセスを示すフロー図である。
(SE101)符号化対象スライスの先頭スライスフラグ(first_slice_segment_in_pic_flag) (図15(d)のSYNSH01)を符号化する。すなわち、スライス単位に分割された入力画像(以降、符号化対象スライス)が、ピクチャ内の符号化順(復号順)(以降、処理順)で先頭スライスであれば、先頭スライスフラグ(first_slice_segment_in_pic_flag)が1である。符号化対象スライスが先頭スライスでなければ、先頭スライスフラグは0である。なお、先頭スライスフラグが1の場合、符号化対象スライスの先頭CTUアドレスを0に設定する。さらに、ピクチャ内の処理済みCTU数のカウンタnumCtuを0に設定する。先頭スライスフラグが0の場合、後述のSE106で符号化されるスライスアドレスに基づいて、符号化対象スライスの先頭CTUアドレスを設定する。
(SE102)符号化対象スライスの符号化時に参照するアクティブPPSを指定するアクティブPPS識別子(slice_pic_paramter_set_id)(図15(d)のSYNSH02)を符号化する。
(SE104)符号化パラメータ決定部26で決定されたアクティブパラメータセットをフェッチする。すなわち、符号化対象スライスが参照するアクティブPPS識別子(slice_pic_parameter_set_id)と同一のPPS識別子(pps_pic_parameter_set_id)を有するPPSをアクティブPPSとし、符号化パラメータ決定部26から、アクティブPPSの符号化パラメータをフェッチする(読み出す)。さらに、アクティブPPS内のアクティブSPS識別子(pps_seq_parameter_set_id)と同一のSPS識別子(sps_seq_parameter_set_id)を有するSPSをアクティブSPSとし、符号化パラメータ決定部26から、アクティブSPSの符号化パラメータをフェッチする。さらに、アクティブSPS内のアクティブVPS識別子(sps_video_parameter_set_id)と同一のVPS識別子(vps_video_parameter_set_id)を有するVPSをアクティブVPSとし、符号化パラメータ決定部26から、アクティブVPSの符号化パラメータをフェッチする。
なお、ピクチャ符号化部24は、アクティブVPSに含まれるレイヤセット情報出力レイヤセット情報、及びPTL情報、該アクティブパラメータセット(VPS, SPS, PPS)のレイヤ識別子、対象レイヤのレイヤ識別子等を参照し、ターゲットセットがコンフォーマンス条件満たすか検証してもよい。コンフォーマンス条件は、階層動画像復号装置1において説明済みであるため省略する。なお、コンフォーマンス条件を満たせば、生成されるターゲットセットの階層符号化データDATAが、階層画像符号化装置2に対応する階層動画像復号装置1において、復号可能であることが保障される。
(SE105)符号化対象スライスが、ピクチャ内の処理順で先頭スライスであるか否かを先頭スライスフラグに基づいて判定する。先頭スライスフラグが0の場合(SE105でYes)、ステップSE106へ遷移する。それ以外の場合(SE105でNo)、ステップSE106の処理をスキップする。なお、先頭スライスフラグが1の場合、符号化対象スライスのスライスアドレスは0である。
(SE106)符号化対象スライスのスライスアドレス(slice_segment_address)(図15(d)のSYNSH03)を符号化する。なお、符号化対象スライスのスライスアドレス(符号化対象スライスの先頭CTUアドレス)は、例えば、ピクチャ内の処理済CTU数のカウンタnumCtuに基づいて設定可能である。この場合、スライスアドレスslice_segment_adress=numCtuである。すなわち、符号化対象スライスの先頭CTUアドレス=numCtuでもある。なお、スライスアドレスの決定方法はこれに限定されず、実施可能な範囲で変更可能である。
(SE10A)CTU符号化部242は、入力されるアクティブパラメータセット、スライスヘッダに基づいて、入力画像(符号化対象スライス)をCTU単位で符号化して、符号化対象スライスのスライスデータの一部として、CTU情報の符号化データ(図15(d)のSYNSD01)を出力する。また、CTU符号化部242は、各CTUに対応する領域のCTU復号画像を生成し出力する。さらに、各CTU情報の符号化データの後に、該CTUが符号化対象スライスの終端であるかを示すスライス終端フラグ(end_of_slice_segment_flag) (図15(d)のSYNSD02)を符号化する。該CTUが符号化対象スライスの終端である場合、スライス終端フラグを1へ設定し、それ以外の場合は0へ設定し、符号化する。また、各CTUの符号化後に、処理済CTU数numCtuの値を1加算する(numCtu++)。
(SE10B)該CTUが符号化対象スライスの終端であるか否かをスライス終端フラグに基づいて判定する。スライス終端フラグが1の場合(SE10BでYes)、ステップSE10Cへ遷移する。それ以外の場合(SE10BでNo)、後続のCTUを符号化するため、ステップSE10Aへ遷移する。
(SE10C)処理済CTU数numCtuが、ピクチャを構成するCTUの総数(PicSizeInCtbsY)に達したか判定する。すなわち、numCtu==PicSizeInCtbsYであるか判定する。numCtuがPicSizeInCtbsYと等しい場合(SE10CでYes)、符号化対象ピクチャを構成するスライス単位の符号化処理を終了する。それ以外の場合(numCtu<PicSizeInCtbsY)(SE10CでNo)、符号化対象ピクチャを構成するスライス単位の符号化処理を継続するため、ステップSE101へ遷移する。
以上、実施例1に係るピクチャ符号化部24の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
(動画像符号化装置2の効果)
以上説明した本実施形態に係る階層動画像符号化装置2は、階層動画像復号装置1(及びその変形例を含む)において、上記符号化データから復号される出力レイヤセットの少なくとも1以上の出力レイヤの復号ピクチャを出力ピクチャとして出力されることを保障するため、少なくとも前述のコンフォーマンス条件CA1(又はCA2)を満たすように、ターゲットセットの階層符号化データDATAを生成する。また、上記符号化データから復号される2以上の出力レイヤセットが、互いに異なる出力レイヤの構成であることを保障するために、前述のコンフォーマンス条件CB1(又はCB2〜CB6)を満たすように、ターゲットセットの階層符号化データDATAを生成する。従って、上記ビットストリームコンフォーマンスを満たす階層符号化データDATAを生成することで、階層動画像復号装置1において、(1)出力レイヤを有さない出力レイヤセットが選択されることを防止し、さらに、2)同一の出力レイヤを有する重複出力レイヤセットの発生を防止することが可能である。
また、レイヤセットにベースレイヤが含まれることを保障するために、前述のコンフォーマンス条件CC1(又はCC2〜CC4)を満たすように、ターゲットセットの階層符号化データDATAを生成する。従って、画像復号装置1において、上記符号化データから復号される出力レイヤセットは、必ずベースレイヤを復号することが保障される。従って、あるレイヤセットAを含む符号化データからビットストリーム抽出処理によって生成された、レイヤセットAのサブセットであるレイヤセットBを含む符号化データを復号する際に、レイヤセットBのあるレイヤC(レイヤ識別子>0)において、ベースレイヤにレイヤ識別子を有するパラメータセット(VPS/SPS/PPS)をアクティブパラメータセットとして参照する場合、ベースレイヤがレイヤセットBを含む符号化データに含まれず、あるレイヤCを復号できないというケースを防止することができる。すなわち、コンフォーマンス条件CC1(C2C〜CC4)を満たすことで、レイヤセットAを含む符号化データから、ビットストリーム抽出により生成されたレイヤセットAのサブセットであるレイヤセットBを含む符号化データが復号可能であることを保障することができる。
(他の階層動画像符号化/復号システムへの適用例)
上述した階層動画像符号化装置2及び階層動画像復号装置1は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用できる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
図23に基づいて、上述した階層動画像符号化装置2および階層動画像復号装置1を、動画像の送信および受信に利用できることを説明する。図23の(a)は、階層動画像符号化装置2を搭載した送信装置PROD_Aの構成を示したブロック図である。
図23の(a)に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3とを備えている。上述した階層動画像符号化装置2は、この符号化部PROD_A1として利用される。
送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部A7を更に備えていてもよい。図23の(a)においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部(不図示)を介在させるとよい。
図23の(b)は、階層動画像復号装置1を搭載した受信装置PROD_Bの構成を示したブロック図である。図23の(b)に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3とを備えている。上述した階層動画像復号装置1は、この復号部PROD_B3として利用される。
受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示するディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図23の(b)においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部(不図示)を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送(ここでは、送信先が予め特定されていない送信態様を指す)であってもよいし、通信(ここでは、送信先が予め特定されている送信態様を指す)であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を無線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を有線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。
また、インターネットを用いたVOD(Video On Demand)サービスや動画共有サービスなどのサーバ(ワークステーションなど)/クライアント(テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど)は、変調信号を通信で送受信する送信装置PROD_A/受信装置PROD_Bの一例である(通常、LANにおいては伝送媒体として無線又は有線の何れかが用いられ、WANにおいては伝送媒体として有線が用いられる)。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。
図24に基づいて、上述した階層動画像符号化装置2および階層動画像復号装置1を、動画像の記録および再生に利用できることを説明する。図24の(a)は、上述した階層動画像符号化装置2を搭載した記録装置PROD_Cの構成を示したブロック図である。
図24の(a)に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した階層動画像符号化装置2は、この符号化部PROD_C1として利用される。
なお、記録媒体PROD_Mは、(1)HDD(Hard Disk Drive)やSSD(Solid State Drive)等のように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSB(Universal Serial Bus)フラッシュメモリ等のように、記録装置PROD_Cに接続されるタイプのものであってもよいし、(3)DVD(Digital Versatile Disc)やBD(Blu-ray Disc:登録商標)等のように、記録装置PROD_Cに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部C6を更に備えていてもよい。図24の(a)においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。
なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部(不図示)を介在させるとよい。
このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD(Hard Disk Drive)レコーダなどが挙げられる(この場合、入力端子PROD_C4又は受信部PROD_C5が動画像の主な供給源となる)。また、カムコーダ(この場合、カメラPROD_C3が動画像の主な供給源となる)、パーソナルコンピュータ(この場合、受信部PROD_C5又は画像処理部C6が動画像の主な供給源となる)、スマートフォン(この場合、カメラPROD_C3又は受信部PROD_C5が動画像の主な供給源となる)なども、このような記録装置PROD_Cの一例である。
図24の(b)は、上述した階層動画像復号装置1を搭載した再生装置PROD_Dの構成を示したブロックである。図24の(b)に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した階層動画像復号装置1は、この復号部PROD_D2として利用される。
なお、記録媒体PROD_Mは、(1)HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、(3)DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図24の(b)においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部(不図示)を介在させるとよい。
このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる(この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる)。また、テレビジョン受像機(この場合、ディスプレイPROD_D3が動画像の主な供給先となる)、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)、デスクトップ型PC(この場合、出力端子PROD_D4又は送信部PROD_D5が動画像の主な供給先となる)、ラップトップ型又はタブレット型PC(この場合、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)、スマートフォン(この場合、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)なども、このような再生装置PROD_Dの一例である。
(ハードウェア的実現およびソフトウェア的実現について)
最後に、階層動画像復号装置1、階層動画像符号化装置2の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
後者の場合、上記各装置は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ(またはCPUやMPU(Micro Processing Unit))が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM(Compact Disc Read-Only Memory)/MO(Magneto-Optical)/MD(Mini Disc)/DVD(Digital Versatile Disk)/CD−R(CD Recordable)等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM(Erasable Programmable Read-only Memory)/EEPROM(登録商標)(ElectricallyErasable and Programmable Read-only Memory)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN(Local Area Network)、ISDN(Integrated Services Digital Network)、VAN(Value-Added Network)、CATV(Community Antenna Television)通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE(Institute of Electrical and Electronic Engineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric DigitalSubscriber Line)回線等の有線でも、IrDA(Infrared Data Association)やリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
〔まとめ〕
本発明には、少なくとも態様1から7に示す画像復号装置、及び態様8から12に示す画像符号化装置が含まれている。
本発明の態様1に係る画像復号装置は、階層画像符号化データを復号する画像復号装置であって、レイヤセットを1以上含むレイヤセット情報を復号するレイヤセット情報復号手段と、上記レイヤセットと出力レイヤフラグとの組み合わせにより表現される出力レイヤセットを1以上含む出力レイヤセット情報を復号する出力レイヤセット情報復号手段と、上記出力レイヤセット情報に含まれる出力レイヤセットの一つを選択する出力レイヤセット選択手段と、上記選択された出力レイヤセットに関連付けれらたレイヤセットに含まれる各レイヤの復号ピクチャを生成するピクチャ復号手段と、上記各レイヤの復号ピクチャを保持するバッファ手段を備え、上記バッファ手段は、保持された上記各レイヤの復号ピクチャのうち、少なくとも1以上のレイヤに対して、該レイヤに対応する復号ピクチャを出力ピクチャとして出力することを特徴とする。
本発明の態様2に係る画像復号装置は、上記態様1において、さらに、上記出力レイヤセットにおいて、出力レイヤフラグの総和は1以上であることを特徴とする。
本発明の態様3に係る画像復号装置は、上記態様1から2において、さらに、上記出力レイヤセットに関連付けられたレイヤセットは、ベースレイヤを含むことを特徴とする。
本発明の態様4に係る画像復号装置は、上記態様1から2において、さらに、上記出力レイヤセットにおいて、2以上の出力レイヤセットが、同一のレイヤセットに対応付けられ、かつ、出力レイヤ数が等しいとき、上記2以上の出力レイヤセットにおいて、少なくとも1つの同一レイヤに関する出力レイヤフラグの値が互いに異なることを特徴とする。
本発明の態様5に係る画像復号装置は、上記態様1から2において、さらに、上記出力レイヤセットに対応するPTL情報を復号するPTL情報復号手段を備え、上記出力レイヤセットにおいて、2以上の出力レイヤセットが、同一のレイヤセットに対応付けられ、かつ、出力レイヤ数が等しいとき、上記2以上の出力レイヤセットにおいて、PTL情報が互いに異なること、または、少なくとも1つの同一レイヤの出力レイヤフラグの値が互いに異なることを特徴とする。
本発明の態様6に係る画像復号装置は、上記態様1から2において、さらに、上記出力レイヤセット情報復号手段は、レイヤセット数が1に等しい場合、追加出力レイヤセット数を符号化データから復号せずに0と推定し、上記レイヤセット数が1より大きい場合、追加出力レイヤセット数を符号化データより復号し、出力レイヤセット数をレイヤセット数と追加出力レイヤセット数の和として導出することを特徴とする。
本発明の態様7に係る画像復号装置は、上記態様1から2において、さらに、上記出力レイヤセット情報復号手段は、レイヤセット数が1より大きい場合、上記出力レイヤフラグの導出処理を指定するデフォルト出力レイヤ情報を符号化データより復号し、上記レイヤセット数が1に等しい場合、上記デフォルト出力レイヤ情報を符号化データより復号しないことを特徴とする。
本発明の態様8に係る画像符号化装置は、階層的符号化データを生成する画像符号化装置であって、レイヤセットを1以上含むレイヤセット情報を符号化するレイヤセット情報符号化手段と、上記レイヤセット情報と出力レイヤフラグとの組み合わせにより表現される出力レイヤセットを1以上含む出力レイヤセット情報を符号化する出力レイヤセット情報符号化手段と、上記出力レイヤセットに対応するレイヤセットに含まれる各レイヤのピクチャを符号化するピクチャ符号化手段とを備え、上記出力レイヤセットは、少なくとも1以上の出力レイヤを有することを特徴とする。
本発明の態様9に係る画像符号化装置は、上記態様8において、さらに、上記出力レイヤセットにおいて、2以上の出力レイヤセットが、同一のレイヤセットに対応付けられ、かつ、出力レイヤ数が等しいとき、上記2以上の出力レイヤセットにおいて、少なくとも1つの同一レイヤに関する出力レイヤフラグの値が互いに異なることを特徴とする。
本発明の態様10に係る画像符号化装置は、上記態様8において、さらに、上記出力レイヤセットに対応するPTL情報を符号化するPTL情報符号化手段を備え、
上記出力レイヤセットにおいて、2以上の出力レイヤセットが、同一のレイヤセットに対応付けられ、かつ、出力レイヤ数が等しいとき、上記2以上の出力レイヤセットにおいて、PTL情報が互いに異なること、または、少なくとも1つの同一レイヤの出力レイヤフラグの値が互いに異なることを特徴とする。
本発明の態様11に係る画像符号化装置は、上記態様8において、さらに、上記出力レイヤセット情報符号化手段は、レイヤセット数が1に等しい場合、出力レイヤセット数とレイヤセット数の差を示す追加出力レイヤセット数を符号化せず、上記レイヤセット数が1より大きい場合、上記追加出力レイヤセット数を符号化することを特徴とする。
本発明の態様12に係る画像符号化装置は、上記態様8において、さらに、上記出力レイヤセット情報符号化手段は、レイヤセット数が1より大きい場合、上記デフォルト出力レイヤ情報を符号化し、上記レイヤセット数が1に等しい場合、上記デフォルト出力レイヤ情報を符号化しないことを特徴とする。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。