図2〜図31に基づいて、本発明の一実施形態に係る階層動画像復号装置1および階層動画像符号化装置2を説明すれば以下のとおりである。
〔概要〕
本実施の形態に係る階層動画像復号装置(画像復号装置)1は、階層動画像符号化装置(画像符号化装置)2によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、SVCやSHVCにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合(すなわち、異なる符号化雑音により符号化された動画像の場合)も互いに動画像の品質が異なるといえる。
また、階層符号化技術は、階層化される情報の種類の観点から、(1)空間スケーラビリティ、(2)時間スケーラビリティ、(3)SNR(Signal to Noise Ratio)スケーラビリティ、および(4)ビュースケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレームレート(単位時間のフレーム数)において階層化する技術である。SNRスケーラビリティは、符号化雑音において階層化する技術である。また、ビュースケーラビリティは、各画像に対応付けられた視点位置において階層化する技術である。
本実施形態に係る階層動画像符号化装置2及び階層動画像復号装置1の詳細な説明に先立って、まず(1)階層動画像符号化装置2によって生成され、階層動画像復号装置1によって復号される階層符号化データのレイヤ構造を説明し、次いで(2)各レイヤで採用できるデータ構造の具体例について説明を行う。
〔階層符号化データのレイヤ構造〕
ここで、図2を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図2は、動画像を、下位階層L3、中位階層L2、および上位階層L1の3階層により階層的に符号化/復号する場合について模式的に表わす図である。つまり、図2(a)および(b)に示す例では、3階層のうち、上位階層L1が最上位層となり、下位階層L3が最下位層となる。
以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像(または、特定の階層に対応する復号画像)と称される(例えば、上位階層L1の復号画像POUT#A)。
図2(a)は、入力画像PIN#A〜PIN#Cをそれぞれ階層的に符号化して符号化データDATA#A〜DATA#Cを生成する階層動画像符号化装置2#A〜2#Cを示している。図2(b)は、階層的に符号化された符号化データDATA#A〜DATA#Cをそれぞれ復号して復号画像POUT#A〜POUT#Cを生成する階層動画像復号装置1#A〜1#Cを示している。
まず、図2(a)を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像PIN#A、PIN#B、およびPIN#Cは、原画は同じだが、画像の品質(解像度、フレームレート、および画質等)が異なる。画像の品質は、入力画像PIN#A、PIN#B、およびPIN#Cの順に低くなる。
下位階層L3の階層動画像符号化装置2#Cは、下位階層L3の入力画像PIN#Cを符号化して下位階層L3の符号化データDATA#Cを生成する。下位階層L3の復号画像POUT#Cを復号するのに必要な基本情報が含まれる(図2において“C”にて示している)。下位階層L3は、最下層の階層であるため、下位階層L3の符号化データDATA#Cは、基本符号化データとも称される。
また、中位階層L2の階層動画像符号化装置2#Bは、中位階層L2の入力画像PIN#Bを、下位階層の符号化データDATA#Cを参照しながら符号化して中位階層L2の符号化データDATA#Bを生成する。中位階層L2の符号化データDATA#Bには、符号化データDATA#Cに含まれる基本情報“C”に加えて、中位階層の復号画像POUT#Bを復号するのに必要な付加的情報(図2において“B”にて示している)が含まれる。
また、上位階層L1の階層動画像符号化装置2#Aは、上位階層L1の入力画像PIN#Aを、中位階層L2の符号化データDATA#Bを参照しながら符号化して上位階層L1の符号化データDATA#Aを生成する。上位階層L1の符号化データDATA#Aには、下位階層L3の復号画像POUT#Cを復号するのに必要な基本情報“C”および中位階層L2の復号画像POUT#Bを復号するのに必要な付加的情報“B”に加えて、上位階層の復号画像POUT#Aを復号するのに必要な付加的情報(図2において“A”にて示している)が含まれる。
このように上位階層L1の符号化データDATA#Aは、異なる複数の品質の復号画像に関する情報を含む。
次に、図2(b)を参照しながら復号装置側について説明する。復号装置側では、上位階層L1、中位階層L2、および下位階層L3それぞれの階層に応じた復号装置1#A、1#B、および1#Cが、符号化データDATA#A、DATA#B、およびDATA#Cを復号して復号画像POUT#A、POUT#B、およびPOUT#Cを出力する。
なお、上位の階層符号化データの一部の情報を抽出(ビットストリーム抽出とも呼ぶ)して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。
例えば、中位階層L2の階層復号装置1#Bは、上位階層L1の階層符号化データDATA#Aから、復号画像POUT#Bを復号するのに必要な情報(すなわち、階層符号化データDATA#Aに含まれる“B”および“C”)を抽出して、復号画像POUT#Bを復号してもよい。言い換えれば、復号装置側では、上位階層L1の階層符号化データDATA#Aに含まれる情報に基づいて、復号画像POUT#A、POUT#B、およびPOUT#Cを復号できる。
なお、以上の3階層の階層符号化データに限られず、階層符号化データは、2階層で階層符号化されていてもよいし、3階層よりも多い階層数にて階層符号化されていてもよい。
また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図2(a)および(b)を用いて上述した例では、復号画像POUT#Bの復号に“C”および“B”を参照すると説明したが、これに限られない。復号画像POUT#Bが“B”だけを用いて復号できるように階層符号化データを構成することも可能である。例えば、復号画像POUT#Bの復号に、“B”だけから構成される階層符号化データと、復号画像POUT#Cを入力とする階層動画像復号装置も構成できる。
なお、SNRスケーラビリティを実現する場合、入力画像PIN#A、PIN#B、およびPIN#Cとして同一の原画を用いた上で、復号画像POUT#A、POUT#B、およびPOUT#Cが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。
本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。
VCL NALユニット : VCL(Video Coding Layer、ビデオ符号化レイヤ) NALユニットとは、動画像(映像信号)の符号化データを含むNALユニットである。例えば、VCL NALユニットには、スライスデータ(CTUの符号化データ)、及び当該スライスの復号を通じて共通で利用されるヘッダ情報(スライスヘッダ)が含まれる。また、VCL NALユニットに格納される符号化データを、VCLという。
non-VCL NALユニット : non-VCL(non-Video Coding Layer、非ビデオ符号化レイヤ、非VCL) NALユニットとは、ビデオパラメータセットVPS、シーケンスパラメータセットSPS、ピクチャパラメータセットPPS等の各シーケンスやピクチャを復号する時に利用される符号化パラメータの集合であるヘッダ情報等の符号化データを含むNALユニットである。また、non-VCL NALユニットに格納される符号化データを、non-VCLという。
レイヤ識別子 : レイヤ識別子(レイヤIDとも称する)は、階層(レイヤ)を識別するためのものであり、階層と1対1に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。
一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および/または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および/または、対象レイヤの下位レイヤに含まれる1つ以上階層のレイヤ表現が用いられる。
レイヤ : 特定の階層(レイヤ)のレイヤ識別子の値(nuh_layer_id, nuhLayerId)をもつVCL NALユニット及びそのVCL NALユニットに関連付けられたnon-VCL NALユニットの集合、あるいは、階層的な関係をもつシンタックス構造の集合の一つである。
上位レイヤ : ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図2において、下位階層L3の上位レイヤは、中位階層L2および上位階層L1である。また、上位レイヤの復号画像とは、より品質の高い(例えば、解像度が高い、フレームレートが高い、画質が高い等)復号画像のことをいう。
下位レイヤ : ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図2において、上位階層L1の下位レイヤは、中位階層L2および下位階層L3である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。
対象レイヤ : 復号または符号化の対象となっている階層のことをいう。なお、対象レイヤに対応する復号画像を対象レイヤピクチャと呼ぶ。また、対象レイヤピクチャを構成する画素を対象レイヤ画素と呼ぶ。
参照レイヤ : 対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。なお、参照レイヤに対応する復号画像を参照レイヤピクチャと呼ぶ。また、参照レイヤを構成する画素を参照レイヤ画素と呼ぶ。
図2(a)および(b)に示した例では、上位階層L1の参照レイヤは、中位階層L2および下位階層L3である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層L1の参照レイヤが、中位階層L2および下位階層L3のいずれか一方となるように階層符号化データを構成することも可能である。また、参照レイヤは、対象レイヤの復号に用いられる符号化パラメータ等を予測する際に利用(参照)される、対象レイヤとは異なるレイヤであるとも表現できる。対象レイヤのレイヤ間予測で直接、参照される参照レイヤを直接参照レイヤとも呼ばれる。また、対象レイヤの直接参照レイヤAのレイヤ間予測で参照される直接参照レイヤBは、対象レイヤの間接参照レイヤとも呼ばれる。
基本レイヤ : 最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層L1の階層符号化データDATA#Aに含まれる基本情報“C”が基本符号化データである。
拡張レイヤ : 基本レイヤの上位レイヤは、拡張レイヤと称される。
レイヤ間予測 : レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層(参照レイヤ)のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を参照レイヤの情報から予測するレイヤ間予測のことをレイヤ間動き情報予測と称することもある。また、下位レイヤの復号画像から予測するレイヤ間予測のことをレイヤ間画像予測(あるいはレイヤ間テクスチャ予測)と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。
テンポラル識別子: テンポラル識別子(テンポラルID、時間識別子、サブレイヤID、あるいはサブレイヤ識別子ともいう)は、時間スケーラビリティに関するレイヤ(以降、サブレイヤ)を識別するための識別子である。テンポラル識別子は、サブレイヤを識別するためのものであり、サブレイヤと1対1に対応する。符号化データには特定のサブレイヤの復号画像の復号に必要な部分符号化データを選択するために用いられるテンポラル識別子が含まれる。特に、最高次(最上位)のサブレイヤのテンポラル識別子を最高次(最上位)テンポラル識別子(highest TemporalId, highestTid)と称する。
サブレイヤ: サブレイヤとは、テンポラル識別子により特定される時間スケーラビリティに関するレイヤである。空間スケーラビリティ、SNRスケーラビリティ等、そのほかのスケーラビリティと区別するため、以降サブレイヤと称する(テンポラルレイヤとも称する)。また、以降では、時間スケーラビリティは、基本レイヤの符号化データ、またはあるレイヤを復号するために必要な階層符号化データ、に含まれるサブレイヤによって実現されるものとする。
レイヤセット: レイヤセットとは、1以上のレイヤからなるレイヤの集合である。
ビットストリーム抽出処理 : ビットストリーム抽出処理とは、あるビットストリーム(階層符号化データ、符号化データ)から、対象最高次テンポラル識別子(highest TemporalId, highestTid)、対象レイヤセットに含まれるレイヤを表わすレイヤIDリスト(LayerSetLayerIdList[]、LayerIdList[]ともいう)によって定まる集合(ターゲットセットTargetSetと呼ぶ)に含まれないNALユニットを除去(破棄)し、ターゲットセットに含まれるNALユニットから構成されるビットストリーム(サブビットストリームとも称する)を抽出する処理である。ビットストリーム抽出は、サブビットストリーム抽出とも呼ばれる。なお、レイヤセットに含まれるレイヤIDは、レイヤIDリストLayerSetLayerIdList[K](K=0…N-1, Nはレイヤセットに含まれるレイヤ数)の各要素に、昇順で格納されているものとする。また、対象最高次テンポラル識別子をHighestTidTargetと称し、対象レイヤセットをLayerSetTargetと称し、対象レイヤセットのレイヤIDリスト(対象レイヤIDリスト)をLayerIdListTargetとも称する。また、ビットストリーム抽出により生成された、ターゲットセットに含まれるNALユニットから構成されるビットストリーム(画像符号化データ)を復号対象画像符号化データ(BitstreamToDecode)とも称する。
次に、図3、及び図4を参照して、ビットストリーム抽出処理により、あるレイヤセットAを含む階層符号化データより、レイヤセットAのサブセットとなるレイヤセットBを含む階層符号化データを抽出する例について説明する。
図3は、3つのレイヤ(L#0,L#1,L#2)、及び各レイヤは3つのサブレイヤ(TID1, TID2,TID3)から構成されるレイヤセットAの構成を表わす。なお、以降では、レイヤセットを構成するレイヤ、及びサブレイヤを、{レイヤIDリスト{L#0,…,L#N}、最高次テンポラルID=K}、あるいは{LayerIdList={L#0,…,L#N}, HighestTid=K}と表わす。例えば、図3のレイヤセットAは、{レイヤIDリスト{L#0, L#1, L#2}, 最高次テンポラルID=3}、あるいは{LayerIdList={L#0, L#1, L#2}, HighestTid=3}と表現される。ここで、符号L♯Nは、あるレイヤNを示し、図3中の各ボックスは、ピクチャを表わし、ボックス内の番号は、復号順の一例を表わす。以降、ピクチャで番号Nを、P#Nと表記する(図4についても同様)。
また、各ピクチャ間の矢印は、ピクチャ間の依存方向(参照関係)を表わす。同一レイヤ内の矢印であれば、インター予測に利用される参照ピクチャであることを示す。レイヤ間の矢印であれば、レイヤ間予測に利用される参照ピクチャ(参照レイヤピクチャともいう)であることを表わす。
また、図3中のAUは、アクセスユニットを表わし、符号#Nは、アクセスユニット番号を表わす。AU#Nは、ある起点(例えば、ランダムアクセス開始点)のAUをAU#0とすれば、(N−1)番目のアクセスユニットであることを表わし、ビットストリームに含まれるAUの順番を表わす。すなわち、図3の例であれば、ビットストリーム上で、アクセスユニットは、AU#0、AU#1、AU#2、AU#3、AU#4…の順で格納されている。なお、アクセスユニットとは、特定の分類ルールにより集約されたNALユニットの集合を表わす。図3のAU#0は、ピクチャP#1、P#1、及びP#3の符号化データを含むVCL NALの集合とみることができる。なお、アクセスユニットの詳細については後述する。
図3の例では、ターゲットセット(レイヤセットB)は、{LayerIdList={L#0,L#1}、HighestTid=2}であるから、レイヤセットAを含むビットストリームから、ターゲットセット(レイヤセットB)に含まれないレイヤ、及び最高次テンポラルID(HighestTid=2)より大きいサブレイヤを、ビットストリーム抽出により破棄する。すなわち、レイヤIDリストに含まれないレイヤL#2、及びサブレイヤ(TID3)を有するNALユニットが破棄され、最終的には、図4に示すように、レイヤセットBを含むビットストリームが抽出される。図4では、点線のボックスは、破棄されたピクチャを表わし、点線の矢印は、破棄されたピクチャと参照ピクチャ間の依存方向を示す。なお、レイヤL#3、及びTID3のサブレイヤのピクチャを構成するNALユニットは破棄済のため、依存関係は既に断ち切られている。
SHVCやMV−HEVCでは、SNRスケーラビリティ、空間スケーラビリティ、時間スケーラビリティ等を実現するために、レイヤ、及びサブレイヤの概念が導入されている。図3、図4で既に説明したように、フレームレートを変更し時間スケーラビリティを実現する場合、ビットストリーム抽出処理により、まず他のピクチャから参照されないピクチャ(最高次テンポラルID(TID3))の符号化データを破棄する。図3、図4の場合、ピクチャ(10、13、11、14、12、15)の符号化データを破棄することにより、フレームレートが1/2となる符号化データが生成される。
また、SNRスケーラビリティ、空間スケーラビリティや、ビュースケーラビリティを実現する場合、ビットストリーム抽出により、ターゲットセットに含まれない、レイヤの符号化データを破棄することで、各スケーラビリティの粒度を変更することができる。図3、図4の場合、ピクチャ(3、6、9、12、15)の符号化データを破棄することで、スケーラビリティの粒度を粗くした符号化データが生成される。上記処理を繰り返すことで、段階的にレイヤ、サブレイヤの粒度を調整することができる。
なお、図3において、レイヤL#0とレイヤL#1との間にレイヤ間予測等の依存関係がなければ、レイヤセットAのビットストリームから、ビットストリーム抽出により、単独のレイヤからなる、レイヤセットAのサブセットであるレイヤセットC{LayerIdList={L#1}、HighestTid=2}を含むビットストリームを抽出することも可能である。
なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、HEVCおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、MPEG-2や、H.264/AVCなどの符号化方式により生成してもよい。
また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、各階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置1に供給されてもよいし、同一の伝送路を介して階層動画像復号装置1に供給されてもよい。
例えば、超高精細映像(動画像、4K映像データ)を基本レイヤおよび1つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、4K映像データをダウンスケーリングし、インタレース化した映像データをMPEG-2またはH.264/AVCにより符号化してテレビ放送網で伝送し、拡張レイヤは、4K映像(プログレッシブ)をHEVCにより符号化して、インターネットで伝送してもよい。
<階層符号化データDATAの構造>
本実施形態に係る画像符号化装置2および画像復号装置1の詳細な説明に先立って、画像符号化装置2によって生成され、画像復号装置1によって復号される階層符号化データDATAのデータ構造について説明する。
(NALユニットレイヤ)
図5は、階層符号化データDATAにおけるデータの階層構造を示す図である。階層符号化データDATAは、NAL(Network Abstraction Layer)ユニットと呼ばれる単位で符号化される。
NALは、動画像符号化処理を行う層であるVCL(Video Coding Layer)と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。
VCLは、画像符号化処理を行う層のことであり、VCLにおいて符号化が行われる。一方、ここでいう、下位システムは、H.264/AVCおよびHEVCのファイルフォーマットや、MPEG−2システムに対応する。以下に示す例では、下位システムは、対象レイヤおよび参照レイヤにおける復号処理に対応する。なお、NALでは、VCLで生成されたビットストリームが、NALユニットという単位で区切られて、宛先となる下位システムへ伝送される。
図6(a)は、NAL(Network Abstraction Layer)ユニットのシンタックステーブルを示す。NALユニットには、VCLで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダ(NALユニットヘッダ:nal_unit_header()(図6のSYNNAL01))が含まれる。NALユニットヘッダは、例えば、図6(b)に示すシンタックスで表わされる。NALユニットヘッダには、NALユニットに格納された符号化データの種類を表わす”nal_unit_type”、格納された符号化データが属するサブレイヤの識別子(テンポラル識別子)を表わす”nuh_temporal_id_plus1”や、格納された符号化データが属するレイヤの識別子(レイヤ識別子)を表わす”nuh_layer_id”(または、nuh_reserved_zero_6bits)が記述されている。一方、NALユニットデータ(図6のSYNNAL02)には、後述のパラメータセット、SEI、スライスなどが含まれる。
図7は、NALユニットタイプの値とNALユニットの種別の関係を示す図である。図7に示す通り、SYNA101 で示される0から15の値のNALユニットタイプを持つNALユニットは、非RAP(ランダムアクセスピクチャ)のスライスである。SYNA102で示される16から21の値のNALユニットタイプを持つNALユニットは、RAP(ランダムアクセスポイントピクチャ、IRAPピクチャ)のスライスである。RAPピクチャには、大きく分けて、BLAピクチャ、IDRピクチャ、CRAピクチャがあり、BLAピクチャは、さらに、BLA_W_LP、BLA_W_DLP、BLA_N_LPに分類される。IDRピクチャは、さらに、IDR_W_DLP、IDR_N_LPに分類される。RAPピクチャ以外のピクチャには、リーディングピクチャ(LPピクチャ)、テンポラルアクセスピクチャ(TSAピクチャ、STSAピクチャ)、トレイリングピクチャ(TRAILピクチャ)などがある。なお、各階層における符号化データは、NALユニットに格納されることでNAL多重化されて階層動画像復号装置1に伝送される。
図7のNAL Unit Type Classで示されるように、各NALユニットは、NALユニットタイプに応じて、ピクチャを構成するデータ(VCLデータ)と、それ以外のデータ(non-VCL)に分類される。ピクチャは、ランダムアクセスピクチャ、リーディングピクチャ、トレイリングピクチャなどのピクチャ種別によらず、全てVCL NALユニットに分類され、ピクチャの復号に必要なデータであるパラメータセットや、ピクチャの補助情報であるSEI、シーケンスの区切りを表わすアクセスユニットデリミタ(AUD)、エンドオブシーケンス(EOS)、エンドオブビットストリーム(EOB)(図7のSYNA103)などは、non-VCL NALユニットに分類される。
(アクセスユニット)
特定の分類ルールにより集約されたNALユニットの集合のことをアクセスユニットと呼ぶ。レイヤ数が1の場合には、アクセスユニットは1ピクチャを構成するNALユニットの集合である。レイヤ数が1より大きい場合には、アクセスユニットは同じ時刻の複数のレイヤのピクチャを構成するNALユニットの集合である。なお、アクセスユニットの区切りを示すために、符号化データはアクセスユニットデリミタ(Access unit delimiter)と呼ばれるNALユニットを含んでも良い。アクセスユニットデリミタは、符号化データ中にあるアクセスユニットを構成するNALユニットの集合と、別のアクセスユニットを構成するNALユニットの集合の間に含まれる。
図8は、アクセスユニットに含まれるNALユニットの構成の一例を示す図である。図8に示すように、AUには、AUの先頭であることを示すアクセスユニットデリミタ(AUD)、各種パラメータセット(VPS、SPS、PPS)、各種SEI(Prefix SEI, Suffix SEI)、レイヤ数が1の場合は1ピクチャを構成するVCL(slice)、レイヤ数が1より大きい場合はレイヤ数分のピクチャを構成するVCL、シーケンスの終端を示すEOS(End of Sequence)、ビットストリームの終端を示すEOB(End of Bitstream)等のNALユニットから構成される。なお、図8において、VPS、SPS、SEI、VCLの後の符号L#K(K=Nmin…Nmax)は、レイヤIDを表わす。図8の例では、AU内に、VPSを除き、各レイヤL#Nmin〜レイヤL#NmaxのSPS、PPS、SEI、VCLが、レイヤIDの昇順で存在する。VPSは、最低次のレイヤIDでのみ送られる。なお、図8において、特定NALユニットがAU内に存在するか、または繰り返し存在するかを、矢印によって示している。例えば、特定のNALユニットがAU内に存在すれば、そのNALユニットを通過する矢印で示し、特定のNALユニットがAU内に存在しなければ、そのNALユニットをスキップする矢印で示している。例えば、AUDを通らずに、VPSへ向かう矢印は、AUDがAU内に存在しない場合を示す。また、最低次以外の上位のレイヤIDを有するVPSがAU内に含まれてもよいが、画像復号装置は、最低次以外のレイヤIDを有するVPSを無視するものとする。また、各種パラメータセット(VPS,SPS,PPS)や補助情報であるSEIは、図8のように、アクセスユニットの一部として含まれてもよいし、ビットストリームとは別の手段でデコーダに伝達されてもよい。
特に、レイヤ識別子nuhLayerId=0のIRAPピクチャを含むるアクセスユニットを、IRAPアクセスユニット(ランダムアクセスポイント・アクセスユニット)と呼ぶ。また、復号対象レイヤセットに含まれる全レイヤの復号処理の初期化を実施するIRAPアクセスユニットを初期化IRAPアクセスユニットと呼ぶ。また、復号順で、初期化IRAPアクセスユニットから、0以上の非初期化IRAPアクセスユニット(初期化IRAPアクセスユニット以外のアクセスユニット)が続き、次の初期化IRAPアクセスユニットまでのアクセスユニットの集合(ただし、次の初期化IRAPアクセスユニットは除く)を、CVS(Coded Video Sequence;符号化ビデオシーケンス、以降ではシーケンスSEQを含む)とも称する。
図9は、階層符号化データDATAにおけるデータの階層構造を示す図である。階層符号化データDATAは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図9の(a)〜(f)は、それぞれ、シーケンスSEQを既定するシーケンスレイヤ、ピクチャPICTを規定するピクチャレイヤ、スライスSを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、符号化ツリーに含まれる符号化単位(Coding Unit;CU)を規定する符号化ユニットレイヤを示す図である。
(シーケンスレイヤ)
シーケンスレイヤでは、処理対象のシーケンスSEQ(以下、対象シーケンスとも称する)を復号するために画像復号装置1が参照するデータの集合が規定されている。シーケンスSEQは、図9の(a)に示すように、ビデオパラメータセット(Video Parameter Set)シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、ピクチャPICT、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。ここで#の後に示される値はレイヤIDを示す。図9では、#0と#1、すなわちレイヤIDが0とレイヤIDが1の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれに限定されない。
(ビデオパラメータセット)
ビデオパラメータセットVPSでは、1以上のレイヤから構成される符号化データを復号するために画像復号装置1が参照する符号化パラメータの集合が規定されている。例えば、後述のシーケンスパラメータセットや他のシンタックス要素が参照するVPSを識別するために用いるVPS識別子(video_parameter_set_id)や、符号化データに含まれるレイヤ数(vps_max_layers_minus1)、レイヤに含まれるサブレイヤ数(vps_sub_layers_minus1)、符号化データ中で表現される1以上のレイヤからなるレイヤの集合を規定するレイヤセットの数(vps_num_layer_sets_minus1)、レイヤセットを構成するレイヤの集合を規定するレイヤセット構成情報(layer_id_included_flag[i][j])や、レイヤ間の依存関係(直接依存フラグdirect_dependency_flag[i][j]、レイヤ依存タイプdirect_dependency_type[i][j])などが規定されている。VPSは符号化データ内に複数存在してもよい。その場合、対象シーケンス毎に復号に用いられるVPSが複数の候補から選択される。あるレイヤに属する特定シーケンスの復号に使用されるVPSは、アクティブVPSと呼ばれる。また、基本レイヤと拡張レイヤに適用されるVPSを区別して、基本レイヤ(レイヤID=0)に対するVPSをアクティブVPSと呼び、拡張レイヤ(レイヤID>0)に対するVPSをアクティブレイヤVPSと呼ぶこともある。以下では、特に断りがなければ、VPSは、あるレイヤに属する対象シーケンスに対するアクティブVPSを意味する。なお、レイヤID=nuhLayerIdAであるレイヤの復号で利用される、レイヤID=nuhLayerIdAであるVPSは、nuhLayerIdAよりも大きいレイヤIDであるレイヤ(nuhLayerIdB、nuhLayerIdB>nuhLayerIdA)の復号に利用されてもよい。
(VPSに関するビットストリーム制約)
なお、VPSに関して、「VPSのレイヤIDは、アクセスユニット内に含まれるVCLの中で最低次のレイヤIDを有するレイヤIDと等しい、かつ、テンポラルIDは0である(tId=0)である」というビットストリーム制約(ビットストリームコンフォーマンスともいう)がデコーダとエンコーダ間であるものとする。ここで、ビットストリームコンフォーマンスとは、階層動画像復号装置(ここでは本発明の実施形態に係る階層動画像復号装置)が復号するビットストリームが満たす必要がある条件である。同様に、階層動画像符号化装置(ここでは本発明の実施形態に係る階層動画像符号化装置が生成するビットストリームに関しても、上記階層動画像復号装置が復号可能なビットストリームであることを保障するため、上記ビットストリームコンフォーマンスを満たす必要がある。すなわち、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件CX1を少なくとも満たさなければならない。
CX1:「レイヤ識別子nuhLayerIdAであるVPSが、レイヤ識別子nuhLayerIdB(nuhLayerIdB>=nuhLayerIdA)であるレイヤのアクティブVPSであるとき、レイヤ識別子nuhLayerIdAは、アクセスユニット内に含まれるVCLの中で最低次のレイヤ識別子と等しいこと」
なお、CX1の条件は、次の条件CX1’のようにも言い換えることができる。
CX1’:「nuhLayerIdAに等しいレイヤ識別子nuh_layer_idを有するVPSが、nuhLayerIdB(nuhLayerIdB>=nuhLayerIdA)に等しいレイヤ識別子nuh_layer_idを有するレイヤのアクティブVPSであるとき、レイヤ識別子nuhLayerIdAは、アクセスユニット内に含まれるVCLの中で最低次のレイヤ識別子と等しいこと」
上記ビットストリーム制約CX1(CX1’)は、換言すれば、対象レイヤが参照するVPSは、対象レイヤセットのNALユニットの集合であるアクセスユニット内に含まれるVCLで、最低次のレイヤ識別子を有するVCLと同一のレイヤに属するということである。
「対象レイヤが参照するVPSは、対象レイヤセットのNALユニットの集合であるアクセスユニット内に含まれるVCLで、最低次のレイヤ識別子を有するVCLと同一のレイヤに属する」ということは、「レイヤセットAのサブセットであるレイヤセットB内のレイヤが、レイヤセットAにおいては、“レイヤセットAに含まれるが、レイヤセットBに含まれない”レイヤのVPSを参照する場合、ビットストリーム抽出により抽出したレイヤセットBでは、前記VPSと同一の符号化パラメータを有するVPSを、レイヤセットBに含めること」を意味する。なお、前記VPSと同一の符号化パラメータを有するVPSとは、レイヤ識別子、テンポラル識別子を除き、VPS識別子、及びその他のVPS内のシンタックスが前記VPSと同一であること指す。従って、上記ビットストリーム制約を設けることで、ビットストリーム抽出後のビットストリーム上で、レイヤセットにVPSが含まれないという問題を解消することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
(VPSに関するビットストリーム制約の変形例1)
なお、上記VPSに関する制約は、「VPSのレイヤIDはレイヤセット内で最低次のレイヤID、かつ、テンポラルIDは0である(tId=0)である」としてもよい。
すなわち、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件CX2を少なくとも満たさなければならない。
CX2:「レイヤ識別子nuhLayerIdAであるVPSが、レイヤ識別子nuhLayerIdB(nuhLayerIdB>=nuhLayerIdA)であるレイヤのアクティブVPSであるとき、レイヤ識別子nuhLayerIdAは、レイヤセット内で最低次のレイヤ識別子であること」
なお、CX2の条件は、次の条件CX2’のようにも言い換えることができる。
CX2’:「nuhLayerIdAに等しいレイヤ識別子nuh_layer_idを有するVPSが、nuhLayerIdB(nuhLayerIdB>=nuhLayerIdA)に等しいレイヤ識別子nuh_layer_idを有するレイヤのアクティブVPSであるとき、レイヤ識別子nuhLayerIdAは、レイヤセット内で最低次のレイヤ識別子であること」
上記ビットストリーム制約CX2(CX2’)は、換言すれば、対象レイヤが参照するVPSは、対象レイヤセット内で最低次のレイヤ識別子を有するVPSであるということである。
「対象レイヤが参照するVPSは、対象レイヤセット内で最低次のレイヤ識別子を有するVPSである」ということは、「レイヤセットAのサブセットであるレイヤセットB内のレイヤが、レイヤセットAにおいては、“レイヤセットAに含まれるが、レイヤセットBに含まれない”レイヤのVPSを参照する場合、ビットストリーム抽出により抽出したレイヤセットBでは、前記VPSと同一の符号化パラメータを有するVPSを、レイヤセットBに含めること」を意味する。
従って、上記ビットストリーム制約を設けることで、ビットストリーム抽出後のビットストリーム上で、レイヤセットにVPSが含まれないという問題を解消することができる。すなわち、図1に示す従来技術で発生しうる課題、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
(シーケンスパラメータセット)
シーケンスパラメータセットSPSでは、対象シーケンスを復号するために画像復号装置1が参照する符号化パラメータの集合が規定されている。例えば、対象SPSが参照するアクティブVPSを表わすアクティブVPS識別子(sps_video_parameter_set_id)、後述のピクチャパラメータセットや他のシンタックス要素が参照するSPSを識別するために用いるSPS識別子(sps_seq_parameter_set_id)や、ピクチャの幅や高さが規定される。SPSは符号化データ内に複数存在してもよい。その場合、対象シーケンス毎に復号に用いられるSPSが複数の候補から選択される。あるレイヤに属する特定シーケンスの復号に使用されるSPSは、アクティブSPSとも呼ばれる。また、基本レイヤと拡張レイヤに適用されるSPSを区別して、基本レイヤに対するSPSをアクティブSPSと呼び、拡張レイヤに対するSPSをアクティブレイヤSPSと呼ぶこともある。以下では、特に断りがなければ、SPSは、あるレイヤに属する対象シーケンスの復号に利用されるに対するアクティブSPSを意味する。なお、レイヤID=nuhLayerIdAであるレイヤに属するシーケンスの復号で利用される、レイヤID=nuhLayerIdAであるSPSは、nuhLayerIdAよりも大きいレイヤIDであるレイヤ(nuhLayerIdB、nuhLayerIdB>nuhLayerIdA)に属するシーケンスの復号に利用されてもよい。以降、特に断りがなければ、SPSのテンポラルIDは0である(tId=0)とする制約(ビットストリーム制約ともいう)がデコーダとエンコーダ間であるものとする。
(ピクチャパラメータセット)
ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために画像復号装置1が参照する符号化パラメータの集合が規定されている。例えば、対象PPSが参照するアクティブSPSを表わすアクティブSPS識別子(pps_seq_parameter_set_id)、後述のスライスヘッダや他のシンタックス要素が参照するPPSを識別するために用いるPPS識別子(pps_pic_parameter_set_id)や、ピクチャの復号に用いられる量子化幅の基準値(pic_init_qp_minus26)や重み付き予測の適用を示すフラグ(weighted_pred_flag)、スケーリングリスト(量子化マトリックス)が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。あるレイヤに属する特定ピクチャの復号に使用されるPPSはアクティブPPSと呼ばれる。また、基本レイヤと拡張レイヤに適用されるPPSを区別して、基本レイヤに対するPPSをアクティブPPSと呼び、拡張レイヤに対するPPSをアクティブレイヤPPSと呼ぶこともある。以下では、特に断りがなければ、PPSは、あるレイヤに属する対象ピクチャに対するアクティブPPSを意味する。なお、レイヤID=nuhLayerIdAであるレイヤに属するピクチャの復号で利用される、レイヤID=nuhLayerIdAであるPPSは、nuhLayerIdAよりも大きいレイヤIDであるレイヤ(nuhLayerIdB、nuhLayerIdB>nuhLayerIdA)に属するピクチャの復号に利用されてもよい。
なお、アクティブSPS、及びアクティブPPSは、レイヤ毎に異なるSPSやPPSに設定してもよい。すなわち、レイヤ毎に異なるSPSやPPSを参照して復号処理を実行することができる。
(ピクチャレイヤ)
ピクチャレイヤでは、処理対象のピクチャPICT(以下、対象ピクチャとも称する)を復号するために階層動画像復号装置1が参照するデータの集合が規定されている。ピクチャPICTは、図9の(b)に示すように、スライスS0〜SNS-1を含んでいる(NSはピクチャPICTに含まれるスライスの総数)。
なお、以下、スライスS0〜SNS-1のそれぞれを区別する必要が無い場合、符号の添字を省略して記述することがある。また、以下に説明する階層符号化データDATAに含まれるデータであって、添字を付している他のデータについても同様である。
(スライスレイヤ)
スライスレイヤでは、処理対象のスライスS(対象スライスとも称する)を復号するために階層動画像復号装置1が参照するデータの集合が規定されている。スライスSは、図9の(c)に示すように、スライスヘッダSH、および、スライスデータSDATAを含んでいる。
スライスヘッダSHには、対象スライスの復号方法を決定するために階層動画像復号装置1が参照する符号化パラメータ群が含まれる。例えば、対象スライスを復号するために参照するPPS(アクティブPPS)を指定するアクティブPPS識別子(slice_pic_parameter_set_id)が含まれる。なお、アクティブPPSが参照するSPSは、アクティブPPSに含まれるアクティブSPS識別子(pps_seq_parameter_set_id)により指定される。さらに、アクティブSPSが参照するVPS(アクティブVPS)は、アクティブSPSに含まれるアクティブVPS識別子(sps_video_parameter_set_id)により指定される。
図10を例に、本実施例におけるレイヤ間のパラメータセットの共有(共有パラメータセット)を説明する。図10は、ヘッダ情報とアクセスユニット(AU)を構成する符号化データの参照関係を表わす。図10の例では、各AU内のレイヤL#K(K=Nmin…Nmax)に属するピクチャを構成する各スライスは、参照すべきPPSを指定するアクティブPPS識別子をスライスヘッダ内に含んでおり、各スライスの復号開始時に該識別子によって復号に用いるPPS(アクティブPPS)を指定する(アクティベートするともいう)。なお、同一ピクチャ内では、各スライスから参照される各PPS、SPS、VPSの符号化パラメータは同一でなければならない。アクティベートされたPPSの中には、復号処理上参照すべきSPS(アクティブSPS)を指定するアクティブSPS識別子が含まれており、該識別子によって復号に用いるSPS(アクティブSPS)を指定する(アクティベートする)。同様に、アクティベートされたSPSの中には、各レイヤに属するシーケンスの復号処理上参照すべきVPS(アクティブVPS)を指定するアクティブVPS識別子が含まれており、該識別子によって復号に用いるVPS(アクティブVPS)を指定する(アクティベートする)。
以上の手順により、各レイヤの符号化データの復号処理を実行するにあたって必要なパラメータセットが確定する。図10の例では、各パラメータセット(VPS、SPS、PPS)のレイヤ識別子は、あるレイヤセットに属する最低次のレイヤID=L#Nminであるとする。レイヤID=L#Nminであるスライスは、同一レイヤIDを有するパラメータセットを参照している。すなわち、図10の例では、AU#iのレイヤID=L#Nminであるスライスは、レイヤID=L#Nminであって、PPS識別子=0であるPPSを参照し、同PPSは、レイヤID=L#Nminであって、SPS識別子=0であるSPSを参照し、同SPSは、レイヤID=L#Nminであって、VPS識別子=0であるVPSを参照している。一方、AU#iのレイヤID=L#K(K>Nmin)(図10では、L#Nmax)であるスライスは、同一レイヤID(=L#K)を有するPPS、SPSを参照することも可能であるが、L#Kより下位レイヤL#M(K>M)(図10では、M=Nmin、L#Nmin)のPPS、SPSも参照することが可能である。すなわち、レイヤ間で、共通のパラメータセットを参照することにより、上位レイヤにおいて、下位レイヤと同一の符号化パラメータを有するパラメータセットを重複して送る必要がなくなるため、重複するパラメータセットに関する符号量の低減、及び復号/符号化に係る処理量を低減することが可能である。
なお、各ヘッダ情報(スライスヘッダ、PPS、SPS)が参照する上位のパラメータセットの識別子は、図10の例に限定されない。VPSであれば、VPS識別子k=0…15の中から選択されてよいし、SPSであれば、SPS識別子m=0…15の中から選択されてよいし、PPSであれば、PPS識別子n=0…63の中から選択されてよい。
また、スライスタイプを指定するスライスタイプ指定情報(slice_type)は、スライスヘッダSHに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、(1)符号化の際にイントラ予測のみを用いるIスライス、(2)符号化の際に単方向予測、または、イントラ予測を用いるPスライス、(3)符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるBスライスなどが挙げられる。
(スライスデータレイヤ)
スライスデータレイヤでは、処理対象のスライスデータSDATAを復号するために階層動画像復号装置1が参照するデータの集合が規定されている。スライスデータSDATAは、図9の(d)に示すように、符号化ツリーブロック(CTB:Coded Tree Block)を含んでいる。CTBは、スライスを構成する固定サイズ(例えば64×64)のブロックであり、最大符号化単位(LCU:Largest Cording Unit)と呼ぶこともある。
(符号化ツリーレイヤ)
符号化ツリーレイヤは、図9の(e)に示すように、処理対象の符号化ツリーブロックを復号するために階層動画像復号装置1が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な4分木分割により分割される。再帰的な4分木分割により得られる木構造のノードのことを符号化ツリー(coding tree)と称する。4分木の中間ノードは、符号化ツリーユニット(CTU:Coded Tree Unit)であり、符号化ツリーブロック自身も最上位のCTUとして規定される。CTUは、分割フラグ(split_flag)を含み、split_flagが1の場合には、4つの符号化ツリーユニットCTUに分割される。split_flagが0の場合には、符号化ツリーユニットCTUは4つの符号化ユニット(CU:Coded Unit)に分割される。符号化ユニットCUは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットCUは、符号化処理の基本的な単位となる。
また、符号化ツリーユニットCTUのサイズ、および、各符号化ユニットのとり得るサイズは、シーケンスパラメータセットSPSに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが8×8画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が3である場合、符号化ツリーユニットCTUのサイズが64×64画素であって、符号化ノードのサイズは、4種類のサイズ、すなわち、64×64画素、32×32画素、16×16画素、および、8×8画素の何れかをとり得る。
なお、符号化ツリーユニットより復号される対象ピクチャ上の部分領域を符号化ツリーブロック(CTB: Coding Tree block)と呼ぶ。対象ピクチャの輝度成分である輝度ピクチャに対応するCTBは輝度CTBと呼ばれる。換言すると、CTUから復号される輝度ピクチャ上の部分領域は輝度CTBと呼ばれる。一方、CTUから復号される色差ピクチャに対応する部分領域は色差CTBと呼ばれる。一般に、画像の色フォーマットが決まっていれば、輝度CTBサイズと色差CTBサイズは相互に変換可能である。例えば、色フォーマットが4:2:2の場合は、色差CTBサイズは輝度CTBサイズの各半分である。以下の記載では、特に断りがなければ、CTBサイズとは輝度CTBサイズを意味する。また、CTUサイズは、CTUに対応する輝度CTBサイズである。
(符号化ユニットレイヤ)
符号化ユニットレイヤは、図9の(f)に示すように、処理対象の符号化ユニットを復号するために階層動画像復号装置1が参照するデータの集合が規定されている。具体的には、符号化ユニットCU(coding unit)は、CUヘッダCUH、予測ツリー、変換ツリーから構成される。CUヘッダCUHでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかなどが規定される。符号化ユニットは、予測ツリー(prediction tree;PT)および変換ツリー(transform tree;TT)のルートとなる。なお、CUに対応するピクチャ上の領域は符号化ブロック(CB:Coding Block)と呼ばれる。輝度ピクチャ上のCBを輝度CB、色差ピクチャ上のCBを色差CBと呼ぶ。CUサイズ(符号化ノードのサイズ)とは、輝度CBサイズを意味する。
(変換ツリー)
変換ツリー(以下、TTと略称する)は、符号化ユニットCUが1または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ユニットCUを構成する1または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた1または複数の変換ブロックを含む。なお、CUに含まれる変換ツリーに関する情報、及び変換ツリーに包含される情報を、TT情報と呼ぶ。
変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な4分木分割によるものがある。変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位(transform unit;TU)とも称する。
変換ツリーTTには、対象CUの各変換ブロックへの分割パターンを指定するTT分割情報SP_TT、及び量子化予測残差QD1〜QDNT(NTは、対象CUに含まれる変換単位TUの総数)を含んでいる。
TT分割情報SP_TTは、具体的には、対象CUに含まれる各変換ブロックの形状、および、対象CU内での位置を決定するための情報である。例えば、TT分割情報SP_TTは、対象ノードの分割を行うのか否かを示す情報(split_transform_unit_flag)と、その分割の深度を示す情報(transfoDepth)とから実現できる。例えば、CUサイズが、64×64の場合、分割により得られる各変換ブロックは、32×32画素から4×4画素までのサイズをとり得る。
各量子化予測残差QDは、階層動画像符号化装置2が以下の処理1〜3を、処理対象の変換ブロックである対象ブロックに施すことによって生成した符号化データである。
処理1:符号化対象画像から予測画像を減算した予測残差を周波数変換(例えば、DCT変換(Discrete Cosine Transform)およびDST変換(Discrete Sine Transform)等)する;
処理2:処理1にて得られた変換係数を量子化する;
処理3:処理2にて量子化された変換係数を可変長符号化する;
なお、上述した量子化パラメータqpは、階層動画像符号化装置2が変換係数を量子化する際に用いた量子化ステップQPの大きさを表わす(QP=2qp/6)。
(予測ツリー)
予測ツリー(以下、PTと略称する)は、符号化ユニットCUが1または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ユニットCUを構成する1または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた1または複数の予測ブロックを含む。なお、CUに含まれる予測ツリーに関する情報、及び予測ツリーに包含される情報を、PT情報と呼ぶ。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位(prediction unit;PU)とも称する。
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との2つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間(例えば、表示時刻間、レイヤ画像間)で行われる予測処理を指す。すなわち、インター予測では、対象レイヤと同一レイヤの参照ピクチャ(レイヤ内参照ピクチャ)または、対象レイヤの参照レイヤ上の参照ピクチャ(レイヤ間参照ピクチャ)のいずれを参照ピクチャとして、参照ピクチャ上の復号画像から予測画像を生成する。
イントラ予測の場合、分割方法は、2N×2N(符号化ユニットと同一サイズ)と、N×Nとがある。
また、インター予測の場合、分割方法は、符号化データのpart_modeにより符号化され、2N×2N(符号化ユニットと同一サイズ)、2N×N、2N×nU、2N×nD、N×2N、nL×2N、nR×2N、および、N×Nなどがある。なお、N=2m(mは1以上の任意の整数)を意味する。また、分割数は1、2、4のいずれかであるため、CUに含まれるPUは1個から4個である。これらのPUを順にPU0、PU1、PU2、PU3と表現する。
(予測パラメータ)
予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータ、もしくはインター予測の予測パラメータがある。
イントラ予測パラメータは、各イントラPUについてのイントラ予測(予測モード)を復元するためのパラメータである。予測モードを復元するためのパラメータには、MPM(Most Probable Mode、以下同様)に関するフラグであるmpm_flag、MPMを選択するためのインデクスであるmpm_idx、及び、MPM以外の予測モードを指定するためのインデクスであるrem_idxが含まれる。ここで、MPMとは、対象パーティションで選択される可能性が高い推定予測モードである。例えば、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいて推定された推定予測モードや、一般的に発生確率の高いDCモードやPlanarモードがMPMに含まれ得る。また、以下において、単に“予測モード”と表記する場合、特にことわりのない限り、輝度予測モードのことを指すものとする。色差予測モードについては、“色差予測モード”と表記し、輝度予測モードと区別する。また、予測モードを復元するパラメータには、色差予測モードを指定するためのパラメータであるchroma_modeが含まれる。
インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0参照リスト、L1参照リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が1の場合に対応する参照ピクチャリストが用いられる。2つの参照ピクチャリストが用いられる場合、つまり、predFlagL0=1, predFlagL1=1の場合が、双予測に対応し、1つの参照ピクチャリストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。
符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。なお、予測リスト利用フラグの各値は、インター予測識別子に基づいて、次のように導出される。
predFlagL0 =インター予測識別子 & 1
predFlagL1 =インター予測識別子 >> 1
ここで、“&”は論理積、“>>”は右シフトである。
(参照ピクチャリストの一例)
次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、復号ピクチャバッファに記憶された参照ピクチャからなる列である。図11(a)は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリストRPL0において、左右に一列に配列された5個の長方形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号P1、P2、Q0、P3、P4は、それぞれの参照ピクチャを示す符号である。同様に、参照ピクチャリストRPL1において、左端から右へ順に示されている符号P4、P3、R0、P2、P1は、それぞれの参照ピクチャを示す符号である。P1等のPとは、対象レイヤPを示し、そしてQ0のQとは、対象レイヤPとは異なるレイヤQを示す。同様に、R0のRとは、対象レイヤP、及びレイヤQとは異なるレイヤRを示す。P、Q及びRの添字は、ピクチャ順序番号POCを示す。refIdxL0の真下の下向きの矢印は、参照ピクチャインデックスrefIdxL0が、復号ピクチャバッファにおいて、参照ピクチャリストRPL0より参照ピクチャQ0を参照するインデックスであることを示す。同様に、refIdxL1の真下の下向きの矢印は、参照ピクチャインデックスrefIdxL1が、復号ピクチャバッファにおいて、参照ピクチャリストRPL1より参照ピクチャP3を参照するインデックスであることを示す。
(参照ピクチャの例)
次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図11(b)は、参照ピクチャの例を示す概念図である。図11(b)において、横軸は表示時刻を示し、縦軸はレイヤ数を示す。図示されている、縦3行、横3列(計9個)の長方形は、それぞれピクチャを示す。9個の長方形のうち、下行の左から2列目の長方形は復号対象のピクチャ(対象ピクチャ)を示し、残りの8個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから下向きの矢印で示される参照ピクチャQ2、及びR2は対象ピクチャと同じ表示時刻であってレイヤが異なるピクチャである。対象ピクチャcurPic(P2)を基準とするレイヤ間予測においては、参照ピクチャQ2、またはR2が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャP1は、対象ピクチャと同じレイヤであって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャP3は、対象ピクチャと同じレイヤであって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャP1又はP3が用いられる。
(マージ予測とAMVP予測)
インター予測パラメータの復号(符号化)方法には、マージ予測(merge)モードとAMVP(Adaptive Motion Vector Prediction、適応動きベクトル予測)モードがある、マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードでも、AMVPモードでも、既に処理済みのブロックの予測パラメータを用いて、対象PUの予測パラメータが導出される。マージ予測モードは、予測リスト利用フラグpredFlagLX(インター予測識別子inter_pred_idc)、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めずに、既に導出した予測パラメータをそのまま用いるモードであり、AMVPモードは、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めるモードである。なおベクトルmvLXは、予測ベクトルを示す予測ベクトルインデックスmvp_LX_idxと差分ベクトル(mvdLX)として符号化される。
インター予測識別子inter_pred_idcは、参照ピクチャの種類および数を示すデータであり、Pred_L0、Pred_L1、Pred_Biの何れかの値をとる。Pred_L0、Pred_L1は、各々L0参照リスト、L1参照リストと呼ばれる参照ピクチャリストに記憶された参照ピクチャが用いられることを示し、共に1枚の参照ピクチャを用いること(単予測)を示す。L0参照リスト、L1参照リストを用いた予測を各々L0予測、L1予測と呼ぶ。Pred_Biは2枚の参照ピクチャを用いること(双予測)を示し、L0参照リストとL1参照リストに記憶された参照ピクチャの2つを用いることを示す。予測ベクトルインデックスmvp_LX_idxは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストに記憶された参照ピクチャを示すインデックスである。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、LXをL0、L1に置き換えることでL0参照リストに対するパラメータとL1参照リストに対するパラメータを区別するする。例えば、refIdxL0はL0予測に用いる参照ピクチャインデックス、refIdxL1はL1予測に用いる参照ピクチャインデックス、refIdx(refIdxLX)は、refIdxL0とrefIdxL1を区別しない場合に用いられる表記である。
マージインデックスmerge_idxは、処理が完了したブロックから導出される予測パラメータ候補(マージ候補)のうち、いずれかの予測パラメータを復号対象ブロックの予測パラメータとして用いるかを示すインデックスである。
(動きベクトルと変位ベクトル)
ベクトルmvLXには、動きベクトルと変位ベクトル(disparity vector、視差ベクトル)がある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、異なる表示時刻(例えば、隣接する離散時刻)における同一のレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、同一解像度でかつ品質が異なるピクチャである場合、異なる視点のピクチャである場合、もしくは、異なる解像度のピクチャである場合などがある。特に、異なる視点のピクチャに対応する変位ベクトルを視差ベクトルと呼ぶ。以下の説明では、動きベクトルと変位ベクトルを区別しない場合には、単にベクトルmvLXと呼ぶ。ベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。ベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか、変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて行われる。
なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略できる。
〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置1の構成について、図19〜図21を参照して説明する。
(階層動画像復号装置の構成)
本実施形態に係る階層動画像復号装置1の構成について説明する。図19は、本実施形態に係る階層動画復号装置1の構成を示す概略図である。階層動画像復号装置1は、外部より供給される階層符号化データDATAに含まれる復号対象とする対象レイヤセットLayerSetTargetのレイヤIDリストLayerIdListTarget、及び復号対象とするレイヤに付随する最高次のサブレイヤを指定する対象最高次テンポラル識別子HighestTidTargetに基づいて、階層動画像符号化装置2から供給される階層符号化データDATAを復号して、対象レイヤセットに含まれる各レイヤの復号画像POUT#Tを生成する。すなわち、階層動画像復号装置1は、対象レイヤセットに含まれる、最低次のレイヤIDから最高次のレイヤIDまで、昇順で、各レイヤのピクチャの符号化データを復号し、その復号画像(復号ピクチャ)を生成する。言い換えれば、対象レイヤセットのレイヤIDリストLayerIdListTarget[0]…LayerIdListTarget[N-1](Nは対象レイヤセットに含まれるレイヤ数)の順で、各レイヤのピクチャの符号化データを復号する。
図19に示すように階層動画像復号装置1は、NAL逆多重化部11、及び対象レイヤセットピクチャ復号部10を含んで構成される。さらに、対象レイヤセットピクチャ復号部10は、パラメータセット復号部12、パラメータセット管理部13、ピクチャ復号部14、および復号ピクチャ管理部15を含んで構成される。また、NAL逆多重化部11は、さらにビットストリーム抽出部17を備える。
階層符号化データDATAには、VCLにより生成されたNALの他に、パラメータセット(VPS、SPS、PPS)やSEI等を含むNALが含まれる。それらのNALはVCL NALに対して非VCL NAL(non-VCL)と呼ばれる。
NAL逆多重化部11の備えるビットストリーム抽出部17は、概略的には、外部より供給される対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTarget、及び対象最高次テンポラル識別子HighestTidTargetに基づいて、ビットストリーム抽出処理を行い、階層符号化データDATAから、対象最高次テンポラル識別子HighestTidTarget、及び対象レイヤセットLayerSetTargetのレイヤIDリストLayerIdListTargetによって定まる集合(ターゲットセットTargetSetと呼ぶ)に含まれるNALユニットから構成される対象レイヤセット符号化データDATA#T(BitstreamToDecode)を抽出する。なお、ビットストリーム抽出部17における本発明との関連性の高い処理の詳細について後述する。
続いて、NAL逆多重化部11は、ビットストリーム抽出部17より抽出された対象レイヤセット符号化データDATA#T(BitstreamToDecode)を逆多重化して、NALユニットに含まれるNALユニットタイプ、レイヤ識別子(レイヤID)、テンポラル識別子(テンポラルID)を参照し、対象レイヤセットに含まれるNALユニットを、対象レイヤセットピクチャ復号部10へ供給する。
対象レイヤセットピクチャ復号部10は、供給された対象レイヤセット符号化データDATA#Tに含まれるNALのうち、非VCL NALをパラメータセット復号部12に、VCL NALをピクチャ復号部14にそれぞれ供給する。すなわち、対象レイヤセットピクチャ復号部10は、供給されたNALユニットのヘッダ(NALユニットヘッダ)を復号し、復号したNALユニットヘッダに含まれるNALユニットタイプ、レイヤ識別子、及びテンポラル識別子に基づいて、non-VCLの符号化データをパラメータセット復号部12へ、VCLの符号化データをピクチャ復号部14へ、復号したNALユニットタイプ、レイヤ識別子、及びテンポラル識別子と合わせて供給する。
パラメータセット復号部12は、入力される非VCL NALからパラメータセット、すなわち、VPS、SPS、および、PPSを復号してパラメータセット管理部13に供給する。なお、パラメータセット復号部12における本発明との関連性の高い処理の詳細について後述する。
パラメータセット管理部13は、復号されたパラメータセットを各パラメータセットの識別子毎に、パラメータセットの符号化パラメータを保持する。具体的には、VPSであれば、VPS識別子(video_parameter_set_id)毎に、VPSの符号化パラメータを保持する。SPSであれば、SPS識別子(sps_seq_parameter_set_id)毎に、SPSの符号化パラメータを保持する。PPSであれば、PPS識別子(pps_pic_parameter_set_id)毎に、PPSの符号化パラメータを保持する。
また、パラメータセット管理部13は、後述のピクチャ復号部14が、ピクチャを復号するために参照するパラメータセット(アクティブパラメータセット)の符号化パラメータを、ピクチャ復号部14へ供給する。具体的には、まず、ピクチャ復号部14で復号されたスライスヘッダSHに含まれるアクティブPPS識別子(slice_pic_parameter_set_id)により、アクティブPPSが指定される。次に、指定されたアクティブPPSに含まれるアクティブSPS識別子(pps_seq_parameter_set_id)により、アクティブSPSが指定される。最後に、アクティブSPSに含まれるアクティブVPS識別子(sps_video_parameter_set_id)により、アクティブVPSが指定される。その後、指定されたアクティブPPS、アクティブSPS、アクティブVPSの符号化パラメータを、ピクチャ復号部14へ供給する。なお、ピクチャを復号するために参照されるパラメータセットを指定することを、「パラメータセットをアクティベートする」とも呼ぶ。例えば、アクティブPPS、アクティブSPS、アクティブVPSを指定することを、それぞれ「PPSをアクティベートする」、「SPSをアクティベートする」、「VPSをアクティベートする」と呼ぶ。
ピクチャ復号部14は、入力されるVCL NAL、アクティブパラメータセット(アクティブPPS、アクティブSPS、アクティブVPS),及び参照ピクチャに基づいて復号ピクチャを生成して復号ピクチャ管理部15へ供給する。供給された復号ピクチャは、復号ピクチャ管理部15内のバッファに記録される。なお、ピクチャ復号部14の詳細な説明は後述する。
復号ピクチャ管理部15は、入力される復号ピクチャを内部の復号ピクチャバッファ(DPB: Decoded Picture Buffer)に記録するとともに、参照ピクチャリスト生成や出力ピクチャ決定を行う。また、復号ピクチャ管理部15は、DPBに記録されている復号ピクチャを、所定のタイミングで出力ピクチャPOUT#Tとして外部に出力する。
(ビットストリーム抽出部17)
ビットストリーム抽出部17は、外部より供給される対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTarget、及び対象最高次テンポラル識別子HighestTidTargetに基づいて、ビットストリーム抽出処理を行い、入力される階層符号化データDATAから、対象最高次テンポラル識別子HighestTidTarget、及び対象レイヤセットLayerSetTargetのレイヤIDリストLayerIdListTargetによって定まる集合(ターゲットセットTargetSetと呼ぶ)に含まれないNALユニットを除去(破棄)し、ターゲットセットTargetSetに含まれるNALユニットから構成される対象レイヤセット符号化データDATA#T(BitstreamToDecode)を抽出し、出力する。
以下、図27を参照して、本実施例に係るビットストリーム抽出部17の概略的な動作について説明する。図27は、ビットストリーム抽出部17におけるアクセスユニット単位のビットストリーム抽出処理を示すフロー図である。
(SG101)ビットストリーム抽出部17は、図6(b)に示すシンタックス表に従って、供給された対象NALユニットのNALユニットヘッダを復号する。すなわち、NALユニットタイプ(nal_unit_type)、レイヤ識別子(nuh_layer_id)、及びテンポラル識別子(nuh_temporal_id_plus1)を復号する。なお、対象NALユニットのレイヤ識別子nuhLayerIdは、“nuh_layer_id”に設定され、対象NALユニットのテンポラル識別子temporalIdは、“nuh_temporal_id_plus1 - 1”に設定される。
(SG102)対象NALユニットのNALユニットタイプ(nal_unit_type)が、パラメータセットであるか否かを、図7に示す“nal_unit_type”と“Name of nal_unit_type”に基づいて判定する。ここでは、コンフォーマンス条件CX1を満たすため、NALユニットタイプが、“VPS_NUT”(nal_unit_type==32)であるかを判定する。すなわち、NALユニットタイプが、ビデオパラメータセットの場合(SG102でYES)、ステップSG103へ遷移する。それ以外の場合(SG102でNo)、ステップSG105へ遷移する。
(SG103)対象NALユニットのレイヤ識別子がターゲットセットに含まれるか判定する。より具体的には、対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTargetに、対象NALユニットのレイヤ識別子と同一の値があるか判定する。対象NALユニットのレイヤ識別子が、LayerIdListTargetにある場合(SG103でYes)、ステップSG105へ遷移する。それ以外の場合(SG103でNo)、すなわち、対象NALユニットのレイヤ識別子が、LayerIdListTargetにない場合、ステップSG104へ遷移する。
(SG104)対象NALユニットのレイヤ識別子を、LayerIdListTarget内で最低次のレイヤ識別子へ更新する。すなわち、“nuh_layer_id = LayerIdListTarget[0]”へ更新する。
(SG105)対象NALユニットのレイヤ識別子、テンポラル識別子がターゲットセットTargetSetに含まれるか否かを、対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTarget、及び対象最高次テンポラル識別子に基づいて判定する。より具体的には、以下の(1)〜(2)の条件を満たすか判定し、少なくとも何れかの条件を満たす(真である)場合(SG105でYes)、ステップSG106へ遷移する。それ以外の場合(SG105でNo)、ステップSG107へ遷移する。
(1)「対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTargetに、対象NALユニットのレイヤ識別子と同一の値がある」の場合、真と判定し、それ以外の場合(対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTargetに、対象NALユニットのレイヤ識別子と同一の値がない)、偽と判定する。
(2)「対象NALユニットのテンポラル識別子が対象最高次テンポラル識別子HighestTidTarget以下である」場合、真と判定し、それ以外の場合(対象NALユニットのテンポラル識別子が対象最高次テンポラル識別子HighestTidTargetより大きい)、偽と判定する。
(SG106)対象NALユニットを破棄する。すなわち、対象NALユニットは、ターゲットセットTargetSetに含まれないため、ビットストリーム抽出部17は、入力された階層符号化データDATAから、対象NALユニットを除去する。
(SG107)同一アクセスユニット内に、未処理のNALユニットはあるか判定する。未処理のNALユニットがある場合(SG107でYes)、対象アクセスユニットを構成するNALユニット単位のビットストリーム抽出を継続するため、ステップSG101へ遷移する。それ以外の場合(SG107でNo)、ステップSG10Aへ遷移する。
(SG10A)入力された階層符号化データDATAに、対象アクセスユニットの次のアクセスユニットがあるか判定する。次のアクセスユニットがある場合(SG10AでYes)、次のアクセスユニットの処理を継続するため、ステップSG101へ遷移する。次ののアクセスユニットがない場合(SG10AでNo)、ビットストリーム抽出処理を終了する。
以上、実施例1に係るビットストリーム抽出部17の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
以上説明したビットストリーム抽出部17によれば、外部より供給される対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTarget、及び対象最高次テンポラル識別子HighestTidTargetに基づいて、ビットストリーム抽出処理を行い、入力される階層符号化データDATAから、対象最高次テンポラル識別子HighestTidTarget、及び対象レイヤセットLayerSetTargetのレイヤIDリストLayerIdListTargetによって定まる集合(ターゲットセットTargetSetと呼ぶ)に含まれないNALユニットを除去(破棄)し、ターゲットセットTargetSetに含まれるNALユニットから構成される対象レイヤセット符号化データDATA#T(BitstreamToDecode)を抽出し、出力する。さらに、上記ビットストリーム抽出部17は、ビデオパラメータセットのレイヤ識別子が前記ターゲットセットTargetSetに含まれない場合には、前記ビデオパラメータセットのレイヤ識別子を、ターゲットセットTargetSet内で、最低次のレイヤ識別子へ更新する(書き換える)ことを特徴とする。
なお、上記ビットストリーム抽出部17の動作は、「入力される階層符号化データDATAを構成するAUには、AU内で最低次のレイヤ識別子を有するVPSが最大で1つ含まれること」を前提にしているが、これに限定されない。例えば、AU内で最低次のレイヤ識別子以外のレイヤ識別子を有するVPSが、AU内に含まれていてもよい。この場合、ビットストリーム抽出部17は、ステップSG104において、レイヤ識別子の更新対象とするVPSは、ターゲットセットTargetSetに含まれないレイヤ識別子で、最低次のレイヤ識別子とすればよい。通常は、レイヤ識別子“nuhLayerId=0”のVPSが最低次のレイヤ識別子を有するVPSとなるため、該VPSを更新対象とし、それ以外のターゲットセットTargetSetに含まれないVPSは破棄する。
以上の本実施例に係るビットストリーム抽出部17によれば、ビットストリーム抽出後のビットストリーム上で、レイヤセットにVPSが含まれないという問題を防止することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
(パラメータセット復号部12)
パラメータセット復号部12は、入力される対象レイヤセット符号化データから、対象レイヤセットの復号に用いられるパラメータセット(VPS、SPS、PPS)を復号する。復号されたパラメータセットの符号化パラメータは、パラメータセット管理部13に供給され、各パラメータセットの有する識別子毎に記録される。
一般に、パラメータセットの復号は既定のシンタックス表に基づいて実行される。すなわち、シンタックス表の定める手順に従って符号化データからビット列を読み出して、シンタックス表に含まれるシンタックスのシンタックス値を復号する。また、必要に応じて、復号したシンタックス値に基づいて導出した変数を導出して、出力するパラメータセットに含めてもよい。したがって、パラメータセット復号部12から出力されるパラメータセットは、符号化データに含まれるパラメータセット(VPS、SPS、PPS)に係るシンタックスのシンタックス値、および、該シンタックス値より導出される変数の集合と表現することもできる。
以下では、パラメータセット復号部12において復号に使用されるシンタックス表のうち、本発明との関連性が高いシンタックス表を中心に説明する。
(ビデオパラメータセットVPS)
ビデオパラメータセットVPSは、複数のレイヤに共通するパラメータを規定するためのパラメータセットであり、各VPSを識別するためのVPS識別子、レイヤ情報として、最大レイヤ数情報、レイヤセット情報、及びレイヤ間依存情報が含まれている。
VPS識別子は、各VPSを識別するための識別子であり、シンタックス“video_parameter_set_id”(図12のSYNVPS01)としてVPSに含まれている。後述のSPSに含まれるアクティブVPS識別子(sps_video_parameter_set_id)により特定されるVPSが、対象レイヤセット内の対象レイヤの符号化データの復号処理時に参照される。
最大レイヤ数情報は、階層符号化データ内の最大レイヤ数を表わす情報であり、シンタックス“vps_max_layers_minus1”(図12のSYNVPS02)としてVPSに含まれている。階層符号化データ内の最大レイヤ数(以下、最大レイヤ数MaxNumLayers)は、(vps_max_layers_minus1+1)の値に設定される。なお、ここで規定される最大レイヤ数は、時間スケーラビリティを除く、その他のスケーラビリティ(SNRスケーラビリティ、空間スケーラビリティ、ビュースケーラビリティなど)に関するレイヤの最大レイヤ数である。
最大サブレイヤ数情報は、階層符号化データ内の最大サブレイヤ数を表わす情報であり、シンタックス“vps_max_sub_layers_minus1”(図12のSYNVPS03)としてVPSに含まれている。階層符号化データ内の最大サブレイヤ数(以下、最大サブレイヤ数MaxNumSubLayers)は、(vps_max_sub_layers_minus1+1)の値に設定される。なお、ここで規定される最大サブレイヤ数とは、時間スケーラビリティに関するレイヤの最大レイヤ数である。
最大レイヤ識別子情報は、階層符号化データ内に含まれる最高次のレイヤのレイヤ識別子(レイヤID)を表わす情報であり、シンタックス“vps_max_layer_id”(図12のSYNVPS04)として、VPSに含まれている。言い換えれば、階層符号化データ内に含まれる、NALユニットのレイヤID(nuh_layer_id)の最大値である。
レイヤセット数情報は、階層符号化データに含まれるレイヤセットの総数を表わす情報であり、シンタックス“vps_num_layer_sets_minus1” (図12のSYNVPS05)として、VPSに含まれている。階層符号化データ内のレイヤセット数(以下、レイヤセット数NumLayerSets)は、(vps_num_layer_sets_minus1+1)の値に設定される。
レイヤセット情報は、階層符号化データに含まれるレイヤセットを構成するレイヤの集合を表わすリスト(以下、レイヤIDリストLayerSetLayerIdList)であり、VPSから復号される。VPSには、j番目のレイヤ(レイヤ識別子nunLayerIdJ)が、i番目のレイヤセットに含まれるか否かを示すシンタックス“layer_id_included_flag[i][j]”(図12のSYNVPS06)が含まれており、該シンタックスの値が1であるレイヤ識別子を持つレイヤからレイヤセットが構成される。すなわち、レイヤセットiを構成するレイヤjは、レイヤIDリストLayerSetLayerIdList[i]に含まれる。
VPS拡張データ有無フラグ“vps_extension_flag”(図12のSYNVPS07)は、VPSがさらにVPS拡張データvps_extension()(図12のSYNVPS08)を含むか否かを示すフラグである。なお、本明細書中「XXであるか否かを示すフラグ」、あるいは「XXの有無フラグ」と記す場合、1をXXである場合、0をXXではない場合とし、論理否定、論理積などでは1を真、0を偽と扱う(以下同様)。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。
レイヤ間依存情報は、VPSに含まれるVPS拡張データ(vps_extension())から復号される。VPS拡張データに含まれるレイヤ間依存情報について、図13を参照して説明する。図13は、VPS拡張復号時に参照されるシンタックス表の一部であって、レイヤ間依存情報に係る部分を示す。
VPS拡張データ(vps_extension())には、レイヤ間依存情報として、直接依存フラグ“direct_dependency_flag[i][j]”(図13のSYNVPS0A)が含まれている。直接依存フラグdirect_dependency_flag[i][j]は、i番目のレイヤが、j番目のレイヤに直接的に依存しているか否かを示し、直接的に依存している場合に1の値、直接的に依存していない場合に0の値をとる。ここで、i番目のレイヤがj番目のレイヤに直接的に依存している場合、i番目のレイヤを対象レイヤとして復号処理を実行する場合に、j番目のレイヤに関するパラメータセット、復号ピクチャや関連する復号済シンタックスが、対象レイヤにより直接的に参照される可能性があることを意味する。逆に、i番目のレイヤがj番目のレイヤに直接的に依存していない場合、i番目のレイヤを対象レイヤとして復号処理を実行する場合に、j番目のレイヤに関するパラメータセット、復号ピクチャや関連する復号済シンタックスが直接的に参照されないことを意味する。言い換えると、i番目のレイヤのj番目のレイヤに対する直接依存フラグが1である場合、j番目のレイヤはi番目のレイヤの直接的な参照レイヤとなりえる。特定のレイヤに対して直接的な参照レイヤとなりえるレイヤの集合、つまり対応する直接依存フラグの値が1であるレイヤの集合を、直接依存レイヤセットと呼ぶ。なお、i=0、すなわちの0番目のレイヤ(基本レイヤ)は、j番目のレイヤ(拡張レイヤ)とは直接的な依存関係がないため、直接依存フラグ”direct_depedency_flag[i][j]”の値は0であり、図13のSYNVPS0Aを含むiのループが1から始まることに示されるように、0番目のレイヤ(基本レイヤ)に対するj番目のレイヤ(拡張レイヤ)の直接依存フラグの復号/符号化は省略可能である。
ここで、i番目のレイヤ(レイヤ識別子iNuhLId=nunLayerIdI)に対する直接参照レイヤセットを示す、参照レイヤIDリストRefLayerId[iNuhLId][]、及びi番目のレイヤの参照レイヤであるj番目のレイヤが、直接参照レイヤセットの中で、昇順で、何番目の要素であるかを示す直接参照レイヤIDXリストDirectRefLayerIdx[iNuhLId][]は、後述の式により導出される。なお、参照レイヤIDリストRefLayerId[][]は2次元の配列であり、1番目の配列の要素には、対象レイヤ(レイヤi)のレイヤ識別子が格納され、2番目の配列の要素には、直接参照レイヤセットの中で、昇順で、k番目の参照レイヤのレイヤ識別子が格納される。なお、直接参照レイヤIDXリストDirectRefLayerIdx[][]は2次元の配列であり、1番目の配列の要素には、対象レイヤ(レイヤi)のレイヤ識別子が格納され、2番目の配列の要素には、レイヤ識別子が、直接参照レイヤセットの中で、昇順で、何番目の要素であるかを示すインデクス(直接参照レイヤIDX)が格納される。
上記、参照レイヤIDリスト、及び直接参照レイヤIDXリストは以下の疑似コードで導出される。なお、i番目のレイヤのレイヤ識別子nuhLayerIdは、VPS上で“layer_id_in_nuh[i]”(図13では不図示)のシンタックスによって表わされる。以降では、i番目のレイヤのレイヤ識別子“layer_id_in_nuh[i]”の表記を短くするため、”nuhLId#i”と表記する。layer_id_in_nuh[j]であれば、”nuhLId#j”である。また、配列NumDirectRefLayers[]は、レイヤ識別子iNuhLIdのレイヤが参照する直接参照レイヤ数を表わす。
(参照レイヤIDリスト、及び直接参照レイヤIDXリストの導出)
参照レイヤIDリスト、及び直接参照レイヤIDXリストの導出は以下の疑似コードにより実行される。
for(i=0; i< vps_max_layers_minus1+1; i++){
iNuhLId = nuhLId#i;
NumDirectRefLayers[iNuhLId] = 0;
for(j=0; j<i; j++){
if( direct_dependency_flag[i][j]){
RefLayerId[iNuhLId][NumDirectRefLayers[iNuhLId]] = nuhLId#j;
NumDirectRefLayers[iNuhLId]++;
DirectRefLayerIdx[iNuhLId][ nuhLId#j]= NumDirectRefLayers[iNuhLId] - 1;
}
} // end of loop on for(j=0; j<i; i++)
} // end of loop on for(i=0; i< vps_max_layers_minus1+1; i++)
なお、上記疑似コードをステップで表わせば、次の通りである。
(SL01)i番目のレイヤに関する参照レイヤIDリスト、及び直接参照レイヤIDXリストの導出に係るループの開始点である。ループの開始前に、変数iは0に初期化される。ループ内の処理は、変数iがレイヤ数“ vps_max_layers_minus1+1”未満のときに実行され、ループ内の処理が1回実行される度に、変数iは“1”加算される。
(SL02)変数iNuhLidに、i番目のレイヤのレイヤ識別子nuhLID#iを設定する。さらに、レイヤ識別子nuhLID#iの直接参照レイヤ数NumDirectRefLyaers[iNuhLID]を0へ設定する。(SL03)j番目のレイヤを、i番目のレイヤに関する参照レイヤIDリスト、及び直接参照レイヤIDXリストへ要素追加に係るループの開始点である。ループの開始前に、変数jは0に初期化される。ループ内の処理は、変数j(j番目のレイヤ)がi番目のレイヤ未満(j<i)のときに実行され、ループ内の処理が1回実行される度に、変数jは“1”加算される。
(SL04)i番目のレイヤに対するj番目のレイヤの直接依存フラグ(direct_dependency_flag[i][j])を判定する。直接依存フラグが1であれば、ステップSL05〜SL07の処理を実行するため、ステップSL05へ遷移する。直接依存フラグが0であれば、ステップSL05〜SL07の処理を省略し、SL0Aへ遷移する。
(SL05)参照レイヤIDリストRefLayerId[iNuhLId][]のNumDirectRefLayers[iNuhLId]番目の要素へ、レイヤ識別子nuhLID#jを設定する。
すなわち、RefLayerId[iNuhLId][NumDirectRefLayers[iNuhLId]] = nuhLId#j;
(SL06)直接参照レイヤ数NumDirectRefLayers[iNuhLId]の値を“1”加算する。すなわち、NumDirectRefLayers[iNuhLId]++;
(SL07)直接参照レイヤIDXリストDirectRefLayerIdx[iNuhLid][]のnuhLId#j番目の要素へ、直接参照レイヤインデクス(直接参照レイヤIDX)として、“直接参照レイヤ数-1”の値を設定する。すなわち、
DirectRefLayerIdx[iNuhLId][ nuhLId#j]= NumDirectRefLayers[iNuhLId] - 1;
(SL0A)j番目のレイヤを、i番目のレイヤに関する参照レイヤIDリスト、及び直接参照レイヤIDXリストへ要素追加に係るループの終端である。
(SL0B)i番目のレイヤの参照レイヤIDリスト、及び直接参照レイヤIDXリストの導出に係るループの終端である。
以上、説明した、参照レイヤIDリスト、及び直接参照レイヤIDXリストを利用することで、直接参照レイヤセットで、k番目のレイヤのレイヤIDが、全レイヤの中で、何番目の要素(直接参照レイヤIDX)であるか、逆に、直接参照レイヤIDXが、直接参照レイヤセットで、何番目の要素であるかを把握することができる。なお、導出の手順は、上記ステップに限定されず、実施可能な範囲で変更してもよい。
また、レイヤ間依存情報には、後述のレイヤ依存タイプ(direct_dependency_type[i][j])ビット長Mを示すシンタックス“direct_dependency_len_minusN”(レイヤ依存タイプビット長)(図13のSYNVPS0C)が含まれている。ここで、Nはレイヤ依存タイプの種類の総数によって定まる値であり、少なくとも2以上の整数である。なお、ビット長Mの最大値は、例えば、32であり、N=2とすれば、direct_dependency_type[i][j]の値域は、0から(2^32 - 2)である。より一般的には、ビット長M、及びレイヤ依存タイプの総数によって定まるNで表せば、direct_dependency_type[i][j]の値域は、0から(2^M - N)である。
レイヤ間依存情報には、i番目のレイヤがとj番目のレイヤ間の参照関係を示すレイヤ依存タイプを示すシンタックス“direct_dependency_type[i][j]”(図13のSYNVPS0D)が含まれている。具体的には、直接依存フラグdirect_dependency_flag[i][j]が1である場合、レイヤ依存タイプ(DirectDepType[i][j] = direct_dependency_type[i][j] + 1)の各ビット値で、i番目のレイヤに対する参照レイヤであるj番目のレイヤのレイヤ依存タイプの種別の有無フラグを示す。例えば、レイヤ依存タイプの種別の有無フラグには、レイヤ間画像予測の有無フラグ(SamplePredEnabledFlag;レイヤ間画像予測有無フラグ)、レイヤ間動き予測の有無フラグ(MotionPredEnabledFlag;レイヤ間動き予測有無フラグ)や、non-VCLの依存の有無フラグ(NonVCLDepEnabledFlag;non-VCL依存有無フラグ)がある。なお、non-VCLの依存有無フラグは、non-VCL NALユニットに含まれるヘッダ情報(SPSやPPSなどのパラメータセット)に関するレイヤ間の依存関係の有無を示す。例えば、後述するレイヤ間でのパラメータセットの共有(共有パラメータセット)の有無や、レイヤ間でのパラメータセット内の一部のシンタックス予測(例えば、スケーリングリスト情報(量子化マトリックス)等)(パラメータセット間シンタックス予測、あるいはパラメータセット間予測ともいう)の有無が含まれる。なお、シンタックス“direct_dependency_type[i][j]”で符号化される値は、図14の例では、レイヤ依存タイプの値-1、すなわち、“DirectDepType[i][j] - 1”の値である。
ここで、本実施形態に係るレイヤ依存タイプの値(DirectDepType[i][j] = direct_dependency_type[i][j] + 1)とレイヤ依存タイプの種別の対応関係の一例を図14(a)に示す。図14(a)に示すように、レイヤ依存タイプの最下位ビット(0ビット)の値は、レイヤ間画像予測の有無を示し、最下位ビットから1ビット目の値は、レイヤ間動き予測の有無を示し、最下位ビットから(N-1)ビット目の値は、non-VCLの依存の有無を示す。なお、最下位ビットからNビット目から最上位ビット(M-1ビット目)の各ビットは、依存タイプの拡張用ビットである。
対象レイヤi(レイヤ識別子iNuhLId=nunLayerIdI)に対する参照レイヤjの各レイヤ依存タイプ別有無フラグは、次の式によって導出される。
SamplePredEnabledFlag[iNuhLId][j]=((direct_dependency_type[i][j]+1) & 1 );
MotionPredEnabledFlag[iNuhLId][j]=((direct_dependency_type[i][j]+1) & 2 )>>1;
NonVCLDepEnabledFlag [iNuhLid][j]= ((direct_dependency_type[i][j]+1) & (1<<(N-1)) ) >> (N-1);
あるいは、(direct_dependency_type[i][j]+1)の代わりに、変数DirectDepType[i][j]を用いて、次の式によっても表現できる。 SamplePredEnabledFlag[iNuhLId][j]=((DirectDepType[i][j]) & 1 );
MotionPredEnabledFlag[iNuhLId][j]=((DirectDepType[i][j]) & 2 )>>1;
NonVCLDepEnabledFlag [iNuhLid][j]= ((DirectDepType[i][j]) &
(1<<(N-1)) ) >> (N-1);
なお、図14(a)の例では、(N-1)ビット目をnon-VCL依存タイプ(non-VCL依存有無フラグ)としているが、これに限定されない。例えば、N=3とし、最下位ビットから2ビット目をnon-VCLの依存タイプの有無を表わすビットとしてもよい。また、各依存タイプ別の有無フラグを示すビット位置は、実施可能な範囲で変更してもよい。なお、上記各有無フラグの導出は、前述した(参照レイヤIDリスト、及び直接参照レイヤIDXリストの導出)において、ステップSL08として実行して導出してもよい。なお、導出の手順は、上記ステップに限定されず、実施可能な範囲で変更してもよい。
(間接依存フラグ、依存フラグの導出)
ここで、i番目のレイヤが、j番目のレイヤに間接的に依存するか否か(j番目のレイヤは、i番目のレイヤの間接参照レイヤであるか否か)の依存関係を示す間接依存フラグ(IndirectDependencyFlag[i][j])は、直接依存フラグ(direct_dependency_flag[i][j])を参照して、後述の疑似コードにより導出することができる。同様に、i番目のレイヤが、j番目のレイヤに直接的に依存するか(直接依存フラグが1の場合、j番目のレイヤは、i番目のレイヤの直接参照レイヤともいう)、あるいは間接的に依存するか(間接依存フラグが1の場合、j番目のレイヤは、i番目のレイヤの間接参照レイヤともいう)の依存関係を示す依存フラグ(DependencyFlag[i][j])は、直接依存フラグ(direct_dependency_flag[i][j])、及び上記間接依存フラグ(IndirectDepdendencyFlag[i][j])を参照して、後述の疑似コードにより導出することができる。ここで、図31を参照しながら、間接参照レイヤについて説明する。図31では、レイヤ数が、N+1であり、j番目のレイヤ(図31上のL#j、レイヤjと呼ぶ)は、i番目のレイヤ(図31上のL#i、レイヤiと呼ぶ)より下位のレイヤである(j<i)。また、レイヤjより上位であり、レイヤiより下位であるレイヤk(図31上では、L#k)(j<k<i)があるとする。図31では、レイヤkは、レイヤjに直接的に依存し(図31上の実線の矢印、レイヤjはレイヤkの直接参照レイヤ、direct_dependency_flag[k][j]==1)、レイヤiは、レイヤkに直接的に依存する(レイヤkは、レイヤjの直接参照レイヤ、direct_dependency_flag[i][k]==1)。このとき、レイヤiは、レイヤkを介して、レイヤjに対して、間接的に依存する(図31上の点線の矢印)ため、レイヤjはレイヤiの間接参照レイヤであると呼ぶ。換言すれば、レイヤiが、1又は複数のレイヤk(i<k<j)を介して、レイヤjに対して、間接的に依存す場合、レイヤjは、レイヤiの間接参照レイヤである。
なお、間接依存フラグIndirectDependencyFlag[i][j]は、i番目のレイヤが、j番目のレイヤに間接的に依存しているか否かを示し、間接的に依存している場合に1の値、間接的に依存していない場合に0の値をとる。ここで、i番目のレイヤがj番目のレイヤに間接的に依存している場合、i番目のレイヤを対象レイヤとして復号処理を実行する場合に、j番目のレイヤに関するパラメータセット、復号ピクチャや関連する復号済シンタックスが、対象レイヤにより間接的に参照される可能性があることを意味する。逆に、i番目のレイヤがj番目のレイヤに間接的に依存していない場合、i番目のレイヤを対象レイヤとして復号処理を実行する場合に、j番目のレイヤに関するパラメータセット、復号ピクチャや関連する復号済シンタックスが間接的に参照されないことを意味する。言い換えると、i番目のレイヤのj番目のレイヤに対する間接依存フラグが1である場合、j番目のレイヤはi番目のレイヤの間接的な参照レイヤとなりえる。特定のレイヤに対して間接的な参照レイヤとなりえるレイヤの集合、つまり対応する間接依存フラグの値が1であるレイヤの集合を、間接依存レイヤセットと呼ぶ。なお、i=0、すなわちの0番目のレイヤ(基本レイヤ)は、j番目のレイヤ(拡張レイヤ)とは間接的な依存関係がないため、間接依存フラグ“IndirectDepedencyFlag[i][j]”の値は0であり、0番目のレイヤ(基本レイヤ)に対するj番目のレイヤ(拡張レイヤ)の間接依存フラグの導出は省略可能である。
また、依存フラグDependencyFlag[i][j]は、i番目のレイヤが、j番目のレイヤに依存しているか否かを示し、依存している場合に1の値、依存していない場合に0の値をとる。なお、依存フラグDependencyFlag[i][j]に関連する、参照や依存については、特に言及しない限り、直接と間接(直接参照、間接参照、直接依存、間接依存)の両方を含むものとする。ここで、i番目のレイヤがj番目のレイヤに依存している場合、i番目のレイヤを対象レイヤとして復号処理を実行する場合に、j番目のレイヤに関するパラメータセット、復号ピクチャや関連する復号済シンタックスが、対象レイヤにより参照される可能性があることを意味する。逆に、i番目のレイヤがj番目のレイヤに依存していない場合、i番目のレイヤを対象レイヤとして復号処理を実行する場合に、j番目のレイヤに関するパラメータセット、復号ピクチャや関連する復号済シンタックスが参照されないことを意味する。言い換えると、i番目のレイヤのj番目のレイヤに対する依存フラグが1である場合、j番目のレイヤはi番目のレイヤの直接参照レイヤ、または間接参照レイヤとなりえる。特定のレイヤに対して直接参照レイヤ、または間接参照レイヤとなりえるレイヤの集合、つまり対応する依存フラグの値が1であるレイヤの集合を、依存レイヤセットと呼ぶ。なお、i=0、すなわちの0番目のレイヤ(基本レイヤ)は、j番目のレイヤ(拡張レイヤ)とは依存関係がないため、依存フラグ“DepedencyFlag[i][j]”の値は0であり、0番目のレイヤ(基本レイヤ)に対するj番目のレイヤ(拡張レイヤ)の依存フラグの導出は省略可能である。
(疑似コード)
for(i=0; i< vps_max_layers_minus1+1; i++){
for(j=0; j<i; j++){
IndirectDependencyFlag[i][j] = 0;
DependencyFlag[i][j] = 0;
for(k=j+1; k<i; k++){
if( direct_dependency_flag[k][j] && direct_dependency_flag[i][k] && !direct_dependency_flag[i][j]){
IndirectDependencyFlag[i][j] = 1;
}
}
DependencyFlag[i][j] = (direct_dependency_flag[i][j] | IndirectDependencyFlag[i][j]);
} // end of loop on for(j=0; j<i; i++)
} // end of loop on for(i=0; i< vps_max_layers_minus1+1; i++)
なお、上記疑似コードをステップで表わせば、次の通りである。
(SN01)i番目のレイヤに関する間接依存フラグ、及び依存フラグの導出に係るループの開始点である。ループの開始前に、変数iは0に初期化される。ループ内の処理は、変数iがレイヤ数“vps_max_layers_minus1+1”未満のときに実行され、ループ内の処理が1回実行される度に、変数iは“1”加算される。
(SN02)i番目のレイヤとj番目のレイヤに関する間接依存フラグ、及び依存フラグの導出に係るループの開始点である。ループの開始前に、変数jは0に初期化される。ループ内の処理は、変数j(j番目のレイヤ)がi番目のレイヤ未満(j<i)のときに実行され、ループ内の処理が1回実行される度に、変数jは“1”加算される。
(SN03)間接依存フラグIndirectDependencyFlag[i][]のj番目の要素の値を0、依存フラグDependencyFlag[i][]のj番目の要素の値を0へ設定する。すなわち、IndirectDependencyFlag[i][j] = 0、DependencyFlag[i][j] = 0である。
(SN04)i番目のレイヤに対するj番目のレイヤが間接参照レイヤであるか否かを探索するためのループの開始点である。ループの開始前に、変数kは”j+1”に初期化される。ループ内の処理は、変数kの値が、変数i未満のときに実行され、ループ内の処理が1回実行される度に、変数kは“1”加算される。
(SN05)j番目のレイヤがi番目の間接参照レイヤであるかを判定するため、以下の(1)〜(3)の条件を判定する。
(1)j番目のレイヤが、k番目の直接参照レイヤであるかを判定する。具体的には、k番目のレイヤに対するj番目のレイヤの直接依存フラグ(direct_dependency_flag[k][j])が1であれば、真(直接参照レイヤである)と判定し、直接依存フラグが0(直接参照レイヤでない)であれば、偽と判定する。
(2)k番目のレイヤが、i番目の直接参照レイヤであるかを判定する。具体的には、i番目のレイヤに対するk番目のレイヤの直接依存フラグ(direct_dependency_flag[i][k])が1であれば、真(直接参照レイヤである)と判定し、直接依存フラグが0(直接参照レイヤでない)であれば、偽と判定する。
(3)j番目のレイヤが、i番目の直接参照レイヤでないことを判定する。具体的には、i番目のレイヤに対するj番目のレイヤの直接依存フラグ(direct_dependency_flag[i][j])が0(直接参照レイヤでない)であれば、真と判定し、直接依存フラグが1(直接参照レイヤである)であれば、偽と判定する。
上記(1)〜(3)の条件が全て真である場合(すなわち、k番目のレイヤに対するj番目のレイヤの直接依存フラグdirect_dependency_flag[k][j]が1、かつ、i番目のレイヤに対するk番目のレイヤの直接依存フラグdirect_dependency_flag[i][k]が1、かつ、i番目のレイヤに対するj番目のレイヤの直接依存フラグdirect_dependency_flag[i][j]が0)、ステップSN06へ遷移する。それ以外の場合(上記(1)〜(3)のいずれか一つでも偽である場合、すなわち、k番目のレイヤに対するj番目のレイヤの直接依存フラグdirect_dependency_flag[k][j]が0、または、i番目のレイヤに対するk番目のレイヤの直接依存フラグdirect_dependency_flag[i][k]が0、または、i番目のレイヤに対するj番目のレイヤの直接依存フラグdirect_dependency_flag[i][j]が1)であれば、ステップSN06の処理を省略し、ステップSN07へ遷移する。
(SN06)上記(1)〜(3)の条件が全て真である場合、i番目のレイヤに対するj番目のレイヤは間接参照レイヤであると判断し、間接依存フラグIndirectDependencyFlag[i][]のj番目の要素の値を1へ設定する。すなわち、IndirectDependencyFlag[i][j] = 1である。
(SN07)i番目のレイヤに対するj番目のレイヤが間接参照レイヤであるか否かを探索するためのループの終端である。
(SN08)直接依存フラグ(direct_dependency_flag[i][j])、及び間接依存フラグ(IndirectDependencyFlag[i][j])に基づいて、依存フラグ(DependencyFlag[i][j])の値を設定する。具体的には、直接依存フラグ(direct_dependency_flag[i][j])の値と、間接依存フラグ(direct_dependency_flag[i][j])の値の論理和の値を、依存フラグ(DependencyFlag[i][j])の値とする。すなわち、以下の式で導出する。直接依存フラグの値が1、または間接依存フラグの値が1であれば、依存フラグの値は1となる。それ以外の場合(直接依存フラグの値が0、かつ、間接依存フラグの値が0)は、依存フラグの値は0となる。なお、下記導出式は、一例であり、依存フラグに設定される値が同一になる範囲で変更可能である。
DependencyFlag[i][j] = (direct_dependency_flag[i][j] | IndirectDependencyFlag[i][j]);
(SN0A))i番目のレイヤとj番目のレイヤに関する間接依存フラグ、及び依存フラグの導出に係るループの終端である。
(SN0B)i番目のレイヤに関する間接依存フラグ、及び依存フラグの導出に係るループの終端である。
以上、説明したように、i番目のレイヤが、j番目のレイヤに間接的に依存する場合の依存関係を示す間接依存フラグ(IndirectDependencyFlag[i][j])を導出することにより、j番目のレイヤが、i番目のレイヤの間接参照レイヤであるかを把握することができる。
また、i番目のレイヤが、j番目のレイヤに依存する場合(直接依存フラグが1、または間接依存フラグが1の場合)の依存関係を示す依存フラグ(DependencyFlag[i][j])を導出することにより、j番目のレイヤが、i番目のレイヤの直接参照レイヤ、または間接参照レイヤであるかを把握することができる。なお、導出の手順は、上記ステップに限定されず、実施可能な範囲で変更してもよい。例えば、間接依存フラグ、依存フラグの導出は、次の疑似コードによって導出してもよい。
(疑似コード)
// derive indirect reference layers of layer i
for(i=2; i< vps_max_layers_minus1+1; i++){
for(k=1; k<i; k++){
for(j=0; j<k; j++){
if( (direct_dependency_flag[k][j] || IndirectDependencyFlag[k][j] )
direct_dependency_flag[i][k] && !direct_dependency_flag[i][j]){
IndirectDependencyFlag[i][j] = 1;
}
} // end of loop on for(j=0; j<k; j++)
} // end of loop on for(k=1; k<i; k++)
} // end of loop on for(i=2; i< vps_max_layers_minus1+1; i++)
// derive dependent layers (direct or indirect reference layers) of layer i
for(i=0; i< vps_max_layers_minus1+1; i++){
for(j=0; j<i; j++){
DependencyFlag[i][j] = (direct_dependency_flag[i][j] | IndirectDependencyFlag[i][j]);
} // end of loop on for(j=0; j<i; i++)
} // end of loop on for(i=0; i< vps_max_layers_minus1+1; i++)
なお、上記疑似コードをステップで表わせば、次の通りである。なお、ステップSO01の開始前に、間接依存フラグIndirectDependencyFlag[][]、及び依存フラグDependencyFlga[][]の全ての要素の値は、0で初期化済であるものとする。
(SO01)i番目のレイヤ(レイヤi)に関する間接依存フラグの導出に係るループの開始点である。ループの開始前に、変数iは2に初期化される。ループ内の処理は、変数iがレイヤ数“vps_max_layers_minus1+1”未満のときに実行され、ループ内の処理が1回実行される度に、変数iは“1”加算される。なお、変数iを2から開始するのは、間接参照レイヤが発生するのはレイヤ数が3レイヤ以上のためである。
(SO02)i番目のレイヤ(レイヤi)の下位レイヤであって、j番目のレイヤ(レイヤj)の上位レイヤであるk番目のレイヤ(レイヤk)(j<k<i)に関するループの開始点である。ループの開始前に、変数iは1に初期化される。ループ内の処理は、変数k(レイヤk)がレイヤi未満(k<i)のときに実行され、ループ内の処理が1回実行される度に、変数kは“1”加算される。なお、変数kを1から開始するのは、間接参照レイヤが発生するのはレイヤ数が3レイヤ以上のためである。
(SO03)レイヤjがレイヤiの間接参照レイヤであるかを探索するループ開始点である。ループの開始前に、変数jは0に初期化される。ループ内の処理は、変数j(レイヤj)がレイヤk未満(j<k)のときに実行され、ループ内の処理が1回実行される度に、変数jは“1”加算される。
(SO04)レイヤjがレイヤiの間接参照レイヤであるかを判定するため、以下の(1)〜(3)の条件を判定する。
(1)レイヤjが、レイヤkの直接参照レイヤ、または間接参照レイヤであるかを判定する。具体的には、レイヤkに対するレイヤjの直接依存フラグ(direct_dependency_flag[k][j])が1、または、レイヤkに対するレイヤjの間接依存フラグ(IndirectDependencyFlag[k][j])が1であれば、真(直接参照レイヤ、または間接参照レイヤである)と判定する。また、直接依存フラグが0(直接参照レイヤでない)、かつ、間接依存フラグが0(間接参照レイヤでない)であれば、偽と判定する。
(2)レイヤkが、レイヤiの直接参照レイヤであるかを判定する。具体的には、レイヤiに対するレイヤkの直接依存フラグ(direct_dependency_flag[i][k])が1であれば、真(直接参照レイヤである)と判定し、直接依存フラグが0(直接参照レイヤでない)であれば、偽と判定する。
(3)レイヤjが、レイヤiの直接参照レイヤでないことを判定する。具体的には、レイヤiに対するレイヤjの直接依存フラグ(direct_dependency_flag[i][j])が0(直接参照レイヤでない)であれば、真と判定し、直接依存フラグが1(直接参照レイヤである)であれば、偽と判定する。
上記(1)〜(3)の条件が全て真である場合(すなわち、(レイヤkに対するレイヤjの直接依存フラグが1、あるいは間接依存フラグが1)、かつ、レイヤiに対するレイヤの直接依存フラグdirect_dependency_flag[i][k]が1、かつ、レイヤiに対するレイヤの直接依存フラグdirect_dependency_flag[i][j]が0)、ステップSO05へ遷移する。それ以外の場合(上記(1)〜(3)のいずれか一つでも偽である場合、すなわち、レイヤkに対するレイヤjの直接依存フラグが0、かつ間接依存フラグが0)、または、レイヤiに対するレイヤの直接依存フラグdirect_dependency_flag[i][k]が0、または、レイヤiに対するレイヤの直接依存フラグdirect_dependency_flag[i][j]が1)であれば、ステップSO05の処理を省略し、ステップSO06へ遷移する。
(SO05)上記(1)〜(3)の条件が全て真である場合、レイヤjは、レイヤiの間接参照レイヤであると判断し、間接依存フラグIndirectDependencyFlag[i][]のj番目の要素の値を1へ設定する。すなわち、IndirectDependencyFlag[i][j] = 1である。
(SO06)レイヤjがレイヤiの間接参照レイヤであるかを探索するループの終端である。
(SO07)レイヤiの下位レイヤであって、レイヤjの上位レイヤであるレイヤk (j<k<i)に関するループの終端である。
(SO08)レイヤiに関する間接依存フラグの導出に係るループの終端である。
(S00A)レイヤiに関する依存フラグの導出に係るループの開始点である。ループの開始前に、変数iは0に初期化される。ループ内の処理は、変数iがレイヤ数“vps_max_layers_minus1+1”未満のときに実行され、ループ内の処理が1回実行される度に、変数iは“1”加算される。
(S00B)レイヤjがレイヤiの依存レイヤ(直接参照レイヤ、または間接参照レイヤ)であるかを探索するループの開始点である。ループの開始前に、変数jは0に初期化される。ループ内の処理は、変数jが変数i未満(j<i)のときに実行され、ループ内の処理が1回実行される度に、変数jは“1”加算される。
(S00C)直接依存フラグ(direct_dependency_flag[i][j])、及び間接依存フラグ(IndirectDependencyFlag[i][j])に基づいて、依存フラグ(DependencyFlag[i][j])の値を設定する。具体的には、直接依存フラグ(direct_dependency_flag[i][j])の値と、間接依存フラグ(direct_dependency_flag[i][j])の値の論理和の値を、依存フラグ(DependencyFlag[i][j])の値とする。すなわち、以下の式で導出する。直接依存フラグの値が1、または間接依存フラグの値が1であれば、依存フラグの値は1となる。それ以外の場合(直接依存フラグの値が0、かつ、間接依存フラグの値が0)は、依存フラグの値は0となる。なお、下記導出式は、一例であり、依存フラグに設定される値が同一になる範囲で変更可能である。
DependencyFlag[i][j] = (direct_dependency_flag[i][j] | IndirectDependency
Flag[i][j]);
(S00D)レイヤjがレイヤiの依存レイヤ(直接参照レイヤ、または間接参照レイヤ)であるかを探索するループの終端である。
(S00E)レイヤiに関する依存フラグの導出に係るループの終端である。
以上、説明したように、レイヤiが、レイヤjに間接的に依存する場合の依存関係を示す間接依存フラグ(IndirectDependencyFlag[i][j])を導出することにより、レイヤjが、レイヤiの間接参照レイヤであるかを把握することができる。また、レイヤiが、レイヤjに依存する場合(直接依存フラグが1、または間接依存フラグが1の場合)の依存関係を示す依存フラグ(DependencyFlag[i][j])を導出することにより、レイヤjが、レイヤiの依存レイヤ(直接参照レイヤ、または間接参照レイヤ)であるかを把握することができる。なお、導出の手順は、上記ステップに限定されず、実施可能な範囲で変更してもよい。
また、上記の例では、i番目のレイヤに対するj番目のレイヤが直接参照レイヤ、または間接参照レイヤであるか否かを示す依存フラグDipendecyFlag[i][j]を、全レイヤ内でのインデクスiとjに対して導出しているが、i番目のレイヤのレイヤ識別子nuhLId#i、及びj番目のレイヤのレイヤ識別子nuhLId#jとして、レイヤ識別子間の依存フラグ(レイヤ識別子間依存フラグ)LIdDipendencyFlag[][]を導出してもよい。その場合、上記ステップSN08,又はSO0Cにおいて、レイヤ識別子間依存フラグ(LIdDependencyFlag[][])の1番目の要素を、i番目のレイヤのレイヤ識別子nuhLId#i、2番目の要素をj番目のレイヤのレイヤ識別子nuhLId#jとして、レイヤ識別子間依存フラグ(LIdDependencyFlag[nuhLId#i][nuhLId#j])の値を導出する。すなわち、以下の式に示すように、直接依存フラグの値が1、または間接依存フラグの値が1であれば、レイヤ識別子間依存フラグの値は1となる。それ以外の場合(直接依存フラグの値が0、かつ、間接依存フラグの値が0)は、レイヤ識別子間依存フラグの値は0となる。
LIdDependencyFlag[nuhLId#i][nuhLId#j] = (direct_dependency_flag[i][j] | IndirectDependencyFlag[i][j]);
以上、説明したように、レイヤ識別子nuhLId#iであるi番目のレイヤが、レイヤ識別子nuhLId#jであるj番目のレイヤに直接的に、または間接的に依存するか示すレイヤ識別子間依存フラグ(Lid0DependencyFlag[nuhLId#i][nuhLId#j])を導出することにより、レイヤ識別子nuhLId#jであるj番目のレイヤが、レイヤ識別子nuhLId#iであるi番目のレイヤの直接参照レイヤ、または間接参照レイヤであるかを把握することができる。なお、上記手順は、これに限定されず、実施可能な範囲で変更してもよい。
(シーケンスパラメータセットSPS)
シーケンスパラメータセットSPSでは、対象シーケンスを復号するために画像復号装置1が参照する符号化パラメータの集合が規定されている。
アクティブVPS識別子は、対象SPSが参照するアクティブVPSと指定する識別子であり、シンタックス“sps_video_parameter_set_id”(図15のSYNSPS01)としてSPSに含まれている。なお、パラメータセット復号部12は、復号対象のシーケンスパラメータセットSPSに含まれるアクティブVPS識別子を復号するとともに、パラメータセット管理部13から、該アクティブVPS識別子で指定されるアクティブVPSの符号化パラメータを読み出し、以降の復号対象SPSの各シンタックスを復号する際に該アクティブVPSの符号化パラメータを参照してもよい。なお、復号対象SPSの各シンタックスが、アクティブVPSの符号化パラメータに依存しない場合は、復号対象SPSのアクティブVPS識別子復号時点での、VPSのアクティベート処理は必要ない。
SPS識別子は、各SPSを識別するための識別子であり、シンタックス“sps_seq_parameter_set_id”(図15のSYNSPS02)としてSPSに含まれている。後述のPPSに含まれるアクティブSPS識別子(pps_seq_parameter_set_id)により特定されるSPSが、対象レイヤセット内の対象レイヤの符号化データの復号処理時に参照される。
(ピクチャ情報)
SPSには、ピクチャ情報として、対象レイヤの復号ピクチャのサイズを定める情報が含まれる。例えば、ピクチャ情報は、対象レイヤの復号ピクチャの幅や高さを表わす情報を含んでいる。SPSから復号されるピクチャ情報には、復号ピクチャの幅(pic_width_in_luma_samples)と復号ピクチャの高さ(pic_height_in_luma_samples)が含まれている(図15では不図示)。シンタックス“pic_width_in_luma_samples”の値は、輝度画素単位での復号ピクチャの幅に対応する。また、シンタックス“pic_height_in_luma_samples”の値は、輝度画素単位での復号ピクチャの高さに対応する。
図15のSYNSPS04に示すシンタックス群は、対象シーケンス全体を通じて利用されるスケーリングリスト(量子化マトリックス)に関する情報(スケーリングリスト情報)である。スケーリングリスト情報の中で、“sps_infer_scaling_list_flag”(SPSスケーリングリスト推定フラグ)は、対象SPSのスケーリングリストに関する情報を、“sps_scaling_list_ref_layer_id”で特定される参照レイヤのアクティブSPSのスケーリングリスト情報から推定するか否かを示すフラグである。SPSスケーリングリスト推定フラグが1の場合、該SPSのスケーリングリスト情報は、“sps_scaling_list_ref_layer_id”で特定される参照レイヤのアクティブSPSのスケーリングリスト情報から推定される(コピーされる)。SPSスケーリングリスト推定フラグが0の場合、SPSでスケーリングリスト情報が、“sps_scaling_list_data_present_flag”に基づいて通知される。
SPS拡張データ有無フラグ“sps_extension_flag”(図15のSYNSPS05)は、SPSがさらにSPS拡張データsps_extension()(図15のSYNSPS06)を含むか否かを示すフラグである。
SPS拡張データ(sps_extension())には、例えば、レイヤ間位置対応情報(図16のSYNSPS0A)等が含まれている。
(ピクチャパラメータセットPPS)
ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために画像復号装置1が参照する符号化パラメータの集合が規定されている。
PPS識別子は、各PPSを識別するための識別子であり、シンタックス“sps_seq_parameter_set_id”(図15のSYNSPS02)としてPPSに含まれている。後述のスライスヘッダに含まれるアクティブPPS識別子(slice_pic_parameter_set_id)により特定されるPPSが、対象レイヤセット内の対象レイヤの符号化データの復号処理時に参照される。
アクティブSPS識別子は、対象PPSが参照するアクティブSPSと指定する識別子であり、シンタックス“pps_seq_parameter_set_id”(図17のSYNSPS02)としてPPSに含まれている。なお、パラメータセット復号部12は、復号対象のピクチャパラメータセットPPSに含まれるアクティブSPS識別子を復号するとともに、パラメータセット管理部13から、該アクティブSPS識別子で指定されるアクティブSPSの符号化パラメータを読み出し、さらに、該アクティブSPSが参照するアクティブVPSの符号化パラメータを呼び出し、以降の復号対象PPSの各シンタックスを復号する際に該アクティブSPS、及び該アクティブVPSの符号化パラメータを参照してもよい。なお、復号対象PPSの各シンタックスが、アクティブSPS、及びアクティブVPSの符号化パラメータに依存しない場合は、復号対象PPSのアクティブSPS識別子復号時点での、SPS、及びVPSのアクティベート処理は必要ない。
図17のSYNPPS03に示すシンタックス群は、対象PPSを参照するピクチャの復号時に利用されるスケーリングリスト(量子化マトリックス)に関する情報(スケーリングリスト情報)である。スケーリングリスト情報の中で、“pps_infer_scaling_list_flag”(スケーリングリスト推定フラグ)は、対象PPSのスケーリングリストに関する情報を、“pps_scaling_list_ref_layer_id”で特定される参照レイヤのアクティブPPSのスケーリングリスト情報から推定するか否かを示すフラグである。PPSスケーリングリスト推定フラグが1の場合、該PPSのスケーリングリスト情報は、“sps_scaling_list_ref_layer_id”で特定される参照レイヤのアクティブPPSのスケーリングリスト情報から推定される(コピーされる)。PPSスケーリングリスト推定フラグが0の場合、PPSでスケーリングリスト情報が、“sps_scaling_list_data_present_flag”に基づいて通知される。
(ピクチャ復号部14)
ピクチャ復号部14は、入力されるVCL NALユニット、および、アクティブパラメータセットに基づいて復号ピクチャを生成して出力する。
図20を用いて、ピクチャ復号部14の概略的構成を説明する。図20は、ピクチャ復号部14の概略的構成を示した機能ブロック図である。
ピクチャ復号部14は、スライスヘッダ復号部141、CTU復号部142を備えている。CTU復号部142は、さらに、予測残差復元部1421、予測画像生成部1422、及びCTU復号画像生成部1423を含んでいる。
(スライスヘッダ復号部141)
スライスヘッダ復号部141は、入力されるVCL NALユニットとアクティブパラメータセットに基づいてスライスヘッダを復号する。復号したスライスヘッダは、入力されるVCL NALユニットと合わせてCTU復号部142に出力する。
(CTU復号部142)
CTU復号部142は、概略的には、入力されるスライスヘッダ、VCL NALユニットに含まれるスライスデータ、及びアクティブパラメータセットに基づいて、ピクチャを構成するスライスに含まれる各CTUに対応する領域の復号画像を復号することで、スライスの復号画像を生成する。ここで、CTUサイズは、アクティブパラメータセットに含まれる、対象レイヤに対するCTBサイズ(図15のSYNSPS03上のlog2_min_luma_coding_block_size_minus3、及びlog2_diff_max_min_luma_coding_block_sizeが対応するシンタックスである)が用いられる。スライスの復号画像は、入力されるスライスヘッダが示すスライス位置へ、復号ピクチャの一部として出力される。CTUの復号画像は、CTU復号部142内部の予測残差復元部1421、予測画像生成部1422、及びCTU復号画像生成部1423により生成される。
予測残差復元部1421は、入力のスライスデータに含まれる予測残差情報(TT情報)を復号して対象CTUの予測残差を生成して出力する。
予測画像生成部1422は、入力のスライスデータに含まれる予測情報(PT情報)の示す予測方法と予測パラメータに基づいて予測画像を生成して出力する。その際、必要に応じて、参照ピクチャの復号画像や符号化パラメータが利用される。例えば、インター予測、または、レイヤ間画像予測を使用する場合は、復号ピクチャ管理部15より対応する参照ピクチャを読み出す。
CTU復号画像生成部1423は、入力される予測画像と予測残差を加算して対象CTUの復号画像を生成して出力する。
<ピクチャ復号部14の復号プロセス>
以下、図21を参照して、ピクチャ復号部14における対象レイヤiのピクチャの復号の概略的な動作について説明する。図21は、ピクチャ復号部14における対象レイヤiのピクチャを構成するスライス単位の復号プロセスを示すフロー図である。
(SD101)復号対象スライスの先頭スライスフラグ(first_slice_segment_in_pic_flag)を復号する。先頭スライスフラグが1の場合、復号対象スライスは、ピクチャ内の復号順(以降、処理順)で先頭スライスであり、復号対象スライスの先頭CTUのピクチャ内でのラスタスキャン順での位置(以降、CTUアドレス)を0に設定する。さらに、ピクチャ内の処理済みCTU数のカウンタnumCtu(以降、処理済CTU数numCtu)を0に設定する。先頭スライスフラグが0の場合、後述のSD106で復号されるスライスアドレスに基づいて、復号対象スライスの先頭CTUアドレスを設定する。
(SD102)復号対象スライスの復号時に参照するアクティブPPSを指定するアクティブPPS識別子(slice_pic_paramter_set_id)を復号する。
(SD104)アクティブパラメータセットをパラメータセット管理部13よりフェッチする。すなわち、復号対象スライスが参照するアクティブPPS識別子(slice_pic_parameter_set_id)と同一のPPS識別子(pps_pic_parameter_set_id)を有するPPSをアクティブPPSとし、パラメータセット管理部13から、アクティブPPSの符号化パラメータをフェッチする(読み出す)。さらに、アクティブPPS内のアクティブSPS識別子(pps_seq_parameter_set_id)と同一のSPS識別子(sps_seq_parameter_set_id)を有するSPSをアクティブSPSとし、パラメータセット管理部13から、アクティブSPSの符号化パラメータをフェッチする。さらに、アクティブSPS内のアクティブVPS識別子(sps_video_parameter_set_id)と同一のVPS識別子(vps_video_parameter_set_id)を有するVPSをアクティブVPSとし、パラメータセット管理部13から、アクティブVPSの符号化パラメータをフェッチする。
(SD105)復号対象スライスが、ピクチャ内の処理順で先頭スライスであるか否かを先頭スライスフラグに基づいて判定する。先頭スライスフラグが0の場合(SD105でYes)、ステップSD106へ遷移する。それ以外の場合(SD105でNo)、ステップSD106の処理をスキップする。なお、先頭スライスフラグが1の場合、復号対象スライスのスライスアドレスは0である。
(SD106)復号対象スライスのスライスアドレス(slice_segment_address)を復号し、復号対象スライスの先頭CTUアドレスを設定する。例えば、先頭スライスCTUアドレス=slice_segment_addressである。
・・・省略・・・
(SD10A)CTU復号部142は、入力されるスライスヘッダ、アクティブパラメータセット、及びVCL NALユニットに含まれるスライスデータ内の各CTU情報(図18のSYNSD01)に基づいて、ピクチャを構成するスライスに含まれる各CTUに対応する領域のCTU復号画像を生成する。さらに、各CTU情報の後に、該CTUが復号対象スライスの終端であるかを示すスライス終端フラグ(end_of_slice_segment_flag)(図18のSYNSD02)。また、各CTUの復号後に、処理済CTU数numCtuの値を1加算する(numCtu++)。
(SD10B)該CTUが復号対象スライスの終端であるか否かをスライス終端フラグに基づいて判定する。スライス終端フラグが1の場合(SD10BでYes)、ステップSD10Cへ遷移する。それ以外の場合(SD10BでNo)、後続のCTU情報を復号するため、ステップSD10Aへ遷移する。
(SD10C)処理済CTU数numCtuが、ピクチャを構成するCTUの総数(PicSizeInCtbsY)に達したか判定する。すなわち、numCtu==PicSizeInCtbsYであるか判定する。numCtuがPicSizeInCtbsYと等しい場合(SD10CでYes)、復号対象ピクチャを構成するスライス単位の復号処理を終了する。それ以外の場合(numCtu<PicSizeInCtbsY)(SD10CでNo)、復号対象ピクチャを構成するスライス単位の復号処理を継続するため、ステップSD101へ遷移する。
以上、実施例1に係るピクチャ復号部14の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
(動画像復号装置1の効果)
以上説明した本実施形態に係る階層動画像復号装置1(階層画像復号装置)は、外部より供給される対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTarget、及び対象最高次テンポラル識別子HighestTidTargetに基づいて、ビットストリーム抽出処理を行い、入力される階層符号化データDATAから、対象最高次テンポラル識別子HighestTidTarget、及び対象レイヤセットLayerSetTargetのレイヤIDリストLayerIdListTargetによって定まる集合(ターゲットセットTargetSetと呼ぶ)に含まれないNALユニットを除去(破棄)し、ターゲットセットTargetSetに含まれるNALユニットから構成される対象レイヤセット符号化データDATA#T(BitstreamToDecode)を抽出するビットストリーム抽出部17を備える。さらに、上記ビットストリーム抽出部17は、ビデオパラメータセットのレイヤ識別子が前記ターゲットセットTargetSetに含まれない場合には、前記ビデオパラメータセットのレイヤ識別子を、ターゲットセットTargetSet内で、最低次のレイヤ識別子へ更新する(書き換える)ことを特徴とする。なお、上記ビットストリーム抽出部17の動作は、「入力される階層符号化データDATAを構成するAUには、AU内で最低次のレイヤ識別子を有するVPSが最大で1つ含まれること」を前提にしているが、これに限定されない。例えば、AU内で最低次のレイヤ識別子以外のレイヤ識別子を有するVPSが、AU内に含まれていてもよい。この場合、ビットストリーム抽出部17は、図27のステップSG104において、レイヤ識別子の更新対象とするVPSは、ターゲットセットTargetSetに含まれないレイヤ識別子で、最低次のレイヤ識別子とすればよい。通常は、レイヤ識別子“nuhLayerId=0”のVPSが最低次のレイヤ識別子を有するVPSとなるため、該VPSを更新対象とし、それ以外のターゲットセットTargetSetに含まれないVPSは破棄する。
従って、本実施形態に係る階層動画像復号装置1によれば、ビットストリーム抽出後のビットストリーム上で、レイヤセットにVPSが含まれないという問題を防止することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
また、対象レイヤの復号に利用されるパラメータセット(VPS、SPS、PPS)として、参照レイヤの復号に利用されるパラメータセットを共有(参照)することにより、対象レイヤのパラメータセットに係る復号処理を省略することが可能である。すなわち、より少ない符号量でパラメータセットを復号することができる。
(ビットストリーム抽出部17の変形例1)
実施例1に係るビットストリーム抽出部17では、図27示すように、ターゲットセットに、VPSのレイヤ識別子が前記ターゲットセットTargetSetに含まれない場合には、前記VPSのレイヤ識別子を、ターゲットセットTargetSet内で、最低次のレイヤ識別子へ更新する(書き換える)ことで、ターゲットセットTargetSetに必ずVPSが含まれるようしているが、これに限定されない。例えば、ビットストリーム抽出部17は、ターゲットセットTargetSetを構成するレイヤIDリストLayerIdListTargetに含まれないVPSは、該VPSのレイヤ識別子を更新せずに、該VPSのNALユニットの破棄を省略し、抽出後のターゲットセットTargetSetのビットストリームに該VPSが含まれるようにしてもよい。以下では、図28を参照して、変形例1に係るビットストリーム抽出部17’の動作について説明する。なお、実施例1に係るビットストリーム抽出部17と共通の動作については、同一の符号を付与し、説明を省略する。
(SG102a)対象NALユニットのNALユニットタイプ(nal_unit_type)が、パラメータセットであるか否かを、図7に示す“nal_unit_type”と“Name of nal_unit_type”に基づいて判定する。ここでは、後述するコンフォーマンス条件CY1を満たすため、NALユニットタイプが、“VPS_NUT”(nal_unit_type==32)であるかを判定する。すなわち、NALユニットタイプが、ビデオパラメータセットの場合(SG102aでYES)、ステップSG107へ遷移し、該VPSに関するステップSG105a、SG106aの動作を省略する。それ以外の場合(SG102aでNo)、ステップSG105aへ遷移する。
(SG105a)対象NALユニットのレイヤ識別子、テンポラル識別子がターゲットセットTargetSetに含まれるか否かを、対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTarget、及び対象最高次テンポラル識別子に基づいて判定する。詳細な動作については、図27のステップSG105と同一であるため、説明を省略する。
(SG106a)対象NALユニットを破棄する。すなわち、対象NALユニットは、ターゲットセットTargetSetに含まれないため、ビットストリーム抽出部17’は、入力された階層符号化データDATAから、対象NALユニットを除去する。
以上、変形例1に係るビットストリーム抽出部17’の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
以上説明した変形例1に係るビットストリーム抽出部17’によれば、外部より供給される対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTarget、及び対象最高次テンポラル識別子HighestTidTargetに基づいて、ビットストリーム抽出処理を行い、入力される階層符号化データDATAから、NALユニットタイプがVPSであるNALユニットを除いて、対象最高次テンポラル識別子HighestTidTarget、及び対象レイヤセットLayerSetTargetのレイヤIDリストLayerIdListTargetによって定まる集合ターゲットセットTargetSetに含まれないNALユニットを除去(破棄)し、ターゲットセットTargetSetに含まれるNALユニットから構成される対象レイヤセット符号化データDATA#T(BitstreamToDecode)を抽出し、出力することを特徴とする。換言すれば、上記ビットストリーム抽出部17’は、ビデオパラメータセットのレイヤ識別子がターゲットセットTargetSetに含まれない場合には、前記ビデオパラメータセットのNALユニットを破棄せずに、ターゲットセットTargetSetのビットストリームに、該VPSを含めている。
なお、上記ビットストリーム抽出部17’の動作は、「入力される階層符号化データDATAを構成するAUには、AU内で最低次のレイヤ識別子を有するVPSが最大で1つ含まれること」を前提にしているが、これに限定されない。例えば、AU内で最低次のレイヤ識別子以外のレイヤ識別子を有するVPSが、AU内に含まれていてもよい。この場合、ビットストリーム抽出部17’は、ステップSG102aにおいて、「VPSのレイヤ識別子は、ターゲットセットTargetSetに含まれないレイヤ識別子で、最低次のレイヤ識別子であるか?」という条件を追加すればよい。通常は、レイヤ識別子“nuhLayerId=0”のVPSが最低次のレイヤ識別子を有するVPSとなるため、該VPSをターゲットセットTargetSetに含めるVPSとし、それ以外のターゲットセットTargetSetに含まれないVPSは破棄する。
以上の変形例1に係るビットストリーム抽出部17’によれば、ビットストリーム抽出後のビットストリーム上で、レイヤセットにVPSが含まれないという問題を防止することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
(ビットストリーム抽出部17の変形例1に係るVPSの制約)
なお、変形例1に係るビットストリーム抽出部17’に記載したビットストリーム抽出を行うために、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件CY1を少なくとも満たさなければならない。
CY1:「ターゲットセットTargetSet(レイヤセット)には、全レイヤで最低次のレイヤ識別子と等しいレイヤ識別子を有するVPSが含まれること」
上記ビットストリーム制約CY1は、換言すれば、「アクセスユニット内に含まれるVPSは、全レイヤ(アクセスユニットに含まれないレイヤを含む)で最低次のレイヤ識別子を有するVCLと同一のレイヤに属する」ということである。
「アクセスユニット内に含まれるVPSは、全レイヤ(アクセスユニットに含まれないレイヤを含む)で最低次のレイヤ識別子を有するVCLと同一のレイヤに属する」ということは、「レイヤセットAのサブセットであるレイヤセットB内のレイヤが、レイヤセットAにおいては、“レイヤセットAに含まれるが、レイヤセットBに含まれない”レイヤのVPSを参照する場合、ビットストリーム抽出により抽出したレイヤセットBでは、前記VPSと同一の符号化パラメータを有するVPSを、レイヤセットBに含めること」を意味する。なお、前記VPSと同一の符号化パラメータを有するVPSとは、レイヤ識別子、テンポラル識別子を除き、VPS識別子、及びその他のVPS内のシンタックスが前記VPSと同一であること指す。従って、上記ビットストリーム制約を設けることで、ビットストリーム抽出後のビットストリーム上で、レイヤセットにVPSが含まれないという問題を解消することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
なお、上記コンフォーマンス条件CY1では、「ターゲットセットTargetSet(レイヤセット)には、全レイヤで最低次のレイヤ識別子と等しいレイヤ識別子を有するVPSが含まれること」としたが、これに限定されない。例えば、最低次のレイヤ識別子をレイヤ識別子nuhLayerId=0(nuh_layer_id=0)としてもよい。すなわち、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件CY2を少なくとも満たさなければならない。
CY2:「ターゲットセットTargetSet(レイヤセット)には、レイヤ識別子nuh_layer_id=0と等しいレイヤ識別子を有するVPSが含まれること」
上記コンフォーマンス条件CY2の場合も、コンフォーマンス条件CY1と同様の効果を奏する。さらに、従来技術(非特許文献2〜3)の制約(VPSのレイヤ識別子は0である)時において、ビットストリーム抽出時に、TargetSetのあるレイヤが、nuh_layer_id=0のVPSを参照する場合において、TargetSetに含まれない、nuh_layer_id=0のVPSが破棄されることがなくなるため、TargetSetのあるレイヤが復号不可となることを防止することが可能である。
(ビットストリーム抽出部17の変形例1a)
さらに、従来技術(非特許文献4)の制約(VPS/SPS/PPSのレイヤ識別子は0であること)時においては、ビットストリームコンフォーマンスとして、CY2に追加して、CY3、CY4を少なくとも満たさなければならない。
CY3:「ターゲットセットTargetSet(レイヤセット)には、レイヤ識別子nuh_layer_id=0と等しいレイヤ識別子を有するSPSが含まれること」
CY4:「ターゲットセットTargetSet(レイヤセット)には、レイヤ識別子nuh_layer_id=0と等しいレイヤ識別子を有するPPSが含まれること」
上記ビットストリーム制約CY2〜CY4を適用する場合、変形例1に係るビットストリーム抽出部17’の動作(図28のステップG102)を次の処理(SG102a’)へ変更すればよい。
(SG102a’)対象NALユニットのNALユニットタイプ(nal_unit_type)が、パラメータセットであるか否かを、図7に示す“nal_unit_type”と“Name of nal_unit_type”に基づいて判定する。ここでは、コンフォーマンス条件CY2〜CY4を満たすため、NALユニットタイプが、“VPS_NUT”(nal_unit_type==32)、または、“SPS_NUT”(nal_unit_type==33)、または、“PPS_NUT”(nal_unit_type==34)、であるかを判定する。すなわち、NALユニットタイプが、VPS、SPS、PPSのいずれかのパラメータセットである場合(SG102a’でYES)、ステップSG107へ遷移する。それ以外の場合(SG102aでNo)、ステップSG105aへ遷移する。
以上のビットストリーム抽出の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。なお、上記変更を加えた、ビットストリーム抽出部17’を変形例1aに係るビットストリーム抽出部17’aとする。
以上のビットストリーム抽出部17’aによれば、従来技術(非特許文献4)の制約(VPS/SPS/PPSのレイヤ識別子は0である)時において、ビットストリーム抽出時に、TargetSetのあるレイヤが、nuh_layer_id=0のVPS/SPS/PPSを参照する場合において、TargetSetに含まれない、nuh_layer_id=0のVPS/SPS/PPSが破棄されることがなくなるため、TargetSetのあるレイヤが復号不可となることを防止することが可能である。
(ビットストリーム抽出部17の変形例2)
実施例1に係るビットストリーム抽出部17では、図27示すように、ターゲットセットに、VPSのレイヤ識別子が前記ターゲットセットTargetSetに含まれない場合には、前記VPSのレイヤ識別子を、ターゲットセットTargetSet内で、最低次のレイヤ識別子へ更新する(書き換える)ことで、ターゲットセットTargetSetに必ずVPSが含まれるようしているが、これに限定されない。例えば、ビットストリーム抽出部17は、ターゲットセットTargetSet内の各レイヤが依存する、ターゲットセットTargetSetを構成するレイヤIDリストLayerIdListTargetに含まれない、参照レイヤ(直接参照レイヤ、及び間接参照レイヤ)に関するVCL及びnon-VCLののNALユニットの破棄を省略し、抽出後のターゲットセットTargetSetのビットストリームに該VCL及びnon-VCLが含まれるようにしてもよい。以下では、図29を参照して、変形例2に係るビットストリーム抽出部17’’の動作について説明する。なお、実施例1に係るビットストリーム抽出部17と共通の動作については、同一の符号を付与し、説明を省略する。なお、ビットストリーム抽出部17’’は、VPSの符号化パラメータから依存レイヤを導出するために、パラメータセット復号部12におけるVPSの復号手段と同一の機能を有する。図29は、ビットストリーム抽出部17’’におけるアクセスユニット単位のビットストリーム抽出処理を示すフロー図である。
(SG102b)対象NALユニットのNALユニットタイプ(nal_unit_type)が、パラメータセットであるか否かを、図7に示す“nal_unit_type”と“Name of nal_unit_type”に基づいて判定する。ここでは、後述のコンフォーマンス条件CZ1を満たすため、NALユニットタイプが、“VPS_NUT”(nal_unit_type==32)であるかを判定する。すなわち、NALユニットタイプが、ビデオパラメータセットの場合(SG102bでYES)、ステップSG103へ遷移する。それ以外の場合(SG102でNo)、ステップSG105へ遷移する。
(SG10B)ビットストリーム抽出部17’’は、VPSである対象NALユニットを復号し、ターゲットセットTargetSetに含まれる各レイヤの依存レイヤ(依存レイヤセット)を導出する。具体的には、(参照レイヤIDリスト、及び直接参照レイヤIDXリストの導出)及び、(間接依存フラグ、依存フラグの導出)において説明した手順に沿って、レイヤ識別子nuhLId#iのi番目のレイヤに対するレイヤ識別子nuhLId#jのj番目のレイヤが直接参照レイヤ、または間接参照レイヤであるか否かを示すレイヤ識別子間依存フラグLIdDipendecyFlag[][]を導出する。なお、レイヤ識別子間依存フラグの代わりに、既述のi番目のレイヤ(レイヤ識別子nuhLId#i)に対するj番目のレイヤ(レイヤ識別子nuhLId#j)が直接参照レイヤ、または間接参照レイヤであるかを示す依存フラグDependencyFlag[i][j]を導出してもよい。
(SG105b)対象NALユニットのレイヤ識別子、テンポラル識別子がターゲットセットTargetSetに含まれるか否か、または、ターゲットセットTargetSetに含まれるレイヤの依存レイヤであるか否かを、対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTarget、及び対象最高次テンポラル識別子、及び依存フラグ(レイヤ識別子間依存フラグLidDependencyFlag[][])に基づいて判定する。より具体的には、以下の(1)〜(3)の条件を満たすか判定し、少なくとも何れかの条件を満たす(真である)場合(SG105でYes)、ステップSG106へ遷移する。それ以外の場合(SG105bでNo)、ステップSG107へ遷移する。
(1)「対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTargetに、対象NALユニットのレイヤ識別子と同一の値がある」の場合、真と判定し、それ以外の場合(対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTargetに、対象NALユニットのレイヤ識別子と同一の値がない)、偽と判定する。
(2)「対象NALユニットのテンポラル識別子が対象最高次テンポラル識別子HighestTidTarget以下である」場合、真と判定し、それ以外の場合(対象NALユニットのテンポラル識別子が対象最高次テンポラル識別子HighestTidTargetより大きい)、偽と判定する。
(3)対象NALユニットのレイヤ識別子nuhLayerIdは、対象レイヤセットLayerSetTargetに含まれる各レイヤ(LayerIdListTarget[k](k=0…n-1,(nはLayerSetTargetに含まれるレイヤ数))に対する直接参照レイヤ、または間接参照レイヤであるかを、レイヤ識別子間依存フラグLIdDepedencyFlag[LayerIdListTarget[k]][nuhLayerId](k=0…n-1)に基づいて判定する。
具体的には、対象レイヤセットLayerSetTargetに含まれるいずれかのレイヤkにおいて、レイヤ識別子間依存フラグLIdDependencyFlag[LayerIdListTarget[k]][nuhLayerId]の値が1の場合、真と判定し、それ以外の場合(対象レイヤセットLayerSetTargetに含まれる全てのレイヤkにおいて、レイヤ識別子間依存フラグLIdDependencyFlag[[LayerIdListTarget[k]][nuhLayerId]の値が0)、偽と判定する。なお、上記判定は、次の式によっても導出されるDepFlagに基づいてもよい。すなわち、レイヤ識別子間依存フラグLIdDepedencyFlag[LayerIdListTarget[k]][nuhLayerId](k=0…n-1)の論理和であるDepFlagが1の場合は、真と判定し、DepFlagが0の場合は偽と判定する。
DepFlag=0; for(k=0; i<k; i++){ DepFlag |= LIdDependencyFlag[LayerIdListTarget[k]][nuhLayerId]; }
(SG106b)対象NALユニットを破棄する。すなわち、対象NALユニットは、ターゲットセットTargetSet、またはターゲットセットTargetの依存レイヤに含まれないため、ビットストリーム抽出部17は、入力された階層符号化データDATAから、対象NALユニットを除去する。
以上、変形例2に係るビットストリーム抽出部17’’の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
以上説明した変形例2に係るビットストリーム抽出部17’’によれば、外部より供給される対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTarget、対象最高次テンポラル識別子HighestTidTarget、及びVPSから導出される依存レイヤ情報(依存フラグ(LIdDependencyFlag[][]、またはDependencyFlag[][]))に基づいて、ビットストリーム抽出処理を行い、入力される階層符号化データDATAから、対象最高次テンポラル識別子HighestTidTarget、及び対象レイヤセットLayerSetTargetのレイヤIDリストLayerIdListTargetによって定まる集合ターゲットセットTargetSet、及びターゲットセットTargetSetの依存レイヤに含まれないNALユニットを除去(破棄)し、ターゲットセットTargetSet、及びターゲットセットTargetSetの依存レイヤに含まれるNALユニットから構成される対象レイヤセット符号化データDATA#T(BitstreamToDecode)を抽出し、出力することを特徴とする。換言すれば、上記ビットストリーム抽出部17’’は、ターゲットセットTargetSetの依存レイヤに含まれるNALユニットを破棄せずに、ターゲットセットTargetSetのビットストリームに、該依存レイヤに含まれるNALユニットを含めている。
なお、上記ビットストリーム抽出部17’’の動作は、「入力される階層符号化データDATAを構成するAUには、AU内で最低次のレイヤ識別子を有するVPSが最大で1つ含まれること」を前提にしているが、これに限定されない。例えば、AU内で最低次のレイヤ識別子以外のレイヤ識別子を有するVPSが、AU内に含まれていてもよい。この場合、ビットストリーム抽出部17’’は、ステップSG102b〜SG10Bにおいて、レイヤ依存情報を導出する対象とするVPSは、ターゲットセットTargetSetに含まれないレイヤ識別子で、最低次のレイヤ識別子とすればよい。通常は、レイヤ識別子“nuhLayerId=0”のVPSが最低次のレイヤ識別子を有するVPSとなるため、該VPSからレイヤ依存情報を導出すればよく、それ以外のターゲットセットTargetSetに含まれないVPSは破棄する。
以上の本実施例に係るビットストリーム抽出部17’’によれば、ビットストリーム抽出後のビットストリーム上で、レイヤセットに、レイヤセット内のレイヤから参照される依存レイヤ(直接参照レイヤ、または間接参照レイヤ)に関するVCL、non-VCLのNALユニットが含まれないという問題を防止することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
(ビットストリーム抽出部17の変形例2に係るビットストリーム制約)
なお、変形例2に係るビットストリーム抽出部17’’に記載したビットストリーム抽出を行うために、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件CZ1を少なくとも満たさなければならない。
CZ1:「ターゲットセットTargetSet(レイヤセット)には、ターゲットセットTargetSet内の各レイヤが依存(参照)する依存レイヤが含まれること」
上記ビットストリーム制約CZ1は、換言すれば、「レイヤセット内のある対象レイヤが参照する依存レイヤは、同一レイヤセットに含まれること」ということである。
「レイヤセット内には、レイヤセット内のある対象レイヤが参照する依存レイヤは、同一レイヤセットに含まれること」ということは、「レイヤセットAのサブセットであるレイヤセットB内のレイヤが、レイヤセットAにおいては、“レイヤセットAに含まれるが、レイヤセットBに含まれない”レイヤのVCLまたは、non-VCLを参照するケースを禁止すること」を意味する。従って、上記ビットストリーム制約を設けることで、ビットストリーム抽出後のビットストリーム上で、レイヤセット内のレイヤから参照される依存レイヤ(直接参照レイヤ、または間接参照レイヤ)に関するVCL、non-VCLのNALユニットが含まれないという問題を解消することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
(ビットストリーム抽出部17の変形例3)
さらに、ビットストリーム抽出部17は、ビットストリーム抽出部17の変形例1a及び、変形2を組み合わせて構成してもよい。すなわち、「ターゲットセットTargetSet内の各レイヤが依存する参照レイヤ(直接参照レイヤ、及び間接参照レイヤ)のレイヤ識別子がターゲットセットTargetSetに含まれない場合、該レイヤ識別子を有する参照レイヤのVCL及びnon-VCLのNALユニット」の破棄を省略し、かつ、「ターゲットセットTargetSetにレイヤ識別子nuh_layer_id=0が含まれない場合、レイヤ識別子nuh_layer_id=0であるパラメータセット(VPS、SPS、PPS)を含むnon-VCLのNALユニット」の破棄を省略し、抽出後のターゲットセットTargetSetのビットストリームに該VCL及びnon-VCLが含まれるようにしてもよい。この場合、ビットストリームコンフォーマンスとして、コンフォーマンス条件CZ1に加えて、パラメータセット(SPS、PPS)に関するコンフォーマンス条件CA1、及びCA2を少なくとも満たさなければならない。
CA1:「レイヤ識別子nuh_layer_id=layerIdAであるレイヤlayerAに対するアクティブSPSのレイヤ識別子は、0、または、layerIdA、または、レイヤlayerAの直接参照レイヤ、または、間接参照レイヤのレイヤ識別子nuh_layer_idの値と等しいこと」
CA2:「レイヤ識別子nuh_layer_id=layerIdAであるレイヤlayerAに対するアクティブPPSのレイヤ識別子は、0、または、layerIdA、または、レイヤlayerAの直接参照レイヤ、または、間接参照レイヤのレイヤ識別子nuh_layer_idの値と等しいこと」
上記コンフォーマンス条件CZ1、及びCA1〜CA2、及び従来の「VPSのレイヤ識別子nuh_layer_idは0であること」を適用する場合、変形例3に係るビットストリーム抽出部17’’’の動作を、図30を参照して説明する。なお、変形例3に係るビットストリーム抽出部17’’と共通の動作については、同一の符号を付与し、説明を省略する。なお、ビットストリーム抽出部17’’’は、VPSの符号化パラメータから依存レイヤを導出するために、パラメータセット復号部12におけるVPSの復号手段と同一の機能を有する。図30は、ビットストリーム抽出部17’’’におけるアクセスユニット単位のビットストリーム抽出処理を示すフロー図である。
(SG102b)対象NALユニットのNALユニットタイプ(nal_unit_type)が、パラメータセットであるか否かを、図7に示す“nal_unit_type”と“Name of nal_unit_type”に基づいて判定する。ここでは、コンフォーマンス条件CZ1を満たすため、NALユニットタイプが、“VPS_NUT”(nal_unit_type==32)であるかを判定する。すなわち、NALユニットタイプが、ビデオパラメータセットの場合(SG102bでYes)、ステップSG10Cへ遷移する。それ以外の場合(SG102bでNo)、ステップSG10Bへ遷移する。
(SG10B)ビットストリーム抽出部17’’’は、VPSである対象NALユニットを復号し、ターゲットセットTargetSetに含まれる各レイヤの依存レイヤ(依存レイヤセット)を導出する。図29のステップSG10Bと処理は同一であるため説明を省略する。
(SG10C)条件(1)、及び(2)を全て満たすか判定する。
(1)対象NALユニットのNALユニットタイプ(nal_unit_type)が、パラメータセットである否かを、図7に示す“nal_unit_type”と“Name of nal_unit_type”に基づいて判定する。具体的には、NALユニットタイプが、“VPS_NUT”(nal_unit_type==32)、または、“SPS_NUT”(nal_unit_type==33)、または、“PPS_NUT”(nal_unit_type==34)であるかを判定する。すなわち、NALユニットタイプが、VPS、SPS、PPSのいずれかのパラメータセットである場合は、真と判定し、それ以外の場合は偽と判定する。
(2)対象NALユニットのレイヤ識別子が0であるか判定する。対象NALユニットのレイヤ識別子が0である場合は、真と判定し、それ以外の場合は偽と判定する。
上記条件(1)及び(2)が全て真の場合(対象NALユニットのNALユニットタイプがパラメータセット(VPS、または、SPS、またはPPS)であり、かつ、対象NALユニットのレイヤ識別子が0である)(SG10CでYes)、ステップSG0107へ遷移する。それ以外の場合(SG10CでNo)は、ステップSG105bへ遷移する。
(SG105b)対象NALユニットのレイヤ識別子、テンポラル識別子がターゲットセットTargetSetに含まれるか否か、または、ターゲットセットTargetSetに含まれるレイヤの依存レイヤであるか否かを、対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTarget、及び対象最高次テンポラル識別子、及び依存フラグ(レイヤ識別子間依存フラグLIdDependencyFlag[][])に基づいて判定する。図29のステップSG105bと処理は同一であるため説明を省略する。
(SG106b)対象NALユニットを破棄する。すなわち、対象NALユニットは、ターゲットセットTargetSetに含まれない、またはターゲットセットTargetSetの各レイヤの依存レイヤでないため、ビットストリーム抽出部17’’’は、入力された階層符号化データDATAから、対象NALユニットを除去する。
以上、変形例3に係るビットストリーム抽出部17’’’の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
以上説明した変形例3に係るビットストリーム抽出部17’’’によれば、外部より供給される対象レイヤセットLayerSetTargetを構成するレイヤのレイヤIDリストLayerIdListTarget、対象最高次テンポラル識別子HighestTidTarget、及びVPSから導出される依存レイヤ情報(依存フラグ(LIdDependencyFlag[][]、またはDependencyFlag[][]))に基づいて、ビットストリーム抽出処理を行い、入力される階層符号化データDATAから、レイヤ識別子nuh_layer_id=0であるパラメータセット(VPS、SPS、PPS)を含むNALユニットを除いて、対象最高次テンポラル識別子HighestTidTarget、及び対象レイヤセットLayerSetTargetのレイヤIDリストLayerIdListTargetによって定まる集合ターゲットセットTargetSetに含まれないレイヤ識別子を有するNALユニット、及びターゲットセットTargetSet内の各レイヤの依存レイヤのレイヤ識別子を有さないNALユニットを除去(破棄)し、ターゲットセットTargetSetに含まれるレイヤ識別子を有するNALユニット、及びターゲットセットTargetSet内の各レイヤの依存レイヤのレイヤ識別子を有するNALユニット、及びnuh_layer_id=0であるパラメータセット(VPS/SPS/PPS)を含むNALユニットから構成される対象レイヤセット符号化データDATA#T(BitstreamToDecode)を抽出し、出力することを特徴とする。換言すれば、上記ビットストリーム抽出部17’’’は、ターゲットセットTargetSet内の各レイヤの依存レイヤのレイヤ識別子を有するNALユニット、及びnuh_layer_id=0であるパラメータセットのNALユニットを破棄せずに、ターゲットセットTargetSetのビットストリームに、該依存レイヤに含まれるNALユニット、及びnuh_layer_id=0であるパラメータセットのNALユニットを含めている。
なお、上記ビットストリーム抽出部17’’’の動作は、「入力される階層符号化データDATAを構成するAUには、AU内で最低次のレイヤ識別子を有するVPSが最大で1つ含まれること」を前提にしているが、これに限定されない。例えば、AU内で最低次のレイヤ識別子以外のレイヤ識別子を有するVPSが、AU内に含まれていてもよい。この場合、ビットストリーム抽出部17’’’は、ステップSG102b〜SG10Bにおいて、レイヤ依存情報を導出する対象とするVPSは、ターゲットセットTargetSetに含まれないレイヤ識別子で、最低次のレイヤ識別子とすればよい。通常は、レイヤ識別子“nuhLayerId=0”のVPSが最低次のレイヤ識別子を有するVPSとなるため、該VPSからレイヤ依存情報を導出すればよく、それ以外のターゲットセットTargetSetに含まれないVPSは破棄(あるいは無視)する。
以上の本実施例に係るビットストリーム抽出部17’’’によれば、ビットストリーム抽出後のビットストリーム上で、レイヤセットに、レイヤセット内のレイヤから参照される依存レイヤ(直接参照レイヤ、または間接参照レイヤ)に関するVCL、non-VCLのNALユニット、及びnuh_layer_id=0であるパラメータセット(VPS/SPS/PPS)のNALユニットが含まれないという問題を防止することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
〔階層動画像符号化装置〕
以下では、本実施形態に係る階層動画像符号化装置2の構成について、図22を参照して説明する。
(階層動画像符号化装置の構成)
図22を用いて、階層動画像符号化装置2の概略構成を説明する。図22は、階層動画像符号化装置2の概略的構成を示した機能ブロック図である。階層動画像符号化装置2は、符号化対象とするレイヤセット(対象レイヤセット)に含まれる各レイヤの入力画像PIN#T(ピクチャ)を符号化して、対象レイヤセットの階層符号化データDATAを生成する。すなわち、動画像符号化装置2は、対象レイヤセットに含まれる、最低次のレイヤIDから最高次のレイヤIDまで、昇順で、各レイヤのピクチャを符号化し、その符号化データを生成する。言い換えれば、対象レイヤセットのレイヤIDリストLayerSetLayerIdList[0]…LayerSetIdList[N-1](Nは対象レイヤセットに含まれるレイヤ数)の順で、各レイヤのピクチャを符号化する。なお、階層動画像符号化装置2は、階層動画像復号装置1(及びその変形例を含む)が復号可能なビットストリームであることを保障するため、前述のCX1(CX1’)、あるいはCX2(CX2’)、あるいはCY1、あるいはCY2、あるいは(CY2かつCY3かつCY4)、あるいはCZ1、あるいは、(CZ1かつCA1かつCA2かつ「VPSのレイヤ識別子nuh_layer_idは0であること」)のビットストリームコンフォーマンスを満たすように、対象レイヤセットの階層符号化データDATAを生成する。上記ビットストリームコンフォーマンスを満たす階層符号化データDATAを生成することで、階層復号装置1において、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
図22に示すように階層動画像符号化装置2は、対象レイヤセットピクチャ符号化部20、及びNAL多重化部21を含んで備える。さらに、対象レイヤセットピクチャ符号化部20は、パラメータセット符号化部22、ピクチャ符号化部24、復号ピクチャ管理部15、および符号化パラメータ決定部26を含んで構成される。
復号ピクチャ管理部15は、既に説明した階層動画像復号装置1の備える復号ピクチャ管理部15と同一の構成要素である。ただし、階層動画像符号化装置2の備える復号ピクチャ管理部15では、内部のDPBに記録されたピクチャを出力ピクチャとして出力する必要はないため、当該出力は省略可能である。なお、階層動画像復号装置1の復号ピクチャ管理部15の説明において「復号」として説明した記載は「符号化」と置き換えることで、階層動画像符号化装置2の備える復号ピクチャ管理部15にも適用できる。
NAL多重化部21は、入力される対象レイヤセットの各レイヤのVCL、及びnon-VCLを、NALユニットに格納することでNAL多重化した階層動画像符号化データDATA#Tを生成し、外部へ出力する。言い換えれば、NAL多重化部21は、対象レイヤセットピクチャ符号化部20から供給されるnon-VCLの符号化データ、VCLの符号化データ、及び各non-VCL、VCLに対応するNALユニットタイプ、レイヤ識別子、テンポラル識別子を、NALユニットに格納して(符号化して)、NAL多重化した階層符号化データDATA#Tを生成する。
符号化パラメータ決定部26は、符号化パラメータの複数のセットのうち、1つのセットを選択する。符号化パラメータとは、各パラメータセット(VPS、SPS、PPS)に関連した各種パラメータや、ピクチャを符号化するための予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。符号化パラメータ決定部26は、上記符号化パラメータの複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータを可変長符号化して得られる対象レイヤセットの各レイヤの符号化データの情報量である。二乗誤差は、入力画像PIN#Tと予測画像との差分値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部26は、算出したコスト値が最小となる符号化パラメータのセットを選択し、選択した各符号化パラメータのセットをパラメータセット符号化部22、及びピクチャ符号化部24へ供給する。なお、符号化パラメータ決定部26から出力されるパラメータセットは、符号化データに含まれるパラメータセット(VPS、SPS、PPS)に係るシンタックスのシンタックス値、および、該シンタックス値より導出される変数の集合と表現することもできる。
パラメータセット符号化部22は、符号化パラメータ決定部26から入力される各パラメータセットの符号化パラメータと入力画像に基づいて、入力画像の符号化に用いるパラメータセット(VPS、SPS、およびSPS)を設定し、各パラメータセットをnon-VCL NALユニットに格納されるデータとして、NAL多重化部21へ供給する。一般に、パラメータセットの符号化は既定のシンタックス表に基づいて実行される。すなわち、シンタックス表の定める手順に従って、シンタックス表に含まれるシンタックスのシンタックス値を符号化し、ビット列を生成し、符号化データとして出力する。なお、パラメータセット符号化部22で符号化されるパラメータセットには、階層動画像復号装置1の備えるパラメータセット復号部12の説明で記載したレイヤ間依存情報(直接依存フラグ、レイヤ依存タイプビット長、レイヤ依存タイプ)を含んでいる。パラメータセット符号化部22は、レイヤ依存タイプの一部として、non-VCL依存有無フラグを符号化する。なお、パラメータセット符号化部22は、NAL多重化部21へnon-VCLの符号化データを供給するときに、non-VCLに対応するNALユニットタイプ、レイヤ識別子、及びテンポラル識別子も付与して出力する。
また、パラメータセット符号化部22で生成されるパラメータセットには、該パラメータセットを識別する識別子、及び各レイヤのピクチャを復号するために参照する該パラメータセットが参照するパラメータセット(アクティブパラメータセット)を指定するアクティブパラメータセット識別子が含まれる。具体的には、ビデオパラメータセットVPSであれば、該VPSを識別するVPS識別子が含まれる。シーケンスパラメータセットSPSであれば、該SPSを識別するSPS識別子(sps_seq_parameter_set_id)、及び該SPSや他のシンタックスが参照するVPSを特定するアクティブVPS識別子(sps_video_parameter_set_id)が含まれる。ピクチャパラメータセットPPSであれば、該PPSを識別するPPS識別子(pps_pic_parameter_set_id)、及び該PPSや他のシンタックスが参照するSPSを特定するアクティブSPS識別子(pps_seq_parameter_set_id)が含まれる。
ピクチャ符号化部24は、入力される各レイヤの入力画像PIN#T、符号化パラメータ決定部26より供給されるパラメータセット、および復号ピクチャ管理部部15に記録されている参照ピクチャに基づいて、ピクチャを構成するスライスに対応する各レイヤの入力画像の一部を符号化して、当該部分の符号化データを生成し、VCL NALユニットに格納されるデータとして、NAL多重化部21へ供給する。ピクチャ符号化部24の詳細な説明は後述する。なお、ピクチャ符号化部24は、NAL多重化部21へVCLの符号化データを供給するときに、VCLに対応するNALユニットタイプ、レイヤ識別子、及びテンポラル識別子も付与して出力する。
(ピクチャ符号化部24)
図23を参照して、ピクチャ符号化部24の構成の詳細を説明する。図23は、ピクチャ符号化部24の概略的構成を示した機能ブロック図である。
図23に示すように、ピクチャ符号化部24は、スライスヘッダ符号化部241、及びCTU符号化部242を含んで構成される。
スライスヘッダ符号化部241は、入力されるアクティブパラメータセットに基づいてスライス単位で入力される各レイヤの入力画像の符号化に用いるスライスヘッダを生成する。生成されたスライスヘッダは、スライス符号化データの一部として出力されるとともに、入力画像と共にCTU符号化部242へ供給される。なお、スライスヘッダ符号化部241で生成されるスライスヘッダには、各レイヤのピクチャを復号するために参照するピクチャパラメータセットPPS(アクティブPPS)を指定するアクティブPPS識別子が含まれる。
CTU符号化部242は、入力されるアクティブパラメータセット、スライスヘッダに基づいて、入力画像(対象スライス部分)をCTU単位で符号化して、対象スライスに係るスライスデータおよび復号画像(復号ピクチャ)を生成して出力する。より具体的には、CTU符号化部242は、パラメータセットが含むCTBサイズの大きさのCTBを単位として対象スライスの入力画像を分割し、各CTBに対応する画像を一つのCTUとして符号化する。CTUの符号化は、予測残差符号化部2421、予測画像符号化部2422、CTU復号画像生成部2423により実行される。
予測残差符号化部2421は、入力される入力画像と予測画像の差分画像を、変換・量子化して得られる量子化残差情報(TT情報)を、スライス符号化データに含まれるスライスデータの一部として出力する。また、量子化残差情報に逆変換・逆量子化を適用して予測残差を復元し、復元した予測残差をCTU復号画像生成部2423に出力する。
予測画像符号化部2422は、符号化パラメータ決定部26で決定された、対象スライスに含まれる対象CTUの予測方式および予測パラメータに基づいて、予測画像を生成して予測残差符号化部2421とCTU復号画像生成部2423に出力する。なお、予測方式や予測パラメータの情報は予測情報(PT情報)として可変長符号化されて、スライス符号化データに含まれるスライスデータの一部として出力される。予測画像符号化部2422で選択可能な予測方式には、少なくともレイヤ間画像予測が含まれている。なお、インター予測、または、レイヤ間画像予測を使用する場合は、復号ピクチャ管理部15より対応する参照ピクチャを読み出す。
CTU復号画像生成部2423は、階層動画像復号装置1の備えるCTU復号画像制生成部1423と同一の構成要素であるため、説明を省略する。なお、対象CTUの復号画像は、復号ピクチャ管理部15へ供給され、内部のDPBに記録される。
<ピクチャ符号化部24の符号化プロセス>
以下、図24を参照して、ピクチャ符号化部24における対象レイヤiのピクチャの符号化の概略的な動作について説明する。図24は、ピクチャ符号化部24における対象レイヤiのピクチャを構成するスライス単位の符号化プロセスを示すフロー図である。
(SE101)符号化対象スライスの先頭スライスフラグ(first_slice_segment_in_pic_flag)を符号化する。すなわち、スライス単位に分割された入力画像(以降、符号化対象スライス)が、ピクチャ内の符号化順(復号順)(以降、処理順)で先頭スライスであれば、先頭スライスフラグ(first_slice_segment_in_pic_flag)が1である。符号化対象スライスが先頭スライスでなければ、先頭スライスフラグは0である。なお、先頭スライスフラグが1の場合、符号化対象スライスの先頭CTUアドレスを0に設定する。さらに、ピクチャ内の処理済みCTU数のカウンタnumCtuを0に設定する。先頭スライスフラグが0の場合、後述のSE106で符号化されるスライスアドレスに基づいて、符号化対象スライスの先頭CTUアドレスを設定する。
(SE102)符号化対象スライスの符号化時に参照するアクティブPPSを指定するアクティブPPS識別子(slice_pic_paramter_set_id)を符号化する。
(SE104)符号化パラメータ決定部26で決定されたアクティブパラメータセットをフェッチする。すなわち、符号化対象スライスが参照するアクティブPPS識別子(slice_pic_parameter_set_id)と同一のPPS識別子(pps_pic_parameter_set_id)を有するPPSをアクティブPPSとし、符号化パラメータ決定部26から、アクティブPPSの符号化パラメータをフェッチする(読み出す)。さらに、アクティブPPS内のアクティブSPS識別子(pps_seq_parameter_set_id)と同一のSPS識別子(sps_seq_parameter_set_id)を有するSPSをアクティブSPSとし、符号化パラメータ決定部26から、アクティブSPSの符号化パラメータをフェッチする。さらに、アクティブSPS内のアクティブVPS識別子(sps_video_parameter_set_id)と同一のVPS識別子(vps_video_parameter_set_id)を有するVPSをアクティブVPSとし、符号化パラメータ決定部26から、アクティブVPSの符号化パラメータをフェッチする。
(SE105)符号化対象スライスが、ピクチャ内の処理順で先頭スライスであるか否かを先頭スライスフラグに基づいて判定する。先頭スライスフラグが0の場合(SE105でYes)、ステップSE106へ遷移する。それ以外の場合(SE105でNo)、ステップSE106の処理をスキップする。なお、先頭スライスフラグが1の場合、符号化対象スライスのスライスアドレスは0である。
(SE106)符号化対象スライスのスライスアドレス(slice_segment_address)を符号化する。なお、符号化対象スライスのスライスアドレス(符号化対象スライスの先頭CUTアドレス)は、例えば、ピクチャ内の処理済CTU数のカウンタnumCtuに基づいて設定可能である。この場合、スライスアドレスslice_segment_adress=numCtuである。すなわち、符号化対象スライスの先頭CTUアドレス=numCtuでもある。なお、スライスアドレスの決定方法はこれに限定されず、実施可能な範囲で変更可能である。
・・・省略・・・
(SE10A)CTU符号化部242は、入力されるアクティブパラメータセット、スライスヘッダに基づいて、入力画像(符号化対象スライス)をCTU単位で符号化して、符号化対象スライスのスライスデータの一部として、CTU情報の符号化データ(図18のSYNSD01)を出力する。また、CTU符号化部242は、各CTUに対応する領域のCTU復号画像を生成し出力する。さらに、各CTU情報の符号化データの後に、該CTUが符号化対象スライスの終端であるかを示すスライス終端フラグ(end_of_slice_segment_flag)(図18のSYNSD2)を符号化する。該CTUが符号化対象スライスの終端である場合、スライス終端フラグを1へ設定し、それ以外の場合は0へ設定し、符号化する。また、各CTUの符号化後に、処理済CTU数numCtuの値を1加算する(numCtu++)。
(SE10B)該CTUが符号化対象スライスの終端であるか否かをスライス終端フラグに基づいて判定する。スライス終端フラグが1の場合(SE10BでYes)、ステップSE10Cへ遷移する。それ以外の場合(SE10BでNo)、後続のCTUを符号化するため、ステップSE10Aへ遷移する。
(SE10C)処理済CTU数numCtuが、ピクチャを構成するCTUの総数(PicSizeInCtbsY)に達したか判定する。すなわち、numCtu==PicSizeInCtbsYであるか判定する。numCtuがPicSizeInCtbsYと等しい場合(SE10CでYes)、符号化対象ピクチャを構成するスライス単位の符号化処理を終了する。それ以外の場合(numCtu<PicSizeInCtbsY)(SE10CでNo)、符号化対象対象ピクチャを構成するスライス単位の符号化処理を継続するため、ステップSE101へ遷移する。
以上、実施例1に係るピクチャ符号化部24の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
(動画像符号化装置2の効果)
以上説明した本実施形態に係る階層動画像符号化装置2は、階層動画像復号装置1(及びその変形例を含む)が復号可能なビットストリームであることを保障するため、前述のCX1(CX1’)、あるいはCX2(CX2’)、あるいはCY1、あるいはCY2、あるいは(CY2かつCY3かつCY4)、あるいはCZ1、あるいは、(CZ1かつCA1かつCA2かつ「VPSのレイヤ識別子nuh_layer_idは0であること」)のビットストリームコンフォーマンスを満たすように、対象レイヤセットの階層符号化データDATAを生成する。上記ビットストリームコンフォーマンスを満たす階層符号化データDATAを生成することで、階層復号装置1において、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
また、以上説明した本実施形態に係る階層動画像符号化装置2は、対象レイヤの符号化に利用されるパラメータセット(VPS,SPS、PPS)ととして、参照レイヤの符号化に利用されるパラメータセットを共有することにより、対象レイヤのパラメータセットに係る符号量を削減することが可能である。すなわち、より少ない符号量でパラメータセットを符号化することができる。
(他の階層動画像符号化/復号システムへの適用例)
上述した階層動画像符号化装置2及び階層動画像復号装置1は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用できる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
図25に基づいて、上述した階層動画像符号化装置2および階層動画像復号装置1を、動画像の送信および受信に利用できることを説明する。図25の(a)は、階層動画像符号化装置2を搭載した送信装置PROD_Aの構成を示したブロック図である。
図25の(a)に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3とを備えている。上述した階層動画像符号化装置2は、この符号化部PROD_A1として利用される。
送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部A7を更に備えていてもよい。図25の(a)においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部(不図示)を介在させるとよい。
図25の(b)は、階層動画像復号装置1を搭載した受信装置PROD_Bの構成を示したブロック図である。図25の(b)に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3とを備えている。上述した階層動画像復号装置1は、この復号部PROD_B3として利用される。
受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示するディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図25の(b)においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部(不図示)を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送(ここでは、送信先が予め特定されていない送信態様を指す)であってもよいし、通信(ここでは、送信先が予め特定されている送信態様を指す)であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を無線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を有線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。
また、インターネットを用いたVOD(Video On Demand)サービスや動画共有サービスなどのサーバ(ワークステーションなど)/クライアント(テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど)は、変調信号を通信で送受信する送信装置PROD_A/受信装置PROD_Bの一例である(通常、LANにおいては伝送媒体として無線又は有線の何れかが用いられ、WANにおいては伝送媒体として有線が用いられる)。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。
図26に基づいて、上述した階層動画像符号化装置2および階層動画像復号装置1を、動画像の記録および再生に利用できることを説明する。図26の(a)は、上述した階層動画像符号化装置2を搭載した記録装置PROD_Cの構成を示したブロック図である。
図26の(a)に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した階層動画像符号化装置2は、この符号化部PROD_C1として利用される。
なお、記録媒体PROD_Mは、(1)HDD(Hard Disk Drive)やSSD(Solid State Drive)等のように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSB(Universal Serial Bus)フラッシュメモリ等のように、記録装置PROD_Cに接続されるタイプのものであってもよいし、(3)DVD(Digital Versatile Disc)やBD(Blu-ray Disc:登録商標)等のように、記録装置PROD_Cに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部C6を更に備えていてもよい。図26の(a)においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。
なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部(不図示)を介在させるとよい。
このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD(Hard Disk Drive)レコーダなどが挙げられる(この場合、入力端子PROD_C4又は受信部PROD_C5が動画像の主な供給源となる)。また、カムコーダ(この場合、カメラPROD_C3が動画像の主な供給源となる)、パーソナルコンピュータ(この場合、受信部PROD_C5又は画像処理部C6が動画像の主な供給源となる)、スマートフォン(この場合、カメラPROD_C3又は受信部PROD_C5が動画像の主な供給源となる)なども、このような記録装置PROD_Cの一例である。
図26の(b)は、上述した階層動画像復号装置1を搭載した再生装置PROD_Dの構成を示したブロックである。図26の(b)に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した階層動画像復号装置1は、この復号部PROD_D2として利用される。
なお、記録媒体PROD_Mは、(1)HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、(3)DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図26の(b)においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部(不図示)を介在させるとよい。
このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる(この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる)。また、テレビジョン受像機(この場合、ディスプレイPROD_D3が動画像の主な供給先となる)、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)、デスクトップ型PC(この場合、出力端子PROD_D4又は送信部PROD_D5が動画像の主な供給先となる)、ラップトップ型又はタブレット型PC(この場合、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)、スマートフォン(この場合、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)なども、このような再生装置PROD_Dの一例である。
(ハードウェア的実現およびソフトウェア的実現について)
最後に、階層動画像復号装置1、階層動画像符号化装置2の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
後者の場合、上記各装置は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ(またはCPUやMPU(Micro Processing Unit))が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM(Compact Disc Read-Only Memory)/MO(Magneto-Optical)/MD(Mini Disc)/DVD(Digital Versatile Disk)/CD−R(CD Recordable)等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM(Erasable Programmable Read-only Memory)/EEPROM(登録商標)(ElectricallyErasable and Programmable Read-only Memory)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN(Local Area Network)、ISDN(Integrated Services Digital Network)、VAN(Value-Added Network)、CATV(Community Antenna Television)通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE(Institute of Electrical and Electronic Engineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric DigitalSubscriber Line)回線等の有線でも、IrDA(Infrared Data Association)やリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(登録商標)(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る画像復号装置は、入力画像符号化データを復号する画像復号装置であって、1以上のレイヤからなる復号対象レイヤセットを示すレイヤIDリストに基づいて、前記入力画像符号化データから、前記復号対象レイヤセットに係る画像符号化データを抽出する画像符号化データ抽出部と、前記抽出された画像符号化データより、復号対象レイヤセットのピクチャを復号するピクチャ復号部と、を備え、前記画像符号化データ抽出部から抽出された前記入力画像符号化データは、レイヤ識別子が0に等しくない、かつ前記レイヤIDリストに含まれないレイヤ識別子を有するnon-VCL NALユニットを含まないことを特徴とする。
本発明の態様2に係る画像復号装置は、上記態様1において、前記画像符号化データに含まれるNALユニットのテンポラルIDは、前記復号対象レイヤセットの最高次テンポラルIDの値以下であることを特徴とする。
本発明の態様3に係る画像復号装置は、上記態様1において、前記non-VCL NALユニットは、パラメータセットを有するNALユニットであることを特徴とする。
本発明の態様4に係る画像復号装置は、上記態様2において、前記パラメータセットは、ビデオパラメータセットを含むことを特徴とする。
本発明の態様5に係る画像復号装置は、上記態様3において、前記パラメータセットは、シーケンスパラメータセットを含むことを特徴とする。
本発明の態様6に係る画像復号装置は、上記態様3において、前記パラメータセットは、ピクチャパラメータセットを含むことを特徴とする。
本発明の態様7に係る画像復号方法は、入力画像符号化データを復号する画像復号方法であって、1以上のレイヤからなる復号対象レイヤセットを示すレイヤIDリストに基づいて、前記入力画像符号化データから、前記復号対象レイヤセットに係る画像符号化データを抽出する画像符号化データ抽出工程と、前記抽出された画像符号化データより、復号対象レイヤセットのピクチャを復号するピクチャ復号工程と、を備え、前記画像符号化データ抽出工程で抽出された前記入力画像符号化データは、レイヤ識別子が0に等しくない、かつ前記レイヤIDリストに含まれないレイヤ識別子を有するnon-VCL NALユニットを含まないことを特徴とする。
本発明の態様8に係る画像復号装置は、対象レイヤセットのレイヤIDリストに基づいて、入力画像符号化データから復号対象画像符号化データを抽出する画像符号化データ抽出部を備える画像復号装置であって、前記画像符号化データ抽出部は、さらに、入力画像符号化データ中で、対象レイヤセットのレイヤIDリスト中の最低次レイヤ識別子より小さいレイヤ識別子を有する非ビデオ符号化レイヤNALユニットのレイヤ識別子を前記最低次レイヤ識別子へ更新するレイヤ識別子更新部を備え、前記画像符号化データ抽出部は、前記レイヤ識別子更新部によってレイヤ識別子が更新された非ビデオ符号化レイヤNALユニットを含む画像符号化データから、前記対象レイヤセットのレイヤIDリストに含まれないレイヤ識別子を有するNALユニットを破棄し、復号対象画像符号化データを生成することを特徴とする。
以上の画像復号装置によれば、ビットストリーム抽出後のビットストリーム上で、レイヤセットに非ビデオ符号化レイヤのNALユニットが含まれないという問題を防止することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
本発明の態様9に係る画像復号装置は、対象レイヤセットのレイヤIDリストに基づいて、入力画像符号化データから復号対象画像符号化データを抽出する画像符号化データ抽出部を備える画像復号装置であって、前記画像符号化データ抽出部は、前記入力画像符号化データから、レイヤ識別子が0であるパラメータセットのNALユニットを除いて、前記対象レイヤセットのレイヤIDリストに含まれないレイヤ識別子を有するNALユニットを破棄し、復号対象画像符号化データを生成することを特徴とする。
以上の画像復号装置によれば、ビットストリーム抽出後のビットストリーム上で、レイヤセットにレイヤ識別子が0であるパラメータセットのNALユニットが含まれないという問題を防止することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
本発明の態様10に係る画像復号装置は、対象レイヤセットのレイヤIDリストに基づいて、入力画像符号化データから復号対象画像符号化データを抽出する画像符号化データ抽出部を備える画像復号装置であって、前記画像符号化データ抽出部は、さらに、入力画像符号化データ中で、対象レイヤセットに含まれる各レイヤが依存する依存レイヤ情報を導出する依存レイヤ情報導出部を備え、前記画像符号化データ抽出部は、前記入力画像符号化データから、前記依存レイヤ情報導出部によって導出された依存レイヤのNALユニットを除いて、前記対象レイヤセットのレイヤIDリストに含まれないレイヤ識別子を有するNALユニットを破棄し、復号対象画像符号化データを生成することを特徴とする。
以上の画像復号装置によれば、ビットストリーム抽出後のビットストリーム上で、レイヤセットに、対象レイヤセットに含まれる各レイヤが依存する依存レイヤのNALユニットが含まれないという問題を防止することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
本発明の態様11に係る画像復号装置は、上記態様8において、さらに、前記非ビデオ符号化レイヤNALユニットは、パラメータセットを含むNALユニットであることを特徴とする。
以上の画像復号装置によれば、ビットストリーム抽出後のビットストリーム上で、レイヤセットにパラメータセットのNALユニットが含まれないという問題を防止することができる。
本発明の態様12に係る画像復号装置は、上記態様9または態様11において、さらに、前記パラメータセットはビデオパラメータセットであることを特徴とする。
以上の画像復号装置によれば、ビットストリーム抽出後のビットストリーム上で、レイヤセットにビデオパラメータセットのNALユニットが含まれないという問題を防止することができる。
本発明の態様13に係る画像復号装置は、上記態様9または態様11において、さらに、前記パラメータセットはシーケンスパラメータセットであることを特徴とする。
以上の画像復号装置によれば、ビットストリーム抽出後のビットストリーム上で、レイヤセットにシーケンスパラメータセットのNALユニットが含まれないという問題を防止することができる。
本発明の態様14に係る画像復号装置は、上記態様9または態様11において、さらに、前記パラメータセットはピクチャパラメータセットであることを特徴とする。
以上の画像復号装置によれば、ビットストリーム抽出後のビットストリーム上で、レイヤセットにピクチャパラメータセットのNALユニットが含まれないという問題を防止することができる。
本発明の態様15に係る画像復号装置は、上記態様10において、さらに、前記依存レイヤは、直接参照レイヤ、または間接参照レイヤであることを特徴とする。
以上の画像復号装置によれば、ビットストリーム抽出後のビットストリーム上で、レイヤセットに、対象レイヤセットに含まれる各レイヤが依存する直接参照レイヤ、または間接参照レイヤのNALユニットが含まれないという問題を防止することができる。
本発明の態様16に係る画像符号化データは、ある対象レイヤから参照されるビデオパラメータセットは、対象レイヤを含むアクセスユニット内で最低次のレイヤ識別子を有するVCLと同一のレイヤ識別子である、というコンフォーマンス条件を満たす画像符号化データであることを特徴とする。
以上の画像符号化データによれば、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、レイヤセットにビデオパラメータセットが含まれないという問題を防止することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
本発明の態様17に係る画像符号化データは、ある対象レイヤから参照されるビデオパラメータセットのレイヤ識別子の値は0である、というコンフォーマンス条件を満たす画像符号化データであることを特徴とする。
以上の画像符号化データによれば、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、レイヤセットにレイヤ識別子が0であるビデオパラメータセットが含まれないという問題を防止することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
本発明の態様18に係る画像符号化データは、上記態様17において、さらに、ある対象レイヤから参照されるシーケンスパラメータセットのレイヤ識別子の値は0である、というコンフォーマンス条件を満たす画像符号化データであることを特徴とする。
以上の画像符号化データによれば、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、レイヤセットにレイヤ識別子が0であるシーケンスパラメータセットが含まれないという問題を防止することができる。
本発明の態様19に係る画像符号化データは、上記態様17または態様18において、さらに、ある対象レイヤから参照されるピクチャパラメータセットのレイヤ識別子の値は0である、というコンフォーマンス条件を満たす画像符号化データであることを特徴とする。
以上の画像符号化データによれば、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、レイヤセットにレイヤ識別子が0であるピクチャパラメータセットが含まれないという問題を防止することができる。
本発明の態様20に係る画像符号化データは、レイヤセットには、レイヤセット内のある対象レイヤから参照される依存レイヤが含まれる、というコンフォーマンス条件を満たすの画像符号化データであることを特徴とする。
以上の画像符号化データによれば、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、レイヤセットに、レイヤセット内のある対象レイヤから参照される依存レイヤが含まれないという問題を防止することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
本発明の態様21に係る画像符号化装置は、対象レイヤセットのレイヤIDリストに基づいて、前記対象レイヤセットに対応する入力レイヤ画像から画像符号化データを生成する画像符号化装置であって、前記画像符号化装置は、前記対象レイヤセット内で、ある対象レイヤから参照される非ビデオ符号化レイヤのレイヤ識別子は、前記対象レイヤセットのアクセスユニット内で最低次のレイヤ識別子を有するVCLと同一のレイヤ識別子である、というコンフォーマンス条件を満たす画像符号化データを生成することを特徴とする。
以上の画像符号化装置によれば、上記画像符号化装置によって生成された画像符号化データから、ビットストリーム抽出によって生成されたサブビットストリームにおいて、ある対象レイヤから参照される非ビデオ符号化レイヤのNALユニットが含まれないという問題を防止することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
本発明の態様22に係る画像符号化装置は、対象レイヤセットのレイヤIDリストに基づいて、前記対象レイヤセットに対応する入力レイヤ画像から画像符号化データを生成する画像符号化装置であって、前記画像符号化装置は、前記対象レイヤセット内で、ある対象レイヤから参照される非ビデオ符号化レイヤのレイヤ識別子は、前記対象レイヤセットのレイヤIDリスト中の最低次のレイヤ識別子である、というコンフォーマンス条件を満たす画像符号化データを生成することを特徴とする。
以上の画像符号化装置によれば、上記画像符号化装置によって生成された画像符号化データから、ビットストリーム抽出によって生成されたサブビットストリームにおいて、ある対象レイヤから参照される非ビデオ符号化レイヤのNALユニットが含まれないという問題を防止することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
本発明の態様23に係る画像符号化装置は、対象レイヤセットのレイヤIDリストに基づいて、前記対象レイヤセットに対応する入力レイヤ画像から画像符号化データを生成する画像符号化装置であって、前記画像符号化装置は、前記対象レイヤセット内で、各レイヤが依存する依存レイヤが前記対象レイヤセットに含まれること、というコンフォーマンス条件を満たす画像符号化データを生成することを特徴とする。
以上の画像符号化装置によれば、上記画像符号化装置によって生成された画像符号化データから、ビットストリーム抽出によって生成されたサブビットストリームにおいて、ある対象レイヤから参照される依存レイヤのNALユニットが含まれないという問題を防止することができる。すなわち、あるレイヤセットのビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。