JP7358502B2 - 映像の復号化方法及び装置 - Google Patents

Description

本発明は、他のシーケンスとの合成のためのサブピクチャ分割方法及びビットストリームパッキングのためのスライス分割方法に関する。

高解像度、高品質映像に対する使用者の需要が増えている。高解像度映像の符号化データは、低解像度または中解像度映像の符号化データよりも多い情報量を有することにより、これを送信するか保存するための費用が増加するようになる。

このような問題を解決するために高解像度映像の符号化データ量を効果的に減らすための符号化及び復号化方法の研究が続いている。

この明細書は、他のシーケンスとの合成のためのサブピクチャ分割方法及びビットストリームパッキングのためのスライス分割方法を提示する。

上記した問題を解決するための、本発明の一実施態様による映像復号化装置が行う映像復号化方法は、ビットストリームから現在ＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットのタイプを示すＮＡＬユニットタイプ情報を取得するステップと、前記ＮＡＬユニットタイプ情報が、前記現在ＮＡＬユニットのＮＡＬユニットタイプが映像スライスに対する符号化データであることを示す場合、現在ピクチャに混成ＮＡＬユニットタイプ（ｍｉｘｅｄ ＮＡＬ ｕｎｉｔ ｔｙｐｅ）が適用されるか否かに基づき、前記映像スライスを復号化するステップと、を含む。ここで、前記映像スライスを復号化するステップは、前記混成ＮＡＬユニットタイプが適用されるか否かに基づき、前記現在ＮＡＬユニットのＮＡＬユニットタイプが、前記現在映像スライスに対するサブピクチャの属性を示すか否かを決定することにより行われてもよい。

また、上記した問題を解決するための本発明の一実施態様による映像復号化装置は、メモリ及び少なくとも一つのプロセッサを含む映像復号化装置であって、前記少なくとも一つのプロセッサは、ビットストリームから現在ＮＡＬユニットのタイプを示すＮＡＬユニットタイプ情報を取得し、前記ＮＡＬユニットタイプ情報が、前記現在ＮＡＬユニットのＮＡＬユニットタイプが映像スライスに対する符号化データであることを示す場合、現在ピクチャに混成ＮＡＬユニットタイプが適用されるか否かに基づき、前記映像スライスを復号化してもよい。このとき、前記映像スライスの復号化は、前記混成ＮＡＬユニットタイプが適用されるか否かに基づき、前記現在ＮＡＬユニットのＮＡＬユニットタイプが、前記現在映像スライスに対するサブピクチャの属性を示すか否かを決定することにより行われてもよい。

また、上記した問題を解決するための本発明の一実施態様による映像符号化装置が行う映像符号化方法は、現在ピクチャが、混成ＮＡＬユニットタイプに基づいて符号化される場合、前記ピクチャを分割するサブピクチャのタイプを決定するステップと、前記サブピクチャのタイプに基づき、前記サブピクチャを構成する少なくとも一つの現在映像スライスを符号化して、現在ＮＡＬユニットを生成するステップと、を含んでもよい。ここで、前記映像スライスを符号化するステップは、前記現在ピクチャが、前記混成ＮＡＬユニットタイプに基づいて符号化される場合、前記現在ＮＡＬユニットのＮＡＬユニットタイプが、前記現在映像スライスに対するサブピクチャの属性を示すように符号化することにより行われてもよい。

また、上記した問題を解決するための本発明の一実施態様による送信方法は、この開示の映像符号化装置または映像符号化方法により生成されたビットストリームを送信してもよい。

また、上記した問題を解決するための本発明の一実施態様によるコンピュータで読取り可能な記録媒体は、この開示の映像符号化方法または映像符号化装置により生成されたビットストリームを保存してもよい。

本発明は、多くの他のシーケンスとの合成により、一つのピクチャを生成する方法を提示する。シーケンス内のピクチャは、多数個のサブピクチャに分割され、他のピクチャの分割されたサブピクチャを合成して新たなピクチャを生成する。

本発明の適用により、一つのピクチャを構成する二つ以上のサブピクチャに対するＮＡＬユニットタイプ値が互いに異なってもよい。これは、互いに異なったコンテンツの合成時、１枚のイメージを構成する多数個のサブピクチャのＮＵＴを等しくする必要がないので、容易にイメージを構成／合成することができるという長所を有する。

本発明が適用されるビデオエンコーディング装置の構成を概略的に示す図である。 ビデオエンコーディング装置により行われる映像エンコーディング方法の一例を示す図である。 本発明が適用されるビデオデコーディング装置の構成を概略的に示す図である。 デコーディング装置により行われる映像デコーディング方法の一例を示す図である。 スライスのためのＮＡＬパケットの例示を示す図である。 階層的ＧＯＰ構造の一例を示す図である。 ディスプレイ出力順序及びデコーディング順序の一例を示す図である。 リーディングピクチャ及びノーマルピクチャの一例を示す図である。 ＲＡＳＬピクチャ及びＲＡＤＬピクチャの一例を示す図である。 スライスセグメントヘッダに対するシンタックスを示す図である。 コンテンツ合成過程の一例を示す図である。 サブピクチャＩＤ及びスライスアドレスの一例を示す図である。 サブピクチャ／スライス別ＮＵＴの一例を示す図である。 ピクチャパラメータセット（ＰＰＳ）のシンタックスに対する一実施形態を示す図である。 スライスヘッダのシンタックスに対する一実施形態を示す図である。 ピクチャヘッダストラクチャーのシンタックスを示す図である。 参照ピクチャリストを取得するためのシンタックスを示す図である。 コンテンツ合成の一例を示す図である。 本発明の一実施形態による復号化方法及び符号化方法を説明する順序図である。 本発明の一実施形態による復号化方法及び符号化方法を説明する順序図である。

本発明は、様々な変更を加えてもよく、様々な実施形態を有してもよいので、特定の実施形態を図面に例示して詳細に説明する。しかし、これは、本発明を特定の実施形態に対して限定しようとするものではない。本明細書において用いる用語は、単に特定の実施形態を説明するために用いられたものであって、本発明の技術的思想を限定しようとする意図で用いられるものではない。単数の表現は、文脈上、明らかに異なる意味でない限り、複数の表現を含む。本明細書において「含む」または「有する」等の用語は、明細書上に記載された特徴、番号、ステップ、動作、構成要素、部品またはこれらの組合せが存在することを指定しようとするものであって、一つまたはそれ以上の他の特徴、番号、ステップ、動作、構成要素、部品又はこれらの組合せ等の存在又は付加の可能性を予め排除しないものと理解しなければならない。

一方、本発明で説明される図面上の各構成は、別個の特徴的な機能に関する説明の便宜のために独立して示されたものであって、各構成が互いに別個のハードウェアまたは別個のソフトウェアで実現されることを意味するものではない。例えば、各構成のうち二つ以上の構成が結合されて一つの構成をなしてもよく、一つの構成が複数の構成に分けられてもよい。各構成が統合及び／または分離された実施形態も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。

以下、添付の図面を参照して、本発明の好ましい実施形態をさらに詳細に説明する。以下、図面上の同一の構成要素に対しては同一の参照符号を使用し、同一の構成要素に対して重複する説明は省略する。

一方、本発明は、ビデオ／映像コーディングに関する。例えば、本発明に開示された方法／実施形態は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＥＶＣ（Ｅｓｓｅｎｔｉａｌ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）、または次世代ビデオ／イメージコーディング標準（例えば、Ｈ．２６７、Ｈ．２６８等）に開示された方法に適用され得る。

この明細書において、アクセスユニット（Ａｃｃｅｓｓ ｕｎｉｔ；ＡＵ）は、ＤＰＢ（Ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）から同じ時間に出力される互いに異なるレイヤに属する複数のピクチャセットを示す単位を意味する。ピクチャ（ｐｉｃｔｕｒｅ）は、一般に、特定時間帯の一つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）は、コーディングにおいて、ピクチャの一部を構成する単位である。一つのピクチャは、複数のスライスで構成されてもよく、必要に応じて、ピクチャ及びスライスは、互いに混用されもよい。

ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、一つのピクチャ（または映像）を構成する最小の単位を意味してもよい。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が用いられてもよい。サンプルは、一般に、ピクセルまたはピクセルの値を示すか、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すか、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示してもよい。

ユニット（ｕｎｉｔ）は、映像処理の基本単位を示す。ユニットは、ピクチャの特定領域及び当該領域に関する情報のうち少なくとも一つを含んでもよい。ユニットは、場合に応じて、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）等の用語と混用してもよい。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示してもよい。

図１は、本発明が適用されるビデオエンコーディング装置の構成を概略的に示す図である。

図１を参照すると、ビデオエンコーディング装置１００は、ピクチャ分割部１０５、予測部１１０、残差処理部１２０、エントロピーエンコーディング部１３０、加算部１４０、フィルタ部１５０、及びメモリ１６０を含んでもよい。残差処理部１２０は、減算部１２１、変換部１２２、量子化部１２３、再整列部１２４、逆量子化部１２５、及び逆変還部１２６を含んでもよい。

ピクチャ分割部１０５は、入力されたピクチャを少なくとも一つの処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割する。

一例として、処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれてもよい。この場合、コーディングユニットは、コーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）からＱＴＢＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ）構造により再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されてもよい。例えば、一つのコーディングツリーユニットは、クアッドツリー構造及び／またはバイナリツリー構造に基づき、下位（ｄｅｅｐｅｒ）デプスの複数のノードに分割されてもよい。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造が後で適用されてもよい。あるいは、バイナリツリー構造が先に適用されてもよい。これ以上分割されないノードに対して復号化が行われてもよく、このように、これ以上分割されないノードに対してコーディングユニットが決定されてもよい。コーディングツリーユニットは、コーディングユニットの分割のための単位であることから、コーディングツリーユニットをコーディングユニットと名付けてもよい。この場合、コーディングツリーユニットの分割によりコーディングユニットが決定されることから、コーディングツリーユニットを最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）と名付けてもよい。

このように、これ以上分割されない最終コーディングユニットに基づき、本発明によるコーディング手続きが行われてもよい。この場合、映像特性によるコーディング効率等に基づき、コーディングツリーユニットが直ちに最終コーディングユニットとして用いられてもよく、または必要に応じて、コーディングユニットは、再帰的にさらに下位デプスのコーディングユニットに分割されて、最適のサイズのコーディングユニットが最終コーディングユニットとして用いられてもよい。ここで、コーディング手続きとは、後述する予測、変換、及び復元等の手続きを含んでもよい。

他の例として、処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）、または変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）を含んでもよい。コーディングユニットは、コーディングツリーユニットから、クアッドツリー構造により、下位デプスのコーディングユニットに分割（ｓｐｌｉｔ）されてもよい。この場合、映像特性によるコーディング効率等に基づき、コーディングツリーユニットが直ちに最終コーディングユニットとして用いられてもよく、または必要に応じて、コーディングユニットは、再帰的にさらに下位デプスのコーディングユニットに分割されて、最適のサイズのコーディングユニットが最終コーディングユニットとして用いられてもよい。最小コーディングユニット（ｍｉｎ ｃｏｄｉｎｇ ｕｎｉｔ、ｍｉｎ ＣＵ）が設定された場合、コーディングユニットは、最小コーディングユニットよりもさらに小さなコーディングユニットに分割されない。ここで、最終コーディングユニットとは、予測ユニットまたは変換ユニットにパーティショニングまたは分割される基盤となるコーディングユニットを意味する。予測ユニットは、コーディングユニットからパーティショニング（ｐａｒｔｉｔｉｏｎｉｎｇ）されるユニットであって、サンプル予測のユニットであってもよい。このとき、予測ユニットは、サブブロック（ｓｕｂｂｌｏｃｋ）に分けられてもよい。変換ユニットは、コーディングユニットからクアッドツリー構造により分割されてもよく、変換係数を誘導するユニット及び／または変換係数から残差信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導するユニットであってもよい。以下、コーディングユニットはコーディングブロック（ｃｏｄｉｎｇ ｂｌｏｃｋ、ＣＢ）、予測ユニットは予測ブロック（ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋ、ＰＢ）、変換ユニットは変換ブロック（ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ、ＴＢ）と呼ばれてもよい。予測ブロックまたは予測ユニットは、ピクチャ内でブロック形態の特定の領域を意味し、予測サンプルのアレイ（ａｒｒａｙ）を含んでもよい。また、変換ブロックまたは変換ユニットは、ピクチャ内でブロック形態の特定の領域を意味し、変換係数または残差サンプルのアレイを含んでもよい。

予測部１１０は、処理対象ブロック（以下、現在ブロックという）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロックを生成する。予測部１１０で行われる予測の単位は、コーディングブロックであってもよく、変換ブロックであってもよく、予測ブロックであってもよい。

予測部１１０は、現在ブロックにイントラ予測が適用されるか、インター予測が適用されるかを決定する。一例として、予測部１１０は、ＣＵ単位でイントラ予測またはインター予測が適用されるかを決定する。

イントラ予測の場合、予測部１１０は、現在ブロックが属するピクチャ（以下、現在ピクチャ）内の現在ブロック外部の参照サンプルに基づき、現在ブロックに対する予測サンプルを誘導することができる。このとき、予測部１１０は、（ｉ）現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）または補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導してもよく、（ii）現在ブロックの隣接参照サンプルのうち予測サンプルに対して特定の（予測）方向に存在する参照サンプルに基づいて前記予測サンプルを誘導してもよい。（ｉ）の場合は、非方向性モードまたは非角度モードと呼ばれ、（ii）の場合は、方向性（ｄｉｒｅｃｔｉｏｎａｌ）モードまたは角度（ａｎｇｕｌａｒ）モードと呼ばれる。イントラ予測における予測モードは、例えば、３３個の方向性予測モードと少なくとも２個の非方向性モードを有してもよい。非方向性モードは、ＤＣ予測モード及びプラナーモード（Ｐｌａｎａｒモード）を含んでもよい。予測部１１０は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定してもよい。

インター予測の場合、予測部１１０は、参照ピクチャ上において、動きベクトルにより特定されるサンプルに基づき、現在ブロックに対する予測サンプルを誘導することができる。予測部１１０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード、及びＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードのうちいずれか一つを適用して現在ブロックに対する予測サンプルを誘導することができる。スキップモード及びマージモードの場合、予測部１１０は、隣接ブロックの動き情報を現在ブロックの動き情報として用いてもよい。スキップモードの場合、マージモードとは異なり、予測サンプルと原本サンプルとの間の差（残差）が送信されない。ＭＶＰモードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）として用い、現在ブロックの動きベクトル予測子として用いて現在ブロックの動きベクトルを誘導することができる。

インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び参照ピクチャ（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）に存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含んでもよい。前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれてもよい。動き情報（ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）は、動きベクトル及び参照ピクチャインデックスを含んでもよい。予測モード情報及び動き情報等の情報は、（エントロピー）エンコーディングされてビットストリームの形態で出力されてもよい。

スキップモード及びマージモードで時間的隣接ブロックの動き情報が用いられる場合、参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）上の最上位ピクチャが参照ピクチャとして用いられてもよい。参照ピクチャリストに含まれる参照ピクチャは、現在ピクチャと当該参照ピクチャとの間のＰＯＣ（Ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）の差に基づいて整列されてもよい。ＰＯＣは、ピクチャのディスプレイ順序に対応し、コーディング順序と区分され得る。

減算部１２１は、原本サンプルと予測サンプルとの間の差である残差サンプルを生成する。スキップモードが適用される場合は、前述したように残差サンプルを生成しなくてもよい。

変換部１２２は、変換ブロック単位で残差サンプルを変換して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成する。変換部１２２は、当該変換ブロックのサイズと、当該変換ブロックと空間的に重なるコーディングブロックまたは予測ブロックに適用された予測モードに応じて、変換を行うことができる。例えば、前記変換ブロックと重なる前記コーディングブロックまたは前記予測ブロックにイントラ予測が適用され、前記変換ブロックが４×４の残差アレイ（ａｒｒａｙ）であれば、残差サンプルは、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換カーネルを用いて変換され、その他の場合であれば、残差サンプルは、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換カーネルを用いて変換される。

量子化部１２３は、変換係数を量子化し、量子化された変換係数を生成する。

再整列部１２４は、量子化された変換係数を再整列する。再整列部１２４は、係数スキャニング（ｓｃａｎｎｉｎｇ）方法により、ブロック形態の量子化された変換係数を１次元ベクトル形態で再整列できる。ここで、再整列部１２４は、別途の構成で説明したが、量子化部１２３の一部であってもよい。

エントロピーエンコーディング部１３０は、量子化された変換係数に対するエントロピーエンコーディングを行う。エントロピーエンコーディングは、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）等のようなエンコーディング方法を含んでもよい。エントロピーエンコーディング部１３０は、量子化された変換係数の他にビデオ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）の値等）を共にまたは別途にエンコーディングしてもよい。エントロピーエンコーディングされた情報は、ビットストリームの形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または保存されてもよい。

逆量子化部１２５は、量子化部１２３で量子化された値（量子化された変換係数）を逆量子化し、逆変換部１２６は、逆量子化部１２５で逆量子化された値を逆変換して残差サンプルを生成する。

加算部１４０は、残差サンプルと予測サンプルを合わせてピクチャを復元する。残差サンプルと予測サンプルは、ブロック単位で加えられて復元ブロックが生成される。ここで、加算部１４０は、別途の構成で説明したが、予測部１１０の一部であってもよい。一方、加算部１４０は、復元部または復元ブロック生成部とも呼ばれる。

復元されたピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）に対して、フィルタ部１５０は、デブロッキングフィルタ及び／またはサンプル適応オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）を適用することができる。デブロッキングフィルタリング及び／またはサンプル適応オフセットにより、復元ピクチャ内のブロック境界のアーチファクトや量子化過程での歪みが補正され得る。サンプル適応オフセットは、サンプル単位で適用されてもよく、デブロッキングフィルタリングの過程が完了した後に適用されてもよい。フィルタ部１５０は、復元されたピクチャにＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）を適用することもできる。ＡＬＦは、デブロッキングフィルタ及び／またはサンプル適応オフセットが適用された後の復元されたピクチャに対して適用されてもよい。

メモリ１６０は、復元ピクチャ（デコーディングされたピクチャ）またはエンコーディング／デコーディングに必要な情報を保存する。ここで、復元ピクチャは、前記フィルタ部１５０によりフィルタリング手続きが完了した復元ピクチャであってもよい。前記保存された復元ピクチャは、他のピクチャの（インター）予測のための参照ピクチャとして活用されてもよい。例えば、メモリ１６０は、インター予測に用いられる（参照）ピクチャを保存することができる。このとき、インター予測に用いられるピクチャは、参照ピクチャセット（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｓｅｔ）または参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）により指定されてもよい。

図２は、ビデオエンコーディング装置により行われる映像エンコーディング方法の一例を示す。図２を参照すると、前記映像エンコーディング方法は、ブロックパーティショニング（ｂｌｏｃｋ ｐａｒｔｉｔｉｏｎｉｎｇ）、イントラ／インター予測、変換（ｔｒａｎｓｆｏｒｍ）、量子化（ｑｕａｎｔｉｚａｔｉｏｎ）、及びエントロピーエンコーディング（ｅｎｔｒｏｐｙ ｅｎｃｏｄｉｎｇ）過程を含んでもよい。例えば、現在ピクチャは、複数のブロックに分割されてもよく、イントラ／インター予測により、現在ブロックの予測ブロックが生成されてもよく、前記現在ブロックの入力ブロックと前記予測ブロックとの減算により、前記現在ブロックの残差ブロックが生成されてもよい。以降、前記残差ブロックに対する変換により、係数（ｃｏｅｆｆｉｃｅｎｔ）ブロック、すなわち、前記現在ブロックの変換係数が生成されてもよい。前記変換係数は、量子化及びエントロピーエンコーディングされて、ビットストリームに保存されてもよい。

図３は、本発明が適用されるビデオデコーディング装置の構成を概略的に説明する図である。

図３を参照すると、ビデオデコーディング装置３００は、エントロピーデコーディング部３１０、残差処理部３２０、予測部３３０、加算部３４０、フィルタ部３５０、及びメモリ３６０を含んでもよい。ここで、残差処理部３２０は、再整列部３２１、逆量子化部３２２、逆変換部３２３を含んでもよい。

ビデオ情報を含むビットストリームが入力されると、ビデオデコーディング装置３００は、ビデオエンコーディング装置でビデオ情報が処理されたプロセスに対応してビデオを復元することができる。

例えば、ビデオデコーディング装置３００は、ビデオエンコーディング装置で適用された処理ユニットを用いてビデオデコーディングを行うことができる。従って、ビデオデコーディングの処理ユニットブロックは、一例としてコーディングユニットであってもよく、他の例としてコーディングユニット、予測ユニット、または変換ユニットであってもよい。コーディングユニットは、コーディングツリーユニットからクアッドツリー構造及び／またはバイナリツリー構造により分割されてもよい。

予測ユニット及び変換ユニットが、場合に応じて、さらに使用されてもよく、この場合、予測ブロックは、コーディングユニットから導出またはパーティショニングされるブロックであって、サンプル予測のユニットであってもよい。このとき、予測ユニットは、サブブロックに分けられてもよい。変換ユニットは、コーディングユニットからクアッドツリー構造により分割されてもよく、変換係数を誘導するユニットまたは変換係数から残差信号を誘導するユニットであってもよい。

エントロピーデコーディング部３１０は、ビットストリームをパーシングしてビデオ復元またはピクチャ復元に必要な情報を出力する。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣ等のコーディング方法に基づき、ビットストリーム内の情報をデコーディングし、ビデオ復元に必要なシンタックスエレメントの値、残差に対する変換係数の量子化された値を出力することができる。

さらに詳しくは、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各シンタックス要素に相当するビンを受信し、デコーディング対象シンタックス要素情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前のステップでデコーディングされたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルにより、ビン（ｂｉｎ）の発生確率を予測してビンの算術符号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行って各シンタックス要素の値に相当するシンボルを生成できる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのためにデコーディングされたシンボル／ビンの情報を用いて、コンテキストモデルをアップデートすることができる。

エントロピーデコーディング部３１０でデコーディングされた情報のうち予測に関する情報は、予測部３３０に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが行われた残差の値、即ち、量子化された変換係数は、再整列部４２１に入力される。

再整列部４２１は、量子化されている変換係数を２次元のブロック形態で再整列する。再整列部４２１は、エンコーディング装置で行われた係数スキャニングに対応して再整列を行うことができる。ここで、再整列部３２１は、別途の構成で説明したが、逆量子化部３２２の一部であってもよい。

逆量子化部３２２は、量子化されている変換係数を（逆）量子化パラメータに基づいて逆量子化して変換係数を出力することができる。このとき、量子化パラメータを誘導するための情報は、エンコーディング装置からシグナリングされてもよい。

逆変換部３２３は、変換係数を逆変換して残差サンプルを誘導することができる。

予測部３３０は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。予測部３３０で行われる予測の単位は、コーディングブロックであってもよく、変換ブロックであってもよく、予測ブロックであってもよい。

予測部３３０は、前記予測に関する情報に基づき、イントラ予測を適用するか、インター予測を適用するかを決定する。このとき、イントラ予測とインター予測のうち、どれを適用するかを決定する単位と、予測サンプルを生成する単位とは異なる。併せて、インター予測及びイントラ予測において、予測サンプルを生成する単位も異なる。例えば、インター予測及びイントラ予測のうち、どれを適用するかは、ＣＵ単位で決定できる。また、例えば、インター予測において、ＰＵ単位で予測モードを決定して、予測サンプルを生成してもよく、イントラ予測において、ＰＵ単位で予測モードを決定して、ＴＵ単位で予測サンプルを生成してもよい。

イントラ予測の場合、予測部３３０は、現在ピクチャ内の隣接参照サンプルに基づき、現在ブロックに対する予測サンプルを誘導することができる。予測部３３０は、現在ブロックの隣接参照サンプルに基づき、方向性モードまたは非方向性モードを適用して、現在ブロックに対する予測サンプルを誘導することができる。このとき、隣接ブロックのイントラ予測モードを用いて、現在ブロックに適用する予測モードが決定されてもよい。

インター予測の場合、予測部３３０は、参照ピクチャ上において、動きベクトルにより参照ピクチャ上において特定されるサンプルに基づき、現在ブロックに対する予測サンプルを誘導することができる。予測部３３０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード、及びＭＶＰモードのうち、いずれか一つを適用して、現在ブロックに対する予測サンプルを誘導することができる。このとき、ビデオエンコーディング装置から提供された現在ブロックのインター予測に必要な動き情報、例えば、動きベクトル、参照ピクチャインデックス等に関する情報は、前記予測に関する情報に基づいて取得または誘導されてもよい。

スキップモード及びマージモードの場合、隣接ブロックの動き情報が現在ブロックの動き情報として用いられてもよい。このとき、隣接ブロックは、空間的隣接ブロックと時間的隣接ブロックを含んでもよい。

予測部３３０は、可用の隣接ブロックの動き情報でマージ候補リストを構成し、マージインデックスがマージ候補リスト上において指示する情報を現在ブロックの動きベクトルとして用いてもよい。マージインデックスは、エンコーディング装置からシグナリングされてもよい。動き情報は、動きベクトルと参照ピクチャを含んでもよい。スキップモード及びマージモードにおいて、時間的隣接ブロックの動き情報が用いられる場合、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして用いられてもよい。

スキップモードの場合、マージモードとは異なり、予測サンプルと原本サンプルとの間の差（残差）が送信されない。

ＭＶＰモードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用いて、現在ブロックの動きベクトルが誘導されてもよい。このとき、隣接ブロックは、空間的隣接ブロックと時間的隣接ブロックを含んでもよい。

一例として、マージモードが適用される場合、復元された空間的隣接ブロックの動きベクトル及び／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルを用いて、マージ候補リストが生成されてもよい。マージモードでは、マージ候補リストから選ばれた候補ブロックの動きベクトルが、現在ブロックの動きベクトルとして用いられる。前記予測に関する情報は、前記マージ候補リストに含まれた候補ブロックのうちから選ばれた最適の動きベクトルを有する候補ブロックを指示するマージインデックスを含んでもよい。このとき、予測部３３０は、前記マージインデックスを用いて、現在ブロックの動きベクトルを導出してもよい。

他の例として、ＭＶＰ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）モードが適用される場合、復元された空間的隣接ブロックの動きベクトル及び／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルを用いて、動きベクトル予測子候補リストが生成されてもよい。即ち、復元された空間的隣接ブロックの動きベクトル及び／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルは、動きベクトル候補として用いられてもよい。前記予測に関する情報は、前記リストに含まれた動きベクトル候補のうちから選択された最適の動きベクトルを指示する予測動きベクトルインデックスを含んでもよい。このとき、予測部３３０は、前記動きベクトルインデックスを用いて、動きベクトル候補リストに含まれている動きベクトル候補のうちから、現在ブロックの予測動きベクトルを選ぶことができる。エンコーディング装置の予測部は、現在ブロックの動きベクトルと動きベクトル予測子との間の動きベクトル差分（ＭＶＤ）を求め、これをエンコーディングしてビットストリームの形態で出力する。即ち、ＭＶＤは、現在ブロックの動きベクトルから前記動きベクトル予測子を引いた値として求められる。このとき、予測部３３０は、前記予測に関する情報に含まれた動きベクトル差分を取得し、前記動きベクトル差分と前記動きベクトル予測子の加算により、現在ブロックの前記動きベクトルを導出することができる。また、予測部は、参照ピクチャを指示する参照ピクチャインデックス等を前記予測に関する情報から取得または誘導することができる。

加算部３４０は、残差サンプルと予測サンプルを加算して現在ブロックまたは現在ピクチャを復元する。加算部４４０は、残差サンプルと予測サンプルをブロック単位で加算して現在ピクチャを復元してもよい。スキップモードが適用された場合は、残差が送信されないため、予測サンプルが復元サンプルとなる。ここでは、加算部３４０を別途の構成として説明したが、予測部３３０の一部であってもよい。一方、加算部３４０は、復元部または復元ブロック生成部とも呼ばれる。

フィルタ部３５０は、復元されたピクチャにデブロッキングフィルタリングサンプル適応オフセット及び／またはＡＬＦ等を適用してもよい。このとき、サンプル適応オフセットは、サンプル単位で適用されてもよく、デブロッキングフィルタリング以後に適用されてもよい。ＡＬＦは、デブロッキングフィルタリング及び／またはサンプル適応オフセット以後に適用されてもよい。

メモリ３６０は、復元ピクチャ（デコーディングされたピクチャ）またはデコーディングに必要な情報を保存する。ここで、復元ピクチャは、前記フィルタ部３５０によりフィルタリング手続きが完了した復元ピクチャであってもよい。例えば、メモリ３６０は、インター予測に用いられるピクチャを保存してもよい。このとき、インター予測に用いられるピクチャは、参照ピクチャセットまたは参照ピクチャリストにより指定されてもよい。復元されたピクチャは、他のピクチャに対する参照ピクチャとして用いられてもよい。また、メモリ３６０は、復元されたピクチャを出力順序により出力してもよい。

図４は、デコーディング装置により行われる映像デコーディング方法の一例を示す図である。図４を参照すると、前記映像デコーディング方法は、エントロピーデコーディング（ｅｎｔｒｏｐｙ ｄｅｃｏｄｉｎｇ）、逆量子化（ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ）、逆変換（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）、及びイントラ／インター予測過程を含んでもよい。例えば、デコーディング装置では、前記エンコーディング方法の逆過程が行われてもよい。具体的に、ビットストリームに対するエントロピーデコーディングにより量子化された変換係数が取得されてもよく、前記量子化された変換係数に対する逆量子化過程により、現在ブロックの係数ブロック、すなわち、変換係数が取得されてもよい。前記変換係数に対する逆変換により、前記現在ブロックの残差ブロックが導出されてもよく、イントラ／インター予測により導出された前記現在ブロックの予測ブロックと前記残差ブロックとの加算により、前記現在ブロックの復元ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｂｌｏｃｋ）が導出されてもよい。

一方、後述する実施形態におけるオペレーターは、下記の表のように正義されてもよい。

表１を参照すると、Ｆｌｏｏｒ（ｘ）は、ｘ以下の最大の整数値を示し、Ｌｏｇ２（ｕ）は、ｕの２を底（ｂａｓｅ）とする対数値を示し、Ｃｅｉｌ（ｘ）は、ｘ以上の最小の整数値を示す。例えば、Ｆｌｏｏｒ（５．９３）の場合、５．９３以下の最大の整数値は５であるので、５を示す。

また、表１を参照すると、ｘ＞＞ｙは、ｘをｙ番だけ右シフト（ｒｉｇｈｔ ｓｈｉｆｔ）する演算子を示し、ｘ＜＜ｙは、ｘをｙ番だけ左シフト（ｌｅｆｔ ｓｈｉｆｔ）する演算子を示す。

＜導入＞
ＨＥＶＣ標準は、二つのタイプの画面分割方法を提案する。

１）スライス（ｓｌｉｃｅ）：１枚のイメージをラスタースキャン（ｒａｓｔｅｒ ｓｃａｎ）順にＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）単位で分割して符号化／復号化する機能を提供し、スライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）情報が存在する。

２）タイル（ｔｉｌｅ）：１枚のイメージをＣＴＵ単位で多数個の列（ｃｏｌｕｍｎ）及び行（ｒｏｗ）に区画して符号化／復号化する機能を提供する。区画方法は、均等分割または個別分割が全て可能である。タイルのためのヘッダは、別途に存在しない。

スライスは、ビットストリーム（ｂｉｔ－ｓｔｒｅａｍ）パッキング単位となる。すなわち、一つのスライスは、一つのＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ビットストリームで生成されてもよい。図５のように、スライスのためのＮＡＬパケット（ＮＡＬ ｐａｃｋｅｔ）は、ＮＡＬヘッダ（ＮＡＬ ｈｅａｄｅｒ）、スライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）、スライスデータ（ｓｌｉｃｅ ｄａｔａ）順で構成される。このとき、ＮＡＬ ｈｅａｄｅｒ情報には、ＮＡＬ ｕｎｉｔ ｔｙｐｅ（ＮＵＴ）が存在する。

一実施形態によるＨＥＶＣ標準において提案するスライスのためのＮＵＴは、表２のようである。表２において、インター予測が行われるインタースライス（ｉｎｔｅｒ ｓｌｉｃｅ）のためのＮＵＴは、０番から９番までであり、イントラ予測が行われるイントラスライス（ｉｎｔｒａ ｓｌｉｃｅ）のためのＮＵＴは、１６番から２１番までである。ここで、インタースライスは、画面間予測方法で符号化されたことを意味し、イントラスライスは、画面内予測方法で符号化されたことを意味する。一つのスライスは、一つのＮＵＴを有するように正義され、一つのピクチャ内の多数個のスライスは、全て同じＮＵＴ値を有するように設定されてもよい。例えば、一つのピクチャが４個のスライスに分割され、イントラ予測方式で符号化されたら、当該ピクチャ内の４個のスライスに対するＮＵＴ値は、全て同じに１９：ＩＤＲ＿Ｗ＿ＲＡＤＬに設定されてもよい。

前記表２において、略語は、下記のように正義される。
－ＴＳＡ（Ｔｅｍｐｏｒａｌ ｓｕｂ－ｌａｙｅｒ Ｓｗｉｔｃｈｉｎｇ Ａｃｃｅｓｓ）
－ＳＴＳＡ（Ｓｔｅｐ－ｗｉｓｅ Ｔｅｍｐｏｒａｌ ｓｕｂ－ｌａｙｅｒ Ｓｗｉｔｃｈｉｎｇ Ａｃｃｅｓｓ）
－ＲＡＤＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ）
－ＲＡＳＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ）
－ＢＬＡ（Ｂｒｏｋｅｎ Ｌｉｎｋ Ａｃｃｅｓｓ）
－ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）
－ＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）
－ＬＰ（Ｌｅａｄｉｎｇ Ｐｉｃｔｕｒｅ）
－＿Ｎ（Ｎｏ ｒｅｆｅｒｅｎｃｅ）
－＿Ｒ（Ｒｅｆｅｒｅｎｃｅ）
－＿Ｗ＿ＬＰ／ＲＡＤＬ（Ｗｉｔｈ ＬＰ／ＲＡＤＬ）
－＿Ｎ＿ＬＰ（Ｎｏ ＬＰ、ｗｉｔｈｏｕｔ ＬＰ）

イントラスライスに対するＮＵＴであるＢＬＡ、ＩＤＲ、及びＣＲＡを、ＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）と称する。ＩＲＡＰは、ビットストリームの中間位置であり、ランダムアクセスが可能なピクチャを意味する。すなわち、ビデオ再生時、急な再生位置の変更が可能なピクチャをいう。イントラスライスは、Ｉスライスタイプでのみ存在する。

インタースライスは、単方向予測（Ｐ：ｐｒｅｄｉｃｔｉｖｅ）または両方向予測（Ｂ：ｂｉ－ｐｒｅｄｉｃｔｉｖｅ）により、ＰスライスまたはＢスライスに分けられる。予測及び符号化過程は、ＧＯＰ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅ）単位で行われるが、ＨＥＶＣ標準は、階層的（ｈｉｅｒａｒｃｈｉｃａｌ）ＧＯＰ構造を用いて、予測を含む符号化／復号化過程を行う。図６は、階層的ＧＯＰ構造の一例を示し、各ピクチャは、予測方法によりＩ、Ｐ、またはＢピクチャ（スライス）に分けられる。

両方向予測を行うＢスライス及び／または階層的ＧＯＰ構造特性により、シーケンス内のピクチャのデコーディング順序とディスプレイ順序が異なる（図７参考）。図７において、ＩＲＡＰは、イントラスライスを意味し、Ｂ及びＰは、インタースライスを意味し、再生順序及び復元順序が完全に変わったことが確認される。

インタースライスのうち、復元順序は、ＩＲＡＰよりも遅く、再生順序は、ＩＲＡＰよりも早いピクチャをＬＰ（ｌｅａｄｉｎｇ ｐｉｃｔｕｒｅ）という（図８参考）。ＬＰは、状況に応じて、ＲＡＤＬ及びＲＡＳＬに分けられる。ランダムアクセスが発生したとき、デコーディングが可能なＬＰをＲＡＤＬと定義し、ランダムアクセス時、デコーディングが不可能であり、当該ピクチャの復元過程をスキップしなければならないＬＰをＲＡＳＬと定義する。図８において、同じ色のピクチャを一つのＧＯＰと定義する。

ＲＡＤＬとＲＡＳＬの区分は、画面間予測時の参照ピクチャの位置により決定される（図９参考）。すなわち、ＲＡＳＬは、当該ＧＯＰのほか、他のＧＯＰ内の復元ピクチャを参照ピクチャとして用いるか、他のＧＯＰ内の復元ピクチャを参照ピクチャとして用いて復元したピクチャを参照ピクチャとして用いるインターピクチャを意味する。この場合、他のＧＯＰ内の復元ピクチャを（直・間接的に）参照ピクチャとして用いることから、ｏｐｅｎ ＧＯＰと称する。ＲＡＳＬ及びＲＡＤＬは、当該インタースライスに対するＮＵＴ情報に設定される。

イントラスライスに対するＮＵＴは、当該イントラスライスの再生順序及び／または復元順序上の先行及び／または後行するインタースライスのＮＵＴにより、他のイントラスライスＮＵＴに分けられる。ＩＤＲ ＮＵＴを調べると、ＩＤＲは、ＲＡＤＬを有するＩＤＲ＿Ｗ＿ＲＡＤＬ及びＬＰを有さないＩＤＲ＿Ｎ＿ＬＰに分けられる。すなわち、ＩＤＲは、ＬＰを有さないタイプであるか、ＬＰのうちＲＡＤＬのみを有するタイプであり、ＩＤＲは、ＲＡＳＬを有することができない。もう一方、ＣＲＡは、ＬＰのうち、ＲＡＤＬ及び／またはＲＡＳＬを全て有するタイプである。すなわち、ＣＲＡは、ｏｐｅｎ ＧＯＰを支援することができるタイプである。

一般に、イントラスライスは、画面内予測のみを行うことにより、当該イントラスライスのための参照ピクチャ情報が必要でない。ここで、参照ピクチャは、画面間予測時に用いられる。しかし、ＣＲＡ ＮＵＴスライスは、ｏｐｅｎ ＧＯＰ構造を支援する特徴により、ＣＲＡスライスは、イントラスライスであるにもかかわらず、参照ピクチャ情報を、当該ＣＲＡのＮＡＬビットストリームに挿入する。前記参照ピクチャ情報は、当該ＣＲＡスライスにおいて用いるためのものではなく、（復元順序上）当該ＣＲＡ以後のインタースライスにおいて使用予定である参照ピクチャに対する情報である。これは、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）において前記参照ピクチャが除去されないためである。例えば、当該イントラスライスのＮＵＴがＩＤＲである場合、ＤＰＢをリセットする。すなわち、当該時点のＤＰＢ内に存在する全ての復元ピクチャを除去する。図１０は、スライスセグメントヘッダに対するシンタックスを示す図である。図１０に示すように、当該スライスのＮＵＴがＩＤＲでなければ、参照ピクチャ情報をビットストリームに記述することができる。すなわち、当該スライスのＮＵＴがＣＲＡであれば、参照ピクチャ情報を記述することができる。

本発明は、他のシーケンスとの合成のためのサブピクチャ分割方法及びビットストリームパッキングのためのスライス分割方法を提示する。

本発明において、スライスは、符号化／復号化の領域を意味し、一つのＮＡＬビットストリームを生成するデータパッキング単位である。例えば、１枚のピクチャは、多数個のスライスに分割され、各スライスは、符号化過程を経て一つのＮＡＬパケットで生成される。

本発明において、サブピクチャは、他のコンテンツとの合成のための領域区分である。図１１において、他のコンテンツとの合成の例示を示す。白、灰、及び黒の三つのコンテンツが存在し、各コンテンツの一つのイメージ（ＡＵ：ａｃｃｅｓｓ ｕｎｉｔ）は、四つのスライス領域に分けられてパケット生成され、図１１の右側のイメージのように、左上側部分は白色コンテンツ、左下側は灰色コンテンツ、右側は黒色コンテンツで合成して新たなイメージを生成してもよい。ここで、白色領域及び灰色領域は、一つのスライスで一つのサブピクチャが構成されており、黒色領域は、二つのスライスが一つのサブピクチャで構成されている。すなわち、一つのサブピクチャは、最小一つのスライスを含んでもよい。新たなイメージを作るために（コンテンツを合成するために）、ＢＥＡＭｅｒ（Ｂｉｔ－ｓｔｒｅａｍ Ｅｘｔｒａｃｔｏｒ Ａｎｄ Ｍｅｒｇｅｒ）は、サブピクチャ単位で互いに異なるコンテンツから領域を抽出し、これを合成する。図１１において合成されたイメージは、四つのスライスに分割され、三つのサブピクチャで構成されてもよい。

一つのサブピクチャは、同じサブピクチャＩＤ（ｓｕｂ ｐｉｃｔｕｒｅ ＩＤ）及び／またはサブピクチャインデックス（ｓｕｂ ｐｉｃｔｕｒｅ ｉｎｄｅｘ）値を有する領域を意味する。言い換えれば、同じサブピクチャＩＤ及び／またはサブピクチャインデックス値を有する最小一つのスライスを一つのサブピクチャ領域と言える。ここで、スライスヘッダ情報のうち、サブピクチャＩＤ及び／またはサブピクチャインデックス値が含まれる。サブピクチャインデックス値は、ラスタースキャン順で設定されてもよい。図１２は、１枚のピクチャが６個の（四角形）スライス及び４個の（色別）サブピクチャ領域で構成された例を示す。ここで、Ａ、Ｂ、Ｃ、Ｄは、サブピクチャＩＤに対する一例を示し、０、１は、当該サブピクチャ内のスライスアドレス（ｓｌｉｃｅ ａｄｄｒｅｓｓ）を示す。すなわち、スライスアドレス値は、当該サブピクチャ内のラスタースキャン順序上、スライスインデックス値である。例えば、Ｂ－０は、Ｂサブピクチャ内の０番目スライスを意味し、Ｂ－１は、Ｂサブピクチャ内の１番目スライスを意味する。

本発明では、一つのイメージを構成する二つ以上のサブピクチャに対するＮＵＴ値が異なってもよい。例えば、図１２において、１枚のイメージ内の白色サブピクチャ（スライス）は、イントラスライスであってもよく、灰色サブピクチャ（スライス）及び黒色サブピクチャ（スライス）は、インタースライスであってもよい。

これは、互いに異なるコンテンツの合成時、１枚のイメージを構成する多数個のサブピクチャのＮＵＴを等しくする必要がないので、容易にイメージを構成／合成することができるという長所を有する。当該機能を単一ピクチャにおける混成ＮＡＬユニットタイプピクチャ（ｍｉｘｅｄ ＮＡＬ Ｕｎｉｔ Ｔｙｐｅ ｉｎ ａ ｐｉｃｔｕｒｅ）と称し、簡略に混成ＮＵＴ（ｍｉｘｅｄ ＮＵＴ）と名付けてもよい。ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇを置いて、当該機能のイネーブル（ｅｎａｂｌｅｄ）／ディスエーブル（ｄｉｓａｂｌｅｄ）を設定することができる。当該フラグは、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＰＨ（ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）、ＳＨ（ｓｌｉｃｅ ｈｅａｄｅｒ）のうち一つ以上の位置において正義され得る。例えば、当該フラグがＰＰＳにおいて正義される場合、当該フラグは、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇと名付けられる。

前記フラグ値がディスエーブルである場合（ｅ．ｇ．ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝＝０）、当該ピクチャ内の全てのサブピクチャ及び／またはスライスに対するＮＵＴが同じ値を有してもよい。例えば、一つのピクチャに対する全てのＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ）ＮＡＬユニットに対するＮＵＴは、同じ値を有するように設定されてもよい。また、ピクチャまたはピクチャユニット（ＰＵ、ｐｉｃｔｕｒｅ ｕｎｉｔ）は、それに対する符号化されたスライスＮＡＬユニットと同じＮＵＴを有するものと参照されてもよい。ここで、ＶＣＬは、スライスデータ値を含むスライスに対するＮＡＬタイプを意味する。

一方、前記フラグ値がイネーブルである場合（ｅ．ｇ．ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝＝１）、当該ピクチャは、二つ以上のサブピクチャで構成されてよい。また、前記当該ピクチャは、他のＮＵＴ値を有してもよい。また、前記フラグ値がイネーブルである場合、前記当該ピクチャのＶＣＬ ＮＡＬユニットは、ＧＤＲ＿ＮＵＴタイプのＮＵＴを有さないように制限されてもよい。また、当該ピクチャのいずれか一つのＶＣＬ ＮＡＬユニット（ｅ．ｇ．第１ＮＡＬユニット）のＮＵＴ（ｅ．ｇ．第１ＮＵＴ）が、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、またはＣＲＡ＿ＮＵＴのうちいずれか一つである場合、前記当該ピクチャの他のＶＣＬ ＮＡＬユニット（ｅ．ｇ．第２ＮＡＬユニット）のＮＵＴ（ｅ．ｇ．第２ＮＵＴ）は、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、ＣＲＡ＿ＮＵＴ、またはＴＲＡＩＬ＿ＮＵＴのうちいずれか一つに設定されるように制限されてもよい。例えば、第２ＮＵＴは、第１ＮＵＴまたはＴＲＡＩＬ＿ＮＵＴのうち一つの値に設定されるように制限されてもよい。

図１２及び図１３を参照して、前記当該ピクチャのＶＣＬ ＮＡＬユニットが、少なくとも二つの互いに異なるＮＵＴ値を有する例について説明する。一実施形態において、二つ以上のサブピクチャは、二つ以上の互いに異なるＮＵＴ値を有してよい。このとき、一つのサブピクチャに含まれた全てのスライスに対するＮＵＴ値は、等しく制限されてもよい。例えば、図１３に示すように、図１２のＢサブピクチャ内の二つのスライスに対するＮＵＴ値は、ＣＲＡに等しく設定されてもよく、Ｃサブピクチャ内の二つのスライスに対するＮＵＴ値も、ＴＲＡＩＬに等しく設定されてもよく、Ａ、Ｂ、Ｃ、及びＤサブピクチャは、少なくとも二つの互いに異なるＮＵＴ値を有するように設定されてもよい。これにより、図１３に示すように、Ａ、Ｃ及びＤサブピクチャ内のスライスに対するＮＵＴ値は、ＴＲＡＩＬであり、ＢサブピクチャのＮＵＴであるＣＲＡとは異なるＮＵＴ値を有するように設定されてもよい。

本発明において、イントラスライス及びインタースライスに対するＮＵＴは、表３のようである。表３の実施形態のように、ＲＡＤＬ、ＲＡＳＬ、ＩＤＲ、ＣＲＡ等に対する正義及び機能は、ＨＥＶＣ標準（表１）と等しく設定されてもよい。表３の場合、混成ＮＵＴタイプが追加されている。表３において、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇのディスエーブル値（ｅ．ｇ．０）は、（ＨＥＶＣと同様に）ピクチャ内のスライスに対するＮＵＴを示し、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇのイネーブル値（ｅ．ｇ．１）は、サブピクチャ内のスライスに対するＮＵＴを示す。例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が０であり、ＶＣＬ ＮＡＬユニットのＮＵＴがＴＲＡＩＬ＿ＮＵＴである場合、現在ピクチャのＮＵＴは、ＴＲＡＩＬ＿ＮＵＴと識別され、現在ピクチャに属する他のサブピクチャのＮＵＴもＴＲＡＩＬ＿ＮＵＴであるものに誘導されてもよい。また、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が１であり、ＶＣＬ ＮＡＬユニットのＮＵＴがＴＲＡＩＬ＿ＮＵＴである場合、現在サブピクチャのＮＵＴは、ＴＲＡＩＬ＿ＮＵＴと識別され、現在ピクチャに属する他のサブピクチャのうち少なくとも一つのＮＵＴは、ＴＲＡＩＬ＿ＮＵＴではないと予測される。

上述のように、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値がイネーブルを示す場合（ｅ．ｇ．１）、一つのピクチャに属するいずれか一つのＶＣＬ ＮＡＬユニット（ｅ．ｇ．第１ＮＡＬユニット）が、ＮＵＴ（ｅ．ｇ．第１ＮＵＴ）としてＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、またはＣＲＡ＿ＮＵＴのうちいずれか一つの値を有すれば、前記当該ピクチャの他のＶＣＬ ＮＡＬユニットのうち少なくとも一つのＶＣＬ ＮＡＬユニット（ｅ．ｇ．第２ＮＡＬユニット）は、ＮＵＴ（ｅ．ｇ．第２ＮＵＴ）として、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、ＣＲＡ＿ＮＵＴ、またはＴＲＡＩＬ＿ＮＵＴのうち、第１ＮＵＴではない、いずれか一つのＮＵＴ値を有してもよい。

このように、一つのピクチャに属する第１サブピクチャに対するＶＣＬ ＮＡＬユニット（ｅ．ｇ．第１ＮＡＬユニット）が、ＮＵＴ（ｅ．ｇ．第１ＮＵＴ）としてＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰまたはＣＲＡ＿ＮＵＴのうちいずれか一つの値を有すれば、前記当該ピクチャの第２サブピクチャに対するＶＣＬ ＮＡＬユニット（ｅ．ｇ．第２ＮＡＬユニット）は、ＮＵＴ（ｅ．ｇ．第２ＮＵＴ）として、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、ＣＲＡ＿ＮＵＴ、またはＴＲＡＩＬ＿ＮＵＴのうち、第１ＮＵＴではない、いずれか一つのＮＵＴ値を有してもよい。

例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が活性化を示す場合（ｅ．ｇ．１）、二つ以上のサブピクチャに対するＶＣＬ ＮＡＬユニットのＮＵＴ値は、下記のように構成されてもよい。以下の説明は、例示であるだけで、これに制限されない。

組合せ１）ＩＲＡＰ＋ｎｏｎ－ＩＲＡＰ（ｉｎｔｅｒ）
組合せ２）ｎｏｎ＿ＩＲＡＰ（ｉｎｔｅｒ）＋ｎｏｎ－ＩＲＡＰ（ｉｎｔｅｒ）
組合せ３）ＩＲＡＰ＋ＩＲＡＰ＝ＩＤＲ＋ＣＲＡ（実施形態により制限される）

組合せ１）は、ピクチャ内の最小一つのサブピクチャがＩＲＡＰ（ＩＤＲまたはＣＲＡ）ＮＵＴ値を有し、他の最小一つのサブピクチャがｎｏｎ－ＩＲＡＰ（インタースライス）ＮＵＴ値を有する実施形態である。ここで、インタースライスＮＵＴ値としては、ＬＰ（ＲＡＳＬ及びＲＡＤＬ）を除いた値が許容されてもよい。例えば、インタースライスＮＵＴ値として、ＬＰ（ＲＡＳＬまたはＲＡＤＬ）は許容されないこともある。このように、ＩＤＲまたはＣＲＡサブピクチャと関連したビットストリームには、ＲＡＳＬ及びＲＡＤＬサブピクチャが符号化されないように制限されてもよい。

他の一実施形態において、インタースライスＮＵＴ値として、ＴＲＡＩＬ値だけが許容されてもよい。あるいは、他の一実施形態において、インタースライスＮＵＴ値として、全てのインタースライスＶＣＬ ＮＵＴが許容されてもよい。

組合せ２）は、ピクチャ内の最小一つのサブピクチャがｎｏｎ－ＩＲＡＰ（インタースライス）ＮＵＴ値を有し、他の最小一つのサブピクチャが他のｎｏｎ－ＩＲＡＰ（インタースライス）ＮＵＴ値を有する実施形態である。例えば、少なくとも一つのサブピクチャがＲＡＳＬ ＮＵＴ値を有し、他の少なくとも一つのサブピクチャは、ＲＡＤＬ ＮＵＴ値を有してもよい。組合せ２）による実施形態の場合、実施形態により、以下のような制限が適用され得る。

－一実施形態では、ＬＰ（ＲＡＳＬ及びＲＡＤＬ）とｎｏｎ－ＬＰ（ＴＲＡＩＬ）が一緒に用いられない。例えば、最小一つのサブピクチャのＮＵＴがＲＡＳＬ（またはＲＡＤＬ）でありながら、他の最小一つのサブピクチャのＮＵＴがＴＲＡＩＬであってはならない。最小一つのサブピクチャのＮＵＴがＲＡＳＬ（またはＲＡＤＬ）である場合、他の最小一つのサブピクチャのＮＵＴとして、ＲＡＳＬまたはＲＡＤＬは用いられてはならない。例えば、ＩＲＡＰサブピクチャのリーディングサブピクチャは、ＲＡＤＬまたはＲＡＳＬサブピクチャで強制されてもよい。

－他の一実施形態では、ＬＰ（ＲＡＳＬ及びＲＡＤＬ）とｎｏｎ－ＬＰ（ＴＲＡＩＬ）が一緒に用いられてもよい。例えば、最小一つのサブピクチャが、ＲＡＳＬ（またはＲＡＤＬ）でありながら、他の最小一つのサブピクチャがＴＲＡＩＬであってもよい。

－他の一実施形態では、例外的に条件２）の場合、全てのサブピクチャが同じインタースライスＮＵＴ値を有してもよい。例えば、ピクチャ内の全てのサブピクチャがＴＲＡＩＬ ＮＵＴ値を有してもよい。他の例示として、ピクチャ内の全てのサブピクチャが、ＲＡＳＬ（またはＲＡＤＬ）ＮＵＴ値を有してもよい。

組合せ３）は、ピクチャ内の全てのサブピクチャまたはスライスがＩＲＡＰで構成される実施形態を示す。例えば、第１サブピクチャ内のスライスに対するＮＵＴ値がＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、またはＣＲＡ＿ＮＵＴである場合、第２サブピクチャ内のスライスに対するＮＵＴ値は、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、及びＣＲＡ＿ＮＵＴのうち、第１サブピクチャのＮＵＴではない値で構成されてもよい。例えば、最小一つサブピクチャ内のスライスに対するＮＵＴ値がＩＤＲでありながら、他の最小一つのサブピクチャ内のスライスに対するＮＵＴ値がＣＲＡで構成されてもよい。

一方、実施形態により、組合せ３）のような実施形態の適用は、制限されてもよい。一実施形態において、ＩＲＡＰまたはＧＤＲアクセスユニットに属するピクチャは、全て同じＮＵＴを有するように制限されてもよい。すなわち、現在アクセスユニットがＩＲＡＰピクチャでのみ構成されるＩＲＡＰアクセスユニットであるか、現在アクセスユニットがＧＤＲピクチャでのみ構成されるＧＤＲアクセスユニットである場合、それに属するピクチャは、全て同じＮＵＴを有するように制限されてもよい。例えば、最小一つのサブピクチャ内のスライスに対するＮＵＴ値がＩＤＲでありながら、他の最小一つのサブピクチャ内のスライスに対するＮＵＴ値がＣＲＡで構成されないように制限されてもよい。このように、組み合わせ３）が制限され、上記した組合せ１）及び組合せ２）が適用される場合、当該ピクチャ内の最小一つのサブピクチャは、ｎｏｎ－ＩＲＡＰ（インタースライス）に対するＮＵＴ値を有するように制限されてもよい。例えば、符号化及び復号化過程において、当該ピクチャ内の全てのサブピクチャがＩＤＲに対するＮＵＴ値を有さないように制限されてもよい。あるいは、当該ピクチャ内の一部のサブピクチャがＩＤＲに対するＮＵＴ値を有し、他のサブピクチャがＣＲＡ ＮＵＴ値を有さないように制限されてもよい。

以下、ピクチャ内の混成ＮＵＴ（ｍｉｘｅｄ ＮＡＬ ｕｎｉｔ ｔｙｐｅ）が適用される場合における符号化情報のシグナリングのための関連シンタックス（ｓｙｎｔａｘ）及びセマンティック（ｓｅｍａｎｔｉｃｓ）について説明する。また、これを用いた復号化過程を説明する。上述のように、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝１である場合、ＮＵＴが叙述するピクチャは、サブピクチャを意味してもよい（表３参考）。

一方、上記のように、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が、混成ＮＵＴが適用されることを示す場合、一つのピクチャは、少なくとも二つのサブピクチャに分割されてもよい。これにより、当該ピクチャに対するサブピクチャの情報がビットストリームによりシグナリングされてもよい。このような点において、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、現在ピクチャが分割されるか否か示すことができる。例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が、混成ＮＵＴが適用されることを示す場合、現在ピクチャは分割されることを示すことができる。

以下、図１４のシンタックスを参照して説明する。図１４は、ピクチャパラメータセット（ＰＰＳ）のシンタックスに対する一実施形態を示す図である。例えば、ビットストリームにより、現在ピクチャが分割されないか否かを示すフラグ（ｅ．ｇ．ｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ）が、ピクチャパラメータセット（ＰＰＳ）によりシグナリングされてもよい。ｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇのイネーブルを示す値（ｅ．ｇ．１）は、現在ＰＰＳを参照するピクチャに対してピクチャの分割が適用されないことを示すことができる。ｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇのディスエーブルを示す値（ｅ．ｇ．０）は、現在ＰＰＳを参照するピクチャに対してスライスまたはタイルを用いたピクチャの分割が適用されることを示すことができる。このような実施形態において、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が、混成ＮＵＴが適用されることを示す場合、ｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇの値は、ディスエーブルを示す値（ｅ．ｇ．０）で強制されてもよい。

ｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇが、現在ピクチャが分割されることを示す場合、ビットストリームからサブピクチャの個数情報（ｅ．ｇ．ｐｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１）が取得されてもよい。ｐｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１は、現在ピクチャに含まれたサブピクチャの個数から１を引いた値を示すことができる。ｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇが、現在ピクチャが分割されないことを示す場合、ｐｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１の値は、ビットストリームから取得されず、０に誘導されてもよい。このように決定されたサブピクチャの個数情報により、一つのピクチャに含まれたサブピクチャの個数だけ、各サブピクチャに対する符号化情報がシグナリングされてもよい。例えば、各サブピクチャを識別するためのサブピクチャ識別子（ｅ．ｇ．ｐｐｓ＿ｓｕｂｐｉｃ＿ｉｄ）及び／または各サブピクチャの符号化／復号化過程の独立の可否を知らせるフラグ（ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］）値が指定されてシグナリングされてもよい。

混成ＮＵＴは、一つのピクチャが二つ以上のサブピクチャで構成されたときに適用されてもよい。このとき、一つのピクチャに含まれたサブピクチャの個数（ｉ）だけ、各サブピクチャの符号化／復号化過程の独立の可否を知らせるフラグ（ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］）値が指定されてシグナリングされてもよい。一つのサブピクチャが独立的に復号化されたというのは、当該サブピクチャを別個のピクチャとして取り扱って復号化を行ったことを示す。すなわち、当該フラグ値がオンである場合（ｅ．ｇ．ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ＝１）、当該サブピクチャは、インループフィルタ（ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒ）過程を除いた他の全ての復号化過程において、他のサブピクチャとは独立的に復号化されてもよい。逆に、当該フラグ値がオフである場合（ｅ．ｇ．ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ＝０）、当該サブピクチャは、インター予測過程において、ピクチャ内の他のサブピクチャを参照してもよい。ここで、インループフィルタ過程に対しては、別途のフラグを置いて独立または参照の可否を制御することができる。当該フラグ（ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ）は、ＳＰＳ、ＰＰＳ、及びＰＨのうち一つ以上の位置で正義されてもよい。例えば、当該フラグがＳＰＳで正義される場合、当該フラグは、ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇと名付けられてもよい。

また、本発明において、一つのピクチャ内の他のＮＵＴが存在する場合（ｅ．ｇ．ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝１）、一つのピクチャ内において、サブピクチャ間で異種のＮＵＴが用いられなければならない特性により、前記ピクチャ内の各サブピクチャは、独立的に符号化／復号化されなければならない。例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝１であるピクチャの場合、当該ピクチャ内に一つ以上のインター（ＰまたはＢ）スライスが含まれれば、当該ピクチャ内の全てのサブピクチャのｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ値は、１に設定されるか、１値に誘導されることが強制されてもよい。あるいは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝１である場合、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇは、０値を有さないように強制されてもよい。例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝１であるピクチャの場合、当該ピクチャ内の一つ以上のインタースライスが含まれれば、当該ピクチャに対する全てのサブピクチャに対して、パーシングされた値を問わず、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ値が１に再設定されてもよい。逆に、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝１でありながら、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ＝０であるピクチャの場合、当該ピクチャ内にインタースライスが含まれてはならない。すなわち、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝１でありながら、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ＝０であるピクチャの場合、当該ピクチャ内のスライスタイプは、イントラではなければならない。

また、他の実施形態では、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝１である場合、現在ピクチャのＮＵＴがＲＡＳＬであれば、現在ピクチャに対するｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇは、１に設定されるように強制されてもよい。他の例示として、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝１である場合、現在ピクチャのＮＵＴがＲＡＤＬでありながら、参照するピクチャのＮＵＴがＲＡＳＬであれば、現在ピクチャに対するｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇは、１で強制されてもよい。

混成ＮＵＴ機能は、一つのピクチャ内の全てのサブピクチャ（またはスライス）がＩＲＡＰで構成されることを制限してもよい。このとき、一つのピクチャ内の全てのスライスがＩＲＡＰで構成されるか、当該ピクチャがＧＤＲ（Ｇｒａｄｕａｌ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャであることを示すフラグ（ｇｄｒ＿ｏｒ＿ｉｒａｐ＿ｐｉｃ＿ｆｌａｇ）値は、０で強制されてもよい。すなわち、本発明において、一つのピクチャ内の他のＮＵＴが存在する場合（ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝１）、前記フラグ（ｇｄｒ＿ｏｒ＿ｉｒａｐ＿ｐｉｃ＿ｆｌａｇ）値は、０に設定されるか、０値に誘導されてもよい。あるいは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝１である場合、ｇｄｒ＿ｏｒ＿ｉｒａｐ＿ｐｉｃ＿ｆｌａｇは、１値を有するように強制されてもよい。前記フラグ（ｇｄｒ＿ｏｒ＿ｉｒａｐ＿ｐｉｃ＿ｆｌａｇ）は、ＳＰＳ、ＰＰＳ、及びＰＨのうち一つ以上の位置で正義されてもよい。

また、混成ＮＵＴ機能が適用されることにより、一つのピクチャ内の最小一つのサブピクチャが、ＩＲＡＰ（ＩＤＲまたはＣＲＡ）ＮＵＴ値を有し、他の最小一つのサブピクチャがｎｏｎ－ＩＲＡＰ（ｉｎｔｅｒ ｓｌｉｃｅ）ＮＵＴ値を有してもよい。すなわち、一つのピクチャ内において、イントラスライスとインタースライスが同時に存在してもよい。既存のＨＥＶＣ標準の場合、当該イントラスライスのＮＵＴがＩＤＲである場合、ＤＰＢをリセットした。これにより、当該時点のＤＰＢ内に存在する全ての復元ピクチャが除去された。

しかし、本発明による場合、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝１である場合、一つのピクチャ内において、イントラスライスとインタースライスが同時に存在できるので、一つのピクチャがＩＤＲ ＮＵＴであっても、ＤＰＢをリセットできない場合が存在する。これにより、一実施形態では、当該スライスがＩＤＲ ＮＵＴである場合、ＣＲＡのように、参照ピクチャ情報（ＲＰＬ：ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）を、当該ＩＤＲのスライスヘッダ情報として、ＮＡＬビットストリームに挿入してもよい。このため、ＩＤＲ ＮＵＴであるにもかかわらず、ＲＰＬ情報が存在することを知らせるフラグ（ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）値が１に設定されてもよい。前記フラグ（ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）値が１である場合、ＩＤＲのスライスヘッダ情報としてＲＰＬが存在する。逆に、前記フラグ（ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）値が０である場合、ＩＤＲのスライスヘッダ情報としてＲＰＬが存在しない。

一方、本発明において、一つのピクチャ内において他のＮＵＴが存在しながら（ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝１）、ＩＤＲピクチャのＲＰＬ情報を許容しない場合（ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝０）、当該ピクチャに対するＮＵＴは、ＩＤＲ＿Ｗ＿ＲＡＤＬまたはＩＤＲ＿Ｎ＿ＬＰ値を有してはならない。

前記フラグ（ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）は、ＳＰＳ、ＰＰＳ、及びＰＨのうち一つ以上の位置で正義されてもよい。例えば、前記フラグがＳＰＳで正義される場合、前記フラグは、ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇと名付けられてもよい。例えば、現在スライスのＮＵＴが、ＩＤＲ＿Ｗ＿ＲＡＤＬまたはＩＤＲ＿Ｎ＿ＲＡＤＬであっても、ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値により、ＲＰＬをシグナリングするために、図１５のスライスヘッダのシンタックスを用いて、スライスヘッダ情報がシグナリングされてもよい。ここで、ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第１値（ｅ．ｇ．０）は、ＮＵＴがＩＤＲ＿Ｎ＿ＬＰまたはＩＤＲ＿Ｗ＿ＲＡＤＬであるスライスのスライスヘッダにより、ＲＰＬシンタックス要素が提供されないことを示す。ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第２値（ｅ．ｇ．１）は、ＮＵＴがＩＤＲ＿Ｎ＿ＬＰまたはＩＤＲ＿Ｗ＿ＲＡＤＬであるスライスのスライスヘッダにより、ＲＰＬシンタックス要素が提供されることを示す。

一方、他の一実施形態において、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝１である場合、ＲＰＬがピクチャヘッダ情報でシグナリングされてもよい。例えば、図１４におけるシンタックスの適用において、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が、混成ＮＵＴが適用されることを示す場合、ｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇの値は、ディスエーブルを示す値（ｅ．ｇ．０）で強制されてもよい。また、これにより、ＲＰＬ情報がピクチャヘッダから提供されるか否かを示すフラグ（ｐｐｓ＿ｒｐｌ＿ｉｎｆｏ＿ｉｎ＿ｐｈ＿ｆｌａｇ）の値がビットストリームから取得されてもよい。ｐｐｓ＿ｒｐｌ＿ｉｎｆｏ＿ｉｎ＿ｐｈ＿ｆｌａｇがイネーブル（ｅ．ｇ．１）を示すと、ＲＰＬ情報は、図１６及び図１７に示すように、ピクチャヘッダから取得されてもよい。このように、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値に基づき、当該ピクチャのタイプを問わず、ＲＰＬ情報が取得される。もう一方、ｐｐｓ＿ｒｐｌ＿ｉｎｆｏ＿ｉｎ＿ｐｈ＿ｆｌａｇがディスエーブル（ｅ．ｇ．０）を示すと、ピクチャヘッダからＲＰＬ情報を取得することができない。例えば、ｐｐｓ＿ｒｐｌ＿ｉｎｆｏ＿ｉｎ＿ｐｈ＿ｆｌａｇ値が０でありながら、スライスＮＵＴがＩＤＲ＿Ｎ＿ＬＰまたはＩＤＲ＿Ｗ＿ＲＡＤＬであり、ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０であれば、当該スライスのＲＰＬ情報は、取得されない。すなわち、当該スライスのＲＰＬ情報がないので、ＲＰＬ情報は、初期化されて空いている（ｅｍｐｔｙ）ものに誘導されてもよい。

上述のように、一つのピクチャは、異種のＮＡＬユニットでシグナリングされてもよい。このように、一つのピクチャをシグナリングするために互いに異なるＮＵＴを有するＮＡＬユニットが用いられることから、ＮＡＬユニットのタイプにより、ピクチャのタイプを決定するための方法が要求される。これにより、ランダムアクセス（ＲＡ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ）時、当該ピクチャが正常に復元されて出力（ｏｕｔｐｕｔ）可能であるか否かが決定されてもよい。

一実施形態によるデコーディング過程において、一つのピクチャに対応するそれぞれのＶＣＬ ＮＡＬユニットが、ＣＲＡ＿ＮＵＴタイプのＮＡＬユニットである場合、当該ピクチャは、ＣＲＡピクチャと決定されてもよい。また、一つのピクチャに対応するそれぞれのＶＣＬ ＮＡＬユニットが、ＩＤＲ＿Ｗ＿ＲＡＤＬであるか、ＩＤＲ＿Ｎ＿ＬＰタイプのＮＡＬユニットである場合、当該ピクチャは、ＩＤＲピクチャと決定されてもよい。また、一つのピクチャに対応するそれぞれのＶＣＬ ＮＡＬユニットが、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、またはＣＲＡ＿ＮＵＴタイプのＮＡＬユニットである場合、当該ピクチャは、ＩＲＡＰピクチャと決定されてもよい。

また、一つのピクチャに対応するそれぞれのＶＣＬ ＮＡＬユニットが、ＲＡＤＬ＿ＮＵＴタイプのＮＡＬユニットである場合、当該ピクチャは、ＲＡＤＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｄｅｃｏｄａｂｌｅ ｌｅａｄｉｎｇ）ピクチャと決定されてもよい。また、一つのピクチャに対応するそれぞれのＶＣＬ ＮＡＬユニットがＴＲＡＩＬ＿ＮＵＴタイプのＮＡＬユニットである場合、当該ピクチャは、トレーイリング（ｔｒａｉｌｉｎｇ）ピクチャと決定されてもよい。また、一つのピクチャに対応するＶＣＬ ＮＡＬユニットのうち少なくとも一つのＶＣＬ ＮＡＬユニットのタイプがＲＡＳＬ＿ＮＵＴタイプであり、他の全てのＶＣＬ ＮＡＬユニットのタイプがＲＡＳＬ＿ＮＵＴタイプであるか、ＲＡＤＬ＿ＮＵＴタイプである場合、前記当該ピクチャは、ＲＡＳＬ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｓｋｉｐｐｅｄ ｌｅａｄｉｎｇ）ピクチャと決定されてもよい。

一方、他の一実施形態によるデコーディング過程において、一つのピクチャ内の最小一つのサブピクチャがＲＡＳＬでありながら、他の最小一つのサブピクチャがＲＡＤＬである場合、当該ピクチャは、ＲＡＳＬピクチャと決定されてもよい。例えば、一つのピクチャ内の最小一つのサブピクチャがＲＡＳＬでありながら、他の最小一つのサブピクチャがＲＡＤＬである場合、デコーディング過程中、当該ピクチャは、ＲＡＳＬピクチャに設定されてもよい。ここで、サブピクチャに対応するＶＣＬ ＮＡＬユニットのタイプがＲＡＳＬ＿ＮＵＴであれば、当該サブピクチャは、ＲＡＳＬと決定されてもよい。これにより、ＲＡ時、ＲＡＳＬサブピクチャ及びＲＡＤＬサブピクチャは、全てＲＡＳＬピクチャとして取り扱われてもよく、このため、当該ピクチャは、出力されなくてもよい。

一方、他の一実施形態によるデコーディング過程において、一つのピクチャ内の最小一つのサブピクチャがＲＡＳＬであれば、当該ピクチャは、ＲＡＳＬピクチャに設定されてもよい。例えば、一つのピクチャ内の最小一つのサブピクチャがＲＡＳＬでありながら、他の最小一つのサブピクチャがＴＲＡＩＬである場合、デコーディング過程中、当該ピクチャは、ＲＡＳＬピクチャに設定されてもよい。これにより、ＲＡ時、当該ピクチャは、ＲＡＳＬピクチャとして取り扱われてもよく、当該ピクチャは、出力されなくてもよい。

ここで、ＲＡの発生は、当該インタースライス（ＲＡＤＬ、ＲＡＳＬ、またはＴＲＡＩＬ）と連結された（関連した）ＩＲＡＰピクチャのＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇ値と判断されてもよい。当該フラグ値が１である場合（ＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇ＝１）、ＲＡの発生を意味し、当該フラグ値が０である場合（ＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇ＝０）、一般的な再生を意味する。当該フラグ値は、ＩＲＡＰに対して、次のように設定されてもよい。

－現在ピクチャがＩＲＡＰであるとき、ＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇ値の設定過程
１．ピクチャがビットストリームの一番目ピクチャであれば、ＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇを１に設定
２．ピクチャがＩＤＲであれば、ＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇを１に設定
３．ピクチャがＣＲＡでありながら、外部からＲＡを知らせれば、ＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇを１に設定
４．ピクチャがＣＲＡでありながら、外部からＲＡを知らせなければ、ＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇを０に設定

一実施形態において、復号化装置は、外部端末からランダムアクセスの発生をシグナリングされてもよい。例えば、外部端末は、ランダムアクセスの発生情報の値を１に設定して、復号化装置でシグナリングすることにより、ランダムアクセスの発生を復号化装置でシグナリングしてもよい。復号化装置は、外部端末からランダムアクセスの発生を受信したかを示すフラグのＨａｎｄｌｅＣｒａＡｓＣｌｖｓＳｔａｒｔＦｌａｇの値を、外部端末から受信したランダムアクセスの発生情報により１に設定してもよい。復号化装置は、ＨａｎｄｌｅＣｒａＡｓＣｌｖｓＳｔａｒｔＦｌａｇの値と同じ値でＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇの値を設定してもよい。これにより、復号化装置は、現在ピクチャがＣＲＡピクチャでありながら、ＨａｎｄｌｅＣｒａＡｓＣｌｖｓＳｔａｒｔＦｌａｇの値が１である場合、当該ＣＲＡピクチャについてランダムアクセスが発生したことを決定するか、当該ＣＲＡがビットストリームの最初に位置したものとして復号化を行ってもよい。

ＲＡ時、現在ピクチャが出力されるか否を決定するフラグ（ＰｉｃｔｕｒｅＯｕｔｐｕｔＦｌａｇ）を設定する過程は、次のようである。例えば、現在ピクチャに対するＰｉｃｔｕｒｅＯｕｔｐｕｔＦｌａｇは、下記の順序により設定されてもよい。ここで、ＰｉｃｔｕｒｅＯｕｔｐｕｔＦｌａｇの第１値（ｅ．ｇ．０）は、現在ピクチャが出力されないことを示す。ＰｉｃｔｕｒｅＯｕｔｐｕｔＦｌａｇの第２値（ｅ．ｇ．１）は、現在ピクチャが出力されることを示す。

（１）現在ピクチャがＲＡＳＬでありながら、関連したＩＲＡＰピクチャのＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇが１であれば、ＰｉｃｔｕｒｅＯｕｔｐｕｔＦｌａｇを０に設定する。
（２）現在ピクチャが、ＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇの値が１であるＧＤＲピクチャであるか、その復元ピクチャである場合、ＰｉｃｔｕｒｅＯｕｔｐｕｔＦｌａｇは、０に設定する。
（３）その他、ビットストリーム内のｐｉｃ＿ｏｕｔｐｕｔ＿ｆｌａｇ値と同じ値でＰｉｃｔｕｒｅＯｕｔｐｕｔＦｌａｇの値を設定する。ここで、ｐｉｃ＿ｏｕｔｐｕｔ＿ｆｌａｇは、ＰＨ及びＳＨの一つ以上の位置で取得されてもよい。

図１８は、本発明で提示した互いに異なる三つのコンテンツの合成に対する例示を示す。図１８の（ａ）は、互いに異なる三つのコンテンツに対するシーケンスを示し、便宜上、一つのピクチャを一つのパケットと示したが、一つのピクチャは、多数個のスライスに分割されて、多数個のパレットが存在してもよい。図１８の（ｂ）及び図１８の（ｃ）は、図１８の（ａ）において点線で示したピクチャに対する合成されたイメージ結果を示す。図１８において同じ色は、同じピクチャ／サブピクチャ／スライスを意味する。また、Ｐスライス及びＢスライスは、インターＮＵＴのうち一つの値を有してもよい。

上記のように、本発明により、多数個のコンテンツを合成するとき、必ずしもイントラスライス（ピクチャ）の位置を等しくする必要がなく、単純に階層的ＧＯＰ構造を合わせることにより、ディレーなしに、速くて容易にコンテンツを合成することができる。

符号化及び復号化の実施形態
以下、上述した方法により、映像復号化装置が映像を復号化する方法を説明する。図１９及び図２０は、本発明の一実施形態による復号化方法及び符号化方法を説明する順序図である。

一実施形態による映像復号化装置は、メモリ及び少なくとも一つのプロセッサを含んでもよく、プロセッサの動作により、以下の復号化方法を行うことができる。先ず、復号化装置は、ビットストリームから現在ＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットのタイプを示すＮＡＬユニットタイプ情報を取得する（Ｓ１９１０）。

次に、復号化装置は、ＮＡＬユニットタイプ情報が、現在ＮＡＬユニットのＮＡＬユニットタイプが映像スライスに対する符号化データであることを示す場合、現在ピクチャに混成ＮＡＬユニットタイプ（ｍｉｘｅｄ ＮＡＬ ｕｎｉｔ ｔｙｐｅ）が適用されるか否かに基づき、映像スライスを復号化する（Ｓ１９２０）。

ここで、復号化装置は、混成ＮＡＬユニットタイプが適用されるか否かに基づき、現在ＮＡＬユニットのＮＡＬユニットタイプが、現在映像スライスに対するサブピクチャの属性を示すか否かを決定することにより、映像スライスの復号化を行うことができる。

混成ＮＡＬユニットタイプが適用されるか否かは、ピクチャパラメータセットから取得される第１フラグ（ｅ．ｇ．ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）に基づいて識別されてもよい。混成ＮＡＬユニットタイプが適用される場合、現在映像スライスが属する現在ピクチャは、少なくとも二つのサブピクチャに分割されてもよい。

さらには、混成ＮＡＬユニットタイプが適用されるか否かに基づき、サブピクチャに対する復号化情報がビットストリームに含まれていてもよい。一実施形態において、ビットストリームから現在ピクチャが分割されないか否かを示す第２フラグ（ｅ．ｇ．ｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ）が取得される。また、第２フラグが、現在ピクチャが分割可能であることを示す場合（ｅ．ｇ．ｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ＝＝０）、参照ピクチャリスト情報がピクチャヘッダから提供されるか否かを示す第３フラグ（ｅ．ｇ．ｐｐｓ＿ｒｐｌ＿ｉｎｆｏ＿ｉｎ＿ｐｈ＿ｆｌａｇ）がビットストリームから取得される。

このような例において、前記混成ＮＡＬユニットタイプが適用される場合、現在ピクチャが少なくとも二つのサブピクチャへの分割が強制されることにより、第２フラグ（ｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ）の値が０で強制され、参照ピクチャリスト情報がピクチャヘッダから提供されるか否かを示す第３フラグ（ｅ．ｇ．ｐｐｓ＿ｒｐｌ＿ｉｎｆｏ＿ｉｎ＿ｐｈ＿ｆｌａｇ）が、ビットストリームから実際に取得された第２フラグ（ｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ）の値を問わず、ビットストリームから取得される。これにより、第３フラグが、参照ピクチャリスト情報がピクチャヘッダから提供されることを示すと（ｅ．ｇ．ｐｐｓ＿ｒｐｌ＿ｉｎｆｏ＿ｉｎ＿ｐｈ＿ｆｌａｇ＝＝１）、ピクチャヘッダに関するビットストリームから参照ピクチャリスト情報が取得される。

また、混成ＮＡＬユニットタイプが適用される場合、現在ピクチャは、互いに異なるＮＡＬユニットタイプを有する第１サブピクチャ及び第２サブピクチャに基づき、復号化されてもよい。ここで、第１サブピクチャのＮＡＬユニットタイプが、ＩＤＲ＿Ｗ＿ＲＡＤＬ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ＿Ｗｉｔｈ＿Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ）、ＩＤＲ＿Ｎ＿ＬＰ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ＿Ｎｏ ｒｅｆｅｒｅｎｃｅ＿Ｌｅａｄｉｎｇ Ｐｉｃｔｕｒｅ）、及びＣＲＡ＿ＮＵＴ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ＿ＮＡＬ Ｕｎｉｔ Ｔｙｐｅ）のうちいずれか一つの値を有する場合、第２サブピクチャＮＵＴとして選択可能な可用（ａｖａｉｌａｂｌｅ）のＮＡＬユニットタイプは、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、及びＣＲＡ＿ＮＵＴのうち、第１サブピクチャから選択されなかったＮＡＬユニットタイプを含んでもよい。

あるいは、第１サブピクチャのＮＡＬユニットタイプが、ＩＤＲ＿Ｗ＿ＲＡＤＬ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ＿Ｗｉｔｈ＿Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ）、ＩＤＲ＿Ｎ＿ＬＰ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ＿Ｎｏ ｒｅｆｅｒｅｎｃｅ＿Ｌｅａｄｉｎg Ｐｉｃｔｕｒｅ）、及びＣＲＡ＿ＮＵＴ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ＿ＮＡＬ Ｕｎｉｔ Ｔｙｐｅ）のうちいずれか一つの値を有する場合、第２サブピクチャの可用のＮＡＬユニットタイプは、ＴＲＡＩＬ＿ＮＵＴ（Ｔｒａｉｌ＿ＮＡＬ Ｕｎｉｔ Ｔｙｐｅ）を含んでもよい。

一方、混成ＮＡＬユニットタイプが適用される場合、現在ピクチャを構成する第１サブピクチャ及び第２サブピクチャは、独立的に復号化されてもよい。例えば、ＢまたはＰスライスを含む第１サブピクチャ及び第２サブピクチャは、一つのピクチャとして取り扱われて復号化されてもよい。例えば、第１サブピクチャは、第２サブピクチャを参照ピクチャとして使用せずに復号化されてもよい。

さらに詳しくは、第１サブピクチャが、復号化過程において、ピクチャとして取り扱われるか否かを示す第４フラグ（ｅ．ｇ．ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ）が、ビットストリームから取得されてもよい。第１サブピクチャが復号化過程において、ピクチャとして取り扱われることを第４フラグが示すと（ｅ．ｇ．ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ＝＝１）、第１サブピクチャは、復号化過程において、ピクチャとして取り扱われて復号化されてもよい。このような過程において、現在ピクチャに混成ＮＡＬユニットタイプが適用され、第１サブピクチャを含む現在ピクチャがＰスライスまたはＢスライスを少なくとも一つ含むと、第４フラグは、第１サブピクチャが、復号化過程において、ピクチャとして取り扱われることを示す値を有するように強制されてもよい。もう一方、現在ピクチャに混成ＮＡＬユニットタイプが適用され、第１サブピクチャが、復号化過程において、ピクチャとして取り扱われないことを第４フラグが示すと（ｅ．ｇ．ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ＝＝０）、現在ピクチャに属するスライスタイプは、イントラではなければならない。

第１サブピクチャが、復号化過程において、ピクチャとして取り扱われることを第４フラグが示すと、第１サブピクチャの復号化過程が、他のサブピクチャから独立していることを決定することができる。例えば、第４フラグが、第１サブピクチャが、復号化過程において、他のサブピクチャから独立して復号化されることを示すと、第１サブピクチャは、他のサブピクチャを参照ピクチャとして使用せずに復号化されてもよい。

また、第１サブピクチャがＲＡＳＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ）サブピクチャである場合、第２サブピクチャがＲＡＤＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ）サブピクチャであるか否かに基づき、現在ピクチャがＲＡＳＬピクチャと決定されてもよい。ここで、第１サブピクチャに対応するＮＡＬユニットのタイプが、ＲＡＳＬ＿ＮＵＴ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ＿ＮＡＬ Ｕｎｉｔ Ｔｙｐｅ）である場合、第１サブピクチャは、ＲＡＳＬサブピクチャと決定されてもよい。

また、第３フラグ（ｅ．ｇ．ｐｐｓ＿ｒｐｌ＿ｉｎｆｏ＿ｉｎ＿ｐｈ＿ｆｌａｇ）が、参照ピクチャリスト情報がピクチャヘッダから取得されず、スライスヘッダから取得されることを示し（ｅ．ｇ．ｐｐｓ＿ｒｐｌ＿ｉｎｆｏ＿ｉｎ＿ｐｈ＿ｆｌａｇ＝＝０）、第１サブピクチャのＮＡＬユニットタイプがＩＤＲ＿Ｗ＿ＲＡＤＬ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ＿Ｗｉｔｈ＿Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ）及びＩＤＲ＿Ｎ＿ＬＰ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ＿Ｎｏ ｒｅｆｅｒｅｎｃｅ＿Ｌｅａｄｉｎg Ｐｉｃｔｕｒｅ）のうちいずれか一つの値を有する場合、ＩＤＲピクチャに対する参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）情報がスライスヘッダに存在するか否かを示す第５フラグ（ｅ．ｇ．ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）に基づき、スライスヘッダに関するビットストリームから参照ピクチャリスト情報が取得されてもよい。ここで、第５フラグは、シーケンスパラメータセットに関するビットストリームから取得されてもよい。

一方、現在ピクチャに関連したＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャに対してランダムアクセスが行われる場合、現在ピクチャがＲＡＳＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ）サブピクチャであれば、現在ピクチャは、出力（ディスプレイ）されなくてもよい。

一実施形態による映像符号化装置は、メモリ及び少なくとも一つのプロセッサを含んでもよく、プロセッサの動作により、上述した復号化方法に対応する符号化方法を行うことができる。例えば、符号化装置は、現在ピクチャが混成ＮＡＬユニットタイプに基づいて符号化される場合、ピクチャを分割するサブピクチャのタイプを決定する（Ｓ２０１０）。また、符号化装置は、サブピクチャのタイプに基づき、サブピクチャを構成する少なくとも一つの現在映像スライスを符号化して、現在ＮＡＬユニットを生成する（Ｓ２０２０）。このとき、符号化装置は、現在ピクチャが混成ＮＡＬユニットタイプに基づいて符号化される場合、現在ＮＡＬユニットのＮＡＬユニットタイプが現在映像スライスに対するサブピクチャの属性を示すように符号化することにより、映像スライスを符号化する。

また、本発明は、コンピュータで読取り可能な記録媒体に、コンピュータ（情報処理機能を有する装置を全て含む）で読取り可能なコードとして実現することが可能である。コンピュータで読取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが保存される全ての種類の記録装置を含む。コンピュータで読取り可能な記録装置の例としては、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ保存装置等がある。

本発明は、図面に示された実施形態を参考として説明されたが、これは、例示的なものに過ぎず、この技術分野における通常の知識を有する者であれば、これから様々な変形及び均等な他の実施形態が可能であることが理解されるであろう。従って、本発明の真正な技術的保護範囲は、添付された登録請求の範囲の技術的思想により定められなければならないであろう。

Claims (3)

1. 映像復号化装置が行う映像復号化方法であって、
   現在のピクチャが互いに異なるＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットタイプを有するサブピクチャを含むか否かを示す第１フラグを取得するステップと、
   前記サブピクチャが復号化過程で別個のピクチャとして取り扱われたか否かを示す第２フラグを取得するステップと、を含み、
   前記第１フラグに基づいて前記ピクチャが互いに異なるＮＡＬユニットタイプを有するサブピクチャを含むと判断される場合、前記サブピクチャ中ＮＡＬユニットタイプがＲＡＳＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ）のサブピクチャに対して前記第２フラグが第１値を有するように強制され、
   前記第１値は前記サブピクチャが復号化過程で別個のピクチャとして取り扱われていることを示す映像復号化方法。
2. 前記ピクチャが、ＮＡＬユニットタイプがＲＡＳＬであるサブピクチャとＮＡＬユニットタイプがＲＡＤＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ）のサブピクチャを含む場合、前記ピクチャは復号化過程でＲＡＳＬピクチャでとして取り扱われる請求項１に記載の映像復号化方法。
3. 前記ＲＡＳＬピクチャは復元過程がスキップ（ｓｋｉｐ）して出力されない可能性がある請求項２に記載の映像復号化方法。