JP2023526535A - 映像コーディング方法及びその装置 - Google Patents

Abstract

本文書に係る映像デコーディング方法は、ＰＯＣ情報に基づいて現在ピクチャー及び参照ピクチャーに対するＰＯＣ値を導出する段階を含み、前記ＰＯＣ情報は、ＰＯＣの最大ＬＳＢ値を含み、前記参照ピクチャーに関する情報は、ピクチャーが参照ピクチャーとして用いられないか否かに関する非参照ピクチャーフラグを含み、前記現在ピクチャーのＰＯＣ値を導出するために用いられる以前ピクチャーの前記非参照ピクチャーフラグの値は０であり、前記現在ピクチャーと前記以前ピクチャーのＰＯＣ値の差は、前記ＰＯＣの最大ＬＳＢ値の半分よりも小さいことを特徴とし得る。【選択図】図７

Description

本文書は、映像コーディング技術に関し、より詳細には、映像コーディングシステムにおいてピクチャーに対するＰＯＣに基づく映像コーディング方法及びその装置に関する。

近年、４Ｋ又は８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像／ビデオのような高解像度、高品質の映像／ビデオに対する需要が様々な分野で増加している。映像／ビデオデータが高解像度化、高品質化するに伴って、伝送される情報量又はビット量も既存の映像／ビデオデータに比べてより増加するため、既存の有無線広帯域回線のような媒体を用いて映像データを伝送したり既存の記憶媒体を用いて映像／ビデオデータを記憶する場合に、伝送及び記憶にかかるコストが増加する。

また、最近では、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）への関心及び需要が増加しており、ゲーム映像のように、現実映像と異なる映像特性を有する映像／ビデオの放送が増加している。

これにより、上記のような様々な特性を有する高解像度・高品質の映像／ビデオの情報を効果的に圧縮して伝送、記憶、再生するためには高効率の映像／ビデオ圧縮技術が要求される。

本文書の技術的課題は、映像コーディング効率を高める方法及び装置を提供することにある。

本文書の他の技術的課題は、ピクチャーのＰＯＣデコーディング効率を高める方法及び装置を提供することにある。

本文書のさらに他の技術的課題は、システムにおいて削除された参照ピクチャーを用いないようにしてインター予測の効率を高める方法及び装置を提供することにある。

本文書のさらに他の技術的課題は、現在ピクチャーと参照ピクチャー間のＰＯＣ値を制限することによって誤り発生を減少させ、ネットワークを安定させることにある。

本文書の一実施例によれば、デコーディング装置によって行われる映像デコーディング方法を提供する。前記方法は、ビットストリームからＰＯＣ情報及び参照ピクチャーに関する情報を受信する段階と、前記ＰＯＣ情報に基づいて現在ピクチャー及び参照ピクチャーに対するＰＯＣ値を導出する段階と、前記現在ピクチャーのＰＯＣ値と前記参照ピクチャーに対するＰＯＣ値に基づいて参照ピクチャーリストを構成する段階と、前記参照ピクチャーリストに基づいて現在ブロックに対するインター予測を行って前記現在ブロックに対する予測サンプルを導出する段階と、前記予測サンプルに基づいて復元ピクチャーを生成する段階と、を含み、前記ＰＯＣ情報は、ＰＯＣの最大ＬＳＢ値を含み、前記参照ピクチャーに関する情報は、ピクチャーが参照ピクチャーとして用いられないか否かに関する非参照ピクチャーフラグを含み、前記現在ピクチャーのＰＯＣ値を導出するために用いられる以前ピクチャーの前記非参照ピクチャーフラグの値は０であり、前記現在ピクチャーと前記以前ピクチャーのＰＯＣ値の差は、前記ＰＯＣの最大ＬＳＢ値の半分よりも小さくてよい。

前記現在ピクチャーと前記以前ピクチャーに対するレイヤＩＤは同一であり、前記以前ピクチャーに対する、時間レイヤの識別情報から導出される時間的ＩＤは、０であってよい。

前記以前ピクチャーは、ＲＡＳＬピクチャー又はＲＡＤＬピクチャーでなくてよい。

前記現在ピクチャーのＰＯＣ値は、変数ＰＯＣＭｓｂと前記現在ピクチャーに対するＰＯＣ ＬＳＢ情報値に基づいて導出され、前記変数ＰＯＣＭｓｂは、ＰＯＣ ＭＳＢサイクル値の存在の有無に対するサイクル存在フラグ及び前記サイクル存在フラグ値に基づいてシグナルされるＰＯＣ ＭＳＢサイクル値に基づいて導出されてよい。

前記現在ピクチャーに対する前記サイクル存在フラグの値が０であり、前記現在ピクチャーがＣＬＶＳＳピクチャーでないと、前記現在ピクチャーに対する前記変数ＰＯＣＭｓｂは、前記以前ピクチャーの前記変数ＰＯＣＭｓｂに基づいて導出されてよい。

本文書の一実施例によれば、エンコーディング装置によって行われる映像エンコーディング方法を提供する。前記方法は、現在ピクチャー及び参照ピクチャーに対するＰＯＣ値を導出する段階と、前記参照ピクチャーを用いて前記現在ブロックに対するインター予測を行う段階と、ＰＯＣ情報と前記参照ピクチャーに関する情報をエンコードする段階と、を含み、前記ＰＯＣ情報は、ＰＯＣの最大ＬＳＢ値を含み、前記参照ピクチャーに関する情報は、ピクチャーが参照ピクチャーとして用いられないか否かに関する非参照ピクチャーフラグを含み、前記現在ピクチャーのＰＯＣ値を導出するために用いられる以前ピクチャーの前記非参照ピクチャーフラグの値は０であり、前記現在ピクチャーと前記以前ピクチャーのＰＯＣ値の差は、前記ＰＯＣの最大ＬＳＢ値の半分よりも小さくてよい。

本文書のさらに他の一実施例によれば、エンコーディング装置によって行われた映像エンコーディング方法によって生成されたエンコードされた映像情報及び／又はビットストリームが含まれた映像データが記憶されているデジタル記憶媒体が提供されてよい。

本文書のさらに他の一実施例によれば、デコーディング装置が前記映像デコーディング方法を実行するようにするエンコードされた映像情報及び／又はビットストリームが含まれた映像データが記憶されているデジタル記憶媒体が提供されてよい。

本文書によれば、映像／ビデオ圧縮効率の全般を高めることができる。

本文書によれば、ピクチャーのＰＯＣデコーディング効率を高めることができる。

本文書によれば、システムにおいて削除された参照ピクチャーを用いないようにしてインター予測の効率を高めることができる。

本文書によれば、現在ピクチャーと参照ピクチャー間のＰＯＣ値を制限することによって誤り発生を減少させ、ネットワークを安定させることができる。

本明細書の具体的な一例から得られる効果は、以上に述べられた効果に制限されない。例えば、関連する技術の分野における通常の知識を有する者（ｐｅｒｓｏｎ ｈａｖｉｎｇ ｏｒｄｉｎａｒｙ ｓｋｉｌｌ ｉｎ ｔｈｅ ｒｅｌａｔｅｄ ａｒｔ）にとって、本明細書から理解又は誘導可能な様々な技術的効果が存在し得る。これにより、本明細書の具体的な効果は、本明細書に明示的に記載されたものに制限されず、本明細書の技術的特徴から理解又は誘導可能な様々な効果を含むことができる。

本文書が適用可能なビデオ／映像エンコーディング装置の構成を概略的に説明する図である。 本文書が適用可能なビデオ／映像デコーディング装置の構成を概略的に説明する図である。 コードされた映像／ビデオに対する階層構造の例を示す図である。 時間スケーラビリティーを支援するビットストリーム内のＮＡＬユニットに対する時間レイヤ構造を示す図である。 本文書の一例によってエンコーディング装置で行われる映像情報のエンコーディング方法を説明するための図である。 本文書の一例によってデコーディング装置で行われる映像情報のデコーディング方法を説明するための図である。 一例による映像のデコーディング方法を説明するための図である。 一例による映像のエンコーディング方法を説明するための図である。 本文書が適用可能なビデオ／映像コーディングシステムの例を概略的に示す図である。 本文書が適用されるコンテンツストリーミングシステム構造を例示する図である。

本文書は様々な変更が可能であり、様々な実施例を有し得るところ、特定実施例を図面に例示して詳細に説明する。ただし、これは、本文書を特定の実施例に限定しようとするものではない。本明細書で常用する用語は、特定の実施例を説明するために使われるだけで、本文書の技術的思想を限定する意図で使われるものではない。単数の表現は、文脈において別に断らない限り、複数の表現をも含む。本明細書において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はそれらを組み合わせたものが存在することを指定するためのものであり、１つ又はそれ以上の他の特徴、数字、段階、動作、構成要素、部品又はそれらを組み合わせたものの存在又は付加の可能性をあらかじめ排除しないものとして理解されるべきである。

一方、本文書で説明される図面上の各構成は、それぞれ異なる特徴的な機能に関する説明の便宜のために独立して示すものであり、各構成が互いに別個のハードウェアや別個のソフトウェアとして具現されるということを意味するものではない。例えば、各構成のうち２つ以上の構成が合わせられて一つの構成をなしてもよく、一つの構成が複数の構成に分けられてもよい。各構成が統合及び／又は分離された実施例も、本文書の本質から逸脱しない限り、本文書の権利範囲に含まれる。

以下、添付の図面を参照して、本文書の好ましい実施例をより詳細に説明する。以下、図面上の同一の構成要素には同一の参照符号を付し、同一の構成要素について重複する説明は省略する。

この文書は、ビデオ／映像コーディングに関する。例えば、この文書に開示される方法／実施例は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６６）、ＶＶＣ以後の次世代ビデオ／イメージコーディング標準、又はそれ以外のビデオコーディング関連標準（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５）、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶＳ２標準など）と関連し得る。

この文書では、ビデオ／映像コーディングに関する様々な実施例を提示し、特に言及がない限り、これらの実施例は組合せで行われてもよい。

この文書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味できる。ピクチャー（ｐｉｃｔｕｒｅ）は一般に、特定の時間帯の一つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャーの一部を構成する単位である。スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。一つのピクチャーは、一つ以上のスライス／タイルで構成されてよい。一つのピクチャーは、一つ以上のタイルグループで構成されてよい。一つのタイルグループは、一つ以上のタイルを含むことができる。

ピクセル（ｐｉｘｅｌ）又はＰＥＬ（ｐｅｌ）は、一つのピクチャー（又は、映像）を構成する最小の単位を意味できる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使われてもよい。サンプルは一般に、ピクセル又はピクセルの値を表すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを表すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを表すこともできる。又は、サンプルは、空間ドメインにおけるピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインにおける変換係数を意味することもできる。

ユニット（ｕｎｉｔ）は、映像処理の基本単位を表すことができる。ユニットは、ピクチャーの特定領域及び当該領域に関連した情報のうち少なくとも一つを含むことができる。１つのユニットは、１つのルマブロック及び２つのクロマ（ｅｘ．ｃｂ，ｃｒ）ブロックを含むことができる。ユニットは、場合によってブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）などの用語と同じ意味で使われてよい。一般の場合、ＭｘＮブロックは、Ｍ個の列とＮ個の行からなるサンプル（又は、サンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（又は、アレイ）を含むことができる。

この文書において、「／」と「、」は、「及び／又は」と解釈される。例えば、「Ａ／Ｂ」は、「Ａ及び／又はＢ」と解釈され、「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈される。さらに、「Ａ／Ｂ／Ｃ」は、「Ａ、Ｂ及び／又はＣのうち少なくとも一つ」を意味する。また、「Ａ、Ｂ、Ｃ」も、「Ａ、Ｂ及び／又はＣのうち少なくとも一つ」を意味する。(In this document, the term “/” and "," should be interpreted to indicate “and/or.” For instance, the expression “A/B” may mean “A and/or B.” Further, “A, B” may mean “A and/or B.” Further, “A/B/C” may mean “at least one of A, B, and/or C.” Also, “A/B/C” may mean “at least one of A, B, and/or C.”)

なお、本文書において、「又は」は、「及び／又は」と解釈される。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味する、２）「Ｂ」のみを意味する、又は３）「Ａ及びＢ」を意味できる。言い換えると、本文書の「又は」は、「追加として又は代替として（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味できる(Further, in the document, the term “or” should be interpreted to indicate “and/or.” For instance, the expression “A or B” may comprise 1) only A, 2) only B, and/or 3) both A and B. In other words, the term “or” in this document should be interpreted to indicate “additionally or alternatively.”)

本明細書において「Ａ及びＢのうち少なくとも一つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「Ａのみ」、「Ｂのみ」又は「ＡとＢの両方」を意味できる。また、本明細書において「Ａ又はＢのうち少なくとも一つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「Ａ及び／又はＢのうち少なくとも一つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「Ａ及びＢのうち少なくとも一つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同一に解釈されてよい。

また、本明細書において「Ａ、Ｂ及びＣのうち少なくとも一つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」、又は「Ａ、Ｂ及びＣの任意の全ての組合せ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味できる。また、「Ａ、Ｂ又はＣのうち少なくとも一つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ｏｒ Ｃ）」や「Ａ、Ｂ及び／又はＣのうち少なくとも一つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ／ｏｒ Ｃ）」は、「Ａ、Ｂ及びＣのうち少なくとも一つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味できる。

また、本明細書で使われる括弧は、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味できる。具体的には、「予測（イントラ予測）」と表示された場合に、「予測」の一例として「イントラ予測」が提案されたものであってよい。言い換えると、本明細書における「予測」は「イントラ予測」に制限（ｌｉｍｉｔ）されず、「イントラ予測」が「予測」の一例として提案されたものであろう。また、「予測（すなわち、イントラ予測）」と表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであろう。

本明細書において、一つの図面で個別に説明される技術的特徴は、個別に具現されてもよく、同時に具現されてもよい。

図１は、本文書の実施例が適用可能なビデオ／映像エンコーディング装置の構成を概略的に説明する図である。以下、ビデオエンコーディング装置は、映像エンコーディング装置を含むことができる。

図１を参照すると、エンコーディング装置１００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ，１１０）、予測部（ｐｒｅｄｉｃｔｏｒ，１２０）、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ，１３０）、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ，１４０）、加算部（ａｄｄｅｒ，１５０）、フィルタリング部（ｆｉｌｔｅｒ，１６０）及びメモリ（ｍｅｍｏｒｙ，１７０）を含んで構成されてよい。予測部１２０は、インター予測部１２１及びイントラ予測部１２２を含むことができる。レジデュアル処理部１３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ，１３２）、量子化部（ｑｕａｎｔｉｚｅｒ，１３３）、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ，１３４）、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ，１３５）を含むことができる。レジデュアル処理部１３０は、減算部（ｓｕｂｔｒａｃｔｏｒ，１３１）をさらに含むことができる。加算部１５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）又は復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれてもよい。上述した映像分割部１１０、予測部１２０、レジデュアル処理部１３０、エントロピーエンコーディング部１４０、加算部１５０及びフィルタリング部１６０は、実施例によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセット又はプロセッサ）によって構成されてよい。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって構成されてもよい。前記ハードウェアコンポーネントは、メモリ１７０を内／外部コンポーネントとしてさらに含むこともできる。

映像分割部１１０は、エンコーディング装置１００に入力された入力映像（又は、ピクチャー、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ，ＣＵ）と呼ぶことができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ，ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ，ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されてよい。例えば、一つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はタナーリー構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されてよい。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はタナーリー構造が後で適用されてよい。又は、バイナリツリー構造が先に適用されてもよい。それ以上分割されない最終コーディングユニットに基づいて、本文書によるコーディング手順が行われてよい。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが直ちに最終コーディングユニットとして用いられてよく、又は、必要によってコーディングユニットは再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）さらに下位デプスのコーディングユニットに分割され、最適のサイズのコーディングユニットが最終コーディングユニットとして用いられてよい。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットはそれぞれ、上述した最終コーディングユニットから分割又はパーティショニングされてよい。前記予測ユニットはサンプル予測の単位であってよく、前記変換ユニットは、変換係数を誘導する単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であってよい。

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）などの用語と同じ意味で使われてよい。一般の場合、ＭｘＮブロックは、Ｍ個の列とＮ個の行からなるサンプル又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を表すことができる。サンプルは一般に、ピクセル又はピクセルの値を表すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを表すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを表すこともできる。サンプルは、ピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）に対する１つのピクチャー（又は、映像）に対応する用語として使われてよい。

エンコーディング装置１００は、入力映像信号（原本ブロック、原本サンプルアレイ）から、インター予測部１２１又はイントラ予測部１２２から出力された予測信号（予測ブロック、予測サンプルアレイ）を減算してレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ；残余ブロック、残余サンプルアレイ）を生成でき、生成されたレジデュアル信号は変換部１３２に伝送される。この場合、図示のようにエンコーディング装置１００において、入力映像信号（原本ブロック、原本サンプルアレイ）から予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは減算部１３１と呼ばれてよい。予測部は、処理対象ブロック（以下、現在ブロックという。）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測ブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成できる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか又はインター予測が適用されるかを決定できる。予測部は、各予測モードに関する説明で後述するように、予測モード情報などの予測に関する様々な情報を生成してエントロピーエンコーディング部１４０に伝達することができる。予測に関する情報は、エントロピーエンコーディング部１４０でエンコードされてビットストリームの形態で出力されてよい。

イントラ予測部１２２は、現在ピクチャー内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置してよく、離れて位置してもよい。イントラ予測において予測モードは複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプレーナーモード（Ｐｌａｎａｒ ｍｏｄｅ）を含むことができる。方向性モードは、予測方向の細密な程度によって、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示であり、設定によってそれ以上又はそれ以下の個数の方向性予測モードが用いられてもよい。イントラ予測部１２２は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部１２１は、参照ピクチャー上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測ブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロック間の動き情報の相関性に基づき、動き情報をブロック、サブブロック又はサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャーインデックスを含むことができる。前記動き情報は、インター予測方向情報（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）をさらに含むことができる。インター予測において、周辺ブロックは、現在ピクチャー内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャーに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャーと前記時間的周辺ブロックを含む参照ピクチャーは同一であってもよく、異なってもよい。前記時間的周辺ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などと呼ぶこともでき、前記時間的周辺ブロックを含む参照ピクチャーは、同一位置ピクチャー（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ，ｃｏｌＰｉｃ）と呼ぶこともできる。例えば、インター予測部１２１は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャーインデックスを導出するためにどの候補が用いられるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われてよく、例えば、スキップモードとマージモードでは、インター予測部１２１は周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードでは、マージモードとは違い、レジデュアル信号が伝送されなくてよい。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ，ＭＶＰ）モードでは、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナルすることによって現在ブロックの動きベクトルを指示することができる。

予測部１２０は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のためにイントラ予測又はインター予測を適用できる他に、イントラ予測とインター予測を同時に適用することもできる。これをＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ぶことができる。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ，ＩＢＣ）予測モードに基づいてもよく、又はパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づいてもよい。前記ＩＢＣ予測モード又はパレットモードは、例えばＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ映像／動映像のコーディングのために用いられてよい。ＩＢＣは基本的に現在ピクチャー内で予測を行うが、現在ピクチャー内で参照ブロックを導出する点でインター予測と類似に行われてよい。すなわち、ＩＢＣは、本文書で説明されるインター予測手法のうち少なくとも一つを用いることができる。パレットモードは、イントラコーディング又はイントラ予測の一例と見なすことができる。パレットモードが適用される場合に、パレットテーブル及びパレットインデックスに関する情報に基づいてピクチャー内サンプル値をシグナルすることができる。

前記予測部（インター予測部１２１及び／又は前記イントラ予測部１２２含む。）で生成された予測信号は、復元信号を生成するために用いられるか、レジデュアル信号を生成するために用いられてよい。変換部１３２は、レジデュアル信号に変換手法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換手法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうち少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同一サイズを有するピクセルブロックに適用されてもよく、正方形以外の可変サイズのブロックに適用されてもよい。

量子化部１３３は、変換係数を量子化してエントロピーエンコーディング部１４０に伝送し、エントロピーエンコーディング部１４０は、量子化された信号（量子化された変換係数に関する情報）をエンコードしてビットストリームとして出力できる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ぶことができる。量子化部１３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づき、ブロック形態の量子化された変換係数を１次元ベクトルの形態で再整列でき、前記１次元ベクトル形態の量子化された変換係数に基づき、前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部１４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような様々なエンコーディング方法を行うことができる。エントロピーエンコーディング部１４０は、量子化された変換係数の他にも、ビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を共に又は別にエンコードすることもできる。エンコードされた情報（例えば、エンコードされたビデオ／映像情報）は、ビットストリームの形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は記憶されてよい。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャーパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書において、エンコーディング装置でデコーディング装置に伝達／シグナルされる情報及び／又はシンタックス要素は、ビデオ／映像情報に含まれてよい。前記ビデオ／映像情報は、上述のエンコーディング手順によってエンコードされて前記ビットストリームに含まれてよい。前記ビットストリームはネットワークを介して伝送されてよく、又はデジタル記憶媒体に記憶されてよい。ここで、ネットワークは放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの様々な記憶媒体を含むことができる。エントロピーエンコーディング部１４０から出力された信号を伝送する送信部（図示せず）及び／又は記憶する記憶部（図示せず）がエンコーディング装置１００の内／外部エレメントとして構成されてよく、又は送信部はエントロピーエンコーディング部１４０に含まれてもよい。

量子化部１３３から出力された量子化された変換係数は、予測信号を生成するために用いられてよい。例えば、量子化された変換係数に、逆量子化部１３４及び逆変換部１３５で逆量子化及び逆変換を適用することによって、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。加算部１５０は、復元されたレジデュアル信号を、インター予測部１２１又はイントラ予測部１２２から出力された予測信号に加算することによって、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャー、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合に、予測されたブロックが復元ブロックとして用いられてよい。加算部１５０は、復元部又は復元ブロック生成部と呼ぶことができる。生成された復元信号は、現在ピクチャー内の次の処理対象ブロックのイントラ予測のために用いられてよく、後述するように、フィルタリングを経て次のピクチャーのインター予測のために用いられてもよい。

一方、ピクチャーエンコーディング及び／又は復元過程においてＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されてもよい。

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャーに様々なフィルタリング方法を適用し、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャーを生成でき、前記修正された復元ピクチャーをメモリ１７０、具体的にメモリ１７０のＤＰＢに記憶させることができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルター（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルター（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法に関する説明で後述されるように、フィルタリングに関する様々な情報を生成してエントロピーエンコーディング部１４０に伝達することができる。フィルタリング関する情報は、エントロピーエンコーディング部１４０でエンコードされてビットストリームの形態で出力されてよい。

メモリ１７０に伝送された修正された復元ピクチャーは、インター予測部１２１で参照ピクチャーとして用いられてよい。エンコーディング装置は、これによってインター予測が適用される場合に、エンコーディング装置１００とデコーディング装置での予測ミスマッチを避けることができ、符号化効率も向上させることができる。

メモリ１７０のＤＰＢは、修正された復元ピクチャーをインター予測部１２１での参照ピクチャーとして使用するために記憶することができる。メモリ１７０は、現在ピクチャー内動き情報が導出された（又は、エンコードされた）ブロックの動き情報及び／又は既に復元されたピクチャー内ブロックの動き情報を記憶することができる。前記記憶された動き情報は、空間的周辺ブロックの動き情報又は時間的周辺ブロックの動き情報として活用するためにインター予測部１２１に伝達することができる。メモリ１７０は、現在ピクチャー内復元されたブロックの復元サンプルを記憶することができ、イントラ予測部１２２に伝達することができる。

図２は、本文書の実施例が適用可能なビデオ／映像デコーディング装置の構成を概略的に説明する図である。

図２を参照すると、デコーディング装置２００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ，２１０）、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ，２２０）、予測部（ｐｒｅｄｉｃｔｏｒ，２３０）、加算部（ａｄｄｅｒ，２４０）、フィルタリング部（ｆｉｌｔｅｒ，２５０）及びメモリ（ｍｅｍｏｒｙ，２６０）を含んで構成されてよい。予測部２３０は、インター予測部２３１及びイントラ予測部２３２を含むことができる。レジデュアル処理部２２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ，２２１）及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ，２２２）を含むことができる。上述したエントロピーデコーディング部２１０、レジデュアル処理部２２０、予測部２３０、加算部２４０及びフィルタリング部２５０は、実施例によって、一つのハードウェアコンポーネント（例えば、デコーダチップセット又はプロセッサ）によって構成されてもよい。また、メモリ２６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって構成されてもよい。前記ハードウェアコンポーネントは、メモリ２６０を内／外部コンポーネントとしてさらに含むこともできる。

ビデオ／映像情報を含むビットストリームが入力されると、デコーディング装置２００は、図１のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。例えば、デコーディング装置２００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出することができる。デコーディング装置２００は、エンコーディング装置で適用された処理ユニットを用いてデコーディングを行うことができる。したがって、デコーディングの処理ユニットは、例えばコーディングユニットであってよく、コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットから、クアッドツリー構造、バイナリツリー構造及び／又はタナーリーツリー構造をしたがって分割されてよい。コーディングユニットから１つ以上の変換ユニットが導出されてよい。そして、デコーディング装置２００でデコーディング及び出力された復元映像信号は、再生装置で再生されてよい。

デコーディング装置２００は、図１のエンコーディング装置から出力された信号をビットストリームの形態で受信することができ、受信された信号は、エントロピーデコーディング部２１０でデコードされてよい。例えば、エントロピーデコーディング部２１０は、前記ビットストリームをパーシングし、映像復元（又は、ピクチャー復元）に必要な情報（例えば、ビデオ／映像情報）を導出することができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャーパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報にさらに基づいてピクチャーをデコードすることができる。本文書で後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコーディング手順によってデコードされ、前記ビットストリームから取得されてよい。例えば、エントロピーデコーディング部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内情報をデコードし、映像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームから各構文要素に該当するビン（ｂｉｎ）を受信し、デコーディング対象構文要素情報、周辺及びデコーディング対象ブロックのデコーディング情報、或いは以前段階でデコードされたシンボル／ビンの情報を用いて文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルによってビン（ｂｉｎ）の発生確率を予測してビンの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行い、各構文要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、文脈モデル決定後に、次のシンボル／ビンの文脈モデルのためにデコードされたシンボル／ビンの情報を用いて文脈モデルをアップデートすることができる。エントロピーデコーディング部２１０でデコードされた情報のうち予測に関する情報は予測部２３０（インター予測部２３２及びイントラ予測部２３１）に提供され、エントロピーデコーディング部２１０でエントロピーデコーディングが行われたレジデュアル値、すなわち、量子化された変換係数及び関連パラメータ情報は、レジデュアル処理部２２０に入力されてよい。レジデュアル処理部２２０は、レジデュアル信号（レジデュアルブロック、レジデュアルサンプル、レジデュアルサンプルアレイ）を導出することができる。また、エントロピーデコーディング部２１０でデコードされた情報のうちフィルタリングに関する情報は、フィルタリング部２５０に提供されてよい。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置２００の内／外部エレメントとしてさらに構成されてよく、又は受信部はエントロピーデコーディング部２１０の構成要素であってよい。一方、本文書に係るデコーディング装置は、ビデオ／映像／ピクチャーデコーディング装置と呼ぶことができ、該デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャー情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャーサンプルデコーダ）に区別できる。前記情報デコーダは、前記エントロピーデコーディング部２１０を含むことができ、前記サンプルデコーダは、前記逆量子化部２２１、逆変換部２２２、加算部２４０、フィルタリング部２５０、メモリ２６０、インター予測部２３２及びイントラ予測部２３１のうち少なくとも一つを含むことができる。

逆量子化部２２１では、量子化された変換係数を逆量子化して変換係数を出力できる。逆量子化部２２１は、量子化された変換係数を、２次元ブロックの形態で再整列できる。この場合、前記再整列は、エンコーディング装置で行われた係数スキャン順序に基づいて再整列を行うことができる。逆量子化部２２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

逆変換部２２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得する。

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコーディング部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか又はインター予測が適用されるかが決定でき、具体的なイントラ／インター予測モードを決定することができる。

予測部２２０は、後述する様々な予測方法に基づいて予測信号を生成できる。例えば、予測部は、一つのブロックに対する予測のためにイントラ予測又はインター予測を適用できる他に、イントラ予測とインター予測を同時に適用することもできる。これをＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ぶことができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ，ＩＢＣ）予測モードに基づいてもよく、又はパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づいてもよい。前記ＩＢＣ予測モード又はパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ映像／動映像のコーディングのために用いられてよい。ＩＢＣは基本的に現在ピクチャー内で予測を行うが、現在ピクチャー内で参照ブロックを導出する点でインター予測と類似に行われてよい。すなわち、ＩＢＣは、本文書で説明されるインター予測手法のうち少なくとも一つを用いることができる。パレットモードは、イントラコーディング又はイントラ予測の一例と見なすことができる。パレットモードが適用される場合に、パレットテーブル及びパレットインデックスに関する情報が前記ビデオ／映像情報に含まれてシグナルされてよい。

イントラ予測部２３１は、現在ピクチャー内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置してもよく、又は離れて位置してもよい。イントラ予測において、予測モードは複数の非方向性モードと複数の方向性モードを含むことができる。イントラ予測部２３１は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部２３２は、参照ピクチャー上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロック間の動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャーインデックスを含むことができる。前記動き情報は、インター予測方向情報（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）をさらに含むことができる。インター予測において、周辺ブロックは、現在ピクチャー内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャーに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２３２は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャーインデックスを導出することができる。様々な予測モードに基づいてインター予測が行われてよく、前記予測に関する情報は、前記現在ブロックに対するインター予測モードを指示する情報を含むことができる。

加算部２４０は、取得されたレジデュアル信号を、予測部（インター予測部２３２及び／又はイントラ予測部２３１含む。）から出力された予測信号（予測ブロック、予測サンプルアレイ）に足すことにより、復元信号（復元ピクチャー、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合に、予測されたブロックが復元ブロックとして用いられてよい。

加算部２４０は、復元部又は復元ブロック生成部と呼ぶことができる。生成された復元信号は、現在ピクチャー内の次の処理対象ブロックのイントラ予測のために用いられてよく、後述するように、フィルタリングを経て出力されてもよく、又は次のピクチャーのインター予測のために用いられてもよい。

一方、ピクチャーデコーディング過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されてもよい。

フィルタリング部２５０は、復元信号にフィルタリングを適用して、主観的／客観的画質を向上させることができる。例えば、フィルタリング部２５０は、復元ピクチャーに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャーを生成でき、前記修正された復元ピクチャーを、メモリ２６０、具体的にメモリ２６０のＤＰＢに伝送することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルター（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルター（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

メモリ２６０のＤＰＢに記憶された（修正された）復元ピクチャーは、インター予測部２３２で参照ピクチャーとして用いられてよい。メモリ２６０は、現在ピクチャー内の動き情報が導出された（又は、デコードされた）ブロックの動き情報、及び／又は既に復元されたピクチャー内のブロックの動き情報を記憶することができる。該記憶された動き情報は、空間的周辺ブロックの動き情報又は時間的周辺ブロックの動き情報として活用するためにインター予測部２３２に伝達することができる。メモリ２６０は、現在ピクチャー内の復元されたブロックの復元サンプルを記憶でき、イントラ予測部２３１に伝達することができる。

本明細書において、エンコーディング装置１００のフィルタリング部１６０、インター予測部１２１及びイントラ予測部１２２で説明された実施例は、それぞれ、デコーディング装置２００のフィルタリング部２５０、インター予測部２３２及びイントラ予測部２３１にも同一に又は対応するように適用されてよい。

上述したように、ビデオコーディングを行うとき、圧縮効率を高めるために予測を行う。これにより、コーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成できる。ここで、予測されたブロックは、空間ドメイン（又は、ピクセルドメイン）における予測サンプルを含む。予測されたブロックは、エンコーディング装置及びデコーディング装置で同一に導出され、エンコーディング装置は、原本ブロックの原本サンプル値自体ではなく原本ブロック及び予測されたブロック間のレジデュアルに関する情報（レジデュアル情報）をデコーディング装置にシグナルすることによって映像コーディング効率を高めることができる。デコーディング装置は、レジデュアル情報に基づいて、レジデュアルサンプルを含むレジデュアルブロックを導出し、レジデュアルブロック及び予測されたブロックを合わせて復元サンプルを含む復元ブロックを生成でき、復元ブロックを含む復元ピクチャーを生成できる。

前記レジデュアル情報は、変換及び量子化手順によって生成されてよい。例えば、エンコーディング装置は、原本ブロック及び予測されたブロック間のレジデュアルブロックを導出し、レジデュアルブロックに含まれたレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を行って変換係数を導出し、変換係数に量子化手順を行って量子化された変換係数を導出することにより、関連したレジデュアル情報を（ビットストリームを用いて）デコーディング装置にシグナルすることができる。ここで、レジデュアル情報は、量子化された変換係数の値情報、位置情報、変換手法、カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、レジデュアル情報に基づいて逆量子化／逆変換手順を行い、レジデュアルサンプル（又は、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックとレジデュアルブロックに基づいて復元ピクチャーを生成できる。エンコーディング装置は、また、以後のピクチャーのインター予測のための参照のために、量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャーを生成できる。

一方、ＶＶＣシステムでは、ピクチャーがいずれか他のピクチャーに対する参照ピクチャーとして用いられないか否かをシステムレベルエンティティ（ｓｙｓｔｅｍ ｌｅｖｅｌ ｅｎｔｉｔｙ）に知らせるためのシグナリングメカニズムがある。このような情報により、システムレベルエンティティは、ある特定の状況でピクチャーを除去することができる。すなわち、システムレベルエンティティは、他のピクチャーに対する参照として用いられないと表示されたピクチャーを除去することができる。例えば、ネットワーク輻輳が発生すると、メディア認識ネットワークルーターは、他のピクチャーに対して参照として用いられないと表示されたピクチャーのコード化されたビットを伝達するネットワークパケットをドロップさせることができる。

下表１は、前記内容に対するフラグ情報を示している。

表１のように、ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇの値が１であれば、ピクチャーヘッダーと関連しているピクチャーが参照ピクチャーとして用いられないことを示し、その値が０であれば、ピクチャーヘッダーと関連しているピクチャーが参照ピクチャーとして用いられても用いられなくてもよいことを示す。

一方、現在、ＶＶＣスペックに記述されている現在ピクチャーのＰＯＣ値を導出する過程について説明すると、次の通りである。

この過程によって現在ピクチャーのＰＯＣである変数ＰｉｃＯｒｄｅｒＣｎｔＶａｌが導出されてよい。

変数ＰｉｃＯｒｄｅｒＣｎｔＶａｌが導出されるにはハイレベルシンタックスでシグナルされる映像情報が必要であり、具体的には次の通りである。

ｎｕｈ＿ｌａｙｅｒ＿ｉｄはＮＡＬユニットヘッダーでシグナルされ、ＶＣＬ ＮＡＬユニットの属するレイヤ又はｎｏｎ－ＶＣＬ ＮＡＬユニットの適用されるレイヤを識別するための識別子である。

図３は、コードされた映像／ビデオに対する階層構造の例を示す図である。図３に示すように、コードされた映像／ビデオは映像／ビデオのデコーディング処理及びそれ自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ，ビデオコーディング層）、符号化された情報を伝送して記憶する下位システム、そしてＶＣＬと下位システムとの間に存在し、ネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ，ネットワーク抽象化層）に区分されている。

ＶＣＬでは、圧縮された映像データ（スライスデータ）を含むＶＣＬデータを生成したり、或いはピクチャーパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）などの情報を含むパラメータセット又は映像のデコーディング過程に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。

ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダー情報（ＮＡＬユニットヘッダー）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどのことを指す。ＮＡＬユニットヘッダーには、当該ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。

図３に示すように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰによって、ＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットとに区分されてよい。ＶＣＬ ＮＡＬユニットは、映像に関する情報（スライスデータ）を含んでいるＮＡＬユニットを意味でき、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、映像をデコードするために必要な情報（パラメータセット又はＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味できる。

上述したＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格にしたがってヘッダー情報が付けられ、ネットワークを通じて伝送されてよい。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などのような所定規格のデータ形態に変形され、様々なネットワークを通じて伝送されてよい。

上述したように、ＮＡＬユニットは、当該ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）によってＮＡＬユニットタイプが特定されてよく、このようなＮＡＬユニットタイプに関する情報はＮＡＬユニットヘッダーに記憶されてシグナルされてよい。

例えば、ＮＡＬユニットが映像に関する情報（スライスデータ）を含むか否かによって、大きく、ＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプとに分類されてよい。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャーの性質及び種類などによって分類されてよく、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されてよい。

上述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、前記シンタックス情報はＮＡＬユニットヘッダーに記憶されてシグナルされてよい。例えば、前記シンタックス情報はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであってよく、ＮＡＬユニットタイプはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値で特定されてよい。

ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］は、ビデオパラメータセットでシグナルされるフラグ情報であり、その値が１であれば、ｉとインデックスされたレイヤが、レイヤ間インター予測、すなわちインターレイヤ予測に用いられないことを指示し、その値が０であれば、ｉとインデックスされたレイヤがインターレイヤ予測に用いられることを示す。

ｓｐｓ＿ｌｏｇ２＿ｍａｘ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｍｉｎｕｓ４は、シーケンスパラメータセットでシグナルされる信号であり、ＰＯＣのデコーディング過程で用いられる変数ＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂ値を示す。変数ＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂは、２（ｓｐｓ＿ｌｏｇ２＿ｍａｘ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｍｉｎｕｓ４＋４）として具体化されてよい。

ｓｐｓ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｌｅｎ＿ｍｉｎｕｓ１に１を足した値は、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｖａｌシンタックス要素のビット長を示す。

ｐｈ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂは、現在ピクチャーのＰＯＣを変数ＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂで割った値を示し、ｐｈ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂの長さは、ｓｐｓ＿ｌｏｇ２＿ｍａｘ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｍｉｎｕｓ４＋４ビットである。ｐｈ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂの値は、０から（ＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂ－１）の範囲内に存在する。

ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ピクチャーヘッダーにｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｖａｌシンタックス要素が存在するか否かを示すフラグ情報である。ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ値が１であれば、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｖａｌシンタックス要素がピクチャーヘッダーに存在することを示し、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ値が０であれば、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｖａｌシンタックス要素がピクチャーヘッダーに存在しないことを示す。ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］が０であり、現在レイヤの参照レイヤ内の現在ＡＵにピクチャーが存在すると、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ値は０である。

ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｖａｌは、現在ピクチャーに対するＰＯＣ ＭＳＢサイクル値を示す。ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｖａｌシンタックス要素の長さは、ｓｐｓ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｌｅｎ＿ｍｉｎｕｓ１＋１ビットである。

仮に、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］が０であり、現在レイヤの参照レイヤ内の現在ＡＵに含まれるピクチャーＡが存在すると、変数ＰｉｃＯｒｄｅｒＣｎｔＶａｌは、ピクチャーＡのＰｉｃＯｒｄｅｒＣｎｔＶａｌと同じ値として導出され、現在ＡＵ内の全てのＶＣＬ ＮＡＬユニットは、同一のｐｈ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ値を有する必要がある。

そうでない場合、すなわち、現在レイヤがインターレイヤ予測に用いられない場合に、現在ピクチャーの変数ＰｉｃＯｒｄｅｒＣｎｔＶａｌは次のように導出されてよい。

まず、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０であり、現在ピクチャーがＣＬＶＳＳ（ｃｏｄｅｄ ｌａｙｅｒ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ ｓｔａｒｔ）でないと、変数ｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＬｓｂと変数ｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＭｓｂは次のように導出される。

現在ピクチャーとｎｕｈ＿ｌａｙｅｒ＿ｉｄが同一であるとともにＴｅｍｐｏｒａｌＩｄが０であり、ＲＡＳＬ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｓｋｉｐｐｅｄ ｌｅａｄｉｎｇ）ピクチャー又はＲＡＤＬ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｄｅｃｏｄａｂｌｅ ｌｅａｄｉｎｇ）ピクチャーでない以前ピクチャーをｐｒｅｖＴｉｄ０Ｐｉｃに設定すれば、変数ｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＬｓｂはｐｒｅｖＴｉｄ０Ｐｉｃのｐｈ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂと同一であり、変数ｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＭｓｂはｐｒｅｖＴｉｄ０ＰｉｃのＰｉｃＯｒｄｅｒＣｎｔＭｓｂと同一である。

ここで、ＴｅｍｐｏｒａｌＩｄは、時間スケーラビリティーを支援するビットストリーム（或いは、時間スケーラブルビットストリーム（ｔｅｍｐｏｒａｌ ｓｃａｌａｂｌｅ ｂｉｔｓｔｒｅａｍ））から、時間レイヤに対する識別情報に基づいて導出される変数を意味する。

時間スケーラビリティーを支援するビットストリーム（或いは、時間スケーラブルビットストリーム（ｔｅｍｐｏｒａｌ ｓｃａｌａｂｌｅ ｂｉｔｓｔｒｅａｍ））は、時間的にスケールされる時間レイヤ（Ｔｅｍｐｏｒａｌ ｌａｙｅｒ）に関する情報を含む。時間レイヤに関する情報は、ＮＡＬユニットの時間スケーラビリティーによって特定された時間レイヤの識別情報であってよい。例えば、時間レイヤの識別情報は、ｔｅｍｐｏｒａｌ＿ｉｄシンタックス情報を用いることができ、前記ｔｅｍｐｏｒａｌ＿ｉｄシンタックス情報は、エンコーディング装置でＮＡＬユニットヘッダーに記憶されてデコーディング装置にシグナルされてよい。以下、本明細書において、時間レイヤは、サブレイヤ（Ｓｕｂ－ｌａｙｅｒ）、時間サブレイヤ（Ｔｅｍｐｏｒａｌ Ｓｕｂ－ｌａｙｅｒ）或いは時間スケーラブルレイヤ（Ｔｅｍｐｏｒａｌ Ｓｃａｌａｂｌｅ ｌａｙｅｒ）などと呼ぶこともできる。

図４は、時間スケーラビリティーを支援するビットストリーム内のＮＡＬユニットに対する時間レイヤ構造を示す図である。

ビットストリームが時間スケーラビリティーを支援する場合に、ビットストリームに含まれたＮＡＬユニットは、時間レイヤの識別情報（例えば、ｔｅｍｐｏｒａｌ＿ｉｄ）を有する。一例として、ｔｅｍｐｏｒａｌ＿ｉｄ値が０であるＮＡＬユニットで構成された時間レイヤが最低の時間スケーラビリティーを提供し、ｔｅｍｐｏｒａｌ＿ｉｄ値が２であるＮＡＬユニットで構成された時間レイヤが最高の時間スケーラビリティーを提供することができる。

図４で、Ｉと表記されたボックスは、Ｉピクチャーを示し、Ｂと表記されたボックスはＢピクチャーを示す。また、矢印は、ピクチャーが他のピクチャーを参照するか否かに対する参照関係を示す。

図４に示すように、ｔｅｍｐｏｒａｌ＿ｉｄ値が０である時間レイヤのＮＡＬユニットは、ｔｅｍｐｏｒａｌ＿ｉｄ値が０、１又は２である時間レイヤのＮＡＬユニットが参照できる参照ピクチャーである。ｔｅｍｐｏｒａｌ＿ｉｄ値が１である時間レイヤのＮＡＬユニットは、ｔｅｍｐｏｒａｌ＿ｉｄ値が１又は２である時間レイヤのＮＡＬユニットが参照できる参照ピクチャーである。ｔｅｍｐｏｒａｌ＿ｉｄ値が２である時間レイヤのＮＡＬユニットは、同一の時間レイヤ、すなわちｔｅｍｐｏｒａｌ＿ｉｄ値が２である時間レイヤのＮＡＬユニットが参照できる参照ピクチャーであってもよく、或いは他のピクチャーによって参照されない非参照ピクチャーであってもよい。

万一、図４に示すようにｔｅｍｐｏｒａｌ＿ｉｄ値が２である時間レイヤ、すなわち最上位時間レイヤのＮＡＬユニットが非参照ピクチャーであれば、このようなＮＡＬユニットは、デコーディング過程で他のピクチャーに影響を与えずにビットストリームから抽出（ｅｘｔｒａｃｔｉｏｎ、或いは除去）されてよい。

一方、現在ピクチャーに対する変数ＰｉｃＯｒｄｅｒＣｎｔＭｓｂは次のように導出される。

仮に、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ値が１であれば、変数ＰｉｃＯｒｄｅｒＣｎｔＭｓｂは、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｖａｌにＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂをかけた値（ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｖａｌ＊ＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂ）になる。

そうでなければ、すなわちｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ値が０であれば、現在ピクチャーがＣＶＳＳピクチャーである場合に変数ＰｉｃＯｒｄｅｒＣｎｔＭｓｂは０になる。

仮に、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ値が０であり、現在ピクチャーがＣＶＳＳピクチャーでないと、変数ＰｉｃＯｒｄｅｒＣｎｔＭｓｂは下記数式に基づいて導出されてよい。

最終的に、現在ピクチャーのＰＯＣ値である変数ＰｉｃＯｒｄｅｒＣｎｔＶａｌは、以前に導出された変数ＰｉｃＯｒｄｅｒＣｎｔＭｓｂとｐｈ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂの和として導出される。

ここで、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｖａｌ値が存在しない全てのＣＶＳＳピクチャーは、変数ＰｉｃＯｒｄｅｒＣｎｔＭｓｂ値が０であるので、ＰｉｃＯｒｄｅｒＣｎｔＶａｌはｐｈ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂと同一である。

ＰｉｃＯｒｄｅｒＣｎｔＶａｌ値は、－２３１から２３１－１の範囲の値を有してよく、１つのＣＶＳで同一のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する２つのコードされたピクチャーは同一のＰｉｃＯｒｄｅｒＣｎｔＶａｌ値を有してよい。

また、特定ＡＵ内の全てのピクチャーは、同一のＰｉｃＯｒｄｅｒＣｎｔＶａｌ値を有しなければならない。

一方、上述したＰＯＣデコーディング段階では、参照されていないピクチャーと関連して問題点がある。ＰＯＣデコーディング過程でＰｉｃＯｒｄｅｒＣｎｔＭｓｂに対する類推は、ｐｒｅｖＴｉｄ０ＰｉｃでデザインされたピクチャーのＰＯＣ値によって変わり得る。現在ピクチャーに対するｐｒｅｖＴｉｄ０Ｐｉｃはエンコーディング及びデコーディング過程で同一のピクチャーでなければならず、ＰＯＣ値が同一である。

しかし、ｐｒｅｖＴｉｄ０Ｐｉｃを決定するとき、ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇの値が１であるため、ｐｒｅｖＴｉｄ０Ｐｉｃがシステムエンティティ（ｓｙｓｔｅｍ ｅｎｔｉｔｙ）によって除去され得るピクチャーであるか否かは考慮されない。現在ピクチャーに対してｐｒｅｖＴｉｄ０Ｐｉｃとして指定されたピクチャーがビットストリームに存在するとき、システムによって除去されたため、デコーディング装置は現在ピクチャーのＰＯＣデコーディングのために他のピクチャーをｐｒｅｖＴｉｄ０Ｐｉｃとして無意識的に使用することがある。その結果、デコーディング装置が誤ったＰＯＣ値を導出することがある。

これを解決するために、本文書では次のような様々な実施例が提案されてよい。各実施例は独立して又は結合して映像デコーディング及びエンコーディング過程に適用されてよい。

１．ＰＯＣデコーディング過程でｐｒｅｖＴｉｄ０Ｐｉｃとして選択されたピクチャーは、ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが１であるピクチャーでないものに制限されてよい。

２．ＴｅｍｐｏｒａｌＩｄが０であるピクチャーのｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇ値は１にならないように制限されてよい。

３．ＣＬＶＳ（すなわち、コードされたレイヤビデオシーケンス）が一つ以上の時間的サブレイヤ（ｔｅｍｐｏｒａｌ ｓｕｂ－ｌａｙｅｒ）を有するとき、基本時間的サブレイヤ内のいかなるピクチャー（すなわち、ＴｅｍｐｏｒａｌＩｄが０であるピクチャー）もｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇの値として１を有することがないように制限されてよい。

４．ＣＬＶＳが、オールイントラピクチャー（ａｌｌ ｉｎｔｒａ ｐｉｃｔｕｒｅｓ、すなわち、ｉｎｔｒａ＿ｏｎｌｙ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇの値が１と同様）でないピクチャーを含むとき、ＴｅｍｐｏｒａｌＩｄが０であるピクチャーは、ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇの値として１を有することがないように制限されてよい。

５．ＣＬＶＳがオールイントラピクチャー（すなわち、ｉｎｔｒａ＿ｏｎｌｙ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇの値が１である場合）でないピクチャーを含み、ＣＬＶＳ内に一つ以上の時間サブレイヤが存在する場合に、ＴｅｍｐｏｒａｌＩｄが０であるピクチャーはｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇの値として１を有することがないように制限されてよい。

６．ＴｅｍｐｏｒａｌＩｄが０であり、ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが０である２つの連続したピクチャー対に対して、ピクチャー間の絶対的なＰＯＣ差はＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂの半分値よりも大きくないように制限されてよい。

すなわち、非参照ピクチャーがＰＯＣデコーディング過程に用いられてＰＯＣが誤って導出されることを防ぐために、本文書では、ＴｅｍｐｏｒａｌＩｄが０である非参照ピクチャーはＰＯＣデコーディング過程に用いられないようにし、さらに、ＴｅｍｐｏｒａｌＩｄが０であり、ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが０である２つの連続したピクチャー間のＰＯＣ値の差がＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂの半分よりも大きくないように制限できる。

図５は、本文書の一例によってエンコーディング装置で行われる映像情報のエンコーディング方法を説明するための図であり、図６は、本文書の一例によってデコーディング装置で行われる映像情報のデコーディング方法を説明するための図である。

エンコーディング装置は、参照ピクチャーセットを構成するために参照ピクチャーのＰＯＣ値を導出し、現在ピクチャーのＰＯＣ値を導出することができる（Ｓ５１０）。

導出された現在ピクチャーに関するＰＯＣ情報をエンコードし（Ｓ５２０）、前記ＰＯＣ情報を含む映像情報をエンコードすることができる（Ｓ５３０）。

エンコーディング装置で行われる動作に対応して、デコーディング装置は、ビットストリームからＰＯＣ情報を含む映像情報を取得し（Ｓ６１０）、ＰＯＣ情報に基づいて参照ピクチャーと現在ピクチャーのＰＯＣ値を導出することができる（Ｓ６２０）。

導出されたＰＯＣ値に基づいて参照ピクチャーセットを構成し（Ｓ６３０）、参照ピクチャーセットに基づいて参照ピクチャーリストを導出することができる（Ｓ６４０）。

導出された参照ピクチャーリストに基づいて現在ピクチャーに対するインター予測が行われてよい（Ｓ６５０）。

ＰＯＣ情報のような映像情報はＨＬＳ（ Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ）に含まれてよい。ＰＯＣ情報は、ＰＯＣに関連した情報及びシンタックス要素を含むことができ、ＰＯＣ情報は、現在ピクチャーに関連したＰＯＣ情報及び／又は参照ピクチャーに関連したＰＯＣ情報を含むことができる。ＰＯＣ情報は、ｐｈ＿ｎｏｎ＿ｒｅｆｅｒｅｎｃｅ＿ｐｉｃｔｕｒｅ＿ｆｌａｇ、ｐｈ＿ｎｏｎ＿ｒｅｆｅｒｅｎｃｅ＿ｐｉｃｔｕｒｅ＿ｆｌａｇ、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ及び／又はｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｖａｌのうち少なくとも一つを含むことができる。

上記の図５及び図６で導出される参照ピクチャーセット又は参照ピクチャーリストのいずれか一つは省略されてよい。例えば、参照ピクチャーリストを導出するＳ６４０は省略され、参照ピクチャーセットに基づいてインター予測が行われてよい。

又は、他の例によって参照ピクチャーセット及び参照ピクチャーリストを導出するＳ６３０及びＳ６４０段階の代わりに、ＰＯＣ値に基づいて参照ピクチャーリストが導出されてよい。例えば、ｉ番目の参照ピクチャーのＰＯＣ値は、参照ピクチャーに関連したＰＯＣ情報によって指示されるＰＯＣ差値に基づいて導出されてよい。このとき、ｉが０であれば、ＰＯＣ情報は、現在ピクチャーとｉ番目の参照ピクチャーとのＰＯＣ差を示すことができ、ｉが０よりも大きければ、ＰＯＣ情報は、ｉ番目の参照ピクチャーと（ｉ－１）番目の参照ピクチャーとのＰＯＣ差を示すことができる。参照ピクチャーは、現在ピクチャーよりも小さいＰＯＣ値を有する以前参照ピクチャー及び／又は現在ピクチャーよりも大きいＰＯＣ値を有する後続参照ピクチャーを含むことができる。

以下では、本文書で提案する実施例について具体的に説明する。

［実施例１］

表２は、前述した２．の例（ＴｅｍｐｏｒａｌＩｄが０であるピクチャーのｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇ値は１にならないように制限）が具現される一例に該当する。表２は、現在ＶＶＣスペックに基づいて本実施例によって追加された部分が下線で表示されている。

［実施例２］

表３は、前述した３．の例（ＣＬＶＳが一つ以上の時間的サブレイヤ（ｔｅｍｐｏｒａｌ ｓｕｂ－ｌａｙｅｒ）を有するとき、基本時間的サブレイヤ内のいかなるピクチャーもｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇの値として１を有することがないように制限）が具現される一例に該当する。表３は、現在ＶＶＣスペックに基づいて本実施例によって追加された部分が下線で表示されている。

［実施例３］

表４は、前述した４．の例（ＣＬＶＳがオールイントラピクチャーでないピクチャーを含むとき、ＴｅｍｐｏｒａｌＩｄが０であるピクチャーは、ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇの値として１を有することがないように制限）が具現される一例に該当する。表４は、現在ＶＶＣスペックに基づいて本実施例によって追加された部分が下線で表示されている。

［実施例４］

表５は、前述した５．の例（ＣＬＶＳがオールイントラピクチャーでないピクチャーを含み、ＣＬＶＳ内に一つ以上の時間サブレイヤが存在する場合に、ＴｅｍｐｏｒａｌＩｄが０であるピクチャーはｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇの値として１を有することがないように制限）が具現される一例に該当する。表５は、現在ＶＶＣスペックに基づいて本実施例によって追加された部分が下線で表示されている。

［実施例５］

表６は、前述した６．の例（ＴｅｍｐｏｒａｌＩｄが０であり、ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが０である２つの連続したピクチャー対に対し、ピクチャー間の絶対的なＰＯＣ差はＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂの半分値よりも大きくないように制限）が具現される一例に該当する。表６は、現在ＶＶＣスペックに基づいて本実施例によって追加された部分が下線で表示されている。

以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に表示された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は例示的に提示されたものであり、よって、本明細書の技術的特徴は、以下の図面に使われる具体的な名称に制限されない。

図７は、本文書の一実施例に係るビデオデコーディング装置の動作を示すフローチャートである。

図７に開示された各段階は、図３～図６で前述した内容の一部に基づくものである。したがって、図２～図６で前述した内容と重複する具体的な内容については、説明を省略又は簡略化する。

一実施例に係るデコーディング装置２００は、ビットストリームからＰＯＣ情報及び参照ピクチャーに関する情報を受信でき、ＰＯＣ情報は、ＰＯＣの最大ＬＳＢ値を含むことができ、参照ピクチャーに関する情報は、ピクチャーが参照ピクチャーとして用いられないか否かに関する非参照ピクチャーフラグを含むことができる（Ｓ７１０）。

非参照ピクチャーフラグは、表１に示したｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇであってよく、その値が１であれば、ピクチャーヘッダーと関連しているピクチャーが参照ピクチャーとして用いられないことを示し、その値が０であれば、ピクチャーヘッダーと関連しているピクチャーが参照ピクチャーとして用いられても用いられなくてもよいことを示す。すなわち、非参照ピクチャーフラグ値が０であるピクチャーは、他のピクチャーの参照ピクチャーとして用いられない。言い換えると、他のピクチャーの参照ピクチャーとして用いられるピクチャーの非参照ピクチャーフラグ値は１である。

受信されるＰＯＣ情報は、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ、ｓｐｓ＿ｌｏｇ２＿ｍａｘ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｍｉｎｕｓ４、ｓｐｓ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｌｅｎ＿ｍｉｎｕｓ１、ｐｈ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｖａｌなどを含むことができ、このような情報は、ピクチャーヘッダー又はシーケンスパラメータセットでシグナルされてよい。シグナルされるシンタックス情報に関する説明は、上述した通りである。

デコーディング装置は、現在ピクチャーに対するインター予測及び参照ピクチャーリストの生成のためにＰＯＣ情報に基づいて現在ピクチャー及び参照ピクチャーに対するＰＯＣ値を導出することができる（Ｓ７２０）。

現在ピクチャーのＰＯＣ値を示す変数ＰｉｃＯｒｄｅｒＣｎｔＶａｌは、現在ピクチャーのＭＳＢ値を示す変数ＰｉｃＯｒｄｅｒＣｎｔＭｓｂ（変数ＰＯＣＭｓｂ）とピクチャーヘッダーでシグナルされる現在ピクチャーのＬＳＢを指示するｐｈ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ（ＰＯＣ ＬＳＢ情報）値との和として導出されてよい（変数ＰｉｃＯｒｄｅｒＣｎｔＭｓｂ＋ｐｈ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ）

仮に、現在ピクチャーに対するｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ値が０であるので、現在レイヤが参照ピクチャーとして用いられる場合に、現在ピクチャーは、参照レイヤ内の現在ＡＵ内に含まれているピクチャーと同じＰＯＣ値を有する。

そうでない場合、すなわち現在レイヤがインターレイヤ予測に用いられない場合に、現在ピクチャーの変数ＰｉｃＯｒｄｅｒＣｎｔＶａｌは、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ値（サイクル存在フラグ）及びサイクル存在フラグ値に基づいてシグナルされるＰＯＣ ＭＳＢサイクル値（ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｖａｌ）に基づいて導出されてよい。このとき、サイクル存在フラグ値の存在の有無及び現在ピクチャーがＣＬＶＳＳ（ｃｏｄｅｄ ｌａｙｅｒ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ ｓｔａｒｔ）ピクチャーであるか否かによって異なる導出過程が適用されてよい。

その第一は、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０であり、現在ピクチャーがＣＬＶＳＳピクチャーでないケースである。ＰＯＣ導出のために、以前ピクチャーに対する変数ｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＬｓｂと変数ｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＭｓｂが導出されてよく、現在ピクチャーに対する変数ＰＯＣＭｓｂは以前ピクチャーの変数ＰＯＣＭｓｂに基づいて導出されてよい。

現在ピクチャーとｎｕｈ＿ｌａｙｅｒ＿ｉｄが同一であるとともにＴｅｍｐｏｒａｌＩｄが０であり、ＲＡＳＬ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｓｋｉｐｐｅｄ ｌｅａｄｉｎｇ）ピクチャー又はＲＡＤＬ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｄｅｃｏｄａｂｌｅ ｌｅａｄｉｎｇ）ピクチャーでない以前ピクチャーをｐｒｅｖＴｉｄ０Ｐｉｃに設定すると、変数ｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＬｓｂはｐｒｅｖＴｉｄ０Ｐｉｃのｐｈ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂと同一であり、変数ｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＭｓｂはｐｒｅｖＴｉｄ０ＰｉｃのＰｉｃＯｒｄｅｒＣｎｔＭｓｂと同一に導出される。

このとき、現在ピクチャーのＰＯＣ値を導出するために用いられる以前ピクチャーの非参照ピクチャーフラグの値は０であり、現在ピクチャーと以前ピクチャーのＰＯＣ値の差は、ＰＯＣの最大ＬＳＢ値の半分よりも小さいという制限が存在し得る。

また、現在ピクチャーと前記以前ピクチャーに対するレイヤＩＤは同一であり、以前ピクチャーに対する、時間レイヤの識別情報から導出される時間的ＩＤ（ＴｅｍｐｏｒａｌＩｄ）は、０である。現在ピクチャーのＰＯＣ導出のための以前ピクチャーはＲＡＳＬピクチャー又はＲＡＤＬピクチャーではない。

その後、現在ピクチャーのｐｈ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂと以前ピクチャーに対する変数ｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＬｓｂのサイズによって数式１のように変数ＰｉｃＯｒｄｅｒＣｎｔＶａｌが導出されてよい。

その第二は、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０であり、現在ピクチャーがＣＬＶＳＳピクチャーであるケースであり、ＰｉｃＯｒｄｅｒＣｎｔＭｓｂ値が０であるので、変数ＰｉｃＯｒｄｅｒＣｎｔＶａｌはｐｈ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ値として導出される。

その第三は、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ値が１であるケースであり、このとき、変数ＰｉｃＯｒｄｅｒＣｎｔＭｓｂは、ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｖａｌにＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂをかけた値（ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｖａｌ＊ＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂ）として導出される。最終的に、変数ＰｉｃＯｒｄｅｒＣｎｔＶａｌは、導出された変数ＰｉｃＯｒｄｅｒＣｎｔＭｓｂにシグナルされるｐｈ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ値の和として導出される。

デコーディング装置は、現在ピクチャーのＰＯＣ値と参照ピクチャーに対するＰＯＣ値に基づいて参照ピクチャーリストを構成し（Ｓ７３０）、現在ブロックにインター予測を行って現在ブロックに対する予測サンプルを導出することができる（Ｓ７４０）。

また、デコーディング装置２００は、ビットストリームから、現在ブロックに対する量子化された変換係数に関する情報をデコードすることができ、現在ブロックに対する量子化された変換係数に関する情報に基づいて、対象ブロックに対する量子化された変換係数を導出することができる。対象ブロックに対する量子化された変換係数に関する情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）又はスライスヘッダー（ｓｌｉｃｅ ｈｅａｄｅｒ）に含まれてよく、簡素化変換（ＲＳＴ）が適用されるか否かに関する情報、簡素化ファクターに関する情報、簡素化変換を適用する最小変換サイズに関する情報、簡素化変換を適用する最大変換サイズに関する情報、簡素化逆変換サイズ、変換セットに含まれたカーネルマトリックスのいずれか一つを指示する変換インデックスに関する情報のうち少なくとも一つを含むことができる。

デコーディング装置２００は、現在ブロックに対するレジデュアル情報、すなわち量子化された変換係数に対して逆量子化を行って変換係数を導出することができ、導出された変換係数を所定のスキャニング順に配列することができる。

このようなレジデュアル情報に基づいて導出された変換係数は、上記のように逆量子化された変換係数であってよく、量子化された変換係数であってもよい。すなわち、変換係数は、量子化されるか否かに関係なく、現在ブロックにおいて０以外のデータか否かをチェックできるデータであればいい。

デコーディング装置は、量子化された変換係数に逆変換を適用してレジデュアルサンプルを導出することができる。

その後、デコーディング装置は、レジデュアルサンプルと予測サンプルに基づいて復元ピクチャーを生成することができる（Ｓ７５０）。

以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に表示された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は例示的に提示されたものであり、よって、本明細書の技術的特徴は、以下の図面に使われる具体的な名称に制限されない。

図８は、本文書の一実施例に係るビデオエンコーディング装置の動作を示すフローチャートである。

図８に開示された各段階は、図３～図６で前述した内容の一部に基づくものである。したがって、図１及び図３～図６で前述した内容と重複する具体的な内容については説明を省略又は簡略化する。

一実施例に係るエンコーディング装置１００は、現在ピクチャー及び参照ピクチャーに対するＰＯＣ値を導出し（Ｓ８１０）、導出されたＰＯＣ値及び参照ピクチャーを用いて現在ブロックに対するインター予測を行うことができる（Ｓ８２０）。

エンコーディング装置は、ＰＯＣの最大ＬＳＢ値を含むＰＯＣ情報と、ピクチャーが参照ピクチャーとして用いられないか否かに関する非参照ピクチャーフラグを含む参照ピクチャーに関する情報をエンコードして出力することができ、現在ピクチャーのＰＯＣ値を導出するために用いられる以前ピクチャーの非参照ピクチャーフラグの値は０であり、現在ピクチャーと以前ピクチャーのＰＯＣ値の差はＰＯＣの最大ＬＳＢ値の半分よりも小さく設定されてよい（Ｓ８３０）。

現在ピクチャーに関するＰＯＣ情報、現在ピクチャーのＰＯＣを導出する方法及び以前ピクチャーに対する制限及び以前ピクチャーのＰＯＣ値に対する制限条件は、図７を参照して説明したデコーディング装置に対する内容とほぼ同一であり、重複する説明は省略する。

エンコーディング装置は、予測サンプルに基づいて現在ブロックに対するレジデュアルサンプルを導出し、変換によってレジデュアルに関する情報を生成することができる。レジデュアル情報は、上述した変換関連情報／シンタックス要素を含むことができる。エンコーディング装置は、レジデュアル情報を含む映像／ビデオ情報をエンコードしてビットストリームの形態で出力することができる。

より具体的には、エンコーディング装置は、量子化された変換係数に関する情報を生成し、生成された量子化された変換係数に関する情報をエンコードすることができる。

本文書において、量子化／逆量子化及び／又は変換／逆変換のうち少なくとも一つは省略されてよい。前記量子化／逆量子化が省略される場合に、前記量子化された変換係数は、変換係数と呼ぶことができる。前記変換／逆変換が省略される場合に、前記変換係数は、係数又はレジデュアル係数と呼ぶこともでき、又は、相変わらず、表現の統一性のために変換係数と呼ぶこともできる。

上述した実施例において、方法は、一連の段階又はブロックであり、順序図に基づいて説明されているが、本文書は、段階の順序に限定されるものではなく、ある段階は、上述したのと異なる段階及び異なる順序で又は同時に発生してもよい。また、当業者であれば、順序図に示された段階が排他的でなく、他の段階が含まれたり順序図の１つ又はそれ以上の段階が本文書の範囲に影響を及ぼさずに削除されてもよいことが理解できよう。

上述した本文書に係る方法は、ソフトウェアの形態で具現されてよく、本文書に係るエンコーディング装置及び／又はデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの映像処理を行う装置に含まれてよい。

本文書において、実施例がソフトウェアとして具現されるとき、上述した方法は、上述した機能を実行するモジュール（過程、機能など）として具現されてよい。モジュールは、メモリに記憶され、プロセッサによって実行されてよい。メモリはプロセッサの内部又は外部に位置してよく、周知の様々な手段によってプロセッサと連結されてよい。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、記憶媒体及び／又は他の記憶装置を含むことができる。すなわち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて実行されてよい。例えば、各図に示した機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて実行されてよい。

また、本文書が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信のような実時間通信装置、モバイルストリーミング装置、記憶媒体、キャムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれてよく、ビデオ信号又はデータ信号を処理するために用いられてよい。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）などを含むことができる。

また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されてよく、コンピュータ可読記録媒体に記憶されてよい。本文書によるデータ構造を有するマルチメディアデータも、コンピュータ可読記録媒体に記憶されてよい。前記コンピュータ可読記録媒体は、コンピュータで読み取り可能なデータが記憶されるあらゆる種類の記憶装置及び分散記憶装置を含む。前記コンピュータ可読記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク及び光学的データ記憶装置を含むことができる。また、前記コンピュータ可読記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームがコンピュータ可読記録媒体に記憶されてもよく、有無線通信ネットワークを通じて送信されてもよい。また、本文書の実施例は、プログラムコードによるコンピュータプログラム製品として具現されてよく、前記プログラムコードは、本文書の実施例によってコンピュータで実行されてよい。前記プログラムコードは、コンピュータで読み取り可能なキャリア上に記憶されてよい。

図９は、本文書が適用可能なビデオ／映像コーディングシステムの例を概略的に示す図である。

図９を参照すると、ビデオ／映像コーディングシステムは、ソースデバイス及び受信デバイスを含むことができる。ソースデバイスは、エンコードされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミングの形態でデジタル記憶媒体又はネットワークを介して受信デバイスに伝達することができる。

前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を含むことができる。前記受信デバイスは、受信部、デコーディング装置及びレンダラーを含むことができる。前記エンコーディング装置はビデオ／映像エンコーディング装置と呼ばれてもよく、前記デコーディング装置はビデオ／映像デコーディング装置と呼ばれてもよい。送信機はエンコーディング装置に含まれてよい。受信機はデコーディング装置に含まれてよい。レンダラーはディスプレイ部を含むこともでき、ディスプレイ部は別個のデバイス又は外部コンポーネントで構成されてもよい。

ビデオソースは、ビデオ／映像のキャプチャー、合成又は生成過程などによってビデオ／映像を取得できる。ビデオソースは、ビデオ／映像キャプチャーデバイス及び／又はビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャーデバイスは、例えば、１つ以上のカメラ、以前にキャプチャーされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータなどによって仮想のビデオ／映像が生成されてよく、この場合、関連データが生成される過程でビデオ／映像のキャプチャー過程に代えてよい。

エンコーディング装置は、入力ビデオ／映像をエンコードすることができる。エンコーディング装置は、圧縮及びコーディング効率のために予測、変換、量子化などの一連の手順を行うことができる。エンコードされたデータ（エンコードされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）の形態で出力されてよい。

送信部は、ビットストリームの形態で出力されたエンコードされたビデオ／映像情報又はデータをファイル又はストリーミングの形態で、デジタル記憶媒体又はネットワークを介して受信デバイスの受信部に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの様々な記憶媒体を含むことができる。送信部は、あらかじめ定められたファイルフォーマットによってメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した伝送のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達できる。

デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／映像をデコードすることができる。

レンダラーは、デコードされたビデオ／映像をレンダーすることができる。レンダーされたビデオ／映像は、ディスプレイ部でディスプレイされてよい。

図１０は、本文書が適用されるコンテンツストリーミングシステム構造を例示する図である。

本文書の実施例が適用されるコンテンツストリーミングシステムは、大きく、エンコーディングサーバー、ストリーミングサーバー、ウェブサーバー、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

前記エンコーディングサーバーは、スマートフォン、カメラ、キャムコーダなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータとして圧縮してビットストリームを生成し、これを前記ストリーミングサーバーに送信する役割を担う。他の例として、スマートフォン、カメラ、キャムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合に、前記エンコーディングサーバーは省略されてよい。前記ビットストリームは、本文書が適用されるエンコーディング方法又はビットストリーム生成方法によって生成されてよく、前記ストリーミングサーバーは、前記ビットストリームを送信又は受信する過程で一時的に前記ビットストリームを記憶することができる。

前記ストリーミングサーバーは、ウェブサーバーを介したユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバーはユーザにどのようなサービスがあるかを知らせる媒介体として働く。ユーザ所望のサービスを前記ウェブサーバーに要請すれば、前記ウェブサーバーはそれをストリーミングサーバーに伝達し、前記ストリーミングサーバーはユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは別個の制御サーバーを含むことができ、この場合、前記制御サーバーは前記コンテンツストリーミングシステムにおける各装置間の命令／応答を制御する役割を担う。

前記ストリーミングサーバーは、メディアストレージ及び／又はエンコーディングサーバーからコンテンツを受信することができる。例えば、前記エンコーディングサーバーからコンテンツを受信する場合に、前記コンテンツを実時間で受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバーは前記ビットストリームを一定時間記憶することができる。

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ；例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどを挙げることができる。前記コンテンツストリーミングシステム内の各サーバーは、分散サーバーとして運営されてよく、この場合、各サーバーで受信するデータは分散処理されてよい。

本明細書に記載された請求項は様々な方式で組み合わせられてよい。例えば、本明細書の方法請求項の技術的特徴が組み合わせられて装置として具現されてよく、本明細書の装置請求項の技術的特徴が組み合わせられて方法として具現されてよい。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせられて装置として具現されてよく、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせられて方法として具現されてよい。

Claims (11)

1. デコーディング装置によって行われる映像デコーディング方法であって、
   ビットストリームからＰＯＣ情報及び参照ピクチャーに関する情報を受信する段階と、
   前記ＰＯＣ情報に基づいて現在ピクチャー及び参照ピクチャーに対するＰＯＣ値を導出する段階と、
   前記現在ピクチャーのＰＯＣ値と前記参照ピクチャーに対するＰＯＣ値に基づいて参照ピクチャーリストを構成する段階と、
   前記参照ピクチャーリストに基づいて現在ブロックに対するインター予測を行って前記現在ブロックに対する予測サンプルを導出する段階と、
   前記予測サンプルに基づいて復元ピクチャーを生成する段階と、を含み、
   前記ＰＯＣ情報は、ＰＯＣの最大ＬＳＢ値を含み、前記参照ピクチャーに関する情報は、ピクチャーが参照ピクチャーとして用いられないか否かに関する非参照ピクチャーフラグを含み、
   前記現在ピクチャーのＰＯＣ値を導出するために用いられる以前ピクチャーの前記非参照ピクチャーフラグの値は０であり、
   前記現在ピクチャーと前記以前ピクチャーのＰＯＣ値の差は、前記ＰＯＣの最大ＬＳＢ値の半分よりも小さいことを特徴とする映像デコーディング方法。
2. 前記現在ピクチャーと前記以前ピクチャーに対するレイヤＩＤは同一であり、
   前記以前ピクチャーに対する、時間レイヤの識別情報から導出される時間的ＩＤは、０であることを特徴とする、請求項１に記載の映像デコーディング方法。
3. 前記以前ピクチャーは、ＲＡＳＬピクチャー又はＲＡＤＬピクチャーでないことを特徴とする、請求項１に記載の映像デコーディング方法。
4. 前記現在ピクチャーのＰＯＣ値は、変数ＰＯＣＭｓｂと前記現在ピクチャーに対するＰＯＣ ＬＳＢ情報値に基づいて導出され、
   前記変数ＰＯＣＭｓｂは、ＰＯＣ ＭＳＢサイクル値の存在の有無に対するサイクル存在フラグ及び前記サイクル存在フラグ値に基づいてシグナルされるＰＯＣ ＭＳＢサイクル値に基づいて導出されることを特徴とする、請求項１に記載の映像デコーディング方法。
5. 前記現在ピクチャーに対する前記サイクル存在フラグの値が０であり、前記現在ピクチャーがＣＬＶＳＳピクチャーでないと、
   前記現在ピクチャーに対する前記変数ＰＯＣＭｓｂは、前記以前ピクチャーの前記変数ＰＯＣＭｓｂに基づいて導出されることを特徴とする、請求項４に記載の映像デコーディング方法。
6. 映像エンコーディング装置によって行われる映像エンコーディング方法であって、
   現在ピクチャー及び参照ピクチャーに対するＰＯＣ値を導出する段階と、
   前記参照ピクチャーを用いて前記現在ブロックに対するインター予測を行う段階と、
   ＰＯＣ情報と前記参照ピクチャーに関する情報をエンコードする段階と、を含み、
   前記ＰＯＣ情報は、ＰＯＣの最大ＬＳＢ値を含み、前記参照ピクチャーに関する情報は、ピクチャーが参照ピクチャーとして用いられないか否かに関する非参照ピクチャーフラグを含み、
   前記現在ピクチャーのＰＯＣ値を導出するために用いられる以前ピクチャーの前記非参照ピクチャーフラグの値は０であり、
   前記現在ピクチャーと前記以前ピクチャーのＰＯＣ値の差は、前記ＰＯＣの最大ＬＳＢ値の半分よりも小さいことを特徴とする映像エンコーディング方法。
7. 前記現在ピクチャーと前記以前ピクチャーに対するレイヤＩＤは同一であり、
   前記以前ピクチャーに対する、時間レイヤを識別する時間的ＩＤは、０であることを特徴とする、請求項６に記載の映像エンコーディング方法。
8. 前記以前ピクチャーは、ＲＡＳＬピクチャー又はＲＡＤＬピクチャーでないことを特徴とする、請求項６に記載の映像エンコーディング方法。
9. 前記現在ピクチャーのＰＯＣ値は、変数ＰＯＣＭｓｂと前記現在ピクチャーに対するＰＯＣ ＬＳＢ情報値に基づいて導出され、
   前記変数ＰＯＣＭｓｂは、前記現在ピクチャーに対するＰＯＣ ＭＳＢサイクル値の存在の有無及び前記現在ピクチャーに対するＰＯＣ ＭＳＢサイクル値に基づいて導出されることを特徴とする、請求項７に記載の映像エンコーディング方法。
10. 前記現在ピクチャーに対するＰＯＣ ＭＳＢサイクル値が存在しなく、前記現在ピクチャーがＣＬＶＳＳピクチャーでないと、
    前記現在ピクチャーに対する前記変数ＰＯＣＭｓｂは、前記以前ピクチャーの前記変数ＰＯＣＭｓｂに基づいて導出されることを特徴とする、請求項９に記載の映像エンコーディング方法。
11. 映像デコーディング方法を実行するようにする指示情報が記憶されたコンピュータ可読デジタル記憶媒体であって、前記映像デコーディング方法は、
    ビットストリームからＰＯＣ情報及び参照ピクチャーに関する情報を受信する段階と、
    前記ＰＯＣ情報に基づいて現在ピクチャー及び参照ピクチャーに対するＰＯＣ値を導出する段階と、
    前記現在ピクチャーのＰＯＣ値と前記参照ピクチャーに対するＰＯＣ値に基づいて参照ピクチャーリストを構成する段階と、
    前記参照ピクチャーリストに基づいて現在ブロックに対するインター予測を行って前記現在ブロックに対する予測サンプルを導出する段階と、
    前記予測サンプルに基づいて復元ピクチャーを生成する段階と、を含み、
    前記ＰＯＣ情報は、ＰＯＣの最大ＬＳＢ値を含み、前記参照ピクチャーに関する情報は、ピクチャーが参照ピクチャーとして用いられないか否かに関する非参照ピクチャーフラグを含み、
    前記現在ピクチャーのＰＯＣ値を導出するために用いられる以前ピクチャーの前記非参照ピクチャーフラグの値は０であり、
    前記現在ピクチャーと前記以前ピクチャーのＰＯＣ値の差は、前記ＰＯＣの最大ＬＳＢ値の半分よりも小さいことを特徴とするデジタル記憶媒体。

Images