JP2023506037A - フィルタリングに基づく画像コーディング装置及び方法 - Google Patents

Abstract

本文書の実施形態等によれば、画像のコーディングのために、サブピクチャ及び／又は仮想境界が使用され得る。例えば、現在ピクチャ内のサブピクチャは、現在ピクチャのための予測、復元、及び／又はフィルタリングのために使用されることができる。仮想境界は、現在ピクチャの復元サンプルのためのフィルタリングのために使用されることができる。本文書の実施形態等に係るサブピクチャ及び／又は仮想境界に基づいた画像コーディングを介して、画像の主観的／客観的品質が向上することができ、そしてコーディングに必要なハードウェア資源の消費が減ることができる。【選択図】図５

Description

本文書は、フィルタリングに基づく画像コーディング装置及び方法に関する。

近年、４Ｋ又は８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像／ビデオのような高解像度、高品質の画像／ビデオに対する需要が様々な分野で増加している。画像／ビデオデータが高解像度、高品質になるほど、既存の画像／ビデオデータに比べて相対的に送信される情報量又はビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して画像データを送信するか、既存の格納媒体を利用して画像／ビデオデータを格納する場合、送信費用と格納費用が増加される。

また、近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム画像のように、現実画像と異なる画像特性を有する画像／ビデオに対する放送が増加している。

これにより、前記のような様々な特性を有する高解像度・高品質の画像／ビデオの情報を効果的に圧縮して送信するか、格納し、再生するために高効率の画像／ビデオ圧縮技術が求められる。

具体的に、主観的／客観的ビジュアル品質を高めるために、インループフィルタリング手順が行われ、仮想境界に基づいたインループフィルタリングの実行のための情報のシグナリング効率を上げるための方案に対する議論がある。また、画像コーディングにおける予測及び復元の性能を向上させるためのサブピクチャの適用が検討されている。

本文書の一実施形態によると、画像／ビデオコーディングの効率を高める方法及び装置を提供する。

本文書の一実施形態によると、効率的なフィルタリング適用方法及び装置を提供する。

本文書の一実施形態によると、デブロックキング、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｌｏｏｐ）、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒｉｎｇ）を効率的に適用する方法及び装置を提供する。

本文書の一実施形態によると、仮想境界に基づいてインループフィルタリングが行われる。

本文書の一実施形態によると、参照ピクチャのためのリサンプリングが可用であるか否かに基づいて、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）が追加的な仮想境界関連情報（例えば、仮想境界の個数及び位置に関する情報）を含むか否かが決定される。

本文書の一実施形態によると、サブピクチャに基づいて画像コーディングが行われる。

本文書の一実施形態によると、画像コーディングに利用されるサブピクチャが独立的にコーディングされる。

本文書の一実施形態によると、ピクチャはただ１つのサブピクチャのみを含み、そして、前記サブピクチャは独立的にコーディングされる。

本文書の一実施形態によると、ピクチャはサブピクチャの併合手順に基づいて生成され、そして、前記サブピクチャは独立的にコーディングされたサブピクチャであり得る。

本文書の一実施形態によると、画像コーディングに利用されるサブピクチャはそれぞれピクチャとして扱われる。

本文書の一実施形態によると、ビデオ／画像エンコードを行うエンコード装置を提供する。

本文書の一実施形態によると、本文書の実施形態の少なくとも１つに開示されたビデオ／画像エンコード方法によって生成されたエンコードされたビデオ／画像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。

本文書の一実施形態によると、デコード装置により本文書の実施形態の少なくとも１つに開示されたビデオ／画像デコード方法を行うように引き起こすエンコードされた情報又はエンコードされたビデオ／画像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。

本文書の一実施形態によると、全般的な画像／ビデオ圧縮効率を上げることができる。

本文書の一実施形態によると、効率的なフィルタリングを介して主観的／客観的ビジュアル品質を高めることができる。

本文書の一実施形態によると、仮想境界ベースのインループフィルタリング手順が効率的に行われ、フィルタリング性能が改善されることができる。

本文書の一実施形態によると、仮想境界ベースのインループフィルタリングのための情報が効率的にシグナリングされることができる。

本文書の一実施形態によると、サブピクチャ関連情報が効率的にシグナリングされ、従って、画像の主観的／客観的品質が向上し、そして、コーディングに必要なハードウェアリソースの消耗が減少することができる。

本文書の実施形態に適用されることができるビデオ／画像コーディングシステムの例を概略的に示す。 本文書の実施形態に適用されることができるビデオ／画像エンコード装置の構成を概略的に説明する図面である。 本文書の実施形態に適用されることができるビデオ／画像デコード装置の構成を概略的に説明する図面である。 コーディングされた画像／ビデオに対する階層構造を例示的に示す。 エンコード装置におけるフィルタリングに基づくエンコード方法を説明するための順序図である。 デコード装置におけるフィルタリングに基づくデコード方法を説明するための順序図である。 本文書の実施形態（等）に係るビデオ／画像エンコード方法及び関連コンポーネントの一例を概略的に示す。 本文書の実施形態（等）に係るビデオ／画像エンコード方法及び関連コンポーネントの一例を概略的に示す。 本文書の実施形態（等）に係る画像／ビデオデコード方法及び関連コンポーネントの一例を概略的に示す。 本文書の実施形態（等）に係る画像／ビデオデコード方法及び関連コンポーネントの一例を概略的に示す。 本文書において開示された実施形態等が適用され得るコンテンツストリーミングシステムの例を示す。

本文書は、様々な変更を加えることができ、種々の実施形態を有することができ、特定実施形態を図面に例示し、詳細に説明しようとする。しかしながら、これは、本文書を特定実施形態に限定しようとするものではない。本明細書で常用する用語は、単に特定の実施形態を説明するために使用されたものであって、本文書の技術的思想を限定しようとする意図で使用されるものではない。単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。本明細書において「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、１つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないことと理解されるべきである。

一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の都合上、独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで実現されるということを意味するものではない。例えば、各構成のうち、２つ以上の構成が結合されて１つの構成をなすこともでき、１つの構成を複数の構成に分けることもできる。各構成が統合及び／又は分離された実施形態も本文書の本質から外れない限り、本文書の権利範囲に含まれる。

以下、添付の図面を参照して、本文書の好ましい実施形態をより詳細に説明する。以下、図面上の同一の構成要素に対しては同一の参照符号を使用し、同一の構成要素について重複した説明は省略する。

この文書は、ビデオ／画像コーディングに関する。例えば、この文書において開示された方法／実施形態は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６６）、ＶＶＣ以後の次世代ビデオ／イメージコーディング標準、またはそれ以外のビデオコーディング関連標準（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５）、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶＳ２標準など）に関連する。

この文書ではビデオ／画像コーディングに関する様々な実施形態を提示し、他の言及がない限り、前記実施形態は、互いに組み合わせて実行されることもできる。

この文書においてビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の画像（ｉｍａｇｅ）の集合を意味し得る。ピクチャ（ｐｉｃｔｕｒｅ）は、一般に特定の時間帯の１つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）はコーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、１つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含んでもよい。１つのピクチャは１つ以上のスライス／タイルで構成されてもよい。１つのピクチャは１つ以上のタイルグループで構成されてもよい。１つのタイルグループは１つ以上のタイルを含んでもよい。

ピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）は、１つのピクチャ（又は、画像）を構成する最小の単位を意味し得る。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用されてもよい。サンプルは、一般的にピクセル又はピクセルの値を示し、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。または、サンプルは、空間ドメインでのピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもできる。

ユニット（ｕｎｉｔ）は、画像処理の基本単位を示す。ユニットは、ピクチャの特定領域及び当該領域に関する情報のうち少なくとも１つを含む。１つのユニットは、１つのルマブロック及び２つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含む。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されてもよい。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（または、サンプルアレイ）または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（又は、アレイ）を含む。

本文書において、「／」と「、」は、「及び／又は」と解釈される。例えば、「Ａ／Ｂ」は「Ａ及び／又はＢ」と解釈され、「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈される。追加的に、「Ａ／Ｂ／Ｃ」は「Ａ、Ｂ及び／又はＣの少なくとも１つ」を意味する。また、「Ａ、Ｂ、Ｃ」も「Ａ、Ｂ及び／又はＣの少なくとも１つ」を意味する。

追加的に、本文書において「又は」は「及び／又は」と解釈される。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味し、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味し得る。言い換えれば、本文書の「又は」は「追加的に又は代替的に（aｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味し得る。

本明細書において「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「Ａのみ」、「Ｂのみ」又は「ＡとＢの両方」を意味し得る。また、本明細書において「少なくとも１つのＡ又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも１つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同様に解釈され得る。

また、本明細書において、「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」又は「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。また、「少なくとも１つのＡ、Ｂ又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ｏｒ Ｃ）」や「少なくとも１つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」は「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ））」を意味し得る。

また、本明細書において用いられる括弧は「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味し得る。具体的に、「予測（イントラ予測）」と表示されている場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えると、本明細書の「予測」は「イントラ予測」に制限（ｌｉｍｉｔ）されることなく、「イントラ予測」が「予測」の一例として提案されるものであり得る。また、「予測（すなわち、イントラ予測）」と表示されている場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。

本明細書において１つの図面内において個別に説明される技術的特徴は、個別に実現されてもよく、同時に実現されてもよい。

図１は、本文書が適用されることができるビデオ／画像コーディングシステムの例を概略的に示す。

図１に示すように、ビデオ／画像コーディングシステムはソースデバイス及び受信デバイスを備えることができる。ソースデバイスは、エンコードされたビデオ（ｖｉｄｅｏ）／画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形態でデジタル格納媒体又はネットワークを介して受信デバイスに伝達することができる。

前記ソースデバイスは、ビデオソース、エンコード装置、送信部を備えることができる。前記受信デバイスは、受信部、デコード装置、及びレンダラを備えることができる。前記エンコード装置は、ビデオ／画像エンコード装置と呼ばれることができ、前記デコード装置は、ビデオ／画像デコード装置と呼ばれることができる。送信機は、エンコード装置に備えられることができる。受信機は、デコード装置に備えられることができる。レンダラは、ディスプレイ部を備えることができ、ディスプレイ部は、別個のデバイス又は外部コンポーネントで構成されることもできる。

ビデオソースは、ビデオ／画像のキャプチャ、合成、又は生成過程などを介してビデオ／画像を取得することができる。ビデオソースは、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成され得るし、この場合、関連データが生成される過程にビデオ／画像キャプチャ過程が代替されることができる。

エンコード装置は、入力ビデオ／画像をエンコードすることができる。エンコード装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を行うことができる。エンコードされたデータ（エンコードされたビデオ／画像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。

送信部は、ビットストリーム形態で出力されたエンコードされたビデオ／画像情報又はデータをファイル又はストリーミング形態でデジタル格納媒体又はネットワークを介して受信デバイスの受信部に伝達することができる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含むことができる。送信部は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介しての送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコード装置に伝達することができる。

デコード装置は、エンコード装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を行ってビデオ／画像をデコードすることができる。

レンダラは、デコードされたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介してディスプレイされることができる。

図２は、本文書が適用されることができるビデオ／画像エンコード装置の構成を概略的に説明する図面である。以下、ビデオエンコード装置というのは、画像エンコード装置を含むことができる。

図２に示すように、エンコード装置２００は、画像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコード部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を備えて構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を備えることができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を備えることができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ、２３１）をさらに備えることができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）又は復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。前述した画像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコード部２４０、加算部２５０、及びフィルタリング部２６０は、実施形態によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセット又はプロセッサ）によって構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体によって構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに備えることもできる。

画像分割部２１０は、エンコード装置２００に入力された入力画像（又は、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本開示に係るコーディング手順が行われ得る。この場合、画像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使用されることができ、又は、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに備えることができる。この場合、前記予測ユニット及び前記変換ユニットは、各々前述した最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を導く単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を導く単位であることができる。

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）等の集合を示すことができる。サンプルは、一般的にピクセル又はピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すことができ、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（又は、画像）をピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）に対応する用語として使用することができる。

減算部２３１は、入力画像信号（原本ブロック、原本サンプル又は原本サンプルアレイ）で予測部２２０から出力された予測信号（予測されたブロック、予測サンプル又は予測サンプルアレイ）を減算してレジデュアル信号（レジデュアルブロック、レジデュアルサンプル又はレジデュアルサンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。予測部２２０は、処理対象ブロック（以下、現在ブロックという）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部２２０は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、又はインター予測が適用されるか決定することができる。予測部は、各予測モードについての説明で後述するように、予測モード情報など、予測に関する様々な情報を生成してエントロピーエンコード部２４０に伝達することができる。予測に関する情報は、エントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力されることができる。

イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することができ、又は、離れて位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは、例示であり、設定によってそれ以上又はそれ以下の個数の方向性予測モードが使用され得る。イントラ予測部２２２は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャとは同じであることができ、異なることもできる。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌ ＣＵ）などの名前で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われ得るし、例えば、スキップモードとマージモードとの場合に、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることにより、現在ブロックの動きベクトルを指示することができる。

予測部２２０は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を実行することができる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ画像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われることができる。すなわち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを用いることができる。

インター予測部２２１及び／又はイントラ予測部２２２を介して生成された予測信号は、復元信号を生成するために用いられるか、レジデュアル信号を生成するために用いられることができる。変換部２３２は、レジデュアル信号に変換技法を適用して、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ） などを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するという際に、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は正方形の同じサイズを有するピクセルブロックに適用されてもよく、正方形ではない可変サイズのブロックに適用されてもよい。

量子化部２３３は、変換係数を量子化してエントロピーエンコード部２４０に送信され、エントロピーエンコード部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコードしてビットストリームに出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列することができ、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコード部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような様々なエンコード方法を行うことができる。エントロピーエンコード部２４０は、量子化された変換係数の他に、ビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共に又は別にエンコードすることもできる。エンコードされた情報（例えば、エンコードされたビデオ／画像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信又は格納されることができる。前記ビデオ／画像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、又はビデオパラメータセット（ＶＰＳ）等、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書において、後述されるシグナリング／送信される情報及び／又はシンタックス要素は、前述したエンコード手順を介してエンコードされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、又はデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含むことができる。エントロピーエンコード部２４０から出力された信号は、送信する送信部（図示せず）及び／又は格納する格納部（図示せず）がエンコード装置２００の内／外部エレメントとして構成されることができ、又は送信部は、エントロピーエンコード部２４０に含まれることもできる。

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元できる。加算部１５５は、復元されたレジデュアル信号を予測部２２０から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプル又は復元サンプルアレイ）が生成され得る。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

一方、ピクチャエンコード及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法についての説明で後述するように、フィルタリングに関する様々な情報を生成してエントロピーエンコード部２４０に伝達することができる。フィルタリングに関する情報は、エントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力されることができる。

メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使用されることができる。エンコード装置は、これを介してインター予測が適用される場合、エンコード装置１００とデコード装置における予測ミスマッチを避けることができ、符号化効率も向上させることができる。

メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１における参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（又は、エンコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報又は時間的隣接ブロックの動き情報として活用するために、インター予測部２２１に伝達することができる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達することができる。

図３は、本文書が適用されることができるビデオ／画像デコード装置の構成を概略的に説明する図面である。

図３に示すように、デコード装置３００は、エントロピーデコード部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を備えて構成されることができる。予測部３３０は、インター予測部３３１及びイントラ予測部３３２を備えることができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を備えることができる。前述したエントロピーデコード部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施形態によって１つのハードウェアコンポーネント（例えば、デコーダチップセット又はプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに備えることもできる。

ビデオ／画像情報を含むビットストリームが入力されれば、デコード装置３００は、図３のエンコード装置でビデオ／画像情報が処理されたプロセスに対応して画像を復元できる。例えば、デコード装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出できる。デコード装置３００は、エンコード装置で適用された処理ユニットを用いてデコードを行うことができる。したがって、デコードの処理ユニットは、例えば、コーディングユニットであることができ、コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／又はターナリツリー構造にしたがって分割されることができる。コーディングユニットから１つ以上の変換ユニットが導出され得る。そして、デコード装置３００を介してデコード及び出力された復元画像信号は、再生装置を介して再生されることができる。

デコード装置３００は、図３のエンコード装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコード部３１０を介してデコードされることができる。例えば、エントロピーデコード部３１０は、前記ビットストリームをパーシングして画像復元（又は、ピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出できる。前記ビデオ／画像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、又はビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコード装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報に基づいてさらにピクチャをデコードすることができる。本文書において後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコード手順を介してデコードされて、前記ビットストリームから取得されることができる。例えば、エントロピーデコード部３１０は、指数ゴロム符号化、ＣＡＶＬＣ、又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコードし、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力できる。より具体的に、ＣＡＢＡＣエントロピーデコード方法は、ビットストリームで各シンタックス要素に該当するビンを受信し、デコード対象のシンタックス要素情報と隣接及びデコード対象ブロックのデコード情報又は以前ステップでデコードされたシンボル／ビンの情報を利用して文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルによってビン（ｂｉｎ）の発生確率を予測してビンの算術デコード（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行い、各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコード方法は、文脈モデル決定後、次のシンボル／ビンの文脈モデルのためにデコードされたシンボル／ビンの情報を利用して文脈モデルをアップデートすることができる。エントロピーデコード部３１０でデコードされた情報のうち、予測に関する情報は、予測部３３０に提供され、エントロピーデコード部３１０でエントロピーデコードが行われたレジデュアル情報、すなわち、量子化された変換係数及び関連パラメータ情報は、逆量子化部３２１に入力されることができる。また、エントロピーデコード部３１０でデコードされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコード装置から出力された信号を受信する受信部（図示せず）がデコード装置３００の内／外部エレメントとしてさらに構成されることができ、又は受信部は、エントロピーデコード部３１０の構成要素であることもできる。一方、本文書に係るデコード装置は、ビデオ／画像／ピクチャデコード装置と呼ばれることができ、前記デコード装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコード部３１０を備えることができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、予測部３３０、加算部３４０、フィルタリング部３５０、及びメモリ３６０のうち、少なくとも１つを備えることができる。

逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力できる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコード装置で行われた係数スキャン順序に基づいて再整列を行うことができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコード部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、又はインター予測が適用されるか決定することができ、具体的なイントラ／インター予測モードを決定することができる。

予測部は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を実行することができる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ画像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われることができる。すなわち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを利用することができる。パレットモードは、イントラコーディング又はイントラ予測の一例と見なすことができる。

イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することができ、又は離れて位置することができる。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを備えることができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出できる。様々な予測モードに基づいてインター予測が行われ得るし、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。

加算部３４０は、取得されたレジデュアル信号を予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。

加算部３４０は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されることができ、又は次のピクチャのインター予測のために使用されることもできる。

一方、ピクチャデコード過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使用されることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（又は、デコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納できる。前記格納された動き情報は、空間的隣接ブロックの動き情報又は時間的隣接ブロックの動き情報として活用するために、インター予測部３３２に伝達することができる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納でき、イントラ予測部３３１に伝達することができる。

本明細書において、デコード装置３００の予測部３３０、逆量子化部３２１、逆変換部３２２、及びフィルタリング部３５０などで説明された実施形態は、各々、エンコード装置２００の予測部２２０、逆量子化部２３４、逆変換部２３５、及びフィルタリング部２６０などにも同一又は対応されるように適用されることができる。

前述したように、ビデオコーディングを実行するにあたって、圧縮効率を上げるために予測を実行する。これを介してコーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（又は、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコード装置及びデコード装置で同じく導出され、前記エンコード装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコード装置にシグナリングすることで画像コーディング効率を上げることができる。デコード装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックとを合わせて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。

前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコード装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出することで、関連したレジデュアル情報を（ビットストリームを介して）デコード装置にシグナリングできる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコード装置は、前記レジデュアル情報に基づいて逆量子化／逆変換の手順を実行してレジデュアルサンプル（又は、レジデュアルブロック）を導出することができる。デコード装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコード装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。

本文書において、量子化／逆量子化及び／又は変換／逆変換のうち少なくとも１つは、省略されることができる。前記量子化／逆量子化が省略される場合、前記量子化された変換係数は、変換係数と呼ばれることができる。前記変換／逆変換が省略される場合、前記変換係数は、係数又はレジデュアル係数と呼ばれることもでき、又は、表現の統一性のために、依然として変換係数と呼ばれることもできる。

本文書において、量子化された変換係数及び変換係数は、各々、変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と呼ばれることができる。この場合、レジデュアル情報は、変換係数（ら）に関する情報を含むことができ、前記変換係数（ら）に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。前記レジデュアル情報（又は、前記変換係数（ら）に関する情報）に基づいて変換係数が導出されることができ、前記変換係数に対する逆変換（スケーリング）を介してスケーリングされた変換係数が導出されることができる。前記スケーリングされた変換係数に対する逆変換（変換）に基づいてレジデュアルサンプルが導出されることができる。これは本文書の他の部分でも同様に適用／表現されることができる。

エンコード装置／デコード装置の予測部は、ブロック単位でインター予測を行って予測サンプルを導出することができる。インター予測は、現在ピクチャ以外のピクチャのデータ要素（ｅｘ．サンプル値、又は動き情報）に依存的な方法で導出される予測を示すことができる。現在ブロックにインター予測が適用される場合、参照ピクチャのインデックスの指す参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロック（予測サンプルアレイ）を誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、現在ブロックの動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャのインデックスを含むことができる。前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）の情報を更に含むことができる。インター予測が適用される場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間的隣接ブロックを含む参照ピクチャとは同一であってもよく、異なってもよい。前記時間的隣接ブロックは、同じ位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同じ位置ＣＵ（ｃｏｌＣＵ）等の名称で呼ばれ得、前記時間的隣接ブロックを含む参照ピクチャは、同じ位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもある。例えば、現在ブロックの隣接ブロックに基づいて動き情報の候補リストが構成されることができ、前記現在ブロックの動きベクトル及び／又は参照ピクチャのインデックスを導出するために、どの候補が選択（使用）されるかを指示するフラグ又はインデックス情報がシグナリングされることができる。様々な予測モードに基づいてインター予測が行われ、例えば、スキップモードとマージモードの場合、現在ブロックの動き情報は、選択された隣接ブロックの動き情報を同一であり得る。スキップモードの場合、マージモードと異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、選択された隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）はシグナリングされることができる。この場合、前記動きベクトル予測子及び動きベクトル差分の和を用いて、前記現在ブロックの動きベクトルを導出することができる。

前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）に応じて、Ｌ０動き情報及び／又はＬ１動き情報を含むことができる。Ｌ０方向の動きベクトルは、Ｌ０動きベクトル又はＭＶＬ０と呼ばれ得、Ｌ１方向の動きベクトルは、Ｌ１動きベクトル又はＭＶＬ１と呼ばれ得る。Ｌ０動きベクトルに基づいた予測は、Ｌ０予測と呼ばれ得、Ｌ１動きベクトルに基づいた予測をＬ１予測と呼ばれ得、前記Ｌ０動きベクトル及び前記Ｌ１動きベクトルの両方に基づいた予測を双（Ｂｉ）予測と呼ばれ得る。ここで、Ｌ０動きベクトルは、参照ピクチャリストＬ０（Ｌ０）に関連する動きベクトルを示すことができ、Ｌ１動きベクトルは、参照ピクチャリストＬ１（Ｌ１）に関連する動きベクトルを示すことができる。参照ピクチャリストＬ０は、前記現在ピクチャよりも、出力順序上、以前のピクチャを参照ピクチャに含むことができ、参照ピクチャリストＬ１は、前記現在ピクチャよりも、出力順序上、以後のピクチャを含むことができる。前記以前のピクチャは、順方向（参照）ピクチャと呼ばれ得、前記以後のピクチャは、逆方向（参照）ピクチャと呼ばれ得る。前記参照ピクチャリストＬ０は、前記現在ピクチャよりも、出力順序上、以後のピクチャを参照ピクチャにさらに含むことができる。この場合、前記参照ピクチャリストＬ０内で前記以前のピクチャが先にインデキシングされ、前記以後のピクチャは、その後にインデキシングされ得る。前記参照ピクチャリストＬ１は、前記現在ピクチャよりも、出力順序上、以前のピクチャを参照ピクチャにさらに含むことができる。この場合、前記参照ピクチャリスト１内で前記以後のピクチャが先にインデキシングされ、前記以前のピクチャは、その後にインデキシングされ得る。ここで、出力順序は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序（ｏｒｄｅｒ）に対応し得る。

図４は、コーディングされた画像／ビデオに対する階層構造を例示的に示す。

図４に示すように、コーディングされた画像／ビデオは、画像／ビデオのデコード処理及びその自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を送信して格納する下位システム、及びＶＣＬと下位システムとの間に存在してネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されている。

ＶＣＬでは、圧縮された画像データ（スライスデータ）を含むＶＣＬデータを生成し、又は、ピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）などの情報を含むパラメータセット又は画像のデコード過程に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。

ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダ情報（ＮＡＬユニットヘッダ）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどを意味する。ＮＡＬユニットヘッダには該当ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。

前記図面に示すように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰによって、ＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットとに区分されることができる。ＶＣＬ ＮＡＬユニットは、画像に対する情報（スライスデータ）を含んでいるＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、画像をデコードするために必要な情報（パラメータセット又はＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味することができる。

前述したＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格によってヘッダ情報を付けてネットワークを介して送信されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などのような所定規格のデータ形態に変形されて多様なネットワークを介して送信されることができる。

前述したように、ＮＡＬユニットは、該当ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）によってＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダに格納されてシグナリングされることができる。

例えば、ＮＡＬユニットが画像に対する情報（スライスデータ）を含むかどうかによって、大別して、ＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプとに分類されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質及び種類などによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されることができる。

下記は、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセットの種類などによって特定されたＮＡＬユニットタイプの一例においてある。

－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＡＰＳを含むＮＡＬユニットに対するタイプ

－ＤＰＳ（Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＤＰＳを含むＮＡＬユニットに対するタイプ

－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＶＰＳを含むＮＡＬユニットに対するタイプ

－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＳＰＳを含むＮＡＬユニットに対するタイプ

－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＰＰＳを含むＮＡＬユニットに対するタイプ

－ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）ＮＡＬ ｕｎｉｔ：ＰＨを含むＮＡＬユニットに対するタイプ

前述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、前記シンタックス情報は、ＮＡＬユニットヘッダに格納されてシグナリングされることができる。例えば、前記シンタックス情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬユニットタイプは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値に特定されることができる。

一方、前述したように、１つのピクチャは、複数のスライスを含むことができ、１つのスライスは、スライスヘッダ及びスライスデータを含むことができる。この場合、１つのピクチャ内の複数のスライス（スライスヘッダ及びスライスデータ集合）に対して１つのピクチャヘッダがさらに付加されることができる。前記ピクチャヘッダ（ピクチャヘッダシンタックス）は、前記ピクチャに共通的に適用できる情報／パラメータを含むことができる。本文書において、スライスは、タイルグループに混用又は代替されることができる。また、本文書において、スライスヘッダは、タイプグループヘッダに混用又は代替されることができる。

前記スライスヘッダ（スライスヘッダシンタックス、スライスヘッダ情報）は、前記スライスに共通的に適用できる情報／パラメータを含むことができる。前記ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、１つ以上のスライス又はピクチャに共通的に適用できる情報／パラメータを含むことができる。前記ＳＰＳ（ＳＰＳシンタックス）は、１つ以上のシーケンスに共通的に適用できる情報／パラメータを含むことができる。前記ＶＰＳ（ＶＰＳシンタックス）は、多重レイヤに共通的に適用できる情報／パラメータを含むことができる。前記ＤＰＳ（ＤＰＳシンタックス）は、ビデオ全般に共通的に適用できる情報／パラメータを含むことができる。前記ＤＰＳは、ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）の接合（ｃｏｎｃａｔｅｎａｔｉｏｎ）に関連する情報／パラメータを含むことができる。本文書において、上位レベルシンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）とは、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＰＳシンタックス、ピクチャヘッダシンタックス、スライスヘッダシンタックスのうち少なくとも１つを含むことができる。

本文書において、エンコード装置からデコード装置にエンコードされてビットストリーム形態でシグナリングされる画像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダに含まれている情報、前記ピクチャヘッダに含まれている情報、前記ＡＰＳに含まれている情報、前記ＰＰＳに含まれている情報、ＳＰＳに含まれている情報、ＶＰＳに含まれている情報、及び／又はＤＰＳに含まれている情報を含むことができる。また、前記画像／ビデオ情報は、ＮＡＬユニットヘッダの情報をさらに含むことができる。

一方、量子化など、圧縮符号化過程で発生するエラーによる原本（ｏｒｉｇｉｎａｌ）画像と復元画像の差異を補償するために、前述したように、復元サンプル又は復元ピクチャにインループフィルタリング手順が実行されることができる。前述したように、インループフィルタリングは、エンコード装置のフィルタ部及びデコード装置のフィルタ部で実行されることができ、デブロッキングフィルタ、ＳＡＯ及び／又は適応的ループフィルタ（ＡＬＦ）が適用されることができる。例えば、ＡＬＦ手順は、デブロッキングフィルタリング手順及び／又はＳＡＯ手順が完了した後に実行されることができる。ただし、この場合も、デブロッキングフィルタリング手順及び／又はＳＡＯ手順が省略されることもできる。

以下、ピクチャ復元及びフィルタリングに対する具体的な説明が記述される。画像／ビデオコーディングにおいて、各ブロック単位でイントラ予測／インター予測に基づいて復元ブロックが生成されることができ、復元ブロックを含む復元ピクチャが生成されることができる。現在ピクチャ／スライスがＩピクチャ／スライスである場合、前記現在ピクチャ／スライスに含まれるブロックは、イントラ予測のみに基づいて復元されることができる。一方、現在ピクチャ／スライスがＰ又はＢピクチャ／スライスである場合、前記現在ピクチャ／スライスに含まれるブロックは、イントラ予測又はインター予測に基づいて復元されることができる。この場合、現在ピクチャ／スライス内の一部ブロックに対してはイントラ予測が適用され、残りのブロックに対してはインター予測が適用されることもできる。

イントラ予測は、現在ブロックが属するピクチャ（以下、現在ピクチャという）内の参照サンプルに基づいて現在ブロックに対する予測サンプルを生成する予測を示すことができる。現在ブロックにイントラ予測が適用される場合、現在ブロックのイントラ予測に使用する隣接参照サンプルが導出されることができる。前記現在ブロックの隣接参照サンプルは、ｎＷ×ｎＨ大きさの現在ブロックの左側（ｌｅｆｔ）境界に隣接したサンプル及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣接した総２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接したサンプル及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣接した総２×ｎＷ個のサンプル及び現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）に隣接した１個のサンプルを含むことができる。または、前記現在ブロックの隣接参照サンプルは、複数列の上側隣接サンプル及び複数行の左側隣接サンプルを含むこともできる。また、前記現在ブロックの隣接参照サンプルは、ｎＷ×ｎＨ大きさの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接した総ｎＨ個のサンプル、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接した総ｎＷ個のサンプル、及び現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣接した１個のサンプルを含むこともできる。

ただし、現在ブロックの隣接参照サンプルのうち一部は、まだデコードされない、又は利用可能でない場合がある。この場合、デコーダは、利用可能なサンプルとして利用可能でないサンプルを代替（ｓｕｂｓｔｉｔｕｔｉｏｎ）して予測に使用する隣接参照サンプルを構成することができる。または、利用可能なサンプルの補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を介して予測に使用する隣接参照サンプルを構成することができる。

隣接参照サンプルが導出された場合、（ｉ）現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）又は補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ｉｉ）現在ブロックの隣接参照サンプルのうち、予測サンプルに対して特定（予測）方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。（ｉ）の場合は、非方向性モード又は非角度モードと呼ばれ、（ｉｉ）の場合は、方向性（ｄｉｒｅｃｔｉｏｎａｌ）モード又は角度（ａｎｇｕｌａｒ）モードと呼ばれることができる。また、前記隣接参照サンプルのうち前記現在ブロックの予測サンプルを基準にして、前記現在ブロックのイントラ予測モードの予測方向の反対方向に位置する前記第２の隣接サンプルと前記第１の隣接サンプルとの補間を介して前記予測サンプルが生成されることもできる。前述した場合は、線形補間イントラ予測（Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＬＩＰ）と呼ばれることができる。また、線形モデル（ｌｉｎｅａｒ ｍｏｄｅｌ）を利用してルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。この場合は、ＬＭモードと呼ばれることができる。また、フィルタリングされた隣接参照サンプルに基づいて前記現在ブロックの臨時予測サンプルを導出し、前記既存の隣接参照サンプル、即ち、フィルタリングされない隣接参照サンプルのうち、前記イントラ予測モードにより導出された少なくとも１つの参照サンプルと前記臨時予測サンプルとを加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）して前記現在ブロックの予測サンプルを導出することもできる。前述した場合は、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、現在ブロックの隣接多重参照サンプルラインの中から最も予測正確度が高い参照サンプルラインを選択して該当ラインで予測方向に位置する参照サンプルを利用して予測サンプルを導出し、この時に使用された参照サンプルラインをデコード装置に指示（シグナリング）する方法でイントラ予測符号化を実行することができる。前述した場合は、ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ（ＭＲＬ）ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ又はＭＲＬベースのイントラ予測と呼ばれることができる。また、現在ブロックを垂直又は水平のサブパーティションに分けて同じイントラ予測モードに基づいてイントラ予測を実行し、前記サブパーティション単位で隣接参照サンプルを導出して利用できる。即ち、この場合、現在ブロックに対するイントラ予測モードが前記サブパーティションに同じく適用され、前記サブパーティション単位で隣接参照サンプルを導出して利用することによって、場合によって、イントラ予測性能を高めることができる。このような予測方法は、ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ（ＩＳＰ）又はＩＳＰベースのイントラ予測と呼ばれることができる。前述したイントラ予測方法は、目次１及び２でのイントラ予測モードと区分してイントラ予測タイプと呼ばれることができる。前記イントラ予測タイプは、イントラ予測技法又は付加イントラ予測モードなど、多様な用語で呼ばれることができる。例えば、前記イントラ予測タイプ（又は、付加イントラ予測モードなど）は、前述したＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰのうち少なくとも１つを含むことができる。前記ＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰなどの特定イントラ予測タイプを除外した一般イントラ予測方法は、ノーマルイントラ予測タイプと呼ばれることができる。ノーマルイントラ予測タイプは、前記のような特定イントラ予測タイプが適用されない場合、一般的に適用されることができ、前述したイントラ予測モードに基づいて予測が実行されることができる。一方、必要によって、導出された予測サンプルに対する後処理フィルタリングが実行されることもできる。

具体的に、イントラ予測手順は、イントラ予測モード／タイプ決定ステップ、隣接参照サンプル導出ステップ、イントラ予測モード／タイプベースの予測サンプル導出ステップを含むことができる。また、必要によって、導出された予測サンプルに対する後処理フィルタリング（ｐｏｓｔ－ｆｉｌｔｅｒｉｎｇ）ステップが実行されることもできる。

インループフィルタリング手順により修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャが生成され、デコード装置から前記修正された復元ピクチャがデコードされたピクチャとして出力され、またエンコード装置／デコード装置の復号ピクチャバッファ又はメモリに格納されて、以後にピクチャのエンコード／デコード時のインター予測手順において参照ピクチャとして使用されることができる。前記インループフィルタリング手順は、前述のようにデブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順及び／又はＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順などを含む。この場合、前記デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順及びバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順のうちの１つ又は一部が順次適用されてもよく、または全てが順次適用されてもよい。例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＳＡＯ手順が行われてもよい。または、例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＡＬＦ手順が行われてもよい。これはエンコード装置においても同様に行われる。

デブロッキングフィルタリングは、復元されたピクチャでブロック間の境界に発生する歪曲を除去するフィルタリング技法である。デブロッキングフィルタリング手順は、例えば、復元ピクチャでターゲット境界を導出し、前記ターゲット境界に対するｂＳ（ｂｏｕｎｄａｒｙ ｓｔｒｅｎｇｔｈ）を決定し、前記ｂＳに基づいて前記ターゲット境界に対するデブロッキングフィルタリングを実行することができる。前記ｂＳは、前記ターゲット境界を隣接する２つのブロックの予測モード、動きベクトル差、参照ピクチャ同一可否、０でない有効係数の存在可否などに基づいて決定されることができる。

ＳＡＯは、サンプル単位で復元ピクチャと原本ピクチャとのオフセット差を補償する方法であって、例えば、バンドオフセット（Ｂａｎｄ Ｏｆｆｓｅｔ）、エッジオフセット（Ｅｄｇｅ Ｏｆｆｓｅｔ）などのタイプに基づいて適用されることができる。ＳＡＯによると、各ＳＡＯタイプによってサンプルを互いに異なるカテゴリに分類し、カテゴリに基づいて各サンプルにオフセット値を足すことができる。ＳＡＯのためのフィルタリング情報は、ＳＡＯ適用可否に関する情報、ＳＡＯタイプ情報、ＳＡＯオフセット値情報などを含むことができる。ＳＡＯは、前記デブロッキングフィルタリング適用後の復元ピクチャに対して適用されることもできる。

ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）は、復元ピクチャに対してフィルタ形状によるフィルタ係数に基づいてサンプル単位でフィルタリングする技法である。エンコード装置は、復元ピクチャと原本ピクチャの比較を介してＡＬＦ適用可否、ＡＬＦ形状及び／又はＡＬＦフィルタリング係数などを決定することができ、デコード装置にシグナリングすることができる。即ち、ＡＬＦのためのフィルタリング情報は、ＡＬＦ適用可否に関する情報、ＡＬＦフィルタ形状（ｓｈａｐｅ）情報、ＡＬＦフィルタリング係数情報などを含むことができる。ＡＬＦは、前記デブロッキングフィルタリング適用後の復元ピクチャに対して適用されることもできる。

図５は、エンコード装置におけるフィルタリングに基づくエンコード方法を説明するための順序図である。図５の方法は、ステップＳ５００ないしＳ５３０を含むことができる。

ステップＳ５００において、エンコード装置は、復元ピクチャを生成することができる。ステップＳ５００は、上述した復元ピクチャ（または、復元サンプル）生成手順に基づいて行われることができる。

ステップＳ５１０において、エンコード装置は、インループフィルタリング関連情報に基づいて（仮想境界を横切って）インループフィルタリングが適用されるか否かを決定できる。ここで、インループフィルタリングは、上述したデブロッキングフィルタリング、ＳＡＯ、またはＡＬＦのうち、少なくとも１つを含むことができる。

ステップＳ５２０において、エンコード装置は、ステップＳ５１０の前記決定に基づいて修正された復元ピクチャ（修正された復元サンプル）を生成することができる。ここで、修正された復元ピクチャ（修正された復元サンプル）は、フィルタリングされた復元ピクチャ（フィルタリングされた復元サンプル）であることができる。

ステップＳ５３０において、エンコード装置は、インループフィルタリング手順に基づいてインループフィルタリング関連情報を含む画像／ビデオ情報をエンコードすることができる。

図６は、デコード装置におけるフィルタリングに基づくデコード方法を説明するための順序図である。図６の方法は、ステップＳ６００ないしＳ６３０を含むことができる。

ステップＳ６００において、デコード装置は、ビットストリームからインループフィルタリング関連情報を含む画像／ビデオ情報を取得できる。ここで、ビットストリームは、エンコード装置から送信されたエンコードされた画像／ビデオ情報に基づくことができる。

ステップＳ６１０において、デコード装置は、復元ピクチャを生成することができる。ステップＳ６１０は、上述した復元ピクチャ（または、復元サンプル）生成手順に基づいて行われることができる。

ステップＳ６２０において、デコード装置は、インループフィルタリング関連情報に基づいて（仮想境界を横切って）インループフィルタリングが適用されるか否かを決定できる。ここで、インループフィルタリングは、上述したデブロッキングフィルタリング、ＳＡＯ、またはＡＬＦのうち、少なくとも１つを含むことができる。

ステップＳ６３０において、デコード装置は、ステップＳ６２０の前記決定に基づいて修正された復元ピクチャ（修正された復元サンプル）を生成することができる。ここで、修正された復元ピクチャ（修正された復元サンプル）は、フィルタリングされた復元ピクチャ（フィルタリングされた復元サンプル）であることができる。

前述のように復元ピクチャにインループフィルタリング手順が適用されることができる。この場合、復元ピクチャの主観的／客観的ビジュアル品質をさらに高めるために仮想境界を定義し、前記仮想境界を横切って（ａｃｒｏｓｓ）前記インループフィルタリング手順を適用することもできる。前記仮想境界は、例えば、３６０度画像、ＶＲ画像、またはＰＩＰ（ｐｉｃｔｕｒｅ ｉｎ ｐｉｃｔｕｒｅ）などの不連続エッジを含む。例えば、前記仮想境界は予め定められた約束された位置に存在し、その存否及び／又は位置がシグナリングされることができる。一例として、前記仮想境界は、ＣＴＵ行の上側４番目のサンプルライン（具体的に、例えば、前記ＣＴＵ行の上側４番目のサンプルラインの上側）に位置する。他の例として、前記仮想境界は、その存否及び／又は位置に関する情報がＨＬＳを介してシグナリングされることもできる。前記ＨＬＳは、前述のようにＳＰＳ、ＰＰＳ、ピクチャヘッダ、スライスヘッダなどを含む。

以下では、本文書の実施形態に関するハイレベルシンタックスシグナリング及びセマンティックスについて説明する。

本文書の一実施形態は、ループフィルタを制御する方法を含む。ループフィルタを制御する本方法は、復元ピクチャに対して適用できる。インループフィルタ（ループフィルタ）はエンコードされたビットストリームのデコードのために使用できる。ループフィルタは前述のデブロッキング、ＳＡＯ、ＡＬＦを含む。ＳＰＳはデブロッキング、ＳＡＯ、ＡＬＦのそれぞれに関連するフラグを含む。前記フラグは、前記ＳＰＳを参照するＣＬＶＳ（ｃｏｄｅｄ ｌａｙｅｒ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）、ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）のコーディングのために各ツールが可用であるか否かを示す。

一例において、ループフィルタがＣＶＳ内のピクチャのコーディングのために可用である場合、前記ループフィルタの適用は特定の境界を横切らないように制御される。例えば、ループフィルタはサブピクチャ境界を横切らないように制御され、ループフィルタはタイル境界を横切らないように制御され、ループフィルタはスライス境界を横切らないように制御され、そして／またはループフィルタは仮想境界を横切らないように制御されることができる。

インループフィルタリング関連情報は、本文書（又は、それに含まれた実施形態）において説明される情報、シンタックス、シンタックス要素、及び／又はセマンティックスを含む。インループフィルタリング関連情報は、インループフィルタリング手順（全体又は一部）が特定境界（例えば、仮想境界、サブピクチャ境界、スライス境界及び／又はタイル境界）を横切って可用であるか否かに関する情報を含む。ビットストリームに含まれた画像情報はハイレベルシンタックス（ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）を含み、前記ＨＬＳは前記インループフィルタリング関連情報を含む。前記インループフィルタリング手順が特定の境界を横切って適用されるか否かに対する決定に基づいて、修正された（又は、フィルタリングされた）復元サンプル（復元ピクチャ）が生成される。一例において、インループフィルタリング手順が全ブロック／境界に対してディスエーブルされると、修正された復元サンプルは復元サンプルと同一であり得る。他の例において、修正された復元サンプルはインループフィルタリングに基づいて導出される修正された復元サンプルを含む。ただし、この場合、前記決定に基づいて復元サンプルの一部（例えば、仮想境界を横切る復元サンプル（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｓａｍｐｌｅｓ ａｃｒｏｓｓ ｖｉｒｔｕａｌ ｂｏｕｎｄａｒｙ））はインループフィルタリングされないことがある。例えば、特定境界（インループフィルタリング実行がイネーブルされた仮想境界、サブピクチャ境界、スライス境界及び／又はタイル境界の少なくとも１つを含む）を横切る復元サンプルはインループフィルタリングされることができるが、他の境界（インループフィルタリング実行がディスエーブルされた仮想境界、サブピクチャ境界及び／又はタイル境界の少なくとも１つを含む）を横切る復元サンプルはインループフィルタリングされないことがある。

一例において、仮想境界を横切ってインループフィルタリング手順が行われるか否かに関連して、インループフィルタリング関連情報は、ＳＰＳ仮想境界存在フラグ、ピクチャヘッダ仮想境界存在フラグ、仮想境界の個数に関する情報、仮想境界の位置に関する情報などを含む。

本文書に含まれた実施形態において、仮想境界の位置に関する情報は、垂直仮想境界のｘ座標に関する情報及び／又は水平仮想境界のｙ座標に関する情報を含む。具体的に、仮想境界の位置に関する情報は、ルマサンプル単位の垂直仮想境界のｘ座標及び／又は水平仮想境界のｙ座標に関する情報を含む。また、仮想境界の位置に関する情報は、ＳＰＳに存在する垂直仮想境界のｘ座標に関する情報（シンタックス要素）の個数に関する情報を含む。また、仮想境界の位置に関する情報は、ＳＰＳに存在する水平仮想境界のｙ座標に関する情報（シンタックス要素）の個数に関する情報を含む。または、仮想境界の位置に関する情報は、ピクチャヘッダに存在する垂直仮想境界のｘ座標に関する情報（シンタックス要素）の個数に関する情報を含む。また、仮想境界の位置に関する情報は、ピクチャヘッダに存在する水平仮想境界のｙ座標に関する情報（シンタックス要素）の個数に関する情報を含む。

次の表は、本実施形態によるＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）の例示的なシンタックス及びセマンティックスを示す。

次の表は、本実施形態によるＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）の例示的なシンタックス及びセマンティックスを示す。

次の表は、本実施形態によるピクチャヘッダの例示的なシンタックス及びセマンティックスを示す。

次の表は、本実施形態によるスライスヘッダの例示的なシンタックス及びセマンティックスを示す。

以下では、サブピクチャに関連する情報とインループフィルタリングにおいて使用できる仮想境界に関する情報及びそれらのシグナリングについて説明する。

もし、ピクチャが複数のサブピクチャを含むにもかかわらずピクチャ境界のように取り扱われる境界を有するサブピクチャが１つもないと、サブピクチャを利用する長所を生かすことができない。本文書の一実施形態においては、画像コーディングのための画像／ビデオ情報がサブピクチャをピクチャのように扱うための情報を含み、これはピクチャ取り扱いフラグ（例えば、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］）と呼ばれる。

サブピクチャのレイアウトをシグナリングするために、サブピクチャが存在するか否かに関連するフラグ（例えば、ｓｕｂｐｉｃ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）がシグナリングされる。これは、サブピクチャ存在フラグと呼ばれてもよい。ｓｕｂｐｉｃ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１である場合、ピクチャを分割するサブピクチャの個数に関する情報（例えば、ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１）がシグナリングされる。一例において、ピクチャを分割するサブピクチャの個数はｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１＋１個（ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１に１を加算する）と同一であり得る。ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１の可能な値は０を含み、これはピクチャ内にただ１つのサブピクチャのみが存在することを意味する。ピクチャがただ１つのサブピクチャのみを含む場合、サブピクチャ自体がピクチャであるため、サブピクチャ関連情報のシグナリングは重複手順とみなされる。

既存の実施形態において、ピクチャがただ１つのサブピクチャのみを含み、サブピクチャシグナリングが存在する場合には、ピクチャ取り扱いフラグ（例えば、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］）の値及び／又はサブピクチャを横切ってループフィーリングが行われるか否かに関連するフラグ（例えば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値は０又は１であり得る。ここで、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］の値が０である場合は、サブピクチャ境界がピクチャ境界である場合と矛盾する問題が発生した。これは、デコーダにピクチャ境界がサブピクチャ境界であることを確認させる追加的な重複手順を必要とする。

２つ以上のサブピクチャの併合手順に基づいてピクチャが生成される場合、前記併合手順に使用される全てのサブピクチャは独立的にコーディングされたサブピクチャ（ピクチャ取り扱いフラグ（ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］）の値が１であるサブピクチャ）でなければならない。これは、独立的にコーディングされたサブピクチャではないサブピクチャ（本段落において「第１サブピクチャ」という。）を併合する場合、前記第１サブピクチャ内のブロックが前記第１サブピクチャ外部に存在する参照ブロックを参照してコーディングされることにより併合後の問題を発生させることがあるためである。

また、ピクチャがサブピクチャにパーティショニングされた場合、サブピクチャＩＤシグナリングは存在するか存在しない。サブピクチャＩＤシグナリングが存在する場合、サブピクチャＩＤシグナリングはＳＰＳ、ＰＰＳ及び／又はピクチャヘッダ（ｐｉｃｔｕｒｅ ｈｅａｄｅｒ、ＰＨ）に存在する（含まれる）。サブピクチャＩＤシグナリングがＳＰＳに存在しない場合は、サブピクチャ併合手順の結果としてビットストリームが生成される場合を含む。従って、サブピクチャＩＤシグナリングがＳＰＳに含まれない場合において、全てのサブピクチャは独立的にコーディングされることが好ましい。

仮想境界が利用される画像コーディング手順において、仮想境界の位置に関する情報はＳＰＳ又はピクチャヘッダにおいてシグナリングされることができる。ＳＰＳにおいて仮想境界の位置に関する情報をシグナリングするということは、ＣＬＶＳ内において前記位置に変化がないことを意味する。ただし、参照ピクチャリサンプリング（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｒｅｓａｍｐｌｉｎｇ、ＲＰＲ）が前記ＣＬＶＳに対してイネーブルされると、前記ＣＬＶＳ内のピクチャは相異なるサイズを有する。ここで、参照ピクチャリサンプリング（又は、適応的解像度変化（ａｄａｐｔｉｖｅ ｒｅｓｏｌｕｔｉｏｎ ｃｈａｎｇｅ、ＡＲＣ）とも呼ばれる）は、相異なる解像度（空間的解像度）を有するピクチャの正常なコーディング動作のために行われる。例えば、参照ピクチャリサンプリングはアップサンプリング及びダウンサンプリングを含む。参照ピクチャリサンプリングにより、ビットレートと空間的解像度の適応のための高いコーディング効率が達成される。参照ピクチャリサンプリングを考慮して、前記仮想境界の位置は全部１つのピクチャ内にあるように保障される必要がある。

既存のＡＬＦ手順において、ｋ＝３であるｋ次数指数ゴロムコードは、ルマ及びクロマＡＬＦ係数の絶対値をシグナリングするのに使用される。ただし、ｋ次数指数ゴロムコーディングは相当な演算的オーバーヘッドと複雑度を誘発して問題となる。

以下の段落において記述される実施形態は、前述の問題を解決するための解決策を提案する。実施形態は独立的に適用してもよい。または、少なくとも２つ以上の実施形態が組み合わさって適用してもよい。

本文書の一実施形態において、サブピクチャシグナリングが存在し、そしてピクチャがただ１つのサブピクチャのみを有する場合に、前記ただ１つのサブピクチャは独立的にコーディングされたサブピクチャである。例えば、ピクチャがただ１つのサブピクチャのみを有する場合、前記ただ１つのサブピクチャは独立的にコーディングされたサブピクチャであり、そして前記ただ１つのサブピクチャに対するピクチャ取り扱いフラグ（例えば、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］）の値は１である。これにより、サブピクチャに関連する重複手順が省略されることができる。

本文書の一実施形態において、サブピクチャシグナリングが存在する場合、サブピクチャの個数は１個より多くてもよい。一例において、サブピクチャシグナリングが存在すると（例えば、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は１）サブピクチャの個数に関する情報（例えば、ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１）は０より大きく、サブピクチャの個数はｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１＋１個（ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１に1を加算する）であり得る。他の例において、サブピクチャの個数に関する情報はｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ２であり、そしてサブピクチャの個数はｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ２＋２個（ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ２に２を加算する）であり得る。また他の例において、サブピクチャ存在フラグｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇはサブピクチャの個数に関する情報ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１に置き替えられることができ、従って、サブピクチャのシグナリングはｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０より大きい場合に存在し得る。

本文書の一実施形態において、ピクチャがサブピクチャに分割される場合、前記サブピクチャのうち少なくとも１つのサブピクチャは独立的にコーディングされたサブピクチャであり得る。ここで、独立的にコーディングされたサブピクチャに関するピクチャ取り扱いフラグ（例えば、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］）の値は１である。

本文書の一実施形態において、２つ以上のサブピクチャの併合手順に基づくピクチャのサブピクチャは独立的にコーディングされたサブピクチャであり得る。

本文書の一実施形態において、サブピクチャＩＤ（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）シグナリングがＳＰＳではない他の位置（他のシンタックス、他のハイレベルシンタックス情報）に存在する場合、全てのサブピクチャは独立的にコーディングされたサブピクチャであり、全てのサブピクチャのためのピクチャ取扱フラグ（例えば、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ）の値は１であり得る。一例において、サブピクチャＩＤシグナリングはＰＰＳに存在し、この場合、全てのサブピクチャは独立的にコーディングされたサブピクチャであり得る。他の例において、サブピクチャＩＤシグナリングはピクチャヘッダに存在し、この場合、全てのサブピクチャは独立的にコーディングされたサブピクチャであり得る。

本文書の一実施形態において、ＣＬＶＳのために仮想境界シグナリングがＳＰＳに存在し、そして参照ピクチャリサンプリングが可能である場合、全ての水平仮想境界位置はＳＰＳを参照するピクチャの最小ピクチャ高さ以内であり、そして全ての垂直仮想境界位置はＳＰＳを参照するピクチャの最小ピクチャ幅以内であり得る。

本文書の一実施形態において、参照ピクチャリサンプリング（ＲＰＲ）がイネーブルされる場合、仮想境界シグナリングはピクチャヘッダに含まれる。すなわち、参照ピクチャリサンプリングがイネーブルされる場合、仮想境界シグナリングはＳＰＳに含まれないことがある。

本文書の一実施形態において、ＡＬＦデータをシグナリングするためにビットの個数（又は、ビット長）を相伴う固定長コーディング（ｆｉｘｅｄ ｌｅｎｇｔｈ ｃｏｄｉｎｇ、ＦＬＣ）が用いられる。一例において、ＡＬＦデータに関する情報はＡＬＦルマ係数絶対値のビット長（ｂｉｔ ｌｅｎｇｔｈ）に関する情報（例えば、ａｌｆ＿ｌｕｍａ＿ｃｏｅｆｆ＿ａｂｓ＿ｌｅｎ＿ｍｉｎｕｓ１）及び／又はＡＬＦクロマ係数絶対値のビット長に関する情報（例えば、ａｌｆ＿ｃｈｒｏｍａ＿ｃｏｅｆｆ＿ａｂｓ＿ｌｅｎ＿ｍｉｎｕｓ１）を含む。例えば、ＡＬＦルマ係数絶対値のビット長に関する情報及び／又はＡＬＦクロマ係数絶対値のビット長に関する情報は、ｕｅ（ｖ）コーディング（ｕｅ（ｖ）ｃｏｄｅｄ）されることができる。

次の表は、本実施形態によるＳＰＳの例示的なシンタックスを示す。

次の表は、前記シンタックスに含まれたシンタックス要素に関する例示的なセマンティックスを示す。

次の表は、本実施形態によるＳＰＳの例示的なシンタックスを示す。

次の表は、前記シンタックスに含まれたシンタックス要素に関する例示的なセマンティックスを示す。

次の表は、本実施形態によるＡＬＦデータの例示的なシンタックスを示す。

次の表は、前記シンタックスに含まれたシンタックス要素に関する例示的なセマンティックスを示す。

前記表とともに説明された本文書の実施形態によると、サブピクチャ及び／又は仮想境界に基づく画像コーディングにより、画像の主観的／客観的品質が向上し、コーディングに必要なハードウェアリソースの消耗が減少する。

図７及び図８は、本文書の実施形態（等）に係るビデオ／画像エンコード方法及び関連コンポーネントの一例を概略的に示す。

図７において開示された方法は、図２または図８において開示されたエンコード装置によって行われることができる。具体的に、例えば、図７のＳ７００及びＳ７３０は、図８の前記エンコード装置の予測部２２０によって行われることができ、図７のＳ７１０及びＳ７２０は、図８の前記エンコード装置のレジデュアル処理部２３０によって行われることができ、図７のＳ７４０は、図８の前記エンコード装置のフィルタリング部２６０によって行われることができ、図７のＳ７５０は、図８の前記エンコード装置のエントロピーエンコード部２４０によって行われることができる。また、図７において図示しなかったが、図７において前記エンコード装置の予測部２２０によって予測サンプルまたは予測関連情報を導出することができ、前記エンコード装置のエントロピーエンコード部２４０によってレジデュアル情報または予測関連情報からビットストリームが生成され得る。図７において開示された方法は、本文書において上述した実施形態等を含むことができる。

図７に示すように、エンコード装置は、少なくとも１つの参照ピクチャを導出することができる（Ｓ７００）。エンコード装置は、前記少なくとも１つの参照ピクチャに基づいて予測手順を行うことができる。具体的に、エンコード装置は、予測モードに基づいて前記現在ブロックの予測サンプルを生成することができる。この場合、インター予測またはイントラ予測など、本文書において開示された様々な予測方法が適用され得る。エンコード装置は、前記予測手順に基づいて現在ピクチャ内の現在ブロックに対する予測サンプルを生成することができる。例えば、エンコード装置は、前記少なくとも１つの参照ピクチャに基づいてインター予測手順を行い、そして前記インター予測手順に基づいて予測サンプルを生成することができる。

エンコード装置は、レジデュアルサンプルを生成／導出することができる（Ｓ７１０）。エンコード装置は、現在ブロックに対するレジデュアルサンプルを導出することができ、前記現在ブロックに対するレジデュアルサンプルは、現在ブロックの原本サンプル及び前記予測サンプルに基づいて導出されることができる。一例において、エンコード装置は、ステップＳ７００の前記少なくとも１つの参照ピクチャに基づいてレジデュアルサンプルを生成することができる。例えば、エンコード装置は、前記少なくとも１つの参照ピクチャに基づいて現在ブロックに対する予測サンプルを生成し、そして前記予測サンプルに基づいてレジデュアルサンプルを生成することができる。

エンコード装置は、変換係数を導出することができる。エンコード装置は、前記レジデュアルサンプルに対する変換手順に基づいて変換係数を導出することができる。例えば、変換手順は、ＤＣＴ、ＤＳＴ、ＧＢＴ、またはＣＮＴのうち、少なくとも１つを含むことができる。

エンコード装置は、量子化された変換係数を導出することができる。エンコード装置は、前記変換係数に対する量子化手順に基づいて量子化された変換係数を導出することができる。量子化された変換係数は、係数スキャン順序に基づいて１次元ベクトル形態を有することができる。

エンコード装置は、レジデュアル情報を生成することができる（Ｓ７２０）。エンコード装置は、前記現在ブロックに対する前記レジデュアルサンプルに基づいてレジデュアル情報を生成することができる。エンコード装置は、前記量子化された変換係数を表すレジデュアル情報を生成することができる。レジデュアル情報は、指数ゴロム、ＣＡＶＬＣ、ＣＡＢＡＣなどのような様々なエンコード方法を介して生成されることができる。

エンコード装置は、復元サンプルを生成することができる。エンコード装置は、前記レジデュアル情報に基づいて復元サンプルを生成することができる。復元サンプルは、レジデュアル情報に基づいたレジデュアルサンプルを予測サンプルに加算して生成されることができる。具体的に、エンコード装置は、現在ブロックに対する予測（イントラまたはインター予測）を行い、原本サンプルと予測から生成された予測サンプルとに基づいて復元サンプルを生成することができる。

復元サンプルは、復元ルマサンプル及び復元クロマサンプルを含むことができる。具体的に、レジデュアルサンプルは、レジデュアルルマサンプル及びレジデュアルクロマサンプルを含むことができる。レジデュアルルマサンプルは、原本ルマサンプル及び予測ルマサンプルに基づいて生成されることができる。レジデュアルクロマサンプルは、原本クロマサンプル及び予測クロマサンプルに基づいて生成されることができる。エンコード装置は、前記レジデュアルルマサンプルに対する変換係数（ルマ変換係数）及び／又は前記レジデュアルクロマサンプルに対する変換係数（クロマ変換係数）を導出することができる。量子化された変換係数は、量子化されたルマ変換係数及び／又は量子化されたクロマ変換係数を含むことができる。

エンコード装置は、参照ピクチャ関連情報を生成することができる（Ｓ７３０）。エンコード装置は、前記少なくとも１つの参照ピクチャに基づいて参照ピクチャ関連情報を生成することができる。参照ピクチャ関連情報は、デコード装置によるインター予測のために使用されることができる。

エンコード装置は、現在ピクチャの復元サンプルのためのインループフィルタリング関連情報を生成することができる（Ｓ７４０）。エンコード装置は、復元サンプルに対するインループフィルタリング手順を行うことができ、前記インループフィルタリング手順に基づいてインループフィルタリング関連情報を生成することができる。例えば、インループフィルタリング関連情報は、本文書において上述した仮想境界に関する情報（ＳＰＳ仮想境界可用フラグ、ピクチャヘッダ仮想境界可用フラグ、ＳＰＳ仮想境界存在フラグ、ピクチャヘッダ仮想境界存在フラグ、仮想境界の位置に関する情報など）を含むことができる。

エンコード装置は、ビデオ／画像情報をエンコードすることができる（Ｓ７５０）。前記画像情報は、レジデュアル情報、予測関連情報、参照ピクチャ関連情報、仮想境界関連情報（及び／又は追加的な仮想境界関連情報）、及び／又はインループフィルタリング関連情報を含むことができる。エンコードされたビデオ／画像情報は、ビットストリーム形態で出力されることができる。前記ビットストリームは、ネットワークまたは格納媒体を介してデコード装置に送信されることができる。

前記画像／ビデオ情報は、本文書の実施形態に係る様々な情報を含むことができる。例えば、前記画像／ビデオ情報は、上述した表１ないし１４のうち、少なくとも１つに開示された情報を含むことができる。

一実施形態において、前記画像情報は、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）を含むことができる。例えば、前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であるか否かに基づいて前記ＳＰＳが追加的な仮想境界関連情報を含むか否かが決定され得る。ここで、少なくとも１つの参照ピクチャのためのリサンプリングは、上述したＲＰＲ（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｒｅｓａｍｐｌｉｎｇ）によって行われることができる。追加的な仮想境界関連情報は、単純に仮想境界関連情報と称されることもできる。「追加的な」は、ＳＰＳ仮想境界存在フラグ及び／又はＰＨ仮想境界存在フラグのような仮想境界関連情報との区分のために使用された。

一実施形態において、前記追加的な仮想境界関連情報は、仮想境界の個数及び仮想境界の位置を含むことができる。

一実施形態において、前記追加的な仮想境界関連情報は、垂直仮想境界の個数に関する情報、垂直仮想境界の位置に関する情報、水平仮想境界の個数に関する情報、及び水平仮想境界の位置に関する情報を含むことができる。

一実施形態において、前記画像情報は、参照ピクチャリサンプリング可用フラグを含むことができる。例えば、前記参照ピクチャリサンプリング可用フラグに基づいて前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であるか否かが決定され得る。

一実施形態において、前記ＳＰＳは、前記ＳＰＳが前記追加的な仮想境界関連情報を含むか否かと関連したＳＰＳ仮想境界存在フラグを含むことができる。前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であることに基づいて、前記ＳＰＳ仮想境界存在フラグの値は、０に決定されることができる。

一実施形態において、前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であることに基づいて前記追加的な仮想境界関連情報は、前記ＳＰＳに含まれないことができる。前記画像情報は、ピクチャヘッダ情報を含み、そして前記ピクチャヘッダ情報は、前記追加的な仮想境界関連情報を含むことができる。

一実施形態において、前記現在ピクチャは、ただ１つのサブピクチャとしてサブピクチャを含むことができる。前記サブピクチャは、独立的にコーディングされることができる（ｉｎｄｅｐｅｎｄｅｎｔｌｙ ｃｏｄｅｄ）。前記復元サンプルは、前記サブピクチャに基づいて生成され、前記サブピクチャに基づいてサブピクチャ関連情報が生成され、そして前記画像情報は、前記サブピクチャ関連情報を含むことができる。

一実施形態において、前記画像情報に前記サブピクチャのためのピクチャ取扱フラグ（ｓｕｂｐｉｃｔｕｒｅ ｔｒｅａｔｅｄ ａｓ ｐｉｃｔｕｒｅ ｆｌａｇ）は、存在しないことができる。したがって、前記サブピクチャのためのピクチャ取扱フラグの値は、デコード装置で推論（推測または予測）を介して設定されることができる。一例において、前記サブピクチャのためのピクチャ取扱フラグの値は、１に設定（ｓｅｔ）されることができる。

一実施形態において、前記現在ピクチャは、サブピクチャを含むことができる。一例において、前記サブピクチャは、２つ以上の独立的に－コーディングされた－サブピクチャ（ｉｎｄｅｐｅｎｄｅｎｔｌｙ－ｃｏｄｅｄ－ｓｕｂｐｉｃｔｕｒｅｓ）の併合手順に基づいて導出されることができる。前記復元サンプルは、前記サブピクチャに基づいて生成され、前記サブピクチャに基づいてサブピクチャ関連情報が生成され、そして前記画像情報は、前記サブピクチャ関連情報を含むことができる。

図９及び図１０は、本文書の実施形態（等）に係るビデオ／画像デコード方法及び関連コンポーネントの一例を概略的に示す。

図９において開示された方法は、図３または図１０において開示されたデコード装置によって行われることができる。具体的に、例えば、図９のＳ９００は、前記デコード装置のエントロピーデコード部３１０によって行われることができ、図９のＳ９１０は、前記デコード装置の予測部３１０によって行われることができ、Ｓ９２０は、前記デコード装置のレジデュアル処理部３２０及び／又は加算部３４０によって行われることができ、そしてＳ９３０は、前記デコード装置のフィルタリング部３５０によって行われることができる。図９において開示された方法は、本文書において上述した実施形態等を含むことができる。

図９に示すように、デコード装置は、ビデオ／画像情報を受信／取得することができる（Ｓ９００）。ビデオ／画像情報は、レジデュアル情報、予測関連情報、参照ピクチャ関連情報、仮想境界関連情報（及び／又は追加的な仮想境界関連情報）、及び／又はインループフィルタリング関連情報を含むことができる。デコード装置は、ビットストリームを介して前記画像／ビデオ情報を受信／取得することができる。

前記画像／ビデオ情報は、本文書の実施形態に係る様々な情報を含むことができる。例えば、前記画像／ビデオ情報は、上述した表１ないし１４のうち、少なくとも１つに開示された情報を含むことができる。

デコード装置は、量子化された変換係数を導出することができる。デコード装置は、前記レジデュアル情報に基づいて量子化された変換係数を導出することができる。量子化された変換係数は、係数スキャン順序に基づいて１次元ベクトル形態を有することができる。量子化された変換係数は、量子化されたルマ変換係数及び／又は量子化されたクロマ変換係数を含むことができる。

デコード装置は、変換係数を導出することができる。デコード装置は、前記量子化された変換係数に対する逆量子化手順に基づいて変換係数を導出することができる。デコード装置は、量子化されたルマ変換係数に基づいて逆量子化を介してルマ変換係数を導出することができる。デコード装置は、量子化されたクロマ変換係数に基づいて逆量子化を介してクロマ変換係数を導出することができる。

デコード装置は、レジデュアルサンプルを生成／導出することができる。デコード装置は、前記変換係数に対する逆変換手順に基づいてレジデュアルサンプルを導出することができる。デコード装置は、ルマ変換係数に基づいて逆変換手順を介してレジデュアルルマサンプルを導出することができる。デコード装置は、クロマ変換係数に基づいて逆変換手順を介してレジデュアルクロマサンプルを導出することができる。

デコード装置は、参照ピクチャ関連情報に基づいて少なくとも１つの参照ピクチャを導出することができる（Ｓ９１０）。デコード装置は、前記少なくとも１つの参照ピクチャに基づいて予測手順を行うことができる。具体的に、デコード装置は、予測モードに基づいて前記現在ブロックの予測サンプルを生成することができる。この場合、インター予測またはイントラ予測など、本文書において開示された様々な予測方法が適用され得る。デコード装置は、前記予測手順に基づいて現在ピクチャ内の現在ブロックに対する予測サンプルを生成することができる。例えば、デコード装置は、前記少なくとも１つの参照ピクチャに基づいてインター予測手順を行い、そして前記インター予測手順に基づいて予測サンプルを生成することができる。

デコード装置は、復元サンプルを生成／導出することができる（Ｓ９２０）。デコード装置は、予測サンプルとレジデュアルサンプルとに基づいて復元サンプルを生成することができる。デコード装置は、予測サンプルと原本サンプルとの間の合算に基づいて復元サンプルを生成することができる。例えば、デコード装置は、復元ルマサンプル及び／又は復元クロマサンプルを生成／導出することができる。デコード装置は、前記レジデュアル情報に基づいて復元ルマサンプル及び／又は復元クロマサンプルを生成することができる。デコード装置は、前記レジデュアル情報に基づいて復元サンプルを生成することができる。復元サンプルは、復元ルマサンプル及び／又は復元クロマサンプルを含むことができる。復元サンプルのルマ成分が復元ルマサンプルに対応し、復元サンプルのクロマ成分が復元クロマサンプルに対応することができる。デコード装置は、予測手順を介して予測ルマサンプル及び／又は予測クロマサンプルを生成することができる。デコード装置は、予測ルマサンプルとレジデュアルルマサンプルとに基づいて復元ルマサンプルを生成することができる。デコード装置は、予測クロマサンプルとレジデュアルクロマサンプルとに基づいて復元クロマサンプルを生成することができる。

デコード装置は、修正された（フィルタリングされた）復元サンプルを生成することができる（Ｓ９３０）。デコード装置は、前記復元サンプルに対するインループフィルタリング手順に基づいて修正された復元サンプルを生成することができる。デコード装置は、インループフィルタリング関連情報に基づいて修正された復元サンプルを生成することができる。デコード装置は、修正された復元サンプルを生成するために、デブロッキング手順、ＳＡＯ手順、及び／又はＡＬＦ手順を利用できる。

一実施形態において、前記画像情報は、ＳＰＳを含むことができる。例えば、前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であるか否かに基づいて前記ＳＰＳが追加的な仮想境界関連情報を含むか否かが決定され得る。ここで、少なくとも１つの参照ピクチャのためのリサンプリングは、上述したＲＰＲによって行われることができる。追加的な仮想境界関連情報は、単純に仮想境界関連情報と称されることもできる。「追加的な」は、ＳＰＳ仮想境界存在フラグ及び／又はＰＨ仮想境界存在フラグのような仮想境界関連情報との区分のために使用された。

一実施形態において、前記追加的な仮想境界関連情報は、仮想境界の個数及び仮想境界の位置を含むことができる。

一実施形態において、前記追加的な仮想境界関連情報は、垂直仮想境界の個数に関する情報、垂直仮想境界の位置に関する情報、水平仮想境界の個数に関する情報、及び水平仮想境界の位置に関する情報を含むことができる。

一実施形態において、前記画像情報は、参照ピクチャリサンプリング可用フラグを含むことができる。例えば、前記参照ピクチャリサンプリング可用フラグに基づいて前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であるか否かが決定され得る。

一実施形態において、前記ＳＰＳは、前記ＳＰＳが前記追加的な仮想境界関連情報を含むか否かと関連したＳＰＳ仮想境界存在フラグを含むことができる。前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であることに基づいて、前記ＳＰＳ仮想境界存在フラグの値は、０に決定されることができる。

一実施形態において、前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であることに基づいて前記追加的な仮想境界関連情報は、前記ＳＰＳに含まれないことができる。前記画像情報は、ピクチャヘッダ情報を含み、そして前記ピクチャヘッダ情報は、前記追加的な仮想境界関連情報を含むことができる。

一実施形態において、前記現在ピクチャは、ただ１つのサブピクチャとしてサブピクチャを含むことができる。前記サブピクチャは、独立的にコーディングされることができる。前記復元サンプルは、前記サブピクチャに基づいて生成され、前記サブピクチャに基づいてサブピクチャ関連情報が生成され、そして前記画像情報は、前記サブピクチャ関連情報を含むことができる。

一実施形態において、前記画像情報に前記サブピクチャのためのピクチャ取扱フラグ（ｓｕｂｐｉｃｔｕｒｅ ｔｒｅａｔｅｄ ａｓ ｐｉｃｔｕｒｅ ｆｌａｇ）は存在しないことができる。したがって、前記サブピクチャのためのピクチャ取扱フラグの値は、デコード装置によって推論（推測または予測）を介して設定されることができる。一例において、前記サブピクチャのためのピクチャ取扱フラグの値は、１に設定（ｓｅｔ）されることができる。

一実施形態において、前記現在ピクチャはサブピクチャを含む。一例において、前記サブピクチャは２つ以上の独立的に－コーディングされた－サブピクチャの併合手順に基づいて導出される。前記復元サンプルは前記サブピクチャに基づいて生成され、前記サブピクチャに基づいてサブピクチャ関連情報が生成され、そして前記画像情報は前記サブピクチャ関連情報を含む。

デコード装置は、現在ブロックに対するレジデュアルサンプルが存在する場合、現在ブロックに対するレジデュアルに関する情報を受信することができる。レジデュアルに関する情報は、レジデュアルサンプルに関する変換係数を含むことができる。デコード装置は、レジデュアル情報に基づいて現在ブロックに対するレジデュアルサンプル（又は、レジデュアルサンプルアレイ）を導出することができる。具体的に、デコード装置は、レジデュアル情報に基づいて量子化された変換係数を導出することができる。量子化された変換係数は、係数スキャン順序に基づいて１次元ベクトル形態を有することができる。デコード装置は、前記量子化された変換係数に対する逆量子化手順に基づいて変換係数を導出することができる。デコード装置は、変換係数に基づいてレジデュアルサンプルを導出することができる。

デコード装置は、（イントラ）予測サンプルとレジデュアルサンプルとに基づいて復元サンプルを生成することができ、前記復元サンプルに基づいて復元ブロック又は復元ピクチャを導出することができる。具体的に、デコード装置は、（イントラ）予測サンプルとレジデュアルサンプルとの和に基づいて復元サンプルを生成することができる。以後、デコード装置は、必要によって、主観的／客観的画質を向上させるために、デブロッキングフィルタリング及び／又はＳＡＯ手順のようなインループフィルタリング手順を前記復元ピクチャに適用できることは、前述の通りである。

例えば、デコード装置は、ビットストリーム又はエンコードされた情報をデコードし、前述した情報（又はシンタックス要素）の全部又は一部を含む画像情報を獲得することができる。また、前記ビットストリーム又はエンコードされた情報は、コンピュータ読み取り可能な格納媒体に格納されることができ、前述したデコード方法が行われるように引き起こすことができる。

前述した実施形態において、方法は、一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、該当実施形態は、ステップの順序に限定されるわけではなく、あるステップは、前述したところと異なるステップと異なる順序で、又は同時に発生し得る。また、当業者であれば、フローチャートに示されているステップが排他的ではなく、異なるステップが含まれるか、フローチャートの１つ又はそれ以上のステップが本文書の実施形態の範囲に影響を与えずに削除され得ることを理解することができる。

前述した本文書の実施形態に係る方法は、ソフトウェアの形態で実現されることができ、本文書に係るエンコード装置及び／又はデコード装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の画像処理を行う装置に含まれ得る。

本文書で、実施形態がソフトウェアで実現される際、前述した方法は、前述した機能を行うモジュール（過程、機能等）で実現されることができる。モジュールはメモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部又は外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／又は他の格納装置を含むことができる。即ち、本文書で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で実現されて行われ得る。例えば、各図面で示している機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で実現されて行われ得る。この場合、実現のための情報（ｅｘ．ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）又はアルゴリズムがデジタル格納媒体に格納されることができる。

また、本文書の実施形態が適用されるデコード装置及びエンコード装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、オーダーメイド型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）装置、ＡＲ（ａｒｇｕｍｅｎｔｅ ｒｅａｌｉｔｙ）装置、画像電話ビデオ装置、運送手段端末（ｅｘ．車両（自律走行車両含む）端末、飛行機端末、船舶端末など）及び医療用ビデオ装置等に含まれ得、ビデオ信号又はデータ信号を処理するために使用され得る。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネットアクセスＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）等を含み得る。

また、本文書の実施形態が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取ることができる記録媒体に格納されることができる。本文書の実施形態に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み取ることができる記録媒体に格納されることができる。前記コンピュータが読み取ることができる記録媒体は、コンピュータで読み取られるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピディスク、及び光学的データ格納装置を含み得る。また、前記コンピュータが読み取ることができる記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で実現されたメディアを含む。また、エンコード方法で生成されたビットストリームが、コンピュータが読み取られる記録媒体に格納されるか、有無線通信ネットワークを介して送信されることができる。

また、本文書の実施形態は、プログラムコードによるコンピュータプログラム製品で実現されることができ、前記プログラムコードは、本文書の実施形態によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に格納されることができる。

図１１は、本文書に開示された実施形態が適用されることができるコンテンツストリーミングシステムの例を示す。

図１１を参照すると、本文書の実施形態が適用されるコンテンツストリーミングシステムは、大きくエンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディアストレージ、ユーザ装置、及びマルチメディア入力装置を含むことができる。

前記エンコードサーバは、スマートフォン、カメラ、カムコーダ等のようなマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。別の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコードサーバは省略され得る。

前記ビットストリームは、本文書の実施形態が適用されるエンコード方法又はビットストリームの生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信又は受信する過程で、一時的に前記ビットストリームを格納することができる。

前記ストリーミングサーバは、ウェブサーバを介してのユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すれば、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。

前記ストリーミングサーバは、メディア格納所及び／又はエンコードサーバからコンテンツを受信することができる。例えば、前記エンコードサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムに受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間、格納することができる。

前記ユーザ装置の例では、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがありうる。

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。

本明細書に記載された請求項は、多様な方式で組み合わせることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせられて装置として実現されることができ、本明細書の装置請求項の技術的特徴が組み合わせられて方法として実現されることができる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて装置として実現されることができ、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて方法として実現されることができる。

Claims (19)

1. デコード装置によって行われる画像デコード方法において、
   ビットストリームを介してレジデュアル情報及び参照ピクチャ関連情報を含む画像情報を取得するステップと、
   前記参照ピクチャ関連情報に基づいて少なくとも１つの参照ピクチャを導出するステップと、
   前記レジデュアル情報及び前記少なくとも１つの参照ピクチャに基づいて現在ピクチャの復元サンプルを生成するステップと、
   前記復元サンプルに対するインループフィルタリング手順に基づいて修正された復元サンプルを生成するステップと、
   を含み、
   前記画像情報は、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）を含み、そして、
   前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であるか否かに基づいて、前記ＳＰＳが追加的な仮想境界関連情報を含むか否かが決定されることを特徴とする画像デコード方法。
2. 前記追加的な仮想境界関連情報は、仮想境界の個数及び仮想境界の位置を含むことを特徴とする請求項１に記載の画像デコード方法。
3. 前記追加的な仮想境界関連情報は、垂直仮想境界の個数に関する情報、垂直仮想境界の位置に関する情報、水平仮想境界の個数に関する情報、及び水平仮想境界の位置に関する情報を含むことを特徴とする請求項１に記載の画像デコード方法。
4. 前記画像情報は、参照ピクチャリサンプリング可用フラグを含み、そして、
   前記参照ピクチャリサンプリング可用フラグに基づいて、前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であるか否かが決定されることを特徴とする請求項１に記載の画像デコード方法。
5. 前記ＳＰＳは、前記ＳＰＳが前記追加的な仮想境界関連情報を含むか否かと関連したＳＰＳ仮想境界存在フラグを含み、そして、
   前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であることに基づいて、前記ＳＰＳ仮想境界存在フラグの値は、０に決定されることを特徴とする請求項１に記載の画像デコード方法。
6. 前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であることに基づいて、前記追加的な仮想境界関連情報は、前記ＳＰＳに含まれないことを特徴とする請求項１に記載の画像デコード方法。
7. 前記画像情報は、ピクチャヘッダ情報を含み、そして、
   前記ピクチャヘッダ情報は、前記追加的な仮想境界関連情報を含むことを特徴とする請求項６に記載の画像デコード方法。
8. エンコード装置によって行われる画像エンコード方法において、
   現在ブロックに対するレジデュアルサンプルを生成するステップと、
   前記現在ブロックに対する前記レジデュアルサンプルに基づいてレジデュアル情報を生成するステップと、
   現在ピクチャの復元サンプルのための少なくとも１つの参照ピクチャを導出するステップと、
   前記少なくとも１つの参照ピクチャに基づいて参照ピクチャ関連情報を生成するステップと、
   前記現在ピクチャの復元サンプルのためのインループフィルタリング関連情報を生成するステップと、
   前記レジデュアル情報、前記参照ピクチャ関連情報、及び前記インループフィルタリング関連情報を含む画像情報をエンコードするステップを含み、
   前記画像情報は、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）を含み、そして、
   前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であるか否かに基づいて、前記ＳＰＳが追加的な仮想境界関連情報を含むか否かが決定されることを特徴とする画像エンコード方法。
9. 前記追加的な仮想境界関連情報は、仮想境界の個数及び仮想境界の位置を含むことを特徴とする請求項８に記載の画像エンコード方法。
10. 前記追加的な仮想境界関連情報は、垂直仮想境界の個数に関する情報、垂直仮想境界の位置に関する情報、水平仮想境界の個数に関する情報、及び水平仮想境界の位置に関する情報を含むことを特徴とする請求項８に記載の画像エンコード方法。
11. 前記画像情報は、参照ピクチャリサンプリング可用フラグを含み、そして、
    前記参照ピクチャリサンプリング可用フラグに基づいて、前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であるか否かが決定されることを特徴とする請求項８に記載の画像エンコード方法。
12. 前記ＳＰＳは、前記ＳＰＳが前記追加的な仮想境界関連情報を含むか否かと関連したＳＰＳ仮想境界存在フラグを含み、そして、
    前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であることに基づいて、前記ＳＰＳ仮想境界存在フラグの値は、０に決定されることを特徴とする請求項８に記載の画像エンコード方法。
13. 前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であることに基づいて、前記仮想境界関連情報は、前記ＳＰＳに含まれないことを特徴とする請求項８に記載の画像エンコード方法。
14. 前記画像情報は、ピクチャヘッダ情報を含み、そして、
    前記ピクチャヘッダ情報は、前記追加的な仮想境界関連情報を含むことを特徴とする請求項１３に記載の画像エンコード方法。
15. 前記現在ピクチャは、ただ１つのサブピクチャとしてサブピクチャを含み、
    前記サブピクチャは、独立的にコーディングされ（ｉｎｄｅｐｅｎｄｅｎｔｌｙ ｃｏｄｅｄ）、
    前記復元サンプルは、前記サブピクチャに基づいて生成され、
    前記サブピクチャに基づいてサブピクチャ関連情報が生成され、そして、
    前記画像情報は、前記サブピクチャ関連情報を含むことを特徴とする請求項８に記載の画像エンコード方法。
16. 前記画像情報に前記サブピクチャのためのピクチャ取扱フラグ（ｓｕｂｐｉｃｔｕｒｅ ｔｒｅａｔｅｄ ａｓ ｐｉｃｔｕｒｅ ｆｌａｇ）は存在しないことを特徴とする請求項１５に記載の画像エンコード方法。
17. 前記サブピクチャのためのピクチャ取扱フラグの値は、１に設定（ｓｅｔ）されることを特徴とする請求項１６に記載の画像エンコード方法。
18. 前記現在ピクチャは、サブピクチャを含み、
    前記サブピクチャは、２つ以上の独立的に－コーディングされた－サブピクチャ（ｉｎｄｅｐｅｎｄｅｎｔｌｙ－ｃｏｄｅｄ－ｓｕｂｐｉｃｔｕｒｅｓ）の併合手順に基づいて導出され、
    前記復元サンプルは、前記サブピクチャに基づいて生成され、
    前記サブピクチャに基づいてサブピクチャ関連情報が生成され、そして、
    前記画像情報は、前記サブピクチャ関連情報を含むことを特徴とする請求項８に記載の画像エンコード方法。
19. 画像デコード装置が画像デコード方法を行うように引き起こすエンコードされた情報を格納するコンピュータ読み取り可能な格納媒体において、前記画像デコード方法は、
    ビットストリームを介してレジデュアル情報及び参照ピクチャ関連情報を含む画像情報を取得するステップと、
    前記参照ピクチャ関連情報に基づいて少なくとも１つの参照ピクチャを導出するステップと、
    前記レジデュアル情報及び前記少なくとも１つの参照ピクチャに基づいて現在ピクチャの復元サンプルを生成するステップと、
    前記復元サンプルに対するインループフィルタリング手順に基づいて修正された復元サンプルを生成するステップと、
    を含み、
    前記画像情報は、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）を含み、そして、
    前記少なくとも１つの参照ピクチャのためのリサンプリングが可用であるか否かに基づいて、前記ＳＰＳが追加的な仮想境界関連情報を含むか否かが決定されることを特徴とするコンピュータ読み取り可能な格納媒体。

Images