JP2024533823A - 結合されたイントラ／インター予測モード又は幾何学的分割モードに動きベクトル差分を用いたマージモードを適用するビデオ符号化／復号化方法及び装置 - Google Patents

Abstract

ビデオ符号化／復号化方法及び装置が提供される。本開示に係るビデオ復号化方法は、ＣＩＩＰ（Combined Inter/Intra Prediction）モード又は幾何学的分割モードの適用如何を判断するステップ、マージ候補リストから動きベクトルを誘導するステップ、動きベクトル差分情報を用いて前記動きベクトルを補正するステップ、及び、前記補正された動きベクトルを基盤にして現在ブロックの予測ブロックを生成するステップ、を含む。

Description

本発明は、結合されたイントラ／インター予測モード又は幾何学的分割モードに動きベクトル差分を用いたマージモードを適用するビデオ符号化／復号化方法及び装置に関する。より具体的に結合された画面内画面間予測（Combined Inter/Intra Prediction，ＣＩＩＰ）モード又は幾何学的分割モードで動きベクトル差分を用いたマージモードを適用して現在ブロックの予測ブロックを生成するビデオ符号化／復号化方法及び装置に関する。

以下に記述される内容は、単に本実施例に関連される背景情報のみを提供するだけで従来技術を構成するものではない。

ビデオデータは音声データや静止画データなどに比べて多くのデータ量を有するため、圧縮のための処理なしにそれ自体を保存又は伝送するためにはメモリを含む多くのハードウェアリソースが必要となる。

したがって、通常、ビデオデータを保存又は伝送するときには、符号化器を使用してビデオデータを圧縮して保存又は伝送し、復号化器では圧縮されたビデオデータを受信して圧縮を解除して再生する。このようなビデオ圧縮技術としては、Ｈ．２６４／ＡＶＣ、ＨＥＶＣ（High Efficiency Video Coding）などをはじめ、ＨＥＶＣに比べて約３０％以上の符号化効率を向上させたＶＶＣ（Versatile Video Coding）が存在する。

しかしながら、映像のサイズ及び解像度、フレームレートが徐々に増加しており、それに応じて符号化しなければならないデータ量も増加しているため、従来の圧縮技術よりも符号化効率が良く、画質改善効果も高い新たな圧縮技術が要求される。

結合された画面内画面間予測（Combined Inter/Intra Prediction，ＣＩＩＰ）モードは、画面内予測信号と画面間予測信号を加重平均して現在ブロックの予測ブロックを生成する方法である。幾何学的分割モードは、１つの符号化ユニット（Coding Unit，ＣＵ）を２つの領域に分割し、分割された２つの領域に独立的にインター予測を遂行して生成された２つのインター予測信号を加重平均して現在ブロックの予測ブロックを生成する方法である。動きベクトル差分を用いたマージモードは、一般マージモードに誘導された動きベクトルに動きベクトル差分を加えて動きベクトルを補正する。ＣＩＩＰモード又は幾何学的分割モードに動きベクトル差分を用いたマージモードを適用してインター予測ブロックを生成する際に使用される動きベクトルを補正する必要がある。

本開示は、結合された画面内画面間予測（Combined Inter/Intra Prediction，ＣＩＩＰ）モードを基盤にして現在ブロックの予測ブロックを生成する方法及び装置を提供することを目的とする。

さらに、本開示は、幾何学的分割モードを基盤にして現在ブロックの予測ブロックを生成する方法及び装置を提供することを目的とする。

また、本開示は、ＣＩＩＰモードに動きベクトル差分を用いたマージモードを適用する方法及び装置を提供することを目的とする。

さらに、本開示は、幾何学的分割モードに動きベクトル差分を使用してマージモードを適用する方法及び装置を提供することを目的とする。

また、本開示は、ビデオ符号化／復号化効率を向上させる方法及び装置を提供することを目的とする。

さらに、本開示は、本開示のビデオ符号化／復号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。

また、本開示は、本開示のビデオ符号化／復号化方法又は装置によって生成されたビットストリームを伝送する方法及び装置を提供することを目的とする。

本開示による、ビデオ復号化方法は、ＣＩＩＰ（Combined Inter/Intra Prediction，ＣＩＩＰ）モード又は幾何学的分割モードの適用如何を判断するステップ、マージ候補リストから動きベクトルを誘導するステップ、動きベクトル差分情報を利用して前記動きベクトルを補正するステップ、及び、前記補正された動きベクトルを基盤にして現在ブロックの予測ブロックを生成するステップ、を含む。

本開示に係るビデオ符号化方法は、ＣＩＩＰモード又は幾何学的分割モードの適用如何を判断するステップ、マージ候補リストから動きベクトルを決定するステップ、動きベクトル差分情報を用いて前記動きベクトルを補正するステップ、及び 前記補正された動きベクトルを基盤にして現在ブロックの予測ブロックを生成するステップ、を含む。

さらに、本開示によると、本開示に係るビデオ符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供される。

また、本開示によると、本開示に係るビデオ符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供される。

さらに、本開示によると、本開示に係るビデオ復号化装置によって受信されて復号化され、映像の復元に用いられるビットストリームを保存した記録媒体が提供される。

本開示によると、結合された画面内画面間予測（Combined Inter/Intra Prediction，ＣＩＩＰ）モードを基盤にして現在ブロックの予測ブロックを生成する方法及び装置が提供される。

さらに、本開示によると、幾何学的分割モードを基盤にして現在ブロックの予測ブロックを生成する方法及び装置が提供される。

また、本開示によると、ＣＩＩＰモードに動きベクトル差分を用いたマージモードを適用する方法及び装置が提供される。

さらに、本開示によると、幾何学的分割モードに動きベクトル差分を用いたマージモードを適用する方法及び装置が提供される。

さらに、本開示によると、ビデオ符号化／復号化効率を向上させる方法及び装置が提供される。

本開示で得られる効果は、以上で言及した効果に制限されず、言及しないまた他の効果は、以下の記載から本開示が属する技術分野にて通常の知識を有する者に明確に理解されるだろう。

図１は、本開示の技術を具現できる映像符号化装置に関する例示的なブロック図である。 図２は、ＱＴＢＴＴＴ構造を用いてブロックを分割する方法を説明するための図である。 図３ａは、広角イントラ予測モードを含む複数のイントラ予測モードを示す図である。 図３ｂは、広角イントラ予測モードを含む複数のイントラ予測モードを示す図である。 図４は、現在ブロックの周辺ブロックに関する例示図である。 図５は、本開示の技術を具現できる映像復号化装置の例示的なブロック図である。 図６は、結合された画面内画面間予測（Combined Inter/Intra Prediction，ＣＩＩＰ）モードで現在ブロックの予測ブロックを生成する方法を説明するための図である。 図７は、本開示の一実施例に係る、結合された画面内画面間予測モードで加重値を決定するために参照する周辺ブロックを説明するための図である。 図８は、本開示の一実施例に係る、結合された画面内画面間予測モードで加重値を決定する方法を説明するための図である。 図９は、本開示の一実施例に係る、３２×３２ブロックに幾何学的分割モードを適用する方法を説明するための図である。 図１０ａは、本開示の一実施例に係る、幾何学的分割モードで角度媒介変数と距離媒介変数を説明するための図である。 図１０ｂは、本開示の一実施例に係る、幾何学的分割モードで角度媒介変数と距離媒介変数を説明するための図である。 図１１は、本開示の一実施例に係る、幾何学的分割モードで分割方向情報のルックアップテーブルを説明するための図である。 図１２は、本開示の一実施例に係る、動きベクトル差分の方向情報を説明するための図である。 図１３は、本開示の一実施例に係る、動きベクトル差分の距離情報を説明するための図である。 図１４は、本開示の一実施例に係る、インター予測を適用するフローチャートを説明するための図である。 図１５は、本開示の他の実施例に係る、動きベクトル差分の方向情報を説明するための図である。 図１６は、本開示の一実施例に係る、結合された画面内画面間予測モードに動きベクトル差分を用いたマージモードを適用した場合、シンタックス構造を説明するための図である。 図１７は、本開示の一実施例に係る、結合された画面内画面間予測モードでシンタックス構造を説明するための図である。 図１８は、本開示の一実施例に係る、幾何学的分割モードに動きベクトル差分を用いたマージモードを適用した場合、シンタックス構造を説明するための図である。 図１９は、本開示の一実施例に係る、幾何学的分割モードで分割された１番目の領域の動きベクトル差分情報から分割された２番目の領域の動きベクトル差分情報を誘導する過程を説明するための図である。 図２０は、本開示の他の実施例に係る、幾何学的分割モードで分割された１番目の領域の動きベクトル差分情報から分割された２番目の領域の動きベクトル差分情報を誘導する過程を説明するための図である。 図２１は、本開示の他の実施例に係る、幾何学的分割モードに動きベクトル差分を用いたマージモードを適用した場合、シンタックス構造を説明するための図である。 図２２は、本開示の一実施例に係る、動きベクトル差分を用いたマージモードを適用してインター予測を適用するフローチャートを説明するための図である。 図２３は、本開示の他の実施例に係る、動きベクトル差分を用いたマージモードを適用してインター予測を適用するフローチャートを説明するための図である。 図２４は、本開示の一実施例に係る、ビデオ復号化過程を説明するための図である。 図２５は、本開示の一実施例に係る、ビデオ符号化過程を説明するための図である。

以下、本発明の実施例を例示的な図面を参照して詳しく説明する。各図面の構成要素に参照符号を付加するにあたり、同一の構成要素に対しては、たとえ他の図面に表示されても可能な限り同一の符号を有するようにしていることに留意されたい。なお、本実施例を説明するにあたり、関連された公知の構成又は機能についての具体的な説明が本実施例の要旨を曖昧にすると判断される場合には、その詳しい説明は省く。

図１は、本開示の技術を具現することができる映像符号化装置についての例示的なブロック図である。以下では、図１の図示を参照して映像符号化装置とこの装置の下位構成について説明する。

映像符号化装置は、ピクチャー分割部１１０、予測部１２０、減算器１３０、変換部１４０、量子化部１４５、並べ替え部１５０、エントロピー符号化部１５５、 逆量子化部１６０、逆変換部１６５、加算器１７０、ループフィルタ部１８０、及びメモリ１９０を含むように構成される。

映像符号化装置の各構成要素は、ハードウェア又はソフトウェアで具現されてもよく、ハードウェア及びソフトウェアの組み合わせで具現されてもよい。さらに、各構成要素の機能がソフトウェアで具現され、マイクロプロセッサが各構成要素に対応するソフトウェアの機能を実行するように具現されてもよい。

１つの映像（ビデオ）は、複数のピクチャーを含む１つ以上のシーケンスで構成される。各ピクチャーは複数の領域に分割され、各領域ごとに符号化が遂行される。例えば、１つのピクチャーは、１つ以上のタイル（Tile）又は／及びスライス（Slice）に分割される。ここで、１つ以上のタイルをタイルグループ（Tile Group）として定義する。各タイル又は／及びスライスは、１つ以上のＣＴＵ（Coding Tree Unit）に分割される。そして、各ＣＴＵはツリー構造によって１つ以上のＣＵ（Coding Unit）に分割される。各ＣＵに適用される情報はＣＵのシンタックスとして符号化され、１つのＣＴＵに含まれるＣＵに共通に適用される情報はＣＴＵのシンタックスとして符号化される。さらに、１つのスライス内のすべてのブロックに共通に適用される情報はスライスヘッダのシンタックスとして符号化され、１つ以上のピクチャーを構成するすべてのブロックに適用される情報はピクチャーパラメータセット（ＰＰＳ、Picture Parameter Set）あるいはピクチャー ヘッダに符号化される。さらに、複数のピクチャーが共通に参照する情報は、シーケンスパラメータセット（ＳＰＳ、Sequence Parameter Set）に符号化される。そして、１つ以上のＳＰＳが共通に参照する情報は、ビデオパラメータセット（ＶＰＳ、Video Parameter Set）に符号化される。さらに、１つのタイル又はタイルグループに共通に適用される情報は、タイル又はタイルグループヘッダのシンタックスとして符号化されてもよい。ＳＰＳ、ＰＰＳ、スライスヘッダ、タイル又はタイルグループヘッダに含まれるシンタックスは、上位水準（high level）のシンタックスと称する。

ピクチャー分割部１１０は、ＣＴＵ（Coding Tree Unit）のサイズを決定する。ＣＴＵのサイズに関する情報（CTU size）は、ＳＰＳ又はＰＰＳのシンタックスとして符号化されて映像復号化装置に伝達される。

ピクチャー分割部１１０は、映像を構成する各ピクチャー（picture）を予め決定されたサイズを有する複数のＣＴＵ（Coding Tree Unit）に分割した以降に、ツリー構造（tree structure）を用いてＣＴＵを繰り返し（recursively）分割する。ツリー構造におけるリーフノード（leaf node）が符号化の基本単位であるＣＵ（coding unit）となる。

ツリー構造では、上位ノード（あるいは親ノード）が同じサイズの４つの下位ノード（あるいは子ノード）に分割されるクワッドツリー（Quad Tree、ＱＴ）、又は上位ノードが２つの下位ノードに分割されるバイナリツリー（Binary Tree、ＢＴ）、又は上位ノードが１：２：１の比率で３つの下位ノードに分割されるターナリーツリー（Ternary Tree、TT）、又はこれらのＱＴ構造、ＢＴ構造、及びＴＴ構造のうちの２つ以上を混用した構造である。例えば、ＱＴＢＴ（Quad Tree plus Binary Tree）構造が用いられてもよく、あるいはＱＴＢＴＴＴ（Quad Tree plus Binary Tree Ternary Tree）構造が用いられてもよい。ここで、ＢＴＴＴを合わせてＭＴＴ（Multiple-Type Tree）と称される。

図２は、ＱＴＢＴＴＴ構造を用いてブロックを分割する方法を説明するための図である。

図２に図示されたように、ＣＴＵは最初にＱＴ構造に分割される。クワッドツリー分割は、分割ブロック（splitting block）のサイズがＱＴで許容されるリーフノードの最小ブロックサイズＭｉｎＱＴＳｉｚｅに到達するまで繰り返される。ＱＴ構造の各ノードが下位レイヤの４つのノードに分割されるか否かを指し示す第１のフラグＱＴ_ｓｐｌｉｔ_ｆｌａｇは、エントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。ＱＴのリーフノードがＢＴで許容されるルートノードの最大ブロックサイズＭａｘＢＴＳｉｚｅよりも大きくない場合、ＢＴ構造又はＴＴ構造のうちのいずれか１つ以上にさらに分割される。ＢＴ構造及び／又はＴＴ構造では、複数の分割方向が存在する。例えば、該当ノードのブロックが横に分割される方向と縦に分割される方向の２つが存在する。図２に示すように、ＭＴＴ分割が開始されると、ノードが分割されたか否かを指し示す第２のフラグｍｔｔ_ｓｐｌｉｔ_ｆｌａｇと、分割されたら追加的に分割方向（verticalあるいはhorizontal）を示すフラグ及び／又は分割タイプ（BinaryあるいはTernary）を示すフラグがエントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。

代替的に、各ノードが下位レイヤの４つのノードに分割されるか否かを指し示す第１のフラグＱＴ_ｓｐｌｉｔ_ｆｌａｇを符号化する前に、そのノードが分割されるか否かを指し示すＣＵ分割フラグｓｐｌｉｔ_ｃｕ_ｆｌａｇが符号化されてもよい。ＣＵ分割フラグｓｐｌｉｔ_ｃｕ_ｆｌａｇ値が分割されていないことを指し示す場合、該当ノードのブロックが分割ツリー構造におけるリーフノード（leaf node）となり、符号化の基本単位であるＣＵ（coding unit）となる。ＣＵ分割フラグｓｐｌｉｔ_ｃｕ_ｆｌａｇ値が分割されることを指し示す場合、映像符号化装置は、上述した方式で第１のフラグから符号化を開始する。

ツリー構造の他の例示としてＱＴＢＴが使用される場合、該当ノードのブロックを同一サイズの２つのブロックに横に分割するタイプ（すなわち、symmetric horizontal splitting）と縦に分割するタイプ（すなわち、symmetric vertical splitting）の２つが存在する。ＢＴ構造の各ノードが下位レイヤのブロックに分割されるか否かを指し示す分割フラグｓｐｌｉｔ_ｆｌａｇ及び、分割されるタイプを指し示す分割タイプ情報がエントロピー符号化部１５５によって符号化されて映像復号化装置に伝達される。一方、該当ノードのブロックを互いに非対称形態の２つのブロックに分割するタイプが追加でさらに存在してもよい。非対称形態には、該当ノードのブロックを１：３のサイズ比率を有する２つの長方形ブロックに分割する形態が含まれてもよく、あるいは該当ノードのブロックを対角線方向に分割する形態が含まれてもよい。

ＣＵは、ＣＴＵからのＱＴＢＴ又はＱＴＢＴＴＴ分割に応じて様々なサイズを有する。以下では、符号化又は復号しようとするＣＵ（すなわち、ＱＴＢＴＴＴのリーフノード）に該当するブロックを「現在ブロック」と称する。ＱＴＢＴＴＴ分割の採用に応じ、現在ブロックの形状は正方形だけでなく長方形であってもよい。

予測部１２０は、現在ブロックを予測して予測ブロックを生成する。予測部１２０は、イントラ予測部１２２とインター予測部１２４を含む。

一般に、ピクチャー内の現在ブロックはそれぞれ予測的にコーディングされる。一般に、現在ブロックの予測は（現在ブロックを含むピクチャーからのデータを使用する）イントラ予測技術又は（現在ブロックを含むピクチャー以前にコーディングされたピクチャーからのデータを使用する）インター予測技術を使用して遂行される。インター予測は、一方向予測と双方向予測の両方を含む。

イントラ予測部１２２は、現在ブロックが含まれた現在ピクチャー内で現在ブロックの周辺に位置するピクセル（参照ピクセル）を用いて現在ブロック内のピクセルを予測する。予測方向によって複数のイントラ予測モードが存在する。例えば、図３ａに見られるように、複数のイントラ予測モードは、プラナー（planar）モードとＤＣモードを含む２つの非方向性モードと６５個の方向性モードを含む。各予測モードによって使用する周辺ピクセルと演算式が異なるように定義される。

長方形形状の現在ブロックに対する効率的な方向性予測のために、図３ｂに破線の矢印で図示された方向性モード（６７～８０番、－１～－１４番イントラ予測モード）が追加で使用される。これらは、「広角イントラ予測モード（wide angle intra-prediction modes）」と称される。図３ｂで矢印は、予測に使用される対応する参照サンプルを指すものであり、予測方向を示すものではない。予測方向は、矢印が指す方向と反対である。広角イントラ予測モードは、現在ブロックが長方形のときに追加のビット伝送なしに特定の方向性モードを反対方向で予測を遂行するモードである。このとき、広角イントラ予測モードのうちから、長方形の現在ブロックの幅と高さの比率により、現在ブロックに利用可能な一部の広角イントラ予測モードが決定される。例えば、４５度より小さい角度を有する広角イントラ予測モード（６７～８０番イントラ予測モード）は、現在ブロックが、高さが幅より小さい長方形の形態であるときに利用可能であり、－１３５度より大きい角度を有する広角イントラ予測モード（-１～-１４番イントラ予測モード）は、現在ブロックが、幅が高さよりも大きい長方形の形態であるときに利用可能である。

イントラ予測部１２２は、現在ブロックを符号化するのに使用するイントラ予測モードを決定する。一部の例で、イントラ予測部１２２は、色々なイントラ予測モードを使用して現在ブロックをエンコーディングし、テストされたモードから使用する適切なイントラ予測モードを選択してもよい。例えば、イントラ予測部１２２は、色々にテストされたイントラ予測モードに対するビットレート歪み（rate-distortion）分析を用いてビットレート歪み値を計算し、テストされたモードの中で最善のビットレート歪み特徴を有するイントラ予測モードを選択してもよい。

イントラ予測部１２２は、複数のイントラ予測モードの中から1つのイントラ予測モードを選択し、選択されたイントラ予測モードによって決定される周辺ピクセル（参照ピクセル）と演算式を用いて現在ブロックを予測する。選択されたイントラ予測モードに関する情報は、エントロピー符号化部１５５によって符号化されて映像復号化装置に伝達される。

インター予測部１２４は、動き補償プロセスを用いて現在ブロックに対する予測ブロックを生成する。インター予測部１２４は、現在ピクチャーより先に符号化及び復号化された参照ピクチャー内で現在ブロックと最も類似したブロックを探索し、その探索されたブロックを用いて現在ブロックに対する予測ブロックを生成する。そして、現在ピクチャー内の現在ブロックと参照ピクチャー内の予測ブロックとの間の変位（displacement）に該当する動きベクトル（Motion Vector：ＭＶ）を生成する。一般に、動き推定はルマ（luma）成分に対して遂行され、ルマ成分に基づいて計算された動きベクトルはルマ成分及びクロマ成分の両方に対して使用される。現在ブロックを予測するために使用された参照ピクチャーに関する情報及び、動きベクトルに関する情報を含む動き情報は、エントロピー符号化部１５５によって符号化されて映像復号化装置に伝達される。

インター予測部１２４は、予測の正確性を高めるために、参照ピクチャー又は参照ブロックに対する補間を遂行してもよい。すなわち、連続する２つの整数サンプル間のサブサンプルは、その２つの整数サンプルを含む連続された複数の整数サンプルにフィルタ係数を適用して補間される。補間された参照ピクチャーに対して現在ブロックと最も類似したブロックを検索するステップを遂行すると、動きベクトルは整数サンプル単位の精度（precision）ではなく小数単位の精度まで表現される。動きベクトルの精度又は解像度（resolution）は、符号化しようとする対象領域、例えばスライス、タイル、ＣＴＵ、ＣＵなどの単位ごとに異なるように設定される。このような適応的動きベクトル解像度（Adaptive Motion Vector Resolution：ＡＭＶＲ）が適用される場合、各対象領域に適用する動きベクトル解像度に関する情報は、対象領域ごとにシグナリングされなければならない。例えば、対象領域がＣＵである場合、各ＣＵごとに適用された動きベクトル解像度に関する情報がシグナリングされる。動きベクトル解像度に関する情報は、後述する差分動きベクトルの精度を示す情報である。

一方、インター予測部１２４は、双方向予測（bi-prediction）を用いてインター予測を遂行する。双方向予測の場合、２つの参照ピクチャーと、各参照ピクチャー内で現在ブロックと最も類似したブロック位置を表す２つの動きベクトルが用いられる。インター予測部１２４は、参照ピクチャーリスト０（ＲｅｆＰｉｃＬｉｓｔ０）及び参照ピクチャーリスト１（ＲｅｆＰｉｃＬｉｓｔ１）からそれぞれ第１の参照ピクチャー及び第２の参照ピクチャーを選択し、各参照ピクチャー内で現在ブロックと類似したブロックを探索して第１の参照ブロックと第２の参照ブロックを生成する。そして、第１の参照ブロックと第２の参照ブロックを平均又は加重平均して現在ブロックに対する予測ブロックを生成する。そして、現在ブロックを予測するために使用した２つの参照ピクチャーに関する情報及び、２つの動きベクトルに関する情報を含む動き情報を符号化部１５０に伝達する。ここで、参照ピクチャーリスト０は、予め復元されたピクチャーのうち、ディスプレイ順序で現在ピクチャー以前のピクチャーで構成され、参照ピクチャーリスト１は、予め復元されたピクチャーのうち、ディスプレイ順序で現在ピクチャー以降のピクチャーで構成される。しかしながら、必ずしもこれに限定されるわけではなく、ディスプレイ順序上で現在ピクチャー以降の既復元のピクチャーが参照ピクチャーリスト０に追加でさらに含まれてもよく、逆に現在ピクチャー以前の既復元のピクチャーが参照ピクチャーリスト１に追加でさらに含まれてもよい。

動き情報を符号化するのに必要とされるビット量を最小化するために多様な方法が用いられる。

例えば、現在ブロックの参照ピクチャーと動きベクトルが、周辺ブロックの参照ピクチャー及び動きベクトルと同一の場合には、その周辺ブロックを識別できる情報を符号化することで、現在ブロックの動き情報を映像復号化装置に伝達することができる。この方法を「マージモード（merge mode）」とする。

マージモードで、インター予測部１２４は、現在ブロックの周辺ブロックから予め決定された個数のマージ候補ブロック（以下、「マージ候補」という）を選択する。

マージ候補を誘導するための周辺ブロックとしては、図４に示されたように、現在ピクチャー内で現在ブロックに隣接する左側ブロックＡ０、左下段ブロックＡ１、上段ブロックＢ０、右上段ブロックＢ１、及び左上段ブロックＡ２のうちの全部又は一部が使用される。さらに、現在ブロックが位置する現在ピクチャーではなく、参照ピクチャー（現在ブロックを予測するために使用された参照ピクチャーと同一であってもよいし異なってもよい）内に位置するブロックがマージ候補として使用されてもよい。例えば、参照ピクチャー内で現在ブロックと同一の位置にあるブロック（co-located block）又はその同一の位置のブロックに隣接するブロックがマージ候補として追加でさらに使用される。以上で記述された方法によって選定されたマージ候補の個数が予め設定された個数より小さいと、０ベクトルをマージ候補に追加する。

インター予測部１２４は、このような周辺ブロックを用いて予め決定された個数のマージ候補を含むマージリストを構成する。マージリストに含まれたマージ候補の中から現在ブロックの動き情報として使用するマージ候補を選択し、選択された候補を識別するためのマージインデックス情報を生成する。生成されたマージインデックス情報は、符号化部１５０によって符号化されて映像復号化装置に伝達される。

マージスキップ（merge skip）モードはマージモードの特別な場合であり、量子化を遂行した後、エントロピー符号化のための変換係数が全て零（zero）に近いとき、残差信号の伝送なしに周辺ブロック選択情報のみを伝送する。マージスキップモードを用いることで、動きの少ない映像、静止画、スクリーンコンテンツ映像などで相対的に高い符号化効率を達成することができる。

以下、マージモードとマージスキップモードを総称し、マージ／スキップモードで表す。

動き情報を符号化するためのまた別の方法は、ＡＭＶＰ（Advanced Motion Vector Prediction）モードである。

ＡＭＶＰモードで、インター予測部１２４は、現在ブロックの周辺ブロックを用いて現在ブロックの動きベクトルに対する予測動きベクトル候補を誘導する。予測動きベクトル候補を誘導するために使用される周辺ブロックとしては、図４に図示された現在ピクチャー内で現在ブロックに隣接する左側ブロックＡ０、左下段ブロックＡ１、上段ブロックＢ０、右上段ブロックＢ１、及び左上段ブロックＡ２のうち、全部又は一部が用いられる。さらに、現在ブロックが位置する現在ピクチャーではなく、参照ピクチャー（現在ブロックを予測するために使用された参照ピクチャーと同じであってもよく異なってもよい）内に位置するブロックが、予測動きベクトル候補を誘導するために使用される周辺ブロックとして使用されてもよい。例えば、参照ピクチャー内で現在ブロックと同じ位置にあるブロック（collocated block）、又はその同じ位置のブロックに隣接するブロックが使用される。以上で記述された方法によって動きベクトル候補の個数が予め設定された個数より小さいと、０ベクトルを動きベクトル候補に追加する。

インター予測部１２４は、この周辺ブロックの動きベクトルを用いて予測動きベクトル候補を誘導し、予測動きベクトル候補を用いて現在ブロックの動きベクトルに対する予測動きベクトルを決定する。そして、現在ブロックの動きベクトルから予測動きベクトルを減算して差分動きベクトルを算出する。

予測動きベクトルは、予測動きベクトル候補に予め定義された関数（例えば、中央値、平均値演算など）を適用して求める。この場合、映像復号化装置も予め定義された関数を知っている。また、予測動きベクトル候補を誘導するために使用する周辺ブロックは既に符号化及び復号化が完了されたブロックであるため、映像復号化装置もその周辺ブロックの動きベクトルも既に知っている。したがって、映像符号化装置は、予測動きベクトル候補を識別するための情報を符号化する必要がない。したがって、この場合には、差分動きベクトルに関する情報と、現在ブロックを予測するために使用した参照ピクチャーに関する情報が符号化される。

一方、予測動きベクトルは、予測動きベクトル候補のうちのいずれか1つを選択する方式で決定されてもよい。この場合には、差分動きベクトルに関する情報及び現在ブロックを予測するために使用した参照ピクチャーに関する情報と共に、選択された予測動きベクトル候補を識別するための情報が追加で符号化される。

減算器１３０は、現在ブロックからイントラ予測部１２２又はインター予測部１２４によって生成された予測ブロックを減算して残差ブロックを生成する。

変換部１４０は、空間領域のピクセル値を有する残差ブロック内の残差信号を周波数ドメインの変換係数に変換する。変換部１４０は、残差ブロックの全体サイズを変換単位として使用して残差ブロック内の残差信号を変換してもよく、あるいは残差ブロックを複数個のサブブロックに分割してそのサブブロックを変換単位として使用して変換してもよい。あるいは、変換領域及び、非変換領域である２つのサブブロックに区分し、変換領域サブブロックのみを変換単位として使用して残差信号を変換してもよい。ここで、変換領域サブブロックは、横軸（又は縦軸）基準１：１のサイズ比率を有する２つの長方形ブロックのうちの１つである。この場合、サブブロックのみを変換したことを指し示すフラグｃｕ_ｓｂｔ_ｆｌａｇ、方向性（vertical/horizontal）情報ｃｕ_ｓｂｔ_ｈｏｒｉｚｏｎｔａｌ_ｆｌａｇ、及び／又は位置情報ｃｕ_ｓｂｔ_ｐｏｓ_ｆｌａｇがエントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。また、変換領域サブブロックのサイズは、横軸（あるいは縦軸）基準１：３のサイズ比率を有し、このような場合、該当分割を区分するフラグｃｕ_ｓｂｔ_ｑｕａｄ_ｆｌａｇが追加的にエントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。

一方、変換部１４０は、残差ブロックに対して横方向と縦方向に個別に変換を遂行する。変換のために、様々なタイプの変換関数又は変換行列が用いられる。例えば、横方向変換と縦方向変換のための変換関数の対をＭＴＳ（Multiple Transform Set）と定義する。変換部１４０は、ＭＴＳのうち、変換効率が最も良い１つの変換関数対を選択し、横及び縦方向にそれぞれ残差ブロックを変換する。ＭＴＳのうちから選択された変換関数対に関する情報ｍｔｓ_ｉｄｘは、エントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。

量子化部１４５は、変換部１４０から出力される変換係数を、量子化パラメータを用いて量子化し、量子化された変換係数をエントロピー符号化部１５５に出力する。量子化部１４５は、任意のブロックあるいはフレームに対し、変換なしに、関連された残差ブロックを直ちに量子化してもよい。量子化部１４５は、変換ブロック内の変換係数の位置に応じて互いに異なる量子化係数（スケーリング値）を適用してもよい。二次元に配置された量子化された変換係数に適用される量子化行列は符号化されて映像復号化装置にシグナリングされる。

並べ替え部１５０は、量子化された残差値に対して係数値の並べ替えを遂行する。

並べ替え部１５０は、係数走査（coefficient scanning）を用いて２次元の係数アレイを１次元の係数シーケンスに変更する。例えば、並べ替え部１５０では、千鳥状スキャン（zig-zag scan）又は対角線スキャン（diagonal scan）を用いてＤＣ係数から高周波数領域の係数までスキャンして１次元の係数シーケンスを出力する。変換単位のサイズ及びイントラ予測モードによって千鳥状スキャンの代わりに２次元の係数アレイを列方向にスキャンする垂直スキャン、２次元のブロック形態係数を行方向にスキャンする水平スキャンが使用されてもよい。すなわち、変換単位のサイズ及びイントラ予測モードによって千鳥状スキャン、対角線スキャン、垂直方向スキャン、及び水平方向スキャンのうちから使用されるスキャン方法が決定されてもよい。

エントロピー符号化部１５５は、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Code）、指数ゴロム（Exponential Golomb）などの様々な符号化方式を用い、並べ替え部１５０から出力された１次元の量子化された変換係数のシーケンスを符号化することによってビットストリームを生成する。

また、エントロピー符号化部１５５は、ブロック分割に関連されたＣＴＵサイズ、ＣＵ分割フラグ、ＱＴ分割フラグ、ＭＴＴ分割タイプ、ＭＴＴ分割方向などの情報を符号化し、映像復号化装置が映像符号化装置と同様にブロックを分割できるようにする。また、エントロピー符号化部１５５は、現在ブロックがイントラ予測によって符号化されたか、それともインター予測によって符号化されたかの如何を指し示す予測タイプに関する情報を符号化し、予測タイプによってイントラ予測情報（すなわち、イントラ予測モードに関する情報）又はインター予測情報（動き情報の符号化モード（マージモード又はＡＭＶＰモード）、マージモードの場合はマージインデックス、ＡＭＶＰモードの場合は参照ピクチャーインデックス及び差分動きベクトルに関する情報）を符号化する。また、エントロピー符号化部１５５は、量子化に関連された情報、すなわち量子化パラメータに関する情報及び量子化行列に関する情報を符号化する。

逆量子化部１６０は量子化部１４５から出力される量子化された変換係数を逆量子化して変換係数を生成する。逆変換部１６５は、逆量子化部１６０から出力される変換係数を周波数ドメインから空間ドメインに変換して残差ブロックを復元する。

加算部１７０は、復元された残差ブロックと予測部１２０によって生成された予測ブロックを加算して現在ブロックを復元する。復元された現在ブロック内のピクセルは、次の順序のブロックをイントラ予測するときに参照ピクセルとして使用される。

ループ（loop）フィルタ部１８０は、ブロックベースの予測及び変換／量子化によって発生するブロッキングアーチファクト（blocking artifacts）、リンギングアーチファクト（ringing artifacts）、ぼかしアーチファクト（blurring artifacts）等を減らすために復元されたピクセルに対するフィルタリングを遂行する。フィルタ部１８０は、インループ（in-loop）フィルタとしてデブロックフィルタ１８２、ＳＡＯ（Sample Adaptive Offset）フィルタ１８４、及びＡＬＦ（Adaptive Loop Filter）１８６の全部又は一部を含む。

デブロックフィルタ１８２は、ブロック単位の符号化／復号化によって発生するブロッキング現象（blocking artifact）を除去するために復元されたブロック間の境界をフィルタリングし、ＳＡＯフィルタ１８４及びａｌｆ１８６は、 デブロックフィルタリングされた映像に対して追加のフィルタリングを遂行する。ＳＡＯフィルタ１８４及びａｌｆ１８６は、損失符号化（lossy coding）によって発生する復元されたピクセルと元本ピクセルとの間の差を補償するために使用されるフィルタである。ＳＡＯフィルタ１８４は、ＣＴＵ単位でオフセットを適用することで、主観的な画質だけでなく符号化効率も向上させる。これに比べ、ＡＬＦ１８６はブロック単位のフィルタリングを遂行し、該当ブロックのエッジ及び変化量の程度を区分して異なるフィルタを適用して歪みを補償する。ＡＬＦに使用されるフィルタ係数に関する情報は符号化されて映像復号化装置にシグナリングされる。

デブロックフィルタ１８２、ＳＡＯフィルタ１８４、及びＡＬＦ１８６を介してフィルタリングされた復元ブロックはメモリ１９０に保存される。あるピクチャー内のすべてのブロックが復元されると、復元されたピクチャーは、後に符号化しようとするピクチャー内のブロックをインター予測するための参照ピクチャーとして使用される。

図５は、本開示の技術を具現することができる映像復号化装置の例示的なブロック図である。以下では、図５を参照して映像復号化装置とこの装置の下位構成について説明することにする。

映像復号化装置は、エントロピー復号化部５１０、並べ替え部５１５、逆量子化部５２０、逆変換部５３０、予測部５４０、加算器５５０、ループフィルタ部５６０、及びメモリ５７０を含むように構成される。

図１の映像符号化装置と同様に、映像復号化装置の各構成要素はハードウェア又はソフトウェアで具現されてもよく、ハードウェア及びソフトウェアの組み合わせで具現されてもよい。さらに、各構成要素の機能がソフトウェアで具現され、マイクロプロセッサが各構成要素に対応するソフトウェアの機能を実行するように具現されてもよい。

エントロピー復号化部５１０は、映像符号化装置によって生成されたビットストリームを復号化してブロック分割に関連された情報を抽出することで、復号化しようとする現在ブロックを決定し、現在ブロックを復元するために必要な予測情報と、残差信号に関する情報などを抽出する。

エントロピー復号化部５１０は、ＳＰＳ（Sequence Parameter Set）又はＰＰＳ（Picture Parameter Set）からＣＴＵサイズに関する情報を抽出してＣＴＵのサイズを決定し、ピクチャーを決定されたサイズのＣＴＵに分割する。そして、ＣＴＵをツリー構造の最上位レイヤ、すなわちルートノードとして決定し、ＣＴＵに関する分割情報を抽出することで、ツリー構造を用いてＣＴＵを分割する。

例えば、ＱＴＢＴＴＴ構造を用いてＣＴＵを分割する場合、まずＱＴの分割に関連された第１のフラグＱＴ_ｓｐｌｉｔ_ｆｌａｇを抽出して各ノードを下位レイヤの４つのノードに分割する。そして、ＱＴのリーフノードに該当するノードに対しては、ＭＴＴの分割に関連された第２のフラグＭＴＴ_ｓｐｌｉｔ_ｆｌａｇ及び分割方向（vertical/horizontal）及び／又は分割タイプ（binary/ternary）情報を抽出して該当リーフノードをＭＴＴ構造に分割する。これにより、ＱＴのリーフノード以下の各ノードをＢＴ又はＴＴ構造に繰り返し（recursively）分割する。

また他の例として、ＱＴＢＴＴＴ構造を用いてＣＴＵを分割する場合、まずＣＵの分割可否を指し示すＣＵ分割フラグｓｐｌｉｔ_ｃｕ_ｆｌａｇを抽出し、該当ブロックが分割された場合、第１のフラグＱＴ_ｓｐｌｉｔ_ｆｌａｇを抽出してもよい。分割の過程で、各ノードは、０回以上の繰り返しのＱＴ分割後に０回以上の繰り返しのＭＴＴ分割が発生する。例えば、ＣＴＵはすぐにＭＴＴ分割が発生してもよく、逆に複数回のＱＴ分割のみが発生してもよい。

別の例として、ＱＴＢＴ構造を用いてＣＴＵを分割する場合、ＱＴの分割に関連された第１のフラグＱＴ_ｓｐｌｉｔ_ｆｌａｇを抽出して各ノードを下位レイヤの４つのノードに分割する。そして、ＱＴのリーフノードに該当するノードに対しては、ＢＴでさらに分割されるか否かを指し示す分割フラグｓｐｌｉｔ_ｆｌａｇ及び分割方向情報を抽出する。

一方、エントロピー復号化部５１０は、ツリー構造の分割を用いて復号化しようとする現在ブロックを決定すると、現在ブロックがイントラ予測されたかそれともインター予測されたかを指し示す予測タイプに関する情報を抽出する。予測タイプ情報がイントラ予測を指し示す場合、エントロピー復号化部５１０は、現在ブロックのイントラ予測情報（イントラ予測モード）に関するシンタックス要素を抽出する。予測タイプ情報がインター予測を指し示す場合、エントロピー復号化部５１０は、インター予測情報に関するシンタックス要素、すなわち、動きベクトル及び、その動きベクトルが参照する参照ピクチャーを表す情報を抽出する。

また、エントロピー復号化部５１０は、量子化関連の情報、及び残差信号に関する情報として現在ブロックの量子化された変換係数に関する情報を抽出する。

並べ替え部５１５は、映像符号化装置によって遂行された係数走査順序の逆順で、エントロピー復号化部５１０でエントロピー復号化された１次元の量子化された変換係数のシーケンスを再び２次元の係数アレイ（すなわち、ブロック）に変更することができる。

逆量子化部５２０は、量子化された変換係数を逆量子化し、量子化パラメータを用いて量子化された変換係数を逆量子化する。逆量子化部５２０は、二次元に配列された量子化された変換係数に対して互いに異なる量子化係数（スケーリング値）を適用してもよい。逆量子化部５２０は、映像符号化装置から量子化係数（スケーリング値）の行列を量子化された変換係数の２次元アレイに適用して逆量子化を遂行する。

逆変換部５３０は、逆量子化された変換係数を周波数ドメインから空間ドメインに逆変換して残差信号を復元することで、現在ブロックに対する残差ブロックを生成する。

また、逆変換部５３０は、変換ブロックの一部領域（サブブロック）のみ逆変換する場合、変換ブロックのサブブロックのみを変換したことを指し示すフラグｃｕ_ｓｂｔ_ｆｌａｇ、サブブロックの方向性（vertical/horizontal）情報ｃｕ_ｓｂｔ_ ｈｏｒｉｚｏｎｔａｌ_ ｆｌａｇ及び／又はサブブロックの位置情報ｃｕ_ｓｂｔ_ｐｏｓ_ｆｌａｇを抽出し、該当サブブロックの変換係数を周波数ドメインから空間ドメインに逆変換することによって残差信号を復元し、逆変換されない領域に対しては残差信号で「０」値を満たすことによって現在ブロックに対する最終残差ブロックを生成する。

また、ＭＴＳが適用された場合、逆変換部５３０は、映像符号化装置からシグナリングされたＭＴＳ情報ｍｔｓ_ｉｄｘを用いて横及び縦方向にそれぞれ適用する変換関数又は変換行列を決定し、決定された変換関数を用いて横及び縦方向に変換ブロック内の変換係数に対して逆変換を遂行する。

予測部５４０は、イントラ予測部５４２及びインター予測部５４４を含む。イントラ予測部５４２は、現在ブロックの予測タイプがイントラ予測であるときに活性化され、インター予測部５４４は、現在ブロックの予測タイプがインター予測であるときに活性化される。

イントラ予測部５４２は、エントロピー復号化部５１０から抽出されたイントラ予測モードに対するシンタックス要素から複数のイントラ予測モードのうちの現在ブロックのイントラ予測モードを決定し、イントラ予測モードに応じて現在ブロック周囲の参照ピクセルを用いて現在ブロックを予測する。

インター予測部５４４は、エントロピー復号化部５１０から抽出されたインター予測モードに対するシンタックス要素を用いて現在ブロックの動きベクトルと、その動きベクトルが参照する参照ピクチャーを決定し、動きベクトルと参照ピクチャーを用いて現在ブロックを予測する。

加算器５５０は、逆変換部から出力される残差ブロックと、インター予測部又はイントラ予測部から出力される予測ブロックを加算して現在ブロックを復元する。復元された現在ブロック内のピクセルは、後で復号化するブロックをイントラ予測するときの参照ピクセルとして活用される。

ループフィルタ部５６０は、インループフィルタとしてデブロックフィルタ５６２、ＳＡＯフィルタ５６４及びＡＬＦ５６６を含む。デブロックフィルタ５６２は、ブロック単位の復号化に因って発生するブロッキング現象（blocking artifact）を除去するために、復元されたブロック間の境界をデブロックフィルタリングする。ＳＡＯフィルタ５６４及びＡＬＦ５６６は、損失符号化（lossy coding）に因って発生する復元されたピクセルと元本ピクセルとの間の差を補償するために、デブロックフィルタリング以降の復元されたブロックに対して追加のフィルタリングを遂行する。ＡＬＦのフィルタ係数は、ビットストリームから復号したフィルタ係数に関する情報を用いて決定される。

デブロックフィルタ５６２、ＳＡＯフィルタ５６４、及びＡＬＦ５６６を介してフィルタリングされた復元ブロックはメモリ５７０に保存される。あるピクチャー内のすべてのブロックが復元されると、復元されたピクチャーは、後で符号化しようとするピクチャー内のブロックをインター予測するための参照ピクチャーとして使用される。

図６は、結合された画面内画面間予測（Combined Inter/Intra Prediction，ＣＩＩＰ）モードで現在ブロックの予測ブロックを生成する方法を説明するための図である。画面内予測モードは、イントラ予測モードと同じ意味に該当する。画面内予測モードとイントラ予測モードは混用され得る。画面間予測モードは、インター予測モードと同じ意味に該当する。画面間予測モードとインター予測モードは混用され得る。結合された画面内画面間予測モードは、結合されたイントラインター予測モードと同じ意味に該当する。結合された画面内画面間予測モードとＣＩＩＰモードは混用され得る。ＣＩＩＰモードで、インター予測ブロックは一般マージモードと同じ方法で生成される。イントラ予測ブロックは、現在ブロックの周囲に隣接する参照画素にプラナー（Planar）モードを適用して生成される。生成されたインター予測ブロックとイントラ予測ブロックに加重値を適用して最終的なＣＩＩＰを基盤にした予測ブロックが生成される。

図６を参照すると、マージ（Merge）モードを基盤にして参照ピクチャー内参照ブロックＰｉｎｔｅｒが誘導される。現在ブロックに隣接する参照画素にプラナーモードが適用されてイントラ予測ブロックＰＰｌａｎａｒが生成される。該当参照ブロックＰｉｎｔｅｒとイントラ予測ブロックＰＰｌａｎａｒに加重値を適用してＣＩＩＰを基盤にした予測ブロックＰＣＩＩＰが生成される。参照ブロックＰｉｎｔｅｒに適用される加重値はＷｉｎｔｅｒに該当する。イントラ予測ブロックＰＰｌａｎａｒに適用される加重値はＷｉｎｔｒａに該当する。ＣＩＩＰを基盤にした予測ブロックＰＣＩＩＰは、

の式を用いて生成される。

図７は、本開示の一実施例に係る、結合された画面内画面間予測モードで加重値を決定するために参照する周辺ブロックを説明するための図である。ＣＩＩＰモードで加重値は、現在ブロックに隣接する周辺ブロックのイントラ予測モード符号化如何を考慮して決定される。

図７を参照すると、ＣＩＩＰモードで加重値は、現在ブロックに隣接する上側周辺ブロックＡと左側周辺ブロックＬのイントラ予測モード符号化如何を考慮して決定される。

図８は、本開示の一実施例に係る、結合された画面内画面間予測モードで加重値を決定する方法を説明するための図である。現在ブロックに隣接する周辺ブロックがイントラ予測モードを多く符号化すると、イントラ予測ブロックに大きな加重値が付与される。逆に、現在ブロックに隣接する周辺ブロックがイントラ予測モードを少なく符号化すると、イントラ予測ブロックに小さな加重値が付与される。

図８を参照すると、図７の現在ブロックの上側周辺ブロックＡと左側周辺ブロックＬがイントラ予測モードを符号化する場合、イントラ予測ブロックに割り当てられる加重値は３に該当する。上側周辺ブロックＡがイントラ予測モードを符号化し、左側周辺ブロックＬがイントラ予測モードを符号化しない場合、イントラ予測ブロックに割り当てられる加重値は２に該当する。上側周辺ブロックＡがイントラ予測モードを符号化せず、左側周辺ブロックＬがイントラ予測モードを符号化する場合、イントラ予測ブロックに割り当てられる加重値は２に該当する。上側周辺ブロックＡがイントラ予測モードを符号化せず、左側周辺ブロックＬがイントラ予測モードを符号化しない場合、イントラ予測ブロックに割り当てられる加重値は１に該当する。

図９は、本開示の一実施例に係る、３２×３２ブロックに幾何学的分割モードを適用する方法を説明するための図である。幾何学的分割モードについて説明すると、１つの符号化ユニット（Coding Unit）が直線分割境界によって２つの領域に分割される。分割された２つの領域は、それぞれ異なる動き情報を用いてインター予測を遂行する。分割された２つの領域に対するインター予測ブロックがそれぞれ生成される。生成された２つのインター予測ブロックを加重平均して最終的な幾何学的分割モードの予測ブロックが生成される。幾何学的分割モードは、角度媒介変数と距離媒介変数を用いて直線で定義される分割境界領域を設定する。加重平均は、加重和と同じ意味に該当する。

図９を参照すると、３２×３２ブロックは２つの領域に分割される。分割された２つの領域のそれぞれに対してインター予測が遂行される。φは角度媒介変数に該当する。ρは距離媒介変数に該当する。角度媒介変数と距離媒介変数を用いて３２×３２ブロックを分割する直線が設定される。

図１０ａ及び図１０ｂは、本開示の一実施例に係る、幾何学的分割モードで角度媒介変数と距離媒介変数を説明するための図である。

図１０ａを参照すると、角度媒介変数は、符号化ユニット内で３６０度の範囲を対称分割して合計２０個の量子化された角度に定義される。

図１０ｂを参照すると、距離媒介変数は４つの量子化された距離に定義される。角度媒介変数と距離媒介変数の組み合わせで発生する合計８０個の分割方向のうち、重複される１０個の分割方向と、２進ツリー分割と３進ツリー分割との重複される６個の分割方向が除外される。したがって、幾何学的分割モードは合計６４個の分割方向を使用する。

図１１は、本開示の一実施例に係る、幾何学的分割モードで分割方向情報のルックアップテーブルを説明するための図である。角度媒介変数と距離媒介変数の組み合わせは、ルックアップテーブル（look-up table）として定義される。１つの符号化ユニットごとに分割方向情報が伝送される。幾何学的分割モードでは、一般マージ候補リストから単方向動き情報のみを含む幾何学的分割モードのためのマージ候補リストが構成される。これにより、動き情報の符号化が簡素化され、可能な組み合わせの数が減る。幾何学的分割モードのためのマージ候補リストを用いて各分割領域で使用したマージインデックスが伝送される。

図１１を参照すると、角度媒介変数に関する情報（例えば、ａｎｇｌｅＩｄｘ）と距離媒介変数に関する情報（例えば、ｄｉｓｔａｎｃｅＩｄｘ）によって分割方向情報（例えば、ｍｅｒｇｅ_ｇｐｍ_ｐａｒｔｉｔｉｏｎ_ｉｄｘ）が決定される。ａｎｇｌｅＩｄｘとｄｉｓｔａｎｃｅＩｄｘの組み合わせによるｍｅｒｇｅ_ｇｐｍ_ｐａｒｔｉｔｉｏｎ_ｉｄｘは、ルックアップテーブルとして定義される。ｍｅｒｇｅ_ｇｐｍ_ｐａｒｔｉｔｉｏｎ_ｉｄｘの値は０から６３の範囲に該当する。１つの符号化ユニットごとにｍｅｒｇｅ_ｇｐｍ_ｐａｒｔｉｔｉｏｎ_ｉｄｘが伝送される。

図１２は、本開示の一実施例に係る、動きベクトル差分の方向情報を説明するための図である。一般的なマージモードでは、マージ候補リストの動き情報が現在ブロックの動き情報として使用され、追加の動き情報は伝送されない。一般的なマージモードは、ビット量を最小化する利点があるが、最適な動き情報を表現できないという限界がある。動きベクトル差分を用いたマージモード（Merge with Motion Vector Difference，ＭＭＶＤ）は、一般マージモードに誘導された動きベクトルに動きベクトル差分を加えて動き情報を補正する。

動きベクトル差分を用いたマージモードは、複雑度を減らすために一般マージモードの候補リストのうちの１番目の候補と２番目の候補のみを使用する。２つの候補の中から１つの候補が選択され、該当候補の動きベクトルが初期動きベクトルに設定される。初期動きベクトルに追加で伝送を受けた動きベクトル差分情報が加えられて最終動きベクトルが決定される。動きベクトル差分情報は、方向情報と距離情報を含む。

図１２を参照すると、動きベクトル差分の方向情報は、垂直又は水平方向での補正のみ可能である。動きベクトル差分の方向情報は、４つの方向で構成される。水平方向に＋１及び垂直方向に０ほど補正する動きベクトル差分の方向情報にはインデックス０が割り当てられる。水平方向に－１及び垂直方向に０ほど補正する動きベクトル差分の方向情報にはインデックス１が割り当てられる。水平方向に０及び垂直方向に＋１ほど補正する動きベクトル差分の方向情報にはインデックス２が割り当てられる。水平方向に０及び垂直方向に－１ほど補正する動きベクトル差分の方向情報にはインデックス３が割り当てられる。

図１３は、本開示の一実施例に係る、動きベクトル差分の距離情報を説明するための図である。

図１３を参照すると、動きベクトル差分の距離情報は、動き距離である輝度画素距離で構成される。動きベクトル差分の方向情報は、８つの動き距離で構成される。輝度画素距離が１／４の動きベクトル差分の距離情報にはインデックス０が割り当てられる。輝度画素距離が１／２の動きベクトル差分の距離情報にはインデックス１が割り当てられる。輝度画素距離が１の動きベクトル差分の距離情報にはインデックス２が割り当てられる。輝度画素距離が２の動きベクトル差分の距離情報にはインデックス３が割り当てられる。輝度画素距離が４の動きベクトル差分の距離情報にはインデックス４が割り当てられる。輝度画素距離が８の動きベクトル差分の距離情報にはインデックス５が割り当てられる。輝度画素距離が１６の動きベクトル差分の距離情報にはインデックス６が割り当てられる。輝度画素距離が３２の動きベクトル差分の距離情報にはインデックス７が割り当てられる。

図１４は、本開示の一実施例に係る、インター予測を適用するフローチャートを説明するための図である。

図１４を参照すると、ＳＫＩＰモードが適用されるか否かが判断される（Ｓ１４１０）。ＳＫＩＰモードが適用されると判断された場合（Ｓ１４１０－はい）、ＳＫＩＰモードが適用される（Ｓ１４２０）。ＳＫＩＰモードが適用されないと判断された場合（Ｓ１４１０－いいえ）、マージモードが適用されるか否かが判断される（Ｓ１４３０）。マージモードが適用されないと判断された場合（Ｓ１４３０－いいえ）、ＡＭＶＰ（Adaptive Motion Vector Prediction）モードが適用される（Ｓ１４４０）。マージモードが適用されると判断された場合（Ｓ１４３０－はい）、サブブロックにマージモードが適用されるか否かが判断される（Ｓ１４５０）。サブブロックにマージモードが適用されると判断された場合（Ｓ１４５０－はい）、サブブロックにマージモードが適用される（Ｓ１４６０）。サブブロックベースの時間的動きベクトル予測とＡＦＦＩＮＥマージモードが適用される。サブブロックにマージモードが適用されないと判断された場合（Ｓ１４５０－いいえ）、一般的なマージモードが適用されるか否かが判断される（Ｓ１４７０）。

一般的なマージモードが適用されないと判断された場合（Ｓ１４７０－いいえ）、ＣＩＩＰモードが適用されるか否かが判断される（Ｓ１４８０）。ＣＩＩＰモードが適用されないと判断された場合（Ｓ１４８０－いいえ）、幾何学的分割モードが適用される（Ｓ１４８１）。ＣＩＩＰモードが適用されると判断された場合（S１４８０－はい）、ＣＩＩＰモードが適用される（S１４８２）。一般的なマージモードが適用されると判断された場合（Ｓ１４７０－はい）、動きベクトル差分を用いたマージモードが適用されるか否かが判断される（Ｓ１４９０）。動きベクトル差分を用いたマージモードが適用されると判断された場合（Ｓ１４９０－はい）、動きベクトル差分を用いたマージモードが適用される（Ｓ１４９１）。動きベクトル差分を用いたマージモードが適用されないと判断された場合（Ｓ１４９０－いいえ）、一般的なマージモードが適用される（Ｓ１４９２）。

図１５は、本開示の他の実施例に係る、動きベクトル差分の方向情報を説明するための図である。ＣＩＩＰモードで動きベクトルの精度を向上させるために、動きベクトル差分を考慮してインター予測ブロックが生成される。このように生成されたインター予測ブロックをイントラ予測ブロックと加重平均して現在ブロックの予測ブロックが生成される。ＣＩＩＰモードでインター予測ブロックを生成する場合、マージモード候補リストのうち、選択された候補の動きベクトルが初期動きベクトルに設定される。初期動きベクトルに動きベクトル差分情報を加えて最終動きベクトルが決定される。最終動きベクトルから誘導されたインター予測ブロックが、ＣＩＩＰモードのインター予測ブロックとして使用される。

動きベクトル差分情報は、図１２で説明した４つの方向情報と図１３で説明した８つの距離情報との組み合わせで使用される。図１２で説明した４つの方向情報に対角線方向情報が追加される。

図１５を参照すると、動きベクトル差分の方向情報は、図１２で説明した４つの方向情報に対角線方向情報が追加され、合計８つの方向情報で構成される。水平方向に＋１及び垂直方向に０ほど補正する動きベクトル差分の方向情報にはインデックス０が割り当てられる。水平方向に－１及び垂直方向に０ほど補正する動きベクトル差分の方向情報にはインデックス１が割り当てられる。水平方向に０及び垂直方向に＋１ほど補正する動きベクトル差分の方向情報にはインデックス２が割り当てられる。水平方向に０及び垂直方向に－１ほど補正する動きベクトル差分の方向情報にはインデックス３が割り当てられる。水平方向に＋１及び垂直方向に＋１ほど補正する動きベクトル差分の方向情報にはインデックス４が割り当てられる。水平方向に－１及び垂直方向に＋１ほど補正する動きベクトル差分の方向情報にはインデックス５が割り当てられる。水平方向に－１及び垂直方向に－１ほど補正する動きベクトル差分の方向情報にはインデックス６が割り当てられる。水平方向に＋１及び垂直方向に－１ほど補正する動きベクトル差分の方向情報にはインデックス７が割り当てられる。したがって、動きベクトル差分情報は、８つの方向情報と図１３で説明した８つの距離情報との組み合わせで使用される。

図１６は、本開示の一実施例に係る、結合された画面内画面間予測モードに動きベクトル差分を用いたマージモードを適用した場合にシンタックス構造を説明するための図である。ＣＩＩＰモードに動きベクトル差分を用いたマージモードを適用する場合、動き情報の補正のために追加で動きベクトル差分情報を用いるので、動きベクトル差分に関する情報を伝送する。動きベクトル差分に関する情報の伝送又は解析（parsing）方法は、マージモードで動きベクトル差分に関する情報を伝送又は解析する方法と同じである。

図１６を参照すると、ＣＩＩＰモードで動きベクトル差分を用いたマージモードの使用如何を示す情報（例えば、ｃｉｉｐ_ｍｍｖｄ_ｅｎａｂｌｅｄ_ｆｌａｇ）は、シーケンスパラメータセット（sequence parameter set，ｓｐｓ）又はピクチャーパラメータセット（picture parameter set，ｐｐｓ）又は ピクチャーヘッダ（picture header，ｐｈ）又はスライスヘッダ（slice header，ｓｈ）でシグナリングされる。現在ブロックに、ＣＩＩＰモードで動きベクトル差分を用いたマージモードの使用如何を示す情報（例えば、ｃｉｉｐ_ｍｍｖｄ_ｍｅｒｇｅ_ｆｌａｇ）がシグナリングされる。ＣＩＩＰモードで使用する動きベクトル差分の距離情報（例えば、ｃｉｉｐ_ｍｍｖｄ_ｄｉｓｔａｎｃｅ_ｉｄｘ）とＣＩＩＰモードで使用する動きベクトル差分の方向情報（例えば、ｃｉｉｐ_ｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘ）がシグナリングされる。ｃｉｉｐ_ｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘは、図１２で説明した４つの方向情報又は図１５で説明した８つの方向情報を表す。

図１７は、本開示の一実施例に係る、結合された画面内画面間予測モードでシンタックス構造を説明するための図である。

図１７を参照すると、ＣＩＩＰモードでマージインデックス（例えば、ｍｅｒｇｅ_ｉｄｘ）が伝送されない場合がある。ｍｅｒｇｅ_ｉｄｘを０に固定してｍｅｒｇｅ_ｉｄｘのシグナリングが省略される。これにより、符号化効率が向上される。

図１８は、本開示の一実施例に係る、幾何学的分割モードに動きベクトル差分を用いたマージモードを適用した場合のシンタックス構造を説明するための図である。幾何学的分割モードで動きベクトル差分を用いて分割された２つの領域に対するインター予測ブロックが生成される。生成された２つのインター予測ブロックを結合して幾何学的分割モードに対する最終予測ブロックが生成される。生成された２つのインター予測ブロックを加重平均して幾何学的分割モードに対する最終予測ブロックが生成される。ここで、加重値は任意の値に該当する。幾何学的分割モードで２つの領域のインター予測ブロックをそれぞれ生成する場合、各分割された領域に対して一般マージモードの候補リストのうちから選択された候補の動きベクトルが初期動きベクトルに設定される。動きベクトル差分情報と初期動きベクトルを加えて最終動きベクトルが決定される。２つの分割された領域は、最後動きベクトルを用いて２つのインター予測ブロックを生成する。２つのインター予測ブロックを結合して幾何学的分割モードに対する最終予測ブロックが生成される。２つのインター予測ブロックを加重平均して幾何学的分割モードに対する最終予測ブロックが生成される。ここで、加重値は任意の値に該当する。

幾何学的分割モードで分割された２つの領域に互いに異なる動きベクトル差分が適用される。幾何学的分割モードで分割された２つの領域に互いに異なる動きベクトル差分を適用する場合、分割された２つの領域に独立的に動きベクトル差分情報を適用して最終動きベクトルが決定される。これにより、それぞれの領域に対する動きベクトル差分情報が独立的に伝送される。動きベクトル差分に関する情報の伝送又は解析方法は、マージモードで動きベクトル差分に関する情報を伝送又は解析する方法と同じである。

図１８を参照すると、幾何学的分割モードで動きベクトル差分を用いたマージモードの使用如何を示す情報（例えば、ｇｐｍ_ｍｍｖｄ_ｅｎａｂｌｅｄ_ｆｌａｇ）は、シーケンスパラメータセット又はピクチャーパラメータセット又はピクチャーヘッダ又はスライスヘッダでシグナリングされる。幾何学的分割モードに分割された１番目の領域で動きベクトル差分を用いたマージモードを使用するか否かを示す情報（例えば、ｇｐｍ_ｍｍｖｄ_ｍｅｒｇｅ_ｉｄｘ０_ｆｌａｇ）がシグナリングされる。幾何学的分割モードに分割された２番目の領域で動きベクトル差分を用いたマージモードを使用するか否かを示す情報（例えば、ｇｐｍ_ｍｍｖｄ_ｍｅｒｇｅ_ｉｄｘ１_ｆｌａｇ）がシグナリングされる。

分割された１番目の領域で使用する動きベクトル差分の距離情報（例えば、ｇｐｍ_ｍｍｖｄ_ｄｉｓｔａｎｃｅ_ｉｄｘ_ｉｄｘ０）がシグナリングされる。分割された２番目の領域で使用する動きベクトル差分の距離情報（例えば、ｇｐｍ_ｍｍｖｄ_ｄｉｓｔａｎｃｅ_ｉｄｘ_ｉｄｘ１）がシグナリングされる。分割された１番目の領域で使用する動きベクトル差分の方向情報（例えば、ｇｐｍ_ｍｍｖｄ_ｄｒｉｃｅｎｔｉｏｎ_ｉｄｘ_ｉｄｘ０）がシグナリングされる。分割された２番目の領域で使用する動きベクトル差分の方向情報（例えば、ｇｐｍ_ｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘ_ｉｄｘ１）がシグナリングされる。ｇｐｍ_ｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘ_ｉｄｘ０とｇｐｍ_ｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘ_ｉｄｘ１は、図１２で説明した４つの方向情報又は図１５で説明した８つの方向情報を表す。

図１９は、本開示の一実施例に係る、幾何学的分割モードで分割された１番目の領域の動きベクトル差分情報から分割された２番目の領域の動きベクトル差分情報を誘導する過程を説明するための図である。幾何学的分割モードでは、１番目の領域の動きベクトル差分情報を用いて２番目の領域の動きベクトル差分情報が誘導される。幾何学的分割モードで任意の領域の動きベクトル差分情報を用いて他の領域の動きベクトル差分情報が誘導される。

図１９を参照すると、幾何学的分割モードで、現在ブロックは第１の領域と第２の領域に分割される。第１の領域は、マージ候補リストから選択されたマージ候補の動きベクトルを初期動きベクトルＭＶ０に設定する。第２の領域は、マージ候補リストから選択されたマージ候補の動きベクトルを初期動きベクトルＭＶ１に設定する。第１の領域は参照ピクチャーリストＬＯにある参照ピクチャーを参照し、第２の領域は参照ピクチャーリストＬ１にある参照ピクチャーを参照する。ここで、ＭＶ０とＭＶ１は互いに方向が正反対に該当する。

第１の領域は、動きベクトル差分情報ＭＶｄｉｆｆ_Ｌ０と初期動きベクトルＭＶ０を加えて最終動きベクトルＭＶ０’を決定する。第２の領域は、動きベクトル差分情報ＭＶｄｉｆｆ_Ｌ１と初期動きベクトルＭＶ１を加えて最終動きベクトルＭＶ１’を決定する。ＭＶ０’とＭＶ１’は互いに方向が正反対に該当する。第１の領域の動きベクトル差分情報ＭＶｄｉｆｆ_Ｌ０と第２の領域の動きベクトル差分情報ＭＶｄｉｆｆ_Ｌ１も互いに方向が正反対に該当する。この場合、第１の領域に対する動きベクトル差分の距離情報と第１の領域に対する動きベクトル差分の方向情報のみがシグナリングされる。第２の領域に対する動きベクトル差分の距離情報と第２の領域に対する動きベクトル差分の方向情報はシグナリングされない。第２の領域に対する動きベクトル差分の距離情報は、第１の領域に対する動きベクトル差分の距離情報と同じであり、第２の領域に対する動きベクトル差分の方向情報は、第１の領域に対する動きベクトル差分の方向情報とは正反対に該当するからである。

一例として、第１の領域は、マージ候補リストから選択されたマージ候補の動きベクトルを初期動きベクトルＭＶ０に設定する。第２の領域は、マージ候補リストから選択されたマージ候補の動きベクトルを初期動きベクトルＭＶ１に設定する。第１の領域は参照ピクチャーリストＬＯにある参照ピクチャーを参照し、第２の領域は参照ピクチャーリストＬ０にある参照ピクチャーを参照したり、第１の領域は参照ピクチャーリストＬ１にある参照ピクチャーを参照し、第２の領域は参照ピクチャーリストＬ１にある参照ピクチャーを参照したりする。第１の領域と第２の領域は、同じ参照ピクチャーリストから互いに異なる参照ピクチャーを参照する。ここで、ＭＶ０とＭＶ１は互いに方向が同じであり、現在ピクチャーとＭＶ０が指示する参照ピクチャーとの間の距離と、現在ピクチャーとＭＶ１が指示する参照ピクチャーとの間の距離が異なる。

第１の領域は、動きベクトル差分情報ＭＶｄｉｆｆ_Ｌ０と初期動きベクトルＭＶ０を加えて最終動きベクトルＭＶ０’を決定する。第２の領域は、動きベクトル差分情報ＭＶｄｉｆｆ_Ｌ１と初期動きベクトルＭＶ１を加えて最終動きベクトルＭＶ１’を決定する。ＭＶ０’とＭＶ１’は互いに方向が同じであり、現在ピクチャーとＭＶ０’が指示する参照ピクチャーとの間の距離と、現在ピクチャーとＭＶ１’が指示する参照ピクチャーとの間の距離が異なる。

第１の領域の動きベクトル差分情報ＭＶｄｉｆｆ_Ｌ０と第２の領域の動きベクトル差分情報ＭＶｄｉｆｆ_Ｌ１は、互いに方向情報が同じで距離情報が異なる。この場合、第１の領域に対する動きベクトル差分の距離情報と第１の領域に対する動きベクトル差分の方向情報のみがシグナリングされる。第２の領域に対する動きベクトル差分の距離情報と第２の領域に対する動きベクトル差分の方向情報はシグナリングされない。第２の領域に対する動きベクトル差分の距離情報は、第１の領域に対する動きベクトル差分の距離情報をスケーリングして誘導され、第２の領域に対する動きベクトル差分の方向情報は、第１の領域に対する動きベクトル差分の方向情報と同じだからである。ここで、スケーリングは、現在ピクチャーのＰＯＣと第１の領域が参照する参照ピクチャーリストＬＯにある参照ピクチャーのＰＯＣとの差と、現在ピクチャーのＰＯＣと第２の領域が参照する参照ピクチャーリストＬ０にある参照ピクチャーのＰＯＣとの間の差を考慮して遂行される。

図２０は、本開示の他の実施例に係る、幾何学的分割モードで分割された１番目の領域の動きベクトル差分情報から分割された２番目の領域の動きベクトル差分情報を誘導する過程を説明するための図である。

図２０を参照すると、幾何学的分割モードで現在ブロックは第１の領域と第２の領域に分割される。第１の領域は、マージ候補リストから選択されたマージ候補の動きベクトルを初期動きベクトルＭＶ０に設定する。第２の領域は、マージ候補リストから選択されたマージ候補の動きベクトルを初期動きベクトルＭＶ１に設定する。第１の領域は参照ピクチャーリストＬＯにある参照ピクチャーを参照し、第２の領域は参照ピクチャーリストＬ１にある参照ピクチャーを参照する。ここで、ＭＶ０とＭＶ１は、互いに方向が正反対に該当し、現在ピクチャーとＭＶ０が指示する参照ピクチャーとの間の距離と、現在ピクチャーとＭＶ１が指示する参照ピクチャーとの間の距離が異なる。

第１の領域は、動きベクトル差分情報ＭＶｄｉｆｆ_Ｌ０と初期動きベクトルＭＶ０を加えて最終動きベクトルＭＶ０’を決定する。第２の領域は動きベクトル差分情報ＭＶｄｉｆｆ_Ｌ１と初期動きベクトルＭＶ１を加えて最終動きベクトルＭＶ１'を決定する。ＭＶ０’とＭＶ１’は互いに方向が正反対に該当し、現在ピクチャーとＭＶ０’が指示する参照ピクチャーとの距離と、現在ピクチャーとＭＶ１’が指示する参照ピクチャーとの間の距離が異なる。

第１の領域の動きベクトル差分情報ＭＶｄｉｆｆ_Ｌ０と第２の領域の動きベクトル差分情報ＭＶｄｉｆｆ_Ｌ１は、互いに方向情報が正反対であり、距離情報が異なる。この場合、第１の領域に対する動きベクトル差分の距離情報と第１の領域に対する動きベクトル差分の方向情報のみがシグナリングされる。第２の領域に対する動きベクトル差分の距離情報と第２の領域に対する動きベクトル差分の方向情報はシグナリングされない。第２の領域に対する動きベクトル差分の距離情報は、第１の領域に対する動きベクトル差分の距離情報をスケーリングして誘導され、第２の領域に対する動きベクトル差分の方向情報は、第１の領域に対する動きベクトル差分の方向情報と正反対に該当するからである。ここで、スケーリングは、現在ピクチャーのＰＯＣと第１の領域が参照する参照ピクチャーリストＬＯにある参照ピクチャーのＰＯＣとの差と、現在ピクチャーのＰＯＣと第２の領域が参照する参照ピクチャーリストＬ１にある参照ピクチャーのＰＯＣとの間の差を考慮して遂行される。

図２１は、本開示の他の実施例に係る、幾何学的分割モードに動きベクトル差分を用いたマージモードを適用した場合のシンタックス構造を説明するための図である。幾何学的分割モードで分割された２つの領域に同じ動きベクトル差分が適用される。幾何学的分割モードで分割された２つの領域に同じ動きベクトル差分を適用する場合、分割された２つの領域に同じ動きベクトル差分情報を適用して最終動きベクトルが決定される。これにより、１つの動きベクトル差分情報が伝送される。動きベクトル差分情報の伝送又は解析方法は、マージモードで動きベクトル差分情報を伝送又は解析する方法と同じである。

図２１を参照すると、幾何学的分割モードで動きベクトル差分を用いたマージモードの使用如何を示す情報（例えば、ｇｐｍ_ｍｍｖｄ_ｅｎａｂｌｅｄ_ｆｌａｇ）は、シーケンスパラメータセット又はピクチャーパラメータセット又はピクチャーヘッダ又はスライスヘッダでシグナリングされる。幾何学的分割モードに分割された２つの領域で動きベクトル差分を用いたマージモードを使用するか否かを示す情報（例えば、ｇｐｍ_ｍｍｖｄ_ｍｅｒｇｅ_ｆｌａｇ）がシグナリングされる。

分割された２つの領域で使用する動きベクトル差分の距離情報（例えば、ｇｐｍ_ｍｍｖｄ_ｄｉｓｔａｎｃｅ_ｉｄｘ）がシグナリングされる。分割された２つの領域で使用する動きベクトル差分の方向情報（例えば、ｇｐｍ_ｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘ）がシグナリングされる。ｇｐｍ_ｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘは、図１２で説明した４つの方向情報又は図１５で説明した８つの方向情報に該当する。幾何学的分割モードに分割された２つの領域で動きベクトル差分を用いたマージモードを用いる場合、ｇｐｍ_ｍｍｖｄ_ｄｉｓｔａｎｃｅ_ｉｄｘとｇｐｍ_ｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘからそれぞれ動きベクトル差分の距離情報と動きベクトル差分の方向情報が誘導される。動きベクトル差分の距離情報と動きベクトル差分の方向情報を、分割された２つの領域のマージ候補の動きベクトルに等しく適用して動きベクトルが補正される。幾何学的分割モードで分割された２つの領域に同じ動きベクトル差を適用して複雑度が減少される。

図２２は、本開示の一実施例に係る、動きベクトル差分を用いたマージモードを適用してインター予測を適用するフローチャートを説明するための図である。

図２２を参照すると、マージモードが適用されるか否かが判断される（Ｓ２２１０）。マージモードが適用されないと判断された場合（Ｓ２２１０－いいえ）、ＡＭＶＰモードが適用される（Ｓ２２２０）。マージモードが適用されたと判断された場合（Ｓ２２１０－はい）、サブブロックにマージモードが適用されるか否かが判断される（Ｓ２２３０）。サブブロックにマージモードが適用されると判断された場合（Ｓ２２３０－はい）、サブブロックにマージモードが適用される（Ｓ２２４０）。サブブロックベースの時間的動きベクトル予測とＡＦＦＩＮＥマージモードが適用される。サブブロックにマージモードが適用されないと判断された場合（Ｓ２２３０－いいえ）、一般的なマージモードが適用されるか否かが判断される（Ｓ２２５０）。

一般的なマージモードが適用されないと判断された場合（Ｓ２２５０－いいえ）、ＣＩＩＰモードが適用されるか否かが判断される（Ｓ２２６０）。ＣＩＩＰモードが適用されないと判断された場合（Ｓ２２６０－いいえ）、動きベクトル差分を用いた幾何学的分割モードが適用されるか否かが判断される（Ｓ２２６１）。動きベクトル差分を用いた幾何学的分割モードが適用されないと判断された場合（Ｓ２２６１－いいえ）、動きベクトル差分を考慮しない幾何学的分割モードが適用される（Ｓ２２６２）。動きベクトル差分を用いた幾何学的分割モードが適用されると判断された場合（Ｓ２２６１－はい）、動きベクトル差分を用いた幾何学的分割モードが適用される（Ｓ２２６３）。ＣＩＩＰモードが適用されると判断された場合（Ｓ２２６０－はい）、動きベクトル差分を用いたＣＩＩＰモードが適用されるか否かが判断される（Ｓ２２６４）。動きベクトル差分を用いたＣＩＩＰモードが適用されないと判断された場合（Ｓ２２６４－いいえ）、動きベクトル差分を考慮しないＣＩＩＰモードが適用される（Ｓ２２６５）。動きベクトル差分を用いたＣＩＩＰモードが適用されると判断された場合（Ｓ２２６４－はい）、動きベクトル差分を用いたＣＩＩＰモードが適用される（Ｓ２２６６）。

一般的なマージモードが適用されると判断された場合（Ｓ２２５０－はい）、動きベクトル差分を用いた一般的なマージモードが適用されるか否かが判断される（Ｓ２２７０）。動きベクトル差分を用いた一般的なマージモードが適用されると判断された場合（Ｓ２２７０－はい）、動きベクトル差分を用いた一般的なマージモードが適用される（Ｓ２２７１）。動きベクトル差分を用いた一般的なマージモードが適用されないと判断された場合（Ｓ２２７０－いいえ）、動きベクトル差分を考慮しない一般的なマージモードが適用される（Ｓ２２７２）。

図２３は、本開示の他の実施例に係る、動きベクトル差分を用いたマージモードを適用してインター予測を適用するフローチャートを説明するための図である。

図２３を参照すると、マージモードが適用されるか否かが判断される（Ｓ２３１０）。マージモードが適用されないと判断された場合（Ｓ２３１０－いいえ）、ＡＭＶＰモードが適用される（Ｓ２３２０）。マージモードが適用されると判断された場合（Ｓ２３１０－はい）、サブブロックにマージモードが適用されるか否かが判断される（Ｓ２３３０）。サブブロックにマージモードが適用されると判断された場合（Ｓ２３３０－はい）、サブブロックにマージモードが適用される（Ｓ２３４０）。サブブロックベースの時間的動きベクトル予測とＡＦＦＩＮＥマージモードが適用される。サブブロックにマージモードが適用されないと判断された場合（Ｓ２３３０－いいえ）、一般的なマージモードが適用されるか否かが判断される（Ｓ２３５０）。

一般的なマージモードが適用されないと判断された場合（Ｓ２３５０－いいえ）、動きベクトル差分を利用するか否かが判断される（Ｓ２３６０）。動きベクトル差分を利用しないと判断された場合（Ｓ２３６０－いいえ）、ＣＩＩＰモードが適用されるか否かが判断される（Ｓ２３６１）。ＣＩＩＰモードが適用されないと判断された場合（Ｓ２３６１－いいえ）、動きベクトル差分を考慮しない幾何学的分割モードが適用される（Ｓ２３６２）。ＣＩＩＰモードが適用されると判断された場合（Ｓ２３６１－はい）、動きベクトル差分を考慮しないＣＩＩＰモードが適用される（Ｓ２３６３）。動きベクトル差分を用いると判断された場合（Ｓ２３６０－はい）、ＣＩＩＰモードが適用されるか否かが判断される（Ｓ２３６４）。ＣＩＩＰモードが適用されないと判断された場合（Ｓ２３６４－いいえ）、動きベクトル差分を用いた幾何学的分割モードが適用される（Ｓ２３６５）。ＣＩＩＰモードが適用されると判断された場合（Ｓ２３６４－はい）、動きベクトル差分を用いたＣＩＩＰモードが適用される（Ｓ２３６６）。

一般的なマージモードが適用されると判断された場合（Ｓ２３５０－はい）、動きベクトル差分を用いた一般的なマージモードが適用されるか否かが判断される（Ｓ２３７０）。動きベクトル差分を用いた一般的なマージモードが適用されると判断された場合（Ｓ２３７０－はい）、動きベクトル差分を用いた一般的なマージモードが適用される（Ｓ２３７１）。動きベクトル差分を用いた一般的なマージモードが適用されないと判断された場合（Ｓ２３７０－いいえ）、動きベクトル差分を考慮しない一般的なマージモードが適用される（Ｓ２３７２）。

図２４は、本開示の一実施例に係る、ビデオ復号化過程を説明するための図である。

図２４を参照すると、復号化装置は、ＣＩＩＰモード又は幾何学的分割モードの適用如何を判断する（Ｓ２４１０）。復号化装置は、マージ候補リストから動きベクトルを誘導する（Ｓ２４２０）。ＣＩＩＰモードが適用される場合、マージ候補リストから動きベクトルを誘導するステップは、マージ候補リスト内の１番目のマージ候補から動きベクトルを誘導するステップを含む。幾何学的分割モードが適用される場合、マージ候補リストから動きベクトルを誘導するステップは、マージ候補リストから分割された２つの領域のそれぞれに対する動きベクトルを誘導するステップを含む。

復号化装置は、動きベクトル差分情報を用いて動きベクトルを補正する（Ｓ２４３０）。幾何学的分割モードが適用され、分割された２つの領域が互いに異なる動きベクトル差分情報を用いる場合、動きベクトルを補正するステップは、互いに異なる動きベクトル差分情報を用いて分割された２つの領域のそれぞれに対する動きベクトルを補正するステップを含む。幾何学的分割モードが適用され、分割された２つの領域が同じ動きベクトル差分情報を利用する場合、動きベクトルを補正するステップは、同じ動きベクトル差分情報を用いて分割された２つの領域のそれぞれに対する動きベクトルを補正するステップを含む。動きベクトル差分情報は、方向情報及び距離情報を含む。方向情報は４つの情報又は８つの情報を含み、距離情報は８つの情報を含む。復号化装置は、補正された動きベクトルを基盤にして現在ブロックの予測ブロックを生成する（Ｓ２４４０）。

ＣＩＩＰモードが適用される場合、現在ブロックの予測ブロックを生成するステップは、補正された動きベクトルを基盤にし、現在ブロックに対するインター予測ブロックを生成するステップ、現在ブロックに隣接する少なくとも１つ以上の参照ブロックを基盤にし、現在ブロックに対するイントラ予測ブロックを生成するステップ、及び、インター予測ブロック及びイントラ予測ブロックを加重平均して現在ブロックの予測ブロックを生成するステップ、を含む。幾何学的分割モードが適用される場合、現在ブロックの予測ブロックを生成するステップは、補正された動きベクトルを用いて分割された２つの領域の各々に対するインター予測ブロックを生成するステップ、及び、分割された２つの領域のそれぞれに対するインター予測ブロックを結合又は加重平均して現在ブロックの予測ブロックを生成するステップを含む。

図２５は、本開示の一実施例に係る、ビデオ符号化過程を説明するための図である。

図２５を参照すると、符号化装置は、ＣＩＩＰモード又は幾何学的分割モードの適用如何を判断する（Ｓ２５１０）。符号化装置は、マージ候補リストから動きベクトルを決定する（Ｓ２５２０）。ＣＩＩＰモードが適用される場合、マージ候補リストから動きベクトルを決定するステップは、マージ候補リスト内の１番目のマージ候補から動きベクトルを決定するステップを含む。幾何学的分割モードが適用される場合、マージ候補リストから動きベクトルを決定するステップは、マージ候補リストから分割された２つの領域のそれぞれに対する動きベクトルを決定するステップを含む。

符号化装置は、動きベクトル差分情報を用いて動きベクトルを補正する（Ｓ２５３０）。幾何学的分割モードが適用され、分割された２つの領域が互いに異なる動きベクトル差分情報を利用する場合、動きベクトルを補正するステップは、互いに異なる動きベクトル差分情報を用いて分割された２つの領域のそれぞれに対する動きベクトルを補正するステップを含む。幾何学的分割モードが適用され、分割された２つの領域が同じ動きベクトル差分情報を用いる場合、動きベクトルを補正するステップは、同じ動きベクトル差分情報を用いて分割された２つの領域のそれぞれに対する動きベクトルを補正するステップを含む。動きベクトル差分情報は、方向情報及び距離情報を含む。方向情報は４つの情報又は８つの情報を含み、距離情報は８つの情報を含む。符号化装置は、補正された動きベクトルを基盤にして現在ブロックの予測ブロックを生成する（Ｓ２５４０）。

ＣＩＩＰモードが適用される場合、現在ブロックの予測ブロックを生成するステップは、補正された動きベクトルを基盤にし、現在ブロックに対するインター予測ブロックを生成するステップ、現在ブロックに隣接する少なくとも１つ以上の参照ブロックを基盤にし、現在ブロックに対するイントラ予測ブロックを生成するステップ、及び、インター予測ブロック及びイントラ予測ブロックを加重平均して現在ブロックの予測ブロックを生成するステップ、を含む。幾何学的分割モードが適用される場合、現在ブロックの予測ブロックを生成するステップは、補正された動きベクトルを用いて分割された２つの領域の各々に対するインター予測ブロックを生成するステップ、及び、分割された２つの領域のそれぞれに対するインター予測ブロックを結合又は加重平均して現在ブロックの予測ブロックを生成するステップを含む。

本明細書のフローチャート／タイミング図では、各プロセスを順次敵に実行することが記載されているが、これは本開示の一実施例の技術思想を例示的に説明したものにすぎない。言い換えれば、本開示の一実施例が属する技術分野にて通常の知識を有する者であれば、本開示の一実施例の本質的な特性から逸脱しない範囲でフローチャート／タイミング図に記載された順序を変更して実行するか、又は各プロセスのうちの１つ以上のプロセスを並列的に実行することにより様々に修正及び変形して適用可能であるので、フローチャート／タイミング図は時系列的な順序に限定されるものではない。

上記の説明で例示的な実施例は、多くの異なる方法で具現できることを理解されたい。１つ以上の例示で説明された機能あるいは方法は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで具現される。本明細書で説明された機能的コンポーネントは、それらの具現独立性を特に強調するために「…部（unit）」とラベル付けされることを理解されたい。

一方、本実施例で説明された様々な機能あるいは方法は、１つ以上のプロセッサによって読み取られて実行される非一時的記録媒体に保存された命令語で具現されてもよい。非一時的記録媒体は、例えばコンピュータシステムによって読み取り可能な形態でデータが保存されるあらゆる種類の記録装置を含む。例えば、非一時的記録媒体は、ＥＰＲＯＭ（erasable programmable read only memory）、フラッシュドライブ、光学ドライブ、磁気ハードドライブ、ソリッドステートドライブ（ＳＳＤ）のような保存媒体を含む。

以上の説明は、本実施例の技術思想を例示的に説明したものに過ぎず、本実施例が属する技術分野で通常の知識を有する者であれば、本実施例の本質的な特性から逸脱しない範囲で様々な修正及び変形が可能であろう。したがって、本実施例は、本実施例の技術思想を限定するためのものではなく説明するためのものであり、このような実施例によって本実施例の技術思想の範囲が限定されるものではない。本実施例の保護範囲は、特許請求の範囲によって解釈されるべきであり、それと同等の範囲内にあるすべての技術思想は、本実施例の権利範囲に含まれるものと解釈されるべきである。

符号化の説明

１２２ イントラ予測部
５１０ エントロピー復号化部
５４２ イントラ予測部

Claims (20)

1. ＣＩＩＰ（Combined Inter/Intra Prediction）モード又は幾何学的分割モードの適用如何を判断するステップと、
   マージ候補リストから動きベクトルを誘導するステップと、
   動きベクトル差分情報を用いて前記動きベクトルを補正するステップと、
   前記補正された動きベクトルを基盤にして現在ブロックの予測ブロックを生成するステップと、を含むビデオ復号化方法。
2. 前記動きベクトル差分情報は、方向情報及び距離情報を含む、請求項１に記載のビデオ復号化方法。
3. 前記方向情報は４つの情報又は８つの情報を含み、
   前記距離情報は８つの情報を含む、請求項２に記載のビデオ復号化方法。
4. 前記ＣＩＩＰモードが適用される場合、前記現在ブロックの予測ブロックを生成するステップは、
   前記補正された動きベクトルを基盤にし、前記現在ブロックに対するインター予測ブロックを生成するステップと、
   前記現在ブロックに隣接する少なくとも１つ以上の参照ブロックを基盤にし、前記現在ブロックに対するイントラ予測ブロックを生成するステップと、
   前記インター予測ブロック及び前記イントラ予測ブロックを加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含む、請求項１に記載のビデオ復号化方法。
5. 前記ＣＩＩＰモードが適用される場合、前記マージ候補リストから動きベクトルを誘導するステップは、
   前記マージ候補リスト内の１番目のマージ候補から前記動きベクトルを誘導するステップを含む、請求項１に記載のビデオ復号化方法。
6. 前記幾何学的分割モードが適用される場合、前記マージ候補リストから動きベクトルを誘導するステップは、
   前記マージ候補リストから分割された２つの領域のそれぞれに対する動きベクトルを誘導するステップを含む、請求項１に記載のビデオ復号化方法。
7. 前記分割された２つの領域が互いに異なる動きベクトル差分情報を用いる場合、前記動きベクトルを補正するステップは、
   前記互いに異なる動きベクトル差分情報を用いて前記分割された２つの領域のそれぞれに対する動きベクトルを補正するステップを含む、請求項６に記載のビデオ復号化方法。
8. 前記分割された２つの領域が同じ動きベクトル差分情報を用いる場合、前記動きベクトルを補正するステップは、
   前記同じ動きベクトル差分情報を用いて前記分割された２つの領域のそれぞれに対する動きベクトルを補正するステップを含む、請求項６に記載のビデオ復号化方法。
9. 前記現在ブロックの予測ブロックを生成するステップは、
   前記補正された動きベクトルを用いて前記分割された２つの領域のそれぞれに対するインター予測ブロックを生成するステップ、及び、
   前記分割された２つの領域のそれぞれに対するインター予測ブロックを結合又は加重平均して前記現在ブロックの予測ブロックを生成するステップを含む、請求項７に記載のビデオ復号化方法。
10. 前記現在ブロックの予測ブロックを生成するステップは、
    前記補正された動きベクトルを用いて前記分割された２つの領域のそれぞれに対するインター予測ブロックを生成するステップ、及び、
    前記分割された２つの領域のそれぞれに対するインター予測ブロックを結合又は加重平均して前記現在ブロックの予測ブロックを生成するステップを含む、請求項８に記載のビデオ復号化方法。
11. ＣＩＩＰモード又は幾何学的分割モードの適用如何を判断するステップと、
    マージ候補リストから動きベクトルを決定するステップと、
    動きベクトル差分情報を用いて前記動きベクトルを補正するステップと、
    前記補正された動きベクトルを基盤にして現在ブロックの予測ブロックを生成するステップと、を含むビデオ符号化方法。
12. 前記動きベクトル差分情報は、方向情報及び距離情報を含む、請求項１１に記載のビデオ符号化方法。
13. 前記方向情報は４つの情報又は８つの情報を含み、
    前記距離情報は８つの情報を含む、請求項１２に記載のビデオ符号化方法。
14. 前記ＣＩＩＰモードが適用される場合、前記現在ブロックの予測ブロックを生成するステップは、
    前記補正された動きベクトルを基盤にし、前記現在ブロックに対するインター予測ブロックを生成するステップと、
    前記現在ブロックに隣接する少なくとも１つ以上の参照ブロックを基盤にし、前記現在ブロックに対するイントラ予測ブロックを生成するステップと、
    前記インター予測ブロック及び前記イントラ予測ブロックを加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含む、請求項１１に記載のビデオ符号化方法。
15. 前記ＣＩＩＰモードが適用される場合、前記マージ候補リストから動きベクトルを決定するステップは、
    前記マージ候補リスト内の１番目のマージ候補から前記動きベクトルを決定するステップを含む、請求項１１に記載のビデオ符号化方法。
16. 前記幾何学的分割モードが適用される場合、前記マージ候補リストから動きベクトルを決定するステップは、
    前記マージ候補リストから分割された２つの領域のそれぞれに対する動きベクトルを決定するステップを含む、請求項１１に記載のビデオ符号化方法。
17. 前記分割された２つの領域が互いに異なる動きベクトル差分情報を用いる場合、前記動きベクトルを補正するステップは、
    前記互いに異なる動きベクトル差分情報を用いて前記分割された２つの領域のそれぞれに対する動きベクトルを補正するステップを含む、請求項１６に記載のビデオ符号化方法。
18. 前記分割された２つの領域が同じ動きベクトル差分情報を用いる場合、前記動きベクトルを補正するステップは、
    前記同じ動きベクトル差分情報を用いて前記分割された２つの領域のそれぞれに対する動きベクトルを補正するステップを含む、請求項１６に記載のビデオ符号化方法。
19. 前記現在ブロックの予測ブロックを生成するステップは、
    前記補正された動きベクトルを用いて前記分割された２つの領域のそれぞれに対するインター予測ブロックを生成するステップ、及び、
    前記分割された２つの領域のそれぞれに対するインター予測ブロックを結合又は加重平均して前記現在ブロックの予測ブロックを生成するステップを含む、請求項１７に記載のビデオ符号化方法。
20. ビデオ符号化方法によって生成されたビットストリームを保存する、コンピュータの読み取り可能な記録媒体であって、前記ビデオ符号化方法は、
    ＣＩＩＰモード又は幾何学的分割モードの適用如何を判断するステップと、
    マージ候補リストから動きベクトルを決定するステップと、
    動きベクトル差分情報を用いて前記動きベクトルを補正するステップと、
    前記補正された動きベクトルを基盤にして現在ブロックの予測ブロックを生成するステップと、を含む、記録媒体。

Images