JP7335365B2 - 動きベクトル差分を利用した映像コーディング方法及び装置 - Google Patents

動きベクトル差分を利用した映像コーディング方法及び装置 Download PDF

Info

Publication number
JP7335365B2
JP7335365B2 JP2021576703A JP2021576703A JP7335365B2 JP 7335365 B2 JP7335365 B2 JP 7335365B2 JP 2021576703 A JP2021576703 A JP 2021576703A JP 2021576703 A JP2021576703 A JP 2021576703A JP 7335365 B2 JP7335365 B2 JP 7335365B2
Authority
JP
Japan
Prior art keywords
prediction
information
motion vector
current block
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021576703A
Other languages
English (en)
Other versions
JP2022538837A (ja
Inventor
ネリ パク
チョンハク ナム
ヒョンムン チャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2022538837A publication Critical patent/JP2022538837A/ja
Priority to JP2023132986A priority Critical patent/JP7513816B2/ja
Application granted granted Critical
Publication of JP7335365B2 publication Critical patent/JP7335365B2/ja
Priority to JP2024104033A priority patent/JP2024114882A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本文書は、動きベクトル差分を利用した映像コーディング方法及び装置に関する。
近年、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像／ビデオのような高解像度、高品質の画像／ビデオに対する需要が様々な分野で増加している。画像／ビデオデータが高解像度、高品質になるほど、既存の画像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して画像データを送信するか、既存の格納媒体を利用して画像／ビデオデータを格納する場合、送信費用と格納費用が増加される。
また、近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム画像のように、現実画像と異なる画像特性を有する画像／ビデオに対する放送が増加している。
これにより、上記のような様々な特性を有する高解像度・高品質の画像／ビデオの情報を効果的に圧縮して送信するか、格納し、再生するために高効率の画像／ビデオ圧縮技術が求められる。
特に、映像／ビデオコーディングにおけるインター予測は、動きベクトル差分を利用することができる。前記手順に関連して、参照ピクチャタイプ（例えば、ショットターム又はロングターム参照ピクチャ）に基づいて動きベクトル差分を導出する議論がある。
本文書の一実施例によると、映像／ビデオコーディング効率を上げる方法及び装置を提供する。
本文書の一実施例によると、映像／ビデオコーディングシステムにおいて効率的なインター予測を行う方法及び装置を提供する。
本文書の一実施例によると、インター予測において動きベクトル差分に関する情報をシグナリングする方法及び装置を提供する。
本文書の一実施例によると、現在ブロックに双予測が適用される場合、Ｌ０動きベクトル差分及びＬ１動きベクトル差分に関する情報をシグナリングする方法及び装置を提供する。
本文書の実施例によると、ＳＭＶＤフラグをシグナリングする方法及び装置を提供する。
本文書の一実施例によると、対称的な動きベクトル差分の導出のために特定の参照ピクチャタイプが使用される。
本文書の一実施例によると、ショットターム参照ピクチャ（ショットターム参照のために使用されるものとしてマーキングされたピクチャ）を利用してＳＭＶＤ参照インデックスの導出手順が行われる。
本文書の一実施例によると、デコーディング装置により実行されるビデオ／映像デコーディング方法を提供する。
本文書の一実施例によると、ビデオ／映像デコーディングを実行するデコーディング装置を提供する。
本文書の一実施例によると、エンコーディング装置により実行されるビデオ／映像エンコーディング方法を提供する。
本文書の一実施例によると、ビデオ／映像エンコーディングを実行するエンコーディング装置を提供する。
本文書の一実施例によると、本文書の実施例のうち少なくとも１つに開示されたビデオ／映像エンコーディング方法によって生成されたエンコーディングされたビデオ／映像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。
本文書の一実施例によると、デコーディング装置により本文書の実施例のうち少なくとも１つに開示されたビデオ／映像デコーディング方法を実行するようにするエンコーディングされた情報またはエンコーディングされたビデオ／映像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。
本文書によると、全般的な映像／ビデオ圧縮効率を上げることができる。
本文書によると、動きベクトル差分に関する情報を効率的にシグナリングすることができる。
本文書によると、現在ブロックに双予測が適用される場合、Ｌ１動きベクトル差分を効率的に導出することができる。
本文書によると、Ｌ１動きベクトル差分の導出に利用される情報は参照ピクチャのタイプに基づいてシグナリングされ、従って、コーディングシステムの複雑度を下げることができる。
本文書の実施例によると、ＳＭＶＤのための参照ピクチャインデックスの導出のために特定の参照ピクチャタイプを用いることにより効率的なインター予測が実行できる。
本文書の具体的な一例を介して得ることができる効果は、以上で羅列された効果に制限されない。例えば、関連した技術分野の通常の知識を有する者が（ａ ｐｅｒｓｏｎ ｈａｖｉｎｇ ｏｒｄｉｎａｒｙ ｓｋｉｌｌ ｉｎ ｔｈｅ ｒｅｌａｔｅｄ ａｒｔ）が本文書から理解し、または誘導できる多様な技術的効果が存在できる。それによって、本文書の具体的な効果は、本文書に明示的に記載されたものに制限されずに、本文書の技術的特徴から理解され、または誘導されることができる多様な効果を含むことができる。
本文書の実施例に適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。 本文書の実施例に適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。 本文書の実施例に適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。 インター予測ベースのビデオ／映像エンコーディング方法の例を示す。 インター予測ベースのビデオ／映像デコーディング方法の例を示す。 インター予測手順を例示的に示す。 ＳＭＶＤを説明するための図である。 インター予測において動きベクトルを導出する方法を説明するための図である。 本文書の一実施例によるＭＭＶＤのＭＶＤ誘導方法を示す。 本文書の一実施例によるＭＭＶＤのＭＶＤ誘導方法を示す。 本文書の一実施例によるＭＭＶＤのＭＶＤ誘導方法を示す。 本文書の一実施例によるＭＭＶＤのＭＶＤ誘導方法を示す。 本文書の一実施例によるＭＭＶＤのＭＶＤ誘導方法を示す。 本文書の一実施形態によって、ＳＭＶＤを説明するための図である。 本文書の一実施形態によるＭＭＶＤの導出方法を示すフローチャートである。 本文書の一実施形態によるＭＭＶＤの導出方法を示すフローチャートである。 本文書の一実施形態によるＭＭＶＤの導出方法を示すフローチャートである。 本文書の実施形態によるビデオ／画像エンコード方法及び関連のコンポーネントの一例を概略的に示す。 本文書の実施形態によるビデオ／画像エンコード方法及び関連のコンポーネントの一例を概略的に示す。 本文書の実施形態に係る画像／ビデオデコード方法及び関連のコンポーネントの一例を概略的に示す。 本文書の実施形態に係る画像／ビデオデコード方法及び関連のコンポーネントの一例を概略的に示す。 本文書で開示された実施形態が適用できるコンテンツストリーミングシステムの例を示す。
本文書の開示は、様々な変更を加えることができ、様々な実施例を有することができるが、特定の実施例を図面に例示し、詳細に説明しようとする。しかし、これは、本開示を特定の実施例に限定しようとするわけではない。本文書で使用する用語は、単に特定の実施例を説明するために使用されたものであって、本文書における実施例の技術的思想を限定しようとする意図に使用されるものではない。単数の表現は、文脈上明らかに異なる意味ではない限り、複数の表現を含む。本文書において、「含む」又は「有する」等の用語は、文書上に記載された特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定しようとするものであり、１つ又はそれ以上の異なる特徴や、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものの存在又は付加の可能性を予め排除しないものと理解されるべきである。
一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立して示すものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するのではない。例えば、各構成のうち、２つ以上の構成を合わせて１つの構成をなすこともあり、１つの構成が複数の構成に分けられることもある。各構成が統合及び／又は分離された実施例も、本文書の開示範囲に含まれる。
以下、添付図を参照として、本文書の実施例を説明しようとする。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し得、同じ構成要素に対して重複した説明は省略され得る。
図１は、本文書の実施例が適用できるビデオ／映像コーディングシステムの例を概略的に示す。
図１に示すように、ビデオ／映像コーディングシステムは、第１の装置（ソースデバイス）及び第２の装置（受信デバイス）を備えることができる。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達することができる。
前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を備えることができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラを備えることができる。前記エンコーディング装置は、ビデオ／映像エンコーディング装置と呼ばれることができ、前記デコーディング装置は、ビデオ／映像デコーディング装置と呼ばれることができる。送信機は、エンコーディング装置に備えられることができる。受信機は、デコーディング装置に備えられることができる。レンダラは、ディスプレイ部を備えることができ、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。
ビデオソースは、ビデオ／映像のキャプチャ、合成、または生成過程などを介してビデオ／映像を取得することができる。ビデオソースは、ビデオ／映像キャプチャデバイス及び／又はビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成され得るし、この場合、関連データが生成される過程にビデオ／映像キャプチャ過程が代替されることができる。
エンコーディング装置は、入力ビデオ／映像をエンコーディングすることができる。エンコーディング装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を行うことができる。エンコーディングされたデータ（エンコーディングされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。
送信部は、ビットストリーム形態で出力されたエンコーディングされたビデオ／映像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスの受信部に伝達することができる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含むことができる。送信部は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介しての送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達することができる。
デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を行ってビデオ／映像をデコーディングすることができる。
レンダラは、デコーディングされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。
本文書は、ビデオ／映像コーディングに関する。例えば、本文書で開示された方法／実施例は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準に開示される方法に適用されることができる。また、本文書で開示された方法／実施例は、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）又は次世代ビデオ／映像コーディング標準（例えば、２６７又はＨ．２６８等）に開示される方法に適用されることができる。
本文書では、ビデオ／映像コーディングに関する多様な実施例を提示し、別の言及がない限り、前記実施例は互いに組み合わせて行うこともある。
本文書で、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定の時間帯の１つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、１つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。１つのピクチャは、１つ以上のスライス／タイルで構成されることができる。タイルは、ピクチャ内の特定のタイル列及び特定のタイル列以内のＣＴＵの四角領域である（Ａ ｔｉｌｅ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｗｉｔｈｉｎ ａ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｃｏｌｕｍｎ ａｎｄ ａ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｒｏｗ ｉｎ ａ ｐｉｃｔｕｒｅ）。前記タイル列は、ＣＴＵの四角領域であり、前記四角領域は、前記ピクチャの高さと同じ高さを有し、幅はピクチャパラメータセット内のシンタックス要素により明示され得る（Ｔｈｅ ｔｉｌｅ ｃｏｌｕｍｎ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｅｑｕａｌ ｔｏ ｔｈｅ ｈｅｉｇｈｔ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ ａｎｄ ａ ｗｉｄｔｈ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）。前記タイル行はＣＴＵの四角領域であり、前記四角領域はピクチャパラメータセット内のシンタックス要素によって明示される幅を有し、高さは前記ピクチャの高さと同一であり得る（Ｔｈｅ ｔｉｌｅ ｒｏｗ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ａｎｄ ａ ｗｉｄｔｈ ｅｑｕａｌ ｔｏ ｔｈｅ ｗｉｄｔｈ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。タイルのスキャンはピクチャをパーティショニングするＣＴＵの特定の順次オーダリングを示し得、前記ＣＴＵはタイル内のＣＴＵラスタースキャンに連続的に整列され得、ピクチャ内のタイルは、前記ピクチャの前記タイルのラスタースキャンに連続的に整列され得る（Ａ ｔｉｌｅ ｓｃａｎ ｉｓ ａ ｓｐｅｃｉｆｉｃ ｓｅｑｕｅｎｔｉａｌ ｏｒｄｅｒｉｎｇ ｏｆ ＣＴＵｓ ｐａｒｔｉｔｉｏｎｉｎｇ ａ ｐｉｃｔｕｒｅ ｉｎ ｗｈｉｃｈ ｔｈｅ ＣＴＵｓ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ＣＴＵ ｒａｓｔｅｒ ｓｃａｎ ｉｎ ａ ｔｉｌｅ ｗｈｅｒｅａｓ ｔｉｌｅｓ ｉｎ ａ ｐｉｃｔｕｒｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｔｉｌｅｓ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。スライスは単一のＮＡＬユニットに排他的に含まれ得る、整数個の完全なタイル又はピクチャのタイル内の整数個の連続的な完全なＣＴＵ行を含み得る（Ａ ｓｌｉｃｅ ｉｎｃｌｕｄｅｓ ａｎ ｉｎｔｅｇｅｒ ｎｕｍｂｅｒ ｏｆ ｃｏｍｐｌｅｔｅ ｔｉｌｅｓ ｏｒ ａｎ ｉｎｔｅｇｅｒ ｎｕｍｂｅｒ ｏｆ ｃｏｎｓｅｃｕｔｉｖｅ ｃｏｍｐｌｅｔｅ ＣＴＵ ｒｏｗｓ ｗｉｔｈｉｎ ａ ｔｉｌｅ ｏｆ ａ ｐｉｃｔｕｒｅ ｔｈａｔ ｍａｙ ｂｅ ｅｘｃｌｕｓｉｖｅｌｙ ｃｏｎｔａｉｎｅｄ ｉｎ ａ ｓｉｎｇｌｅ ＮＡＬ ｕｎｉｔ）
一方、１つのピクチャは、２つ以上のサブピクチャに区分されることができる。サブピクチャは、ピクチャ内の１つ以上のスライスの四角領域であり得る（ａｎ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ｏｎｅ ｏｒ ｍｏｒｅ ｓｌｉｃｅｓ ｗｉｔｈｉｎ ａ ｐｉｃｔｕｒｅ）。
ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、１つのピクチャ（または、映像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として、「サンプル（ｓａｍｐｌｅ）」が使用され得る。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すことができ、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。
ユニット（ｕｎｉｔ）は、映像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び当該領域に関連した情報のうち、少なくとも１つを含むことができる。１つのユニットは、１つのルマブロック及び２つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行とからなるサンプル（または、サンプルアレイ）または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。
本文書において、「Ａ又はＢ（Ａ ｏｒ Ｂ）」は、「ただＡ」、「ただＢ」、又は「Ａ及びＢ両方」を意味し得る。言い換えると、本文書において、「Ａ又はＢ（Ａ ｏｒ Ｂ）」は、「Ａ及び／又はＢ（Ａ ａｎｄ／ｏｒ Ｂ）」と解釈され得る。例えば、本文書において、「Ａ、Ｂ又はＣ（Ａ， Ｂ ｏｒ Ｃ）」は、「ただＡ」、「ただＢ」、「ただＣ」、又は「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。
本文書で使用されるスラッシュ（／）や休止符（ｃｏｍｍａ）は、「及び／又は（ａｎｄ／ｏｒ）」を意味し得る。例えば、「Ａ／Ｂ」は、「Ａ及び／又はＢ」を意味し得る。これによって、「Ａ／Ｂ」は、「ただＡ」、「ただＢ」、又は「Ａ及びＢ両方」を意味し得る。例えば、「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ又はＣ」を意味し得る。
本文書において、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「ただＡ」、「ただＢ」又は「Ａ及びＢ両方」を意味し得る。また、本文書において、「少なくとも１つのＡ又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも１つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同様に解釈され得る。
また、本文書において、「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」は、「ただＡ」、「ただＢ」、「ただＣ」、又は「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。また、「少なくとも１つのＡ、Ｂ又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ｏｒ Ｃ）」や「少なくとも１つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ／ｏｒ Ｃ）」は、「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。
また、本文書で使用される括弧は、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味し得る。具体的に、「予測（イントラ予測）」と表示された場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えると、本文書の「予測」は、「イントラ予測」に制限（ｌｉｍｉｔ）されず、「イントラ予測」が「予測」の一例として提案されたものであり得る。また、「予測（即ち、イントラ予測）」と表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。
本文書において１つの図面内で個別的に説明される技術的特徴は、個別的に具現されてもよく、同時に具現されてもよい。
図２は、本文書の実施例が適用できるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。以下、エンコーディング装置というのは、映像エンコーディング装置及び／又はビデオエンコーディング装置を含むことができる。
図２に示すように、エンコーディング装置２００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を備えて構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を備えることができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を備えることができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ、２３１）をさらに備えることができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。上述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコーディング部２４０、加算部２５０、及びフィルタリング部２６０は、実施例によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）によって構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体によって構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに備えることもできる。
映像分割部２１０は、エンコーディング装置２００に入力された入力映像（または、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本開示に係るコーディング手順が行われ得る。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使用されることができ、または、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに備えることができる。この場合、前記予測ユニット及び前記変換ユニットは、各々上述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を導く単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を導く単位であることができる。
ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）等の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すことができ、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（または、映像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使用することができる。
エンコーディング装置２００は、入力映像信号（原本ブロック、原本サンプルアレイ）でインター予測部２２１またはイントラ予測部２２２から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。この場合、図示されたように、エンコーダ２００内において入力映像信号（原本ブロック、原本サンプルアレイ）で予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは、減算部２３１と呼ばれることができる。予測部は、処理対象ブロック（以下、現在ブロックという）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、またはインター予測が適用されるか決定することができる。予測部は、各予測モードについての説明で後述するように、予測モード情報など、予測に関する様々な情報を生成してエントロピーエンコーディング部２４０に伝達することができる。予測に関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。
イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することができ、または、離れて位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは、例示であり、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使用され得る。イントラ予測部２２２は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、ＢＩ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャとは同じであることができ、異なることもできる。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌ ＣＵ）などの名前で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われ得るし、例えば、スキップモードとマージモードとの場合に、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることにより、現在ブロックの動きベクトルを指示することができる。
予測部２２０は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくことができ、またはパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われることができる。即ち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを用いることができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見なすことができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報に基づいてピクチャ内のサンプル値をシグナリングすることができる。
前記予測部（インター予測部２２１及び／又は前記イントラ予測部２２２を含む）を介して生成された予測信号は、復元信号を生成するために用いられるか、レジデュアル信号を生成するために用いられることができる。変換部２３２は、レジデュアル信号に変換技法を適用して、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）の少なくとも１つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するという際に、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて獲得される変換を意味する。また、変換過程は正方形の同じサイズを有するピクセルブロックに適用されてもよく、正方形ではない可変サイズのブロックに適用されてもよい。
量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に送信され、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームに出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列することができ、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような様々なエンコーディング方法を行うことができる。エントロピーエンコーディング部２４０は、量子化された変換係数の他に、ビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共にまたは別にエンコーディングすることもできる。エンコーディングされた情報（例えば、エンコーディングされたビデオ／映像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）等、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書において、エンコーディング装置からデコーディング装置に伝達／シグナリングされる情報及び／又はシンタックス要素は、ビデオ／映像情報に含まれることができる。前記ビデオ／映像情報は、上述したエンコーディング手順を介してエンコーディングされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含むことができる。エントロピーエンコーディング部２４０から出力された信号は、送信する送信部（図示せず）及び／又は格納する格納部（図示せず）がエンコーディング装置２００の内／外部エレメントとして構成されることができ、または送信部は、エントロピーエンコーディング部２４０に含まれることもできる。
量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元できる。加算部１５５は、復元されたレジデュアル信号をインター予測部２２１またはイントラ予測部２２２から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成され得る。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部２５０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
一方、ピクチャエンコーディング及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法についての説明で後述するように、フィルタリングに関する様々な情報を生成してエントロピーエンコーディング部２４０に伝達することができる。フィルタリングに関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。
メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使用されることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置１００とデコーディング装置における予測ミスマッチを避けることができ、符号化効率も向上させることができる。
メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１における参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコーディングされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２２１に伝達することができる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達することができる。
図３は、本文書の実施例が適用できるビデオ／映像デコーディング装置の構成を概略的に説明する図である。以下、デコーディング装置というのは、映像デコーディング装置及び／又はビデオデコーディング装置を含むことができる。
図３に示すように、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を備えて構成されることができる。予測部３３０は、イントラ予測部３３１及びインター予測部３３２を備えることができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を備えることができる。上述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施例によって１つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに備えることもできる。
ビデオ／映像情報を含むビットストリームが入力されれば、デコーディング装置３００は、図３のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元できる。例えば、デコーディング装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出できる。デコーディング装置３００は、エンコーディング装置で適用された処理ユニットを用いてデコーディングを行うことができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであることができ、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／又はターナリツリー構造にしたがって分割されることができる。コーディングユニットから１つ以上の変換ユニットが導出され得る。そして、デコーディング装置３００を介してデコーディング及び出力された復元映像信号は、再生装置を介して再生されることができる。
デコーディング装置３００は、図３のエンコーディング装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコーディング部３１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出できる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報に基づいてさらにピクチャをデコーディングすることができる。本文書において後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコーディング手順を介してデコーディングされて、前記ビットストリームから取得されることができる。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣ、またはＣＡＢＡＣなどのコーディング方法を基にビットストリーム内の情報をデコーディングし、映像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力できる。より具体的に、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各シンタックス要素に該当するビンを受信し、デコーディング対象のシンタックス要素情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前ステップでデコーディングされたシンボル／ビンの情報を利用して文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルによってビン（ｂｉｎ）の発生確率を予測してビンの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行い、各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、文脈モデル決定後、次のシンボル／ビンの文脈モデルのためにデコーディングされたシンボル／ビンの情報を利用して文脈モデルをアップデートすることができる。エントロピーデコーディング部３１０でデコーディングされた情報のうち、予測に関する情報は、予測部（インター予測部３３２及びイントラ予測部３３１）に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが行われたレジデュアル値、即ち、量子化された変換係数及び関連パラメータ情報は、レジデュアル処理部３２０に入力されることができる。レジデュアル処理部３２０は、レジデュアル信号（レジデュアルブロック、レジデュアルサンプル、レジデュアルサンプルアレイ）を導出できる。また、エントロピーデコーディング部３１０でデコーディングされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置３００の内／外部エレメントとしてさらに構成されることができ、または受信部は、エントロピーデコーディング部３１０の構成要素であることもできる。一方、本文書に係るデコーディング装置は、ビデオ／映像／ピクチャデコーディング装置と呼ばれることができ、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部３１０を備えることができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、加算部３４０、フィルタリング部３５０、メモリ３６０、インター予測部３３２、及びイントラ予測部３３１のうち、少なくとも１つを備えることができる。
逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力できる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコーディング装置で行われた係数スキャン順序に基づいて再整列を行うことができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。
逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコーディング部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるか決定することができ、具体的なイントラ／インター予測モードを決定できる。
予測部３３０は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくことができ、またはパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われることができる。即ち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見なすことができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報が前記ビデオ／映像情報に含まれてシグナリングされることができる。
イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することができ、または離れて位置することができる。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、ＢＩ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを備えることができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出できる。様々な予測モードに基づいてインター予測が行われ得るし、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。
加算部３４０は、取得されたレジデュアル信号を予測部（インター予測部３３２及び／又はイントラ予測部３３１を備える）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。
加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されることができ、または次のピクチャのインター予測のために使用されることもできる。
一方、ピクチャデコーディング過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使用されることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコーディングされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納できる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納でき、イントラ予測部３３１に伝達することができる。
本明細書において、エンコーディング装置２００のフィルタリング部２６０、インター予測部２２１、及びイントラ予測部２２２で説明された実施例等は、各々デコーディング装置３００のフィルタリング部３５０、インター予測部３３２、及びイントラ予測部３３１にも同一または対応するように適用されることができる。
前述したように、ビデオコーディングを実行するにあたって、圧縮効率を上げるために予測を実行する。これを介してコーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコーディング装置及びデコーディング装置で同じく導出され、前記エンコーディング装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコーディング装置にシグナリングすることで映像コーディング効率を上げることができる。デコーディング装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックとを合わせて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。
前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出することで、関連したレジデュアル情報を（ビットストリームを介して）デコーディング装置にシグナリングできる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化／逆変換の手順を実行してレジデュアルサンプル（または、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。
本文書において、量子化／逆量子化及び／または変換／逆変換のうち少なくとも１つは、省略されることができる。前記量子化／逆量子化が省略される場合、前記量子化された変換係数は、変換係数と呼ばれることができる。前記変換／逆変換が省略される場合、前記変換係数は、係数またはレジデュアル係数と呼ばれることもでき、または、表現の統一性のために、依然として変換係数と呼ばれることもできる。
本文書において、量子化された変換係数及び変換係数は、各々、変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と呼ばれることができる。この場合、レジデュアル情報は、変換係数に関する情報を含むことができ、前記変換係数に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。前記レジデュアル情報（または、前記変換係数に関する情報）に基づいて変換係数が導出されることができ、前記変換係数に対する逆変換（スケーリング）を介してスケーリングされた変換係数が導出されることができる。前記スケーリングされた変換係数に対する逆変換（変換）に基づいてレジデュアルサンプルが導出されることができる。これは本文書の他の部分でも同様に適用／表現されることができる。
イントラ予測は、現在ブロックが属するピクチャ（以下、現在ピクチャという）内の参照サンプルに基づいて現在ブロックに対する予測サンプルを生成する予測を示すことができる。現在ブロックにイントラ予測が適用される場合、現在ブロックのイントラ予測に使用する隣接参照サンプルが導出されることができる。前記現在ブロックの隣接参照サンプルは、ｎＷ×ｎＨの大きさの現在ブロックの左側（ｌｅｆｔ）境界に隣接したサンプル及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣接した総２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接したサンプル及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣接した総２×ｎＷ個のサンプル及び現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）に隣接した１個のサンプルを含むことができる。または、前記現在ブロックの隣接参照サンプルは、複数列の上側隣接サンプル及び複数行の左側隣接サンプルを含むこともできる。また、前記現在ブロックの隣接参照サンプルは、ｎＷ×ｎＨ大きさの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接した総ｎＨ個のサンプル、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接した総ｎＷ個のサンプル及び現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣接した１個のサンプルを含むこともできる。
ただし、現在ブロックの隣接参照サンプルのうち一部は、まだデコーディングされない、または利用可能でない場合がある。この場合、デコーダは、利用可能なサンプルとして利用可能でないサンプルを代替（ｓｕｂｓｔｉｔｕｔｉｏｎ）して予測に使用する隣接参照サンプルを構成することができる。または、利用可能なサンプルの補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を介して予測に使用する隣接参照サンプルを構成することができる。
隣接参照サンプルが導出された場合、（ｉ）現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）または補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ｉｉ）現在ブロックの隣接参照サンプルのうち、予測サンプルに対して特定（予測）方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。（ｉ）の場合は、非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｏｎａｌ）モードまたは非角度（ｎｏｎ－ａｎｇｕｌａｒ）モードと呼ばれ、（ｉｉ）の場合は、方向性（ｄｉｒｅｃｔｉｏｎａｌ）モードまたは角度（ａｎｇｕｌａｒ）モードと呼ばれることができる。
また、前記隣接参照サンプルのうち前記現在ブロックの予測サンプルを基準にして、前記現在ブロックのイントラ予測モードの予測方向に位置する第１の隣接サンプルと前記予測方向の反対方向に位置する第２の隣接サンプルとの補間を介して前記予測サンプルが生成されることもできる。前述した場合は、線形補間イントラ予測（Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＬＩＰ）と呼ばれることができる。また、線形モデル（ｌｉｎｅａｒ ｍｏｄｅｌ）を利用してルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。この場合は、ＬＭモードと呼ばれることができる。
また、フィルタリングされた隣接参照サンプルに基づいて前記現在ブロックの臨時予測サンプルを導出し、前記既存の隣接参照サンプル、即ち、フィルタリングされない隣接参照サンプルのうち、前記イントラ予測モードによって導出された少なくとも１つの参照サンプルと前記臨時予測サンプルとを加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）して前記現在ブロックの予測サンプルを導出することもできる。前述した場合は、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。
また、現在ブロックの隣接多重参照サンプルラインの中から最も予測正確度が高い参照サンプルラインを選択して該当ラインで予測方向に位置する参照サンプルを利用して予測サンプルを導出し、この時に使われた参照サンプルラインをデコーディング装置に指示（シグナリング）する方法でイントラ予測符号化を実行することができる。前述した場合は、多重参照ライン（ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ）イントラ予測またはＭＲＬベースのイントラ予測と呼ばれることができる。
また、現在ブロックを垂直または水平のサブパーティションに分けて同じイントラ予測モードに基づいてイントラ予測を実行し、前記サブパーティション単位で隣接参照サンプルを導出して利用できる。即ち、この場合、現在ブロックに対するイントラ予測モードが前記サブパーティションに同じく適用され、前記サブパーティション単位で隣接参照サンプルを導出して利用することによって、場合によって、イントラ予測性能を高めることができる。このような予測方法は、ＩＳＰ（ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ）ベースのイントラ予測と呼ばれることができる。
前述したイントラ予測方法は、イントラ予測モードと区分してイントラ予測タイプと呼ばれることができる。前記イントラ予測タイプは、イントラ予測技法または付加イントラ予測モードなど、多様な用語で呼ばれることができる。例えば、前記イントラ予測タイプ（または、付加イントラ予測モードなど）は、前述したＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰのうち少なくとも１つを含むことができる。前記ＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰなどの特定イントラ予測タイプを除外した一般イントラ予測方法は、ノーマルイントラ予測タイプと呼ばれることができる。ノーマルイントラ予測タイプは、前記のような特定イントラ予測タイプが適用されない場合、一般的に適用されることができ、前述したイントラ予測モードに基づいて予測が実行されることができる。一方、必要によって、導出された予測サンプルに対する後処理フィルタリングが実行されることもできる。
具体的に、イントラ予測手順は、イントラ予測モード／タイプ決定ステップ、隣接参照サンプル導出ステップ、イントラ予測モード／タイプベースの予測サンプル導出ステップを含むことができる。また、必要によって、導出された予測サンプルに対する後処理フィルタリング（ｐｏｓｔ－ｆｉｌｔｅｒｉｎｇ）ステップが実行されることもできる。
イントラ予測が適用される場合、隣接ブロックのイントラ予測モードを利用して現在ブロックに適用されるイントラ予測モードが決定されることができる。例えば、デコーディング装置は、現在ブロックの隣接ブロック（例えば、左側及び／または上側隣接ブロック）のイントラ予測モード及び追加的な候補モードに基づいて導出されたＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）リスト内のＭＰＭ候補のうち１つを、受信されたＭＰＭインデックスに基づいて選択でき、または、前記ＭＰＭ候補（及びプラナーモード）に含まれない残りのイントラ予測モードのうち１つを、リメイニングイントラ予測モード情報に基づいて選択できる。前記ＭＰＭリストは、プラナーモードを候補として含む場合または含まない場合で構成されることができる。例えば、前記ＭＰＭリストがプラナーモードを候補として含む場合、前記ＭＰＭリストは、６個の候補を有することができ、前記ＭＰＭリストがプラナーモードを候補として含まない場合、前記ＭＰＭリストは、５個の候補を有することができる。前記ＭＰＭリストがプラナーモードを候補として含まない場合、現在ブロックのイントラ予測モードがプラナーモードでないかことを示すｎｏｔプラナーフラグ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ）がシグナリングされることができる。例えば、ＭＰＭフラグが先にシグナリングされ、ＭＰＭインデックス及びｎｏｔプラナーフラグは、ＭＰＭフラグの値が１である場合にシグナリングされることができる。また、前記ＭＰＭインデックスは、前記ｎｏｔプラナーフラグの値が１である場合にシグナリングされることができる。ここで、前記ＭＰＭリストがプラナーモードを候補として含まないように構成されることは、前記プラナーモードがＭＰＭでないことを意味するより、ＭＰＭとして常にプラナーモードが考慮されるため、先にフラグ（ｎｏｔ ｐｌａｎａｒ ｆｌａｇ）をシグナリングしてプラナーモードであるかどうかを先に確認するためである。
例えば、現在ブロックに適用されるイントラ予測モードがＭＰＭ候補（及びプラナーモード）内にあるか、または、リメイニングモード内にあるかは、ＭＰＭフラグ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）に基づいて指示されることができる。ＭＰＭフラグの値１は、前記現在ブロックに対するイントラ予測モードがＭＰＭ候補（及びプラナーモード）内にあることを示すことができ、ＭＰＭ ｆｌａｇの値０は、前記現在ブロックに対するイントラ予測モードがＭＰＭ候補（及びプラナーモード）内に無いことを示すことができる。前記ｎｏｔプラナーフラグ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ）値０は、前記現在ブロックに対するイントラ予測モードがプラナーモードであることを示すことができ、前記ｎｏｔプラナーフラグ値１は、前記現在ブロックに対するイントラ予測モードがプラナーモードでないことを示すことができる。前記ＭＰＭインデックスは、ｍｐｍ＿ｉｄｘまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘシンテックス要素の形態でシグナリングされることができ、前記リメイニングイントラ予測モード情報は、ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒシンテックス要素の形態でシグナリングされることができる。例えば、前記リメイニングイントラ予測モード情報は、全体イントラ予測モードのうち前記ＭＰＭ候補（及びプラナーモード）に含まれない残りのイントラ予測モードを予測モード番号順にインデキシングしてそのうち１つを指すことができる。前記イントラ予測モードは、ルマ成分（サンプル）に対するイントラ予測モードである。以下、イントラ予測モード情報は、前記ＭＰＭ ｆｌａｇ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）、前記ｎｏｔ ｐｌａｎａｒ ｆｌａｇ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ）、前記ＭＰＭインデックス（例えば、ｍｐｍ＿ｉｄｘまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）、前記リメイニングイントラ予測モード情報（ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）のうち少なくとも１つを含むことができる。本文書において、ＭＰＭリストは、ＭＰＭ候補リスト、ｃａｎｄＭｏｄｅＬｉｓｔなど、多様な用語で呼ばれることができる。ＭＩＰが現在ブロックに適用される場合、ＭＩＰのための別途のｍｐｍ ｆｌａｇ（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｆｌａｇ）、ｍｐｍインデックス（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｉｄｘ）、リメイニングイントラ予測モード情報（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）がシグナリングされることができ、前記ｎｏｔ ｐｌａｎａｒ ｆｌａｇはシグナリングされない。
即ち、一般的に映像に対するブロック分割になると、コーディングしようとする現在ブロックと隣接（ｎｅｉｇｈｂｏｒｉｎｇ）ブロックは、類似する映像特性を有するようになる。したがって、現在ブロックと隣接ブロックは、互いに同じまたは類似するイントラ予測モードを有する確率が高い。したがって、エンコーダは、現在ブロックのイントラ予測モードをエンコーディングするために、隣接ブロックのイントラ予測モードを利用することができる。
例えば、エンコーダ／デコーダは、現在ブロックに対するＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅｓ）リストを構成することができる。前記ＭＰＭリストは、ＭＰＭ候補リストと示すこともできる。ここで、ＭＰＭとは、イントラ予測モードコーディング時、現在ブロックと隣接ブロックの類似性を考慮してコーディング効率を向上させるために利用されるモードを意味することができる。前述したように、ＭＰＭリストは、プラナーモードを含んで構成されることもでき、または、プラナーモードを除外して構成されることもできる。例えば、ＭＰＭリストがプラナーモードを含む場合、ＭＰＭリストの候補の個数は６個である。そして、ＭＰＭリストがプラナーモードを含まない場合、ＭＰＭリストの候補の個数は５個である。
エンコーダ／デコーダは、５個または６個のＭＰＭを含むＭＰＭリストを構成することができる。
ＭＰＭリストを構成するために、デフォルトイントラモード（Ｄｅｆａｕｌｔ ｉｎｔｒａ ｍｏｄｅｓ）、隣接イントラモード（Ｎｅｉｇｈｂｏｕｒ ｉｎｔｒａ ｍｏｄｅｓ）、及び導出されたイントラモード（Ｄｅｒｉｖｅｄ ｉｎｔｒａ ｍｏｄｅｓ）の３つの種類のモードが考慮されることができる。
前記隣接イントラモードのために、２つの隣接ブロック、即ち、左側隣接ブロック及び上側隣接ブロックが考慮されることができる。
前述したように、もし、ＭＰＭリストがプラナーモードを含まないように構成する場合、前記リストからプラナー（ｐｌａｎａｒ）モードが除外され、前記ＭＰＭリスト候補の個数は、５個に設定されることができる。
また、イントラ予測モードのうち、非方向性モード（または、非角度モード）は、現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）ベースのＤＣモードまたは補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）ベースのプラナー（ｐｌａｎａｒ）モードを含むことができる。
インター予測が適用される場合、エンコーディング装置／デコーディング装置の予測部は、ブロック単位でインター予測を行って予測サンプルを導出することができる。インター予測は、現在ピクチャ以外のピクチャのデータ要素（例えば、サンプル値、又は動き情報）に依存的な方法で導出される予測を示すことができる。現在ブロックにインター予測が適用される場合、参照ピクチャのインデックスの指す参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロック（予測サンプルアレイ）を誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、現在ブロックの動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャのインデックスを含むことができる。前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、ＢＩ予測等）の情報を更に含むことができる。インター予測が適用される場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間的隣接ブロックを含む参照ピクチャとは同一であってもよく、異なってもよい。前記時間的隣接ブロックは、同じ位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同じ位置ＣＵ（ｃｏｌＣＵ）等の名称で呼ばれ得、前記時間的隣接ブロックを含む参照ピクチャは、同じ位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもある。例えば、現在ブロックの隣接ブロックに基づいて動き情報の候補リストが構成されることができ、前記現在ブロックの動きベクトル及び／又は参照ピクチャのインデックスを導出するために、どの候補が選択（使用）されるかを指示するフラグ又はインデックス情報がシグナリングされることができる。様々な予測モードに基づいてインター予測が行われ、例えば、スキップモードとマージモードの場合、現在ブロックの動き情報は、選択された隣接ブロックの動き情報を同一であり得る。スキップモードの場合、マージモードと異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、選択された隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）はシグナリングされることができる。この場合、前記動きベクトル予測子及び動きベクトル差分の和を用いて、前記現在ブロックの動きベクトルを導出することができる。
前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、ＢＩ予測等）に応じて、Ｌ０動き情報及び／又はＬ１動き情報を含むことができる。Ｌ０方向の動きベクトルは、Ｌ０動きベクトル又はＭＶＬ０と呼ばれ得、Ｌ１方向の動きベクトルは、Ｌ１動きベクトル又はＭＶＬ１と呼ばれ得る。Ｌ０動きベクトルに基づいた予測は、Ｌ０予測と呼ばれ得、Ｌ１動きベクトルに基づいた予測をＬ１予測と呼ばれ得、前記Ｌ０動きベクトル及び前記Ｌ１動きベクトルの両方に基づいた予測を双（Ｂｉ）予測と呼ばれ得る。ここで、Ｌ０動きベクトルは、参照ピクチャリストＬ０（Ｌ０）に関連した動きベクトルを示すことができ、Ｌ１動きベクトルは、参照ピクチャリストＬ１（Ｌ１）に関連した動きベクトルを示すことができる。参照ピクチャリストＬ０は、前記現在ピクチャよりも、出力順序上、以前のピクチャを参照ピクチャに含むことができ、参照ピクチャリストＬ１は、前記現在ピクチャよりも、出力順序上、以後のピクチャを含むことができる。前記以前のピクチャは、順方向（参照）ピクチャと呼ばれ得、前記以後のピクチャは、逆方向（参照）ピクチャと呼ばれ得る。前記参照ピクチャリストＬ０は、前記現在ピクチャよりも、出力順序上、以後のピクチャを参照ピクチャにさらに含むことができる。この場合、前記参照ピクチャリストＬ０内で前記以前のピクチャが先にインデキシングされ、前記以後のピクチャは、その後にインデキシングされ得る。前記参照ピクチャリストＬ１は、前記現在ピクチャよりも、出力順序上、以前のピクチャを参照ピクチャにさらに含むことができる。この場合、前記参照ピクチャリスト１内で前記以後のピクチャが先にインデキシングされ、前記以前のピクチャは、その後にインデキシングされ得る。ここで、出力順序は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序（ｏｒｄｅｒ）に対応し得る。
インター予測に基づくビデオ／映像エンコーディング手順は概略的に、例えば以下を含む。
図４は、インター予測ベースのビデオ／映像エンコーディング方法の例を示す。
エンコーディング装置は、現在ブロックに対するインター予測を行う（Ｓ４００）。エンコーディング装置は、現在ブロックのインター予測モード及び動き情報を導出し、前記ブロックの予測サンプルを生成する。ここで、インター予測モード決定、動き情報導出及び予測サンプル生成の手順は同時に行われてもよく、ある１つの手順が他の手順より先に行われてもよい。例えば、エンコーディング装置のインター予測部は、予測モード決定部、動き情報導出部、予測サンプル導出部を含み、予測モード決定部において前記現在ブロックに対する予測モードを決定し、動き情報導出部において前記現在ブロックの動き情報を導出し、予測サンプル導出部において前記現在ブロックの予測サンプルを導出する。例えば、エンコーディング装置のインター予測部は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）により参照ピクチャの一定領域（サーチ領域）内において前記現在ブロックと類似したブロックをサーチし、前記現在ブロックとの差が最小又は一定基準以下である参照ブロックを導出する。これに基づいて前記参照ブロックが位置する参照ピクチャを指す参照ピクチャインデックスを導出し、前記参照ブロックと前記現在ブロックの位置差に基づいて動きベクトルを導出することができる。エンコーディング装置は、様々な予測モードのうち前記現在ブロックに対して適用されるモードを決定する。エンコーディング装置は、前記様々な予測モードに対するＲＤ ｃｏｓｔを比較し、前記現在ブロックに対する最適の予測モードを決定することができる。
例えば、エンコーディング装置は、前記現在ブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、前記マージ候補リストに含まれるマージ候補が指す参照ブロックのうち前記現在ブロックとの差が最小又は一定基準以下である参照ブロックを導出することができる。この場合、前記導出された参照ブロックに関連するマージ候補が選択され、前記選択されたマージ候補を指すマージインデックス情報が生成されてデコーディング装置にシグナリングされる。前記選択されたマージ候補の動き情報を利用して前記現在ブロックの動き情報が導出されることができる。
他の例として、エンコーディング装置は、前記現在ブロックに（Ａ）ＭＶＰモードが適用される場合、後述する（Ａ）ＭＶＰ候補リストを構成し、前記（Ａ）ＭＶＰ候補リストに含まれるｍｖｐ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補のうち選択されたｍｖｐ候補の動きベクトルを前記現在ブロックのｍｖｐとして利用できる。この場合、例えば、前述の動き推定により導出された参照ブロックを指す動きベクトルが前記現在ブロックの動きベクトルとして利用されることができ、前記ｍｖｐ候補のうち前記現在ブロックの動きベクトルとの差が最も小さい動きベクトルを有するｍｖｐ候補が前記選択されたｍｖｐ候補となり得る。前記現在ブロックの動きベクトルから前記ｍｖｐを引いた差分であるＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が導出されることができる。その場合、前記ＭＶＤに関する情報がデコーディング装置にシグナリングされることができる。また、（Ａ）ＭＶＰモードが適用される場合、前記参照ピクチャインデックスの値は参照ピクチャインデックス情報で構成され、別途に前記デコーディング装置にシグナリングされる。
エンコーディング装置は、前記予測サンプルに基づいてレジデュアルサンプルを導出する（Ｓ４１０）。エンコーディング装置は、前記現在ブロックの原本サンプルと前記予測サンプルを比較することにより、前記レジデュアルサンプルを導出することができる。
エンコーディング装置は、予測情報やレジデュアル情報を含む映像情報をエンコーディングする（Ｓ４２０）。エンコーディング装置は、エンコーディングされた映像情報をビットストリーム形態で出力する。前記予測情報は、前記予測手順に関連する情報であり、予測モード情報（例えは、ｓｋｉｐ ｆｌａｇ、ｍｅｒｇｅ ｆｌａｇ又はｍｏｄｅ ｉｎｄｅｘなど）及び動き情報に関する情報を含む。前記動き情報に関する情報は、動きベクトルを導出するための情報である候補選択情報（例えば、ｍｅｒｇｅ ｉｎｄｅｘ、ｍｖｐ ｆｌａｇ又はｍｖｐ ｉｎｄｅｘ）を含む。また、前記動き情報に関する情報は、前述のＭＶＤに関する情報及び／又は参照ピクチャインデックス情報を含む。また、前記動き情報に関する情報は、Ｌ０予測、Ｌ１予測、又は双（ｂｉ）予測が適用されるか否かを示す情報を含む。前記レジデュアル情報は、前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含む。
出力されたビットストリームは、（デジタル）格納媒体に格納されてデコーディング装置に伝達されてもよく、また、ネットワークを介してデコーディング装置に伝達されてもよい。
一方、前述のように、エンコーディング装置は、前記参照サンプル及び前記レジデュアルサンプルに基づいて復元ピクチャ（復元サンプル及び復元ブロックを含む）を生成する。これは、デコーディング装置で行われるのと同一の予測結果をエンコーディング装置から導出するためであり、これにより、コーディング効率を高めることができるからである。従って、エンコーディング装置は、復元ピクチャ（又は、復元サンプル、復元ブロック）をメモリに格納し、インター予測のための参照ピクチャとして活用することができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できることは前述の通りである。
インター予測に基づくビデオ／映像デコーディング手順は、概略的に、例えば以下を含む。
図５は、インター予測ベースのビデオ／映像デコーディング方法の例を示す。
図５に示すように、デコーディング装置は、前記エンコーディング装置で行われた動作と対応する動作を行う。デコーディング装置は、受信された予測情報に基づいて現在ブロックで予測を行い、予測サンプルを導出することができる。
具体的に、デコーディング装置は、受信された予測情報に基づいて前記現在ブロックに対する予測モードを決定する（Ｓ５００）。デコーディング装置は、前記予測情報内の予測モード情報に基づいて前記現在ブロックにどのインター予測モードが適用されるかを決定することができる。
例えば、前記ｍｅｒｇｅ ｆｌａｇに基づいて前記現在ブロックに前記マージモードが適用されるか、又は、（Ａ）ＭＶＰモードが決定されるか否かを決定することができる。または、前記ｍｏｄｅ ｉｎｄｅｘに基づいて様々なインター予測モード候補のいずれか１つを選択することができる。前記インター予測モード候補は、スキップモード、マージモード及び／又は（Ａ）ＭＶＰモードを含み、または、後述する様々なインター予測モードを含む。
デコーディング装置は、前記決定されたインター予測モードに基づいて前記現在ブロックの動き情報を導出する（Ｓ５１０）。例えば、デコーディング装置は、前記現在ブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、前記マージ候補リストに含まれたマージ候補のいずれか１つのマージ候補を選択する。前記選択は、前述の選択情報（ｍｅｒｇｅ ｉｎｄｅｘ）に基づいて行われる。前記選択されたマージ候補の動き情報を利用して前記現在ブロックの動き情報を導出することができる。前記選択されたマージ候補の動き情報が前記現在ブロックの動き情報として利用されることができる。
他の例として、デコーディング装置は、前記現在ブロックに（Ａ）ＭＶＰモードが適用される場合、後述の（Ａ）ＭＶＰ候補リストを構成し、前記（Ａ）ＭＶＰ候補リストに含まれたｍｖｐ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補のうち選択されたｍｖｐ候補の動きベクトルを前記現在ブロックのｍｖｐとして利用できる。前記選択は、前述の選択情報（ｍｖｐ ｆｌａｇ又はｍｖｐ ｉｎｄｅｘ）に基づいて行われる。この場合、前記ＭＶＤに関する情報に基づいて前記現在ブロックのＭＶＤを導出することができ、前記現在ブロックのｍｖｐと前記ＭＶＤに基づいて前記現在ブロックの動きベクトルを導出することができる。また、前記参照ピクチャインデックス情報に基づいて前記現在ブロックの参照ピクチャインデックスを導出することができる。前記現在ブロックに関する参照ピクチャリスト内において前記参照ピクチャインデックスが指すピクチャが前記現在ブロックのインター予測のために参照される参照ピクチャとして導出されることができる。
一方、後述のように候補リストの構成なしに前記現在ブロックの動き情報が導出されることができ、この場合、後述の予測モードにおいて開示された手順に従って前記現在ブロックの動き情報が導出されることができる。この場合、前述のような候補リスト構成は省略されてもよい。
デコーディング装置は、前記現在ブロックの動き情報に基づいて前記現在ブロックに対する予測サンプルを生成する（Ｓ５２０）。この場合、前記現在ブロックの参照ピクチャインデックスに基づいて前記参照ピクチャを導出し、前記現在ブロックの動きベクトルが前記参照ピクチャ上で指す参照ブロックのサンプルを利用して前記現在ブロックの予測サンプルを導出することができる。この場合、後述のように、場合によって、前記現在ブロックの予測サンプルのうち全部又は一部に対する予測サンプルフィルタリングの手順がさらに行われることがある。
例えば、デコーディング装置のインター予測部は、予測モード決定部、動き情報導出部、予測サンプル導出部を含み、予測モード決定部で受信された予測モード情報に基づいて前記現在ブロックに対する予測モードを決定し、動き情報導出部で受信された動き情報に関する情報に基づいて前記現在ブロックの動き情報（動きベクトル及び／又は参照ピクチャインデックスなど）を導出し、予測サンプル導出部から前記現在ブロックの予測サンプルを導出することができる。
デコーディング装置は、受信されたレジデュアル情報に基づいて前記現在ブロックに対するレジデュアルサンプルを生成する（Ｓ５３０）。デコーディング装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、これに基づいて復元ピクチャを生成する（Ｓ５４０）。以後、前記復元ピクチャにインループフィルタリング手順などがさらに適用できることは前述の通りである。
図６は、インター予測手順を例示的に示す。
図６を参照すると、前述のように、インター予測手順は、インター予測モード決定ステップ、決定された予測モードに応じる動き情報の導出ステップ、導出された動き情報に基づく予測実行（予測サンプル生成）ステップを含む。前記インター予測手順は、前述のように、エンコーディング装置及びデコーディング装置において行われる。本文書において、コーディング装置とは、エンコーディング装置及び／又はデコーディング装置を含む。
図６に示すように、コーディング装置は現在ブロックに対するインター予測モードを決定する（Ｓ６００）。ピクチャ内の現在ブロックの予測のために様々なインター予測モードが使用できる。例えば、マージモード、スキップモード、ＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モード、アフィン（Ａｆｆｉｎｅ）モード、サブブロックマージモード、ＭＭＶＤ（ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）モードなどの様々なモードが使用できる。ＤＭＶＲ（Ｄｅｃｏｄｅｒ ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）モード、ＡＭＶＲ（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）モード、Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ ｗｅｉｇｈｔ（ＢＣＷ）、Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ（ＢＤＯＦ）などが付随的なモードとしてさらに又は代わりに使用されることができる。アフィンモードは、アフィン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれてもよい。ＭＶＰモードは、「ＡＭＶＰ（ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれてもよい。本文書において、一部のモード及び／又は一部のモードにより導出された動き情報候補は、他のモードの動き情報関連候補の１つとして含まれることもある。例えば、ＨＭＶＰ候補は前記マージ／スキップモードのマージ候補として追加されてもよく、または前記ＭＶＰモードのｍｖｐ候補として追加されてもよい。前記ＨＭＶＰ候補が前記マージモード又はスキップモードの動き情報候補として使用される場合、前記ＨＭＶＰ候補はＨＭＶＰマージ候補と呼ばれてもよい。
現在ブロックのインター予測モードを指す予測モード情報がエンコーディング装置からデコーディング装置にシグナリングされることができる。前記予測モード情報はビットストリームに含まれてデコーディング装置に受信されることができる。前記予測モード情報は、多数の候補モードのうち１つを指示するインデックス情報を含む。または、フラグ情報の階層的シグナリングを介してインター予測モードを指示することもできる。この場合、前記予測モード情報は１つ以上のフラグを含む。例えば、スキップフラグをシグナリングしてスキップモードが適用されるか否かを指示し、スキップモードが適用されない場合にマージフラグをシグナリングしてマージモードが適用されるか否かを指示し、マージモードが適用されない場合にＭＶＰモードが適用されると指示するか、追加的な区分のためのフラグをさらにシグナリングすることもできる。アフィンモードは独立的なモードでシグナリングされてもよく、またはマージモード又はＭＶＰモードなどに従属的なモードでシグナリングされてもよい。例えば、アフィンモードは、アフィンマージモード及びアフィンＭＶＰモードを含む。
一方、現在ブロックに前述のｌｉｓｔ０（Ｌ０）予測、ｌｉｓｔ１（Ｌ１）予測、または双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が現在ブロック（現在コーディングユニット）に使用されるか否かを示す情報がシグナリングされることができる。前記情報は、動き予測方向情報、インター予測方向情報またはインター予測指示情報と呼ばれてもよく、例えば、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃシンタックス要素の形態で構成／エンコーディング／シグナリングされることができる。すなわち、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃシンタックス要素は、前述のｌｉｓｔ０（Ｌ０）予測、ｌｉｓｔ１（Ｌ１）予測、または双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が現在ブロック（現在コーディングユニット）に使用されるか否かを示すことができる。本文書においては、説明の便宜のために、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃシンタックス要素が指すインター予測タイプ（Ｌ０予測、Ｌ１予測、又はＢＩ予測）は動き予測方向であると表示されてもよい。Ｌ０予測はｐｒｅｄ＿Ｌ０、Ｌ１予測はｐｒｅｄ＿Ｌ１、双予測はｐｒｅｄ＿ＢＩと表されてもよい。例えば、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃシンタックス要素の値によって以下のような予測タイプを示すことができる。
前述のように、１つのピクチャは１つ以上のスライスを含む。スライスは、Ｉ（ｉｎｔｒａ）スライス、Ｐ（ｐｒｅｄｉｃｔｉｖｅ）スライス及びＢ（ｂｉ－ｐｒｅｄｉｃｔｉｖｅ）スライスを含むスライスタイプのうち１つのタイプを有することができる。前記スライスタイプは、スライスタイプの情報に基づいて指示される。Ｉスライス内のブロックに対しては予測のためにインター予測は使われずにイントラ予測のみが使用される。もちろん、この場合にも予測なしに原本サンプル値をコーディングしてシグナリングすることもできる。Ｐスライス内のブロックに対してはイントラ予測又はインター予測が使用され、インター予測が使用される場合は単（ｕｎｉ）予測のみが使用されることができる。一方、Ｂスライス内のブロックに対してはイントラ予測又はインター予測が使用され、インター予測が使用される場合は最大双（ｂｉ）予測まで使用されることができる。
Ｌ０及びＬ１は現在ピクチャより以前にエンコーディング／デコーディングされた参照ピクチャを含む。例えば、Ｌ０はＰＯＣ順序上、現在ピクチャより以前及び／又は以後の参照ピクチャを含み、Ｌ１はＰＯＣ順序上、現在ピクチャより以後及び／又は以前の参照ピクチャを含む。この場合、Ｌ０にはＰＯＣ順序上、現在ピクチャより以前の参照ピクチャに相対的にさらに低い参照ピクチャインデックスが割り当てられ、Ｌ１にはＰＯＣ順序上、現在ピクチャより以後の参照ピクチャに相対的にさらに低い参照ピクチャインデックスが割り当てられる。Ｂスライスの場合、双予測が適用され、この場合にも単方向双予測が適用されてもよく、または双方向双予測が適用されてもよい。双方向双予測は真（ｔｒｕｅ）双予測とも呼ばれる。
次の表は、本文書の一実施例によるコーディングユニットに関するシンタックスを示す。
前記表２を参照すると、ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇは一般マージが利用可能であることを示し、ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇの値が１であるときはｒｅｇｕｌａｒ ｍｅｒｇｅ ｍｏｄｅ、ｍｍｖｄ ｍｏｄｅ及びｍｅｒｇｅ ｓｕｂｂｌｏｃｋ ｍｏｄｅ（ｓｕｂｂｌｏｃｋ ｍｅｒｇｅ ｍｏｄｅ）が利用可能である。例えば、ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇの値が１であるときにｍｅｒｇｅ ｄａｔａ ｓｙｎｔａｘがエンコーディングされたビデオ／イメージ情報（又は、ビットストリーム）からパーシングされることができ、ｍｅｒｇｅ ｄａｔａ ｓｙｎｔａｘは、次の表のような情報を含むように構成／コーディングされる。
コーディング装置は、前記現在ブロックに対する動き情報を導出する（Ｓ６１０）。前記動き情報の導出を前記インター予測モードに基づいて導出することができる。
コーディング装置は、現在ブロックの動き情報を利用してインター予測を行うことができる。エンコーディング装置は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）手順を介して現在ブロックに対する最適の動き情報を導出することができる。例えば、エンコーディング装置は、現在ブロックに対する原本ピクチャ内の原本ブロックを利用して相関性の高い類似した参照ブロックを参照ピクチャ内の決められた探索範囲内において分数ピクセル単位で探索し、これにより動き情報を導出することができる。ブロックの類似性は、位相（ｐｈａｓｅ）ベースのサンプル値の差に基づいて導出することができる。例えば、ブロックの類似性は、現在ブロック（又は、現在ブロックのテンプレート）と参照ブロック（又は、参照ブロックのテンプレート）間のＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ）に基づいて計算されることができる。この場合、探索領域内のＳＡＤが最も小さい参照ブロックに基づいて動き情報を導出することができる。導出された動き情報は、インター予測モードに基づいて様々な方法によってデコーディング装置にシグナリングされる。
コーディング装置は、前記現在ブロックに対する動き情報に基づいてインター予測を行う（Ｓ６２０）。コーディング装置は、前記動き情報に基づいて前記現在ブロックに対する予測サンプルを導出することができる。前記予測サンプルを含む現在ブロックは、予測されたブロックと呼ばれてもよい。
マージモード（ｍｅｒｇｅ ｍｏｄｅ）が適用される場合、現在予測ブロックの動き情報が直接的に送信されることなく、周辺予測ブロックの動き情報を利用して前記現在予測ブロックの動き情報を誘導する。従って、マージモードを利用したことを示すフラグ情報及び周辺のどの予測ブロックを利用したのかを示すマージインデックスを送信することにより、現在予測ブロックの動き情報を指示することができる。前記マージモードはｒｅｇｕｌａｒ ｍｅｒｇｅ ｍｏｄｅと呼ばれてもよい。
エンコーダは、マージモードを行うために、現在予測ブロックの動き情報を誘導するために用いられるマージ候補ブロック（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｂｌｏｃｋ）をサーチしなければならない。例えば、前記マージ候補ブロックは最大５個まで利用できるが、本文書の実施例はこれに限定されない。そして、前記マージ候補ブロックの最大個数はスライスヘッダ又はタイルグループヘッダにおいて送信される。前記マージ候補ブロックを見つけた後、エンコーダはマージ候補リストを生成し、これらのうち最小費用を有するマージ候補ブロックを最終マージ候補ブロックとして選択することができる。
前記マージ候補リストは、例えば、５つのマージ候補ブロックを利用することができる。例えば、４つの空間的マージ候補（ｓｐａｔｉａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）と１つの時間的マージ候補（ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を利用することができる。以下、前記空間的マージ候補又は後述する空間的ＭＶＰ候補はＳＭＶＰと呼ばれてもよく、前記時間的マージ候補又は後述する時間的ＭＶＰ候補はＴＭＶＰと呼ばれてもよい。
以下、本文書によるマージ候補リストを構成する方法を説明する。
コーディング装置（エンコーダ／デコーダ）は、現在ブロックの空間的周辺ブロックを探索して導出された空間的マージ候補をマージ候補リストに挿入する。例えば、前記空間的周辺ブロックは、前記現在ブロックの左下側コーナー周辺ブロック、左側周辺ブロック、右上側コーナー周辺ブロック、上側周辺ブロック、左上側コーナー周辺ブロックを含む。ただし、これは例示であり、前述の空間的周辺ブロック以外にも右側周辺ブロック、下側周辺ブロック、右下側周辺ブロックなどの追加的な周辺ブロックがさらに前記空間的周辺ブロックとして使用されることができる。コーディング装置は、前記空間的周辺ブロックを優先順位に基づいて探索して利用可能なブロックを検出し、検出されたブロックの動き情報を前記空間的マージ候補として導出することができる。
コーディング装置は、前記現在ブロックの時間的周辺ブロックを探索して導出された時間的マージ候補を前記マージ候補リストに挿入する。前記時間的周辺ブロックは、前記現在ブロックが位置する現在ピクチャとは異なるピクチャである参照ピクチャ上に位置し得る。前記時間的周辺ブロックが位置する参照ピクチャは、コロケーテッド（ｃｏｌｌｏｃａｔｅｄ）ピクチャ又はｃｏｌピクチャと呼ばれてもよい。前記時間的周辺ブロックは、前記ｃｏｌピクチャ上での前記現在ブロックに対する同一位置ブロック（ｃｏ－ｌｏｃａｔｅｄ ｂｌｏｃｋ）の右下側コーナー周辺ブロック及び右下側センターブロックの順で探索されることができる。一方、モーションデータ圧縮（ｍｏｔｉｏｎ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ）が適用される場合、前記ｃｏｌピクチャに一定格納単位ごとに特定の動き情報を代表動き情報として格納する。この場合、前記一定格納単位内の全てのブロックに対する動き情報を格納する必要がなく、これによりモーションデータ圧縮効果が得られる。この場合、一定格納単位は、例えば、１６×１６サンプル単位又は８×８サンプル単位などに予め定まってもよく、あるいはエンコーダからデコーダに前記一定格納単位に関するサイズ情報がシグナリングされてもよい。前記モーションデータ圧縮が適用される場合、前記時間的周辺ブロックの動き情報は、前記時間的周辺ブロックが位置する前記一定格納単位の代表動き情報に置き換えられることができる。すなわち、この場合、実現の側面から見ると、前記時間的周辺ブロックの座標に位置する予測ブロックではなく、前記時間的周辺ブロックの座標（左上端サンプルポジション）に基づいて一定値の分だけ算術的右シフトした後、算術的左シフトした位置をカバーする予測ブロックの動き情報に基づいて前記時間的マージ候補が導出される。例えば、前記一定格納単位が２ｎ×２ｎサンプル単位である場合、前記時間的周辺ブロックの座標が（ｘＴｎｂ，ｙＴｎｂ）であれば、修正された位置である（（ｘＴｎｂ＞ｎ）＜＜ｎ），（ｙＴｎｂ＞ｎ）＜＜ｎ））に位置する予測ブロックの動き情報が前記時間的マージ候補のために使用される。具体的に、例えば、前記一定格納単位が１６×１６サンプル単位である場合、前記時間的周辺ブロックの座標が（ｘＴｎｂ，ｙＴｎｂ）であれば、修正された位置である（（ｘＴｎｂ＞４）＜＜４），（ｙＴｎｂ＞４）＜＜４））に位置する予測ブロックの動き情報が前記時間的マージ候補のために使用される。または、例えば、前記一定格納単位が８×８サンプル単位である場合、前記時間的周辺ブロックの座標が（ｘＴｎｂ，ｙＴｎｂ）であれば、修正された位置である（（ｘＴｎｂ＞３）＜＜３），（ｙＴｎｂ＞３）＜＜３））に位置する予測ブロックの動き情報が前記時間的マージ候補のために使用される。
コーディング装置は、現在マージ候補の個数が最大マージ候補の個数より小さいか否かを確認できる。前記最大マージ候補の個数は予め定義されるかエンコーダからデコーダにシグナリングされることができる。例えば、エンコーダは、前記最大マージ候補の個数に関する情報を生成し、エンコーディングしてビットストリーム形態で前記デコーダに伝達する。前記最大マージ候補の個数が充填されると、以後の候補追加過程は行われなくてもよい。
前記確認の結果、前記現在マージ候補の個数が前記最大マージ候補の個数より小さい場合、コーディング装置は追加マージ候補を前記マージ候補リストに挿入する。
前記確認の結果、前記現在マージ候補の個数が前記最大マージ候補の個数より小さくない場合、コーディング装置は前記マージ候補リストの構成を終了する。この場合、エンコーダは、ＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）費用に基づいて前記マージ候補リストを構成するマージ候補のうち最適のマージ候補を選択することができ、前記選択されたマージ候補を指す選択情報（例えば、ｍｅｒｇｅ ｉｎｄｅｘ）をデコーダにシグナリングすることができる。デコーダは前記マージ候補リスト及び前記選択情報に基づいて前記最適マージ候補を選択する。
前記選択されたマージ候補の動き情報が前記現在ブロックの動き情報として使用されることができ、前記現在ブロックの動き情報に基づいて前記現在ブロックの予測サンプルを導出できることは前述の通りである。エンコーダは、前記予測サンプルに基づいて前記現在ブロックのレジデュアルサンプルを導出し、前記レジデュアルサンプルに関するレジデュアル情報をデコーダにシグナリングすることができる。デコーダは、前記レジデュアル情報に基づいて導出されたレジデュアルサンプル及び前記予測サンプルに基づいて復元サンプルを生成し、これに基づいて復元ピクチャを生成できることは前述の通りである。
スキップモード（ｓｋｉｐ ｍｏｄｅ）が適用される場合、前述のマージモードが適用される場合と同一の方法で前記現在ブロックの動き情報を導出することができる。ただし、スキップモードが適用される場合、該当ブロックに対するレジデュアル信号が省略され、従って、予測サンプルが直ちに復元サンプルとして利用されることができる。
ＭＶＰモードが適用される場合、復元された空間的周辺ブロックの動きベクトル及び／又は時間的周辺ブロック（又は、Ｃｏｌブロック）に対応する動きベクトルを用いて、動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ、ｍｖｐ）候補リストが生成される。すなわち、復元された空間的周辺ブロックの動きベクトル及び／又は時間的周辺ブロックに対応する動きベクトルは動きベクトル予測子候補として使用されることができる。双予測が適用される場合、Ｌ０動き情報導出のためのｍｖｐ候補リストとＬ１動き情報導出のためのｍｖｐ候補リストが個別に生成されて利用されることができる。前述の予測情報（又は、予測に関する情報）は、前記リストに含まれた動きベクトル予測子候補のうち選択された最適な動きベクトル予測子候補を指示する選択情報（例えば、ＭＶＰフラッグ又はＭＶＰインデックス）を含む。ここで、予測部は前記選択情報を利用して、動きベクトル候補リストに含まれた動きベクトル予測子候補のうち、現在ブロックの動きベクトル予測子を選択することができる。エンコーディング装置の予測部は、現在ブロックの動きベクトルと動きベクトル予測子の間の動きベクトル差分（ＭＶＤ）を求めることができ、これをエンコーディングしてビットストリーム形態で出力する。すなわち、ＭＶＤは現在ブロックの動きベクトルから前記動きベクトル予測子を引いた値として求められる。ここで、デコーディング装置の予測部は、前記予測に関する情報に含まれる動きベクトル差分を取得し、前記動きベクトル差分と前記動きベクトル予測子の加算により、現在ブロックの前記動きベクトルを導出することができる。デコーディング装置の予測部は、参照ピクチャを指示する参照ピクチャインデックスなどを前記予測に関する情報から取得又は誘導することができる。
以下、本文書による動きベクトル予測子候補リストを構成する方法を説明する。
一実施例は、まず動きベクトル予測のための空間的候補ブロックを探索して予測候補リストに挿入する。以降、一実施例は空間的候補ブロックの個数が２より小さいか否かを判断する。例えば、一実施例は空間的候補ブロックの個数が２より小さい場合、時間的候補ブロックを探索して予測候補リストに追加挿し、時間的候補ブロックが使用不可である場合はゼロ動きベクトルを使用する。すなわち、ゼロ動きベクトルを予測候補リストに追加挿入することができる。以降、一実施例は予備候補リストの構成を終了する。または、一実施例は空間的候補ブロックの個数が２より小さくない場合、予備候補リストの構成を終了する。ここで、予備候補リストはＭＶＰ候補リストを示す。
一方、ＭＶＰモードが適用される場合、参照ピクチャインデックスが明示的にシグナリングされる。この場合、Ｌ０予測のための参照ピクチャインデックス（ｒｅｆｉｄｘＬ０）とＬ１予測のための参照ピクチャインデックス（ｒｅｆｉｄｘＬ１）に区分されてシグナリングされることができる。例えば、ＭＶＰモードが適用され、双予測（ＢＩ ｐｒｅｄｉｃｔｉｏｎ）が適用される場合、前記ｒｅｆｉｄｘＬ０に関する情報、及びｒｅｆｉｄｘＬ１に関する情報が両方ともシグナリングされることができる。
ＭＶＰモードが適用される場合、前述のように、エンコーディング装置から導出されたＭＶＤに関する情報がデコーディング装置にシグナリングされる。ＭＶＤに関する情報は、例えば、ＭＶＤ絶対値及び符号に対するｘ、ｙ成分を示す情報を含むことができる。この場合、ＭＶＤ絶対値が０より大きいか否か、及び１より大きいか否か、ＭＶＤ残りを示す情報が段階的にシグナリングされることができる。例えば、ＭＶＤ絶対値が１より大きいか否かを示す情報は、ＭＶＤ絶対値が０より大きいか否かを示すｆｌａｇ情報の値が１である場合に限りシグナリングされることができる。
例えば、ＭＶＤに関する情報は、以下の表のようなシンタックスで構成されてエンコーディング装置においてエンコーディングされてデコーディング装置にシグナリングされる。
例えば、表４においてａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ０＿ｆｌａｇシンタックス要素は差分（ＭＶＤ）が０より大きいか否かに関する情報を示し、ａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ１＿ｆｌａｇシンタックス要素は差分（ＭＶＤ）が１より大きいか否かに関する情報を示す。また、ａｂｓ＿ｍｖｄ＿ｍｉｎｕｓ２シンタックス要素は差分（ＭＶＤ）に－２をした値に対する情報を示し、ｍｖｄ＿ｓｉｇｎ＿ｆｌａｇシンタックス要素は差分（ＭＶＤ）の符号に関する情報を示す。また、表４において各シンタックス要素の［０］はＬ０に関する情報であることを示し、［１］はＬ１に関する情報であることを示す。
例えば、ＭＶＤ［ｃｏｍｐＩｄｘ］は、ａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ０＿ｆｌａｇ［ｃｏｍｐＩｄｘ］＊（ａｂｓ＿ｍｖｄ＿ｍｉｎｕｓ２［ｃｏｍｐＩｄｘ］＋２）＊（１－２＊ｍｖｄ＿ｓｉｇｎ＿ｆｌａｇ［ｃｏｍｐＩｄｘ］）に基づいて導出される。ここで、ｃｏｍｐＩｄｘ（又は、ｃｐＩｄｘ）は各成分のインデックスを示し、０または１の値を有することができる。ｃｏｍｐＩｄｘは、０はｘ成分を示し、ｃｏｍｐＩｄｘ１は７成分を示す。ただし、これは例示であり、ｘ、ｙ座標系ではなく、他の座標系を使って各成分別に値を表すこともできる。
一方、Ｌ０予測のためのＭＶＤ（ＭＶＤ Ｌ０）とＬ１予測のためのＭＶＤ（ＭＶＤ Ｌ１）を区分してシグナリングされてもよく、前記ＭＶＤに関する情報は、ＭＶＤ Ｌ０に関する情報及び／又はＭＶＤ Ｌ１に関する情報を含んでもよい。例えば、現在ブロックにＭＶＰモードが適用され、ＢＩ予測が適用される場合、前記ＭＶＤ Ｌ０に関する情報及びＭＶＤ Ｌ１に関する情報が両方ともシグナリングされる。
図７は、ＳＭＶＤ（ｓｙｍｍｅｔｒｉｃ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅｓ）を説明するための図である。
ＢＩ予測が適用される場合、コーディング効率を考慮してＳＭＶＤ（ｓｙｍｍｅｔｒｉｃ ＭＶＤ）が使用されてもよい。この場合は、動き情報のうち一部のシグナリングが省略されてもよい。例えば、ＳＭＶＤが現在ブロックに適用される場合、ｒｅｆｉｄｘＬ０に関する情報、ｒｅｆｉｄｘＬ１に関する情報、ＭＶＤ Ｌ１に関する情報がエンコーディング装置からデコーディング装置にシグナリングされることなく、内部的に導出されることができる。例えば、現在ブロックにＭＶＰモード及びＢＩ予測が適用される場合、ＳＭＶＤの適用可否を指示するフラグ情報（例えば、ＳＭＶＤフラグ情報又はｓｙｍ＿ｍｖｄ＿ｆｌａｇシンタックス要素）がシグナリングされ、前記フラグ情報の値が１である場合、デコーディング装置は前記現在ブロックにＳＭＶＤが適用されると判断する。
ＳＭＶＤモードが適用される場合（すなわち、ＳＭＶＤフラグ情報の値が１である場合）、ｍｖｐ＿ｌ０＿ｆｌａｇ、ｍｖｐ＿ｌ１＿ｆｌａｇ、及びＭＶＤ Ｌ０（動きベクトル差分Ｌ０）に関する情報が明示的に（ｅｘｐｌｉｃｉｔｌｙ）シグナリングされ、前述のようにｒｅｆｉｄｘＬ０に関する情報、ｒｅｆｉｄｘ１に関する情報、及びＭＶＤ Ｌ１（動きベクトル差分Ｌ１）に関する情報のシグナリングが省略され、内部的に導出されることができる。例えば、ｒｅｆｉｄｘＬ０は参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）０（ｌｉｓｔ０又はＬ０と呼ばれてもよい）内においてＰＯＣ手順上、現在ピクチャに最も近い以前参照ピクチャを指すインデックスとして導出されることができる。ｒｅｆｉｄｘＬ１は、参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）１（ｌｉｓｔ１又はＬ１と呼ばれてもよい）内においてＰＯＣ手順上、現在ピクチャに最も近い以後参照ピクチャを指すインデックスとして導出されることができる。または、例えば、ｒｅｆｉｄｘＬ０及びｒｅｆｉｄｘＬ１は、両方ともそれぞれ０として導出されることができる。または、例えば、前記ｒｅｆｉｄｘＬ０及びｒｅｆｉｄｘＬ１は、現在ピクチャとの関係において同一のＰＯＣ差を有する最小インデックスとしてそれぞれ導出されることができる。具体的に、例えば、“［現在ピクチャのＰＯＣ］－［ｒｅｆｉｄｘＬ０が指示する第１参照ピクチャのＰＯＣ］”を第１ＰＯＣ差分といい、”［現在ピクチャのＰＯＣ］－［ｒｅｆｉｄｘＬ１が指示する第２参照ピクチャのＰＯＣ］”を第２ＰＯＣ差分というとき、前記第１ＰＯＣ差分と第２ＰＯＣ差分が同一である場合に限り、前記第１参照ピクチャを指すｒｅｆｉｄｘＬ０の値が前記現在ブロックの ｒｅｆｉｄｘＬ０として導出され、前記第２参照ピクチャを指すｒｅｆｉｄｘＬ１の値が前記現在ブロックの ｒｅｆｉｄｘＬ１として導出されることもある。また、例えば、前記第１ＰＯＣ差分と第２ＰＯＣ差分が同一である複数のセットがある場合、そのうち差分が最小であるセットのｒｅｆｉｄｘＬ０、ｒｅｆｉｄｘＬ１が現在ブロックのｒｅｆｉｄｘＬ０、ｒｅｆｉｄｘＬ１として導出されることができる。
図７に示すように、参照ピクチャリスト０、参照ピクチャリスト１、及びＭＶＤ Ｌ０、ＭＶＤ Ｌ１が示されている。ここで、ＭＶＤ Ｌ１はＭＶＤ Ｌ０と対称的である。
ＭＶＤ Ｌ１は、マイナス（－）ＭＶＤ Ｌ０と導出されることができる。例えば、現在ブロックに対する最終（改善又は修正された）動き情報（動きベクトル：ＭＶ）は、次の数式に基づいて導出される。
数式１において、ｍｖｘ０及びｍｖｙ０は、Ｌ０動き情報又はＬ０予測のための動きベクトルのｘ成分及びｙ成分を示し、ｍｖｘ１及びｍｖｙ１は、Ｌ１動き情報又はＬ１予測のための動きベクトルのｘ成分及びｙ成分を示す。また、ｍｖｐｘ０及びｍｖｐｙ０は、Ｌ０予測のための動きベクトル予測子のｘ成分及びｙ成分を示し、ｍｖｐｘ１及びｍｖｐｙ１は、Ｌ１予測のための動きベクトル予測子のｘ成分及びｙ成分を示す。また、ｍｖｄｘ０及びｍｖｄｙ０は、Ｌ０予測のための動きベクトル差分のｘ成分及びｙ成分を示す。
一方、ＭＭＶＤモードは、マージモードにＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）を適用する方法として、現在ブロック（すなわち、現在ＣＵ）の予測サンプルの生成に直接的に使われる動き情報が内在的に（ｉｍｐｌｉｃｉｔｌｙ）導出されることができる。例えば、現在ブロック（すなわち、現在ＣＵ）にＭＭＶＤを使用するか否かを示すＭＭＶＤフラグ（例：ｍｍｖｄ＿ｆｌａｇ）がシグナリングされ、このＭＭＶＤフラグに基づいてＭＭＶＤが行われることができる。ＭＭＶＤが現在ブロックに適用される場合（例えば、ｍｍｖｄ＿ｆｌａｇが１である場合）、ＭＭＶＤに対する追加情報がシグナリングされることができる。
ここで、ＭＭＶＤに対する追加情報は、マージ候補リスト内の第１候補又は第２候補がＭＶＤと共に使用されるか否かを指示するマージ候補フラグ（例：ｍｍｖｄ＿ｃａｎｄ＿ｆｌａｇ）、動き大きさ（ｍｏｔｉｏｎ ｍａｇｎｉｔｕｄｅ）を示すための距離インデックス（例：ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）、動き方向（ｍｏｔｉｏｎ ｄｉｒｅｃｔｉｏｎ）を示すための方向インデックス（ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ ）を含む。
ＭＭＶＤモードでは、マージ候補リスト内の候補のうち１番目及び２番目のエントリに位置する２つの候補（すなわち、第１候補又は第２候補）を使用することができ、前記２つの候補（すなわち、第１候補又は第２候補）のいずれか１つがベースＭＶとして使用されることができる。例えば、マージ候補フラグ（例：ｍｍｖｄ＿ｃａｎｄ＿ｆｌａｇ）がマージ候補リスト内の２つの候補（すなわち、第１候補又は第２候補）のいずれか１つを示すためにシグナリングされることができる。
また、距離インデックス（例：ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）は、動き大きさ情報を示し、開始ポイントから予め定められたオフセット（ｏｆｆｓｅｔ）を指示することができる。前記オフセットは、開始動きベクトルの水平成分又は垂直成分に加えられてもよい。距離インデックスと予め定められたオフセットの関係は、次の表のように示すことができる。
前記表５を参照すると、距離インデックス（例：ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）の値によってＭＶＤの距離（例：ＭｍｖｄＤｉｓｔａｎｃｅ）が定められており、ＭＶＤの距離（例：ＭｍｖｄＤｉｓｔａｎｃｅ）はｔｉｌｅ＿ｇｒｏｕｐ＿ｆｐｅｌ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値に基づいて整数サンプル単位（ｉｎｔｅｇｅｒ ｓａｍｐｌｅ ｐｒｅｃｉｓｉｏｎ）又は分数サンプル単位（ｆｒａｃｔｉｏｎａｌ ｓａｍｐｌｅ ｐｒｅｃｉｓｉｏｎ）を使用して導出されることができる。例えば、ｔｉｌｅ＿ｇｒｏｕｐ＿ｆｐｅｌ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である場合、ＭＶＤの距離は現在タイルグループ（又は、ピクチャヘッダ）において整数サンプル単位を使用して導出されることを示し、ｔｉｌｅ＿ｇｒｏｕｐ＿ｆｐｅｌ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０である場合、ＭＶＤの距離はタイルグループ（又は、ピクチャヘッダ）において分数サンプル単位を使用して導出されることを示す。表１において、タイルグループのための情報（フラグ）はピクチャヘッダのための情報に置き換えられることができ、例えば、ｔｉｌｅ＿ｇｒｏｕｐ＿ｆｐｅｌ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇはｐｈ＿ｆｐｅｌ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ（又は、ｐｈ＿ｍｍｖｄ＿ｆｕｌｌｐｅｌ＿ｏｎｌｙ＿ｆｌａｇ）に置き換えられることができる。
また、方向インデックス（例：ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）は開始ポイントを基準にＭＶＤの方向を示し、以下の表５に示すように４方向を示す。ここで、ＭＶＤの方向は、ＭＶＤの符号を示すことができる。方向インデックスとＭＶＤ符号の関係は、以下の表のように示す。
前記表６を参照すると、方向インデックス（例：ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）の値によってＭＶＤの符号（例：ＭｍｖｄＳｉｇｎ）が定められており、ＭＶＤの符号（例：ＭｍｖｄＳｉｇｎ）は、Ｌ０参照ピクチャ及びＬ１参照ピクチャに対して導出される。
前述のような距離インデックス（例：ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）及び方向インデックス（例：ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）に基づいて次の数式のようにＭＶＤのオフセットを計算することができる。
数式２及び数式３において、ＭＭＶＤ距離（ＭｍｖｄＤｉｓｔａｎｃｅ［ｘ０］［ｙ０］）及びＭＭＶＤ符号（ＭｍｖｄＳｉｇｎ［ｘ０］［ｙ０］［０］、ＭｍｖｄＳｉｇｎ［ｘ０］［ｙ０］［１］）は、表５及び又は表６に基づいて導出される。まとめると、ＭＭＶＤモードでは、周辺ブロックに基づいて導出されたマージ候補リストのマージ候補子のうちマージ候補フラグ（例：ｍｍｖｄ＿ｃａｎｄ＿ｆｌａｇ）により指示されるマージ候補を選択し、前記選択されたマージ候補をベース（ｂａｓｅ）候補（例えば、ＭＶＰ）として使用することができる。そして、ベース候補に基づいて距離インデックス（例：ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）及び方向インデックス（例：ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）を用いて導出されたＭＶＤを加えて現在ブロックの動き情報（すなわち、動きベクトル）を導出することができる。
予測モードによって導出された動き情報に基づいて現在ブロックに対する予測されたブロックを導出することができる。前記予測されたブロックは、前記現在ブロックの予測サンプル（予測サンプルアレイ）を含む。現在のブロックの動きベクトルが分数サンプル単位を指す場合、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手順が行われることができ、これにより参照ピクチャ内において分数サンプル単位の参照サンプルに基づいて前記現在のブロックの予測サンプルが導出されることができる。双予測が適用される場合、Ｌ０予測（すなわち、参照ピクチャリストＬ０内の参照ピクチャとＭＶＬ０を用いた予測）に基づいて導出された予測サンプルとＬ１予測（すなわち、参照ピクチャリストＬ１内の参照ピクチャとＭＶＬ１を用いた予測）に基づいて導出された予測サンプルの（位相に応じた）加重和又は加重平均により導出された予測サンプルが現在のブロックの予測サンプルとして利用できる。双予測が適用される場合、Ｌ０予測に利用された参照ピクチャとＬ１予測に利用された参照ピクチャが現在ピクチャを基準に互いに異なる時間的方向に位置する場合（すなわち、双予測でありながら双方向予測に該当する場合）、これを真（ｔｒｕｅ）双予測と呼んでもよい。
導出された予測サンプルに基づいて復元サンプル及び復元ピクチャが生成され、その後、インループフィルタリングなどの手順が実行できることは前述の通りである。
前述のように本文書によれば、現在ブロックに双予測が適用される場合、加重平均（ｗｅｉｇｈｔｅｄ ａｖｅｒａｇｅ）に基づいて予測サンプルを導出することができる。既存には、双予測信号（すなわち、双予測サンプル）は、Ｌ０予測信号（Ｌ０予測サンプル）とＬ１予測信号（Ｌ１予測サンプル）の単純平均により導出されていた。すなわち、双予測サンプルは、Ｌ０参照ピクチャ及びＭＶＬ０に基づくＬ０予測サンプルとＬ１参照ピクチャ及びＭＶＬ１に基づくＬ１予測サンプルの平均として導出された。しかしながら、本文書によると、双予測が適用される場合、次のように、Ｌ０予測信号とＬ１予測信号の加重平均により双予測信号（双予測サンプル）を導出することができる。
前述のＭＭＶＤに関連する実施例において、ＭＭＶＤのＭＶＤ誘導過程においてロングターム参照ピクチャを考慮した方法が提案でき、これにより、様々なアプリケーションにおいて圧縮効率を維持及び増加させることができるようにする。また、本文書の実施例において提案する方法は、ＭＥＲＧＥにおいて使用されるＭＭＶＤ技術以外に、インターモード（ＭＶＰモード）において使用される対称的（Ｓｙｍｍｅｔｒｉｃ）ＭＶＤ技術であるＳＭＶＤにおいても同様に適用できる。
図８は、インター予測において動きベクトルを導出する方法を説明するための図である。
本文書の一実施例において、時間的動き候補（Ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｃａｎｄｉｄａｔｅ、ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ、又はｔｅｍｐｏｒａｌ ｍｖｐ ｃａｎｄｉｄａｔｅ）の動きベクトルスケーリング（ＭＶ ｓｃａｌｉｎｇ）の過程でロングターム参照ピクチャを考慮したＭＶ誘導方法が使われている。時間的動き候補はｍｖＣｏｌ（ｍｖＬＸＣｏｌ）に対応できる。時間的な動き候補は「ＴＭＶＰ」と呼ばれてもよい。
次の表は、ロングターム参照ピクチャの定義を説明する。
前記表７を参照すると、ＬｏｎｇＴｅｒｍＲｅｆＰｉｃ（ａＰｉｃ、ａＰｂ、ｒｅｆＩｄｘ、ＬＸ）が１（真、ｔｒｕｅ）であると、対応する参照ピクチャはロングターム参照のために使われる（ｕｓｅｄ ｆｏｒ ｌｏｎｇ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ）ものとマーキングされる。例えば、ロングターム参照のために使われるとマーキングされていない参照ピクチャはショートターム参照のために使われる（ｕｓｅｄ ｆｏｒ ｓｈｏｒｔ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ）ものとマーキングされた参照ピクチャであり得る。他の例において、ロングターム参照のために使用されるものとマーキングされず、使用されていないものとマーキングされていない参照ピクチャは、ショートターム参照のために使用されるものとマーキングされた参照ピクチャであり得る。以下、ロングターム参照のために使用されるものとマーキングされた参照ピクチャは、ロングターム参照ピクチャと称されてもよく、ショートターム参照のために使用されるものとマーキングされた参照ピクチャは、ショートターム参照ピクチャと称されてもよい。
次の表はＴＭＶＰ（ｍｖＬＸＣｏｌ）の導出を説明する。
図８及び表８を参照すると、現在ピクチャが指す参照ピクチャタイプ（例えば、ｌｏｎｇ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ（ＬＴＲＰ）又はｓｈｏｒｔ－ｔｅｒｍ ｒｅｆｒｅｎｃｅ ｐｉｃｔｕｒｅ（ＳＴＲＰ）であるかを指す）とコロケーテッドピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）が指すコロケーテッド参照ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）のタイプが同一であないと、時間的動きベクトル（ｍｖＬＸＣｏｌ）は使用されない。すなわち、全てロングターム参照ピクチャであるか、全てショートターム参照ピクチャである場合はｃｏｌＭＶを誘導し、他のタイプを有する場合はｃｏｌＭＶを誘導しない。また、全てロングターム参照ピクチャである場合と、現在ピクチャと現在ピクチャの参照ピクチャのＰＯＣ差分がコロケーテッドピクチャとコロケーテッドピクチャの参照ピクチャ間のＰＯＣ差分と同一である場合、スケーリングなしにコロケーテッドの動きベクトルをそのまま使用することができる。ショットターム参照ピクチャであり、ＰＯＣ差分が異なる場合、スケーリングされたコロケーテッドブロックの動きベクトルが使用される。
本文書の実施例において、ＭＥＲＧＥ／ＳＫＩＰモードにおいて使用されるＭＭＶＤは、１つのコーディングブロックに対してベース動きベクトルインデックス（ｂａｓｅ ＭＶ ｉｎｄｅｘ）、距離インデックス（ｄｉｓｔａｎｃｅ ｉｎｄｅｘ）、方向インデックス（ｄｉｒｅｃｔｉｏｎ ｉｎｄｅｘ）を、ＭＶＤ情報を誘導するための情報として、シグナリングする。単方向予測をする場合、動き情報からＭＶＤを誘導し、双方向予測の場合、ミラーリング（ｍｉｒｒｏｒｉｎｇ）及びスケーリング方法を用いて対称的なＭＶＤ情報を生成する。
双方向予測をする場合、Ｌ０あるいはＬ１のためのＭＶＤ情報はスケーリングされてＬ１あるいはＬ０のＭＶＤを生成するが、ロングターム参照ピクチャを参照する場合、ＭＶＤ誘導過程での変更が必要である。
図９ないし図１３は、本文書の実施例によるＭＭＶＤのＭＶＤ誘導方法を示す。図９ないし図１３に示された方法は、双方向予測が適用されるブロックに対するものであり得る。
図９による一実施例において、Ｌ０参照ピクチャとの距離とＬ１参照ピクチャとの距離が同一であると、誘導されたＭｍｖｄＯｆｆｓｅｔをそのままＭＶＤとして使用することができ、ＰＯＣ差分（Ｌ０参照ピクチャと現在ピクチャ間のＰＯＣ差分及びＬ１参照ピクチャと現在ピクチャ間のＰＯＣ差分）が異なる時、ＰＯＣ差分、及びロングタームあるいはショートターム参照ピクチャであるか否かによってスケーリングするか単純ミラーリング（すなわち、－１を＊ＭｍｖｄＯｆｆｓｅｔ）してＭＶＤを誘導することができる。
一例として、双方向予測が適用されるブロックに対してＭＭＶＤを用いて対称的なＭＶＤを誘導する方法は、ロングターム参照ピクチャを使用するブロックには適合せず、特に、各方向の参照ピクチャタイプが異なる場合、ＭＭＶＤ使用時の性能向上は期待しにくい。従って、次の図及び実施例においては、Ｌ０とＬ１の参照ピクチャタイプが異なる場合、ＭＭＶＤが適用されないように実現される例が紹介される。
図１０による一実施例において、現在ピクチャ（又は、現在スライス、現在ブロック）により参照される参照ピクチャがＬＴＲＰ（ｌｏｎｇ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）又はＳＴＲＰ（ｓｈｏｒｔ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）であるかによって異なるＭＶＤ誘導方法が適用される。一例において、図１０による実施例の方法が適用される場合、本実施例による標準文書の一部分は、次の表のように記述される。
図１１による一実施例において、現在ピクチャ（又は、現在スライス、現在ブロック）により参照される参照ピクチャがＬＴＲＰ（ｌｏｎｇ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）又はＳＴＲＰ（ｓｈｏｒｔ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）であるかによって異なるＭＶＤ誘導方法が適用される。一例において、図１１による実施例の方法が適用される場合、本実施例による標準文書の一部分は、次の表のように記述される。
まとめると、各方向の参照ピクチャタイプが異なる場合、ＭＶＤを誘導しないＭＭＶＤのＭＶＤ誘導過程が説明されている。
図１２による一実施例において、ロングターム参照ピクチャを参照する全ての場合にＭＶＤが誘導されることではない。すなわち、Ｌ０、Ｌ１参照ピクチャが１つでもロングターム参照ピクチャであるときはＭＶＤを０に設定し、ショットターム参照ピクチャを有する場合にのみＭＶＤが誘導されることができる。
一例において、最優先条件（ＲｅｆＰｉｃＬ０！＝ＬＴＲＰ＆＆ＲｅｆＰｉｃＬ１！＝ＳＴＲＰ）に基づいて現在ピクチャ（又は、現在スライス、現在ブロック）がショットターム参照ピクチャのみを参照する場合にＭＭＶＤのためのＭＶＤが導出されることができる。一例において、図１２による実施例の方法が適用される場合、本実施例による標準文書の一部分は、次の表のように記述される。
図１３による一実施例において、各方向の参照ピクチャタイプが異なる場合、ショットターム参照ピクチャを有する場合はＭＶＤを誘導し、ロングターム参照ピクチャを有する場合はＭＶＤが０に誘導される。
一例において、各方向の参照ピクチャタイプが異なる場合、現在ピクチャから距離の近い参照ピクチャ（ショットターム参照ピクチャ）を参照するとき、ＭｍｖｄＯｆｆｓｅｔが適用され、現在ピクチャから距離の遠い参照ピクチャ（ロングターム参照ピクチャ）を参照するとき、ＭＶＤは０値を有する。ここで、現在ピクチャに近いピクチャはショットターム参照ピクチャを有するとみなすことができるが、近いピクチャがロングターム参照ピクチャである場合は、ショットターム参照ピクチャを指すリストの動きベクトルにｍｍｖｄＯｆｆｓｅｔを適用することができる。
例えば、前記表１２に含まれた４つの段落は、前記図１３に含まれた順序図の一番下のブロック（内容）を順次置き換えることができる。
一例において、図１３による実施例の方法が適用される場合、本実施例による標準文書の一部分は、次の表のように記述される。
次の表は、本文書に含まれた実施例間の比較表を示す。
表１４を参照すると、図９ないし図１３による実施例において説明されたＭＭＶＤのＭＶＤ導出のために、参照ピクチャタイプを考慮してオフセットを適用する方法間の比較が示される。表１４において、実施例Ａは既存のＭＭＶＤに関するものであり、実施例Ｂは図９ないし図１１による実施例を示し、実施例Ｃは図１２による実施例を示し、実施例Ｄは図１３による実施例を示す。
すなわち、図９、図１０及び図１１による実施例においては、両方向の参照ピクチャタイプが同一である場合にのみＭＶＤを誘導する方法、図１２による実施例においては両方向ともショートターム参照ピクチャである場合にのみＭＶＤを誘導する方法について記述した。図１２による実施例の場合、単方向予測に対してロングターム参照ピクチャであればＭＶＤを０に設定する。また、図１３による実施例においては、両方向の参照ピクチャタイプが異なる場合、一方向にのみＭＶＤを誘導する方法について記述した。このような実施例間の相違点は、本文書で説明される技術の様々な特徴を示し、前記特徴に基づいて本文書による実施例が達成しようとする効果が実現できることが本明細書の属する技術分野の通常の知識を有する者により理解できる。
本文書による実施例においては、参照ピクチャタイプがロングターム参照ピクチャである場合、別途のプロセスを有する。ロングターム参照ピクチャを含む場合、ＰＯＣ差分（ＰＯＣＤｉｆｆ）ベースのスケーリングあるいはミラーリングは性能向上に影響がないため、ショットターム参照ピクチャを有する方向のＭＶＤはＭｍｖｄＯｆｆｓｅｔ値が割り当てられ、ロングターム参照ピクチャを有する方向のＭＶＤは０値が割り当てられるようにする。一例において、本実施例が適用される場合、本実施例による標準文書の一部分は、次の表のように記述される。
他の例において、前記表１５の一部分は、次の表に置き換えることができる。表１６を参照すると、ＰＯＣＤｉｆｆではなく参照ピクチャタイプを基準としてＯｆｆｓｅｔが適用される。
また他の例において、前記表１５の一部分は、次の表に置き換えることができる。表１７を参照すると、参照ピクチャタイプを考慮せずに常にＬ０にＭｍｖｄＯｆｆｓｅｔを、Ｌ１に－ＭｍｖｄＯｆｆｓｅｔを設定することができる。
本文書の一実施例によると、前述のＭＥＲＧＥモードにおいて使用されるＭＭＶＤに類似してインターモードでのＳＭＶＤが行われることができる。双方向予測をする場合、対称的ＭＶＤ導出の可否がエンコーディング装置からデコーディング装置にシグナリングされ、関連フラグ（例えば、ｓｙｍ＿ｍｖｄ＿ｆｌａｇ）が真（又は、その値が１）であるとき、第１方向ＭＶＤ（例えば、ＭＶＤ Ｌ０）のミラーリングにより第２方向ＭＶＤ（例えば、ＭＶＤ Ｌ１）が誘導される。この場合、第１方向ＭＶＤに対するスケーリングは行われない場合がある。
次の表は、本文書の一実施例によるコーディングユニットに関するシンタックスを示す。
前記表１８及び表１９を参照すると、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃ＝＝ＰＲＥＤ＿ＢＩであり、そして、Ｌ０とＬ１の参照ピクチャが利用可能（ａｖａｉｌａｂｌｅ）である場合（例えば、ＲｅｆＩｄｘＳｙｍＬ０＞－１＆＆ＲｅｆＩｄｘＳｙｍＬ１＞－１）、ｓｙｍ＿ｍｖｄ＿ｆｌａｇがシグナリングされる。
次の表は、一例によるＭＭＶＤ参照インデックスのためのデコーディング手順を示す。
表２０を参照すると、Ｌ０とＬ１の参照ピクチャの利用可能性（ａｖａｉｌａｂｉｌｉｔｙ）導出手順が説明される。すなわち、Ｌ０参照ピクチャのうちフォワード方向（ｆｏｒｗａｒｄ ｄｉｒｅｃｔｉｏｎ）の参照ピクチャが存在する場合、現在ピクチャに最も近い参照ピクチャインデックスをＲｅｆＩｄｘＳｙｍＬ０に設定し、該当値はＬ０の参照インデックスに設定される。また、Ｌ１参照ピクチャのうちバックワード方向（ｂａｃｋｗａｒｄ ｄｉｒｅｃｔｉｏｎ）の参照ピクチャが存在する場合、現在ピクチャに最も近い参照ピクチャインデックスをＲｅｆＩｄｘＳｙｍＬ１に設定し、該当値はＬ１の参照インデックスに設定される。
以下の表２１は、他の例によるＭＭＶＤ参照インデックスのためのデコーディング手順を示す。
表２１を参照すると、図９、図１０、図１１と共に説明された実施例のようにＬ０又はＬ１参照ピクチャタイプが異なる場合、すなわち、ロングターム参照ピクチャとショートターム参照ピクチャが使用される場合、ＳＭＶＤを防ぐためにＳＭＶＤのための参照インデックス誘導の以後、Ｌ０とＬ１の参照ピクチャタイプが異なる場合、ＳＭＶＤを使用しないようにする（表２０の一番下の段落参照）。
本文書の一実施例において、マージモードで使用されるＭＭＶＤに類似してインターモードではＳＭＶＤが適用されることができる。図１２とともに説明された実施例のように、ロングターム参照ピクチャが使用される場合、ＳＭＶＤを防ぐために以下の表のようにＳＭＶＤのための参照インデックス誘導の過程でロングターム参照ピクチャを除外することができる。
本実施例の他の例による次の表は、ＳＭＶＤのための参照ピクチャインデックス誘導以後にロングターム参照ピクチャを使用する場合、ＳＭＶＤを適用しないように処理する例を示す。
本文書の一実施例において、ＴＭＶＰのｃｏｌＭＶ誘導過程で現在ピクチャの参照ピクチャタイプとコロケーテッドピクチャの参照ピクチャタイプが異なる場合、動きベクトルＭＶは０に設定されるが、ＭＭＶＤ、ＳＭＶＤの場合の誘導方法と異なるので、これを統一されるようにする。
現在ピクチャの参照ピクチャタイプがロングターム参照ピクチャであり、コロケーテッドピクチャの参照ピクチャタイプがロングターム参照ピクチャである場合も動きベクトルはコロケーテッド動きベクトル値をそのまま使用しているが、ＭＭＶＤ、ＳＭＶＤにおいて、この場合はＭＶを０に設定する。ここで、ＴＭＶＰも追加誘導なしにＭＶを０に設定する。
また、参照ピクチャタイプが異なっても、現在ピクチャとの距離が近いロングターム参照ピクチャが存在し得るので、これを考慮してＭＶを０に設定する代わりにスケーリングなしにｃｏｌＭＶをＭＶとして使用することができる。
図１４は、本文書の一実施形態によって、ＳＭＶＤを説明するための図である。
ＳＭＶＤの導出のために、図１４のような方法が使用できる。すなわち、ＳＴＲＰ（ショートターム参照ピクチャ）及び／又はＬＴＲＰ（ロングターム参照ピクチャ）に基づいてＳＭＶＤが導出できる。ミラーリングされたＬ０ ＭＶＤをＬ１ ＭＶＤに使用する場合に、参照ピクチャのタイプが異なれば、不正確なＭＶＤが導出され得る。これは、距離の比率（参照ピクチャ０と現在ピクチャとの間の距離及び参照ピクチャ１と現在ピクチャとの間の距離）が大きくなり、各方向に対する動きベクトルの相関度が下がるためである。
本文書の一実施形態に係ると、参照ピクチャの利用可能性がチェックされ、そして条件を満たせば、ｓｙｍ＿ｍｖｄ＿ｆｌａｇがパーシングされ得る。万が一、ｓｙｍ＿ｍｖｄ＿ｆｌａｇが真であれば、Ｌ１のＭＶＤ（ＭＶＤＬ１）がミラーリングされた（ｍｉｒｒｏｒｅｄ）ＭＶＤＬ０（Ｌ０のＭＶＤ）で導出されることができる。
次の表は、本実施形態に係るコーディングユニットシンタックスの一部分を示す。
表２４に基づいて、本実施形態に係るｓｙｍ＿ｍｖｄ＿ｆｌａｇの導出手順が説明できる。
本実施形態では、ＳＭＶＤのための参照ピクチャインデックス（ＲｅｆＩｄｘＳｙｍＬＸ ｗｉｔｈ Ｘ＝０，１）が導出できる。ＲｅｆＩｄｘＳｙｍＬ０は、現在ピクチャのＰＯＣよりも小さいＰＯＣを有する最も近い参照ピクチャ（のインデックス）を示すことができる。ＲｅｆＩｄｘＳｙｍＬ１は、現在ピクチャのＰＯＣよりも大きいＰＯＣを有する最も近い参照ピクチャ（のインデックス）を示すことができる。
次の表は、本実施形態によって、ＳＭＶＤのための参照ピクチャインデックスを導出する方法を標準文書の形式で記述する。
次の表は、実施形態の間の比較結果を示す。表２６に含まれた実施形態によって参照ピクチャタイプが考慮されることによって、ＳＭＶＤでのＭＶＤの正確度が向上することができる。表２６において、ＭＶＤは、ＭＶＤ ０（Ｌ０のＭＶＤ）を示すことができる。
表２６を参照すると、実施例Ｐは、既存のＳＭＶＤの導出方法を示す。実施例Ｑでは、Ｌ０及びＬ１で混合された参照ピクチャタイプ（ｅｘ．ＳＴＲＰ／ＬＴＲＰ ｏｒ ＬＴＲＰ／ＳＴＲＰ）が使用される場合にＳＭＶＤが制限され得る。実施例Ｒでは、ロングターム参照ピクチャ（ＬＴＲＰ）を参照する場合にＳＭＶＤが制限され得る。
次の表は、表２６の実施例ＱによってＳＭＶＤのための参照ピクチャインデックスを導出する方法を標準文書の形式で記述する。
次の表は、表２６の実施例ＱによってＳＭＶＤのための参照ピクチャインデックスを導出する方法を標準文書の形式で記述する。
表２８及び／又は表２９を参照すると、ロングターム参照ピクチャ（ＬＴＲＰ）を参照する場合にＳＭＶＤが制限され得る。例えば、表２８を参照すると、参照ピクチャチェッキング手順（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｃｈｅｃｋｉｎｇ ｐｒｏｃｅｓｓ）でロングターム参照ピクチャが排除できる。これによって、他の参照ピクチャ（例えば、ロングターム参照ピクチャではない）がＳＭＶＤのために考慮できる。表２９を参照すると、現在ピクチャから最も近い参照ピクチャがロングターム参照ピクチャである場合に、ＳＭＶＤが実行されないことがある。例えば、参照ピクチャリストにショートターム参照ピクチャが含まれているとしても、現在ピクチャから最も近い参照ピクチャがロングターム参照ピクチャである場合には、ＳＭＶＤが実行されないことがある。
本文書の一実施形態に係る一例において、ＭＭＶＤ手順でＬ０のＰＯＣ距離がＬ１のＰＯＣ以上である場合に、Ｌ１ ＭＶＤがスケーリングされた又はミラーリングされたＬ０ ＭＶＤとして導出されることができる。ＭＭＶＤ手順でＬ０のＰＯＣ距離がＬ１のＰＯＣよりも小さい場合に、ＭＭＶＤ手順でＬ０ ＭＶＤがスケーリングされた又はミラーリングされたＬ１ ＭＶＤとして導出されることができる。
図１５は、本文書の一実施形態に係るＭＭＶＤの導出方法を示すフローチャートである。
本文書の一実施形態において、ＰＯＣ差分及び／又は参照ピクチャタイプを考慮し、ＭＭＶＤでＭＶＤ導出されることができる。図１５を参照すると、ｃｕｒｒＰｏｃＤｉｆｆＬＸは、現在ピクチャのＰＯＣと参照ピクチャＬＸのＰＯＣとの間の差を意味することができる。ＣｕｒｒＰｏｃＤｉｆｆＬ０及びｃｕｒｒＰｏｃＤｉｆｆＬ１は互いに比較されることができ、そして参照ピクチャのタイプがチェックできる（“ｒｅｆＰｉｃＬｉｓｔ０！＝ ＬＴＲＰ” ｏｒ “ｒｅｆＰｉｃＬｉｓｔ１ ！＝ ＬＴＲＰ”）。条件を考慮して、ＭｍｖｄＯｆｆｓｅｔ（ｍｍｖｄ＿ｃａｎｄ＿ｆｌａｇ、ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ、及び／又はｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘを用いて導出された）は、ｍＭｖｄＬＸと同じ値、ミラーリングされた値又はスケーリングされた値として割り当てられることができる。
次の表は、本実施形態に係る標準文書の一部分を示す。
現在ピクチャが一つ又はそれ以上のロングターム参照ピクチャ（ＬＴＲＰ）を参照する場合には、ＰＯＣ距離を考慮するミラーリング手順が必要ではないことがある。これは、他のＭＶＤよりも非常に遠い距離の参照ピクチャから取得されたミラーリングＭＶＤは、正確度の側面で効果的ではないためである。これを解決するための案が以下で説明される。
次の表は、実施例間の比較結果を示す。
表３１を参照すると、実施例Ｘは、既存のＭＭＶＤの導出方法を示す。実施例Ｙでは、一つ又はそれ以上のロングターム参照ピクチャが現在ブロックに参照される場合にＭＭＶＤ手順が制限され得る。すなわち、実施例Ｙでは、ロングターム参照ピクチャのためのＰＯＣ距離の比較手順が省略され得る。実施例Ｚでは、全ての場合に対して、ＭＭＶＤの導出手順が制限され得る。すなわち、実施例Ｚでは、全ての場合に対して、ＰＯＣ距離を比較する手順が省略され得る。表３１において、ｏｆｆｓｅｔはＭｍｖｄＯｆｆｓｅｔを指称し得る。
図１６は、本文書の一実施形態に係るＭＭＶＤの導出方法を示すフローチャートである。図１６のフローチャートは、前述の実施例ＹによるＭＭＶＤの導出方法を示すことができる。
図１６を参照すると、参照ピクチャタイプがロングターム参照ピクチャである場合にＰＯＣ差分を比較する条件が除去され得、そして、ミラーリング手順のために使用されるアンカー（ａｎｃｈｏｒ）ＭＶＤは、Ｌ０ ＭＶＤに固定されることができる。
次の表は、表３１の実施例ＹによってＭＭＶＤを導出する方法を標準文書の形式で記述する。
図１７は、本文書の一実施形態に係るＭＭＶＤの導出方法を示すフローチャートである。図１７のフローチャートは、前述の実施例ＺによるＭＭＶＤの導出方法を示すことができる。
図１７を参照すると、実施例Ｚでは、全ての場合に対して、ＭＭＶＤの導出手順が制限され得る。全ての場合に対して、ＰＯＣ差分を比較する条件が除去され得、そして、ミラーリング又はスケーリング手順のために使用されるアンカー（ａｎｃｈｏｒ）ＭＶＤは、Ｌ０ ＭＶＤに固定されることができる。
次の表は、表３１の実施例ＺによってＭＭＶＤを導出する方法を標準文書の形式で記述する。
また、本実施形態の一例において、全ての場合に対して、ＰＯＣ差分を比較する条件が除去され得、そして、ただミラーリングする案のみが使用されることもある。次の表は、本例示において、ＭＭＶＤを導出する方法を標準文書の形式で記述する。
以下の図面は，本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号メッセージフィールドの名称は例示的に提示されたものであるので、本明細書の技術的特徴は、以下の図面に用いられた具体的な名称に制限されない。
図１８及び１９は、本文書の実施形態に係るビデオ／画像エンコード方法及び関連のコンポーネントの一例を概略的に示す。図１８において開示された方法は、図２において開示されたエンコード装置によって実行されることができる。具体的に、例えば、図１８のＳ１８００乃至Ｓ１８５０は、前記エンコード装置の予測部２２０により実行されることができ、Ｓ１８６０は、前記エンコード装置のレジデュアル処理部２３０によって実行されることができる。Ｓ１８７０は、前記エンコード装置のエントロピーエンコード部２４０によって実行されることができる。図１８において開示された方法は、本文書で前述した実施形態を含むことができる。
図１８を参照すると、エンコード装置は、現在ピクチャ内の現在ブロックのためにインター予測モードを導出する（Ｓ１８００）。ここで、インター予測モードは、前述したマージモード、ＡＭＶＰモード（動きベクトル予測子候補を用いたモード）、ＭＭＶＤ、ＳＭＶＤを含むことができる。
エンコード装置は、前記インター予測モードのための参照ピクチャを導出することができる。エンコード装置は、参照ピクチャの導出のために参照ピクチャリストを構成することができる。一例において、参照ピクチャリストは、参照ピクチャリスト０（又はＬ０、参照ピクチャリストＬ０）又は参照ピクチャリスト１（又はＬ１、参照ピクチャリストＬ１）を含むことができる。例えば、エンコード装置は、現在ピクチャに含まれたスライスそれぞれ毎に参照ピクチャリストを構成することができる。
エンコード装置は、現在ブロックの周辺ブロックに基づいて、前記現在ブロックのためのＭＶＰ候補リストを構成する（Ｓ１８１０）。ＭＶＰ候補リストは、ＭＶＰ候補リストＬ０及びＭＶＰ候補リストＬ１を含むことができる。一例において、前記周辺ブロックは、前記現在ブロックを含む現在ピクチャに含まれ得る。別の例において、前記周辺ブロックは、前記現在ピクチャからの以前（参照）ピクチャ又は以後（参照）ピクチャに含まれ得る。ここで、以前ピクチャのＰＯＣは、現在ピクチャのＰＯＣよりも小さいことがあり、そして、以後ピクチャのＰＯＣは、現在ピクチャのＰＯＣよりも大きいことがある。一例によると、現在ピクチャと現在ピクチャからの以前（参照）ピクチャとの間のＰＯＣ差分は、０よりも大きいことがある。別の例において、現在ピクチャと現在ピクチャからの以後（参照）ピクチャとの間のＰＯＣ差分は、０よりも小さいことがある。但し、これは例示的なだけである。
エンコード装置は、前記ＭＶＰ候補リストに基づいて、前記現在ブロックのためのＭＶＰを導出することができる（Ｓ１８２０）。ＭＶＰは、ＭＶＰＬ０及びＭＶＰＬ１を含むことができる。ＭＶＰＬ０は、ＭＶＰ候補リストＬ０から導出されることができ、そして、ＭＶＰＬ１は、ＭＶＰ候補リストＬ１から導出されることができる。エンコード装置は、前記ＭＶＰ候補リストに含まれた動きベクトル予測子候補のうち、最適の動きベクトル予測子候補を導出することができる。エンコード装置は、前記最適の動きベクトル予測子候補を指示する選択情報（ｅｘ．ＭＶＰフラグ又はＭＶＰインデックス）を生成することができる。
エンコード装置は、前記インター予測モードを含む予測関連情報を生成する（Ｓ１８３０）。一例において、前記予測関連情報は、前記現在ブロックのためのＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）に関する情報を含むことができる。また、前記予測関連情報は、ＭＭＶＤに関する情報、ＳＭＶＤに関する情報等を含むことができる。
エンコード装置は、前記ＭＶＰ及び前記ＭＶＤに関する情報に基づいて、前記現在ブロックの予測のための動き情報を導出する（Ｓ１８４０）。例えば、動き情報は、ＳＭＶＤのための参照インデックス（対称動きベクトル差分参照インデックス）を含むことができる。ＳＭＶＤのための参照インデックスは、ＳＭＶＤの適用のための参照ピクチャを指すことができる。ＳＭＶＤのための参照インデックスは、参照インデックスＬ０（ＲｅｆＩｄｘＳｕｍＬ０）及び参照インデックスＬ１（ＲｅｆＩｄｘＳｕｍＬ１）を含むことができる。
エンコード装置は、前記動き情報に基づいて予測サンプルを生成する（Ｓ１８５０）。エンコード装置は、前記動き情報に含まれた動きベクトルと参照ピクチャインデックスに基づいて、前記予測サンプルを生成することができる。例えば、前記予測サンプルは、前記参照ピクチャインデックスが指す前記参照ピクチャ内のブロック（又はサンプル）のうち、前記動きベクトルにより指示されるブロック（又はサンプル）に基づいて生成されることができる。
エンコード装置は、前記予測サンプルに基づいてレジデュアル情報を導出する（Ｓ１８６０）。具体的に、エンコード装置は、前記予測サンプルと原本サンプルに基づいて、レジデュアルサンプルを導出することができる。エンコード装置は、前記レジデュアルサンプルに基づいて、レジデュアル情報が導出できる。前記レジデュアル情報の導出のために、前述した変換及び量子化過程を行うことができる。
エンコード装置は、前記予測関連情報及び前記レジデュアル情報を含む画像／ビデオ情報をエンコードする（Ｓ１８７０）。エンコードされた画像／ビデオ情報は、ビットストリームの形態で出力されることができる。前記ビットストリームは、ネットワーク又は（デジタル）格納媒体を介してデコード装置に送信されることができる。
前記画像／ビデオ情報は、本文書の実施形態に係る多様な情報を含むことができる。例えば、前記画像／ビデオ情報は、前述した表１乃至３４のうち少なくとも一つに開示された情報を含むことができる。
一実施形態において、前記動き情報は、ＭＶ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）及び対称動きベクトル差分参照インデックスを含むことができる。前記ＭＶは、Ｌ０予測に対するＭＶＬ０及びＬ１予測に対するＭＶＬ１を含むことができる。前記対称動きベクトル差分参照インデックスは、前記Ｌ０予測に対する対称動きベクトル差分参照インデックスＬ０及び前記Ｌ１予測に対する対称動きベクトル差分参照インデックスＬ１を含むことができる。前記ＭＶＤに関する情報は、前記Ｌ０予測に対するＭＶＤＬ０に関する情報を含むことができる。一例において、前記Ｌ１予測に対するＭＶＤＬ１に関する情報は、前記ＭＶＤＬ０に関する情報に基づいて導出されることができる。別の例において、現在ブロックの予測のための周辺ブロックに基づいて、ＭＶＤＬ０に関する情報及び／又はＭＶＤＬ１に関する情報が導出できる。エンコード装置は、画像／ビデオ情報をエンコードするにあたって、ＭＶＤＬ１に関する情報は排除することもある。前記ＭＶＬ０は、前記ＭＶＤＬ０に関する情報に基づいて導出され、そして、前記ＭＶＬ１は、前記ＭＶＤＬ１に関する情報に基づいて導出されることができる。前記対称動きベクトル差分参照インデックスＬ０及び前記対称動きベクトル差分参照インデックスＬ１は、参照ピクチャリストに含まれた参照ピクチャのうち、ショートターム参照ピクチャに基づいて導出されることができる。
一実施形態において、前記ＭＶＰは、前記Ｌ０予測に対するＭＶＰＬ０及び前記Ｌ１予測に対するＭＶＰＬ１を含むことができる。前記ＭＶＬ０は、前記ＭＶＤＬ０と前記ＭＶＰＬ０との合算に基づいて導出されることができる。前記ＭＶＬ１は、前記ＭＶＤＬ１と前記ＭＶＰＬ１との合算に基づいて導出されることができる。
一実施形態において、前記予測関連情報は、対称動きベクトル差分に関する情報（ＳＭＶＤに関する情報又はＳＭＶＤフラグ情報）を含むことができる。前記ショートターム参照ピクチャと前記現在ブロックを含む現在ピクチャとの間のＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）差分に基づいて、前記対称動きベクトル差分参照インデックスＬ０及び前記対称動きベクトル差分参照インデックスＬ１が導出される場合、前記対称動きベクトル差分に関する情報の値は１であり得る。
一実施形態において、前記ＭＶＤＬ１の大きさは、前記ＭＶＤＬ０の大きさと同一であり得る。前記ＭＶＤＬ１の符号は、前記ＭＶＤＬ０の符号と反対であり得る。
一実施形態において、前記ショートターム参照ピクチャは、ショートターム参照ピクチャＬ０及びショートターム参照ピクチャＬ１を含むことができる。例えば、前記対称動きベクトル差分参照インデックスＬ０は、前記ショートターム参照ピクチャＬ０を指すことができる。また、前記対称動きベクトル差分参照インデックスＬ１は、前記ショートターム参照ピクチャＬ１を指すことができる。
一実施形態において、前記参照ピクチャリストは、参照ピクチャリスト０を含むことができる。前記参照ピクチャリスト０は、前記ショートターム参照ピクチャＬ０を含むことができる。前記参照ピクチャリスト０に含まれたショートターム参照ピクチャのそれぞれと前記現在ブロックを含む現在ピクチャとの間のＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）差分に基づいて、前記対称動きベクトル差分参照インデックスＬ０が導出できる。
一実施形態において、前記ＰＯＣ差分の間の比較に基づいて、前記対称動きベクトル差分参照インデックスＬ０が導出できる。
一実施形態において、前記参照ピクチャリスト０は他のショートターム参照ピクチャＬ０をさらに含むことができる。前記ＰＯＣ差分は、前記ショートターム参照ピクチャＬ０と前記現在ピクチャとの間の第１ＰＯＣ差分、及び前記他のショートターム参照ピクチャＬ０と前記現在ピクチャとの間の第２ＰＯＣ差分を含むことができる。前記第１ＰＯＣ差分は、前記第２ＰＯＣ差分よりも小さいことがある。
図２０及び２１は、本文書の実施形態に係る画像／ビデオデコード方法及び関連のコンポーネントの一例を概略的に示す。図２０において開示された方法は、図３において開示されたデコード装置によって実行されることができる。具体的に、例えば、図２０のＳ２０００は、前記デコード装置のエントロピーデコード部３１０によって実行されることができ、Ｓ２０１０乃至Ｓ２０５０は、前記デコード装置の予測部３３０によって実行されることができる。図２０において開示された方法は、本文書で前述した実施形態を含むことができる。
図２０を参照すると、デコード装置は、画像／ビデオ情報を受信／取得する（Ｓ２０００）。デコード装置は、ビットストリームを介して前記画像／ビデオ情報を受信／取得することができる。前記画像／ビデオ情報は、予測関連情報（予測モード情報を含む）、ＭＶＤに関する情報、及び／又はレジデュアル情報を含むことができる。前記予測関連情報は、ＭＭＶＤに関する情報、ＳＭＶＤに関する情報等を含むことができる。また、前記画像／ビデオ情報は、本文書の実施形態に係る多様な情報を含むことができる。例えば、前記画像／ビデオ情報は、図１乃至１７と共に説明された情報及び／又は前述した表１乃至３４のうち少なくとも一つに開示された情報を含むことができる。
デコード装置は、前記予測関連情報に基づいて現在ブロックに対するインター予測モードを導出する（Ｓ２０１０）。ここで、インター予測モードは、前述したマージモード、ＡＭＶＰモード（動きベクトル予測子候補を用いたモード）、ＭＭＶＤ、ＳＭＶＤを含むことができる。
デコード装置は、現在ブロックの周辺ブロックに基づいて、前記現在ブロックのためのＭＶＰ候補リストを構成する（Ｓ２０２０）。ＭＶＰ候補リストは、ＭＶＰ候補リストＬ０及びＭＶＰ候補リストＬ１を含むことができる。一例において、前記周辺ブロックは、前記現在ブロックを含む現在ピクチャに含まれ得る。別の例において、前記周辺ブロックは、前記現在ピクチャからの以前（参照）ピクチャ又は以後（参照）ピクチャに含まれ得る。ここで、以前ピクチャのＰＯＣは、現在ピクチャのＰＯＣよりも小さいことがあり、そして、以後ピクチャのＰＯＣは、現在ピクチャのＰＯＣよりも大きいことがある。一例によると、現在ピクチャと現在ピクチャからの以前（参照）ピクチャとの間のＰＯＣ差分は、０よりも大きいことがある。別の例において、現在ピクチャと現在ピクチャからの以後（参照）ピクチャとの間のＰＯＣ差分は、０よりも小さいことがある。但し、これは例示的なだけである。
デコード装置は、前記ＭＶＰ候補リストに基づいて、前記現在ブロックのためのＭＶＰを導出することができる（Ｓ２０３０）。ＭＶＰは、ＭＶＰＬ０及びＭＶＰＬ１を含むことができる。ＭＶＰＬ０は、ＭＶＰ候補リストＬ０から導出されることができ、そして、ＭＶＰＬ１は、ＭＶＰ候補リストＬ１から導出されることができる。デコード装置は、前記ＭＶＰ候補リストに含まれた動きベクトル予測子候補のうち、最適の動きベクトル予測子候補を導出することができる。エンコード装置は、前記最適の動きベクトル予測子候補を指示する選択情報（ｅｘ．ＭＶＰフラグ又はＭＶＰインデックス）を生成することができる。
デコード装置は、前記ＭＶＤに関する情報及び前記ＭＶＰに基づいて、前記現在ブロックのための動き情報を導出する（Ｓ２０４０）。例えば、動き情報は、ＳＭＶＤのための参照インデックスを含むことができる。ＳＭＶＤのための参照インデックスは、ＳＭＶＤの適用のための参照ピクチャを指すことができる。ＳＭＶＤのための参照インデックスは、参照インデックスＬ０（ＲｅｆＩｄｘＳｕｍＬ０）及び参照インデックスＬ１（ＲｅｆＩｄｘＳｕｍＬ１）を含むことができる。
デコード装置は、前記動き情報に基づいて予測サンプルを生成する（Ｓ２０５０）。デコード装置は、前記動き情報に含まれた動きベクトルと参照ピクチャインデックスに基づいて、前記予測サンプルを生成することができる。例えば、前記予測サンプルは、前記参照ピクチャインデックスが指す前記参照ピクチャ内のブロック（又はサンプル）のうち、前記動きベクトルにより指示されるブロック（又はサンプル）に基づいて生成されることができる。
デコード装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを生成することができる。具体的に、デコード装置は、前記レジデュアル情報に基づいて量子化された変換係数を導出することができる。量子化された変換係数は、係数スキャン順序に基づいて、１次元ベクトルの形態を有することができる。デコード装置は、前記量子化された変換係数に対する逆量子化手順に基づいて変換係数を導出することができる。デコード装置は、前記変換係数に対する逆変換手順に基づいてレジデュアルサンプルを導出することができる。
デコード装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて現在ピクチャの復元サンプルを生成することができる。デコード装置は、（修正された）復元サンプルを生成するためにフィルタリング手順をさらに実行することもできる。
一実施形態において、前記動き情報は、ＭＶ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）及び対称動きベクトル差分参照インデックスを含むことができる。前記ＭＶは、Ｌ０予測に対するＭＶＬ０及びＬ１予測に対するＭＶＬ１を含むことができる。前記対称動きベクトル差分参照インデックスは、前記Ｌ０予測に対する対称動きベクトル差分参照インデックスＬ０、及び前記Ｌ１予測に対する対称動きベクトル差分参照インデックスＬ１を含むことができる。前記ＭＶＤに関する情報は、前記Ｌ０予測に対するＭＶＤＬ０に関する情報を含むことができる。一例において、前記Ｌ１予測に対するＭＶＤＬ１に関する情報は、前記ＭＶＤＬ０に関する情報に基づいて導出されることができる。別の例において、現在ブロックの予測のための周辺ブロックに基づいて、ＭＶＤＬ０に関する情報及び／又はＭＶＤＬ１に関する情報が導出できる。エンコード装置は、画像／ビデオ情報をエンコードするにあたって、ＭＶＤＬ１に関する情報は排除することもある。前記ＭＶＬ０は、前記ＭＶＤＬ０に関する情報に基づいて導出され、そして、前記ＭＶＬ１は、前記ＭＶＤＬ１に関する情報に基づいて導出されることができる。前記対称動きベクトル差分参照インデックスＬ０及び前記対称動きベクトル差分参照インデックスＬ１は、参照ピクチャリストに含まれた参照ピクチャのうち、ショートターム参照ピクチャに基づいて導出されることができる。
一実施形態において、前記ＭＶＰは、前記Ｌ０予測に対するＭＶＰＬ０及び前記Ｌ１予測に対するＭＶＰＬ１を含むことができる。前記ＭＶＬ０は、前記ＭＶＤＬ０と前記ＭＶＰＬ０との合算に基づいて導出されることができる。前記ＭＶＬ１は、前記ＭＶＤＬ１と前記ＭＶＰＬ１との合算に基づいて導出されることができる。
一実施形態において、前記予測関連情報は、対称動きベクトル差分に関する情報（ＳＭＶＤのための情報又はＳＭＶＤフラグ情報）を含むことができる。例えば、前記対称動きベクトル差分に関する情報の値が１である場合、前記ショートターム参照ピクチャと前記現在ブロックを含む現在ピクチャとの間のＰＯＣ差分に基づいて、前記対称動きベクトル差分参照インデックスＬ０及び前記対称動きベクトル差分参照インデックスＬ１が導出できる。
一実施形態において、前記ＭＶＤＬ１の大きさは、前記ＭＶＤＬ０の大きさと同一であり得る。前記ＭＶＤＬ１の符号は、前記ＭＶＤＬ０の符号と反対であり得る。
一実施形態において、前記ショートターム参照ピクチャは、ショートターム参照ピクチャＬ０及びショートターム参照ピクチャＬ１を含むことができる。例えば、前記対称動きベクトル差分参照インデックスＬ０は、前記ショートターム参照ピクチャＬ０を指すことができる。また、前記対称動きベクトル差分参照インデックスＬ１は、前記ショートターム参照ピクチャＬ１を指すことができる。
一実施形態において、前記参照ピクチャリストは、参照ピクチャリスト０を含むことができる。前記参照ピクチャリスト０は、前記ショートターム参照ピクチャＬ０を含むことができる。前記参照ピクチャリスト０に含まれたショートターム参照ピクチャのそれぞれと前記現在ブロックを含む現在ピクチャとの間のＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）差分に基づいて、前記対称動きベクトル差分参照インデックスＬ０が導出できる。
一実施形態において、前記ＰＯＣ差分の間の比較に基づいて、前記対称動きベクトル差分参照インデックスＬ０が導出できる。
一実施形態において、前記参照ピクチャリスト０は他のショートターム参照ピクチャＬ０をさらに含むことができる。前記ＰＯＣ差分は、前記ショートターム参照ピクチャＬ０と前記現在ピクチャとの間の第１ＰＯＣ差分、及び前記他のショートターム参照ピクチャＬ０と前記現在ピクチャとの間の第２ＰＯＣ差分を含むことができる。前記第１ＰＯＣ差分は、前記第２ＰＯＣ差分よりも小さいことがある。
一実施形態において、前記対称動きベクトル差分参照インデックスＬ０及び前記対称動きベクトル差分参照インデックスＬ１（ｅｘ．ｒｅｆ＿ｉｄｘ＿ｌ１［ｘ０］［ｙ０］， ｒｅｆ＿ｉｄｘ＿ｌ１［ｘ０］［ｙ０］）は、直接シグナリングされず、そして、前記対称動きベクトル差分に関する情報（ｅｘ．ｓｙｍ＿ｍｖｄ＿ｆｌａｇ）に基づいて導出されることができる。
前述した実施例において、方法は、一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、該当実施例は、ステップの順序に限定されるわけではなく、あるステップは、前述したところと異なるステップと異なる順序で、又は同時に発生し得る。また、当業者であれば、フローチャートに示されているステップが排他的ではなく、異なるステップが含まれるか、フローチャートの１つ又はそれ以上のステップが本文書の実施例の範囲に影響を与えずに削除され得ることを理解することができる。
前述した本文書の実施例に係る方法は、ソフトウェアの形態で具現されることができ、本文書に係るエンコーディング装置及び／又はデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の映像処理を行う装置に含まれ得る。
本文書で、実施例がソフトウェアで具現される際、前述した方法は、前述した機能を行うモジュール（過程、機能等）で具現されることができる。モジュールはメモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部又は外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／又は他の格納装置を含むことができる。即ち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて行われ得る。例えば、各図面で示している機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて行われ得る。この場合、具現のための情報（ｅｘ．ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）又はアルゴリズムがデジタル格納媒体に格納されることができる。
また、本文書の実施例が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、オーダーメイド型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）装置、ＡＲ（ａｒｇｕｍｅｎｔｅ ｒｅａｌｉｔｙ）装置、映像電話ビデオ装置、運送手段端末（ｅｘ．車両（自律走行車両含む）端末、飛行機端末、船舶端末など）及び医療用ビデオ装置等に含まれ得、ビデオ信号又はデータ信号を処理するために使用され得る。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネットアクセスＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）等を含み得る。
また、本文書の実施例が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取ることができる記録媒体に格納されることができる。本文書の実施例に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み取ることができる記録媒体に格納されることができる。前記コンピュータが読み取ることができる記録媒体は、コンピュータで読み取られるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピディスク、及び光学的データ格納装置を含み得る。また、前記コンピュータが読み取ることができる記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームが、コンピュータが読み取られる記録媒体に格納されるか、有無線通信ネットワークを介して送信されることができる。
また、本文書の実施例は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施例によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に格納されることができる。
図２２は、本文書に開示された実施例が適用されることができるコンテンツストリーミングシステムの例を示す。
図２２を参照すると、本文書の実施例が適用されるコンテンツストリーミングシステムは、大きくエンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディアストレージ、ユーザ装置、及びマルチメディア入力装置を含むことができる。
前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダ等のようなマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。別の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略され得る。
前記ビットストリームは、本文書の実施例が適用されるエンコーディング方法又はビットストリームの生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信又は受信する過程で、一時的に前記ビットストリームを格納することができる。
前記ストリーミングサーバは、ウェブサーバを介してのユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すれば、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。
前記ストリーミングサーバは、メディア格納所及び／又はエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムに受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間、格納することができる。
前記ユーザ装置の例では、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがありうる。
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。
本明細書に記載された請求項は、多様な方式で組み合わせることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせられて装置として具現されることができ、本明細書の装置請求項の技術的特徴が組み合わせられて方法として具現されることができる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて装置として具現されることができ、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて方法として具現されることができる。

Claims (3)

  1. デコード装置によって実行される画像デコード方法において、
    ビットストリームを介して予測関連情報及びＭＶＤ（motion vector difference）に関する情報を含む画像情報を受信するステップと、
    前記予測関連情報に基づいて現在ブロックのためにインター予測モードを導出するステップと、
    前記現在ブロックの周辺ブロックに基づいて、前記現在ブロックのためのＭＶＰ（motion vector predictor）候補リストを構成するステップと、
    前記ＭＶＰ候補リストに基づいて、前記現在ブロックのためのＭＶＰを導出するステップと、
    前記ＭＶＤに関する前記情報及び前記ＭＶＰに基づいて、前記現在ブロックのための動き情報を導出するステップと、
    前記動き情報に基づいて、前記現在ブロックに対する予測サンプルを生成するステップと、を含み、
    前記現在ブロックに双予測が適用され、
    前記動き情報は、ＭＶ（motion vector）及び対称動きベクトル差分参照インデックスを含み、
    前記ＭＶは、Ｌ０予測に対するＭＶＬ０及びＬ１予測に対するＭＶＬ１を含み、
    前記対称動きベクトル差分参照インデックスは、前記Ｌ０予測に対する対称動きベクトル差分参照インデックスＬ０、及び前記Ｌ１予測に対する対称動きベクトル差分参照インデックスＬ１を含み、
    前記ＭＶＤに関する前記情報は、前記Ｌ０予測に対するＭＶＤＬ０に関する情報を含み、
    前記Ｌ１予測に対するＭＶＤＬ１に関する情報は、前記ＭＶＤＬ０に関する前記情報に基づいて導出され、
    前記ＭＶＤＬ０は、前記ＭＶＤＬ０に関する前記情報に基づいて導出され、
    前記ＭＶＤＬ１は、前記ＭＶＤＬ１に関する前記情報に基づいて導出され、
    前記対称動きベクトル差分参照インデックスＬ０及び前記対称動きベクトル差分参照インデックスＬ１は、参照ピクチャリストに含まれた参照ピクチャのうちのショートターム参照ピクチャと、前記現在ブロックを含む現在ピクチャとの間のＰＯＣ（picture order count）差分に基づいて導出される、方法。
  2. エンコード装置によって実行される画像エンコード方法において、
    現在ブロックのためにインター予測モードを導出するステップと、
    前記現在ブロックの周辺ブロックに基づいて、前記現在ブロックのためのＭＶＰ（motion vector predictor）候補リストを構成するステップと、
    前記ＭＶＰ候補リストに基づいて、前記現在ブロックのためのＭＶＰを導出するステップと、
    ＭＶ（motion vector）を含む前記現在ブロックのための動き情報を導出するステップと、
    前記インター予測モードに関する情報及び前記現在ブロックのためのＭＶＤ（motion vector difference）に関する情報を含む予測関連情報を生成するステップと、
    前記動き情報に基づいて、前記現在ブロックに対する予測サンプルを生成するステップと、
    前記予測サンプルに基づいてレジデュアル情報を生成するステップと、
    前記予測関連情報及び前記レジデュアル情報を含む画像情報をエンコードするステップと、を含み、
    前記動き情報は、対称動きベクトル差分参照インデックスを含み、
    前記ＭＶは、Ｌ０予測に対するＭＶＬ０及びＬ１予測に対するＭＶＬ１を含み、
    前記対称動きベクトル差分参照インデックスは、前記Ｌ０予測に対する対称動きベクトル差分参照インデックスＬ０、及び前記Ｌ１予測に対する対称動きベクトル差分参照インデックスＬ１を含み、
    前記ＭＶＤに関する前記情報は、前記Ｌ０予測に対するＭＶＤＬ０に関する情報を含み、
    前記Ｌ１予測に対するＭＶＤＬ１に関する情報は、前記ＭＶＤＬ０に関する前記情報に基づいて導出され、
    前記ＭＶＬ０は、前記ＭＶＤＬ０に関する前記情報に基づいて導出され、
    前記ＭＶＬ１は、前記ＭＶＤＬ１に関する前記情報に基づいて導出され、
    前記対称動きベクトル差分参照インデックスＬ０及び前記対称動きベクトル差分参照インデックスＬ１は、参照ピクチャリストに含まれた参照ピクチャのうちのショートターム参照ピクチャと、前記現在ブロックを含む現在ピクチャとの間のＰＯＣ（picture order count）差分に基づいて導出される、方法。
  3. 画像のためのデータの送信の方法であって、
    前記画像のためのビットストリームを取得するステップであって、前記ビットストリームは、
    現在ブロックのためにインター予測モードを導出するステップと、
    前記現在ブロックの周辺ブロックに基づいて、前記現在ブロックのためのＭＶＰ（motion vector predictor）候補リストを構成するステップと、
    前記ＭＶＰ候補リストに基づいて、前記現在ブロックのためのＭＶＰを導出するステップと、
    ＭＶ（motion vector）を含む前記現在ブロックのための動き情報を導出するステップと、
    前記インター予測モードに関する情報及び前記現在ブロックのためのＭＶＤ（motion vector difference）に関する情報を含む予測関連情報を生成するステップと、
    前記動き情報に基づいて、前記現在ブロックに対する予測サンプルを生成するステップと、
    前記予測サンプルに基づいてレジデュアル情報を生成するステップと、
    前記予測関連情報及び前記レジデュアル情報を含む画像情報をエンコードするステップと、に基づいて生成される、ステップと、
    前記ビットストリームを含む前記データを送信するステップと、を含み、
    前記動き情報は、対称動きベクトル差分参照インデックスを含み、
    前記ＭＶは、Ｌ０予測に対するＭＶＬ０及びＬ１予測に対するＭＶＬ１を含み、
    前記対称動きベクトル差分参照インデックスは、前記Ｌ０予測に対する対称動きベクトル差分参照インデックスＬ０、及び前記Ｌ１予測に対する対称動きベクトル差分参照インデックスＬ１を含み、
    前記ＭＶＤに関する前記情報は、前記Ｌ０予測に対するＭＶＤＬ０に関する情報を含み、
    前記Ｌ１予測に対するＭＶＤＬ１に関する情報は、前記ＭＶＤＬ０に関する前記情報に基づいて導出され、
    前記ＭＶＬ０は、前記ＭＶＤＬ０に関する前記情報に基づいて導出され、
    前記ＭＶＬ１は、前記ＭＶＤＬ１に関する前記情報に基づいて導出され、
    前記対称動きベクトル差分参照インデックスＬ０及び前記対称動きベクトル差分参照インデックスＬ１は、参照ピクチャリストに含まれた参照ピクチャのうちのショートターム参照ピクチャと、前記現在ブロックを含む現在ピクチャとの間のＰＯＣ（picture order count）差分に基づいて導出される、方法。
JP2021576703A 2019-06-24 2020-06-24 動きベクトル差分を利用した映像コーディング方法及び装置 Active JP7335365B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023132986A JP7513816B2 (ja) 2019-06-24 2023-08-17 動きベクトル差分を利用した映像コーディング方法及び装置
JP2024104033A JP2024114882A (ja) 2019-06-24 2024-06-27 動きベクトル差分を利用した映像コーディング方法及び装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962865960P 2019-06-24 2019-06-24
US62/865,960 2019-06-24
PCT/KR2020/008138 WO2020262919A1 (ko) 2019-06-24 2020-06-24 움직임 벡터 차분들을 이용한 영상 코딩 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023132986A Division JP7513816B2 (ja) 2019-06-24 2023-08-17 動きベクトル差分を利用した映像コーディング方法及び装置

Publications (2)

Publication Number Publication Date
JP2022538837A JP2022538837A (ja) 2022-09-06
JP7335365B2 true JP7335365B2 (ja) 2023-08-29

Family

ID=74060244

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021576703A Active JP7335365B2 (ja) 2019-06-24 2020-06-24 動きベクトル差分を利用した映像コーディング方法及び装置
JP2023132986A Active JP7513816B2 (ja) 2019-06-24 2023-08-17 動きベクトル差分を利用した映像コーディング方法及び装置
JP2024104033A Pending JP2024114882A (ja) 2019-06-24 2024-06-27 動きベクトル差分を利用した映像コーディング方法及び装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2023132986A Active JP7513816B2 (ja) 2019-06-24 2023-08-17 動きベクトル差分を利用した映像コーディング方法及び装置
JP2024104033A Pending JP2024114882A (ja) 2019-06-24 2024-06-27 動きベクトル差分を利用した映像コーディング方法及び装置

Country Status (5)

Country Link
US (3) US11503301B2 (ja)
JP (3) JP7335365B2 (ja)
KR (3) KR20240142595A (ja)
CN (1) CN114303378A (ja)
WO (1) WO2020262919A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7335365B2 (ja) * 2019-06-24 2023-08-29 エルジー エレクトロニクス インコーポレイティド 動きベクトル差分を利用した映像コーディング方法及び装置
KR20240029111A (ko) * 2019-06-24 2024-03-05 엘지전자 주식회사 움직임 벡터를 이용한 영상 코딩 방법 및 장치
WO2020260280A1 (en) * 2019-06-25 2020-12-30 Interdigital Vc Holdings France, Sas Motion vector prediction in video encoding and decoding
US11190789B2 (en) * 2019-06-30 2021-11-30 Tencent America LLC Method and apparatus for video coding using inter-prediction mode signaling to dertermine motion vectors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020132272A1 (en) 2018-12-21 2020-06-25 Vid Scale, Inc. Symmetric motion vector difference coding
WO2020221256A1 (en) 2019-04-28 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Symmetric motion vector difference coding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012504925A (ja) * 2008-10-06 2012-02-23 エルジー エレクトロニクス インコーポレイティド ビデオ信号の処理方法及び装置
JP5320525B1 (ja) * 2011-10-27 2013-10-23 パナソニック株式会社 予測動きベクトル導出方法および予測動きベクトル導出装置
US9936197B2 (en) * 2011-10-28 2018-04-03 Samsung Electronics Co., Ltd. Method for inter prediction and device therefore, and method for motion compensation and device therefore
WO2015015058A1 (en) * 2013-07-31 2015-02-05 Nokia Corporation Method and apparatus for video coding and decoding
EP3158734A1 (en) * 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
KR20170001302A (ko) 2015-06-26 2017-01-04 안동윤 마늘이 함유된 조미 오징어 및 제조방법
WO2017052081A1 (ko) 2015-09-24 2017-03-30 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
KR20180059443A (ko) * 2015-09-24 2018-06-04 엘지전자 주식회사 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
WO2017188566A1 (ko) 2016-04-25 2017-11-02 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
KR20240137710A (ko) 2019-02-20 2024-09-20 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출
WO2020221258A1 (en) 2019-04-28 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Symmetric motion vector difference coding
MX2021015524A (es) * 2019-06-14 2022-02-03 Lg Electronics Inc Metodo y dispositivo de codificacion de imagenes usando diferencias de vectores de movimiento.
JP7335365B2 (ja) * 2019-06-24 2023-08-29 エルジー エレクトロニクス インコーポレイティド 動きベクトル差分を利用した映像コーディング方法及び装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020132272A1 (en) 2018-12-21 2020-06-25 Vid Scale, Inc. Symmetric motion vector difference coding
WO2020221256A1 (en) 2019-04-28 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Symmetric motion vector difference coding

Also Published As

Publication number Publication date
KR20240142595A (ko) 2024-09-30
WO2020262919A1 (ko) 2020-12-30
US11818358B2 (en) 2023-11-14
US20220377346A1 (en) 2022-11-24
KR102708635B1 (ko) 2024-09-24
KR102640262B1 (ko) 2024-02-23
CN114303378A (zh) 2022-04-08
US11503301B2 (en) 2022-11-15
US20230396775A1 (en) 2023-12-07
JP7513816B2 (ja) 2024-07-09
KR20240029110A (ko) 2024-03-05
KR20210158397A (ko) 2021-12-30
JP2022538837A (ja) 2022-09-06
JP2024114882A (ja) 2024-08-23
US20220116623A1 (en) 2022-04-14
JP2023144077A (ja) 2023-10-06

Similar Documents

Publication Publication Date Title
JP7335365B2 (ja) 動きベクトル差分を利用した映像コーディング方法及び装置
JP7323649B2 (ja) インター予測に基づく画像コーディング方法及び装置
JP7513814B2 (ja) 動きベクトル差分を利用した映像コーディング方法および装置
JP7549105B2 (ja) インター予測に基づく画像コーディング方法および装置
JP7469335B2 (ja) 動きベクトル予測基盤映像／ビデオコーディング方法及び装置
EP3975562A1 (en) Image/video coding method and device based on bi-prediction
JP7513818B2 (ja) 動きベクトルを用いた画像コーディング方法および装置
JP7420838B2 (ja) 動きベクトルを用いた画像コーディング方法及び装置
US20240357154A1 (en) Image coding method and apparatus using motion vector

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230817

R150 Certificate of patent or registration of utility model

Ref document number: 7335365

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150