JP7342115B2 - 履歴ベースの動きベクトル予測子の改善 - Google Patents

履歴ベースの動きベクトル予測子の改善 Download PDF

Info

Publication number
JP7342115B2
JP7342115B2 JP2021518081A JP2021518081A JP7342115B2 JP 7342115 B2 JP7342115 B2 JP 7342115B2 JP 2021518081 A JP2021518081 A JP 2021518081A JP 2021518081 A JP2021518081 A JP 2021518081A JP 7342115 B2 JP7342115 B2 JP 7342115B2
Authority
JP
Japan
Prior art keywords
hmvp
candidates
prediction
video
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021518081A
Other languages
English (en)
Other versions
JPWO2020076705A5 (ja
JP2022504073A (ja
Inventor
ハン、ユ
チェン、ウェイ－ジュン
ファン、ハン
ハング、チャオ－ション
カルチェビチ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2022504073A publication Critical patent/JP2022504073A/ja
Publication of JPWO2020076705A5 publication Critical patent/JPWO2020076705A5/ja
Application granted granted Critical
Publication of JP7342115B2 publication Critical patent/JP7342115B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

[0001]本願は、ビデオコーディング及び圧縮に関する。例えば、履歴ベースの動きベクトル予測子の改善を提供するシステム及び方法が説明される。
[0002]多くのデバイス及びシステムは、ビデオデータが消費のために処理及び出力されることを可能にする。デジタルビデオデータは、消費者及びビデオプロバイダの要求を満たすために大量のデータを含む。例えば、ビデオデータの消費者は、高い忠実度、解像度、フレームレート、及び同様のものを有する最高品質のビデオを望んでいる。結果として、これらの要求を満たすために必要とされる大量のビデオデータは、ビデオデータを処理及び記憶する通信ネットワーク及びデバイスに負担をかける。
[0003]様々なビデオコーディング技法が、ビデオデータを圧縮するために使用され得る。ビデオコーディングは、１つ以上のビデオコーディング規格に従って実行される。例えば、ビデオコーディング規格は、ＨＥＶＣ（High-Efficiency Video Coding）、ＡＶＣ（Advanced Video Coding）、ＭＰＥＧ－２ Ｐａｒｔ ２コーディング（ＭＰＥＧは、Moving Picture Experts Groupを表す）、ＶＰ９、ＡＯＭｅｄｉａ（Alliance of Open Media）ＡＶ１（Video 1）、又は同様のものを含む。ビデオコーディングは、一般に、ビデオ画像又はシーケンス中に存在する冗長性を利用する予測方法（例えば、インター予測、イントラ予測、又は同様のもの）を利用する。ビデオコーディング技法の重要な目的は、ビデオ品質に対する劣化を回避又は最小化しながら、ビデオデータをより低いビットレートを使用する形態に圧縮することである。ますます発展するビデオサービスが利用可能になるにつれて、より良いコーディング効率を有する符号化技術が必要とされている。
[0004]ビデオコーデックにおける予測技法を改善するための技法及びシステムが本明細書に説明される。例えば、本明細書に説明される技法は、復号器側動きベクトル精緻化（decoder-side motion vector refinement）を含むことができる。いくつかの例では、本技法は、ＨＥＶＣ（High Efficiency Video Coding）、及び／又はＶＶＣ（Versatile Video Coding）などの既存のビデオコーデックのうちのいずれにも適用され得るか、又は任意の将来のビデオコーディング規格における効率的なコーディングツールであり得る。いくつかの例では、開示される技法は、イントラブロックコピー（ＩＢＣ）予測において利用されることができる。
[0005]いくつかの例では、履歴ベースの動きベクトル予測が実行されることができ、ここで、１つ以上のブロックについての１つ以上の動きベクトル予測子が、以前に復号された動きベクトルのリストから取得又は予測されることができる。いくつかの例では、履歴ベースの動きベクトル予測子（ＨＭＶＰ：History-based Motion Vector Predictor）テーブルは、マージモード、高度動きベクトル予測（ＡＭＶＰ：Advanced Motion Vector Prediction）モード、及び／又は他のインター予測モードなど、異なるタイプのインター予測モードで使用され得るＨＭＶＰ候補を含むことができる。いくつかのケースでは、異なるインター予測モードは、ＨＭＶＰテーブルから候補を選択するために同じ又は異なる方法を使用することができる。いくつかの例では、ＨＭＶＰテーブルは、ＩＢＣモードで使用され得るＨＭＶＰ候補を含むことができる。
[0006]いくつかの例では、異なる予測モードについてのＨＭＶＰテーブルからのＨＭＶＰ候補の選択は、ＨＭＶＰ候補に関連付けられた選択順序に基づくことができる。ＨＭＶＰ候補は、先入れ先出し（ＦＩＦＯ：first-in-first-out）方式でＨＭＶＰテーブル中に挿入され得、ここで、より古い又はより最近でない（older or less recent）ＨＭＶＰ候補は、より新しい又はより最近の(younger or more recent)ＨＭＶＰ候補の前にＨＭＶＰテーブル中に挿入され得る。いくつかの例では、マージ候補リストは、より最近の(more recent)ＨＭＶＰ候補がより最近でない(less recent)ＨＭＶＰ候補の前に選択される正順でＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択することによって、マージモードについてのＨＭＶＰテーブルから構築されることができる。いくつかの例では、ＨＭＶＰテーブル中の最も最近の(the most recent)ＨＭＶＰ候補は、より最近でない(less recent)ＨＭＶＰ候補よりも、ＡＭＶＰモードを使用して予測されている現在のブロックとのより少ない相関を有し得る。いくつかの例では、ＡＭＶＰモード予測のためにより最近でないＨＭＶＰ候補を使用することは、コーディング効率につながることができる。それ故に、いくつかの例では、ＡＭＶＰ候補リストは、より最近でないＨＭＶＰ候補がより最近のＨＭＶＰ候補の前に選択される逆順でＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択することによって、ＡＭＶＰモードで構築されることができる。
[0007]少なくとも一例によると、ビデオデータを処理する方法が提供される。方法は、ビデオデータの１つ以上のブロックを取得することを含む。方法は、履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルに２つ以上のＨＭＶＰ候補を投入すること（populating）を更に含み、ここにおいて、第１のインデックス値に関連付けられたＨＭＶＰテーブルの第１のエントリは、第１のＨＭＶＰ候補を備え、第２のインデックス値に関連付けられたＨＭＶＰテーブルの第２のエントリは、第２のＨＭＶＰ候補を備え、第１のインデックス値は、インデックス順序では第２のインデックス値よりも低い。方法は、高度動きベクトル予測（ＡＭＶＰ）候補リストに対して、逆順でＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択することを更に含み、ここにおいて、第２のＨＭＶＰ候補は、逆順に従って第１のＨＭＶＰ候補の前に選択される。方法は、ＡＭＶＰ候補リストに、選択された１つ以上のＨＭＶＰ候補を追加することを更に含み、ＡＭＶＰ候補リストは、１つ以上のブロックに対してＡＭＶＰを実行するために使用される。
[0008]別の例では、ビデオデータを処理するための装置が提供される。装置は、メモリと、回路中にインプリメントされるプロセッサとを含む。装置は、ビデオデータの１つ以上のブロックを取得するように構成され、取得することができる。装置は、履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルに２つ以上のＨＭＶＰ候補を投入するように構成され、投入することができ、ここにおいて、第１のインデックス値に関連付けられたＨＭＶＰテーブルの第１のエントリは、第１のＨＭＶＰ候補を備え、第２のインデックス値に関連付けられたＨＭＶＰテーブルの第２のエントリは、第２のＨＭＶＰ候補を備え、第１のインデックス値は、第２のインデックス値よりも低い。
装置は、高度動きベクトル予測（ＡＭＶＰ）候補リストに対して、逆順でＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択するように構成され、選択することができ、ここにおいて、第２のＨＭＶＰ候補は、逆順に従って第１のＨＭＶＰ候補の前に選択される。装置は、ＡＭＶＰ候補リストに、選択された１つ以上のＨＭＶＰ候補を追加するように構成され、追加することができ、ＡＭＶＰ候補リストは、１つ以上のブロックに対してＡＭＶＰを実行するために使用される。
[0009]別の例では、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、ビデオデータの１つ以上のブロックを取得することと、 履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルに２つ以上のＨＭＶＰ候補を投入することと、ここにおいて、第１のインデックス値に関連付けられたＨＭＶＰテーブルの第１のエントリは、第１のＨＭＶＰ候補を備え、第２のインデックス値に関連付けられたＨＭＶＰテーブルの第２のエントリは、第２のＨＭＶＰ候補を備え、第１のインデックス値は、第２のインデックス値よりも低い、 高度動きベクトル予測（ＡＭＶＰ）候補リストに対して、逆順でＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択することと、ここにおいて、第２のＨＭＶＰ候補は、逆順に従って第１のＨＭＶＰ候補の前に選択される、 ＡＭＶＰ候補リストに、選択された１つ以上のＨＭＶＰ候補を追加することと、ＡＭＶＰ候補リストは、１つ以上のブロックに対してＡＭＶＰを実行するために使用される、 を行わせる命令を記憶した非一時的コンピュータ可読媒体が提供される。
[0010]別の例では、ビデオデータを処理するための装置が提供される。装置は、ビデオデータの１つ以上のブロックを取得するための手段と、 履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルに２つ以上のＨＭＶＰ候補を投入するための手段と、ここにおいて、第１のインデックス値に関連付けられたＨＭＶＰテーブルの第１のエントリは、第１のＨＭＶＰ候補を備え、第２のインデックス値に関連付けられたＨＭＶＰテーブルの第２のエントリは、第２のＨＭＶＰ候補を備え、第１のインデックス値は、第２のインデックス値よりも低い、 高度動きベクトル予測（ＡＭＶＰ）候補リストに対して、逆順でＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択するための手段と、ここにおいて、第２のＨＭＶＰ候補は、逆順に従って第１のＨＭＶＰ候補の前に選択される、 ＡＭＶＰ候補リストに、選択された１つ以上のＨＭＶＰ候補を追加するための手段と、ＡＭＶＰ候補リストは、１つ以上のブロックに対してＡＭＶＰを実行するために使用される、 を含む。
[0011]上述された方法、装置、及びコンピュータ可読媒体のいくつかの態様では、第１のＨＭＶＰ候補は、第１の時間に復号された動き情報を備え、第２のＨＭＶＰ候補は、第２の時間に復号された動き情報を備え、第1の時間は、第２の時間よりも時間的に後である。
[0012]上述された方法、装置、及びコンピュータ可読媒体のいくつかの態様では、逆順でＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択することは、選択中にＨＭＶＰテーブルのエントリのサブサンプリングを実行することなく、連続するインデックス値に関連付けられたＨＭＶＰテーブルの連続するエントリから１つ以上のＨＭＶＰ候補を選択することを備える。
[0013]上述された方法、装置、及びコンピュータ可読媒体のいくつかの態様は、マージ候補リストに対して、正順でＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択することと、ここにおいて、第１のＨＭＶＰ候補は、正順に従って第２のＨＭＶＰ候補の前に選択される、 マージ候補リストに選択された１つ以上のＨＭＶＰ候補を追加することと、マージ候補リストは、１つ以上のブロックについてのマージ予測を実行するために使用される、 を更に含む。
[0014]上述された方法、装置、及びコンピュータ可読媒体のいくつかの態様では、正順でＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択することは、サブサンプリングレートを使用するＨＭＶＰテーブルのエントリのサブサンプリングを備え、サブサンプリングレートに基づく分離は、連続するＨＭＶＰ候補が選択されるＨＭＶＰテーブルのエントリに関連付けられたインデックス値間で維持される。
[0015]上述された方法、装置、及びコンピュータ可読媒体のいくつかの態様では、マージ候補リストに、選択された１つ以上のＨＭＶＰ候補を追加することは、マージ候補リストに、時間的動きベクトル予測子（ＴＭＶＰ）候補を追加した後に、マージ候補リストに、選択された１つ以上のＨＭＶＰ候補を追加することを備える。
[0016]上述された方法、装置、及びコンピュータ可読媒体のいくつかの態様は、近隣ブロックのサイズが最小サイズ閾値以上であると決定することと、近隣ブロックのサイズが最小サイズ閾値以上であることに基づいて、近隣ブロックのアフィン動きベクトルを現在のブロックのアフィン動きベクトルとして使用することとを更に含む。
[0017]上述された方法、装置、及びコンピュータ可読媒体のいくつかの態様では、２つ以上のＨＭＶＰ候補は、双方向予測の両方の予測方向についての動き情報を備える。
[0018]上述された方法、装置、及びコンピュータ可読媒体のいくつかの態様では、少なくとも２つのＨＭＶＰテーブルが、双予測（bi-prediction）を伴う(with)ＡＭＶＰモードで使用される。
[0019]上述された方法、装置、及びコンピュータ可読媒体のいくつかの態様では、第１のＨＭＶＰテーブルが、第１の参照ピクチャリストに対して使用され、第２のＨＭＶＰテーブルが、第２の参照ピクチャリストに対して使用される。
[0020]上述された方法、装置、及びコンピュータ可読媒体のいくつかの態様では、ＡＭＶＰは、イントラブロックコピーＡＭＶＰ予測モードを含む。
[0021]上述された方法、装置、及びコンピュータ可読媒体のいくつかの態様では、近隣ブロックのアフィン動きベクトルは、１つ以上のスケーリング変数と１つ以上の位置変数とを含む。
[0022]上述された方法、装置、及びコンピュータ可読媒体のいくつかの態様は、符号化器を含む。
[0023]上述された方法、装置、及びコンピュータ可読媒体のいくつかの態様は、復号器を含み、ここで、ビデオデータは、符号化されたビデオビットストリームから取得される。
[0024]この発明の概要は、特許請求される主題の基幹的又は本質的な特徴を識別することを意図されず、特許請求される主題の範囲を決定するために単独で使用されることも意図されない。主題は、本特許の明細書全体の適切な部分、任意又は全ての図面、及び各請求項を参照することによって理解されるべきである。
[0025]前述は、他の特徴及び実施形態と共に、後続の明細書、特許請求の範囲、及び添付の図面を参照するとより明らかとなるであろう。
[0026]様々なインプリメンテーションの例が、次の図面を参照して以下に詳細に説明される。
[0027]いくつかの例に従った、符号化デバイス及び復号デバイスの例を例示するブロック図である。 [0028]いくつかの例に従った、マージモードについての実例的な空間的近隣動きベクトル候補を例示する概念図である。 [0029]いくつかの例に従った、高度動きベクトル予測（ＡＭＶＰ）モードについての実例的な空間的近隣動きベクトル候補を例示する概念図である。 [0030]いくつかの例に従った、実例的な時間的動きベクトル予測子（ＴＭＶＰ：temporal motion vector predictor）候補を例示する概念図である。 [0031]いくつかの例に従った、動きベクトルスケーリングの例を例示する概念図である。 [0032]いくつかの例に従った、実例的な履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルを例示する図である。 [0033]いくつかの例に従った、非隣接空間的マージ候補をフェッチする例を例示する図である。 [0034]いくつかの例に従った、履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルからマージ候補リストを作成する例を例示する図である。 いくつかの例に従った、履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルからマージ候補リストを作成する例を例示する図である。 [0035]いくつかの例に従った、履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルから高度動きベクトル予測（ＡＭＶＰ）候補リストを作成する例を例示する図である。 いくつかの例に従った、履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルから高度動きベクトル予測（ＡＭＶＰ）候補リストを作成する例を例示する図である。 [0036]いくつかの実施形態に従った、ビデオデータを処理するプロセスの別の例を例示するフローチャートである。 [0037]いくつかの例に従った、実例的な符号化デバイスを例示するブロック図である。 [0038]いくつかの例に従った、実例的なビデオ復号デバイスを例示するブロック図である。
[0039]本開示のある特定の態様及び実施形態が以下に提供される。当業者に明らかであるように、これらの態様及び実施形態のうちのいくつかは、独立して適用され得、それらのうちのいくつかは、組み合わせて適用され得る。以下の説明では、説明を目的として、特定の詳細が、本明細書の実施形態の完全な理解を提供するために記載される。しかしながら、様々な実施形態がこれらの特定の詳細なしに実施され得ることは明らかであろう。図面及び説明は、制限的であることを意図されない。
[0040]次に続く説明は、例証的な実施形態のみを提供し、本開示の範囲、適用可能性、又は構成を限定することを意図されない。むしろ、例証的な実施形態の次に続く説明は、例証的な実施形態をインプリメントすることを可能にする説明を当業者に提供するであろう。添付された特許請求の範囲に記載されているような本願の趣旨及び範囲から逸脱することなく、要素の機能及び配置において様々な変更がなされ得ることが理解されるべきである。
[0041]ビデオコーディングデバイスは、ビデオデータを効率的に符号化及び復号するために、ビデオ圧縮技法をインプリメントする。ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために、空間的予測（例えば、イントラフレーム予測又はイントラ予測）、時間的予測（例えば、インターフレーム予測又はインター予測）、インターレイヤ予測（ビデオデータの異なるレイヤにわたる）、及び／又は他の予測技法を含む、異なる予測モードを適用することを含み得る。ビデオ符号化器は、元のビデオシーケンスの各ピクチャを、ビデオブロック又はコーディングユニット（以下でより詳細に説明される）と呼ばれる矩形領域に区分することができる。これらのビデオブロックは、特定の予測モードを使用して符号化され得る。
[0042]ビデオブロックは、１つ以上の方法で、より小さいブロック（例えば、サブブロック）の１つ以上のグループに分割され得る。ビデオブロックは、コーディングツリーブロック、予測ブロック、変換ブロック、及び／又は他の適したブロックを含むことができる。一般に「ブロック」への言及は、別段の指定がない限り、そのようなビデオブロック（例えば、当業者によって理解されるように、コーディングツリーブロック、コーディングブロック、予測ブロック、変換ブロック、又は他の適切なブロック若しくはサブブロック）を指し得る。更に、これらのブロックの各々はまた、本明細書では「ユニット」（例えば、コーディングツリーユニット（ＣＴＵ）、コーディングユニット、予測ユニット（ＰＵ）、変換ユニット（ＴＵ）、又は同様のもの）と交換可能に呼ばれ得る。いくつかのケースでは、ユニットは、ビットストリーム中で符号化されるコーディング論理ユニットを示し得、ブロックは、プロセスがターゲットとするビデオフレームバッファの一部分を示し得る。
[0043]インター予測モードの場合、ビデオ符号化器は、参照フレーム又は参照ピクチャと呼ばれる、別の時間的ロケーション中にロケートされるフレーム（又はピクチャ）中で符号化されているブロックに類似するブロックを探索することができる。ビデオ符号化器は、符号化されることになるブロックからのある特定の空間的変位に探索を制限し得る。ベストマッチは、水平変位成分及び垂直変位成分を含む２次元（２Ｄ）動きベクトルを使用してロケートされ得る。イントラ予測モードの場合、ビデオ符号化器は、同じピクチャ内の以前に符号化された近隣ブロックからのデータに基づいて、空間的予測技法を使用して予測されたブロックを形成し得る。
[0044]ビデオ符号化器は、予測誤差を決定し得る。例えば、予測誤差は、符号化されているブロック中のピクセル値と予測されたブロック中のピクセル値との間の差分として決定されることができる。予測誤差はまた、残差と呼ばれることができる。ビデオ符号化器はまた、変換係数を生成するために、変換コーディングを使用して（例えば、離散コサイン変換（ＤＣＴ）の形態、離散サイン変換（ＤＳＴ）の形態、又は他の適した変換を使用して）予測誤差に変換を適用し得る。変換後、ビデオ符号化器は、変換係数を量子化し得る。量子化された変換係数及び動きベクトルは、シンタックス要素を使用して表され得、制御情報と共に、ビデオシーケンスのコーディングされた表現を形成し得る。いくつかの事例では、ビデオ符号化器は、シンタックス要素をエントロピーコーディングし得、それによって、それらの表現に必要とされるビット数を更に低減し得る。
[0045]ビデオ復号器は、上述されたシンタックス要素及び制御情報を使用して、現在のフレームを復号するための予測データ（例えば、予測ブロック）を構築し得る。例えば、ビデオ復号器は、予測されたブロック及び圧縮された予測誤差を追加し得る。ビデオ復号器は、量子化された係数を使用して変換基底関数（transform basus function）を重み付けすることによって、圧縮された予測誤差を決定し得る。再構築されたフレームと元のフレームとの間の差分は、再構築誤差と呼ばれる。
[0046]以下により詳細に説明されるように、履歴ベースの動きベクトル予測子の改善を提供するためのシステム、装置、方法（プロセスとも呼ばれる）、及びコンピュータ可読媒体が、本明細書に説明される。本明細書に説明される技法は、ビデオがブロック毎に再構築される、様々なブロックベースのビデオコーディング技法のうちの１つ以上に適用されることができる。例えば、本明細書に説明される技法は、既存のビデオコーデック（例えば、ＨＥＶＣ（High Efficiency Video Coding）、ＡＶＣ（Advanced Video Coding）、又は他の適した既存のビデオコーデック）のうちのいずれにも適用されることができ、並びに／又は、例えば、ＶＶＣ（Versatile Video Coding）、ＪＥＭ（Joint Exploration Model）、ＶＰ９、ＡＶ１、及び／又は開発中若しくは開発予定の他のビデオコーディング規格など、開発中の任意のビデオコーディング規格及び／又は将来のビデオコーディング規格のための効率的なコーディングツールであることができる。
[0047]図１は、符号化デバイス１０４及び復号デバイス１１２を含むシステム１００の例を例示するブロック図である。符号化デバイス１０４は、ソースデバイスの一部であり得、復号デバイス１１２は、受信デバイス（クライアントデバイスとも呼ばれる）の一部であり得る。ソースデバイス及び／又は受信デバイスは、モバイル若しくは固定電話ハンドセット（例えば、スマートフォン、セルラ電話、又は同様のもの）、デスクトップコンピュータ、ラップトップ若しくはノートブックコンピュータ、タブレットコンピュータ、セットトップボックス、テレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、インターネットプロトコル（ＩＰ）カメラ、１つ以上のサーバデバイスを含むサーバシステム（例えば、ビデオストリーミングサーバシステム、又は他の適したサーバシステム）中のサーバデバイス、ヘッドマウントディスプレイ（ＨＭＤ）、ヘッドアップディスプレイ（ＨＵＤ）、スマートグラス（例えば、仮想現実（ＶＲ）グラス、拡張現実（ＡＲ）グラス、又は他のスマートグラス）、又は任意の他の適した電子デバイスなどの電子デバイスを含み得る。
[0048]システム１００のコンポーネントは、本明細書に説明される様々な動作を実行するために、１つ以上のプログラマブル電子回路（例えば、マイクロプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）、及び／又は他の適した電子回路）を含むことができる電子回路又は他の電子ハードウェアを含むことができ、及び／若しくはそれを使用してインプリメントされることができ、並びに／又はコンピュータソフトウェア、ファームウェア、又はそれらの任意の組み合わせを含むことができ、及び／若しくはそれを使用してインプリメントされることができる。
[0049]システム１００は、ある特定のコンポーネントを含むように示されているが、当業者は、システム１００が図１に示されるコンポーネントよりも多い又は少ないコンポーネントを含むことができることを理解するであろう。例えば、システム１００はまた、いくつかの事例では、記憶装置１０８及び記憶装置１１８以外の１つ以上のメモリデバイス（例えば、１つ以上のランダムアクセスメモリ（ＲＡＭ）コンポーネント、読取専用メモリ（ＲＯＭ）コンポーネント、キャッシュメモリコンポーネント、バッファコンポーネント、データベースコンポーネント、及び／又は他のメモリデバイス）、１つ以上のメモリデバイスと通信状態にある及び／若しくは電気的に接続された１つ以上の処理デバイス（例えば、１つ以上のＣＰＵ、ＧＰＵ、及び／又は他の処理デバイス）、ワイヤレス通信を実行するための１つ以上のワイヤレスインターフェース（例えば、各ワイヤレスインターフェースについて１つ以上のトランシーバ及びベースバンドプロセッサを含む）、１つ以上のハードワイヤード接続を通して通信を実行するための１つ以上のワイヤードインターフェース（例えば、ユニバーサルシリアルバス（ＵＳＢ）入力、ライトニングコネクタ、及び／又は他のワイヤードインターフェースなどのシリアルインターフェース）、並びに／又は図１に示されていない他のコンポーネントを含むことができる。
[0050]本明細書に説明されるコーディング技法は、（例えば、インターネットを通した）ストリーミングビデオ送信、テレビ放送又は送信、データ記憶媒体上での記憶のためのデジタルビデオの符号化、データ記憶媒体上に記憶されたデジタルビデオの復号、又は他のアプリケーションを含む、様々なマルチメディアアプリケーションにおけるビデオコーディングに適用可能である。いくつかの例では、システム１００は、ビデオ会議、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、ゲーミング、及び／又はビデオ電話通信などのアプリケーションをサポートするために、１方向（one-way）又は２方向（two-way）ビデオ送信をサポートすることができる。
[0051]符号化デバイス１０４（又は符号化器）は、符号化されたビデオビットストリームを生成するために、ビデオコーディング規格又はプロトコルを使用してビデオデータを符号化するために使用されることができる。ビデオコーディング規格の例は、ＩＴＵ－Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ－１ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ．２６２又はＩＳＯ／ＩＥＣ ＭＰＥＧ－２ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｖｉｓｕａｌ、そのＳＶＣ（Scalable Video Coding）及びＭＶＣ（Multiview Video Coding）拡張を含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ ＡＶＣとしても知られる）ＩＴＵ－Ｔ Ｈ．２６４、及びＨＥＶＣ（High Efficiency Video Coding）又はＩＴＵ－Ｔ Ｈ．２６５を含む。レンジ及びスクリーンコンテンツコーディング拡張、３次元（３Ｄ）ビデオコーディング拡張（３Ｄ－ＨＥＶＣ）、マルチビュー拡張（ＭＶ－ＨＥＶＣ）、及びスケーラブル拡張（ＳＨＶＣ）を含む、マルチレイヤビデオコーディングを扱うＨＥＶＣへの様々な拡張が存在する。ＨＥＶＣ及びその拡張は、ＩＴＵ－Ｔ ＶＣＥＧ（Video Coding Experts Group）及びＩＳＯ／ＩＥＣ ＭＰＥＧ（Motion Picture Experts Group）のＪＣＴ－ＶＣ（Joint Collaboration Team on Video Coding）並びにＪＣＴ－３Ｖ（Joint Collaboration Team on 3D Video Coding Extension Development）によって開発されてきた。
[0052]ＭＰＥＧ及びＩＴＵ－Ｔ ＶＣＥＧはまた、ＶＶＣ（Versatile Video Coding）という名称の次世代のビデオコーディング規格のための新しいコーディングツールを調査及び開発するために、ＪＶＥＴ（Joint Exploration Video Team）を結成した。参照ソフトウェアは、ＶＴＭ（VVC Test Model）と呼ばれる。ＶＶＣの目的は、既存のＨＥＶＣ規格を上回る圧縮性能の有意な改善を提供し、より高品質のビデオサービス及び新興のアプリケーション（例えば、とりわけ、３６０°全方向没入型マルチメディア、ハイダイナミックレンジ（ＨＤＲ）ビデオなど）の展開を補助することである。ＶＰ９及びＡＯＭｅｄｉａ（Alliance of Open Media）ＡＶ１（Video 1）は、本明細書に説明される技法が適用されることができる他のビデオコーディング規格である。
[0053]本明細書に説明される多くの実施形態は、ＶＴＭ、ＶＶＣ、ＨＥＶＣ、ＡＶＣ、及び／又はそれらの拡張などのビデオコーデックを使用して実行されることができる。しかしながら、本明細書に説明される技法及びシステムはまた、ＭＰＥＧ、ＪＰＥＧ（若しくは静止画像のための他のコーディング規格）、ＶＰ９、ＡＶ１、それらの拡張、又は既に利用可能であるか若しくはまだ利用可能でないか若しくは開発されていない他の適したコーディング規格など、他のコーディング規格に適用可能であり得る。それ故に、本明細書に説明される技法及びシステムは、特定のビデオコーディング規格を参照して説明され得るが、当業者は、その説明がその特定の規格にしか適用されないと解釈されるべきでないことを理解するであろう。
[0054]図１を参照すると、ビデオソース１０２は、符号化デバイス１０４にビデオデータを提供し得る。ビデオソース１０２は、ソースデバイスの一部であり得るか、又はソースデバイス以外のデバイスの一部であり得る。ビデオソース１０２は、ビデオキャプチャデバイス（例えば、ビデオカメラ、カメラ電話、ビデオ電話、又は同様のもの）、記憶されたビデオを包含するビデオアーカイブ、ビデオデータを提供するビデオサーバ若しくはコンテンツプロバイダ、ビデオサーバ若しくはコンテンツプロバイダからビデオを受信するビデオフィードインターフェース、コンピュータグラフィックスビデオデータを生成するためのコンピュータグラフィックスシステム、そのようなソースの組み合わせ、又は任意の他の適したビデオソースを含み得る。
[0055]ビデオソース１０２からのビデオデータは、１つ以上の入力ピクチャを含み得る。ピクチャはまた、「フレーム」と呼ばれ得る。ピクチャ又はフレームは、いくつかのケースでは、ビデオの一部である静止画像である。いくつかの例では、ビデオソース１０２からのデータは、ビデオの一部ではない静止画像であることができる。ＨＥＶＣ、ＶＶＣ、及び他のビデオコーディング仕様では、ビデオシーケンスは、一連のピクチャを含むことができる。ピクチャは、ＳL、ＳCb、及びＳCrと表される３つのサンプル配列を含み得る。ＳLは、ルーマサンプルの２次元配列であり、ＳCbは、Ｃｂクロミナンスサンプルの２次元配列であり、ＳCrは、Ｃｒクロミナンスサンプルの２次元配列である。クロミナンスサンプルはまた、本明細書では「クロマ」サンプルと呼ばれ得る。他の事例では、ピクチャは、モノクロームであり得、ルーマサンプルの配列のみを含み得る。
[0056]符号化デバイス１０４の符号化器エンジン１０６（又は符号化器）は、符号化されたビデオビットストリームを生成するためにビデオデータを符号化する。いくつかの例では、符号化されたビデオビットストリーム（又は、「ビデオビットストリーム」若しくは「ビットストリーム」）は、一連の１つ以上のコーディングされたビデオシーケンスである。コーディングされたビデオシーケンス（ＣＶＳ）は、ベースレイヤ中のランダムアクセスポイントピクチャを有し、且つある特定の特性を有するアクセスユニット（ＡＵ）から開始し、ベースレイヤ中のランダムアクセスポイントピクチャを有し、且つある特定の特性を有する次のＡＵまでの、及びそれを含まない一連のＡＵを含む。例えば、ＣＶＳを開始するランダムアクセスポイントピクチャのある特定の特性は、１に等しいＲＡＳＬフラグ（例えば、ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇ）を含み得る。そうでない場合は、（０に等しいＲＡＳＬフラグを有する）ランダムアクセスポイントピクチャは、ＣＶＳを開始しない。アクセスユニット（ＡＵ）は、１つ以上のコーディングされたピクチャと、同じ出力時間を共有するコーディングされたピクチャに対応する制御情報とを含む。ピクチャのコーディングされたスライスは、ネットワーク抽象化レイヤ（ＮＡＬ）ユニットと呼ばれるデータユニットにビットストリームレベルでカプセル化される。例えば、ＨＥＶＣビデオビットストリームは、ＮＡＬユニットを含む１つ以上のＣＶＳを含み得る。ＮＡＬユニットの各々は、ＮＡＬユニットヘッダを有する。一例では、ヘッダは、Ｈ．２６４／ＡＶＣの場合は１バイト（マルチレイヤ拡張を除く）、及びＨＥＶＣの場合は２バイトである。ＮＡＬユニットヘッダ中のシンタックス要素は、指定されたビットを取り、従って、とりわけ、トランスポートストリーム、リアルタイムトランスポート（ＲＴＰ）プロトコル、ファイルフォーマットなどの全ての種類のシステム及びトランスポートレイヤに対して可視である。
[0057]ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニット及び非ＶＣＬ ＮＡＬユニットを含む、２つのクラスのＮＡＬユニットがＨＥＶＣ規格に存在する。ＶＣＬ ＮＡＬユニットは、コーディングされたビデオビットストリームを形成するコーディングされたピクチャデータを含む。例えば、コーディングされたビデオビットストリームを形成するビットのシーケンスは、ＶＣＬ ＮＡＬユニット中に存在する。ＶＣＬ ＮＡＬユニットは、コーディングされたピクチャデータの１つのスライス又はスライスセグメント（以下に説明される）を含むことができ、非ＶＣＬ ＮＡＬユニットは、１つ以上のコーディングされたピクチャに関連する制御情報を含む。いくつかのケースでは、ＮＡＬユニットは、パケットと呼ばれることができる。ＨＥＶＣ ＡＵは、コーディングされたピクチャデータを包含するＶＣＬ ＮＡＬユニットと、コーディングされたピクチャデータに対応する非ＶＣＬ ＮＡＬユニット（ある場合には）とを含む。非ＶＣＬ ＮＡＬユニットは、他の情報に加えて、符号化されたビデオビットストリームに関連する高レベル情報を有するパラメータセットを包含し得る。例えば、パラメータセットは、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、及びピクチャパラメータセット（ＰＰＳ）を含み得る。いくつかのケースでは、ビットストリームの各スライス又は他の部分は、復号デバイス１１２が、ビットストリームのスライス又は他の部分を復号するために使用され得る情報にアクセスすることを可能にするために、単一のアクティブなＰＰＳ、ＳＰＳ、及び／又はＶＰＳを参照することができる。
[0058]ＮＡＬユニットは、ビデオ中のピクチャのコーディングされた表現などの、ビデオデータのコーディングされた表現を形成するビットのシーケンス（例えば、符号化されたビデオビットストリーム、ビットストリームのＣＶＳ、又は同様のもの）を包含し得る。符号化器エンジン１０６は、各ピクチャを複数のスライスに区分することによってピクチャのコーディングされた表現を生成する。スライスは、同じピクチャ内の他のスライスからのデータへの依存なしにスライス中の情報がコーディングされるように、他のスライスとは独立している。スライスは、独立スライスセグメントと、存在する場合は、以前のスライスセグメントに従属する１つ以上の従属スライスセグメントとを含む１つ以上のスライスセグメントを含む。
[0059]ＨＥＶＣでは、スライスは次いで、ルーマサンプル及びクロマサンプルのコーディングツリーブロック（ＣＴＢ）に区分される。ルーマサンプルの１つのＣＴＢ及びクロマサンプルの１つ以上のＣＴＢは、ルーマ及びクロマサンプルのためのシンタックスと共に、コーディングツリーユニット（ＣＴＵ）と呼ばれる。ＣＴＵはまた、「ツリーブロック」又は「最大コーディングユニット」（ＬＣＵ）と呼ばれ得る。ＣＴＵは、ＨＥＶＣ符号化のための基本処理ユニットである。ＣＴＵは、変動するサイズの複数のコーディングユニット（ＣＵ）に分けられることができる。ＣＵは、コーディングブロック（ＣＢ）と呼ばれるルーマ及びクロマサンプル配列を包含する。
[0060]ルーマ及びクロマＣＢは、予測ブロック（ＰＢ）に更に分けられることができる。ＰＢは、（利用可能であるか、又は使用のためにイネーブルにされるときに）インター予測又はイントラブロックコピー（ＩＢＣ）予測のために同じ動きパラメータを使用するルーマ成分又はクロマ成分のサンプルのブロックである。１つのルーマＰＢ及び１つ以上のクロマＰＢは、関連するシンタックスと共に、予測ユニット（ＰＵ）を形成する。インター予測の場合、動きパラメータのセット（例えば、１つ以上の動きベクトル、参照インデックス、又は同様のもの）は、各ＰＵについてビットストリーム中でシグナリングされ、１つのルーマＰＢ及び１つ以上のクロマＰＢのインター予測のために使用される。動きパラメータはまた、動き情報と呼ばれることができる。ＣＢはまた、１つ以上の変換ブロック（ＴＢ）に区分されることができる。ＴＢは、残差変換（例えば、いくつかのケースでは、同じ２次元変換）が予測残差信号をコーディングするために適用される色成分のサンプルの正方形ブロックを表す。変換ユニット（ＴＵ）は、ルーマ及びクロマサンプルのＴＢ、及び対応するシンタックス要素を表す。変換コーディングは、以下により詳細に説明される。
[0061]ＣＵのサイズは、コーディングモードのサイズに対応し、形状が正方形であり得る。例えば、ＣＵのサイズは、８×８サンプル、１６×１６サンプル、３２×３２サンプル、６４×６４サンプル、又は最大で対応するＣＴＵのサイズまでの任意の他の適切なサイズであり得る。「Ｎ×Ｎ」というフレーズは、垂直及び水平寸法の観点からビデオブロックのピクセル寸法（例えば、８ピクセル×８ピクセル）を指すために本明細書では使用される。ブロック中のピクセルは、行及び列に配置され得る。いくつかの実施形態では、ブロックは、水平方向に、垂直方向と同じ数のピクセルを有さないことがある。ＣＵに関連付けられたシンタックスデータは、例えば、ＣＵの１つ以上のＰＵへの区分を記述し得る。区分モードは、ＣＵがイントラ予測モード符号化されるか、又はインター予測モード符号化されるかの間で異なり得る。ＰＵは、形状が非正方形になるように区分され得る。ＣＵに関連付けられたシンタックスデータはまた、例えば、ＣＴＵに従った、ＣＵの１つ以上のＴＵへの区分を記述し得る。ＴＵは、形状が正方形又は非正方形であることができる。
[0062]ＨＥＶＣ規格によると、変換は、変換ユニット（ＴＵ）を使用して実行され得る。ＴＵは、ＣＵによって異なり得る。ＴＵは、所与のＣＵ内のＰＵのサイズに基づいてサイジングされ得る。ＴＵは、ＰＵと同じサイズであり得るか、又はより小さくあり得る。いくつかの例では、ＣＵに対応する残差サンプルは、残差四分木（ＲＱＴ）として知られる四分木構造を使用してより小さいユニットに再分割され得る。ＲＱＴのリーフノードは、ＴＵに対応し得る。ＴＵに関連付けられたピクセル差分値は、変換係数を作り出すために変換され得る。変換係数は次いで、符号化器エンジン１０６によって量子化され得る。
[0063]ビデオデータのピクチャがＣＵに区分されると、符号化器エンジン１０６は、予測モードを使用して各ＰＵを予測する。予測ユニット又は予測ブロックは次いで、残差を得るために元のビデオデータから減算される（以下に説明される）。各ＣＵについて、予測モードは、シンタックスデータを使用してビットストリーム内部でシグナリングされ得る。予測モードは、イントラ予測（若しくはイントラピクチャ予測）又はインター予測（若しくはインターピクチャ予測）を含み得る。イントラ予測は、ピクチャ内の空間的に近隣するサンプル間の相関を利用する。例えば、イントラ予測を使用して、各ＰＵは、例えば、ＰＵについての平均値を見出すためのＤＣ予測、平面表面（planar surface）をＰＵに合わせるための平面予測、近隣データから補外するための方向予測、又は任意の他の適したタイプの予測を使用して、同じピクチャ中の近隣画像データから予測される。インター予測は、画像サンプルのブロックについての動き補償予測を導出するために、ピクチャ間の時間的相関を使用する。例えば、インター予測を使用して、各ＰＵは、（出力順序で現在のピクチャの前又は後の）１つ以上の参照ピクチャ中の画像データからの動き補償予測を使用して予測される。ピクチャエリアを、インターピクチャ予測を使用してコーディングするか、又はイントラピクチャ予測を使用してコーディングするかの決定は、例えば、ＣＵレベルでなされ得る。
[0064]符号化器エンジン１０６及び復号器エンジン１１６（以下により詳細に説明される）は、ＶＶＣに従って動作するように構成され得る。ＶＶＣによると、ビデオコーダ（符号化器エンジン１０６及び／又は復号器エンジン１１６など）は、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する（ここで、ルーマサンプルの１つのＣＴＢ及びクロマサンプルの１つ以上のＣＴＢは、ルーマサンプル及びクロマサンプルのためのシンタックスと共に、ＣＴＵと呼ばれる）。ビデオコーダは、四分木二分木（ＱＴＢＴ）構造又はマルチタイプツリー（ＭＴＴ）構造などのツリー構造に従ってＣＴＵを区分することができる。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵとの間の分離などの、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、四分木区分に従って区分された第１のレベルと、二分木区分に従って区分された第２のレベルとを含む、２つのレベルを含む。ＱＴＢＴ構造のルートノードは、ＣＴＵに対応する。二分木のリーフノードは、コーディングユニット（ＣＵ）に対応する。
[0065]ＭＴＴ区分構造では、ブロックは、四分木区分と、二分木区分と、１つ以上のタイプの三分木区分とを使用して区分され得る。三分木区分は、ブロックが３つのサブブロックに分けられる区分である。いくつかの例では、三分木区分は、中心を通して元のブロックを分割することなく、ブロックを３つのサブブロックに分割する。ＭＴＴにおける区分タイプ（例えば、四分木、二分木、及び三分木）は、対称又は非対称であり得る。
[0066]いくつかの例では、ビデオコーダは、ルーマ及びクロマ成分の各々を表すために単一のＱＴＢＴ又はＭＴＴ構造を使用することができるが、他の例では、ビデオコーダは、ルーマ成分のための１つのＱＴＢＴ又はＭＴＴ構造、及び両方のクロマ成分のための別のＱＴＢＴ又はＭＴＴ構造（又はそれぞれのクロマ成分のための２つのＱＴＢＴ又はＭＴＴ構造）など、２つ以上のＱＴＢＴ又はＭＴＴ構造を使用することができる。
[0067]ビデオコーダは、ＨＥＶＣによる四分木区分、ＱＴＢＴ区分、ＭＴＴ区分、又は他の区分構造を使用するように構成されることができる。例示を目的として、本明細書における説明は、ＱＴＢＴ区分に言及し得る。しかしながら、本開示の技法はまた、四分木区分、又は他のタイプの区分も使用するように構成されたビデオコーダに適用され得ることが理解されるべきである。
[0068]いくつかの例では、ピクチャの１つ以上のスライスは、スライスタイプを割り当てられる。スライスタイプは、イントラコーディングされたスライス（Ｉスライス）と、インターコーディングされたＰスライスと、インターコーディングされたＢスライスとを含む。Ｉスライス（イントラコーディングされたフレーム、独立して復号可能）は、イントラ予測によってのみコーディングされるピクチャのスライスであり、従って、Ｉスライスがスライスの任意の予測ユニット又は予測ブロックを予測するためにフレーム内のデータしか必要としないことから、独立して復号可能である。Ｐスライス（単方向（uni-directional）予測フレーム）は、イントラ予測で、及び単方向インター予測でコーディングされ得るピクチャのスライスである。Ｐスライス内の各予測ユニット又は予測ブロックは、イントラ予測でコーディングされるか、又はインター予測でコーディングされるかのうちのいずれかである。インター予測が適用されると、予測ユニット又は予測ブロックは、１つの参照ピクチャによってのみ予測され、従って、参照サンプルは、１つのフレームの１つの参照領域からのみのものである。Ｂスライス（双方向予測フレーム）は、イントラ予測で、及びインター予測で（例えば、双予測又は単予測（uni-prediction）のうちのいずれかで）コーディングされ得るピクチャのスライスである。Ｂスライスの予測ユニット又は予測ブロックは、２つの参照ピクチャから双方向に予測され得、ここで、各ピクチャは、１つの参照領域を与え（contributes）、２つの参照領域のサンプルセットは、双方向予測ブロックの予測信号を作り出すために（例えば、等しい重みで、又は異なる重みで）重み付けされる。上述されたように、１つのピクチャのスライスは、独立してコーディングされる。いくつかのケースでは、ピクチャは、単に１つのスライスとしてコーディングされることができる。
[0069]上述されたように、イントラピクチャ予測は、ピクチャ内の空間的に近隣するサンプル間の相関を利用する。複数のイントラ予測モード（「イントラモード」とも呼ばれる）がある。いくつかの例では、ルーマブロックのイントラ予測は、平面モード、ＤＣモード、及び３３個の角度モード（例えば、対角イントラ予測モード及び対角イントラ予測モードに隣接する角度モード）を含む、３５個のモードを含む。イントラ予測の３５個のモードは、以下の表１に示されるようにインデックス付けされる。他の例では、３３個の角度モードによってまだ表されていないことがある予測角度を含む、より多くのイントラモードが定義され得る。他の例では、角度モードに関連付けられた予測角度は、ＨＥＶＣにおいて使用されるものとは異なり得る。
[0070]インターピクチャ予測は、画像サンプルのブロックについての動き補償予測を導出するために、ピクチャ間の時間的相関を使用する。並進動きモデルを使用して、以前に復号されたピクチャ（参照ピクチャ）中のブロックの位置は、動きベクトル（Δｘ、Δｙ）によって示され、ここで、Δｘは、現在のブロックの位置に対する参照ブロックの水平変位を指定し、Δｙは、現在のブロックの位置に対する参照ブロックの垂直変位を指定する。いくつかのケースでは、動きベクトル（Δｘ、Δｙ）は、整数サンプル精度（整数精度とも呼ばれる）であることができ、そのケースでは、動きベクトルは、参照フレームの整数ペルグリッド（又は整数ピクセルサンプリンググリッド）を指し示す。いくつかのケースでは、動きベクトル（Δｘ、Δｙ）は、基準フレームの整数ペルグリッドに制限されることなく、潜在する（underlying）オブジェクトの動きをより正確にキャプチャするために、分数サンプル精度（分数ペル精度又は非整数精度とも呼ばれる）であることができる。動きベクトルの精度は、動きベクトルの量子化レベルによって表され得る。例えば、量子化レベルは、整数精度（例えば、１ピクセル）又は分数ペル精度（例えば、１／４ピクセル、１／２ピクセル、又は他のサブピクセル値）であり得る。補間は、対応する動きベクトルが分数サンプル精度を有するときに予測信号を導出するために、参照ピクチャに適用される。例えば、整数位置で利用可能なサンプルは、分数位置における値を推定するために（例えば、１つ以上の補間フィルタを使用して）フィルタリングされることができる。以前に復号された参照ピクチャは、参照ピクチャリストへの参照インデックス（ｒｅｆＩｄｘ）によって示される。動きベクトル及び参照インデックスは、動きパラメータと呼ばれることができる。単予測と双予測とを含む２種類のインターピクチャ予測が実行されることができる。
[0071]双予測を使用するインター予測では、動きパラメータの２つのセット（Δｘ0、ｙ0、ｒｅｆＩｄｘ0及びΔｘ1、ｙ1、ｒｅｆＩｄｘ1）が、（同じ参照ピクチャから、又はことによると異なる参照ピクチャから）２つの動き補償予測を生成するために使用される。例えば、双予測では、各予測ブロックは、２つの動き補償予測信号を使用し、Ｂ個の予測ユニットを生成する。２つの動き補償予測が次に組み合わされて、最終的な動き補償予測が得られる。例えば、２つの動き補償予測は、平均化することによって組み合わされることができる。別の例では、重み付け予測が使用されることができ、そのケースでは、異なる重みが各動き補償予測に適用されることができる。双予測で使用されることができる参照ピクチャは、リスト０及びリスト１として表される２つの別個のリスト中に記憶される。動きパラメータは、動き推定プロセスを使用して符号化器において導出されることができる。
[0072]単予測を使用するインター予測では、動きパラメータの１つのセット（Δｘ0、ｙ0、ｒｅｆＩｄｘ0）が、参照ピクチャから動き補償予測を生成するために使用される。例えば、単予測では、各予測ブロックは、多くとも１つの動き補償予測信号を使用し、Ｐ個の予測ユニットを生成する。
[0073]ＰＵは、予測プロセスに関連するデータ（例えば、動きパラメータ又は他の適したデータ）を含み得る。例えば、ＰＵがイントラ予測を使用して符号化されるとき、ＰＵは、ＰＵについてのイントラ予測モードを記述するデータを含み得る。別の例として、ＰＵがインター予測を使用して符号化されるとき、ＰＵは、ＰＵについての動きベクトルを定義するデータを含み得る。ＰＵについての動きベクトルを定義するデータは、例えば、動きベクトルの水平成分（Δｘ）、動きベクトルの垂直成分（Δｙ）、動きベクトルについての解像度（resolution）（例えば、整数精度、４分の１ピクセル精度、又は８分の１ピクセル精度）、動きベクトルが指し示す参照ピクチャ、参照インデックス、動きベクトルについての参照ピクチャリスト（例えば、リスト０、リスト１、又はリストＣ）、又はそれらの任意の組み合わせを記述し得る。
[0074]イントラ予測及び／又はインター予測を使用して予測を実行した後、符号化デバイス１０４は、変換及び量子化を実行することができる。例えば、予測に続いて、符号化器エンジン１０６は、ＰＵに対応する残差値を計算し得る。残差値は、コーディングされているピクセルの現在のブロック（ＰＵ）と、現在のブロックを予測するために使用される予測ブロック（例えば、予測されたバージョンの現在のブロック）との間のピクセル差分値を備え得る。例えば、（例えば、インター予測又はイントラ予測を使用して）予測ブロックを生成した後に、符号化器エンジン１０６は、現在のブロックから予測ユニットによって作り出される予測ブロックを減算することによって残差ブロックを生成することができる。残差ブロックは、現在のブロックのピクセル値と予測ブロックのピクセル値との間の差分を定量化するピクセル差分値のセットを含む。いくつかの例では、残差ブロックは、２次元ブロックフォーマット（例えば、ピクセル値の２次元行列又は配列）で表され得る。そのような例では、残差ブロックは、ピクセル値の２次元表現である。
[0075]予測が実行された後に残り得る任意の残差データは、ブロック変換を使用して変換され、それは、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、整数変換、ウェーブレット変換、他の適した変換関数、又はそれらの任意の組み合わせに基づき得る。いくつかのケースでは、１つ以上のブロック変換（例えば、サイズ３２×３２、１６×１６、８×８、４×４、又は他の適したサイズのカーネル）が、各ＣＵ中の残差データに適用され得る。いくつかの例では、ＴＵが、符号化器エンジン１０６によってインプリメントされる変換及び量子化プロセスのために使用され得る。１つ以上のＰＵを有する所与のＣＵはまた、１つ以上のＴＵを含み得る。以下に更に詳細に説明されるように、残差値は、ブロック変換を使用して変換係数に変換され得、次いで、エントロピーコーディングのための直列化された（serialized）変換係数を作り出すために、ＴＵを使用して量子化及び走査され得る。
[0076]いくつかの実施形態では、ＣＵのＰＵを使用するイントラ予測又はインター予測コーディングに続いて、符号化器エンジン１０６は、ＣＵのＴＵについての残差データを計算し得る。ＰＵは、空間ドメイン（又はピクセルドメイン）中のピクセルデータを備え得る。前述されたように、残差データは、符号化されていないピクチャ（例えば、ＰＵ）のピクセルと、ＰＵに対応する予測値との間のピクセル差分値に対応し得る。符号化器エンジン１０６は、（ＰＵを含む）ＣＵについての残差データを含む１つ以上のＴＵを形成し得、次いで、ＣＵについての変換係数を作り出すためにＴＵを変換し得る。ＴＵは、ブロック変換の適用後の変換ドメイン中の係数を備え得る。
[0077]符号化器エンジン１０６は、変換係数の量子化を実行し得る。量子化は、係数を表すために使用されるデータの量を低減するために、変換係数を量子化することによって、更なる圧縮を提供する。例えば、量子化は、係数のうちのいくつか又は全てに関連付けられたビット深度を低減し得る。一例では、ｎビット値を有する係数は、量子化中にｍビット値に切り捨てられ得、ここで、ｎは、ｍより大きい。
[0078]量子化が実行されると、コーディングされたビデオビットストリームは、量子化された変換係数、予測情報（例えば、予測モード、動きベクトル、ブロックベクトル、又は同様のもの）、区分情報、及び他のシンタックスデータなどの任意の他の適したデータを含む。コーディングされたビデオビットストリームの異なる要素は次いで、符号化器エンジン１０６によってエントロピー符号化され得る。いくつかの例では、符号化器エンジン１０６は、エントロピー符号化されることができる直列化されたベクトルを作り出すために、量子化された変換係数を走査するために、予め定義された走査順序を利用し得る。いくつかの例では、符号化器エンジン１０６は、適応走査を実行し得る。ベクトル（例えば、１次元ベクトル）を形成するために、量子化された変換係数を走査した後に、符号化器エンジン１０６は、ベクトルをエントロピー符号化し得る。例えば、符号化器エンジン１０６は、コンテキスト適応可変長コーディング（context adaptive variable length coding）、コンテキスト適応バイナリ算術コーディング（context adaptive binary arithmetic coding）、シンタックスベースのコンテキスト適応バイナリ算術コーディング（syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピーコーディング（probability interval partitioning entropy coding）、又は別の適したエントロピー符号化技法を使用し得る。
[0079]符号化デバイス１０４の出力１１０は、受信デバイスの復号デバイス１１２に通信リンク１２０を通して、符号化されたビデオビットストリームデータを構成するＮＡＬユニットを送り得る。復号デバイス１１２の入力１１４は、ＮＡＬユニットを受信し得る。通信リンク１２０は、ワイヤレスネットワーク、ワイヤードネットワーク、又はワイヤードネットワークとワイヤレスネットワークとの組み合わせによって提供されるチャネルを含み得る。ワイヤレスネットワークは、任意のワイヤレスインターフェース又はワイヤレスインターフェースの組み合わせを含み得、任意の適したワイヤレスネットワーク（例えば、インターネット若しくは他のワイドエリアネットワーク、パケットベースのネットワーク、ＷｉＦｉ（登録商標）、無線周波数（ＲＦ）、ＵＷＢ、ＷｉＦｉ－Ｄｉｒｅｃｔ、セルラ、ロングタームエボリューション（ＬＴＥ（登録商標））、ＷｉＭａｘ（登録商標）、又は同様のもの）を含み得る。ワイヤードネットワークは、任意のワイヤードインターフェース（例えば、ファイバ、イーサネット（登録商標）、電力線イーサネット、同軸ケーブルを通したイーサネット、デジタル信号線（ＤＳＬ）、又は同様のもの）を含み得る。ワイヤード及び／又はワイヤレスネットワークは、基地局、ルータ、アクセスポイント、ブリッジ、ゲートウェイ、スイッチ、又は同様のものなどの様々な機器を使用してインプリメントされ得る。符号化されたビデオビットストリームデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、受信デバイスに送信され得る。
[0080]いくつかの例では、符号化デバイス１０４は、記憶装置１０８中に符号化されたビデオビットストリームデータを記憶し得る。出力１１０は、符号化器エンジン１０６から、又は記憶装置１０８から、符号化されたビデオビットストリームデータを取り出し得る。記憶装置１０８は、様々な分散された又は局所的にアクセスされるデータ記憶媒体のうちの任意のものを含み得る。例えば、記憶装置１０８は、ハードドライブ、記憶ディスク、フラッシュメモリ、揮発性若しくは不揮発性メモリ、又は符号化されたビデオデータを記憶するための任意の他の適したデジタル記憶媒体を含み得る。記憶装置１０８はまた、インター予測において使用するための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ）を含むことができる。更なる例では、記憶装置１０８は、ファイルサーバ、又はソースデバイスによって生成される符号化されたビデオを記憶し得る別の中間記憶デバイスに対応することができる。そのようなケースでは、復号デバイス１１２を含む受信デバイスは、ストリーミング又はダウンロードを介して記憶デバイスから記憶されたビデオデータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを記憶することと、受信デバイスにその符号化されたビデオデータを送信することとが可能な任意のタイプのサーバであり得る。実例的なファイルサーバは、（例えば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）デバイス、又はローカルディスクドライブを含む。受信デバイスは、インターネット接続を含む任意の標準データ接続を通じて、符号化されたビデオデータにアクセスし得る。これは、ファイルサーバ上に記憶された符号化されたビデオデータにアクセスするのに適している、ワイヤレスチャネル（例えば、Ｗｉ－Ｆｉ接続）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデム、等）、又はその両方の組み合わせを含み得る。記憶装置１０８からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はそれらの組み合わせであり得る。
[0081]復号デバイス１１２の入力１１４は、符号化されたビデオビットストリームデータを受信し、復号器エンジン１１６に、又は復号器エンジン１１６によって後に使用するために記憶装置１１８にビデオビットストリームデータを提供し得る。例えば、記憶装置１１８は、インター予測において使用するための参照ピクチャを記憶するためのＤＰＢを含むことができる。復号デバイス１１２を含む受信デバイスは、記憶装置１０８を介して、復号されることになる符号化されたビデオデータを受信することができる。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、受信デバイスに送信され得る。符号化されたビデオデータを送信するための通信媒体は、無線周波数（ＲＦ）スペクトル又は１つ以上の物理的伝送線路などの任意のワイヤレス又はワイヤード通信媒体を備えることができる。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなどの、パケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、又はソースデバイスから受信デバイスへの通信を容易にするのに有用であり得る任意の他の機器を含み得る。
[0082]復号器エンジン１１６は、（例えば、エントロピー復号器を使用して）エントロピー復号し、符号化されたビデオデータを構成する１つ以上のコーディングされたビデオシーケンスの要素を抽出することによって、符号化されたビデオビットストリームデータを復号し得る。復号器エンジン１１６は次いで、符号化されたビデオビットストリームデータを再スケーリングし、それに対して逆変換を実行し得る。残差データは次いで、復号器エンジン１１６の予測ステージに渡される。復号器エンジン１１６は次いで、ピクセルのブロック（例えば、ＰＵ）を予測する。いくつかの例では、予測は、逆変換の出力（残差データ）に追加される。
[0083]ビデオ復号デバイス１１２は、ビデオ宛先デバイス１２２に復号されたビデオを出力し得、それは、コンテンツの消費者に復号されたビデオデータを表示するためのディスプレイ又は他の出力デバイスを含み得る。いくつかの態様では、ビデオ宛先デバイス１２２は、復号デバイス１１２を含む受信デバイスの一部であり得る。いくつかの態様では、ビデオ宛先デバイス１２２は、受信デバイス以外の別個のデバイスの一部であり得る。
[0084]いくつかの実施形態では、ビデオ符号化デバイス１０４及び／又はビデオ復号デバイス１１２は、オーディオ符号化デバイス及びオーディオ復号デバイスとそれぞれ一体化され得る。ビデオ符号化デバイス１０４及び／又はビデオ復号デバイス１１２はまた、１つ以上のマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせなどの、上述されたコーディング技法をインプリメントするのに必要な他のハードウェア又はソフトウェアを含み得る。ビデオ符号化デバイス１０４及びビデオ復号デバイス１１２は、それぞれのデバイス中で、組み合わされた符号化器／復号器（コーデック）の一部として一体化され得る。
[0085]図１に示される実例的なシステムは、本明細書で使用されることができる１つの例示的な例である。本明細書に説明される技法を使用してビデオデータを処理するための技法は、任意のデジタルビデオ符号化及び／又は復号デバイスによって実行されることができる。一般に、本開示の技法は、ビデオ符号化デバイス又はビデオ復号デバイスによって実行されるが、本技法はまた、典型的に「コーデック」と呼ばれる組み合わされたビデオ符号化器－復号器によって実行され得る。その上、本開示の技法はまた、ビデオプリプロセッサによって実行され得る。ソースデバイス及び受信デバイスは単に、ソースデバイスが受信デバイスへの送信のためのコーディングされたビデオデータを生成するそのようなコーディングデバイスの例に過ぎない。いくつかの例では、ソースデバイス及び受信デバイスは、それらデバイスの各々がビデオ符号化及び復号コンポーネントを含むような実質的に対称的な方式で動作し得る。故に、実例的なシステムは、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、又はビデオ電話通信のために、ビデオデバイス間の１方向又は２方向ビデオ送信をサポートし得る。
[0086]ＨＥＶＣ規格への拡張は、ＭＶ－ＨＥＶＣと呼ばれるMultiview Video Coding拡張と、ＳＨＶＣと呼ばれるScalable Video Coding拡張とを含む。ＭＶ－ＨＥＶＣ及びＳＨＶＣ拡張は、レイヤードコーディングの概念を共有し、ここで、異なるレイヤが、符号化されたビデオビットストリーム中に含まれる。コーディングされたビデオシーケンス中の各レイヤは、一意のレイヤ識別子（ＩＤ）によってアドレス指定される。レイヤＩＤは、ＮＡＬユニットが関連付けられるレイヤを識別するために、ＮＡＬユニットのヘッダ中に存在し得る。ＭＶ－ＨＥＶＣでは、異なるレイヤは通常、ビデオビットストリーム中の同じシーンの異なるビューを表す。ＳＨＶＣでは、ビデオビットストリームを異なる空間解像度（若しくはピクチャ解像度）で、又は異なる再構築忠実度で表す、異なるスケーラブルレイヤが提供される。スケーラブルレイヤは、（レイヤＩＤ＝０の）１つのベースレイヤと、（レイヤＩＤ＝１、２、．．．ｎの）１つ以上のエンハンスメントレイヤとを含み得る。ベースレイヤは、ＨＥＶＣの第１のバージョンのプロファイルに適合し得、ビットストリーム中の最下位の利用可能レイヤを表す。エンハンスメントレイヤは、ベースレイヤと比較して、増大された空間解像度、時間解像度若しくはフレームレート、及び／又は再構築忠実度（若しくは品質）を有する。エンハンスメントレイヤは、階層的に編成され、より下位のレイヤに従属することも（又はしないことも）ある。いくつかの例では、異なるレイヤは、単一の標準コーデックを使用してコーディングされ得る（例えば、全てのレイヤは、ＨＥＶＣ、ＳＨＶＣ、又は他のコーディング規格を使用して符号化される）。いくつかの例では、異なるレイヤは、多標準コーデックを使用してコーディングされ得る。例えば、１つのベースレイヤは、ＡＶＣを使用してコーディングされ得、１つ以上のエンハンスメントレイヤは、ＨＥＶＣ規格へのＳＨＶＣ及び／又はＭＶ－ＨＥＶＣ拡張を使用してコーディングされ得る。
[0087]上述されたように、各ブロックについて、（本明細書では動きパラメータとも呼ばれる）動き情報のセットが利用可能であることができる。動き情報のセットは、前方（forward）及び後方（backward）予測方向についての動き情報を包含することができる。ここでは、前方及び後方予測方向は、双方向予測モードの２つの予測方向であり、「前方」及び「後方」という用語は、必ずしも幾何学的意味を有さない。代わりに、前方及び後方は、現在のピクチャ、スライス、又はブロックの参照ピクチャリスト０（ＲｅｆＰｉｃＬｉｓｔ０）及び参照ピクチャリスト１（ＲｅｆＰｉｃＬｉｓｔ１）に対応することができる。いくつかの例では、１つの参照ピクチャリストしかピクチャ、スライス又はブロックに対して利用可能でないとき、ＲｅｆＰｉｃＬｉｓｔ０のみが利用可能であり、スライスの各ブロックの動き情報は、常に前方である。いくつかの例では、ＲｅｆＰｉｃＬｉｓｔ０は、時間的に現在のピクチャに先行する参照ピクチャを含み、ＲｅｆＰｉｃＬｉｓｔ１は、時間的に現在のピクチャに後続する参照ピクチャを含む。いくつかのケースでは、関連する参照インデックスと共に動きベクトルが、復号プロセスにおいて使用されることができる。関連する参照インデックスを有するそのような動きベクトルは、動き情報の単予測セットとして表される。
[0088]各予測方向について、動き情報は、参照インデックス及び動きベクトルを包含することができる。いくつかのケースでは、簡潔さのために、動きベクトルは、関連する情報を有することができ、それから、動きベクトルが関連する参照インデックスを有する方法が仮定されることができる。参照インデックスは、現在の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０又はＲｅｆＰｉｃＬｉｓｔ１）中の参照ピクチャを識別するために使用されることができる。動きベクトルは、現在のピクチャ中の座標位置から参照インデックスによって識別される参照ピクチャ中の座標へのオフセットを提供する水平及び垂直成分を有することができる。例えば、参照インデックスは、現在のピクチャ中のブロックに対して使用されるべき特定の参照ピクチャを示すことができ、動きベクトルは、参照ピクチャ中で、ベストマッチするブロック（現在のブロックにベストマッチするブロック）が参照ピクチャ中のどこにあるかを示すことができる。
[0089]ピクチャ順序カウント（ＰＯＣ：Picture Order Count）は、ピクチャの表示順序を識別するためにビデオコーディング規格において使用されることができる。１つのコーディングされたビデオシーケンス内の２つのピクチャが同じＰＯＣ値を有し得るケースが存在するが、１つのコーディングされたビデオシーケンス内では、同じＰＯＣ値を有する２つのピクチャは、頻繁には生じない。複数のコーディングされたビデオシーケンスがビットストリーム中に存在するとき、同じＰＯＣ値を有するピクチャは、復号順序の観点から互いにより近くあり得る。ピクチャのＰＯＣ値は、とりわけ、参照ピクチャリスト構築、ＨＥＶＣにおけるような参照ピクチャセットの導出、及び／又は動きベクトルスケーリングのために使用されることができる。
[0090]Ｈ．２６４／ＡＶＣでは、各インターマクロブロック（ＭＢ）は、とりわけ、１つの１６×１６マクロブロック区分、２つの１６×８マクロブロック区分、２つの８×１６マクロブロック区分、及び４つの８×８マクロブロック区分を含む、４つの異なる方法に区分され得る。１つのマクロブロック中の異なるマクロブロック区分は、各予測方向について異なる参照インデックス値を有し得る（例えば、ＲｅｆＰｉｃＬｉｓｔ０及びＲｅｆＰｉｃＬｉｓｔ１についての異なる参照インデックス値）。
[0091]いくつかのケースでは、マクロブロックが４つの８×８マクロブロック区分に区分されないとき、マクロブロックは、各予測方向に、各マクロブロック区分について１つの動きベクトルしか有することができない。いくつかのケースでは、マクロブロックが４つの８×８マクロブロック区分に区分されるとき、各８×８マクロブロック区分は、サブブロックに更に区分されることができ、それらの各々は、各予測方向に異なる動きベクトルを有することができる。８×８マクロブロック区分は、とりわけ、１つの８×８サブブロック、２つの８×４サブブロック、２つの４×８サブブロック、及び４つの４×４サブブロックを含む異なる方法でサブブロックに分割されることができる。各サブブロックは、各予測方向に異なる動きベクトルを有することができる。従って、動きベクトルは、サブブロックに等しいか、又はそれより高いレベルで存在することができる。
[0092]ＨＥＶＣでは、スライス中の最大コーディングユニットは、コーディングツリーブロック（ＣＴＢ）又はコーディングツリーユニット（ＣＴＵ）と呼ばれる。ＣＴＢは、四分木を包含し、そのノードは、コーディングユニットである。ＣＴＢのサイズは、ＨＥＶＣメインプロファイルにおいて１６×１６ピクセルから６４×６４ピクセルまでの範囲であることができる。いくつかのケースでは、８×８ピクセルＣＴＢサイズがサポートされることができる。ＣＴＢは、四分木方式でコーディングユニット（ＣＵ）に再帰的に分けられ得る。ＣＵは、ＣＴＢと同じサイズであることができ、８×８ピクセルほどに小さくあることができる。いくつかのケースでは、各コーディングユニットは、イントラ予測モード又はインター予測モードのうちのいずれかなど、１つのモードでコーディングされる。ＣＵがインター予測モードを使用してインターコーディングされるとき、ＣＵは、２つ又は４つの予測ユニット（ＰＵ）に更に区分され得るか、又は更なる区分が適用されないときには１つのＰＵとして扱われ得る。２つのＰＵが１つのＣＵ中に存在するとき、２つのＰＵは、半分のサイズの矩形、又はＣＵの１／４若しくは３／４のサイズである２つの矩形であることができる。
[0093]ＣＵがインターコーディングされるとき、動き情報の１つのセットが、各ＰＵについて存在することができ、それは、一意のインター予測モードで導出されることができる。例えば、各ＰＵは、動き情報のセットを導出するために、１つのインター予測モードでコーディングされることができる。いくつかのケースでは、ＣＵがイントラ予測モードを使用してイントラコーディングされるとき、ＰＵ形状は、２Ｎｘ２Ｎ及びＮｘＮであることができる。各ＰＵ内では、単一のイントラ予測モードがコーディングされる（一方、クロマ予測モードは、ＣＵレベルでシグナリングされる）。いくつかのケースでは、現在のＣＵサイズがＳＰＳ中で定義された最小ＣＵサイズに等しいとき、Ｎ×ＮイントラＰＵ形状が許容される。
[0094]ＨＥＶＣにおける動き予測の場合、マージモード及び高度動きベクトル予測（ＡＭＶＰ）モードを含む、予測ユニット（ＰＵ）のための２つのインター予測モードがある。スキップは、マージの特別なケースと考えられる。ＡＭＶＰモード又はマージモードのうちのいずれでも、動きベクトル（ＭＶ）候補リストが、複数の動きベクトル予測子のために維持される。現在のＰＵの動きベクトル（１つ以上）、並びにマージモードの参照インデックスは、ＭＶ候補リストから１つの候補を取ることによって生成される。
[0095]いくつかの例では、ＭＶ候補リストは最大で、マージモードについては５つの候補まで、ＡＭＶＰモードについては２つの候補まで包含する。他の例では、異なる数の候補が、マージモード及び／又はＡＭＶＰモードについてのＭＶ候補リスト中に含まれることができる。マージ候補は、動き情報のセットを包含し得る。例えば、動き情報のセットは、両方の参照ピクチャリスト（リスト０及びリスト１）に対応する動きベクトルと参照インデックスとを含むことができる。マージ候補がマージインデックスによって識別される場合、参照ピクチャは、現在のブロックの予測のために使用され、並びに関連する動きベクトルが決定される。しかしながら、ＡＭＶＰモード下では、リスト０又はリスト１のうちのいずれかからの各潜在的な予測方向について、ＡＭＶＰ候補が１つの動きベクトルしか包含しないことから、ＭＶ候補リストに対するＭＶ予測子（ＭＶＰ）インデックスと共に、参照インデックスが明示的にシグナリングされる必要がある。ＡＭＶＰモードでは、予測された動きベクトルは、更に精緻化されることができる。
[0096]マージ候補は、動き情報のフルセットに対応し得、ＡＭＶＰ候補は、特定の予測方向についての１つの動きベクトルと参照インデックスとを包含し得る。両方のモードについての候補は、同じ空間的及び時間的近隣ブロックから同様に導出される。
[0097]いくつかの例では、マージモードは、インター予測されたＰＵが、空間的に近隣する動きデータ位置のグループから選択された動きデータ位置と２つの時間的にコロケートされた動きデータ位置のうちの１つとを含むインター予測されたＰＵから、１つ以上の同じ動きベクトル、予測方向、及び１つ以上の参照ピクチャインデックスを継承することを可能にする。ＡＭＶＰモードの場合、ＰＵの１つ以上の動きベクトルは、符号化器によって構築されたＡＭＶＰ候補リストからの１つ以上の動きベクトル予測子（ＭＶＰ）に対して予測的に（predicatively）コーディングされることができる。いくつかの事例では、ＰＵの単方向インター予測の場合、符号化器は、単一のＡＭＶＰ候補リストを生成することができる。いくつかの事例では、ＰＵの双方向予測の場合、符号化器は、２つのＡＭＶＰ候補リストを生成することができ、１つは、前方予測方向からの空間的及び時間的近隣ＰＵの動きデータを使用し、１つは、後方予測方向からの空間的及び時間的近隣ＰＵの動きデータを使用する。
[0098]両方のモードについての候補は、空間的及び／又は時間的近隣ブロックから導出されることができる。例えば、図２Ａ及び図２Ｂは、ＨＥＶＣにおける空間的近隣候補を例示する概念図を含む。図２Ａは、マージモードについての空間的近隣動きベクトル（ＭＶ）候補を例示する。図２Ｂは、ＡＭＶＰモードについての空間的近隣動きベクトル（ＭＶ）候補を例示する。空間的ＭＶ候補は、特定のＰＵ（ＰＵ０）についての近隣ブロックから導出されるが、ブロックから候補を生成する方法は、マージモードとＡＭＶＰモードとの場合で異なる。
[0099]マージモードでは、符号化器は、様々な動きデータ位置からのマージ候補を考慮することによって、マージ候補リストを形成することができる。例えば、図２Ａに示されるように、最大で４つまでの空間的ＭＶ候補が、図２Ａの番号０～４で示される空間的に近隣する動きデータ位置に関して導出されることができる。いくつかの例では、これらの空間的に近隣する動きデータ位置は、ＰＵ０などの現在のブロックについての空間的に近隣する動きデータ位置に直接隣接する。ＭＶ候補は、番号０～４によって示される順序で、マージ候補リスト中で順序付けられることができる。例えば、位置及び順序は、左位置（０）、上位置（１）、右上位置（２）、左下位置（３）、及び左上位置（４）を含むことができる。いくつかの例では、空間的に近隣する動きデータ位置を使用してマージ候補リストが構築される順序に基づいて、空間的に近隣する動きデータ位置と現在のブロックとの間に因果関係が存在する。いくつかの例では、空間的に近隣する動きデータ位置０～４は、直接隣接する因果的に（causally）近隣する動きデータ位置とも呼ばれることができる。
[0100]図２Ｂに示されたＡＭＶＰモードでは、近隣ブロックは、２つのグループに分割される：ブロック０及び１を含む左グループ、及びブロック２、３、及び４を含む上グループ。各グループについて、シグナリングされた参照インデックスによって示されたのと同じ参照ピクチャを指す近隣ブロック中の潜在的な候補は、グループの最終候補を形成するために選ばれるための最高の優先度を有する。全ての近隣ブロックが同じ参照ピクチャを指し示す動きベクトルを包含するわけではない可能性がある。従って、そのような候補が見出されることができない場合、第１の利用可能な候補が、最終候補を形成するためにスケーリングされることになり、このことから、時間的距離差分が補償されることができる。
ＡＭＶＰ候補リストは、適切にスケーリングされ得る利用可能な候補を使用して構築されることができる。いくつかの例では、ＡＭＶＰ候補リストは、因果的に近隣する動きデータ位置の中で利用可能な候補を含むことができる。
[0101]図３Ａ及び図３Ｂは、ＨＥＶＣにおける時間的動きベクトル予測を例示する概念図を含む。時間的動きベクトル予測子（ＴＭＶＰ）候補は、イネーブルにされ且つ利用可能である場合、空間的動きベクトル候補の後にＭＶ候補リストに追加される。ＴＭＶＰ候補についての動きベクトル導出のプロセスは、マージモードとＡＭＶＰモードとの両方について同じである。いくつかの事例では、しかしながら、マージモードのＴＭＶＰ候補についてのターゲット参照インデックスは、常にゼロに設定される。
[0102]ＴＭＶＰ候補導出のためのプライマリブロックロケーションは、空間的近隣候補を生成するために使用される上ブロック及び左ブロックに対するバイアスを補償するための、ブロック「Ｔ」として図３Ａに示されているような、コロケートされたＰＵの外部の右下ブロックである。しかしながら、そのブロックが現在のＣＴＢ（若しくはＬＣＵ）行の外部にロケートされるか、又は動き情報が利用可能でない場合、そのブロックは、ＰＵの中心ブロックと置き換えられる。ＴＭＶＰ候補についての動きベクトルは、スライスレベルで示される、コロケートされたピクチャのコロケートされたＰＵから導出される。ＡＶＣにおける時間的ダイレクトモード（temporal direct mode）と同様に、ＴＭＶＰ候補の動きベクトルは、距離差を補償するために実行される動きベクトルスケーリングを受け得る。
[0103]動き予測の他の態様もまた、ＨＥＶＣ、ＶＶＣ、及び他のビデオコーディング仕様においてカバーされる。例えば、一態様は、動きベクトルスケーリングを含む。動きベクトルスケーリングでは、動きベクトルの値は、提示時間における(in presentation time)ピクチャ間の距離に比例すると仮定される。いくつかの例では、第１の動きベクトルは、第１の参照ピクチャと、第１の動きベクトルを含む第１の包含ピクチャとを含む２つのピクチャに関連付けられることができる。第１の動きベクトルは、第２の動きベクトルを予測するために利用されることができる。第２の動きベクトルを予測するために、第１の参照ピクチャ及び第１の包含ピクチャに関連付けられたピクチャ順序カウント（ＰＯＣ）値に基づいて、第１の動きの第１の包含ピクチャと第１の参照ピクチャとの間の第１の距離が計算されることができる。
[0104]第２の参照ピクチャ及び第２の包含ピクチャは、予測されることになる第２の動きベクトルに関連付けられ得、ここで、第２の参照ピクチャは、第１の参照ピクチャとは異なる可能性があり、第２の包含ピクチャは、第１の包含ピクチャとは異なる可能性がある。第２の参照ピクチャと第２の包含ピクチャとに関連付けられたＰＯＣ値に基づいて、第２の参照ピクチャと第２の包含ピクチャとの間の第２の距離が計算されることができ、ここで、第２の距離は、第１の距離とは異なる可能性がある。第２の動きベクトルを予測するために、第１の動きベクトルは、第１の距離及び第２の距離に基づいてスケーリングされることができる。空間的に近隣する候補について、第１の動きベクトル及び第２の動きベクトルの第１の包含ピクチャ及び第２の包含ピクチャはそれぞれ同じである可能性があるが、第１の参照ピクチャ及び第２の参照ピクチャは異なり得る。いくつかの例では、動きベクトルスケーリングは、空間的及び時間的近隣候補について、ＴＭＶＰモード及びＡＭＶＰモードに適用されることができる。
[0105]動き予測の別の態様は、疑似（artificial）動きベクトル候補生成を含む。例えば、動きベクトル候補リストが完成していない場合、全ての候補が取得されるまで、疑似動きベクトル候補が生成され、動きベクトル候補リストの末尾に挿入される。マージモードでは、２つのタイプの疑似ＭＶ候補が存在する：Ｂスライスのためにのみ導出される合成（combined）候補を含む第１のタイプ、及び第１のタイプが十分な疑似候補を提供しない場合にＡＭＶＰのためにのみ使用されるゼロ候補を含む第２のタイプ。動きベクトル候補リスト中に既に存在し、且つ関連する動き情報を有する候補の各ペアについて、双方向合成動きベクトル候補が、リスト０中のピクチャを指す第１の候補の動きベクトルと、リスト１中のピクチャを指す第２の候補の動きベクトルとの組み合わせによって導出されることができる。
[0106]マージモード及びＡＭＶＰモードの別の態様は、候補挿入のためのプルーニングプロセスを含む。例えば、異なるブロックからの候補は、偶然同じであり得、それは、マージ候補リスト及び／又はＡＭＶＰ候補リストの効率を低下させる。プルーニングプロセスは、この問題を解決するために適用されることができる。プルーニングプロセスは、同一の又は重複する候補を挿入することを回避するために、ある１つの候補を現在の候補リスト中に既に存在する他の複数の候補に対して比較することを含む。比較の複雑さを低減するために、候補リストに挿入されることになる全ての潜在的な候補よりも少ない潜在的な候補に対してプルーニングプロセスが実行されることができる。
[0107]いくつかの例では、拡張動きベクトル予測がインプリメントされることができる。例えば、いくつかのインターコーディングツールは、ＶＶＣなどのビデオコーディング規格において指定され、それに従って、現在のブロックについての動きベクトル予測又はマージ予測の候補リストが導出又は精緻化されることができる。そのようなアプローチの例が、以下に説明される。
[0108]履歴ベースの動きベクトル予測は、現在のブロックについての１つ以上のＭＶ予測子が、直接隣接する因果的に近隣する動きフィールド中のものに加えて、以前に復号されたＭＶのリストから取得又は予測されることができる動きベクトル予測方法である。以前に復号されたＭＶのリスト中のＭＶ予測子は、ＨＭＶＰ候補と呼ばれる。ＨＭＶＰ候補は、インターコーディングされたブロックに関連付けられた動き情報を含むことができる。複数のＨＭＶＰ候補を有するＨＭＶＰテーブルは、スライスのための符号化及び／又は復号プロセス中に維持されることができる。いくつかの例では、ＨＭＶＰテーブルは、動的に更新されることができる。例えば、インターコーディングされたブロックを復号した後、ＨＭＶＰテーブルは、復号されたインターコーディングされたブロックの関連付けられた動き情報を新しいＨＭＶＰ候補としてＨＭＶＰテーブルに追加することによって更新されることができる。いくつかの例では、ＨＭＶＰテーブルは、新しいスライスに遭遇したときに空にされることができる。
[0109]図４は、ＨＭＶＰテーブル４００の例を例示するブロック図である。ＨＭＶＰテーブル４００は、先入れ先出し（ＦＩＦＯ）規則を使用して管理される記憶デバイスとしてインプリメントされることができる。例えば、ＭＶ予測子を含むＨＭＶＰ候補は、ＨＭＶＰテーブル４００中に記憶されることができる。ＨＭＶＰ候補は、それらが符号化又は復号される順序で記憶されることができる。一例では、ＨＭＶＰ候補がＨＭＶＰテーブル４００中に記憶される順序は、ＨＭＶＰ候補が構築される時間に対応することができる。例えば、復号デバイス１１２などの復号器においてインプリメントされるとき、ＨＭＶＰ候補は、復号されたインターコーディングされたブロックの動き情報を含むように構築されることができる。いくつかの例では、ＨＭＶＰテーブル４００からの１つ以上のＨＭＶＰ候補は、復号されることになる現在のブロックの動きベクトル予測のために使用されることができる動きベクトル予測子を含むことができる。いくつかの例では、１つ以上のＨＭＶＰ候補は、それらがＦＩＦＯ方式で、ＨＭＶＰテーブル４００の１つ以上のエントリ中に、復号された時間順序で記憶されることができる１つ以上のそのような以前に復号されたブロックを含むことができる。
[0110]ＨＭＶＰ候補インデックス４０２は、ＨＭＶＰテーブル４００に関連付けられるように示されている。ＨＭＶＰ候補インデックス４０２は、ＨＭＶＰテーブル４００の１つ以上のエントリを識別することができる。例示的な例によると、ＨＭＶＰ候補インデックス４０２は、インデックス値０～４を含むように示され、ここで、ＨＭＶＰ候補インデックス４０２のインデックス値の各々は、対応するエントリに関連付けられる。ＨＭＶＰテーブル４００は、他の例において図４を参照して示され説明されたエントリよりも多い又は少ないエントリを含むことができる。ＨＭＶＰ候補が構築されると、それらは、ＦＩＦＯ方式でＨＭＶＰテーブル４００中に投入される。例えば、ＨＭＶＰ候補が復号されると、それらは、一端においてＨＭＶＰテーブル４００中に挿入され、それらが他端からＨＭＶＰテーブル４００を出るまで、ＨＭＶＰテーブル４００のエントリを通して順次移動される。それ故に、いくつかの例では、ＨＭＶＰテーブル４００をインプリメントするために、シフトレジスタなどのメモリ構造が使用されることができる。一例では、インデックス値０は、ＨＭＶＰテーブル４００の第１のエントリを指し示すことができ、ここで、第１のエントリは、ＨＭＶＰ候補が挿入されるＨＭＶＰテーブル４００の第１の端部に対応することができる。それに対応して、インデックス値４は、ＨＭＶＰテーブル４００の第２のエントリを指し示すことができ、ここで、第２のエントリは、ＨＭＶＰテーブル４００の第２の端部に対応することができ、そこからＨＭＶＰ候補がＨＭＶＰテーブル４００から出るか又は空にされる。それ故に、インデックス値０における第１のエントリに挿入されるＨＭＶＰ候補は、当該ＨＭＶＰ候補がインデックス値４における第２のエントリに到達するまで、より新しい又はより最近復号されたＨＭＶＰ候補のための余地を作るためにＨＭＶＰテーブル４００を横断することができる。このことから、任意の所与の時間にＨＭＶＰテーブル４００中に存在するＨＶＭＰ候補の中で、インデックス値４における第２のエントリ中のＨＭＶＰ候補は、最も古い又は最も最近ではなく(the oldest or least recent)、インデックス値０における第１のエントリ中のＨＭＶＰ候補は、最も新しい又は最も最近(the youngest or most recent)であり得る。一般に、第２のエントリ中のＨＭＶＰ候補は、第１のエントリ中のＨＭＶＰ候補よりも古い又はより最近でない、構築されたＨＭＶＰ候補であり得る。
[0111]図４では、ＨＭＶＰテーブル４００の異なる状態が、参照番号４００Ａ、４００Ｂ、及び４００Ｃで識別される。状態４００Ａを参照すると、ＨＭＶＰ候補ＨＭＶＰ０～ＨＭＶＰ４が、それぞれのインデックス値４～０においてＨＭＶＰテーブル４００のエントリ中に存在するように示されている。例えば、ＨＭＶＰ０は、インデックス値０における第１のエントリにおいてＨＭＶＰテーブル４００中に挿入された最も古い又は最も最近でないＨＭＶＰ候補であり得る。ＨＭＶＰ０は、ＨＭＶＰ０が状態４００Ａに示されたインデックス値４における第２のエントリに到達するまで、より最近でなく挿入されたより新しいＨＭＶＰ候補ＨＭＶＰ１～ＨＭＶＰ４のための余地を作るために順次シフトされ得る。それに対応して、ＨＭＶＰ４は、インデックス値０における第１のエントリ中に挿入されることになる最も最近のＨＭＶＰ候補であり得る。このことから、ＨＭＶＰ０は、ＨＭＶＰ４に関連するＨＭＶＰテーブル４００中のより古い又はより最近でないＨＭＶＰ候補である。
[0112]いくつかの例では、ＨＭＶＰ候補ＨＭＶＰ０～ＨＭＶＰ４のうちの１つ以上は、冗長である可能性がある動きベクトル情報を含む可能性がある。例えば、冗長なＨＭＶＰ候補は、ＨＭＶＰテーブル４００中に記憶された１つ以上の他のＨＭＶＰ候補中の動きベクトル情報と同一である動きベクトル情報を含む可能性がある。冗長なＨＭＶＰ候補の動きベクトル情報は、１つ以上の他のＨＭＶＰ候補から取得されることができるので、冗長なＨＭＶＰ候補をＨＭＶＰテーブル４００中に記憶することは回避されることができる。冗長なＨＭＶＰ候補がＨＭＶＰテーブル４００中に記憶されることを回避することによって、ＨＭＶＰテーブル４００のリソースが、より効率的に利用されることができる。いくつかの例では、ＨＭＶＰ候補をＨＭＶＰテーブル４００中に記憶するより前に、ＨＭＶＰ候補が冗長であるかどうかを決定するために冗長性チェックが実行されることができる（例えば、ＨＭＶＰ候補の動きベクトル情報は、マッチがあるかどうかを決定するために、既に記憶された他のＨＭＶＰ候補の動きベクトル情報と比較されることができる）。
[0113]いくつかの例では、ＨＭＶＰテーブル４００の状態４００Ｂは、上述された冗長性チェックの概念図である。いくつかの例では、ＨＭＶＰ候補は、それらが復号されるときにＨＭＶＰテーブル４００中に投入されることができ、冗長性チェックは、ＨＭＶＰ候補が記憶される前に閾値テストとして実行されるのではなく、周期的に実行されることができる。例えば、状態４００Ｂに示されるように、ＨＭＶＰ候補ＨＭＶＰ１及びＨＭＶＰ３は、冗長な候補として識別されることができる（即ち、それらの動き情報は、ＨＭＶＰテーブル４００中の他のＨＭＶＰ候補のうちの１つの動き情報と同一である）。冗長なＨＭＶＰ候補ＨＭＶＰ１及びＨＭＶＰ３は、除去されることができ、残りのＨＭＶＰ候補は、それに応じてシフトされることができる。
[0114]例えば、状態４００Ｃに示されているように、ＨＭＶＰ候補ＨＭＶＰ２及びＨＭＶＰ４は、より古いエントリに対応するより高いインデックス値に向かってシフトされるが、ＨＭＶＰテーブル４００の第２の端部における第２のエントリ中に既にあるＨＭＶＰ０は、更にシフトされるように示されていない。いくつかの例では、ＨＭＶＰ候補ＨＭＶＰ２及びＨＭＶＰ４をシフトすることは、より新しいＨＭＶＰ候補のためにＨＭＶＰテーブル４００中の空間を解放することができる。それ故に、新しいＨＭＶＰ候補ＨＭＶＰ５及びＨＭＶＰ６は、ＨＭＶＰテーブル４００中にシフトされるように示され、ここで、ＨＭＶＰ６は、最新であるか、又は最も最近復号された動きベクトル情報を含み、インデックス値０における第１のエントリ中に記憶される。
[0115]いくつかの例では、ＨＭＶＰテーブル４００からのＨＭＶＰ候補のうちの１つ以上は、現在のブロックの動き予測のために使用されることができる他の候補リストを構築するために使用されることができる。例えば、ＨＭＶＰテーブル４００からの１つ以上のＨＭＶＰ候補が、例えば、追加のマージ候補としてマージ候補リストに追加されることができる。いくつかの例では、同じＨＭＶＰテーブル４００又は別のそのようなＨＭＶＰテーブルからの１つ以上のＨＭＶＰ候補が、例えば、追加のＡＭＶＰ予測子として、高度動きベクトル予測（ＡＭＶＰ）候補リストに追加されることができる。
[0116]例えば、マージ候補リスト構築プロセスでは、ＨＭＶＰテーブル４００のエントリ中に記憶されたＨＭＶＰ候補のうちのいくつか又は全てが、マージ候補リスト中に挿入されることができる。いくつかの例では、マージ候補リスト中にＨＭＶＰ候補を挿入することは、マージ候補リスト中の時間的動きベクトル予測子（ＴＭＶＰ）候補の後にＨＭＶＰ候補を挿入することを含むことができる。図３Ａ及び図３Ｂを参照して前述されたように、ＴＭＶＰ候補は、イネーブルにされ且つ利用可能である場合、空間的動きベクトル候補の後にＭＶ候補リスト中に追加されることができる。
[0117]いくつかの例では、上述されたプルーニングプロセスが、マージ候補リストを構築する際にＨＭＶＰ候補に適用されることができる。例えば、マージ候補リスト中のマージ候補の総数が許容可能なマージ候補の最大数に達すると、マージ候補リスト構築プロセスを終了することができ、それ以上のＨＭＶＰ候補をマージ候補リスト中に挿入することはできない。マージ候補リスト中の許容可能なマージ候補の最大数は、所定の数、又は、例えば、マージ候補リストが構築され得る復号器に符号化器からシグナリングされ得る数であることができる。
[0118]マージ候補リストを構築するいくつかの例では、１つ以上の他の候補がマージ候補リスト中に挿入されることができる。いくつかの例では、現在のブロックに隣接しないことがある以前にコーディングされたブロックの動き情報は、より効率的な動きベクトル予測のために利用されることができる。例えば、マージ候補リストを構築する際に非隣接空間的マージ候補が使用されることができる。いくつかの例では、非隣接空間的マージ候補は、マージ候補リスト中のＴＭＶＰ候補の前に挿入されることができる。いくつかの例では、非隣接空間的マージ候補は、ＴＭＶＰ候補の後に挿入されたＨＭＶＰ候補のうちの１つ以上を含むことができる同じマージ候補リスト中のＴＭＶＰ候補の前に挿入されることができる。マージ候補リストに挿入されることができる１つ以上の非隣接空間的マージ候補を識別し、フェッチすることが、以下に図５を参照して説明される。
[0119]図５は、コーディングされることになる現在のブロック５０２を含むピクチャ又はスライス５００を例示するブロック図である。いくつかの例では、マージ候補リストは、現在のブロック５０２をコーディングするために構築されることができる。例えば、現在のブロックについての動きベクトルは、マージ候補リスト中の１つ以上のマージ候補から取得されることができる。マージ候補リストは、非隣接空間的マージ候補を決定することを含むことができる。例えば、非隣接空間的マージ候補は、現在のブロック５０２に対する２つの非隣接近隣位置から導出された新しい空間候補を含むことができる。
[0120]（現在のブロック５０２の上且つ左の）左上ブロックＢ2５１０と、（現在のブロック５０２の上の）上ブロックＢ1５１２と、（現在のブロック５０２の上且つ右の）右上ブロックＢ0５１４と、（現在のブロック５０２の左の）左ブロックＡ1５１６と、（現在のブロック５０２の左且つ下の）左下ブロックＡ0５１８とを含む、現在のブロック５０２のいくつかの隣接又は近隣ブロックが示されている。いくつかの例では、非隣接空間的マージ候補は、現在のブロックの上及び／又は左の最も近い非隣接ブロックから取得されることができる。
[0121]いくつかの例では、現在のブロック５０２についての非隣接空間的マージ候補を取得することは、垂直方向（現在のブロック５０２の上）及び／又は水平方向（現在のブロック５０２の左）に、以前に復号されたブロックをトレースすること（tracing）を含むことができる。垂直トレースバック（traced back）距離５０４は、現在のブロック５０２（例えば、現在のブロック５０２の上部境界）及び垂直非隣接ブロックＶN５２０に対する垂直距離を示す。水平トレースバック距離５０６は、現在のブロック５０２（例えば、現在のブロック５０２の左境界）及び水平非隣接ブロックＨN５２２に対する水平距離を示す。垂直トレースバック距離５０４及び水平トレースバック距離５０６は、１つのコーディングツリーユニット（ＣＴＵ）のサイズに等しい最大距離に制約される。
[0122]垂直非隣接ブロックＶN５２０及び水平非隣接ブロックＨN５２２などの非隣接空間的マージ候補は、以前に復号されたブロックを垂直方向及び水平方向にそれぞれトレースすることによって識別されることができる。例えば、垂直非隣接ブロックＶN５２０をフェッチすることは、（１つのＣＴＵの最大サイズに制約された）垂直トレースバック距離５０４内にインターコーディングされたブロックが存在するかどうかを決定するための垂直逆トレースプロセスを含むことができる。そのようなブロックが存在する場合、それは、垂直非隣接ブロックＶN５２０として識別される。いくつかの例では、水平逆トレースプロセスが、垂直逆トレースプロセスに続いて実行され得る。水平逆トレースプロセスは、インターコーディングされたブロックが（１つのＣＴＵの最大サイズに制約された）水平トレースバック距離５０６内に存在するかどうかを決定することを含むことができ、そのようなブロックが見出された場合、それは、水平非隣接ブロックＨN５２２として識別される。
[0123]いくつかの例では、垂直非隣接ブロックＶN５２０及び水平非隣接ブロックＨN５２２のうちの１つ以上は、非隣接空間的マージ候補として使用するためにフェッチされることができる。フェッチプロセスは、垂直非隣接ブロックＶN５２０が垂直逆トレースプロセスにおいて識別される場合、垂直非隣接ブロックＶN５２０をフェッチすることを含むことができる。フェッチプロセスは次いで、水平逆トレースプロセスに進むことができる。垂直非隣接ブロックＶN５２０が垂直逆トレースプロセスにおいて識別されない場合、水平逆トレースプロセスは、インターコーディングされたブロックに遭遇したとき、又は水平トレースバック距離５０６が最大距離を超えたときに終了することができる。垂直非隣接ブロックＶN５２０が識別され、フェッチされた場合、水平逆トレースプロセスは、垂直非隣接ブロックＶN５２０中に包含されたＭＶとは異なるＭＶを包含するインターコーディングされたブロックに遭遇したとき、又は水平トレースバック距離５０６が最大距離を超えた場合に終了する。前述されたように、垂直非隣接ブロックＶN５２０及び水平非隣接ブロックＨN５２２などのフェッチされた非隣接空間的マージ候補のうちの１つ以上は、マージ候補リスト中のＴＭＶＰ候補の前に追加される。
[0124]図４の参照に戻ると、いくつかのケースでは、ＨＭＶＰ候補はまた、ＡＭＶＰ候補リストを構築する際に使用されることができる。ＡＭＶＰ候補リスト構築プロセスでは、同じＨＭＶＰテーブル４００（又はマージ候補リスト構築のために使用されるＨＭＶＰテーブルとは異なるＨＭＶＰテーブル）のエントリ中に記憶されたＨＭＶＰ候補のうちのいくつか又は全てが、ＡＭＶＰ候補リスト中に挿入されることができる。いくつかの例では、ＨＭＶＰ候補をＡＭＶＰ候補リスト中に挿入することは、ＨＭＶＰ候補のエントリのセット（例えば、ｋ個の数の最も最近のエントリ又は最も最近でないエントリ）をＡＭＶＰ候補リスト中のＴＭＶＰ候補の後に挿入することを含むことができる。いくつかの例では、上述されたプルーニングプロセスは、ＡＭＶＰ候補リストを構築する際にＨＭＶＰ候補に適用されることができる。いくつかの例では、ＡＭＶＰターゲット参照ピクチャと同じ参照ピクチャを有するＨＭＶＰ候補のみが、ＡＭＶＰ候補リストを構築するために使用され得る。
[0125]それ故に、履歴ベースの動きベクトル予測子（ＨＭＶＰ）予測モードは、１つ以上のＨＭＶＰ候補を含むＨＭＶＰテーブル４００などの履歴ベースのルックアップテーブルの使用を伴うことができる。ＨＭＶＰ候補は、マージモード及びＡＭＶＰモードなどのインター予測モードで使用されることができる。いくつかの例では、異なるインター予測モードは、ＨＭＶＰテーブル４００からＨＭＶＰ候補を選択するために異なる方法を使用することができる。
[0126]ビデオコーデックにおけるインター予測に関する、システム、装置、方法（プロセスとも呼ばれる）、及びコンピュータ可読媒体が本明細書に説明される。例えば、本明細書により詳細に説明されるように、本明細書に説明される技法は、復号器側動きベクトル精密化（ＤＭＶＲ）に関する。いくつかのケースでは、本技法は、符号化デバイス１０４、復号デバイス１１２、又はそれらの組み合わせのうちの１つ以上によって実行されることができる。いくつかの例では、本技法は、ＨＥＶＣ（High Efficiency Video Coding）、及びＶＶＣ（Versatile Video Coding）などの既存のビデオコーデックのうちのいずれにも適用され得るか、又は任意の将来のビデオコーディング規格における効率的なコーディングツールであり得る。
[0127]いくつかの例では、開示される技法はまた、イントラブロックコピー（ＩＢＣ）予測において利用されることができる。ＩＢＣ予測では、又はＩＢＣモードでは、フレーム内の以前に符号化されたブロックが、現在のブロックについての予測子として使用されることができる。いくつかの例では、以前に符号化されたブロックは、ＨＭＶＰテーブルから取得されることができる。いくつかの例では、ＩＢＣ予測は、画像フレーム又はピクチャ中の冗長性を利用し、ブロックマッチングを実行して、サンプルのブロック（例えば、ＣＵ、ＰＵ、又は他のコーディングブロック）を、画像フレームの近隣領域中のサンプルの再構築されたブロックからの変位として予測することができる。コンテンツの繰り返しパターンから冗長性を除去することによって、ＩＢＣ予測は、コーディング効率を改善することができる。
[0128]いくつかの例では、インター予測又はイントラブロックコピー予測では、異なるインター予測モード（例えば、マージモード、ＡＭＶＰモード、及び／又は他のインター予測モード）は、同じＨＭＶＰテーブルを共有することができる。いくつかのケースでは、異なるインター予測モードは、ＨＭＶＰテーブルから候補を選択するために同じ又は異なる方法を使用することができる。
[0129]前述されたように、ＨＭＶＰ候補は、ＦＩＦＯ方式でＨＭＶＰテーブル中に挿入され得る。例えば、より古い又はより最近でないＨＭＶＰ候補は、より新しい又はより最近のＨＭＶＰ候補がＨＭＶＰテーブル中に挿入される前に、ＨＭＶＰテーブル中に挿入され得る。ＨＭＶＰテーブルは、２つ以上のＨＭＶＰ候補を記憶するために２つ以上のエントリを含むことができ、ここで、２つ以上のエントリは、２つ以上の関連付けられたインデックス値を有し得る。いくつかの例では、インデックス値は、最も低いインデックス値（例えば、「０」）から最も高いインデックス値（例えば、「Ｎ－１」、ここで、ＨＭＶＰテーブルはＮ個のエントリを有する）への昇順であることができるインデックス順序に従うことができる。ＦＩＦＯインプリメンテーションのいくつかの例では、より新しい又はより最近のＨＭＶＰ候補がＨＭＶＰテーブル中に挿入されるにつれて、ＨＭＶＰ候補は、より低いインデックス値に関連付けられたエントリからより高いインデックス値に関連付けられたエントリにシフトされ得る。このことから、任意の時点において、より高いインデックス値を有するＨＭＶＰテーブルのエントリは、より低いインデックス値を有するエントリよりも古い又はより最近でないＨＭＶＰ候補を含むことができる。例えば、第２のインデックス値に関連付けられた第２のエントリは、より最近でないＨＭＶＰ候補を含むことができ、第１のインデックス値に関連付けられた第１のエントリは、より最近のＨＭＶＰ候補を含むことができ、ここで、第１のインデックス値は、第２のインデックス値よりも低い。
[0130]いくつかの例では、異なる予測モードについてのＨＭＶＰテーブルからのＨＭＶＰ候補の選択は、ＨＭＶＰ候補に関連付けられた選択順序に基づくことができる。いくつかの例では、選択順序は、昇順インデックス値を有するインデックス順序に関して定義されることができる。インデックス順序におけるインデックス値が、インデックス値の昇順で第２のインデックス値よりも低い第１のインデックス値を含む例では、「正順」という用語は、第１のインデックス値を有する第１のエントリ中の第１のＨＭＶＰ候補が、第２のインデックス値を有する第２のエントリ中の第２のＨＭＶＰ候補の前に選択される選択順序を含むことができる。それに対応して、「逆順」という用語は、逆順である選択順序を含むことができ、ここで、第２のインデックス値を有する第２のエントリ中の第２のＨＭＶＰ候補は、第１のインデックス値を有する第１のエントリ中の第１のＨＭＶＰ候補の前に選択される。前述されたように、第２のインデックス値に関連付けられた第２のエントリは、より最近でないＨＭＶＰ候補を含むことができ、第１のインデックス値に関連付けられた第１のエントリは、より最近のＨＭＶＰ候補を含むことができる。本明細書に論述される例では、正順及び逆順は、任意の絶対的な方向又は固有の限定を伝えることを意図されない相対的な用語であることができることが理解されるであろう。
[0131]いくつかの例では、（例えば、状態４００Ａにおける）図４のＨＭＶＰテーブル４００を参照すると、最も古い又は最も最近でないＨＭＶＰ候補（ＨＭＶＰ０）は、インデックス値０～４のセットの中で最も高いインデックス値（４）に関連付けられた第２のエントリに存在し得る。最も新しいＨＭＶＰ又は最も最近のＨＭＶＰ候補（ＨＭＶＰ４）は、インデックス値０～４のセットの中で最も低いインデックス値（０）に関連付けられた第１のエントリに存在し得る。このことから、正順は、最も低いインデックス値から開始して最も高いインデックス値に向かって継続するインデックス値に関連付けられたＨＭＶＰ候補を選択することを含むことができる。例えば、正順でＨＭＶＰテーブル４００からＨＭＶＰ候補を選択することは、（最も低いインデックス値に関連付けられた）第１のエントリにおける最も最近のＨＭＶＰ候補が（最も高いインデックス値に関連付けられた）第２のエントリにおける最も最近でないＨＭＶＰ候補の前に選択される順序でＨＭＶＰ候補を選択することを含むことができる。それに対応して、逆順は、最も高いインデックス値から開始して最も低いインデックス値に向かって継続するインデックス値に関連付けられたＨＭＶＰ候補を選択することを含むことができる。例えば、逆順でＨＭＶＰテーブル４００からＨＭＶＰ候補を選択することは、（最も高いインデックス値に関連付けられた）第２のエントリにおける最も最近でないＨＭＶＰ候補が（最も低いインデックス値に関連付けられた）第１のエントリにおける最も最近のＨＭＶＰ候補の前に選択される順序でＨＭＶＰ候補を選択することを含むことができる。いくつかの例では、異なる予測モードについての異なる方法に従ってＨＭＶＰ候補を選択することは、正順又は逆順から選択された異なる順序に従ってＨＭＶＰ候補を選択することを含むことができる。
[0132]いくつかの例では、異なる予測モードについての異なる方法に従ってＨＭＶＰ候補を選択することはまた、異なる「サブサンプリングレート」に従ってＨＭＶＰテーブルからＨＭＶＰ候補を選択することを含むことができる。本開示では、サブサンプリングレートに基づいてＨＭＶＰテーブルからＨＭＶＰ候補を選択することは、正順又は逆順のうちのいずれかで、インデックスがある特定の間隔によって離間され得るＨＭＶＰテーブルのエントリから、ＨＭＶＰ候補を選択することを指す。例えば、「１」のサブサンプリングレートは、順次的なインデックスロケーションに関連付けられたエントリからＨＭＶＰ候補を選択することを意味することができる。例えば、「１」のサブサンプリングレートで選択されたＨＭＶＰ候補は、（正順又は逆順のうちのいずれかで）インデックス値がそれらの間にギャップを有さないＨＭＶＰテーブルのエントリから選択されたＨＭＶＰ候補を含み得る。同様に、Ｒ（ここで、Ｒは正の整数である）のサブサンプリングレートは、（正順又は逆順のうちのいずれかで）選択される連続するＨＭＶＰ候補について、インデックス値がＲだけ分離されるＨＭＶＰテーブルのエントリから、ＨＭＶＰ候補を選択することを含むことができる。規則的な間隔若しくはギャップ又は一定のサブサンプリングレートを有するサブサンプリングが本明細書では詳細に論述されるが、選択されたＨＭＶＰ候補のインデックス値間で間隔又はギャップが変化する可能性がある可変のサブサンプリングレートを有することが可能である。
[0133]前述されたように、マージ候補リスト及びＡＭＶＰ候補リストは、同じＨＭＶＰテーブルから、又は異なるＨＭＶＰテーブルから構築されることができる。更に、マージ候補リスト及びＡＭＶＰ候補リストを構築することは、同じ方法又は異なる方法を含むことができ、ここで、異なる方法は、異なる選択順序及び／又は異なるサブサンプリングレートを伴うことができる。
[0134]いくつかの例では、マージ候補リスト中のマージ候補は、マージ候補リストを構築するために選択されるＨＭＶＰ候補から取得されたのと同じ動きベクトルを使用することができる。例えば、マージモードでは、動きベクトル予測は、時間的にコロケートされた候補から動き情報を継承することを含むことができる。いくつかの例では、最も最近のＨＭＶＰ候補中に含まれた動きベクトル予測子は、マージモードでのインター予測のために動きベクトルが導出されている現在のブロックとのより強い相関を有し得る。それ故に、いくつかの例では、マージ候補リスト構築は、ＨＭＶＰ候補を選択する正順に従うことができ、ここで、より最近のＨＭＶＰ候補は、より最近でないＨＭＶＰ候補の前に選択される。
[0135]いくつかの例では、ＡＭＶＰ候補リスト中のＡＭＶＰ候補についての動きベクトルは、ＨＭＶＰ候補中に含まれる動きベクトルから予測されることができる。いくつかの例では、ＨＭＶＰテーブル中の最も最近のＨＭＶＰ候補は、より最近でないＨＭＶＰ候補よりも、ＡＭＶＰモードを使用して予測されている現在のブロックとのより少ない相関を有し得る。ＶＶＣでは、例えば、ＡＭＶＰのためにＨＭＶＰテーブル中のより最近でない候補を使用することは、より正確な予測につながることができる。例えば、より古いＨＭＶＰ候補は、ＡＭＶＰモードで現在のブロックについての動きベクトルを予測する際により有用であり得る動きベクトルを含むことができる。いくつかの例では、ＡＭＶＰモード予測のためにより最近でない又はより古いＨＭＶＰ候補を使用することは、コーディング効率につながることができる。それ故に、いくつかの例では、ＡＭＶＰ候補リスト構築は、より最近でないＨＭＶＰ候補がより最近のＨＭＶＰ候補の前に選択される逆順に従うことができる。
[0136]ここで、上述された技法の異なる例が、図６Ａ、図６Ｂ、図７Ａ、及び図７Ｂを参照して説明される。これらの例では、同じＨＭＶＰテーブルを共有することができるが、テーブルから候補を選択するために異なる選択方法を使用する異なるインター予測モードが説明される。以下の例示的な例では、ＨＭＶＰテーブルのサイズは、Ｎとして表されることができ、サブサンプリングレートは、Ｒとして表されることができ、ｉｎｄｅｘ＿ｓｔａｒｔは、それから候補選択が正順又は逆順のうちの１つで開始し得るＨＭＶＰテーブル中の初期インデックス値を表すことができる。任意の適切な値が、パラメータｉｎｄｅｘ＿ｓｔａｒｔ、Ｎ、及びＲに割り当てられることができる。
[0137]図６Ａ及び図６Ｂは、本開示の実例的な態様に係るＨＭＶＰテーブル６００を例示するブロック図である。ＨＭＶＰテーブル６００は、インデックス値が０から１５までの範囲にある１６個のエントリで示されている。例えば、ＨＭＶＰテーブル６００のサイズは、上述された表記を使用してＮ＝１６として表され得る。ＨＭＶＰテーブル６００のエントリは、図４を参照して説明されたＨＭＶＰテーブル４００のＨＭＶＰ候補に類似するＨＭＶＰ候補を含む。ＨＭＶＰテーブル６００では、ＦＩＦＯ方式で投入されていることがある１６個のＨＭＶＰ候補、ＨＭＶＰ０～ＨＭＶＰ１５が示されており、ここで、ＨＭＶＰ０は、インデックス値１５を有する第２のエントリにおける最も古い又は最も最近でない候補であり、ＨＭＶＰ１５は、インデックス値０を有する第１のエントリにおける最も新しい又は最も最近の候補である。前述されたように、ＨＭＶＰ候補を選択する正順は、（ｉｎｄｅｘ＿ｓｔａｒｔ及びサブサンプリングレートに基づいて、第１のエントリ又は第２のエントリ自体のうちの１つ以上が選択されないことがあっても）第１のエントリが第２のエントリの前に選択されるであろう方向を含むことができる。同様に、ＨＭＶＰ候補を選択する逆順は、（ｉｎｄｅｘ＿ｓｔａｒｔ及びサブサンプリングレートに基づいて、第１のエントリ又は第２のエントリ自体のうちの１つ以上が選択されないことがあっても）第２のエントリが第１のエントリの前に選択されるであろう方向を含むことができる。
[0138]図６Ａでは、正順でＨＭＶＰテーブル６００からＨＭＶＰ候補を選択することによってマージ候補リスト６０２を構築するための例示的な例が示される。図６Ｂでは、逆順でＨＭＶＰテーブル６００からＨＭＶＰ候補を選択することによってマージ候補リスト６０４を構築するための例示的な例が示される。マージ候補リスト６０２及び６０４は、ＨＭＶＰテーブル６００から取得されたマージ候補に加えて１つ以上のマージ候補を含むことができることが、それらは例示されていないが、理解される。例えば、マージ候補リスト６０２及び／又はマージ候補リスト６０４はまた、時間的動きベクトル予測子（ＴＭＶＰ）候補と、図５を参照して説明された垂直非隣接ブロックＶN５２０及び水平非隣接ブロックＨN５２２などの１つ以上の非隣接空間的マージ候補とを含むことができる。
[0139]図６Ａでは、マージ候補リスト６０２を構築することは、パラメータｉｎｄｅｘ＿ｓｔａｒｔ＝３、Ｎ＝１６、Ｒ＝４を使用して正順でＨＭＶＰ候補を選択することを含むことができる。そのような例では、ＨＭＶＰテーブル６００から候補を選択するために正順を使用することは、マージ候補リスト６０２を形成するセット｛３，７，１１，１５｝中のインデックス値からの選択された候補に導くことができる。例えば、３のｉｎｄｅｘ＿ｓｔａｒｔ値は、マージ候補リスト６０２中の第１のマージ候補が、ＨＭＶＰテーブル６００中のインデックス値３に関連付けられたエントリから取得されたＨＭＶＰ１２であることを示す。サブサンプリングレートはＲ＝４であるので、ＨＭＶＰ候補は、選択される連続するＨＭＶＰ候補間に４つのインデックス値のギャップを伴って選択される。このことから、マージ候補リスト６０２中の次のマージ候補は、ＨＭＶＰテーブル６００中のインデックス値７に関連付けられたエントリから取得されたＨＭＶＰ８である。同様に、マージ候補リスト６０２中の次の２つのマージ候補は、ＨＭＶＰテーブル６００中のインデックス値１１及び１５に関連付けられたエントリからそれぞれ取得されたＨＭＶＰ４及びＨＭＶＰ０である。
[0140]図６Ｂでは、マージ候補リスト６０４を構築することは、パラメータｉｎｄｅｘ＿ｓｔａｒｔ＝１３、Ｎ＝１６、Ｒ＝４を使用して逆順でＨＭＶＰ候補を選択することを含むことができる。そのような例では、ＨＭＶＰテーブル６００から候補を選択するために逆順を使用することは、マージ候補リスト６０４を形成するセット｛１３，９，５，１｝中のインデックス値からの選択された候補に導くことができる。例えば、上記の選択プロセスを使用して形成されたマージ候補リスト６０４は、インデックス値１３、９、５、及び１におけるＨＭＶＰテーブル６００のエントリからそれぞれ取得されたＨＭＶＰ候補ＨＭＶＰ２、ＨＭＶＰ６、ＨＭＶＰ１０、及びＨＭＶＰ１４を含むことができる。
[0141]図７Ａ及び図７Ｂは、本開示の実例的な態様に係るＨＭＶＰテーブル７００を例示するブロック図である。ＨＭＶＰテーブル７００は、インデックス値が０から１５までの範囲にある１６個のエントリで示されている。例えば、ＨＭＶＰテーブル７００のサイズは、上述された表記を使用してＮ＝１６として表され得る。ＨＭＶＰテーブル７００のエントリは、図４を参照して説明されたＨＭＶＰテーブル４００のＨＭＶＰ候補に類似するＨＭＶＰ候補を含む。ＨＭＶＰテーブル７００では、ＦＩＦＯ方式で投入されていることがある１６個のＨＭＶＰ候補、ＨＭＶＰ０～ＨＭＶＰ１５が示されており、ここで、ＨＭＶＰ０は、インデックス値１５を有する第２のエントリにおける最も古い又は最も最近でない候補であり、ＨＭＶＰ１５は、インデックス値０を有する第１のエントリにおける最も新しい又は最も最近の候補である。前述されたように、ＨＭＶＰ候補を選択する正順は、（ｉｎｄｅｘ＿ｓｔａｒｔ及びサブサンプリングレートに基づいて、第１のエントリ又は第２のエントリ自体のうちの１つ以上が選択されないことがあっても）第１のエントリが第２のエントリの前に選択されるであろう方向を含むことができる。同様に、ＨＭＶＰ候補を選択する逆順は、（ｉｎｄｅｘ＿ｓｔａｒｔ及びサブサンプリングレートに基づいて、第１のエントリ又は第２のエントリ自体のうちの１つ以上が選択されないことがあっても）第２のエントリが第１のエントリの前に選択されるであろう方向を含むことができる。
[0142]図７Ａでは、正順でＨＭＶＰテーブル７００からＨＭＶＰ候補を選択することによってＡＭＶＰ候補リスト７０２を構築するための例示的な例が示される。図７Ｂでは、逆順でＨＭＶＰテーブル７００からＨＭＶＰ候補を選択することによってＡＭＶＰ候補リスト７０４を構築するための例示的な例が示される。図７Ａ及び７Ｂでは、ＡＭＶＰモードに対して使用されるｉｎｄｅｘ＿ｓｔａｒｔ、Ｎ、及びＲの値は、マージモードについて図６Ａ及び６Ｂを参照して説明されたものと同じである（又は異なる）ことができる。
[0143]例えば、図７Ａでは、ＡＭＶＰ候補リスト７０２を構築することは、パラメータｉｎｄｅｘ＿ｓｔａｒｔ＝１、Ｎ＝１６、Ｒ＝４を使用して正順でＨＭＶＰ候補を選択することを含むことができる。そのような例では、ＨＭＶＰテーブル７００から候補を選択するために正順を使用することは、ＡＭＶＰ候補リスト７０２を形成するセット｛１，５，９，１３｝中のインデックス値からの選択された候補に導くことができる。例えば、１のｉｎｄｅｘ＿ｓｔａｒｔ値は、ＡＭＶＰ候補リスト７０２中の第１のＡＭＶＰ候補が、ＨＭＶＰテーブル７００中のインデックス値１に関連付けられたエントリから取得されたＨＭＶＰ１４であることを示す。サブサンプリングレートはＲ＝４であるので、ＨＭＶＰ候補は、選択される連続するＨＭＶＰ候補間に４つのインデックス値のギャップを伴って選択される。このことから、ＡＭＶＰ候補リスト７０２中の次のＡＭＶＰ候補は、ＨＭＶＰテーブル７００中のインデックス値５に関連付けられたエントリから取得されるＨＭＶＰ１０である。同様に、ＡＭＶＰ候補リスト７０２中の次の２つのＡＭＶＰ候補は、ＨＭＶＰテーブル７００中のインデックス値９及び１３に関連付けられたエントリからそれぞれ取得されるＨＭＶＰ６及びＨＭＶＰ２である。
[0144]図７Ｂでは、ＡＭＶＰ候補リスト７０４を構築することは、パラメータｉｎｄｅｘ＿ｓｔａｒｔ＝１５、Ｎ＝１６、Ｒ＝１を使用して逆順でＨＭＶＰ候補を選択することを含むことができる。上述されたように、Ｒ＝１は、１のサブサンプリングレートと呼ばれることができ、それは事実上、サブサンプリングが適用されていないことを意味する。そのような例では、ＨＭＶＰテーブル７００から候補を選択するために逆順を使用することは、ＡＭＶＰ候補リスト７０４を形成するセット｛１５，１４，１３，１２｝中のインデックス値からの選択された候補に導くことができる。例えば、上記の選択プロセスを使用して形成されたＡＭＶＰ候補リスト７０４は、インデックス値１５、１４、１３、及び１２におけるＨＭＶＰテーブル７００のエントリからそれぞれ取得されるＨＭＶＰ候補ＨＭＶＰ０、ＨＭＶＰ１、ＨＭＶＰ２、及びＨＭＶＰ３を含むことができる。
[0145]それ故に、いくつかの例では、異なるインター予測モードは、ＨＭＶＰテーブルから候補を選択する異なる方法を含むことができる。例えば、図６Ａのマージ候補リスト６０２は、Ｒ＝４のサブサンプリングレートで、正順でＨＭＶＰテーブル６００からＨＭＶＰ候補を選択することによって構築されることができ、ＡＭＶＰ候補リスト７０４は、Ｒ＝１のサブサンプリングレートで、逆順でＨＭＶＰテーブル７００からＨＭＶＰ候補を選択することによって構築されることができる。一般に、正順で候補を選択することは、インデックス値がセット｛ｉｎｄｅｘ＿ｓｔａｒｔ，ｉｎｄｅｘ＿ｓｔａｒｔ＋Ｒ，ｉｎｄｅｘ＿ｓｔａｒｔ＋２Ｒ，．．．｝に属するエントリから、ＨＭＶＰテーブルから選択されたＨＭＶＰ候補に導くことができ、逆順で候補を選択することは、インデックス値がセット｛Ｎ－ｉｎｄｅｘ＿ｓｔａｒｔ，Ｎ－ｉｎｄｅｘ＿ｓｔａｒｔ－Ｒ，Ｎ－ｉｎｄｅｘ＿ｓｔａｒｔ－２Ｒ，．．．｝に属するエントリから、ＨＭＶＰテーブルから選択されたＨＭＶＰ候補に導くことができる。
[0146]いくつかの例では、異なるインター予測モードは、異なるＨＭＶＰテーブルを使用することができる。例えば、マージモードでは、マージ候補リストを構築するために単一のＨＭＶＰテーブル（例えば、ＨＭＶＰテーブル６００）が使用されることができ、ここで、ＨＭＶＰテーブル６００中の候補は、以前にコーディングされたインター予測されたＣＵの動き情報を含む。例えば、以前にコーディングされたインター予測されたＣＵが双方向予測を使用して予測される場合、ＨＭＶＰテーブル６００中のＨＭＶＰ候補は、両方の予測方向における動き情報を含むことができる。
[0147]別の例示的な例では、双方向予測のＡＭＶＰモードでは、各方向について動き情報を取得するために２つのＨＭＶＰテーブルが使用されることができる。例えば、一方のＡＭＶＰ候補リストは、リスト０の動き情報を含むように構築されることができ、他方のＡＭＶＰ候補リストは、リスト１の動き情報を含むように構築されることができる。
[0148]図８は、本明細書に説明される履歴ベースの動きベクトル予測技法を使用してビデオデータを処理するためのプロセス８００の例を例示するフローチャートである。プロセス８００は、図１及び／又は図１０の復号デバイス１１２などのビデオ復号器によって実行されることができる。いくつかのケースでは、プロセス８００がビデオ復号器によって実行されるとき、ビデオデータは、符号化されたビデオビットストリームから復号されることになるピクチャ又はピクチャの一部分（例えば、１つ以上のブロック）を含むことができる。
[0149]ブロック８０２において、プロセス８００は、ビデオデータの１つ以上のブロックを取得することを含む。ビデオデータのブロックは、ＣＵ、ＴＵ、ＰＵ、又はビデオデータの他のブロックを含むことができる。例えば、ビデオデータは、ビデオブロックが履歴ベースの動きベクトルテーブル中に記憶された動きベクトルを使用して他のブロックに関してコーディングされるブロックベースのビデオデータを含むことができる。
[0150]ブロック８０４において、プロセス８００は、履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルに２つ以上のＨＭＶＰ候補を投入することを含み、ここにおいて、第１のインデックス値に関連付けられたＨＭＶＰテーブルの第１のエントリは、第１のＨＭＶＰ候補を備え、第２のインデックス値に関連付けられたＨＭＶＰテーブルの第２のエントリは、第２のＨＭＶＰ候補を備え、第１のインデックス値は、インデックス順序では第２のインデックス値よりも低い。例えば、プロセス８００は、履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブル７００に、ＨＭＶＰ候補ＨＭＶＰ０～ＨＭＶＰ１５などの２つ以上のＨＭＶＰ候補を投入することができる。例えば、第１のインデックス値（０）に関連付けられたＨＭＶＰテーブルの第１のエントリは、第１のＨＭＶＰ候補ＨＭＶＰ１５を含むことができ、第２のインデックス値（１５）に関連付けられたＨＭＶＰテーブルの第２のエントリは、第２のＨＭＶＰ候補ＨＭＶＰ０を含むことができ、ここで、第１のインデックス値０は、インデックス順序では第２のインデックス値１５よりも低い。いくつかの例では、第１のＨＭＶＰ候補ＨＭＶＰ１５は、ＨＭＶＰテーブル７００中の最も最近のＨＭＶＰ候補であり、第１の時間に復号された動き情報を含むことができ、第２のＨＭＶＰ候補ＨＭＶＰ０は、ＨＭＶＰテーブル７００中の最も最近でないＨＭＶＰ候補であり、第２の時間に復号された動き情報を含むことができ、ここで、第１の時間は、第２の時間よりも時間的に後である。
[0151]ブロック８０６において、プロセス８００は、高度動きベクトル予測（ＡＭＶＰ）候補リストに対して、逆順でＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択することを含み、ここにおいて、第２のＨＭＶＰ候補は、逆順に従って第１のＨＭＶＰ候補の前に選択される。例えば、プロセス８００は、ＡＭＶＰ候補リスト７０４に対して、図７Ｂに示されるように、逆順でＨＭＶＰテーブル７００から１つ以上のＨＭＶＰ候補ＨＭＶＰ０～ＨＭＶＰ３を選択することができる。そのような例では、第２のＨＭＶＰ候補ＨＭＶＰ０は、逆順に従って第１のＨＭＶＰ候補ＨＭＶＰ１５の前に選択されるであろう（ただし、図７ＢのＡＭＶＰ候補リスト７０４中にはＨＭＶＰ０～ＨＭＶＰ３のみが示されている）。
[0152]ブロック８０８において、プロセス８００は、ＡＭＶＰ候補リストに、選択された１つ以上のＨＭＶＰ候補を追加することを含み、ＡＭＶＰ候補リストは、１つ以上のブロックに対してＡＭＶＰを実行するために使用される。例えば、プロセス８００は、ＡＭＶＰ候補リスト７０４に選択された１つ以上のＨＭＶＰ候補ＨＭＶＰ０～ＨＭＶＰ３を追加することができ、ＡＭＶＰ候補リスト７０４は、ビデオデータの１つ以上のブロックに対してＡＭＶＰを実行するために使用される。いくつかの例では、１つ以上のブロックは、ＡＭＶＰ候補リスト７０４の１つ以上のＡＭＶＰ候補を使用して予測されることになる現在のブロックを含むことができる。
[0153]いくつかの例では、ＡＭＶＰ候補リスト７０４に対して、逆順でＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択することは、選択中にエントリのサブサンプリングを実行することなく、連続するインデックス値１５～１２に関連付けられたＨＭＶＰテーブルの連続するエントリから、１つ以上のＨＭＶＰ候補ＨＭＶＰ０～ＨＭＶＰ３を選択することを含むことができる。例えば、Ｒ＝１のサブサンプリングレートは、選択中にエントリのサブサンプリングを実行しないことを示すことができる。
[0154]いくつかの例では、マージ候補リストはまた、ＡＭＶＰ候補リストを構築するために使用された同じＨＭＶＰテーブルから、又は異なるＨＭＶＰテーブルから構築されることができる。一例では、図６Ａに示されたＨＭＶＰテーブル６００は、図７ＢのＨＭＶＰテーブル７００と同じＨＭＶＰテーブルであることができる。いくつかの例では、マージ候補リスト６０２は、正順でＨＭＶＰテーブル６００から１つ以上のＨＭＶＰ候補ＨＭＶＰ１２、ＨＭＶＰ８、ＨＭＶＰ４、及びＨＭＶＰ０を選択することによって構築されることができる。正順に従って、第１のインデックス値（０）に関連付けられたＨＭＶＰテーブル６００の第１のエントリ中の第１のＨＭＶＰ候補ＨＭＶＰ１５は、第２のインデックス値（１５）に関連付けられたＨＭＶＰテーブル６００の第２のエントリ中の第２のＨＭＶＰ候補ＨＭＶＰ０の前に選択されることができるが、ＨＭＶＰ候補ＨＭＶＰ１５及びＨＭＶＰ０のうちの１つ以上又は両方が実際に選択される必要はない。いくつかの例では、選択された１つ以上のＨＭＶＰ候補ＨＭＶＰ１２、ＨＭＶＰ８、ＨＭＶＰ４、及びＨＭＶＰ０は、マージ候補リスト６０２に追加されることができ、マージ候補リスト６０２は、１つ以上のブロックについてのマージ予測を実行するために使用される。そのような例では、正順でＨＭＶＰテーブル６００から１つ以上のＨＭＶＰ候補ＨＭＶＰ１２、ＨＭＶＰ８、ＨＭＶＰ４、及びＨＭＶＰ０を選択することは、サブサンプリングレートＲ＝４を使用してエントリをサブサンプリングすることを含むことができ、ここで、サブサンプリングレートに基づく分離は、連続するＨＭＶＰ候補が選択されるエントリに関連付けられたインデックス値｛３，７，１１，１５｝の間で維持される。
[0155]いくつかの例では、ＨＭＶＰテーブルのサイズ（Ｎ）、サブサンプリングレート（Ｒ）、初期位置（ｉｎｄｅｘ＿ｓｔａｒｔ）、ＨＭＶＰテーブルの数、及び／又は選択方法は、符号化器側と復号器側の両方において予め定義されることができるか、又はシーケンスレベル（例えば、ＳＰＳ又は他のシーケンスレベルシグナリング）、ピクチャレベル（例えば、ＰＰＳ又は他のピクチャレベルシグナリング）、スライスレベル（例えば、スライスヘッダ又は他のスライスレベルシグナリング）、ブロックレベル、又は他の適したシグナリングで符号化器から復号器にシグナリングされる１つ以上の値として設定されることができる。いくつかの例では、異なるパラメータについての１つ以上の値は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ（ＳＨ）、コーディングツリーユニット（ＣＴＵ）又はコーディングユニット（ＣＵ）中でシグナリングされることができる。
[0156]いくつかの例では、本明細書に説明されたプロセスは、符号化デバイス１０４、復号デバイス１１２、及び／又は任意の他のコンピューティングデバイスなど、コンピューティングデバイス又は装置によって実行され得る。いくつかのケースでは、コンピューティングデバイス又は装置は、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、又は本明細書に説明されたプロセスのステップを実行するように構成されたデバイスの他のコンポーネントを含み得る。いくつかの例では、コンピューティングデバイス又は装置は、ビデオフレームを含むビデオデータ（例えば、ビデオシーケンス）をキャプチャするように構成されたカメラを含み得る。例えば、コンピューティングデバイスは、カメラデバイスを含み得、それは、ビデオコーデックを含むことも含まないこともある。別の例として、コンピューティングデバイスは、カメラを有するモバイルデバイス（例えば、デジタルカメラ、ＩＰカメラ、若しくは同様のものなどのカメラデバイス、カメラを含む携帯電話若しくはタブレット、又はカメラを有する他のタイプのデバイス）を含み得る。いくつかのケースでは、コンピューティングデバイスは、画像を表示するためのディスプレイを含み得る。いくつかの例では、カメラ又はビデオデータをキャプチャする他のキャプチャデバイスは、コンピューティングデバイスとは別個であり、そのケースでは、コンピューティングデバイスは、キャプチャされたビデオデータを受信する。コンピューティングデバイスは、ビデオデータを通信するように構成されたネットワークインターフェース、トランシーバ、及び／又は送信機を更に含み得る。ネットワークインターフェース、トランシーバ、及び／又は送信機は、インターネットプロトコル（ＩＰ）ベースのデータ又は他のネットワークデータを通信するように構成され得る。
[0157]本明細書に説明されたプロセスは、ハードウェア、コンピュータ命令、又はそれらの組み合わせにおいてインプリメントされることができる。コンピュータ命令のコンテキストでは、動作は、１つ以上のプロセッサによって実行されると、記載された動作を実行する、１つ以上のコンピュータ可読記憶媒体上に記憶されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を実行するか、又は特定のデータタイプをインプリメントする、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、及び同様のものを含む。動作が説明された順序は、限定として解釈されることを意図されず、任意の数の説明された動作は、プロセスをインプリメントするために任意の順序で及び／又は平行して組み合わされることができる。
[0158]加えて、本明細書に説明されたプロセスは、実行可能命令で構成された１つ以上のコンピュータシステムの制御下で実行され得、１つ以上のプロセッサ上で、ハードウェアによって、又はそれらの組み合わせで、集合的に実行するコード（例えば、実行可能命令、１つ以上のコンピュータプログラム、又は１つ以上のアプリケーション）としてインプリメントされ得る。上述されたように、コードは、例えば、１つ以上のプロセッサによって実行可能な複数の命令を備えるコンピュータプログラムの形態で、コンピュータ可読又は機械可読記憶媒体上に記憶され得る。コンピュータ可読又は機械可読記憶媒体は、非一時的であり得る。
[0159]本明細書に論述されるコーディング技法は、実例的なビデオ符号化及び復号システム（例えば、システム１００）においてインプリメントされ得る。いくつかの例では、システムは、宛先デバイスによって後の時間に復号されることになる符号化されたビデオデータを提供するソースデバイスを含む。特に、ソースデバイスは、コンピュータ可読媒体を介して宛先デバイスにビデオデータを提供する。ソースデバイス及び宛先デバイスは、デスクトップコンピュータ、ノートブック（即ち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、又は同様のものを含む、幅広い範囲のデバイスのうちの任意のものを備え得る。いくつかのケースでは、ソースデバイス及び宛先デバイスは、ワイヤレス通信のために装備され得る。
[0160]宛先デバイスは、コンピュータ可読媒体を介して復号されることになる符号化されたビデオデータを受信し得る。コンピュータ可読媒体は、ソースデバイスから宛先デバイスに符号化されたビデオデータを移動させることが可能な任意のタイプの媒体又はデバイスを備え得る。一例では、コンピュータ可読媒体は、ソースデバイスがリアルタイムで宛先デバイスに符号化されたビデオデータを直接送信することを可能にするための通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイスに送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトル又は１つ以上の物理的伝送線路などの任意のワイヤレス又はワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなどの、パケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、又はソースデバイスから宛先デバイスへの通信を容易にするのに有用であり得る任意の他の機器を含み得る。
[0161]いくつかの例では、符号化されたデータは、出力インターフェースから記憶デバイスに出力され得る。同様に、符号化されたデータは、入力インターフェースによって記憶デバイスからアクセスされ得る。記憶デバイスは、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性若しくは不揮発性メモリ、又は符号化されたビデオデータを記憶するための任意の他の適したデジタル記憶媒体などの、様々な分散された又は局所的にアクセスされるデータ記憶媒体のうちの任意のものを含み得る。更なる例では、記憶デバイスは、ファイルサーバ、又はソースデバイスによって生成される符号化されたビデオを記憶し得る別の中間記憶デバイスに対応し得る。宛先デバイスは、ストリーミング又はダウンロードを介して記憶デバイスからの記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶することと、宛先デバイスにその符号化されたビデオデータを送信することとが可能な任意のタイプのサーバであり得る。実例的なファイルサーバは、（例えば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）デバイス、又はローカルディスクドライブを含む。宛先デバイスは、インターネット接続を含む任意の標準データ接続を通じて、符号化されたビデオデータにアクセスし得る。これは、ファイルサーバ上に記憶された符号化されたビデオデータにアクセスするのに適している、ワイヤレスチャネル（例えば、Ｗｉ－Ｆｉ接続）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデム、等）、又はその両方の組み合わせを含み得る。記憶デバイスからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はそれらの組み合わせであり得る。
[0162]本開示の技法は、ワイヤレスアプリケーション又は設定に必ずしも限定されない。本技法は、無線テレビ放送、ケーブルテレビ送信、衛星テレビ送信、ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されるデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、又は他のアプリケーションなどの、様々なマルチメディアアプリケーションのうちの任意のものをサポートするビデオコーディングに適用され得る。いくつかの例では、システムは、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び／又はビデオ電話通信などのアプリケーションをサポートするために、１方向又は２方向ビデオ送信をサポートするように構成され得る。
[0163]一例では、ソースデバイスは、ビデオソース、ビデオ符号化器、及び出力インターフェースを含む。宛先デバイスは、入力インターフェース、ビデオ復号器、及びディスプレイデバイスを含み得る。ソースデバイスのビデオ符号化器は、本明細書に開示される技法を適用するように構成され得る。他の例では、ソースデバイス及び宛先デバイスは、他のコンポーネント又は配置を含み得る。例えば、ソースデバイスは、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイスは、一体化されたディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
[0164]上記の実例的なシステムは、単に一例に過ぎない。平行してビデオデータを処理するための技法は、任意のデジタルビデオ符号化及び／又は復号デバイスによって実行され得る。一般に、本開示の技法は、ビデオ符号化デバイスによって実行されるが、本技法はまた、典型的に「ＣＯＤＥＣ」と呼ばれるビデオ符号化器／復号器によって実行され得る。その上、本開示の技法はまた、ビデオプリプロセッサによって実行され得る。ソースデバイス及び宛先デバイスは単に、ソースデバイスが宛先デバイスへの送信のためのコーディングされたビデオデータを生成するそのようなコーディングデバイスの例に過ぎない。いくつかの例では、ソースデバイス及び宛先デバイスは、それらデバイスの各々がビデオ符号化及び復号コンポーネントを含むような実質的に対称的な方法で動作し得る。故に、実例的なシステムは、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、又はビデオ電話通信のために、ビデオデバイス間の１方向又は２方向ビデオ送信をサポートし得る。
[0165]ビデオソースは、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを包含するビデオアーカイブ、及び／又はビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。更なる代替として、ビデオソースは、ソースビデオとしてコンピュータグラフィックスベースのデータを、又はライブビデオ、アーカイブされたビデオ、及びコンピュータ生成されたビデオの組み合わせを生成し得る。いくつかのケースでは、ビデオソースがビデオカメラである場合、ソースデバイス及び宛先デバイスは、いわゆるカメラ電話又はビデオ電話を形成し得る。上述されたように、しかしながら、本開示に説明される技法は、一般にビデオコーディングに適用可能であり得、ワイヤレス及び／又はワイヤードアプリケーションに適用され得る。各ケースでは、キャプチャされた、事前にキャプチャされた、又はコンピュータ生成されたビデオは、ビデオ符号化器によって符号化され得る。符号化されたビデオ情報は次いで、コンピュータ可読媒体上に出力インターフェースによって出力され得る。
[0166]述べられたように、コンピュータ可読媒体は、ワイヤレスブロードキャスト若しくはワイヤードネットワーク送信などの一過性媒体、又はハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ－ｒａｙディスク、若しくは他のコンピュータ可読媒体などの記憶媒体（即ち、非一時的記憶媒体）を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、ソースデバイスから符号化されたビデオデータを受信し、例えば、ネットワーク送信を介して、宛先デバイスに符号化されたビデオデータを提供し得る。同様に、ディスクスタンピング設備などの媒体製造設備のコンピューティングデバイスは、ソースデバイスから符号化されたビデオデータを受信し、符号化されたビデオデータを包含するディスクを製造し得る。従って、コンピュータ可読媒体は、様々な例において、様々な形態の１つ以上のコンピュータ可読媒体を含むことが理解され得る。
[0167]宛先デバイスの入力インターフェースは、コンピュータ可読媒体から情報を受信する。コンピュータ可読媒体の情報は、ブロック及び他のコーディングされたユニット、例えば、ピクチャのグループ（ＧＯＰ：group of pictures）の特性及び／又は処理を記述するシンタックス要素を含む、ビデオ符号化器によって定義されるシンタックス情報を含み得、それはまた、ビデオ復号器によって使用される。ディスプレイデバイスは、ユーザに復号されたビデオデータを表示し、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は別のタイプのディスプレイデバイスなどの様々なディスプレイデバイスのうちの任意のものを備え得る。本願の様々な実施形態が説明されてきた。
[0168]符号化デバイス１０４及び復号デバイス１１２の特定の詳細は、図９及び図１０にそれぞれ示される。図９は、本開示に説明された技法のうちの１つ以上をインプリメントし得る実例的な符号化デバイス１０４を例示するブロック図である。符号化デバイス１０４は、例えば、本明細書に説明されたシンタックス構造（例えば、ＶＰＳ、ＳＰＳ、ＰＰＳ、又は他のシンタックス要素のシンタックス構造）を生成し得る。符号化デバイス１０４は、ビデオスライス内のビデオブロックのイントラ予測及びインター予測コーディングを実行し得る。前述されたように、イントラコーディングは、所与の１ビデオフレーム又はピクチャ内の空間的冗長性を低減又は除去するために、空間的予測に少なくとも部分的に依拠する。インターコーディングは、ビデオシーケンスの隣接又は周囲フレーム内の時間的冗長性を低減又は除去するために、時間的予測に少なくとも部分的に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのうちの任意のものを指し得る。単方向予測（Ｐモード）又は双予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのうちの任意のものを指し得る。
[0169]符号化デバイス１０４は、区分ユニット３５、予測処理ユニット４１、フィルタユニット６３、ピクチャメモリ６４、加算器５０、変換処理ユニット５２、量子化ユニット５４、及びエントロピー符号化ユニット５６を含む。予測処理ユニット４１は、動き推定ユニット４２、動き補償ユニット４４、及びイントラ予測処理ユニット４６を含む。ビデオブロック再構築のために、符号化デバイス１０４はまた、逆量子化ユニット５８、逆変換処理ユニット６０、及び加算器６２を含む。フィルタユニット６３は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、及びサンプル適応オフセット（ＳＡＯ）フィルタなどの１つ以上のループフィルタを表すことを意図されている。フィルタユニット６３は、インループフィルタとして図９に示されているが、他の構成では、フィルタユニット６３は、ポストループフィルタとしてインプリメントされ得る。後処理デバイス５７は、符号化デバイス１０４によって生成される符号化されたビデオデータに対して追加の処理を実行し得る。本開示の技法は、いくつかの事例では、符号化デバイス１０４によってインプリメントされ得る。他の事例では、しかしながら、本開示の技法のうちの１つ以上は、後処理デバイス５７によってインプリメントされ得る。
[0170]図９に示されているように、符号化デバイス１０４は、ビデオデータを受信し、区分ユニット３５は、データをビデオブロックに区分する。区分はまた、スライス、スライスセグメント、タイル、又は他のより大きいユニットへの区分、並びに、例えば、ＬＣＵ及びＣＵの四分木構造に従ったビデオブロック区分を含み得る。符号化デバイス１０４は、一般に、符号化されることになるビデオスライス内のビデオブロックを符号化するコンポーネントを例示している。スライスは、複数のビデオブロックに（及びことによると、タイルと呼ばれるビデオブロックのセットに）分割され得る。予測処理ユニット４１は、誤差結果（例えば、コーディングレート及び歪みのレベル、又は同様のもの）に基づいて、現在のビデオブロックに対して、複数のイントラ予測コーディングモードのうちの１つ又は複数のインター予測コーディングモードのうちの１つなどの複数の可能なコーディングモードのうちの１つを選択し得る。予測処理ユニット４１は、残差ブロックデータを生成するために加算器５０に、及び参照ピクチャとして使用するための符号化されたブロックを再構築するために加算器６２に、結果として生じるイントラ又はインターコーディングされたブロックを提供し得る。
[0171]予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間的圧縮を提供するために、コーディングされることになる現在のブロックと同じフレーム又はスライス中の１つ以上の近隣ブロックに対して、現在のビデオブロックのイントラ予測コーディングを実行し得る。予測処理ユニット４１内の動き推定ユニット４２及び動き補償ユニット４４は、時間的圧縮を提供するために、１つ以上の参照ピクチャ中の１つ以上の予測ブロックに対して、現在のビデオブロックのインター予測コーディングを実行する。
[0172]動き推定ユニット４２は、ビデオシーケンスについての所定のパターンに従って、ビデオスライスについてのインター予測モードを決定するように構成され得る。所定のパターンは、Ｐスライス、Ｂスライス、又はＧＰＢスライスとして、シーケンス中のビデオスライスを指定し得る。動き推定ユニット４２及び動き補償ユニット４４は、高度に一体化され得るが、概念的な目的のために別個に例示されている。動き推定ユニット４２によって実行される動き推定は、ビデオブロックについての動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、参照ピクチャ内の予測ブロックに対する、現在のビデオフレーム又はピクチャ内のビデオブロックの予測ユニット（ＰＵ）の変位を示し得る。
[0173]予測ブロックは、ピクセル差分の観点から、コーディングされることになるビデオブロックのＰＵと密接にマッチすることを見出されるブロックであり、それは、絶対差分の和（ＳＡＤ：sum of absolute difference）、２乗差分の和（ＳＳＤ：sum of square difference）、又は他の差分メトリックによって決定され得る。いくつかの例では、符号化デバイス１０４は、ピクチャメモリ６４中に記憶された参照ピクチャのサブ整数ピクセル位置についての値を計算し得る。例えば、符号化デバイス１０４は、参照ピクチャの４分の１ピクセル位置、８分の１ピクセル位置、又は他の分数ピクセル位置の値を補間し得る。従って、動き推定ユニット４２は、フルピクセル位置及び分数ピクセル位置に対して動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
[0174]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライス中のビデオブロックのＰＵについての動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）又は第２の参照ピクチャリスト（リスト１）から選択され得、それらの各々は、ピクチャメモリ６４中に記憶された１つ以上の参照ピクチャを識別する。動き推定ユニット４２は、エントロピー符号化ユニット５６及び動き補償ユニット４４に計算された動きベクトルを送る。
[0175]動き補償ユニット４４によって実行される動き補償は、動き推定によって決定される動きベクトルに基づいて予測ブロックをフェッチする又は生成することを伴い得、ことによるとサブピクセル精度に対する補間を実行する。現在のビデオブロックのＰＵについての動きベクトルを受信すると、動き補償ユニット４４は、参照ピクチャリスト中に、動きベクトルが指し示す予測ブロックをロケートし得る。符号化デバイス１０４は、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算することによって残差ビデオブロックを形成し、ピクセル差分値を形成する。ピクセル差分値は、ブロックについての残差データを形成し、ルーマ差分成分とクロマ差分成分との両方を含み得る。加算器５０は、この減算演算を実行する１つ以上のコンポーネントを表す。動き補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際に復号デバイス１１２によって使用するための、ビデオブロック及びビデオスライスに関連付けられたシンタックス要素を生成し得る。
[0176]イントラ予測処理ユニット４６は、上述されたように、動き推定ユニット４２及び動き補償ユニット４４によって実行されるインター予測の代替として、現在のブロックをイントラ予測し得る。特に、イントラ予測処理ユニット４６は、現在のブロックを符号化するために使用するイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット４６は、例えば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し得、イントラ予測ユニット処理４６は、テストされたモードから、使用するための適切なイントラ予測モードを選択し得る。例えば、イントラ予測処理ユニット４６は、様々なテストされたイントラ予測モードについてのレート－歪み分析を使用してレート－歪み値を計算し得、テストされたモードの中で最良のレート－歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は、一般に、符号化されたブロックと、符号化されたブロックを作り出すために符号化された元の符号化されていないブロックとの間の歪み（又は誤差）の量、並びに符号化されたブロックを作り出すために使用されたビットレート（即ち、ビット数）を決定する。イントラ予測処理ユニット４６は、どのイントラ予測モードがブロックについての最良のレート－歪み値を示すかを決定するために、様々な符号化されたブロックについての歪み及びレートから比率を計算し得る。
[0177]いずれのケースでも、ブロックについてのイントラ予測モードを選択した後に、イントラ予測処理ユニット４６は、エントロピー符号化ユニット５６にブロックについての選択されたイントラ予測モードを示す情報を提供し得る。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化し得る。符号化デバイス１０４は、様々なブロックについての符号化コンテキストの定義、並びにそのコンテキストの各々に対して使用する最確イントラ予測モード、イントラ予測モードインデックステーブル、及び修正されたイントラ予測モードインデックステーブルのインジケーションを、送信されたビットストリーム構成データ中に含め得る。ビットストリーム構成データは、複数のイントラ予測モードインデックステーブル及び複数の修正されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）を含み得る。
[0154]予測処理ユニット４１がインター予測又はイントラ予測のうちのいずれかを介して現在のビデオブロックについての予測ブロックを生成した後に、符号化デバイス１０４は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つ以上のＴＵ中に含まれ、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、ピクセルドメインから周波数ドメインなどの変換ドメインに残差ビデオデータを変換し得る。
[0178]変換処理ユニット５２は、量子化ユニット５４に結果として生じる変換係数を送り得る。量子化ユニット５４は、ビットレートを更に低減するために、変換係数を量子化する。量子化プロセスは、係数のうちのいくつか又は全てに関連付けられたビット深度を低減し得る。量子化の程度は、量子化パラメータを調節することによって修正され得る。いくつかの例では、量子化ユニット５４は次いで、量子化された変換係数を含む行列の走査を実行し得る。代替として、エントロピー符号化ユニット５６が走査を実行し得る。
[0179]量子化に続いて、エントロピー符号化ユニット５６は、量子化された変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット５６は、コンテキスト適応可変長コーディング（ＣＡＶＬＣ: context adaptive variable length coding）、コンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ: context adaptive binary arithmetic coding）、シンタックスベースのコンテキスト適応バイナリ算術コーディング（ＳＢＡＣ: syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ: probability interval partitioning entropy）コーディング、又は別のエントロピー符号化技法を実行し得る。エントロピー符号化ユニット５６によるエントロピー符号化に続いて、符号化されたビットストリームは、復号デバイス１１２に送信され得るか、又は復号デバイス１１２による後の送信若しくは取り出しのためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コーディングされている現在のビデオスライスについての動きベクトル及び他のシンタックス要素をエントロピー符号化し得る。
[0180]逆量子化ユニット５８及び逆変換処理ユニット６０は、参照ピクチャの参照ブロックとして後に使用するためにピクセルドメイン中の残差ブロックを再構築するために、逆量子化及び逆変換をそれぞれ適用する。動き補償ユニット４４は、参照ピクチャリスト内の参照ピクチャのうちの１つの予測ブロックに残差ブロックを追加することによって、参照ブロックを計算し得る。動き補償ユニット４４はまた、動き推定において使用するためのサブ整数ピクセル値を計算するために、再構築された残差ブロックに１つ以上の補間フィルタを適用し得る。加算器６２は、ピクチャメモリ６４中での記憶のための参照ブロックを作り出すために、動き補償ユニット４４によって作り出された動き補償予測ブロックに再構築された残差ブロックを追加する。参照ブロックは、後続のビデオフレーム又はピクチャ中のブロックをインター予測するために、参照ブロックとして動き推定ユニット４２及び動き補償ユニット４４によって使用され得る。
[0181]符号化デバイス１０４は、本明細書に説明された技法のうちの任意のものを実行し得る。本開示のいくつかの技法は、一般に、符号化デバイス１０４に関して説明されてきたが、上述されたように、本開示の技法のうちのいくつかはまた、後処理デバイス５７によってインプリメントされ得る。
[0182]図９の符号化デバイス１０４は、本明細書に説明された変換コーディング技法のうちの１つ以上を実行するように構成されたビデオ符号化器の例を表す。符号化デバイス１０４は、図８に関して上述されたプロセスを含む、本明細書に説明された技法のうちの任意のものを実行し得る。
[0183]図１０は、実例的な復号デバイス１１２を例示するブロック図である。復号デバイス１１２は、エントロピー復号ユニット８０、予測処理ユニット８１、逆量子化ユニット８６、逆変換処理ユニット８８、加算器９０、フィルタユニット９１、及びピクチャメモリ９２を含む。予測処理ユニット８１は、動き補償ユニット８２及びイントラ予測処理ユニット８４を含む。復号デバイス１１２は、いくつかの例では、図９からの符号化デバイス１０４に関して説明された符号化パスとは一般に相反する復号パスを実行し得る。
[0184]復号プロセス中に、復号デバイス１１２は、符号化デバイス１０４によって送られる符号化されたビデオスライスのビデオブロックと関連するシンタックス要素とを表す符号化されたビデオビットストリームを受信する。いくつかの実施形態では、復号デバイス１１２は、符号化デバイス１０４から符号化されたビデオビットストリームを受信し得る。いくつかの実施形態では、復号デバイス１１２は、サーバ、媒体認識ネットワーク要素（ＭＡＮＥ：media-aware network element）、ビデオエディタ／スプライサ、又は上述された技法のうちの１つ以上をインプリメントするように構成された他のそのようなデバイスなどのネットワークエンティティ７９から符号化されたビデオビットストリームを受信し得る。ネットワークエンティティ７９は、符号化デバイス１０４を含むことも含まないこともある。本開示に説明された技法のうちのいくつかは、ネットワークエンティティ７９が復号デバイス１１２に符号化されたビデオビットストリームを送信するより前にネットワークエンティティ７９によってインプリメントされ得る。いくつかのビデオ復号システムでは、ネットワークエンティティ７９及び復号デバイス１１２は、別個のデバイスの一部であり得、他の事例では、ネットワークエンティティ７９に関して説明された機能は、復号デバイス１１２を備える同じデバイスによって実行され得る。
[0185]復号デバイス１１２のエントロピー復号ユニット８０は、量子化された係数、動きベクトル、及び他のシンタックス要素を生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、予測処理ユニット８１に動きベクトル及び他のシンタックス要素を転送する。復号デバイス１１２は、ビデオスライスレベル及び／又はビデオブロックレベルでシンタックス要素を受信し得る。エントロピー復号ユニット８０は、ＶＰＳ、ＳＰＳ、及びＰＰＳなどの、又は複数の(or more)パラメータセット中の固定長シンタックス要素と可変長シンタックス要素との両方を処理及び構文解析し得る。
[0186]ビデオスライスがイントラコーディングされた（Ｉ）スライスとしてコーディングされるとき、予測処理ユニット８１のイントラ予測処理ユニット８４は、現在のフレーム又はピクチャの以前に復号されたブロックからのデータ及びシグナリングされたイントラ予測モードに基づいて、現在のビデオスライスのビデオブロックについての予測データを生成し得る。ビデオフレームがインターコーディングされた（即ち、Ｂ、Ｐ又はＧＰＢ）スライスとしてコーディングされるとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトル及び他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックについての予測ブロックを作り出す。予測ブロックは、参照ピクチャリスト内の参照ピクチャのうちの１つから作り出され得る。復号デバイス１１２は、ピクチャメモリ９２中に記憶された参照ピクチャに基づいて、デフォルト構築技法を使用して参照フレームリスト、リスト０及びリスト１を構築し得る。
[0187]動き補償ユニット８２は、動きベクトル及び他のシンタックス要素を構文解析することによって現在のビデオスライスのビデオブロックについての予測情報を決定し、復号されている現在のビデオブロックについての予測ブロックを作り出すために予測情報を使用する。例えば、動き補償ユニット８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（例えば、イントラ又はインター予測）と、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）と、スライスについての１つ以上の参照ピクチャリストについての構築情報と、スライスの各インター符号化されたビデオブロックについての動きベクトルと、スライスの各インターコーディングされたビデオブロックについてのインター予測状態と、現在のビデオスライス中のビデオブロックを復号するための他の情報と、を決定するために、パラメータセット中の１つ以上のシンタックス要素を使用し得る。
[0188]動き補償ユニット８２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット８２は、参照ブロックのサブ整数ピクセルについての補間された値を計算するために、ビデオブロックの符号化中に符号化デバイス１０４によって使用されるような補間フィルタを使用し得る。このケースでは、動き補償ユニット８２は、受信されたシンタックス要素から符号化デバイス１０４によって使用される補間フィルタを決定し得、予測ブロックを作り出すために補間フィルタを使用し得る。
[0189]逆量子化ユニット８６は、ビットストリーム中で提供され、且つエントロピー復号ユニット８０によって復号された、量子化された変換係数を逆量子化（inverse quantizes）、即ち、逆量子化（de-quantizes）する。逆量子化プロセスは、量子化の程度、及び同様に、適用されるべき逆量子化の程度を決定するために、ビデオスライス中の各ビデオブロックについて符号化デバイス１０４によって計算される量子化パラメータの使用を含み得る。逆変換処理ユニット８８は、ピクセルドメイン中の残差ブロックを作り出すために、変換係数に逆変換（例えば、逆ＤＣＴ又は他の適した逆変換）、逆整数変換、又は概念的に同様の逆変換プロセスを適用する。
[0190]動き補償ユニット８２が動きベクトル及び他のシンタックス要素に基づいて現在のビデオブロックについての予測ブロックを生成した後に、復号デバイス１１２は、逆変換処理ユニット８８からの残差ブロックを、動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器９０は、この加算演算を実行する１つ以上のコンポーネントを表す。所望される場合、（コーディングループ中又はコーディングループ後のうちのいずれかの）ループフィルタはまた、ピクセル遷移を平滑化するために、又は別様にビデオ品質を改善するために使用され得る。フィルタユニット９１は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、及びサンプル適応オフセット（ＳＡＯ）フィルタなどの１つ以上のループフィルタを表すことを意図される。フィルタユニット９１は、インループフィルタとして図１０に示されているが、他の構成では、フィルタユニット９１は、ポストループフィルタとしてインプリメントされ得る。所与のフレーム又はピクチャ中の復号されたビデオブロックは次いで、ピクチャメモリ９２中に記憶され、それは、後続する動き補償のために使用される参照ピクチャを記憶する。ピクチャメモリ９２はまた、図１に示されているビデオ宛先デバイス１２２などのディスプレイデバイス上での後の提示のために、復号されたビデオを記憶する。
[0191]図１０の復号デバイス１１２は、本明細書に説明された変換コーディング技法のうちの１つ以上を実行するように構成されたビデオ復号器の例を表す。復号デバイス１１２は、図８に関して上述されたプロセス８００を含む、本明細書に説明された技法のうちの任意のものを実行し得る。
[0192]前述の説明では、本願の態様は、その特定の実施形態を参照して説明されているが、当業者は、本願の主題はそれに限定されないと認識するであろう。このことから、本願の例示的な実施形態が本明細書に詳細に説明されてきたが、発明の概念は、別様に様々に具現化及び用いられ得、添付された特許請求の範囲は、先行技術によって限定される場合を除いて、そのような変形を含むように解釈されることを意図されることが理解されるべきである。上述された主題の様々な特徴及び態様は、個々に又は一緒に使用され得る。更に、実施形態は、本明細書のより広い趣旨及び範囲から逸脱することなく、本明細書に説明されたものを超えたあらゆる数の環境及び用途において利用されることができる。本明細書及び図面は、それ故に、制限的ではなく、例示的であると見なされるべきである。例示を目的として、方法は、特定の順序で説明された。代替の実施形態では、方法は、説明されたものとは異なる順序で実行され得ることが理解されるべきである。
[0193]当業者は、本明細書で使用される未満（「＜」）及び超過（「＞」）記号又は用語が、本説明の範囲から逸脱することなく、以下（「≦」）及び以上（「≧」）記号とそれぞれ置き換えられることができることを理解するであろう。
[0194]コンポーネントがある特定の動作を実行する「ように構成される」ものとして説明される場合、そのような構成は、例えば、動作を実行するように電子回路又は他のハードウェアを設計することによって、動作を実行するようにプログラマブル電子回路（例えば、マイクロプロセッサ、又は他の適した電子回路）をプログラミングすることによって、又はそれらの任意の組み合わせで、達成されることができる。
[0195]セット「のうちの少なくとも１つ」又はセット「のうちの１つ以上」を記載する特許請求の範囲の文言又は他の文言は、セットの１つのメンバ又はセットの複数のメンバが特許請求の範囲を満たすことを示す。例えば、「Ａ及びＢのうちの少なくとも１つ」を記載する特許請求の範囲の文言は、Ａ、Ｂ、又はＡとＢを意味する。別の例では、「Ａ及びＢのうちの１つ以上」を記載する特許請求の範囲の文言は、Ａ、Ｂ、又はＡとＢを意味する。別の例では「Ａ、Ｂ、及びＣのうちの１つ以上」を記載する特許請求の範囲の文言は、Ａ、Ｂ、Ｃ、ＡとＢ、ＡとＣ、ＢとＣ、又はＡとＢとＣの全てを意味する。
[0196]本明細書に開示された実施形態に関連して説明された様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、ファームウェア、又はそれらの組み合わせとしてインプリメントされ得る。ハードウェア及びソフトウェアのこの互換性を明確に例示するために、様々な例示的なコンポーネント、ブロック、モジュール、回路、及びステップが、一般にそれらの機能の観点から上述されてきた。そのような機能がハードウェアとしてインプリメントされるか、又はソフトウェアとしてインプリメントされるかは、特定のアプリケーションとシステム全体に課せられた設計制約とに依存する。当業者は、各特定のアプリケーションについて、説明された機能を様々な方法でインプリメントし得るが、そのようなインプリメンテーションの決定は、本願の範囲からの逸脱を引き起こしていると解釈されるべきでない。
[0197]本明細書に説明された技法はまた、電子ハードウェア、コンピュータソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいてインプリメントされ得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、又はワイヤレス通信デバイスハンドセット及び他のデバイスにおけるアプリケーションを含む複数の用途を有する集積回路デバイスなどの様々なデバイスのうちの任意のものにおいてインプリメントされ得る。モジュール又はコンポーネントとして説明されたどの特徴も、集積ロジックデバイスにおいて共に、又はディスクリートではあるが相互運用可能なロジックデバイスとして別個に、インプリメントされ得る。ソフトウェアにおいてインプリメントされる場合、本技法は、実行されると、上述された方法のうちの１つ以上を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、コンピュータプログラム製品の一部を形成し得、それは、パッケージング材料を含み得る。コンピュータ可読媒体は、同期動的ランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、不揮発ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ（登録商標））、ＦＬＡＳＨ（登録商標）メモリ、磁気又は光データ記憶媒体、及び同様のものなどのメモリ又はデータ記憶媒体を備え得る。本技法は加えて、又は代替として、命令又はデータ構造の形態でプログラムコードを搬送又は通信し、且つコンピュータによってアクセス、読み取り、及び／又は実行されることができる、伝搬される信号又は波などのコンピュータ可読通信媒体によって少なくとも部分的に実現され得る。
[0198]プログラムコードは、プロセッサによって実行され得、それは、１つ以上のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、又は他の同等の集積回路若しくはディスクリートロジック回路などの１つ以上のプロセッサを含み得る。そのようなプロセッサは、本開示に説明された技法のうちの任意のものを実行するように構成され得る。汎用プロセッサは、マイクロプロセッサであり得るが、代替では、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであり得る。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携した１つ以上のマイクロプロセッサ、又は任意の他のそのような構成としてインプリメントされ得る。それ故に、「プロセッサ」という用語は、本明細書に使用される場合、前述の構造のうちの任意のもの、前述の構造の任意の組み合わせ、又は本明細書に説明された技法のインプリメンテーションに適した任意の他の構造若しくは装置を指し得る。加えて、いくつかの態様では、本明細書に説明された機能は、符号化及び復号のために構成された専用ソフトウェアモジュール若しくはハードウェアモジュール内で提供され得るか、又は組み合わされたビデオ符号化器－復号器（ＣＯＤＥＣ）中に組み込まれ得る。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを処理する方法であって、前記方法は、
ビデオデータの１つ以上のブロックを取得することと、
履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルに２つ以上のＨＭＶＰ候補を投入することと、ここにおいて、第１のインデックス値に関連付けられた前記ＨＭＶＰテーブルの第１のエントリは、第１のＨＭＶＰ候補を備え、第２のインデックス値に関連付けられた前記ＨＭＶＰテーブルの第２のエントリは、第２のＨＭＶＰ候補を備え、前記第１のインデックス値は、前記第２のインデックス値よりも低い、
高度動きベクトル予測（ＡＭＶＰ）候補リストに対して、逆順で前記ＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択することと、ここにおいて、前記第２のＨＭＶＰ候補は、前記逆順に従って前記第１のＨＭＶＰ候補の前に選択される、
前記ＡＭＶＰ候補リストに前記選択された１つ以上のＨＭＶＰ候補を追加することと、前記ＡＭＶＰ候補リストは、前記１つ以上のブロックに対してＡＭＶＰを実行するために使用される、
を備える、方法。
［Ｃ２］
前記第１のＨＭＶＰ候補は、第１の時間に復号された動き情報を備え、前記第２のＨＭＶＰ候補は、第2の時間に復号された動き情報を備え、前記第1の時間は、前記第2の時間よりも時間的に後である、Ｃ１に記載の方法。
［Ｃ３］
前記逆順で前記ＨＭＶＰテーブルから前記１つ以上のＨＭＶＰ候補を前記選択することは、選択中に前記ＨＭＶＰテーブルのエントリのサブサンプリングを実行することなく、連続するインデックス値に関連付けられた前記ＨＭＶＰテーブルの連続するエントリから前記１つ以上のＨＭＶＰ候補を選択することを備える、Ｃ１に記載の方法。
［Ｃ４］
マージ候補リストに対して、正順で前記ＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択することと、ここにおいて、前記第１のＨＭＶＰ候補は、前記正順に従って前記第２のＨＭＶＰ候補の前に選択される、
前記マージ候補リストに前記選択された１つ以上のＨＭＶＰ候補を追加することと、前記マージ候補リストは、前記１つ以上のブロックについてのマージ予測を実行するために使用される、
をさらに備える、Ｃ１に記載の方法。
［Ｃ５］
前記正順で前記ＨＭＶＰテーブルから前記１つ以上のＨＭＶＰ候補を前記選択することは、サブサンプリングレートを使用する前記ＨＭＶＰテーブルのエントリのサブサンプリングを備え、前記サブサンプリングレートに基づく分離は、連続するＨＭＶＰ候補が選択される前記ＨＭＶＰテーブルのエントリに関連付けられたインデックス値間で維持される、Ｃ４に記載の方法。
［Ｃ６］
前記マージ候補リストに前記選択された１つ以上のＨＭＶＰ候補を追加することは、前記マージ候補リストに時間的動きベクトル予測子（ＴＭＶＰ）候補を追加した後に、前記マージ候補リストに前記選択された１つ以上のＨＭＶＰ候補を追加することを備える、Ｃ４に記載の方法。
［Ｃ７］
前記２つ以上のＨＭＶＰ候補は、双方向予測の両方の予測方向についての動き情報を備える、Ｃ１に記載の方法。
［Ｃ８］
少なくとも２つのＨＭＶＰテーブルが、双予測を伴うＡＭＶＰモードで使用される、Ｃ１に記載の方法。
［Ｃ９］
第１のＨＭＶＰテーブルが、第１の参照ピクチャリストに対して使用され、第２のＨＭＶＰテーブルが、第２の参照ピクチャリストに対して使用される、Ｃ８に記載の方法。
［Ｃ１０］
前記ＡＭＶＰは、イントラブロックコピーＡＭＶＰ予測モードを含む、Ｃ１に記載の方法。
［Ｃ１１］
前記方法は、復号器によって実行され、前記ビデオデータは、符号化されたビデオビットストリームから取得される、Ｃ１に記載の方法。
［Ｃ１２］
前記方法は、符号化器によって実行される、Ｃ１に記載の方法。
［Ｃ１３］
ビデオデータを処理するための装置であって、前記装置は、
メモリと、
回路中にインプリメントされたプロセッサと、
を備え、前記プロセッサは、
ビデオデータの１つ以上のブロックを取得することと、
履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルに２つ以上のＨＭＶＰ候補を投入することと、ここにおいて、第１のインデックス値に関連付けられた前記ＨＭＶＰテーブルの第１のエントリは、第１のＨＭＶＰ候補を備え、第２のインデックス値に関連付けられた前記ＨＭＶＰテーブルの第２のエントリは、第２のＨＭＶＰ候補を備え、前記第１のインデックス値は、前記第２のインデックス値よりも低い、
高度動きベクトル予測（ＡＭＶＰ）候補リストに対して、逆順で前記ＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択することと、ここにおいて、前記第２のＨＭＶＰ候補は、前記逆順に従って前記第１のＨＭＶＰ候補の前に選択される、
前記ＡＭＶＰ候補リストに前記選択された１つ以上のＨＭＶＰ候補を追加することと、前記ＡＭＶＰ候補リストは、前記１つ以上のブロックに対してＡＭＶＰを実行するために使用される、
を行うように構成される、装置。
［Ｃ１４］
前記第１のＨＭＶＰ候補は、第1の時間に復号された動き情報を備え、前記第２のＨＭＶＰ候補は、第２の時間に復号された動き情報を備え、前記第1の時間は、前記第2の時間よりも時間的に後である、Ｃ１３に記載の装置。
［Ｃ１５］
前記逆順で前記ＨＭＶＰテーブルから前記１つ以上のＨＭＶＰ候補を前記選択することは、選択中に前記ＨＭＶＰテーブルのエントリのサブサンプリングを実行することなく、連続するインデックス値に関連付けられた前記ＨＭＶＰテーブルの連続するエントリから前記１つ以上のＨＭＶＰ候補を選択することを備える、Ｃ１３に記載の装置。
［Ｃ１６］
前記プロセッサは、
マージ候補リストに対して、正順で前記ＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択することと、ここにおいて、前記第１のＨＭＶＰ候補は、前記正順に従って前記第２のＨＭＶＰ候補の前に選択される、
前記マージ候補リストに前記選択された１つ以上のＨＭＶＰ候補を追加することと、前記マージ候補リストは、前記１つ以上のブロックについてのマージ予測を実行するために使用される、
を行うようにさらに構成される、Ｃ１３に記載の装置。
［Ｃ１７］
前記正順で前記ＨＭＶＰテーブルから前記１つ以上のＨＭＶＰ候補を前記選択することは、サブサンプリングレートを使用する前記ＨＭＶＰテーブルのエントリのサブサンプリングを備え、前記サブサンプリングレートに基づく分離は、連続するＨＭＶＰ候補が選択される前記ＨＭＶＰテーブルのエントリに関連付けられたインデックス値間で維持される、Ｃ１６に記載の装置。
［Ｃ１８］
前記マージ候補リストに前記選択された１つ以上のＨＭＶＰ候補を追加することは、前記マージ候補リストに時間的動きベクトル予測子（ＴＭＶＰ）候補を追加した後に、前記マージ候補リストに前記選択された１つ以上のＨＭＶＰ候補を追加することを備える、Ｃ１６に記載の装置。
［Ｃ１９］
前記２つ以上のＨＭＶＰ候補は、双方向予測の両方の予測方向についての動き情報を備える、Ｃ１３に記載の装置。
［Ｃ２０］
少なくとも２つのＨＭＶＰテーブルが、双予測を伴うＡＭＶＰモードで使用される、Ｃ１３に記載の装置。
［Ｃ２１］
第１のＨＭＶＰテーブルが、第１の参照ピクチャリストに対して使用され、第２のＨＭＶＰテーブルが、第２の参照ピクチャリストに対して使用される、Ｃ２０に記載の装置。
［Ｃ２２］
前記ＡＭＶＰは、イントラブロックコピーＡＭＶＰ予測モードを含む、Ｃ１３に記載の装置。
［Ｃ２３］
前記装置は、復号器を備え、前記ビデオデータは、符号化されたビデオビットストリームから取得される、Ｃ１３に記載の装置。
［Ｃ２４］
前記装置は、符号化器を備える、Ｃ１３に記載の装置。
［Ｃ２５］
命令を記憶した、非一時的コンピュータ可読媒体であって、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
ビデオデータの１つ以上のブロックを取得することと、
履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルに２つ以上のＨＭＶＰ候補を投入することと、ここにおいて、第１のインデックス値に関連付けられた前記ＨＭＶＰテーブルの第１のエントリは、第１のＨＭＶＰ候補を備え、第２のインデックス値に関連付けられた前記ＨＭＶＰテーブルの第２のエントリは、第２のＨＭＶＰ候補を備え、前記第１のインデックス値は、前記第２のインデックス値よりも低い、
高度動きベクトル予測（ＡＭＶＰ）候補リストに対して、逆順で前記ＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択することと、ここにおいて、前記第２のＨＭＶＰ候補は、前記逆順に従って前記第１のＨＭＶＰ候補の前に選択される、
前記ＡＭＶＰ候補リストに前記選択された１つ以上のＨＭＶＰ候補を追加することと、前記ＡＭＶＰ候補リストは、前記１つ以上のブロックに対してＡＭＶＰを実行するために使用される、
を行わせる、非一時的コンピュータ可読媒体。
［Ｃ２６］
前記第１のＨＭＶＰ候補は、第1の時間に復号された動き情報を備え、前記第２のＨＭＶＰ候補は、第２の時間に復号された動き情報を備え、前記第1の時間は、前記第２の時間よりも時間的に後である、Ｃ２５に記載の非一時的コンピュータ可読媒体。
［Ｃ２７］
前記逆順で前記ＨＭＶＰテーブルから前記１つ以上のＨＭＶＰ候補を前記選択することは、選択中に前記ＨＭＶＰテーブルのエントリのサブサンプリングを実行することなく、連続するインデックス値に関連付けられた前記ＨＭＶＰテーブルの連続するエントリから前記１つ以上のＨＭＶＰ候補を選択することを備える、Ｃ２５に記載の非一時的コンピュータ可読媒体。
［Ｃ２８］
１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
マージ候補リストに対して、正順で前記ＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択することと、ここにおいて、前記第１のＨＭＶＰ候補は、前記正順に従って前記第２のＨＭＶＰ候補の前に選択される、
前記マージ候補リストに前記選択された１つ以上のＨＭＶＰ候補を追加することと、前記マージ候補リストは、前記１つ以上のブロックについてのマージ予測を実行するために使用される、
を行わせるさらなる命令を記憶した、Ｃ２５に記載の非一時的コンピュータ可読媒体。
［Ｃ２９］
ビデオデータを処理するための装置であって、前記装置は、
ビデオデータの１つ以上のブロックを取得するための手段と、
履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルに２つ以上のＨＭＶＰ候補を投入するための手段と、ここにおいて、第１のインデックス値に関連付けられた前記ＨＭＶＰテーブルの第１のエントリは、第１のＨＭＶＰ候補を備え、第２のインデックス値に関連付けられた前記ＨＭＶＰテーブルの第２のエントリは、第２のＨＭＶＰ候補を備え、前記第１のインデックス値は、前記第２のインデックス値よりも低い、
高度動きベクトル予測（ＡＭＶＰ）候補リストに対して、逆順で前記ＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補を選択するための手段と、ここにおいて、前記第２のＨＭＶＰ候補は、前記逆順に従って前記第１のＨＭＶＰ候補の前に選択される、
前記ＡＭＶＰ候補リストに前記選択された１つ以上のＨＭＶＰ候補を追加するための手段と、前記ＡＭＶＰ候補リストは、前記１つ以上のブロックに対してＡＭＶＰを実行するために使用される、
を備える、装置。
［Ｃ３０］
前記第１のＨＭＶＰ候補は、第1の時間に復号された動き情報を備え、前記第２のＨＭＶＰ候補は、第２の時間に復号された動き情報を備え、前記第1の時間は、前記第２の時間よりも時間的に後である、Ｃ２９に記載の装置。

Claims (15)

  1. ビデオデータを処理する方法であって、前記方法は、
    ビデオデータの１つ以上のブロックを取得することと、
    履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルに２つ以上のＨＭＶＰ候補を投入することと、ここにおいて、第１のインデックス値に関連付けられた前記ＨＭＶＰテーブルの第１のエントリは、第１のＨＭＶＰ候補を備え、第２のインデックス値に関連付けられた前記ＨＭＶＰテーブルの第２のエントリは、第２のＨＭＶＰ候補を備え、前記第１のインデックス値は、前記第２のインデックス値よりも低い、
    高度動きベクトル予測（ＡＭＶＰ）候補リストに対して、正順で前記ＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補の第１のセットを選択することと、ここにおいて、前記第１のＨＭＶＰ候補は、前記正順に従って前記第２のＨＭＶＰ候補の前に選択される、
    前記ＡＭＶＰ候補リストに前記１つ以上のＨＭＶＰ候補の選択された第１のセットを追加することと、前記ＡＭＶＰ候補リストは、前記１つ以上のブロックに対してＡＭＶＰを実行するために使用される、
    マージ候補リストに対して、逆順で前記ＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補の第２のセットを選択することと、ここにおいて、前記第２のＨＭＶＰ候補は、前記逆順に従って前記第１のＨＭＶＰ候補の前に選択される、
    前記マージ候補リストに前記１つ以上のＨＭＶＰ候補の選択された第２のセットを追加することと、前記マージ候補リストは、前記１つ以上のブロックについてのマージ予測を実行するために使用される、
    を備える、方法。
  2. 前記第１のＨＭＶＰ候補は、第１の時間に復号された動き情報を備え、前記第２のＨＭＶＰ候補は、第２の時間に復号された動き情報を備え、前記第１の時間は、前記第２の時間よりも時間的に先である、請求項１に記載の方法。
  3. 前記正順で前記ＨＭＶＰテーブルから前記１つ以上のＨＭＶＰ候補の第１のセットを前記選択することは、選択中に前記ＨＭＶＰテーブルのエントリのサブサンプリングを実行することなく、連続するインデックス値に関連付けられた前記ＨＭＶＰテーブルの連続するエントリから前記１つ以上のＨＭＶＰ候補の第１のセットを選択することを備える、請求項１に記載の方法。
  4. 前記逆順で前記ＨＭＶＰテーブルから前記１つ以上のＨＭＶＰ候補の第２のセットを前記選択することは、サブサンプリングレートを使用する前記ＨＭＶＰテーブルのエントリのサブサンプリングを備え、前記サブサンプリングレートに基づく分離は、連続するＨＭＶＰ候補が選択される前記ＨＭＶＰテーブルのエントリに関連付けられたインデックス値間で維持される、請求項１に記載の方法。
  5. 前記マージ候補リストに前記１つ以上のＨＭＶＰ候補の選択された第２のセットを追加することは、前記マージ候補リストに時間的動きベクトル予測子（ＴＭＶＰ）候補を追加した後に、前記マージ候補リストに前記選択された１つ以上のＨＭＶＰ候補を追加することを備える、請求項１に記載の方法。
  6. 前記２つ以上のＨＭＶＰ候補は、双方向予測の両方の予測方向についての動き情報を備える、請求項１に記載の方法。
  7. 少なくとも２つのＨＭＶＰテーブルが、双予測を伴うＡＭＶＰモードで使用される、請求項１に記載の方法。
  8. 第１のＨＭＶＰテーブルが、第１の参照ピクチャリストに対して使用され、第２のＨＭＶＰテーブルが、第２の参照ピクチャリストに対して使用される、請求項７に記載の方法。
  9. 前記ＡＭＶＰは、イントラブロックコピーＡＭＶＰ予測モードを含む、請求項１に記載の方法。
  10. 前記方法は、復号器によって実行され、前記ビデオデータは、符号化されたビデオビットストリームから取得される、または、
    前記方法は、符号化器によって実行される、請求項１に記載の方法。
  11. ビデオデータを処理するための装置であって、前記装置は、
    メモリと、
    プロセッサと、
    を備え、前記プロセッサは、
    ビデオデータの１つ以上のブロックを取得することと、
    履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルに２つ以上のＨＭＶＰ候補を投入することと、ここにおいて、第１のインデックス値に関連付けられた前記ＨＭＶＰテーブルの第１のエントリは、第１のＨＭＶＰ候補を備え、第２のインデックス値に関連付けられた前記ＨＭＶＰテーブルの第２のエントリは、第２のＨＭＶＰ候補を備え、前記第１のインデックス値は、前記第２のインデックス値よりも低い、
    高度動きベクトル予測（ＡＭＶＰ）候補リストに対して、正順で前記ＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補の第１のセットを選択することと、ここにおいて、前記第１のＨＭＶＰ候補は、前記正順に従って前記第２のＨＭＶＰ候補の前に選択される、
    前記ＡＭＶＰ候補リストに前記１つ以上のＨＭＶＰ候補の選択された第１のセットを追加することと、前記ＡＭＶＰ候補リストは、前記１つ以上のブロックに対してＡＭＶＰを実行するために使用される、
    マージ候補リストに対して、逆順で前記ＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補の第２のセットを選択することと、ここにおいて、前記第２のＨＭＶＰ候補は、前記逆順に従って前記第１のＨＭＶＰ候補の前に選択される、
    前記マージ候補リストに前記１つ以上のＨＭＶＰ候補の選択された第２のセットを追加することと、前記マージ候補リストは、前記１つ以上のブロックについてのマージ予測を実行するために使用される、
    を行うように構成される、装置。
  12. 前記プロセッサは、請求項２～９のいずれか一項に記載の方法を実行するように構成される、請求項１１に記載の装置。
  13. 前記装置は、復号器を備え、前記ビデオデータは、符号化されたビデオビットストリームから取得される、または、
    前記装置は、符号化器を備える、請求項１１に記載の装置。
  14. 命令を記憶した、非一時的コンピュータ可読媒体であって、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
    ビデオデータの１つ以上のブロックを取得することと、
    履歴ベースの動きベクトル予測子（ＨＭＶＰ）テーブルに２つ以上のＨＭＶＰ候補を投入することと、ここにおいて、第１のインデックス値に関連付けられた前記ＨＭＶＰテーブルの第１のエントリは、第１のＨＭＶＰ候補を備え、第２のインデックス値に関連付けられた前記ＨＭＶＰテーブルの第２のエントリは、第２のＨＭＶＰ候補を備え、前記第１のインデックス値は、前記第２のインデックス値よりも低い、
    高度動きベクトル予測（ＡＭＶＰ）候補リストに対して、正順で前記ＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補の第１のセットを選択することと、ここにおいて、前記第１のＨＭＶＰ候補は、前記正順に従って前記第２のＨＭＶＰ候補の前に選択される、
    前記ＡＭＶＰ候補リストに前記１つ以上のＨＭＶＰ候補の選択された第１のセットを追加することと、前記ＡＭＶＰ候補リストは、前記１つ以上のブロックに対してＡＭＶＰを実行するために使用される、
    マージ候補リストに対して、逆順で前記ＨＭＶＰテーブルから１つ以上のＨＭＶＰ候補の第２のセットを選択することと、ここにおいて、前記第２のＨＭＶＰ候補は、前記逆順に従って前記第１のＨＭＶＰ候補の前に選択される、
    前記マージ候補リストに前記１つ以上のＨＭＶＰ候補の選択された第２のセットを追加することと、前記マージ候補リストは、前記１つ以上のブロックについてのマージ予測を実行するために使用される、
    を行わせる、非一時的コンピュータ可読媒体。
  15. １つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、請求項２～９のいずれか一項に記載の方法を実行させる命令を記憶した、請求項１４に記載の非一時的コンピュータ可読媒体。
JP2021518081A 2018-10-08 2019-10-07 履歴ベースの動きベクトル予測子の改善 Active JP7342115B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862742890P 2018-10-08 2018-10-08
US62/742,890 2018-10-08
US16/593,388 2019-10-04
US16/593,388 US11051034B2 (en) 2018-10-08 2019-10-04 History-based motion vector predictor
PCT/US2019/055004 WO2020076705A2 (en) 2018-10-08 2019-10-07 Improvements on history-based motion vector predictor

Publications (3)

Publication Number Publication Date
JP2022504073A JP2022504073A (ja) 2022-01-13
JPWO2020076705A5 JPWO2020076705A5 (ja) 2022-09-15
JP7342115B2 true JP7342115B2 (ja) 2023-09-11

Family

ID=70052569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021518081A Active JP7342115B2 (ja) 2018-10-08 2019-10-07 履歴ベースの動きベクトル予測子の改善

Country Status (15)

Country Link
US (1) US11051034B2 (ja)
EP (1) EP3864841A2 (ja)
JP (1) JP7342115B2 (ja)
KR (1) KR20210068439A (ja)
AU (1) AU2019356483B2 (ja)
BR (1) BR112021005357A2 (ja)
CA (1) CA3112448A1 (ja)
CO (1) CO2021004169A2 (ja)
IL (1) IL281298A (ja)
MX (1) MX2021003973A (ja)
PH (1) PH12021550507A1 (ja)
SG (1) SG11202102322WA (ja)
TW (1) TWI826546B (ja)
WO (1) WO2020076705A2 (ja)
ZA (1) ZA202103094B (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019234600A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between pairwise average merging candidates and intra-block copy (ibc)
WO2020003274A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in lut
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
BR112020024202A2 (pt) 2018-06-29 2021-02-17 Beijing Bytedance Network Technology Co., Ltd. método de processamento de dados de vídeo, aparelho de processamento de vídeo e meios de armazenamento e gravação legíveis por computador não transitório
CN115134599A (zh) 2018-06-29 2022-09-30 抖音视界有限公司 更新查找表（lut）的条件
TWI723444B (zh) 2018-06-29 2021-04-01 大陸商北京字節跳動網絡技術有限公司 使用一個或多個查找表來按順序存儲先前編碼的運動信息並使用它們來編碼後面的塊的概念
EP3791589A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Which lut to be updated or no updating
CN110662057B (zh) 2018-06-29 2022-06-21 北京字节跳动网络技术有限公司 视频处理方法、装置、设备以及存储比特流的方法
MX2020013828A (es) 2018-06-29 2021-03-25 Beijing Bytedance Network Tech Co Ltd Interaccion entre lut y amvp.
TWI752331B (zh) 2018-06-29 2022-01-11 大陸商北京字節跳動網絡技術有限公司 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
JP7181395B2 (ja) 2018-07-02 2022-11-30 北京字節跳動網絡技術有限公司 イントラ予測モードを有するルックアップテーブルおよび非隣接ブロックからのイントラモード予測
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
CN118055251A (zh) * 2018-09-22 2024-05-17 Lg 电子株式会社 使用间预测处理视频信号的方法和装置
TWI818086B (zh) 2018-09-24 2023-10-11 大陸商北京字節跳動網絡技術有限公司 擴展Merge預測
CA3115867C (en) * 2018-10-10 2023-10-10 Huawei Technologies Co., Ltd. Inter prediction method and apparatus
CN116939198A (zh) 2018-10-23 2023-10-24 北京字节跳动网络技术有限公司 并置的局部照明补偿和修改的帧间预测编解码
CN112868238B (zh) 2018-10-23 2023-04-21 北京字节跳动网络技术有限公司 局部照明补偿和帧间预测编解码之间的并置
BR112021007863A2 (pt) * 2018-11-02 2021-07-27 Beijing Bytedance Network Technology Co., Ltd. método e aparelho para processar dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
CN112970262B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 三角预测模式中的取整
CN113170128B (zh) * 2018-12-03 2024-05-28 北京字节跳动网络技术有限公司 帧间预测的部分修剪方法
WO2020117016A1 (ko) * 2018-12-06 2020-06-11 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
US11394989B2 (en) * 2018-12-10 2022-07-19 Tencent America LLC Method and apparatus for video coding
KR20200078378A (ko) * 2018-12-21 2020-07-01 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
TWI829386B (zh) * 2018-12-28 2024-01-11 日商Ｊｖｃ建伍股份有限公司 影像編碼裝置、影像編碼方法、影像編碼程式、影像解碼裝置、影像解碼方法及影像解碼程式
KR102583807B1 (ko) 2018-12-28 2023-09-26 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
KR20240010576A (ko) 2019-01-10 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147747A1 (en) 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Weighted prediction in video coding
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
WO2020147804A1 (en) * 2019-01-17 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Use of virtual candidate prediction and weighted prediction in video processing
WO2020156464A1 (en) * 2019-01-31 2020-08-06 Mediatek Inc. Method and apparatus of combined inter and intraprediction for video coding
US11115653B2 (en) * 2019-02-22 2021-09-07 Mediatek Inc. Intra block copy merge list simplification
WO2020187328A1 (en) 2019-03-21 2020-09-24 Beijing Bytedance Network Technology Co., Ltd. Signaling of combined intra-inter prediction
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
CN113812165B (zh) * 2019-05-09 2023-05-23 北京字节跳动网络技术有限公司 对hmvp表的改进
CN113950838A (zh) * 2019-06-06 2022-01-18 北京字节跳动网络技术有限公司 基于子块的帧内块复制
CN113994699B (zh) * 2019-06-06 2024-01-12 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
US11451809B2 (en) * 2019-08-28 2022-09-20 Tencent America LLC Method and apparatus for video coding
CN113709498B (zh) * 2020-05-20 2023-06-02 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质
WO2023090924A1 (ko) * 2021-11-18 2023-05-25 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022501912A (ja) 2018-09-22 2022-01-06 エルジー エレクトロニクス インコーポレイティドLg Electronics Inc. インター予測に基づいて、ビデオ信号を処理するための方法及び装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US8358698B2 (en) 2010-01-08 2013-01-22 Research In Motion Limited Method and device for motion vector estimation in video transcoding using full-resolution residuals
EP3139611A1 (en) 2011-03-14 2017-03-08 HFI Innovation Inc. Method and apparatus for deriving temporal motion vector prediction
US9491458B2 (en) 2012-04-12 2016-11-08 Qualcomm Incorporated Scalable video coding prediction with non-causal information
KR20170078672A (ko) 2014-10-31 2017-07-07 삼성전자주식회사 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
EP3343925A1 (en) 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022501912A (ja) 2018-09-22 2022-01-06 エルジー エレクトロニクス インコーポレイティドLg Electronics Inc. インター予測に基づいて、ビデオ信号を処理するための方法及び装置

Also Published As

Publication number Publication date
AU2019356483B2 (en) 2022-10-20
WO2020076705A3 (en) 2020-05-22
CA3112448A1 (en) 2020-04-16
TW202027508A (zh) 2020-07-16
IL281298A (en) 2021-04-29
MX2021003973A (es) 2021-05-27
AU2019356483A1 (en) 2021-04-15
KR20210068439A (ko) 2021-06-09
CN112823517A (zh) 2021-05-18
ZA202103094B (en) 2023-01-25
PH12021550507A1 (en) 2021-11-08
US20200112741A1 (en) 2020-04-09
SG11202102322WA (en) 2021-04-29
US11051034B2 (en) 2021-06-29
CO2021004169A2 (es) 2021-04-30
WO2020076705A2 (en) 2020-04-16
JP2022504073A (ja) 2022-01-13
TWI826546B (zh) 2023-12-21
EP3864841A2 (en) 2021-08-18
BR112021005357A2 (pt) 2021-06-15

Similar Documents

Publication Publication Date Title
JP7342115B2 (ja) 履歴ベースの動きベクトル予測子の改善
CN110383839B (zh) 仿射运动信息导出
US11140408B2 (en) Affine motion prediction
CN107690810B (zh) 确定用于视频译码的照明补偿状态的系统及方法
JP6740243B2 (ja) ビデオコーディングにおける動きベクトル導出
CN107710764B (zh) 确定用于视频译码的照明补偿状态的系统及方法
JP6552964B2 (ja) スケーラブルなマルチビュービデオコーディングにおける高度な残差予測
US11582475B2 (en) History-based motion vector prediction
JP2022548990A (ja) ベクトルクリッピングを用いるアフィンコーディング
WO2020154504A2 (en) Excluding intra coded reference samples from local illumination compensation parameter derivation
EP4298794A1 (en) Efficient video encoder architecture
JP2023554269A (ja) 重複ブロック動き補償
CN112823517B (zh) 基于历史的运动矢量预测子的改进

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220907

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230830

R150 Certificate of patent or registration of utility model

Ref document number: 7342115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150