JP7361842B2 - ビデオデータを処理する方法、装置、非一時的コンピュータ可読記憶媒体 - Google Patents

ビデオデータを処理する方法、装置、非一時的コンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP7361842B2
JP7361842B2 JP2022100745A JP2022100745A JP7361842B2 JP 7361842 B2 JP7361842 B2 JP 7361842B2 JP 2022100745 A JP2022100745 A JP 2022100745A JP 2022100745 A JP2022100745 A JP 2022100745A JP 7361842 B2 JP7361842 B2 JP 7361842B2
Authority
JP
Japan
Prior art keywords
chrominance
block
luminance
motion vector
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022100745A
Other languages
English (en)
Other versions
JP2022137099A (ja
Inventor
ザン，カイ
ザン，リー
リュウ，ホンビン
ワン，ユエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=67847764&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP7361842(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022137099A publication Critical patent/JP2022137099A/ja
Priority to JP2023172306A priority Critical patent/JP2024001132A/ja
Application granted granted Critical
Publication of JP7361842B2 publication Critical patent/JP7361842B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

[関連出願の相互参照]
適用特許法及び／又はパリ条約に基づく規則に基づき、本出願は、２０１８年６月２１日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１８／０９２１１８号及び２０１８年１１月１０日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１８／１１４９３１号の優先権及び利益を適時に主張するものである。米国法の下でのすべての目的のために、国際特許出願第ＰＣＴ／ＣＮ２０１８／０９２１１８号、および国際特許出願第ＰＣＴ／ＣＮ２０１８／１１４９３１号の開示全体が、本出願の開示の一部として参照援用される。
この特許文献は、概してピクチャおよびビデオのコーディング技術を対象としている。
動き補正は、ビデオ内のカメラおよび／またはオブジェクトの動きを考慮（ａｃｃｏｕｎｔ ｆｏｒ）することによって、前のフレームおよび／または将来のフレームが与えられたときに、ビデオ内のフレームを予測する、ビデオ処理における技術である。動き補正は、ビデオ圧縮のためのビデオデータの符号化および復号に使用することができる。
ピクチャおよびビデオコーディングのためのサブブロックベース予測に関連する装置、システムおよび方法を説明する。
１つの代表的な態様において、開示された技術は、ビデオ符号化方法を提供するために使用され取得する。この方法は、現在のビデオブロックの第１成分を第１サブブロックセットに分割し、現在のビデオブロックの第２成分を第２サブブロックセットに分割することを含む。第２成分のサブブロックは、第１成分の一以上のサブブロックに対応する。本方法はまた、現在のビデオブロックのカラーフォーマットに基づいて、第１色成分の一以上の対応するサブブロックの動きベクトルに基づいて、第２成分のサブブロックの動きベクトルを導出するステップを含む。
別の代表的な態様では、開示の技術は、ビデオ復号方法を提供するために使用され取得する。この方法は、第１成分と、少なくとも第２成分とを含むビデオデータブロックを受信することを含む。第１成分は、第１サブブロックセットに分割され、第２成分は、第２サブブロックセットに分割される。第２成分のサブブロックは、第１成分の一以上のサブブロックに対応する。この方法は、ビデオデータブロックのカラーフォーマットに基づいて、第２の成分のサブブロックの動きベクトルを、第１カラー成分の一以上の対応するサブブロックの動きベクトルに基づいて導出することを含む。また、この方法は、導出された動きベクトルに基づいて、ビデオデータブロックを再構成すること、または同じピクチャ内のビデオデータの他のブロックを復号することを含む。
さらに別の代表的な態様では、上述の方法は、プロセッサ実行可能コードの形態で具体化され、コンピュータ読み取り可能なプログラム媒体に記憶される。
さらに別の代表的な態様では、上述の方法を実行するように構成または動作可能なデバイスを開示する。このデバイスは、この方法を実装するようにプログラムされたプロセッサを含んでもよい。
さらに別の代表的な態様では、ビデオエンコーダまたはビデオデコーダ装置が、本明細書に記載の方法を実装することができる。
開示の技術の上記その他の態様および特徴は、図面、明細書および特許請求の範囲により詳細に記載されている。
サブブロックベース予測の一例を示す。
簡略化されたアフィン動きモデルの一例を示す。
サブブロックごとのアフィン動きベクトル場（ＭＶＦ）の例を示す。
コーディングユニットに対する代替的な時間的動きベクトル予測（ＡＴＭＶＰ）アルゴリズムを使用する動き予測の一例を示す。
４つのサブブロックおよび隣接ブロックを有する１つのＣＵの一例を示す。
双方向オプティカルフロー（ＢＩＯ）アルゴリズムによって使用されるオプティカルフロートラジェクトリの一例を示す。
フレームレートアップコンバージョン（ＦＲＵＣ）アルゴリズムにおけるバイラテラルマッチングの一例を示す。
ＦＲＵＣアルゴリズムにおけるテンプレートマッチングの一例を示す。
ＦＲＵＣ法におけるユニラテラル動き推定（ＭＥ）の一例を示す。
本技術による、４：２：０フォーマットで、サブブロックの成分の動きベクトル（ＭＶ）を導出する一例を示す。
本技術による、４：２：０フォーマットで、サブブロックの成分のＭＶを導出する別の例を示す。
本技術によるサブブロックの成分のＭＶを導出するさらに別の例を示す。
本技術の一以上の実施形態によるビデオ符号化方法の一例を示すフローチャートである。
本技術の一以上の実施形態によるビデオ符号化方法の他の一例を示すフローチャートである。
本開示の技術の様々な部分を実装するために利用可能な符号化装置の一例を示すブロック図である。
本開示の技術の様々な部分を実装するために利用可能な符号化装置の一例を示すブロック図である。
本開示の技術の様々な部分を実装するために利用可能なコンピュータシステムその他の制御デバイスのアーキテクチャの一例を示すブロック図である。
本開示の技術の様々な部分を実装するために利用可能なモバイルデバイスの実施形態の一例を示すブロック図を示す。
より高解像度のビデオに対する要求が高まっているため、ビデオコーディング方法および技術は、現代の技術では至るところに存在している。ビデオコーデックは、典型的には、デジタルビデオを圧縮または解凍する電子回路またはソフトウェアを含み、より高いコーディング効率を提供するために絶えず改良されている。ビデオコーデックは、圧縮されていないビデオを圧縮形式に変換し、又はその逆を行う。ビデオ画質、（ビットレートによって決定される）ビデオを表現するために使用されるデータ量、符号化および復号アルゴリズムの複雑さ、データ損失およびエラーに対する感度、編集の容易さ、ランダムアクセス、およびエンドツーエンド遅延（レイテンシ）の間には複雑な関係がある。圧縮フォーマットは、通常、標準的なビデオ圧縮仕様、例えば、高効率ビデオコーディング（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）標準（Ｈ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られている）、最終化される汎用ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準、または他の現在および／または将来のビデオコーディング標準に準拠する。
サブブロックベース予測は、高効率ビデオコーディング（ＨＥＶＣ）標準によってビデオコーディング標準に最初に導入された。サブブロックベース予測では、コーディングユニット（ＣＵ）または予測ユニット（ＰＵ）のようなブロックは、いくつかの重複しないサブブロックに分割される。異なるサブブロックには、参照インデックスまたは動きベクトル（ＭＶ）のような異なる動き情報が割り当てられ、動き補償（ＭＣ）は各サブブロックに対して個別に実行される。図１は、サブブロックベース予測の一例を示す。
開示の技術の実施形態は、ランタイム性能を改善するために、既存のビデオコーディング標準（例えば、ＨＥＶＣ、Ｈ．２６５）および将来の標準に適用され取得する。本文書では、セクション見出しは、説明の可読性を向上させるために使用しており、いかなる意味においても、説明または実施形態（および／または実装）を各セクションのみに限定するものではない。
ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ）として知られる参照ソフトウェアを用いて、将来のビデオコーディング技術を説明する。ＪＥＭでは、サブブロックベースの予測を、アフィン予測、代替時間動きベクトル予測（ＡＴＭＶＰ）、空間時間動きベクトル予測（ＳＴＭＶＰ）、双方向オプティカルフロー（ＢＩＯ）、フレームレートアップ変換（ＦＲＵＣ）、局所適応動きベクトル解像（ＬＡＭＶＲ）、オーバーラップブロック動き補償（ＯＢＭＣ）、局所照明補償（ＬＩＣ）、デコーダ側動きベクトル精緻化（ＤＭＶＲ）などのいくつかのコーディングツールに採用している。
ＨＥＶＣでは、並進動きモデルのみが動き補償予測（ＭＣＰ）に適用される。しかし、カメラおよびオブジェクトは、ズームイン／ズームアウト、回転、斜視的動き、および／または他の不規則な動きなど、多くの種類の動きを有し取得する。一方、ＪＥＭは単純化したアフィン変換動き補償予測を適用する。図２は、２つの制御点動きベクトルＶ０およびＶ１によって記述されるブロック２００のアフィン動き場の例を示す。ブロック２００の動きベクトル場（ＭＶＦ）は、以下の式で表すことができる：
Figure 0007361842000001
図３は、ブロック３００に対するサブブロック当たりのアフィンＭＶＦの例を示す。各Ｍ×Ｎサブブロックの動きベクトルを導出するために、各サブブロックの中心サンプルの動きベクトルを式（１）に従って計算し、動きベクトル分率精度に丸めることができる（例えば、ＪＥＭでは１／１６）。次に、動き補償補間フィルタを適用して、導出された動きベクトルを有する各サブブロックの予測を生成することができる。ＭＣＰの後、各サブブロックの高精度動きベクトルを丸め、通常の動きベクトルと同じ精度で保存する。
ＪＥＭには、ＡＦ＿ＩＮＴＥＲモードとＡＦ＿ＭＥＲＧＥモードの２つのアフィン動きモードがある。幅と高さの両方が８より大きいＣＵに対して、ＡＦ＿ＩＮＴＥＲモードが適用できる。ＣＵレベルのアフィンフラグはＡＦ＿ＩＮＴＥＲモードが使われるかどうかを示すためにビットストリームでシグナリングされる。ＡＦ＿ＩＮＴＥＲモードでは、動きベクトルペア｛（ｖ０，ｖ１）｜ｖ０＝｛ｖＡ，ｖＢ，ｖｃ｝，ｖ１＝｛ｖＤ，ｖＥ｝｝を持つ候補リストが隣接ブロックを使って構築される。
ＪＥＭでは、非マージアフィンモードは現在のブロックの幅と高さの両方が８より大きい場合にのみ使用でき、マージアフィンモードは現在のブロックの面積（すなわち幅×高さ）が６４より小さくない場合にのみ使用できる。
図４は、ＣＵ４００の代替時間動きベクトル予測（ＡＴＭＶＰ）動き予測プロセスの例を示す。ＡＴＭＶＰ法は、ＣＵ４００内のサブＣＵ４０１の動きベクトルを２ステップで予測する。第１のステップは、時間ベクトルを有する参照ピクチャ４５０内の対応するブロック４５１を特定することである。参照ピクチャ４５０は、動きソースピクチャとも呼ばれる。第２のステップは、現在のＣＵ４００をサブＣＵ４０１に分割し、各サブＣＵに対応するブロックから各サブＣＵの動きベクトルおよび参照インデックスを取得する。
第１のステップでは、参照ピクチャ４５０と、対応するブロックとは、現在のＣＵ４００の空間的隣接ブロックの動き情報によって決定される。第２のステップでは、サブＣＵ４５１の対応するブロックが、現在のＣＵの座標に時間ベクトルを加えることによって、動きソースピクチャ４５０内の時間ベクトルによって特定される。各サブＣＵに対して、対応するブロックの動き情報（例えば、中心サンプルをカバーする最小の動きグリッド）を用いて、サブＣＵの動き情報を導出する。対応するＮ×Ｎブロックの動き情報が特定された後、ＨＥＶＣのＴＭＶＰと同様に、現在のサブＣＵの動きベクトルおよび参照インデックスに変換される。ここで、動きスケーリングおよびその他の手順が適用される。
空間時間動きベクトル予測（ＳＴＭＶＰ）法では、サブＣＵの動きベクトルはラスタ走査順序に従って再帰的に導出される。図５は、４つのサブブロックおよび隣接ブロックを有する１つのＣＵの例を示す。４×４のサブＣＵ Ａ（５０１）、Ｂ（５０２）、Ｃ（５０３）、Ｄ（５０４）の４つのサブＣＵを含む８×８ＣＵ５００を考える。現在のフレーム内の隣接する４×４ブロックは、ａ（５１１）、ｂ（５１２）、ｃ（５１３）、ｄ（５１４）とラベル付けされている。
サブＣＵ Ａの動き導出は、その２つの空間的隣接者を特定することから始まる。最初の隣接者はサブＣＵ Ａ５０１の上のＮ×Ｎブロック（ブロックｃ５１３）である。このブロックｃ（５１３）が利用できないか、またはイントラコーディングされている場合、サブＣＵ Ａ（５０１）の上の他のＮ×Ｎブロックがチェックされる（ブロックｃ５１３から始めて左から右へ）。第２の隣接者は、サブＣＵ Ａ５０１の左側のブロック（ブロックｂ５１２）である。ブロックｂ（５１２）が利用可能でないか、またはイントラコーディングされている場合、サブＣＵ Ａ５０１の左側にある他のブロックがチェックされる（ブロックｂ５１２から始めて上から下へ）。各リストに対する隣接ブロックから得られた動き情報は、与えられたリストに対する最初の参照フレームにスケーリングされる。次に、サブブロックＡ５０１の時間的動きベクトル予測子（ＴＭＶＰ）が、ＨＥＶＣで規定されたのと同じＴＭＶＰ導出手順に従うことによって導出される。ブロックＤ７０４でコロケーションされたブロックの動き情報は、適宜、フェッチされスケールされる。最後に、動き情報を読み出し、スケーリングした後、すべての利用可能な動きベクトルは、各参照リストに対して別々に平均化される。平均化された動きベクトルは、現在のサブＣＵの動きベクトルとして割り当てられる。
双方向オプティカルフロー（ＢＩＯ）法は、双方向予測のためのブロックごとの動き補償の上で実施されるサンプルごとの動き微細化である。いくつかの実装では、サンプルレベルの動きの精緻化は、シグナリングを使用しない。
Ｉ（ｋ）をブロック動き補償後の参照ｋ（ｋ＝０，１）からのルミナンス値とし、∂Ｉ（ｋ）/∂ｘ，∂Ｉ（ｋ）/∂ｙを、それぞれＩ（ｋ）グラジエントの水平成分と垂直成分とする。オプティカルフローが有効であると仮定すると、動きベクトル場（ｖｘ、ｖｙ）は次式で与えられる：
Figure 0007361842000002
このオプティカルフロー方程式を各サンプルの動き軌跡に対するエルミート補間と組み合わせると、両端において関数値Ｉ（ｋ）と微分値∂Ｉ（ｋ）/∂ｘ，∂Ｉ（ｋ）/∂ｙの両方に一致するユニークな三次多項式が得られる。ｔ＝０におけるこの多項式の値は次のＢＩＯ予測である。
Figure 0007361842000003
図６は、双方向オプティカルフロー（ＢＩＯ）法における例示的なオプティカルフローの軌跡を示す。ここで、τ０とτ１は、参照フレームまでの距離を示す。距離τ０とτ１は、Ｒｅｆ０とＲｅｆ１のＰＯＣに基づいてτ０＝ＰＯＣ（現在）－ＰＯＣ（Ｒｅｆ０）、τ１＝ＰＯＣ（Ｒｅｆ１）－ＰＯＣ（現在）に基づいて計算される。もし、両方の予測が（両方とも過去から、あるいは両方とも将来から）同じ時間の向きから来るとすると、その符号は異なる（たとえば、τ０・τ１＜０）。この場合、予測が同時点からでない場合（例えば、τ０≠τ１）、ＢＩＯが適用される。両方の参照領域は、非ゼロ動き（例えばＭＶｘ０，ＭＶｙ０，ＭＶｘ１，ＭＶｙ１≠０）を有し、ブロック動きベクトルは、時間的距離に比例する（例えば、ＭＶｘ０/（ＭＶｘ１＝ＭＶｙ０/ＭＶｙ１）＝－τ０/τ１）。ＪＥＭでは、２つの予測が異なる参照ピクチャからのものである場合、ＢＩＯをすべての双予測ブロックに適用することができる。ＬＩＣ（Ｌｏｃａｌ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）が有効になっているＣＵでは、ＢＩＯを無効にすることができます。
場合によっては、マージフラグが真の場合、ＦＲＵＣフラグはＣＵに対してシグナリングすることができる。ＦＲＵＣフラグが偽の場合、マージインデックスをシグナリングすることができ、通常のマージモードが使用される。ＦＲＵＣフラグが真の場合、追加のＦＲＵＣモードフラグがシグナリングされ、どの方法（例えば、バイラテラルマッチングまたはテンプレートマッチング）を用いてブロックの動作情報を導出するか示す。
エンコーダ側では、ＣＵのためにＦＲＵＣマージモードを使用するかどうかの決定は、通常のマージ候補の場合と同様に、ＲＤコスト選択に基づいて行われる。例えば、複数のマッチングモード（例えば、バイラテラルマッチングおよびテンプレートマッチング）は、ＲＤコスト選択を使用することによって、ＣＵについてチェックされる。最小のコストにつながるものは、さらに他のＣＵモードと比較される。ＦＲＵＣマッチングモードが最も効率的なモードである場合、ＦＲＵＣフラグはＣＵに対してｔｒｕｅに設定され、関連するマッチングモードが使用される。
典型的には、ＦＲＵＣマージモードにおける動き導出プロセスは、２つのステップを有する：最初にＣＵレベルの動きサーチが実行され、その後にサブＣＵレベルの動き精緻化が続く。ＣＵレベルでは、バイラテラルマッチングまたはテンプレートマッチングに基づいて、ＣＵ全体に対して初期動きベクトルを導出する。最初に、ＭＶ候補のリストが生成され、最小マッチングコストをもたらす候補が、さらなるＣＵレベルの改良のための出発点として選択される。次に、開始点周辺でのバイラテラルマッチングまたはテンプレートマッチングに基づくローカルサーチを実行する。ＭＶの結果、最小マッチングコストがＣＵ全体のＭＶとなる。引き続いて、導出されたＣＵ動きベクトルを出発点として、サブＣＵレベルで動き情報をさらに精緻化する。
図７は、フレームレートアップコンバージョン（ＦＲＵＣ）法で使用されるバイラテラルマッチングの例を示す。バイラテラルマッチングは、２つの異なる参照ピクチャ（７１０、７１１）において、現在のＣＵ（７００）の動き軌跡に沿って２つのブロック間の最も近いマッチングを見つけることによって、現在のＣＵの動き情報を導出するために使用される。連続的な動き軌跡の仮定の下で、２つの参照ブロックを指す動きベクトルＭＶ０（７０１）とＭＶ１（７０２）は、現在のピクチャと２つの参照ピクチャの間の時間的距離、例えばＴＤ０（７０３）とＴＤ１（７０４）に比例する。いくつかの実施態様において、現在のピクチャ７００が、時間的に２つの参照ピクチャ（７１０、７１１）の間にあり、現在のピクチャから２つの参照ピクチャまでの時間的距離が同じである場合、バイラテラルマッチングは、ミラーベース双方向ＭＶになる。
図８は、フレームレートアップコンバージョン（Ｆｒａｍｅ－Ｒａｔｅ Ｕｐ Ｃｏｎｖｅｒｓｉｏｎ：ＦＲＵＣ）法で使用されるテンプレートマッチングの例を示す。テンプレートマッチングは、現在のピクチャ内のテンプレート（例えば、現在のＣＵの上および／または左に隣接するブロック）と参照ピクチャ８１０内のブロック（例えば、テンプレートと同じサイズ）との間の最も近いマッチングを見つけることによって、現在のＣＵ８００の動き情報を導出するために使用することができる。前述のＦＲＵＣマージモードを除き、テンプレートマッチングはＡＭＶＰモードにも適用することができる。ＪＥＭとＨＥＶＣの両方で、ＡＭＶＰには２つの候補がある。テンプレートマッチング法を用いて、新しい候補を導出することができる。テンプレートマッチングによって新たに導出された候補が最初の既存のＡＭＶＰ候補と異なる場合、それは（例えば、２番目の既存のＡＭＶＰ候補を削除することによって）ＡＭＶＰ候補リストの最初に挿入され、リストサイズは２に設定される。ＡＭＶＰモードに適用され場合、ＣＵレベルサーチのみが適用される。
ＣＵレベルで設定されたＭＶ候補には、（１）現在のＣＵがＡＭＶＰモードにある場合のオリジナルのＡＭＶＰ候補、（２）すべてのマージ候補、（３）補間されたＭＶフィールド（後述）のいくつかのＭＶ、および／または（４）上部および左側の隣接する動きベクトルが含まれる。
バイラテラルマッチングを使用する場合、マージ候補の各有効ＭＶは、バイラテラルマッチングの仮定の下にＭＶペアを生成するための入力として使用することができる。例えば、マージ候補の有効なＭＶの１つは参照リストＡの（ＭＶａ，ｒｅｆａ）である。そのペア化されたバイラテラルＭＶの参照ピクチャリファレンスｒｅｆｂは、ｒｅｆａとｒｅｆｂが時間的に現在のピクチャの異なる側にあるように、他の参照リストＢに見つかる。参照リストＢにそのようなｒｅｆｂがない場合、ｒｅｆｂはｒｅｆａとは異なる参照として決定され、現在のピクチャとの時間的距離は、リストＢの最小のものである。ｒｅｆｂが決定された後、現在のピクチャとｒｅｆａ、ｒｅｆｂとの時間的距離に基づいてＭＶａをスケーリングすることによってＭＶｂが導出される。
いくつかの実装では、補間されたＭＶフィールドからの４つのＭＶをＣＵレベル候補リストに加えられることができる。より具体的には、現在のＣＵの位置（０、０）、（Ｗ／２、０）、（０、Ｈ／２）および（Ｗ／２、Ｈ／２）に補間されたＭＶが追加される。ＡＭＶＰモードでＦＲＵＣを適用すると、ＣＵレベルのＭＶ候補セットに元のＡＭＶＰ候補も追加される。一部の実装では、ＣＵレベルで、ＡＭＶＰ ＣＵの場合は１５ＭＶ、マージＣＵの場合は１３ＭＶを候補リストに追加できる。
サブＣＵレベルで設定されたＭＶ候補は、ＣＵレベルのサーチから決定されたＭＶ、（２）上、左、左上、及び右上の隣接するＭＶ、（３）参照ピクチャからのコロケーションされたＭＶのスケーリングされたバージョン、（４）１以上のＡＴＭＶＰ候補（例えば４つまで）、および／または（５）１以上のＳＴＭＶＰ候補（例えば４つまで）を含む。参照ピクチャからのスケーリングされたＭＶは以下のように導出される。両方のリストにある参照ピクチャを横断する。参照ピクチャのサブＣＵのコロケーション位置（ｃｏｌｌｏｃａｔｅｄ ｐｏｓｉｔｉｏｎ）のＭＶは、開始ＣＵレベルＭＶを参照してスケーリングされる。ＡＴＭＶＰおよびＳＴＭＶＰ候補は、４つの最初の候補とすることができる。サブＣＵレベルでは、一以上のＭＶ（例えば、１７まで）が候補リストに追加される。
フレームをコーディングする前に、補間された動き場が、片側（ｕｎｉｌａｔｅｒａｌ）ＭＥに基づいて全体ピクチャに対して生成される。その後、動きフィールドは、後にＣＵレベルまたはサブＣＵレベルＭＶ候補として使用されることがある。
いくつかの実施態様において、両方の参照リストにおける各参照ピクチャの動き場を、４×４ブロックレベルで横断する。図９は、ＦＲＵＣ法における片側動き推定（ＭＥ）９００の例を示す。４×４ブロックごとに、ブロックに関連する動きが現在のピクチャの４×４ブロックを通り、そのブロックは補間されたどの動きにも割り当てられていない場合、参照ブロックの動きは時間距離ＴＤ０とＴＤ１（ＨＥＶＣにおけるＴＭＶＰのＭＶスケーリングと同様）に従って現在のピクチャにスケーリングされ、スケーリングされた動きは現在のフレームのブロックに割り当てられる。４×４ブロックにスケーリングされたＭＶが割り当てられていない場合は、そのブロックの動きは、補間された動き場では使用不可としてマークされる。
動きベクトルが端数サンプル位置を指すとき、動き補償補間が必要である。複雑さを減らすために、通常の８タップＨＥＶＣ補間の代わりに双線形補間を、バイラテラルマッチングとテンプレートマッチングの両方に使用することができる。
マッチングコストの計算は、異なるステップで少しずつ異なる。ＣＵレベルで候補セットから候補を選択するとき、マッチングコストは、バイラテラルマッチングまたはテンプレートマッチングの絶対和差（ＳＡＤ）であり得る。開始ＭＶが決定された後、サブＣＵレベルサーチにおけるバイラテラルマッチングのマッチングコストＣは、以下のように計算される：
Figure 0007361842000004
ここで、ｗは重み係数である。いくつかの実施形態において、ｗは経験的に４に設定することができる。ＭＶおよびＭＶＳは、それぞれ現在のＭＶおよび開始ＭＶを示す。ＳＡＤは、サブＣＵレベルサーチにおけるテンプレートマッチングのマッチングコストとして依然として使用され得る。
ＦＲＵＣモードでは、ＭＶはルミナンスサンプルのみを使用して導出される。導出された動きは、ＭＣ間予測のためのルミナンス（ｌｕｍａ）とクロミナンス（ｃｈｒｏｍａ）の両方に使用される。ＭＶが決定された後、ルミナンス用の８タップ補間フィルタとクロミナンス用の４タップ補間フィルタを使用して最終ＭＣを実行する。
ＭＶ精緻化は、バイラテラルマッチングコストまたはテンプレートマッチングコストを基準としてパターンベースのＭＶサーチである。ＪＥＭでは、２つのサーチパターンがサポートされている。それぞれＣＵレベルとサブＣＵレベルのＭＶ精緻化のための無制限中心バイアスダイヤモンドサーチ（ＵＣＢＤＳ）と適応クロスサーチである。ＣＵレベルとサブＣＵレベルのＭＶ精緻化の両方について、ＭＶは１／４ルミナンスサンプルＭＶ精度で直接サーチされ、続いて１／８ルミナンスサンプルＭＶ精緻化が行われる。ＣＵおよびサブＣＵステップのＭＶ精緻化のサーチ範囲は、８ルミナンスサンプルに設定される。
バイラテラルマッチングマージモードでは、ＣＵの動き情報が、２つの異なる参照ピクチャにおける現在のＣＵの動き軌跡に沿った２つのブロック間の最も近いマッチに基づいて導出されるので、双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が適用される。テンプレートマッチングマージモードでは、エンコーダは、ｌｉｓｔ０からの単予測（ｕｎｉ－ｐｒｅｄｉｃｔｉｏｎ）、ｌｉｓｔ１からの単予測、またはＣＵに対する双予測の中から選択することができる。選択は、次のようにテンプレートマッチングコストに基づいて行うことができる
ＩＦ ｃｏｓｔＢｉ ＜＝ ｆａｃｔｏｒ ＊ ｍｉｎ（ｃｏｓｔ０，ｃｏｓｔ１）
双予測を用いる；
Ｏｔｈｅｒｗｉｓｅ， ｉｆ ｃｏｓｔ０ ＜＝ ｃｏｓｔ１
ｌｉｓｔ０からの単予測を用いる；
Ｏｔｈｅｒｗｉｓｅ，
ｌｉｓｔ１からの単予測を用いる；
ここで、ｃｏｓｔ０はｌｉｓｔ０テンプレートマッチングのＳＡＤ、ｃｏｓｔ１はｌｉｓｔ１テンプレートマッチングのＳＡＤ、ｃｏｓｔＢｉは双予測テンプレートマッチングのＳＡＤである。例えば、係数の値が１．２５に等しい場合、それは選択プロセスが双予測に偏っていることを意味する。予測間方向選択（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｄｉｒｅｃｔｉｏｎ ｓｅｌｅｃｔｉｏｎ）を、ＣＵレベルテンプレートマッチングプロセスに適用することができる。
人間の視覚系は、輝度よりも色の位置や動きに敏感ではない。したがって、カラーディテールよりも多くの輝度ディテールを保存することによって帯域幅を最適化することができる。ビデオシステムでは、これは、色差成分を使用することによって達成される。信号はルミナンス（Ｙ’）成分と２つの色差（クロミナンス）成分に分けられる。クロマサブサンプリングは、ルミナンス情報よりもクロマ情報の解像度を低く実装することによって画像を符号化する方法であり、ヒト視覚系においてはルミナンスよりも色差の方が視力が低いことを利用するものである。例えば、一般的なサブサンプリングのタイプには、４：２：２（２つのクロマ成分がルミナンスのサンプルレートの半分でサンプリングされる）、４：１：１（水平方向のカラー解像度が四分の１にされる）、および４：２：０（４：１：１と比較して垂直方向の解像度が半分になる。これは、ＣｂチャネルとＣｒチャネルがそれぞれの交代ラインでのみサンプリングされるためである）がある。一例では、ＨＥＶＣ標準は、クロマ成分（ｍｖＣとして記す）内のＭＣに使用されたＭＶを、ルマ成分（ｍｖとして記す）内のＭＣに使用されるＭＶから導出する方法を規定する。一般に、ｍｖＣは、４：２：０または４：２：２のようなカラーフォーマットに依存する係数をかけたｍｖとして計算される。
現在ピクチャ参照（ｃｕｒｒｅｎｔ ｐｉｃｔｕｒｅ ｒｅｆｅｒｅｎｃｉｎｇ：ＣＰＲ）とも呼ばれるブロック内コピー（ＩＢＣ、またはピクチャブロック内補償）がＨＥＶＣスクリーンコンテンツコーディング拡張（ＳＣＣ）で採用された。このツールは、テキストとグラフィックスが豊富なコンテンツの繰り返しパターンが同一ピクチャ内で頻繁に発生するという点で、スクリーンコンテンツビデオのコーディングに非常に有効である。予測器として同一または類似のパターンを有する以前に再構成されたブロックを有することは、予測誤差を効果的に低減でき、従ってコーディング効率を改善できる。
ＨＥＶＣ ＳＣＣにおけるＣＲＰの設計と同様に、ＶＶＣにおいては、ＩＢＣモードの使用は、シーケンスおよびピクチャレベルの両方でシグナリングされる。ＩＢＣモードは、シーケンスパラメータセット（ＳＰＳ）で有効にされると、ピクチャレベルで有効にすることができる。ＩＢＣモードは、ピクチャレベルで有効にされると、現在の再構成されたピクチャは参照ピクチャとして扱われる。したがって、ＩＢＣモードの使用をシグナリングする既存のＶＶＣインターモードに対して、ブロックレベルの構文変更は必要ない。
ＩＢＣモードの特徴は以下の通りである：
○通常のインターモードとして扱われる。そのため、マージモードとスキップモードはＩＢＣモードでも使用できる。マージ候補リスト構成は統一され、ＩＢＣモードまたはＨＥＶＣインターモードのいずれかでコーディングされた隣接位置からのマージ候補を含む。選択されたマージインデックスに応じて、マージモードまたはスキップモードの現在のブロックは、ＩＢＣモードモード復号化された隣接ブロック、または、参照ピクチャとして異なるピクチャを有する通常のインターモードコーディングされたブロックのいずれかにマージできる。
○ＩＢＣモードのブロックベクトル予測およびコーディング方式は、ＨＥＶＣインターモード（ＡＭＶＰおよびＭＶＤコーディング）における動きベクトル予測およびコーディングに使用される方式を再利用する。
○ブロックベクトルとも呼ばれるＩＢＣモードの動きベクトルは整数ピクセル精度でコーディングされるが、補間および逆ブロック化（ｄｅｂｌｏｃｋｉｎｇ）段階で１／４ピクセル精度が要求されるので、復号後に１／１６ピクセル精度でメモリに保存される。ＩＢＣモードの動きベクトル予測で使用される場合、保存されたベクトル予測子は４だけ右シフトされる。
○サーチ範囲：現在のＣＴＵ内に制限される。
○アフィンモード／三角モード／ＧＢＩ／重み付き予測が有効になっている場合は、ＣＰＲを禁止される。
場合によっては、現在のマージ候補リスト内のあらかじめ定めた候補ペアを平均することによってペア別平均候補が生成され、あらかじめ定めたペアは｛（０，１）、（０，２）、（１，２）、（０，３）、（１，３）、（２，３）｝として定められる。ここで、数字はマージ候補リストへのマージインデックスを表す。平均化された動きベクトルは、各参照リストに対して別々に計算される。両方の動きベクトルが１つのリストにある場合、これらの２つの動きベクトルは、それらが異なる参照ピクチャを指している場合であっても平均される。１つの動きベクトルしか無い場合は、その１つの動きベクトルを直接使用し、動きベクトルがない場合は、このリストを無効のままにする。ペア平均候補は、ＨＥＶＣ標準の組み合わせ候補に取って代わる。２つのマージ候補のＭＶがＭＶ０＝（ＭＶ０ｘ，ＭＶ０ｙ）、ＭＶ１＝（ＭＶ１ｘ，ＭＶ１ｙ）であるとすると、ＭＶ＊＝（ＭＶ＊ ｘ，ＭＶ＊ ｙ）と表されるペアのマージ候補のＭＶは以下のように導出される：
ＭＶ＊ ｘ＝（ＭＶ０ｘ＋ＭＶ１ｘ）／２、及び
ＭＶ＊ ｙ＝（ＭＶ０ｙ＋ＭＶ１ｙ）／２
また、ＭＶ０、ＭＶ１が現在のピクチャを参照している場合（すなわち、ＣＰＲモード）、ＭＶ＊ ｘ、ＭＶ＊ ｙはさらに丸められ、フルピクセルよりも高い精度の部分を取り除き、整数ＭＶが得られるようにする：
ＭＶ＊ ｘ＝（ＭＶ＊ ｘ／１６）＜＜４、及び
ＭＶ＊ ｙ＝（ＭＶ＊ ｙ／１６）＜＜４。
留意点として、各ペアについて、２つのうちの一方がＣＰＲコーディングされ、もう一方がＣＰＲコーディングされていない場合、そのようなペアはペア平均候補となることができない。
三角形予測モード（ＴＰＭ）の概念は、動き補償予測のための新しい三角形パーティションを導入することである。ＴＰＭは、ＣＵを対角方向または逆対角方向の２つの三角形予測ユニットに分割する。ＣＵの各三角予測ユニットは、単一の単予測候補リストから導出された独自の単予測動きベクトルと参照フレームインデックスとを用いて相互予測（ｉｎｔｅｒ－ｐｒｅｄｉｃｔｅｄ）される。三角形予測ユニットを予測した後、対角線エッジに対して適応的重み付けプロセスを実行する。次に、変換と量子化プロセスをＣＵ全体に適用する。留意点として、このモードはマージモードにのみ適用される（注：スキップモードは特別なマージモードとして扱われる）。
ＴＰＭの単予測候補リスト
ＴＰＭ動き候補リストと名付けた単予測候補リストは、５つの単予測動きベクトル候補から構成される。これは、５つの空間的隣接ブロックと２つの時間的コロケーション（ｃｏ－ｌｏｃａｔｅｄ）ブロックを含む７つの隣接ブロックから導出される。７つの隣接ブロックの動きベクトルを収集し、単予測候補リストに、単予測動きベクトル、双予測動きベクトルのＬ０動きベクトル、双予測動きベクトルのＬ１動きベクトル、および双予測動きベクトルのＬ０動きベクトルとＬ１動きベクトルの平均化された動きベクトルの順に入れる。候補の数が５未満の場合、動きベクトルはリストに追加されない。ＴＰＭのためにこのリストに追加された動き候補はＴＰＭ候補と呼ばれ、空間的／時間的ブロックから導出された動き情報はレギュラー動き候補と呼ばれる。
具体的には、以下のステップが含まれる：
（１） 剪定操作を行わずに、（レギュラーマージモードと同様に）Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２，Ｃｏｌ，Ｃｏｌ２から、レギュラー動き候補を取得する。
（２）変数ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄ＝０と設定
（３）Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２，Ｃｏｌ，Ｃｏｌ２と、５未満のｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄから導出された各レギュラー動き候補について、正規動き候補が単予測（Ｌｉｓｔ０またはＬｉｓｔ１のいずれか）である場合、ＴＰＭ候補としてマージリストに直接追加し、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄを１増加させる。このようなＴＰＭ候補は、「オリジナル単予測候補（ｏｒｉｇｉｎａｌｌｙ ｕｎｉ－ｐｒｅｄｉｃｔｅｄ ｃａｎｄｉｄａｔｅ）」と呼ぶ。
完全な剪定（ｐｒｕｎｉｎｇ）を適用する。
（４）Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、Ｃｏｌ２及び５未満のｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄから導出された各動き候補は、正規動き候補が双予測である場合、Ｌｉｓｔ０からの動き情報が、新しいＴＰＭ候補としてＴＰＭマージリスト（すなわち、Ｌｉｓｔ０からの単予測に修正）に追加され、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが１増加される。このようなＴＰＭ候補は「剪定Ｌｉｓｔ０－予測候補」と命名される。
完全な剪定が適用される。
（５）Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、Ｃｏｌ２から導出された、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５未満である各動き候補に対し、レギュラー動き候補が双予測である場合、Ｌｉｓｔ１からの動き情報がＴＰＭマージリストに追加され（すなわち、Ｌｉｓｔ１からの単予測に修正され）、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが１増加される。このようなＴＰＭ候補は「剪定Ｌｉｓｔ１－予測候補」と呼ばれる。
完全な剪定が適用される。
（６）Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、Ｃｏｌ２から導出された、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５未満である各動き候補について、レギュラー動き候補が双予測である場合、Ｌｉｓｔ１の動き情報は最初にＬｉｓｔ０の参照ピクチャにスケーリングされ、２つのＭＶ（一方は元のＬｉｓｔ０から、他方はＬｉｓｔ１からスケーリングされたＭＶ）の平均をＴＰＭマージリストに加算する。そのような候補をＬｉｓｔ０の動き候補からの平均単予測と呼び、ｎｕｍＣｕｒｒｇｅＭｅｒＣａｎｄを１だけ増加させる。
完全な剪定が適用される。
（７）ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５未満の場合、ゼロ動きベクトル候補が追加される。
候補をリストに挿入する際に、その候補が以前に追加された候補のうちの１つと同一であるかどうかを確認するために、その候補が以前に追加されたすべての候補と比較されなければならない場合、そのプロセスは完全剪定（ｆｕｌｌ ｐｒｕｎｉｎｇ）と呼ばれる。
スケール化されたＭＶを（ＭＶ１’ｘ，ＭＶ１’ｙ）で表し、リスト０のＭＶを（ＭＶ０ｘ，ＭＶ０ｙ）で表すと仮定する。（ＭＶ＊ ｘ，ＭＶ＊ ｙ）で示されるＬｉｓｔ０動き候補からの平均単予測は、次のように定義される：
ＭＶ＊ ｘ＝（ＭＶ０ｘ＋ＭＶ１’ｘ＋１）＞＞１
ＭＶ＊ ｙ＝（ＭＶ０ｙ＋ＭＶ１’ｙ＋１）＞＞１。
ＪＥＭにおけるアフィン予測のようないくつかの既存の実装では、各成分について独立して式（１）に示されるように、各サブブロックのＭＶがアフィンモデルを用いて計算され、これはルミナンス成分とクロミナンス成分との間の動きベクトルの位置ずれを生じさせる可能性がある。複数の成分の計算もまた、コーディングの非効率性をもたらす。いくつかの他の既存の実装では、Ｌｉｓｔ０動き候補からペアマージ候補／平均化単予測を導出するための動きベクトル平均化演算は、サブブロック予測で使用される丸め方法と整合する必要がある。したがって、統一された設計を取得することが望ましい。
本特許文献は、別の成分（例えばルミナンス成分）の一以上のサブブロックのＭＶから、１つの成分（例えばクロマ成分）のサブブロックのＭＶを計算する様々な実施形態で実施することができる技術を開示している。開示された技術は、異なる成分のＭＶを複数回決定する必要性を排除し、それによって、ビデオコーディング効率を改善する。また、開示の技術は、平均化演算および丸め方法に関して統一された設計を導入する。
そのような技術の使用は、種々の実施例について説明される以下の実施例において明らかになる。以下の例では、限定的に解釈してはならないが、Ｓｈｉｆｔ（ｘ，ｓ）はＳｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）＞＞ｓと定義される。
ＳｉｇｎＳｈｉｆｔ（ｘ，ｓ）は以下のように定義される：
Figure 0007361842000005
ここで、ｏｆｆは整数、例えば０または１＜＜（ｓ－１）である。
いくつかの実施形態において、１つの成分のサブブロックのＭＶは、別の成分の１以上のサブブロックのＭＶに基づいて導出することができる。ここで、別の成分の一以上のサブブロックのＭＶは、アフィンモデルで既に導出されている。このようにして、動き情報を複数導出する必要はない。
いくつかの実施形態では、ＨＥＶＣ標準は、ルミナンス成分（ｍｖと示される）中のＭＣのために使用されるＭＶから、クロミナンス成分（ｍｖＣと示される）中のＭＶを導出する方法を定める。一般に、ｍｖＣは、４：２：０または４：２：２のようなカラーフォーマットに依存する係数をｍｖに乗算することで計算される。図１０は、本技術に係るサブブロックの成分のＭＶを４：２：０フォーマットで導出する例を示す。この例では、ブロックサイズはＹ（ルミナンス成分）で１６×１６、Ｃｂ／Ｃｒ（クロミナンス成分）で８×８である。ルミナンス成分のサブブロックサイズは４×４であり、クロミナンス成分のサブブロックサイズは２×２である。ＭＶ＊は最初にＹ成分中の４×４サブブロックに対して導出される。Ｃｂおよび／またはＣｒ成分中の２×２サブブロックのＭＶは、ＭＶ＊に基づいて導出することができる。この特定の例では、ＭＶ＊の値が最初にコピーされ、Ｃｂおよび／またはＣｒ成分中の２×２サブブロックのＭＶは、ＨＥＶＣ標準に従ってＭＶ＊に基づいて計算される。
図１１は、本技術に従った、４：２：０フォーマットにおいてサブブロックの成分のＭＶを導出する別の例を示す。この例では、ブロックサイズはルミナンス成分で１６×１６、クロミナンス成分で８×８である。すべての成分のサブブロックサイズは４×４である。ＣｂまたはＣｒ成分の４×４サブブロックは、Ｙ成分の４×４サブブロックに対応する。ルミナンス成分のＭＶ＊が最初に計算される。次に、ＣｂまたはＣｒ成分中の４×４サブブロックのＭＶが、ＨＥＶＣ標準に従ってＭＶ＊に基づいて導出される。
いくつかの実施形態では、ＭＶ＊は、Ｙ成分中の全ての対応するサブブロックＭＶの平均として計算される：ＭＶ＊＝（ＭＶ０＋ＭＶ１＋ＭＶ２＋ＭＶ３）／４。ＭＶ＊＝（ＭＶ＊ ｘ、ＭＶ＊ ｙ）、ＭＶ０＝（ＭＶ０ｘ、ＭＶ０ｙ）、ＭＶ１＝（ＭＶ１ｘ、ＭＶ１ｙ）、ＭＶ２＝（ＭＶ２ｘ、ＭＶ２ｙ）、ＭＶ３＝（ＭＶ３ｘ、ＭＶ３ｙ）とする。
いくつかの実施形態では、ＭＶ＊ ｘ＝Ｓｈｉｆｔ（ＭＶ０ｘ＋ＭＶ１ｘ＋ＭＶ２ｘ＋ＭＶ３ｘ，２）、ＭＶ＊ｙ＝Ｓｈｉｆｔ（ＭＶ０ｙ＋ＭＶ１ｙ＋ＭＶ２ｙ＋ＭＶ３ｙ，２）である。いくつかの実施形態では、ＭＶ＊ ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ０ｘ＋ＭＶ１ｘ＋ＭＶ２ｘ＋ＭＶ３ｘ，２）、ＭＶ＊ ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ０ｙ＋ＭＶ１ｙ＋ＭＶ２ｙ＋ＭＶ３ｙ，２）である。
いくつかの実施形態では、ＭＶ＊の計算は、以下の演算を使用して行うことができる：
１．ａ ＭＶ’ｘ＝Ｓｈｉｆｔ（ＭＶ０ｘ＋ＭＶ１ｘ，１）
１．ｂ ＭＶ’ｙ＝Ｓｈｉｆｔ（ＭＶ０ｙ＋ＭＶ１ｙ，１）、
１．ｃ ＭＶ’’ｘ＝Ｓｈｉｆｔ（ＭＶ２ｘ＋ＭＶ３ｘ，１），
１．ｄ ＭＶ’’ｙ＝Ｓｈｉｆｔ（ＭＶ２ｙ＋ＭＶ３ｙ，１）
１．ｅ ＭＶ＊ ｘ ＝Ｓｈｉｆｔ（ＭＶ’ｘ＋ＭＶ’’ｘ，１）、
１．ｆ ＭＶ＊ ｙ ＝Ｓｈｉｆｔ（ＭＶ’ｙ＋ＭＶ’’ｙ，１）
いくつかの実施形態では、ＭＶ＊の計算は、以下の演算を使用して行うことができる：
２．ａ ＭＶ’ｘ＝Ｓｈｉｆｔ（ＭＶ０ｘ＋ＭＶ２ｘ，１）
２．ｂ ＭＶ’ｙ＝Ｓｈｉｆｔ（ＭＶ０ｙ＋ＭＶ２ｙ，１）
２．ｃ ＭＶ’’ｘ＝Ｓｈｉｆｔ（ＭＶ１ｘ＋ＭＶ３ｘ，１）
２．ｄ ＭＶ’’ｙ＝Ｓｈｉｆｔ（ＭＶ１ｙ＋ＭＶ３ｙ，１）
２．ｅ ＭＶ＊ ｘ ＝Ｓｈｉｆｔ（ＭＶ’ｘ＋ＭＶ’’ｘ，１）、
２．ｆ ＭＶ＊ ｙ ＝Ｓｈｉｆｔ（ＭＶ’ｙ＋ＭＶ’’ｙ，１）
いくつかの実施形態において、ＭＶ＊の計算は、以下の演算を使用して行うことができる：
３．ａ ＭＶ’ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ０ｘ＋ＭＶ１ｘ，１）
３．ｂ ＭＶ’ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ０ｙ＋ＭＶ１ｙ，１）
３．ｃ ＭＶ’’ｘ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ２ｘ＋ＭＶ３ｘ，１）
３．ｄ ＭＶ’’ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ２ｙ＋ＭＶ３ｙ，１），
３．ｅ ＭＶ＊ ｘ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ’ｘ＋ＭＶ’’ｘ，１）
３．ｆ ＭＶ＊ ｙ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ’ｙ＋ＭＶ’’ｙ，１）。
いくつかの実施形態において、ＭＶ＊の計算は、以下の演算を使用して行うことができる：
４．ａ ＭＶ’ｘ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ０ｘ＋ＭＶ２ｘ，１）
４．ｂ ＭＶ’ｙ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ０ｙ＋ＭＶ２ｙ，１）
４．ｃ ＭＶ’’ｘ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ１ｘ＋ＭＶ３ｘ，１）
４．ｄ ＭＶ’’ｙ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ１ｙ＋ＭＶ３ｙ，１）
４．ｅ ＭＶ＊ ｘ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ’ｘ＋ＭＶ’’ｘ，１）
４．ｆ ＭＶ＊ ｙ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ’ｙ＋ＭＶ’’ｙ，１）。
いくつかの実施態様において、ＭＶ＊は、Ｙ成分中の左上サブブロックのＭＶ（例えば、図１１に示されるようなＭＶ０）に基づいて計算される。いくつかの実施態様において、ＭＶ＊は、Ｙ成分における中心サブブロックのＭＶに基づいて計算される。いくつかの実施態様において、ＭＶ＊は、Ｙ成分中の全ての対応するサブブロックの中央値ＭＶに基づいて計算される。図１１に示すこの特定の例では、ＭＶ＊＝ｍｅｄｉａｎ（ＭＶ０、ＭＶ１、ＭＶ２、ＭＶ３）である。
いくつかの実施形態では、色成分のサブブロックのＭＶの導出は、４：２：０、４：２：２および／または４：４：４などの色フォーマットに基づいて決定することができる。例えば、色フォーマットが４：４：４の場合、サブサンプリングは行われない。ビデオデータのブロック内のサブブロックサイズとサブブロック数は、すべての成分で同じである。ある成分のサブブロックのＭＶは、別の成分の対応するサブブロックのＭＶと同じである。
別の例として、カラーフォーマットが４：２：２の場合、サブブロックのサイズは、すべての成分について同じにしてもよく、一方、ブロックの数は、成分が異なれば異なってもよい。ルミナンス成分のＭＶ＊は、まずいくつかの対応するサブブロックのＭＶに基づいて計算される。次いで、ＣｂまたはＣｒ成分中の対応するサブブロックのＭＶ（ｓ）をＭＶ＊から導出する。
図１２は、本技術によるサブブロックの成分のＭＶを導出するさらに別の例を示す。この例では、ブロックサイズはルミナンス成分で１６×１６、クロミナンス成分で８×１６である。すべての成分のサブブロックサイズは４×４である。ＣｂまたはＣｒ成分の４×４サブブロックは、Ｙ成分の２つの４×４サブブロックに相当する。ルミナンス成分のＭＶ＊をまず計算する。次に、ＣｂまたはＣｒ成分中の４×４サブブロックのＭＶを、ＨＥＶＣ標準に従ってＭＶ＊に基づいて導出する。
いくつかの実施態様において、ＭＶ＊は、Ｙ成分中の全ての対応するサブブロックＭＶの平均として計算される：ＭＶ＊＝（ＭＶ０＋ＭＶ１）／２。ＭＶ＊＝（ＭＶ＊ ｘ、ＭＶ＊ ｙ）、ＭＶ０＝（ＭＶ０ｘ、ＭＶ０ｙ）、ＭＶ１＝（ＭＶ１ｘ、ＭＶ１ｙ）とする。
いくつかの実施態様において、ＭＶ＊ ｘ＝Ｓｈｉｆｔ（ＭＶ０ｘ＋ＭＶ１ｘ，１）、ＭＶ＊ ｙ＝Ｓｈｉｆｔ（ＭＶ０ｙ＋ＭＶ１ｙ，１）である。いくつかの実施態様において、ＭＶ＊ ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ０ｘ＋ＭＶ１ｘ，１）、ＭＶ＊ ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ０ｙ＋ＭＶ１ｙ，１）である。
図１３は、本技術の一以上の実施形態によるビデオ符号化のための例示的方法１３００のフローチャートである。方法１３００は、動作１３１０において、現在のビデオブロックの第１の成分を第１サブブロックセットに分割することを含む。方法１３００は、動作１３２０において、現在のビデオブロックの第２の成分を第２サブブロックセットに分割することを含む。第２の成分のサブブロックは、第１の成分の一以上のサブブロックに対応する。また、方法１３００は、動作１３３０において、現在のビデオブロックのカラーフォーマットに基づいて、第２の成分のサブブロックの動きベクトルを、第１のカラー成分の一以上の対応するサブブロックの動きベクトルに基づいて導出することを含む。
図１４は、本技術の一以上の実施形態によるビデオ符号化のための別の例示的方法１４００のフローチャートである。方法１４００は、動作１４１０において、第１の成分および少なくとも第２の成分を含むビデオデータのブロックを受信することを含む。第１の成分は、第１サブブロックセットに分割され、第２の成分は、第２サブブロックセットに分割される。第２の成分のサブブロックは、第１の成分の一以上のサブブロックに対応する。方法１４００は、動作１４２０において、ビデオデータのブロックのカラーフォーマットに基づいて、第２の成分のサブブロックの動きベクトルを、第１のカラー成分の一以上の対応するサブブロックの動きベクトルに基づいて導出することを含む。方法１４００は、動作１４３０において、導出された動きベクトルに基づいて、ビデオデータのブロックを再構成するか、または同じピクチャ内のビデオデータの他のブロックを復号することを含む。
いくつかの実施態様において、第２の成分のサブブロックは、第１の成分のサブブロックに対応する。例えば、これらの２つのサブブロックは、ピクチャ内で空間的にコロケーション（ｃｏ－ｌｏｃａｔｅｄ）されてもよい。方法１３００または１４００は、さらに、第１の成分のサブブロックの動きベクトルをコピーすることにより、中間動きベクトルセットを計算し、中間動きベクトルセットに係数を適用して、導出された動きベクトルを取得することを含む。前記係数は、カラーフォーマットに関連付けられる。
いくつかの実施態様において、カラーフォーマットは、４：４：４ではなく（例えば、４：２：２又は４：２：０であり）、第１サブブロックセットのうちの少なくとも１つのサブブロックのサイズは、第２サブブロックセットのうちの少なくとも１つのサブブロックのサイズとは異なる。いくつかの実施態様において、カラーフォーマットは、４：４：４であり、第１サブブロックセットのうちの少なくとも１つのサブブロックのサイズは、第２サブブロックセットのうちの少なくとも１つのサブブロックのサイズと同じである。
いくつかの実施態様において、カラーフォーマットは、４：４：４ではなく、第１サブブロックセットのうちの少なくとも１つのサブブロックのサイズは、第２サブブロックセットのうちの少なくとも１つのサブブロックのサイズと同一である。第２の成分のサブブロックは、第１の成分の複数のサブブロックに対応する。いくつかの実施態様において、第２の成分のサブブロックの動きベクトルのうちの少なくとも１つは、第１の成分の複数のサブブロックの対応する動きベクトルの平均に基づいて導出される。
いくつかの実装では、第２の成分のサブブロックは、第１の成分の４つのサブブロックに対応する。４つのサブブロックは、それぞれ、動きベクトルＭＶ０＝（ＭＶ０ｘ、ＭＶ０ｙ）、ＭＶ１＝（ＭＶ１ｘ、ＭＶ１ｙ）、ＭＶ２＝（ＭＶ２ｘ、ＭＶ２ｙ）およびＭＶ３＝（ＭＶ３ｘ、ＭＶ３ｙ）を有する。方法１３００または１４００は、中間動きベクトルセットＭＶ＊＝（ＭＶ＊ ｘ、ＭＶ＊ ｙ）を、ＭＶ＊ ｘ＝Ｓｈｉｆｔ（ＭＶ０ｘ＋ＭＶ１ｘ＋ＭＶ２ｘ＋ＭＶ３ｘ，２）及びＭＶ＊ ｙ＝Ｓｈｉｆｔ（ＭＶｙ０＋ＭＶｙ１＋ＭＶｙ２＋ＭＶｙ３，２）として計算するステップを含む。Ｓｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）≫ｓであり、ｏｆｆおよびｓは整数であり、＞＞は右シフト演算を表す。また、方法１３００または１４００は、中間動きベクトルセットに係数を適用して、導出された動きベクトルを取得することを含み、前記係数は、カラーフォーマットに関連付けられる。
いくつかの実装では、第２の成分のサブブロックは、第１の成分の４つのサブブロックに対応する。４つのサブブロックは、それぞれ、動きベクトルＭＶ０＝（ＭＶ０ｘ、ＭＶ０ｙ）、ＭＶ１＝（ＭＶ１ｘ、ＭＶ１ｙ）、ＭＶ２＝（ＭＶ２ｘ、ＭＶ２ｙ）およびＭＶ３＝（ＭＶ３ｘ、ＭＶ３ｙ）を有する。方法１３００または１４００は、中間動きベクトルセットＭＶ＊＝（ＭＶ＊ ｘ、ＭＶ＊ ｙ）をＭＶ＊ ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ０ｘ＋ＭＶ１ｘ＋ＭＶ２ｘ＋ＭＶ３ｘ，２）及びＭＶ＊ ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ０ｙ＋ＭＶ１ｙ＋ＭＶ２ｙ＋ＭＶ３ｙ，２）として計算することを含む。ここで、ＳｉｇｎＳｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）≫ｓ（ｘ≧０のとき）または－（（－ｘ＋ｏｆｆ）≫ｓ）（ｘ＜０のとき）であり、ｏｆｆおよびｓは整数であり、＞＞はシフト演算を表す。また、方法１３００または１４００は、中間動きベクトルセットに係数を適用して、導出した動きベクトルを取得することを含み、前記係数は、カラーフォーマットに関連付けられる。
いくつかの実装では、第２の成分のサブブロックは、第１の成分の４つのサブブロックに対応する。４つのサブブロックは、それぞれ、動きベクトルＭＶ０＝（ＭＶ０ｘ、ＭＶ０ｙ）、ＭＶ１＝（ＭＶ１ｘ、ＭＶ１ｙ）、ＭＶ２＝（ＭＶ２ｘ、ＭＶ２ｙ）およびＭＶ３＝（ＭＶ３ｘ、ＭＶ３ｙ）を有する。方法１３００または１４００は、中間動きベクトルセットＭＶ＊＝（ＭＶ＊ ｘ、ＭＶ＊ ｙ）を、ＭＶ＊ ｘ＝Ｓｈｉｆｔ（ＭＶ’ｘ＋ＭＶ’’ｘ，１）及びＭＶ＊ ｙ＝Ｓｈｉｆｔ（ＭＶ’ｙ＋ＭＶ’’ｙ，１）として計算することを含み、ここでＭＶ’ｘ＝Ｓｈｉｆｔ（ＭＶ０ｘ＋ＭＶ１ｘ，１）、ＭＶ’ｙ＝Ｓｈｉｆｔ（ＭＶ０ｙ＋ＭＶ１ｙ，１）、ＭＶ’’ｘ＝Ｓｈｉｆｔ（ＭＶ２ｘ＋ＭＶ３ｘ，１）及びＭＶ’’ｙ＝Ｓｈｉｆｔ（ＭＶ２ｙ＋ＭＶ３ｙ，１）であり、Ｓｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）≫ｓであり、ｏｆｆおよびｓは整数であり、＞＞は右シフト演算を表す。また、方法１３００または１４００は、中間動きベクトルセットに係数を適用して、派生した動きベクトルを取得することを含み、前記係数は、カラーフォーマットに関連付けられる。
いくつかの実装では、第２の成分のサブブロックは、第１の成分の４つのサブブロックに対応する。４つのサブブロックは、それぞれ、動きベクトルＭＶ０＝（ＭＶ０ｘ、ＭＶ０ｙ）、ＭＶ１＝（ＭＶ１ｘ、ＭＶ１ｙ）、ＭＶ２＝（ＭＶ２ｘ、ＭＶ２ｙ）およびＭＶ３＝（ＭＶ３ｘ、ＭＶ３ｙ）を有する。方法１３００または１４００は、中間動きベクトルセットＭＶ＊＝（ＭＶ＊ ｘ、ＭＶ＊ ｙ）を、ＭＶ＊ ｘ＝Ｓｈｉｆｔ（ＭＶ’ｘ＋ＭＶ’’ｘ，１）、ＭＶ＊ ｙ＝Ｓｈｉｆｔ（ＭＶ’ｙ＋ＭＶ’’ｙ，１）、ＭＶ’ｘ＝Ｓｈｉｆｔ（ＭＶ０ｘ＋ＭＶ２ｘ，１）、ＭＶ’ｙ＝Ｓｈｉｆｔ（ＭＶ０ｙ＋ＭＶ２ｙ，１）、ＭＶ’’ｘ＝Ｓｈｉｆｔ（ＭＶ１ｘ＋ＭＶ３ｘ，１）、ＭＶ’’ｙ＝Ｓｈｉｆｔ（ＭＶ１ｙ＋ＭＶ３ｙ，１）として計算することを含み、Ｓｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）≫ｓであり、ｏｆｆおよびｓは整数であり、＞＞は右シフト演算を表す。また、方法１３００または１４００は、中間動きベクトルセットに係数を適用して、導出された動きベクトルを取得することを含み、前記係数はカラーフォーマットに関連付けられる。
いくつかの実装では、第２の成分のサブブロックは、第１の成分の４つのサブブロックに対応する。４つのサブブロックは、それぞれ、動きベクトルＭＶ０＝（ＭＶ０ｘ、ＭＶ０ｙ）、ＭＶ１＝（ＭＶ１ｘ、ＭＶ１ｙ）、ＭＶ２＝（ＭＶ２ｘ、ＭＶ２ｙ）およびＭＶ３＝（ＭＶ３ｘ、ＭＶ３ｙ）を有する。方法１３００または１４００は、中間動きベクトルセットＭＶ＊＝（ＭＶ＊ ｘ、ＭＶ＊ ｙ）を、ＭＶ＊ ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ’ｘ＋ＭＶ’’ｘ，１）、ＭＶ＊ ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ’ｙ＋ＭＶ’’ｙ，１）、ＭＶ’ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ０ｘ＋ＭＶ１ｘ，１）、ＭＶ’ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ０ｙ＋ＭＶ１ｙ，１）、ＭＶ’’ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ２ｘ＋ＭＶ３ｘ，１）、ＭＶ’’ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ２ｙ＋ＭＶ３ｙ，１）として計算することを含み、ＳｉｇｎＳｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）≫ｓ（ｘ≧０のとき）または－（（－ｘ＋ｏｆｆ）≫ｓ）（ｘ＜０のとき）であり、ｏｆｆおよびｓは整数であり、＞＞はシフト演算を表す。また、方法１３００または１４００は、中間動きベクトルセットに係数を適用して、導出された動きベクトルを取得することを含み、前記係数はカラーフォーマットに関連付けられる。
いくつかの実装では、第２の成分のサブブロックは、第１の成分の４つのサブブロックに対応する。４つのサブブロックは、それぞれ、動きベクトルＭＶ０＝（ＭＶ０ｘ、ＭＶ０ｙ）、ＭＶ１＝（ＭＶ１ｘ、ＭＶ１ｙ）、ＭＶ２＝（ＭＶ２ｘ、ＭＶ２ｙ）およびＭＶ３＝（ＭＶ３ｘ、ＭＶ３ｙ）を有する。方法１３００または１４００は、中間動きベクトルセットＭＶ＊＝（ＭＶ＊ ｘ、ＭＶ＊ ｙ）を、ＭＶ＊ ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ’ｘ＋ＭＶ’’ｘ，１）、ＭＶ＊ ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ’ｙ＋ＭＶ’’ｙ，１）、ＭＶ’ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ０ｘ＋ＭＶ２ｘ，１）、ＭＶ’ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ０ｙ＋ＭＶ２ｙ，１）、ＭＶ’’ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ１ｘ＋ＭＶ３ｘ，１）、ＭＶ’’ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ１ｙ＋ＭＶ３ｙ，１）として計算することを含み、ＳｉｇｎＳｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）≫ｓ（ｘ≧０のとき）または－（（－ｘ＋ｏｆｆ）≫ｓ）（ｘ＜０のとき）であり、ｏｆｆおよびｓは整数であり、＞＞はシフト演算を表す。また、方法１３００または１４００は、中間動きベクトルセットに係数を適用し、導出した動きベクトルを取得することを含み、前記係数はカラーフォーマットに関連付けられる。
いくつかの実装では、第２の成分のサブブロックは、第１の成分の２つのサブブロックに対応する。２つのサブブロックは、それぞれ、動きベクトルＭＶ０＝（ＭＶ０ｘ、ＭＶ０ｙ）およびＭＶ１＝（ＭＶ１ｘ、ＭＶ１ｙ）を有する。方法１３００または１４００は、中間動きベクトルセットＭＶ＊＝（ＭＶ＊ ｘ、ＭＶ＊ ｙ）を、ＭＶ＊ ｘ＝Ｓｈｉｆｔ（ＭＶ０ｘ＋ＭＶ１ｘ，１）及びＭＶ＊ ｙ＝Ｓｈｉｆｔ（ＭＶｙ０＋ＭＶｙ１，１）として計算することを含み、Ｓｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）≫ｓであり、ｏｆｆおよびｓは整数であり、＞＞は右シフト演算を表す。また、方法１３００または１４００は、中間動きベクトルセットに係数を適用して、導出した動きベクトルを取得することを含み、前記係数はカラーフォーマットに関連付けられる。
いくつかの実装では、第２の成分のサブブロックは、第１の成分の２つのサブブロックに対応する。２つのサブブロックは、それぞれ、動きベクトルＭＶ０＝（ＭＶ０ｘ、ＭＶ０ｙ）およびＭＶ１＝（ＭＶ１ｘ、ＭＶ１ｙ）を有する。
方法１３００または１４００は、中間動きベクトルセットＭＶ＊＝（ＭＶ＊ ｘ、ＭＶ＊ ｙ）をＭＶ＊ ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ０ｘ＋ＭＶ１ｘ，１）及びＭＶ＊ ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶｙ０＋ＭＶｙ１，１）として計算することを含み、ＳｉｇｎＳｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）≫ｓ（ｘ≧０のとき）又は－（（－ｘ＋ｏｆｆ）≫ｓ（ｘ＜０のとき）である。
ここで、ｏｆｆとｓは整数であり、＞＞はシフト演算を表す。また、方法１３００または１４００は、中間動きベクトルセットに係数を適用し、導出された動きベクトルを取得することを含み、前記係数はカラーフォーマットに関連付けられる。
いくつかの実施形態では、方法１３００または１４００は、さらに、第１の成分の複数のサブブロックのうちの選択されたサブブロックの動きベクトルに基づいて、中間動きベクトルセットを計算することと、前記中間動きベクトルセットに係数を適用して、導出された動きベクトルを取得することとを含む。係数はカラーフォーマットに関連付けられる。幾つかの実装形態では、選択されたサブブロックは、第１の成分の複数のサブブロックの左上サブブロックである。いくつかの実装では、選択されたサブブロックは、第１の成分の複数のサブブロックの中心サブブロックである。
いくつかの実施形態では、方法１３００または１４００は、第１の成分の複数のサブブロックの動きベクトルの中央値に基づいて中間動きベクトルセットを計算することと、中間動きベクトルセットに係数を適用して、導出された動きベクトルを取得することとを含み、前記係数はカラーフォーマットに関連付けられる。
いくつかの実施形態では、係数の適用は、高効率ビデオコーディング（ＨＥＶＣ）標準で規定されている。
上述の例は、ビデオデコーダおよび／またはビデオエンコーダで実装されてもよい、以下に述べる方法、例えば、方法１３００および１４００のコンテキストに組み込むことができる。
図１５は、本開示の技術の様々な部分（方法１３００および方法１４００を含むが、これらに限定されない）を実装するために利用可能な例示的符号化装置１５００を示すブロック図である。符号化装置１５００は、入力データビットを圧縮する量子化器１５０５を含む。符号化装置１５００はまた、データビットをメモリ１５２５に供給できるように逆量子化器１５１５と、動き予測をする予測器１５２０とを含む。符号化装置１５００は、さらに、符号化されたバイナリコードを生成するバイナリエンコーダ１５３０を含む。
図１６は、本開示の技術の様々な部分（方法１３００および方法１４００を含むが、これらに限定されない）を実装するために利用可能な例示的符号化装置１６００を示すブロック図である。復号装置１６００は、バイナリ符号を復号するバインダリデコーダ１６０５を含む。復号装置１６００はまた、復号されたデータビットをメモリ１６２５に供給するように逆量子化器１６１５と、復号側で動き推定を行う予測器１６２０とを含む。
図１７は、本開示の技術の様々な部分（方法１３００および方法１４００を含むが、これらに限定されない）を実装するために利用可能な、コンピュータシステムまたは他の制御装置１７００のアーキテクチャの一例を示すブロック図である。図１７において、コンピュータシステム１７００は、相互接続１７２５を介して接続された一以上のプロセッサ１７０５およびメモリ１７１０を含む。相互接続１７２５は、適切なブリッジ、アダプタ、またはコントローラによって接続された、任意の一以上の別個の物理バス、ポイントツーポイント接続、またはその両方を表すことができる。従って、相互接続１７２５は、例えば、システムバス、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）バス、ハイパートランスポートまたはｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ（ＩＳＡ）バス、ｓｍａｌｌ ｃｏｍｐｕｔｅｒ ｓｙｓｔｅｍ ｉｎｔｅｒｆａｃｅ（ＳＣＳＩ）バス、ユニバーサルシリアルバス（ＵＳＢ）、ＩＩＣ（Ｉ２Ｃ）バス、または「ファイアワイヤ」と呼ばれることもあるＩｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）標準６７４バスを含んでもよい。
プロセッサ１７０５は、例えばホストコンピュータの全体的な動作を制御する中央処理装置を含んでいてもよい。特定の実施形態では、プロセッサ１７０５は、メモリ１７１０に格納されたソフトウェアまたはファームウェアを実行することによって、これを達成する。プロセッサ１７０５は、一以上のプログラマブル汎用または専用マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルコントローラ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイスなど、またはこれらのデバイスの組み合わせであってもよく、またはこれらを含んでもよい。
メモリ１７１０は、コンピュータシステムのメインメモリであってもよく、またはそれを含むこともできる。メモリ１７１０は、ランダムアクセスメモリ、リードオンリーメモリ、フラッシュメモリなど、またはこれらの装置の組み合わせの任意の好適な形態を表す。使用において、メモリ１７１０は、特に、プロセッサ１７０５によって実行されると、プロセッサ１７０５に、本開示の技術の実施形態を実施する動作を実行させる一組の機械命令を含んでいてもよい。
また、相互接続１７２５を介してプロセッサ１７０５に接続されるのは、（オプションの）ネットワークアダプタ１７１５である。ネットワークアダプタ１７１５は、ストレージクライアントおよび／または他のストレージサーバなどのリモートデバイスと通信する能力をコンピュータシステム１７００に提供し、例えば、イーサネットアダプタまたはファイバチャネルアダプタであってもよい。
図１８は、本開示の技術の種々の部分（方法１６００を含むが、これに限定されない）を実装するために利用可能な、モバイル装置１８００の例示的実施形態のブロック図を示す。モバイル装置１８００は、ラップトップ、スマートフォン、タブレット、カムコーダ、またはビデオを処理可能な他の種類の装置であり得る。モバイル装置１８００は、データを処理するためのプロセッサまたはコントローラ１８０１と、データを格納および／またはバッファするための、プロセッサ１８０１と通信するメモリ１８０２とを含む。例えば、プロセッサ１８０１は、中央処理装置（ＣＰＵ）またはマイクロコントローラ装置（ＭＣＵ）を含むことができる。いくつかの実装では、プロセッサ１８０１はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むことができる。いくつかの実施態様では、移動装置１８００は、スマートフォン装置の種々の視覚的及び／又は通信データ処理機能のために、グラフィックス処理ユニット、ビデオ処理ユニット、及び／又は無線通信ユニットを含むか、又はそれらと通信している。例えば、メモリ１８０２は、プロセッサ１８０１によって実行されると、例えば情報、コマンド、および／またはデータの受信、処理情報およびデータの処理、および処理情報／データの他のデバイス、例えばアクチュエータまたは外部ディスプレイへの送信または提供などの種々の操作を実行するように、モバイルデバイス１８００を構成するプロセッサ実行可能コードを含み、記憶することができる。
移動装置１８００の種々の機能をサポートするために、メモリ１８０２は、命令、ソフトウェア、値、画像、およびプロセッサ１８０１によって処理または参照される他のデータなどの情報およびデータを格納することができる。例えば、種々のタイプのランダムアクセスメモリ（ＲＡＭ）デバイス、リードオンリーメモリ（ＲＯＭ）デバイス、フラッシュメモリデバイス、および他の適切な記憶媒体を使用して、メモリ１８０２の記憶機能を実現することができる。いくつかの実施態様では、モバイル装置１８００は、プロセッサ１８０１および／またはメモリ１８０２を他のモジュール、ユニットまたは装置にインターフェースする入出力（Ｉ／Ｏ）ユニット１８０３を含む。例えば、Ｉ／Ｏユニット１８０３は、プロセッサ１８０１およびメモリ１８０２をインタフェースして、例えばクラウド内の一以上のコンピュータとユーザ装置との間のような、典型的なデータ通信標準と互換性のある種々のタイプの無線インタフェースを利用することができる。いくつかの実施態様では、モバイル装置１８００は、入出力ユニット１８０３を介した有線接続を使用して、他の装置とインターフェースすることができる。モバイル装置１８００はまた、データ記憶装置および／またはビジュアルまたはオーディオ表示装置１８０４のような他の外部インターフェースとインターフェースして、プロセッサによって処理され得る、メモリに記憶され得る、または表示装置１８０４の出力ユニットまたは外部装置に表示され得るデータおよび情報を読み出しおよび転送することができる。例えば、表示装置１８０４は、ブロックが動き補償アルゴリズムを用いて、及び本開示の技術によって符号化されるかどうかに基づいてブロック内コピーを適用するブロック（ＣＵ、ＰＵまたはＴＵ）を含むビデオフレームを表示することができる。
以上から、言うまでもなく、本明細書において、説明の目的で、本開示の技術の特定の実施形態を説明したが、本発明の範囲を逸脱することなく、種々の修正を行うことができる。従って、本開示の技術は、添付した特許請求の範囲による場合を除き、限定されない。
この特許文献に記載されている主題の実装および機能動作は、本明細書に開示されている構造およびそれらの構造的等価物を含む、種々のシステム、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、またはそれらの一以上の組み合わせにおいて実施することができる。本明細書に記載された主題の実装は、一以上のコンピュータプログラム製品、すなわち、データ処理装置による、またはデータ処理装置の動作を制御するための、有形および非一時的コンピュータ読み取り可能媒体上に符号化されたコンピュータプログラム命令の一以上のモジュールとして実装することができる。コンピュータ読取可能媒体は、機械読取可能記憶装置、機械読取可能記憶サブストレート、メモリ装置、機械読取可能伝搬信号に影響を与える物質の組成、またはそれらの一以上の組み合わせであり得る。用語「データ処理ユニット」または「データ処理装置」は、例えば、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサまたはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を包含する。装置は、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらの一以上の組み合わせを構成するコードを含むことができる。
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）は、コンパイルまたは解釈される言語を含む、任意の形態のプログラミング言語で書くことができ、それは、スタンドアロンプログラムとして、またはコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、または他のユニットを含む、任意の形態で展開することができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するものではない。プログラムは、他のプログラムまたはデータを保持するファイルの一部分（例えば、マークアップ言語文書に記憶される一以上のスクリプト）、問題のプログラム専用の単一ファイル、または複数の調整されたファイル（例えば、一以上のモジュール、サブプログラム、またはコードの一部分を記憶するファイル）に記憶することができる。コンピュータプログラムは、１つのコンピュータまたは１つのサイトに配置されるか、または複数のサイトに分散され、通信ネットワークによって相互接続される複数のコンピュータ上で実行されるようにデプロイすることができる。
本明細書に記載されるプロセスおよび論理フローは、入力データ上で動作し、出力を生成することによって機能を実行するために、一以上のコンピュータプログラムを実行する一以上のプログラマブルプロセッサによって実行することができる。プロセスおよび論理フローはまた、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）のような特殊目的論理回路によって実行することができ、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）のような特殊目的論理回路として装置を実装することができる。
コンピュータプログラムの実行に適したプロセッサは、例えば、汎用および専用マイクロプロセッサの両方、および任意の種類のデジタルコンピュータの任意の一以上のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの必須要素は、命令を実行するプロセッサと、命令およびデータを記憶する一以上のメモリデバイスである。一般に、コンピュータはまた、データを記憶するための一以上の大容量記憶装置、例えば、磁気ディスク、磁気光ディスク、または光ディスクを含み、またはデータを受信または転送したりするために動作可能に結合される。しかし、コンピュータは、そのような装置を有する必要はない。コンピュータプログラム命令及びデータを記憶するのに適したコンピュータ読取可能媒体は、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスのような半導体メモリデバイスを含む、あらゆる形態の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサおよびメモリは、特殊目的論理回路によって補足されるか、またはそれに組み込まれ得る。
明細書は、図面と共に、単に例示的とみなされるが、例示は一例を意味する。本明細書中で使用されるように、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が他に明確に示さない限り、複数形も含むことを意図している。さらに、「ｏｒ」の使用は、文脈が他に明確に示さない限り、「ａｎｄ／ｏｒ」を含むことを意図している。
この特許文献には多くの詳細が含まれているが、これらは、いずれかの発明の範囲または特許請求されることができるものを限定するものではなく、特定の発明の特定の実施形態に特有の特徴の説明と解釈されるべきである。別々の実施形態の文脈でこの特許文献に記載されている特徴は、単一の実施形態で組み合わせて実施することもできる。逆に、単一の実施形態の文脈において説明される種々の特徴は、複数の実施形態において別々に、または任意の適切なサブコンビネーションで実施することもできる。さらに、特徴は、特定の組み合わせにおいて作用するものとして上述され、最初にそのようにクレームされてもよいが、クレームされた組み合わせからの１又は複数の特徴は、場合によっては、組み合わせから切り出されてもよく、クレームされた組み合わせは、サブコンビネーション又はサブコンビネーションのバリエーションに向けられ得る。
同様に、図面には特定の順序で動作が示されているが、これは、所望の結果を達成するために、このような動作を図示した特定の順序でまたはシーケンス順序で実行すること、または、例示されたすべての動作を実行することを要求するものとして理解されるべきではない。さらに、この特許文献に記載されている実施形態における種々のシステムコンポーネントの分離は、すべての実施形態においてこのような分離を必要とするものとして理解されるべきではない。
少数の実施形態および例のみを記述し、他の実施形態、拡張およびバリエーションは、この特許文献に記載され、例示されていることに基づいて行われ得る。

Claims (14)

  1. ビデオデータを処理する方法であって、
    ルミナンスブロックと、少なくとも１つのクロミナンスブロックとを含むビデオの現在のビデオユニットと、前記ビデオのビットストリームとの間の変換中に、アフィンモードに基づいて前記ルミナンスブロックの制御点の動きベクトルを決定することと、
    前記ルミナンスブロックをルミナンスサブブロックに分割することと、
    前記少なくとも１つのクロミナンスブロックのうちのクロミナンスブロックをクロミナンスサブブロックに分割することと、
    前記制御点の動きベクトルに基づいて各ルミナンスサブブロックのルミナンス動きベクトルを決定することと、
    複数のルミナンスサブブロックのルミナンス動きベクトルと現在のビデオユニットのカラーフォーマットとに基づいて、各クロミナンスサブブロックのクロミナンス動きベクトルを導出することと、
    各ルミナンスサブブロックのルミナンス動きベクトルに基づいて前記ルミナンスブロックを再構成することとを含み、
    前記クロミナンスブロックは、少なくとも１つの第１のクロミナンスグループを含み、前記第１のクロミナンスグループは、現在のビデオユニットのカラーフォーマットに従って２つまたは４つのクロミナンスサブブロックを含み、前記第１のクロミナンスグループに含まれるクロミナンスサブブロックの動きベクトルは同じである、
    方法。
  2. 前記第１のクロミナンスグループに含まれるクロミナンスサブブロックの動きベクトルは、中間動きベクトルにスケーリング係数を適用することに基づいて導出される、請求項１に記載の方法。
  3. 前記第１のクロミナンスグループは、前記カラーフォーマットが４：２：２である場合には２つのクロミナンスサブブロックを含み、前記２つのクロミナンスサブブロックに対応する２つのルミナンスサブブロックは、それぞれ、動きベクトルＭＶ０およびＭＶ１を有し、前記中間動きベクトルＭＶ＊は、前記ＭＶ０および前記ＭＶ１に基づいて導出される、請求項２に記載の方法。
  4. 前記中間動きベクトルが、前記ＭＶ０及び前記ＭＶ１にオフセットに基づく平均化演算を適用することに基づいて導出される、請求項３に記載の方法。
  5. 前記中間動きベクトルＭＶ＊＝Ｓｈｉｆｔ（ＭＶ０＋ＭＶ１，１）であって、Ｓｈｉｆｔ（ｘ，１）＝（ｘ＋ｏｆｆｓｅｔ）＞＞１であり、オフセットが０または１に等しく、かつ＞＞は右シフト演算を表す、
    請求項４に記載の方法。
  6. 前記第１のクロミナンスグループは、前記カラーフォーマットが４：２：０である場合に４つのクロミナンスサブブロックを含み、
    ４つのルミナンスサブブロックのうちの左上のものは動きベクトルＭＶ０を有し、
    前記４つのルミナンスサブブロックのうちの右上のものは動きベクトルＭＶ１を有し、前記４つのルミナンスサブブロックのうちの左下のものは動きベクトルＭＶ２を有し、前記４つのルミナンスサブブロックのうちの右下のものは動きベクトルＭＶ３を有し、前記４つのルミナンスサブブロックは前記４つのクロミナンスサブブロックに対応し、前記中間動きベクトルＭＶ＊は、少なくとも前記ＭＶ０および前記ＭＶ３に基づいて導出される、請求項２ないし５のいずれか一項に記載の方法。
  7. 前記中間動きベクトルは、少なくとも前記ＭＶ０及びＭＶ３にオフセットベースの平均演算を適用することに基づいて導出される、請求項６に記載の方法。
  8. 前記第１のクロミナンスグループに含まれるクロミナンスサブブロックの動きベクトルに基づいて前記クロミナンスブロックを再構成することをさらに含む、
    請求項１ないし７のいずれか一項に記載の方法。
  9. 前記第１のクロミナンスグループのユニットの前記クロミナンスブロックを再構成する、請求項８に記載の方法。
  10. 前記変換は、現在のビデオユニットを前記ビットストリームに符号化することを含む、請求項１ないし９のいずれか一項に記載の方法。
  11. 前記変換は、前記ビットストリームから現在のビデオユニットを復号することを含む、請求項１ないし９のいずれか一項に記載の方法。
  12. プロセッサと、命令を格納した非一時メモリとを備える、ビデオデータを処理する装置であって、前記命令は、前記プロセッサにより実行されると、前記プロセッサに、
    ルミナンスブロックと、少なくとも１つのクロミナンスブロックとを含むビデオの現在のビデオユニットと、前記ビデオのビットストリームとの間の変換中に、アフィンモードに基づいて前記ルミナンスブロックの制御点の動きベクトルを決定させ、
    前記ルミナンスブロックをルミナンスサブブロックに分割させ、
    前記少なくとも１つのクロミナンスブロックのうちのクロミナンスブロックをクロミナンスサブブロックに分割させ、
    前記制御点の動きベクトルに基づいて各ルミナンスサブブロックのルミナンス動きベクトルを決定させ、
    複数のルミナンスサブブロックのルミナンス動きベクトルと現在のビデオユニットのカラーフォーマットとに基づいて、各クロミナンスサブブロックのクロミナンス動きベクトルを導出させ、
    各ルミナンスサブブロックのルミナンス動きベクトルに基づいて前記ルミナンスブロックを再構成させ、
    前記クロミナンスブロックは、少なくとも１つの第１のクロミナンスグループを含み、前記第１のクロミナンスグループは、現在のビデオユニットのカラーフォーマットに従って２つまたは４つのクロミナンスサブブロックを含み、前記第１のクロミナンスグループに含まれるクロミナンスサブブロックの動きベクトルは同じである、
    装置。
  13. 命令を格納した非一時的コンピュータ可読記憶媒体であって、前記命令は、
    プロセッサに
    ルミナンスブロックと、少なくとも１つのクロミナンスブロックとを含むビデオの現在のビデオユニットと、前記ビデオのビットストリームとの間の変換中に、アフィンモードに基づいて前記ルミナンスブロックの制御点の動きベクトルを決定させ、
    前記ルミナンスブロックをルミナンスサブブロックに分割させ、
    前記少なくとも１つのクロミナンスブロックのうちのクロミナンスブロックをクロミナンスサブブロックに分割させ、
    前記制御点の動きベクトルに基づいて各ルミナンスサブブロックのルミナンス動きベクトルを決定させ、
    複数のルミナンスサブブロックのルミナンス動きベクトルと現在のビデオユニットのカラーフォーマットとに基づいて、各クロミナンスサブブロックのクロミナンス動きベクトルを導出させ、
    各ルミナンスサブブロックのルミナンス動きベクトルに基づいて前記ルミナンスブロックを再構成させ、
    前記クロミナンスブロックは、少なくとも１つの第１のクロミナンスグループを含み、前記第１のクロミナンスグループは、現在のビデオユニットのカラーフォーマットに従って２つまたは４つのクロミナンスサブブロックを含み、前記第１のクロミナンスグループに含まれるクロミナンスサブブロックの動きベクトルは同じである、
    非一時的コンピュータ可読記憶媒体。
  14. ビデオのビットストリームを記憶する方法であって、
    ルミナンスブロックと、少なくとも１つのクロミナンスブロックとを含むビデオの現在のビデオユニットについて、アフィンモードに基づいて前記ルミナンスブロックの制御点の動きベクトルを決定することと、
    前記ルミナンスブロックをルミナンスサブブロックに分割することと、
    前記少なくとも１つのクロミナンスブロックのうちのクロミナンスブロックをクロミナンスサブブロックに分割することと、
    前記制御点の動きベクトルに基づいて各ルミナンスサブブロックのルミナンス動きベクトルを決定することと、
    複数のルミナンスサブブロックのルミナンス動きベクトルと前記現在のビデオユニットのカラーフォーマットとに基づいて、各クロミナンスサブブロックのクロミナンス動きベクトルを導出することと、
    前記決定すること及び分割することに基づいて前記ビットストリームを生成することであって、前記生成することは各ルミナンスサブブロックのルミナンス動きベクトルに基づいてルミナンスブロックを再構成することを含む、生成することと、
    非一時的コンピュータ可読記録媒体に前記ビットストリームを記憶することと
    を含み、
    前記クロミナンスブロックは、少なくとも１つの第１のクロミナンスグループを含み、前記第１のクロミナンスグループは、前記現在のビデオユニットのカラーフォーマットに従って２つまたは４つのクロミナンスサブブロックを含み、前記第１のクロミナンスグループに含まれるクロミナンスサブブロックの動きベクトルは同じである、
    方法。
JP2022100745A 2018-06-21 2022-06-23 ビデオデータを処理する方法、装置、非一時的コンピュータ可読記憶媒体 Active JP7361842B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023172306A JP2024001132A (ja) 2018-06-21 2023-10-03 ビデオデータを処理する方法、装置、非一時的コンピュータ可読記憶媒体

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
CN2018092118 2018-06-21
CNPCT/CN2018/092118 2018-06-21
CNPCT/CN2018/114931 2018-11-10
CN2018114931 2018-11-10
JP2020570793A JP7096374B2 (ja) 2018-06-21 2019-06-21 カラー成分間のサブブロック動きベクトル継承
PCT/IB2019/055247 WO2019244119A1 (en) 2018-06-21 2019-06-21 Sub-block mv inheritance between color components

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020570793A Division JP7096374B2 (ja) 2018-06-21 2019-06-21 カラー成分間のサブブロック動きベクトル継承

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023172306A Division JP2024001132A (ja) 2018-06-21 2023-10-03 ビデオデータを処理する方法、装置、非一時的コンピュータ可読記憶媒体

Publications (2)

Publication Number Publication Date
JP2022137099A JP2022137099A (ja) 2022-09-21
JP7361842B2 true JP7361842B2 (ja) 2023-10-16

Family

ID=67847764

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020570793A Active JP7096374B2 (ja) 2018-06-21 2019-06-21 カラー成分間のサブブロック動きベクトル継承
JP2022100745A Active JP7361842B2 (ja) 2018-06-21 2022-06-23 ビデオデータを処理する方法、装置、非一時的コンピュータ可読記憶媒体
JP2023172306A Pending JP2024001132A (ja) 2018-06-21 2023-10-03 ビデオデータを処理する方法、装置、非一時的コンピュータ可読記憶媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020570793A Active JP7096374B2 (ja) 2018-06-21 2019-06-21 カラー成分間のサブブロック動きベクトル継承

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023172306A Pending JP2024001132A (ja) 2018-06-21 2023-10-03 ビデオデータを処理する方法、装置、非一時的コンピュータ可読記憶媒体

Country Status (8)

Country Link
US (5) US11197007B2 (ja)
EP (2) EP4307671A3 (ja)
JP (3) JP7096374B2 (ja)
KR (1) KR102701593B1 (ja)
CN (4) CN113115046A (ja)
GB (1) GB2589223B (ja)
TW (2) TWI750483B (ja)
WO (2) WO2019244118A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
KR20210016581A (ko) 2018-06-05 2021-02-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Ibc 및 atmvp 간의 상호 작용
KR102701593B1 (ko) 2018-06-21 2024-08-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 칼라 컴포넌트 간의 서브 블록 mv 상속
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
CN117768651A (zh) 2018-09-24 2024-03-26 北京字节跳动网络技术有限公司 处理视频数据的方法、装置、介质、以及比特流存储方法
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
CN111083484B (zh) 2018-10-22 2024-06-28 北京字节跳动网络技术有限公司 基于子块的预测
EP3861723A4 (en) 2018-11-10 2022-04-20 Beijing Bytedance Network Technology Co., Ltd. ROUNDS IN PAIRS OF MEDIUM CANDIDATE BILLS
WO2020098643A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
CN113170093B (zh) 2018-11-20 2023-05-02 北京字节跳动网络技术有限公司 视频处理中的细化帧间预测
CN117319644A (zh) 2018-11-20 2023-12-29 北京字节跳动网络技术有限公司 基于部分位置的差计算
CN113056920B (zh) 2018-11-22 2024-05-24 北京字节跳动网络技术有限公司 基于子块的帧间预测的协调方法
MX2021006306A (es) * 2018-11-29 2021-08-11 Interdigital Vc Holdings Inc Ordenamiento de candidatos de predictor de vector de movimiento en lista de fusion.
EP3893509A4 (en) * 2018-12-07 2022-10-26 Samsung Electronics Co., Ltd. VIDEO DECODING METHOD AND DEVICE AND VIDEO ENCODING METHOD AND DEVICE
WO2020140948A1 (en) 2019-01-02 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Motion vector derivation between dividing patterns
CN113273217A (zh) 2019-02-03 2021-08-17 北京字节跳动网络技术有限公司 非对称四叉树分割
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
CN115190317A (zh) 2019-04-02 2022-10-14 抖音视界有限公司 解码器侧运动矢量推导
CN117241033A (zh) 2019-08-06 2023-12-15 北京字节跳动网络技术有限公司 使用屏幕内容编码工具进行视频编码和解码
JP7481430B2 (ja) 2019-08-13 2024-05-10 北京字節跳動網絡技術有限公司 サブブロックに基づくインター予測における動き精度
CN114342400B (zh) 2019-09-02 2024-06-28 北京字节跳动网络技术有限公司 基于色彩格式的编解码模式确定
JP7332795B2 (ja) 2019-09-21 2023-08-23 北京字節跳動網絡技術有限公司 クロマ・イントラモードのベースとなるサイズ制約
WO2021052505A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Reference picture resampling in video processing
US11212523B2 (en) * 2020-01-12 2021-12-28 Mediatek Inc. Video processing methods and apparatuses of merge number signaling in video coding systems
US20220353547A1 (en) * 2021-04-16 2022-11-03 Tencent America LLC Entropy coding of sign map for transform coefficients
US20230224474A1 (en) * 2022-01-12 2023-07-13 Tencent America LLC Adjustment based local illumination compensation
WO2024149247A1 (en) * 2023-01-09 2024-07-18 Mediatek Inc. Methods and apparatus of region-wise cross-component model merge mode for video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011077761A (ja) 2009-09-30 2011-04-14 Sony Corp 画像処理装置および方法
WO2017130696A1 (ja) 2016-01-29 2017-08-03 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置

Family Cites Families (229)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08186825A (ja) 1994-12-28 1996-07-16 Nippon Hoso Kyokai <Nhk> 動きベクトル検出方法
DE60024389T2 (de) 1999-04-26 2006-08-03 Koninklijke Philips Electronics N.V. Subpixelgenaue bewegungsvektorschätzung und bewegungskompensierte interpolation
WO2004013810A1 (en) * 2002-07-31 2004-02-12 Koninklijke Philips Electronics N.V. System and method for segmenting
US8009731B2 (en) 2002-11-25 2011-08-30 Panasonic Corporation Motion compensation method, picture coding method and picture decoding method
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
CN100344163C (zh) * 2004-06-16 2007-10-17 华为技术有限公司 视频编解码处理方法
CN1777283A (zh) * 2004-12-31 2006-05-24 上海广电（集团）有限公司 一种基于微块的视频信号编/解码方法
US8954943B2 (en) 2006-01-26 2015-02-10 International Business Machines Corporation Analyze and reduce number of data reordering operations in SIMD code
JP4826315B2 (ja) 2006-03-31 2011-11-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8184715B1 (en) 2007-08-09 2012-05-22 Elemental Technologies, Inc. Method for efficiently executing video encoding operations on stream processor architectures
WO2009080133A1 (en) 2007-12-21 2009-07-02 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive intra mode selection
CN101605255B (zh) 2008-06-12 2011-05-04 华为技术有限公司 一种视频编解码的方法及装置
WO2020084511A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Simplified entropy coding for sub-block based motion information list
US20110002386A1 (en) 2009-07-06 2011-01-06 Mediatek Singapore Pte. Ltd. Video encoder and method for performing intra-prediction and video data compression
JP4901950B2 (ja) 2009-12-25 2012-03-21 サントリーホールディングス株式会社 ２，５−ピペラジンジオン，３，６−ビス（フェニルメチル）−，（３ｓ，６ｓ）−を含有する酸性飲食品
JP2011147049A (ja) 2010-01-18 2011-07-28 Sony Corp 画像処理装置および方法、並びにプログラム
BR112012019560B1 (pt) 2010-02-05 2021-08-24 Telefonaktiebolaget Lm Ericsson Método para gerenciar candidatos a vetor de movimento predito, e, aparelhos de codificação e de decodificação de vídeo
KR101630688B1 (ko) 2010-02-17 2016-06-16 삼성전자주식회사 움직임 예측 장치 및 방법과 영상 처리 장치
CN101895751B (zh) 2010-07-06 2012-02-08 北京大学 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统
US20120287999A1 (en) 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction
CN103563380B (zh) * 2011-05-27 2017-07-21 寰发股份有限公司 减少用于视频处理的行缓冲的方法及装置
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
GB201113527D0 (en) 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system
MX365013B (es) 2011-08-29 2019-05-20 Ibex Pt Holdings Co Ltd Metodo para generar un bloque de prediccion en modo de prediccion de vector de movimiento avanzada (amvp).
RU2583040C2 (ru) 2011-08-30 2016-05-10 Нокиа Текнолоджиз Ой Устройство, способ и компьютерная программа для кодирования и декодирования видеосигналов
MY164898A (en) 2011-09-29 2018-01-30 Sharp Kk Image decoding device, image decoding method, and image encoding device
JP5768662B2 (ja) 2011-10-31 2015-08-26 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
JP2013098933A (ja) 2011-11-04 2013-05-20 Sony Corp 画像処理装置および方法
CN107071434A (zh) 2011-11-08 2017-08-18 株式会社Kt 对视频信号进行解码的方法
US10440389B2 (en) 2011-11-11 2019-10-08 Lg Electronics Inc. Method and device for transmitting image information, and decoding method and device using same
JP5895469B2 (ja) 2011-11-18 2016-03-30 富士通株式会社 動画像符号化装置、および動画像復号装置
KR20130058524A (ko) * 2011-11-25 2013-06-04 오수미 색차 인트라 예측 블록 생성 방법
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
EP4366307A3 (en) 2012-01-18 2024-07-17 Electronics and Telecommunications Research Institute Method and device for encoding and decoding image
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US9325991B2 (en) 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
US10009612B2 (en) * 2012-04-12 2018-06-26 Hfi Innovation Inc. Method and apparatus for block partition of chroma subsampling formats
EP2847996B1 (en) 2012-05-09 2020-10-07 Sun Patent Trust Method of performing motion vector prediction, encoding and decoding methods, and apparatuses thereof
US20130329007A1 (en) 2012-06-06 2013-12-12 Qualcomm Incorporated Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding
KR101464981B1 (ko) 2012-07-02 2014-11-26 삼성전자주식회사 비디오 부호화 또는 비디오 복호화를 위한 움직임 벡터 예측 방법 및 장치
EP3588958B1 (en) 2012-08-29 2024-07-03 Vid Scale, Inc. Method and apparatus of motion vector prediction for scalable video coding
US9491461B2 (en) 2012-09-27 2016-11-08 Qualcomm Incorporated Scalable extensions to HEVC and temporal motion vector prediction
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
KR20150038249A (ko) 2012-09-28 2015-04-08 인텔 코포레이션 계층간 화소 샘플 예측
JP6763664B2 (ja) 2012-10-01 2020-09-30 ジーイー ビデオ コンプレッション エルエルシー エンハンスメント層作動パラメータのためのベース層ヒントを使用するスケーラブルビデオ符号化
WO2014078068A1 (en) * 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
DE112013005568T5 (de) 2012-11-21 2015-09-17 Kabushiki Kaisha Toyota Jidoshokki Nanokristallines Siliciummaterial, Aktivmaterial für eine negative Elektrode, Herstellungsverfahren für das Material und elektrisches Speichergerät
US9615089B2 (en) 2012-12-26 2017-04-04 Samsung Electronics Co., Ltd. Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction
US9294777B2 (en) 2012-12-30 2016-03-22 Qualcomm Incorporated Progressive refinement with temporal scalability support in video coding
US9674542B2 (en) 2013-01-02 2017-06-06 Qualcomm Incorporated Motion vector prediction for video coding
US20140254678A1 (en) 2013-03-11 2014-09-11 Aleksandar Beric Motion estimation using hierarchical phase plane correlation and block matching
US9521425B2 (en) 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
US9491460B2 (en) 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
WO2014166116A1 (en) 2013-04-12 2014-10-16 Mediatek Inc. Direct simplified depth coding
WO2015007159A1 (en) 2013-07-15 2015-01-22 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3d video coding
US9628795B2 (en) 2013-07-17 2017-04-18 Qualcomm Incorporated Block identification using disparity vector in video coding
WO2015006967A1 (en) 2013-07-19 2015-01-22 Mediatek Singapore Pte. Ltd. Simplified view synthesis prediction for 3d video coding
CN104769947B (zh) 2013-07-26 2019-02-26 北京大学深圳研究生院 一种基于p帧的多假设运动补偿编码方法
WO2015010317A1 (zh) 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿方法
AU2013228045A1 (en) 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US9762927B2 (en) 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
US9667996B2 (en) 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
CN103561263B (zh) 2013-11-06 2016-08-24 北京牡丹电子集团有限责任公司数字电视技术中心 基于运动矢量约束和加权运动矢量的运动补偿预测方法
JP6441236B2 (ja) 2013-12-19 2018-12-19 シャープ株式会社 画像復号装置及び画像符号化装置
TWI536811B (zh) 2013-12-27 2016-06-01 財團法人工業技術研究院 影像處理方法與系統、解碼方法、編碼器與解碼器
BR112016015080A2 (pt) 2014-01-03 2017-08-08 Microsoft Technology Licensing Llc Predição de vetor de bloco em codificação / decodificação de vídeo e imagem
WO2015109598A1 (en) 2014-01-27 2015-07-30 Mediatek Singapore Pte. Ltd. Methods for motion parameter hole filling
CN108989815B9 (zh) 2014-03-19 2021-06-04 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
KR101863487B1 (ko) * 2014-05-06 2018-05-31 에이치에프아이 이노베이션 인크. 인트라 블록 카피 모드 부호화를 위한 블록 벡터 예측 방법
US10327001B2 (en) 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
US20150373362A1 (en) 2014-06-19 2015-12-24 Qualcomm Incorporated Deblocking filter design for intra block copy
EP3158734A1 (en) 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
US20150373350A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Temporal motion vector prediction (tmvp) indication in multi-layer codecs
WO2016008157A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
CN105282558B (zh) 2014-07-18 2018-06-15 清华大学 帧内像素预测方法、编码方法、解码方法及其装置
US10863200B2 (en) * 2014-07-25 2020-12-08 Intel Corporation Techniques for performing a forward transformation by a video encoder using a forward transform matrix
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
KR102034938B1 (ko) 2014-09-01 2019-10-21 에이치에프아이 이노베이션 인크. 스크린 콘텐츠 및 비디오 코딩을 위한 인트라 픽처 블록 카피의 방법
WO2016040116A1 (en) * 2014-09-11 2016-03-17 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
KR20170066457A (ko) 2014-09-26 2017-06-14 브이아이디 스케일, 인크. 시간적 블록 벡터 예측을 갖는 인트라 블록 카피 코딩
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
US10531113B2 (en) 2014-10-31 2020-01-07 Samsung Electronics Co., Ltd. Method and device for encoding/decoding motion vector
CN107113424B (zh) 2014-11-18 2019-11-22 联发科技股份有限公司 以帧间预测模式编码的块的视频编码和解码方法
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US11477477B2 (en) 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
WO2016123388A1 (en) 2015-01-29 2016-08-04 Vid Scale, Inc. Palette coding modes and palette flipping
JP2018050091A (ja) 2015-02-02 2018-03-29 シャープ株式会社 画像復号装置、画像符号化装置および予測ベクトル導出装置
WO2016138513A1 (en) 2015-02-27 2016-09-01 Arris Enterprises, Inc. Modification of unification of intra block copy and inter signaling related syntax and semantics
US10958927B2 (en) 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding
WO2016165069A1 (en) 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
EP3281407B1 (en) 2015-04-29 2021-12-08 HFI Innovation Inc. Method and apparatus for intra block copy reference list construction
US20160337662A1 (en) 2015-05-11 2016-11-17 Qualcomm Incorporated Storage and signaling resolutions of motion vectors
CN109005407B (zh) * 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
WO2016192662A1 (en) 2015-06-03 2016-12-08 Mediatek Inc. Method and apparatus for resource sharing between intra block copy mode and inter prediction mode in video coding systems
KR102539009B1 (ko) 2015-06-08 2023-05-31 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 인트라 블록 카피 모드
GB2539213A (en) 2015-06-08 2016-12-14 Canon Kk Schemes for handling an AMVP flag when implementing intra block copy coding mode
US10148977B2 (en) 2015-06-16 2018-12-04 Futurewei Technologies, Inc. Advanced coding techniques for high efficiency video coding (HEVC) screen content coding (SCC) extensions
KR102264767B1 (ko) 2015-07-27 2021-06-14 미디어텍 인크. 인트라 블록 복사 모드를 이용한 비디오 코딩을 위한 시스템의 방법
WO2017022973A1 (ko) 2015-08-04 2017-02-09 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
KR20180028514A (ko) * 2015-08-07 2018-03-16 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2017032822A1 (en) 2015-08-25 2017-03-02 Thomson Licensing Inverse tone mapping based on luminance zones
US20180249172A1 (en) 2015-09-02 2018-08-30 Mediatek Inc. Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
WO2017041271A1 (en) 2015-09-10 2017-03-16 Mediatek Singapore Pte. Ltd. Efficient context modeling for coding a block of data
US10375413B2 (en) 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
CN108965871B (zh) * 2015-09-29 2023-11-10 华为技术有限公司 图像预测的方法及装置
CN108353184B (zh) 2015-11-05 2022-02-01 联发科技股份有限公司 一种视频编解码的方法及装置
CN105306944B (zh) * 2015-11-30 2018-07-06 哈尔滨工业大学 混合视频编码标准中色度分量预测方法
WO2017118411A1 (en) 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
CN105678808A (zh) 2016-01-08 2016-06-15 浙江宇视科技有限公司 运动目标跟踪方法及装置
US9955186B2 (en) 2016-01-11 2018-04-24 Qualcomm Incorporated Block size decision for video coding
WO2017133661A1 (en) 2016-02-05 2017-08-10 Mediatek Inc. Method and apparatus of motion compensation based on bi-directional optical flow techniques for video coding
US10368083B2 (en) 2016-02-15 2019-07-30 Qualcomm Incorporated Picture order count based motion vector pruning
US10390038B2 (en) 2016-02-17 2019-08-20 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices for encoding and decoding video pictures using a denoised reference picture
US10200715B2 (en) * 2016-02-17 2019-02-05 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices for encoding and decoding video pictures
WO2017143467A1 (en) 2016-02-22 2017-08-31 Mediatek Singapore Pte. Ltd. Localized luma mode prediction inheritance for chroma coding
WO2017156669A1 (en) 2016-03-14 2017-09-21 Mediatek Singapore Pte. Ltd. Methods for motion vector storage in video coding
CN114449287A (zh) 2016-03-16 2022-05-06 联发科技股份有限公司 视频编码的样式基础的运动向量推导之方法及装置
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
US10567759B2 (en) * 2016-03-21 2020-02-18 Qualcomm Incorporated Using luma information for chroma prediction with separate luma-chroma framework in video coding
US10939105B2 (en) * 2016-03-25 2021-03-02 Panasonic Intellectual Property Management Co., Ltd. Methods and apparatuses for encoding and decoding video using signal dependent adaptive quantization
KR102715635B1 (ko) * 2016-03-28 2024-10-11 로즈데일 다이나믹스 엘엘씨 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20200169726A1 (en) 2016-04-08 2020-05-28 Electronics And Telecommunications Research Institute Method and device for inducing motion prediction information
US10462459B2 (en) * 2016-04-14 2019-10-29 Mediatek Inc. Non-local adaptive loop filter
CN109076213A (zh) 2016-04-28 2018-12-21 Lg 电子株式会社 基于间预测模式的图像处理方法及其装置
EP3453173B1 (en) * 2016-05-05 2021-08-25 InterDigital Madison Patent Holdings, SAS Control-point based intra direction representation for intra coding
WO2017195554A1 (ja) 2016-05-13 2017-11-16 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置。
EP3456049B1 (en) 2016-05-13 2022-05-04 VID SCALE, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
CA3024900C (en) 2016-05-17 2021-02-16 Arris Enterprises Llc Template matching for jvet intra prediction
US20170339405A1 (en) 2016-05-20 2017-11-23 Arris Enterprises Llc System and method for intra coding
RU2710667C1 (ru) * 2016-05-28 2019-12-30 МедиаТек Инк. Способ и устройство привязки к текущему изображению для кодирования видео
EP4336850A3 (en) 2016-07-08 2024-04-17 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10368107B2 (en) 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10659802B2 (en) 2016-08-15 2020-05-19 Nokia Technologies Oy Video encoding and decoding
US20210281873A1 (en) * 2016-09-06 2021-09-09 Mediatek Inc. Methods and apparatuses of candidate set determination for binary-tree splitting blocks
US20190215534A1 (en) 2016-09-12 2019-07-11 Sony Corporation Image processing apparatus and image processing method
WO2018049594A1 (en) * 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
KR102471208B1 (ko) * 2016-09-20 2022-11-25 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10778999B2 (en) * 2016-09-30 2020-09-15 Qualcomm Incorporated Frame rate up-conversion coding mode with affine motion model
US11310495B2 (en) * 2016-10-03 2022-04-19 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters to reconstructed video data
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US10785477B2 (en) 2016-10-06 2020-09-22 Lg Electronics Inc. Method for processing video on basis of inter prediction mode and apparatus therefor
US20190273943A1 (en) * 2016-10-10 2019-09-05 Sharp Kabushiki Kaisha Systems and methods for performing motion compensation for coding of video data
US10880546B2 (en) * 2016-10-11 2020-12-29 Lg Electronics Inc. Method and apparatus for deriving intra prediction mode for chroma component
WO2018070632A1 (ko) 2016-10-11 2018-04-19 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
US20180109814A1 (en) * 2016-10-14 2018-04-19 Mediatek Inc. Method And Apparatus Of Coding Unit Information Inheritance
US20180109810A1 (en) 2016-10-17 2018-04-19 Mediatek Inc. Method and Apparatus for Reference Picture Generation and Management in 3D Video Compression
CN116886930A (zh) 2016-11-28 2023-10-13 韩国电子通信研究院 对图像编码/解码的方法和设备及存储比特流的记录介质
CN109997363B (zh) 2016-11-28 2023-12-05 英迪股份有限公司 图像编码/解码方法和装置以及存储有比特流的记录介质
CN116320493A (zh) * 2016-11-28 2023-06-23 韩国电子通信研究院 用于滤波的方法和装置
US20200021837A1 (en) 2016-12-16 2020-01-16 Sharp Kabushiki Kaisha Video decoding apparatus and video coding apparatus
US10750203B2 (en) 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
CN110140355B (zh) 2016-12-27 2022-03-08 联发科技股份有限公司 用于视频编解码的双向模板运动向量微调的方法及装置
US10681370B2 (en) 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
US20190335170A1 (en) * 2017-01-03 2019-10-31 Lg Electronics Inc. Method and apparatus for processing video signal by means of affine prediction
WO2018128379A1 (ko) * 2017-01-03 2018-07-12 엘지전자(주) 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
US10931969B2 (en) 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10701366B2 (en) 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10523964B2 (en) 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
KR20180107761A (ko) 2017-03-22 2018-10-02 한국전자통신연구원 참조 블록을 사용하는 예측 방법 및 장치
US10595035B2 (en) * 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
US10701391B2 (en) 2017-03-23 2020-06-30 Qualcomm Incorporated Motion vector difference (MVD) prediction
US10440396B2 (en) * 2017-03-28 2019-10-08 Qualcomm Incorporated Filter information sharing among color components
US10542264B2 (en) 2017-04-04 2020-01-21 Arris Enterprises Llc Memory reduction implementation for weighted angular prediction
US10873760B2 (en) 2017-04-07 2020-12-22 Futurewei Technologies, Inc. Motion vector (MV) constraints and transformation constraints in video coding
US20180310017A1 (en) 2017-04-21 2018-10-25 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-pu tmvp) for video coding
US10805630B2 (en) 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation
US20180332298A1 (en) 2017-05-10 2018-11-15 Futurewei Technologies, Inc. Bidirectional Prediction In Video Compression
US11206419B2 (en) 2017-05-17 2021-12-21 Kt Corporation Method and device for video signal processing
CN110771169A (zh) * 2017-06-09 2020-02-07 韩国电子通信研究院 视频编码/解码方法和装置以及存储比特流的记录介质
US10904565B2 (en) 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
WO2019002215A1 (en) 2017-06-26 2019-01-03 Interdigital Vc Holdings, Inc. MULTIPLE PREDICTION CANDIDATES FOR MOTION COMPENSATION
US10477237B2 (en) 2017-06-28 2019-11-12 Futurewei Technologies, Inc. Decoder side motion vector refinement in video coding
WO2019004283A1 (ja) 2017-06-28 2019-01-03 シャープ株式会社 動画像符号化装置及び動画像復号装置
US10567772B2 (en) * 2017-07-11 2020-02-18 Google Llc Sub8×8 block processing
US11172203B2 (en) 2017-08-08 2021-11-09 Mediatek Inc. Intra merge prediction
US10880573B2 (en) 2017-08-15 2020-12-29 Google Llc Dynamic motion vector referencing for video coding
WO2019050115A1 (ko) 2017-09-05 2019-03-14 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP2021005741A (ja) 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
US10785494B2 (en) 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
CN109963155B (zh) 2017-12-23 2023-06-06 华为技术有限公司 图像块的运动信息的预测方法、装置及编解码器
WO2019143602A1 (en) 2018-01-16 2019-07-25 Vid Scale, Inc. Motion compensated bi-prediction based on local illumination compensation
US10757417B2 (en) 2018-01-20 2020-08-25 Qualcomm Incorporated Affine motion compensation in video coding
US10687071B2 (en) 2018-02-05 2020-06-16 Tencent America LLC Method and apparatus for video coding
US11012715B2 (en) 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
JP7109558B2 (ja) 2018-02-14 2022-07-29 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 適応型補間フィルタ
US10708592B2 (en) 2018-04-02 2020-07-07 Qualcomm Incorporated Deblocking filter for video coding and processing
US20190306502A1 (en) 2018-04-02 2019-10-03 Qualcomm Incorporated System and method for improved adaptive loop filtering
US20190320181A1 (en) 2018-04-17 2019-10-17 Qualcomm Incorporated Generation of motion vector predictors from multiple neighboring blocks in video coding
US10779002B2 (en) 2018-04-17 2020-09-15 Qualcomm Incorporated Limitation of the MVP derivation based on decoder-side motion vector derivation
US20190364295A1 (en) 2018-05-25 2019-11-28 Tencent America LLC Method and apparatus for video coding
US10986340B2 (en) 2018-06-01 2021-04-20 Qualcomm Incorporated Coding adaptive multiple transform information for video coding
US11109025B2 (en) 2018-06-04 2021-08-31 Tencent America LLC Method and apparatus for sub-block based temporal motion vector prediction
KR20210016581A (ko) 2018-06-05 2021-02-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Ibc 및 atmvp 간의 상호 작용
WO2019234669A1 (en) 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Signaled mv precision
US11303923B2 (en) 2018-06-15 2022-04-12 Intel Corporation Affine motion compensation for current picture referencing
CN116347099A (zh) 2018-06-19 2023-06-27 北京字节跳动网络技术有限公司 没有运动矢量预测截断的选择的运动矢量差精度
KR102701593B1 (ko) 2018-06-21 2024-08-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 칼라 컴포넌트 간의 서브 블록 mv 상속
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
CN110662075B (zh) 2018-06-29 2023-04-25 北京字节跳动网络技术有限公司 改进的时域运动矢量预测推导
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
US11606575B2 (en) 2018-07-10 2023-03-14 Qualcomm Incorporated Multiple history based non-adjacent MVPs for wavefront processing of video coding
US10491902B1 (en) 2018-07-16 2019-11-26 Tencent America LLC Method and apparatus for history-based motion vector prediction
US10440378B1 (en) 2018-07-17 2019-10-08 Tencent America LLC Method and apparatus for history-based motion vector prediction with parallel processing
US10362330B1 (en) 2018-07-30 2019-07-23 Tencent America LLC Combining history-based motion vector prediction and non-adjacent merge prediction
CN110809155B (zh) 2018-08-04 2023-01-31 北京字节跳动网络技术有限公司 视频处理方法、装置和计算机可读介质
US11336914B2 (en) 2018-08-16 2022-05-17 Qualcomm Incorporated History-based candidate list with classification
KR20240005178A (ko) 2018-09-19 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 움직임 벡터 해상도를 가지는 어파인 모드에 대한 구문 재사용
US11212550B2 (en) * 2018-09-21 2021-12-28 Qualcomm Incorporated History-based motion vector prediction for affine mode
CN118055249A (zh) 2018-09-22 2024-05-17 Lg 电子株式会社 使用间预测处理视频信号的方法和装置
TWI815973B (zh) 2018-09-23 2023-09-21 大陸商北京字節跳動網絡技術有限公司 具有自我調整運動向量解析度的運動向量精度指示的信令通知
CN117768651A (zh) 2018-09-24 2024-03-26 北京字节跳动网络技术有限公司 处理视频数据的方法、装置、介质、以及比特流存储方法
US11051034B2 (en) 2018-10-08 2021-06-29 Qualcomm Incorporated History-based motion vector predictor
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
WO2020084465A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Simplified coding of generalized bi-directional index
US11032541B2 (en) 2018-10-22 2021-06-08 Tencent America LLC Method and apparatus for video coding
WO2020084461A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on coding information
MX2021004677A (es) 2018-11-02 2021-06-04 Beijing Bytedance Network Tech Co Ltd Mantenimiento de tabla para almacenamiento de candidatos de hmvp.
CN112997485A (zh) 2018-11-05 2021-06-18 北京字节跳动网络技术有限公司 用于具有细化的帧间预测的插值
EP3861723A4 (en) 2018-11-10 2022-04-20 Beijing Bytedance Network Technology Co., Ltd. ROUNDS IN PAIRS OF MEDIUM CANDIDATE BILLS
CN113170170B (zh) 2018-11-22 2024-07-26 北京字节跳动网络技术有限公司 用于具有几何分割的帧间预测的混合方法
US11032574B2 (en) 2018-12-31 2021-06-08 Tencent America LLC Method and apparatus for video coding
US11122260B2 (en) 2019-02-22 2021-09-14 Mediatek Inc. Method and apparatus of Merge list generation for Intra Block Copy mode
CN113748673B (zh) 2019-03-11 2024-07-05 阿里巴巴集团控股有限公司 用于针对合并模式确定预测权重的方法、设备和系统
JP7244646B2 (ja) * 2019-03-12 2023-03-22 テンセント・アメリカ・エルエルシー ビデオ符号化又は復号の方法及び装置並びにコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011077761A (ja) 2009-09-30 2011-04-14 Sony Corp 画像処理装置および方法
WO2017130696A1 (ja) 2016-01-29 2017-08-03 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jianle Chen, et al.，Algorithm Description of Joint Exploration Test Model 7 (JEM 7)，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-G1001-v1，7th Meeting: Torino, IT，2017年08月，pp.18-20
Kai Zhang, et al.，CE4: Affine Prediction with 4×4 Sub-blocks for Chroma Components (Test 4.1.16)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0265，12th Meeting: Macao, CN，2018年09月，pp.1-2

Also Published As

Publication number Publication date
EP4307671A3 (en) 2024-02-07
US11477463B2 (en) 2022-10-18
TWI750483B (zh) 2021-12-21
JP2021528011A (ja) 2021-10-14
CN113115046A (zh) 2021-07-13
CN115426497A (zh) 2022-12-02
GB2589223B (en) 2023-01-25
CN110636300B (zh) 2022-07-29
CN110636300A (zh) 2019-12-31
GB2589223A (en) 2021-05-26
EP4307671A2 (en) 2024-01-17
WO2019244119A1 (en) 2019-12-26
EP3788782A1 (en) 2021-03-10
US11895306B2 (en) 2024-02-06
WO2019244118A1 (en) 2019-12-26
CN110636297B (zh) 2021-05-14
US20240114154A1 (en) 2024-04-04
JP2022137099A (ja) 2022-09-21
US20210029368A1 (en) 2021-01-28
US20210029356A1 (en) 2021-01-28
TW202002657A (zh) 2020-01-01
TWI729422B (zh) 2021-06-01
US20220264125A1 (en) 2022-08-18
CN110636297A (zh) 2019-12-31
GB202018867D0 (en) 2021-01-13
TW202025725A (zh) 2020-07-01
US11659192B2 (en) 2023-05-23
US11197007B2 (en) 2021-12-07
JP2024001132A (ja) 2024-01-09
KR102701593B1 (ko) 2024-08-30
US20210227234A1 (en) 2021-07-22
KR20210022617A (ko) 2021-03-03
JP7096374B2 (ja) 2022-07-05

Similar Documents

Publication Publication Date Title
JP7361842B2 (ja) ビデオデータを処理する方法、装置、非一時的コンピュータ可読記憶媒体
CN112868240B (zh) 并置的局部照明补偿和修改的帧间预测编解码
JP7324841B2 (ja) ビデオ・データ処理方法、装置、記憶媒体及び記憶方法
CN112868238A (zh) 局部照明补偿和帧间预测编解码之间的并置
CN113302919A (zh) 在视频处理中使用虚拟候选预测和加权预测
JP2022527852A (ja) 異なる動きベクトル微調整における勾配計算
CN113316935A (zh) 使用局部照明补偿的运动候选列表
CN110662076B (zh) 子块的边界增强
CN110944203A (zh) 块级别的运动矢量平面模式
CN110662073B (zh) 子块的边界滤波

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231003

R150 Certificate of patent or registration of utility model

Ref document number: 7361842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150