JP2023554236A - マルチパスデコーダ側動きベクトル改良 - Google Patents

マルチパスデコーダ側動きベクトル改良 Download PDF

Info

Publication number
JP2023554236A
JP2023554236A JP2023530281A JP2023530281A JP2023554236A JP 2023554236 A JP2023554236 A JP 2023554236A JP 2023530281 A JP2023530281 A JP 2023530281A JP 2023530281 A JP2023530281 A JP 2023530281A JP 2023554236 A JP2023554236 A JP 2023554236A
Authority
JP
Japan
Prior art keywords
block
pass
video data
dmvr
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023530281A
Other languages
English (en)
Inventor
ジ・ジャン
ハン・フアン
チュン－チ・チェン
ヤン・ジャン
ヴァディム・セレジン
マルタ・カルチェヴィッチ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/556,142 external-priority patent/US20220201315A1/en
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2023554236A publication Critical patent/JP2023554236A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

マルチパスデコーダ側動きベクトル改良(DMVR)のための例示的なデバイスおよび技法が開示される。例示的なデバイスは、ビデオデータを記憶するように構成されるメモリと、メモリに結合される1つまたは複数のプロセッサとを含む。1つまたは複数のプロセッサは、少なくとも1つの改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルにマルチパスDMVRを適用し、少なくとも1つの改良された動きベクトルに基づいてブロックを復号するように構成される。マルチパスDMVRは、ブロックベースの第1のパスと、サブブロックベースの第2のパスと、サブブロックベースの第3のパスとを含む。

Description

本出願は、2021年12月20日に出願された米国特許出願第17/556,142号および2020年12月22日に出願された「MULTI-PASS DECODER-SIDE MOTION VECTOR REFINEMENT」という表題の米国仮出願第63/129,221号の優先権を主張し、これらの出願の内容全体が、参照により本明細書に組み込まれる。2021年12月20日に出願された米国特許出願第17/556,142号は、2020年12月22日に出願された米国仮出願第63/129,221号の利益を主張する。
本開示は、ビデオ符号化およびビデオ復号に関する。
デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラーまたは衛星ラジオ電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、Part 10、Advanced Video Coding(AVC)、ITU-T H.265/High Efficiency Video Coding(HEVC)によって定義された規格、およびそのような規格の拡張に記載されている技法などの、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実施することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。
ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間(ピクチャ内)予測および/または時間(ピクチャ間)予測を含む。ブロックベースのビデオコーディングの場合、ビデオスライス(たとえば、ビデオピクチャ、またはビデオピクチャの一部分)は、ビデオブロックに区分されてもよく、ビデオブロックは、コーディングツリーユニット(CTU)、コーディングユニット(CU)、および/またはコーディングノードと呼ばれることもある。ピクチャのイントラコーディングされた(I)スライスの中のビデオブロックは、同じピクチャの中の隣接ブロックの中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコーディングされた(PまたはB)スライスの中のビデオブロックは、同じピクチャの中の隣接ブロックの中の参照サンプルに対する空間的予測または他の参照ピクチャの中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
全般に、本開示は、デコーダ側動きベクトル導出技法のための技法を説明する。より具体的には、本開示は、ビデオコーディングにおいて使用するためのマルチパスデコーダ側動きベクトル改良技法を説明する。一部の草案のビデオ規格では、動きベクトル改良の範囲が、すべての事例に対して狭すぎることがある。本開示の技法はこの問題に対処し、これは、より正確な動き予測を、したがって符号化されたビデオデータのより正確な復号と再現をもたらし得る。
一例では、方法は、少なくとも1つの改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用するステップと、少なくとも1つの改良された動きベクトルに基づいてブロックを復号するステップとを含み、マルチパスDMVRは、ブロックベースでありビデオデータのブロックに適用される第1のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第2パスサブブロックに適用される第2のパスであって、第2パスサブブロックの幅がビデオデータのブロックの幅以下であり、第2パスサブブロックの高さがビデオデータのブロックの高さ以下である、第2のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第3パスサブブロックに適用される第3のパスであって、第3パスサブブロックの幅が第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが第2パスサブブロックの高さ以下である、第3のパスとを備える。
別の例では、デバイスは、ビデオデータを記憶するように構成されるメモリと、回路で実装されメモリに通信可能に結合される1つまたは複数のプロセッサとを含み、1つまたは複数のプロセッサは、少なくとも1つの改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用し、少なくとも1つの改良された動きベクトルに基づいてブロックを復号するように構成され、マルチパスDMVRは、ブロックベースでありビデオデータのブロックに適用される第1のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第2パスサブブロックに適用される第2のパスであって、第2パスサブブロックの幅がビデオデータのブロックの幅以下であり、第2パスサブブロックの高さがビデオデータのブロックの高さ以下である、第2のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第3パスサブブロックに適用される第3のパスであって、第3パスサブブロックの幅が第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが第2パスサブブロックの高さ以下である、第3のパスとを備える。
別の例では、非一時的コンピュータ可読媒体は、実行されると、1つまたは複数のプロセッサに、少なくとも1つの改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルへマルチパスデコーダ側動きベクトル改良(DMVR)を適用させ、少なくとも1つの改良された動きベクトルに基づいてブロックを復号させる、命令を記憶し、マルチパスDMVRは、ブロックベースでありビデオデータのブロックに適用される第1のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第2パスサブブロックに適用される第2のパスであって、第2パスサブブロックの幅がビデオデータのブロックの幅以下であり、第2パスサブブロックの高さがビデオデータのブロックの高さ以下である、第2のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第3パスサブブロックに適用される第3のパスであって、第3パスサブブロックの幅が第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが第2パスサブブロックの高さ以下である、第3のパスとを備える。
別の例では、デバイスは、少なくとも1つの改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用するための手段と、少なくとも1つの改良された動きベクトルに基づいてブロックを復号するための手段とを含み、マルチパスDMVRは、ブロックベースでありビデオデータのブロックに適用される第1のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第2パスサブブロックに適用される第2のパスであって、第2パスサブブロックの幅がビデオデータのブロックの幅以下であり、第2パスサブブロックの高さがビデオデータのブロックの高さ以下である、第2のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第3パスサブブロックに適用される第3のパスであって、第3パスサブブロックの幅が第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが第2パスサブブロックの高さ以下である、第3のパスとを備える。
一例では、方法は、改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用するステップと、改良された動きベクトルに基づいてブロックをコーディングするステップとを含む。
別の例では、デバイスは、ビデオデータを記憶するように構成されるメモリと、回路で実装されメモリに通信可能に結合される1つまたは複数のプロセッサとを含み、1つまたは複数のプロセッサは、本開示の技法のいずれかを実行するように構成される。
別の例では、デバイスは、本開示の技法のいずれかを実行するための少なくとも1つの手段を含む。
別の例では、コンピュータ可読記憶媒体には、実行されると、プログラマブルプロセッサに本開示の技法のいずれかを実行させる命令が符号化されている。
1つまたは複数の例の詳細が、添付の図面および以下の説明に記載されている。他の特徴、目的、および利点が、説明、図面、および特許請求の範囲から明らかになるであろう。
本開示の技法を実行し得る例示的なビデオ符号化および復号システムを示すブロック図である。 例示的な四分木二分木(QTBT)構造を示す概念図である。 対応するコーディングツリーユニット(CTU)を示す概念図である。 本開示の技法を実行し得る例示的なビデオエンコーダを示すブロック図である。 本開示の技法を実行し得る例示的なビデオデコーダを示すブロック図である。 マージモードのための例示的な空間隣接MV候補を示す概念図である。 AMVPモードのための例示的な空間隣接MV候補を示す概念図である。 例示的なTMVP候補を示す概念図である。 例示的なMVスケーリングを示す概念図である。 初期MVの周りの探索エリアでの例示的なテンプレートマッチングを示す概念図である。 MVD0およびMVD1が時間距離に基づいて比例する例を示す概念図である。 MVD0およびMVD1が時間距離にかかわらず鏡写しになっている例を示す概念図である。 探索範囲[-8,8]における3×3の正方形探索パターンの例を示す概念図である。 例示的なデコーダ側動きベクトル改良を示す概念図である。 BDOFにおいて使用される例示的な拡張されたCU領域を示す概念図である。 例示的な3パスDMVR技法を示す概念図である。 例示的なBDOF動きベクトル改良を示す概念図である。 本開示の例示的なマルチパスDMVR技法を示すフローチャートである。 本開示の技法による、現在ブロックを符号化するための例示的な方法を示すフローチャートである。 本開示の技法による、現在ブロックを復号するための例示的な方法を示すフローチャートである。
一部の草案のビデオ規格では、動きベクトル改良の範囲が、すべての事例に対して狭すぎることがある。これは、誤りの多い動き予測を、したがってより不正確な復号をもたらすことがある。本開示の技法はこの問題に対処し、これは、より正確な動き予測を、したがって符号化されたビデオデータのより正確な復号と再現をもたらし得る。
図1は、本開示の技法を実行し得る例示的なビデオ符号化および復号システム100を示すブロック図である。本開示の技法は、一般に、ビデオデータをコーディング(符号化および/または復号)することを対象とする。一般に、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、未加工の符号化されていないビデオ、符号化されたビデオ、復号された(たとえば、再構築された)ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。
図1に示されるように、システム100は、この例では、デスティネーションデバイス116によって復号され表示されるべき、符号化されたビデオデータを提供するソースデバイス102を含む。具体的には、ソースデバイス102は、コンピュータ可読媒体110を介してデスティネーションデバイス116にビデオデータを提供する。ソースデバイス102およびデスティネーションデバイス116は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、モバイルデバイス、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、表示デバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、放送受信機デバイスなどを含む、広範囲にわたるデバイスのいずれを備えてもよい。場合によっては、ソースデバイス102およびデスティネーションデバイス116は、ワイヤレス通信に対応することがあり、したがって、ワイヤレス通信デバイスと呼ばれることがある。
図1の例では、ソースデバイス102は、ビデオソース104、メモリ106、ビデオエンコーダ200、および出力インターフェース108を含む。デスティネーションデバイス116は、入力インターフェース122、ビデオデコーダ300、メモリ120、および表示デバイス118を含む。本開示によれば、ソースデバイス102のビデオエンコーダ200およびデスティネーションデバイス116のビデオデコーダ300は、デコーダ側動きベクトル導出のための技法を適用するように構成され得る。したがって、ソースデバイス102はビデオ符号化デバイスの例を表すが、デスティネーションデバイス116はビデオ復号デバイスの例を表す。他の例では、ソースデバイスおよびデスティネーションデバイスは、他のコンポーネントまたは構成を含んでもよい。たとえば、ソースデバイス102は、外部カメラなどの外部ビデオソースからビデオデータを受信してもよい。同様に、デスティネーションデバイス116は、一体型表示デバイスを含むのではなく、外部表示デバイスとインターフェースしてもよい。
図1に示されるようなシステム100は一例にすぎない。一般に、任意のデジタルビデオ復号デバイスが、デコーダ側動きベクトル導出技法のための技法を実行し得る。ソースデバイス102およびデスティネーションデバイス116は、ソースデバイス102がデスティネーションデバイス116への送信のためにコーディングされたビデオデータを生成するような、コーディングデバイスの例にすぎない。本開示は、データのコーディング(符号化および/または復号)を実行するデバイスを「コーディング」デバイスと呼ぶ。したがって、ビデオエンコーダ200およびビデオデコーダ300は、コーディングデバイス、具体的には、それぞれビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、ソースデバイス102およびデスティネーションデバイス116は、ソースデバイス102およびデスティネーションデバイス116の各々がビデオ符号化および復号コンポーネントを含むように、実質的に対称的に動作し得る。したがって、システム100は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオ電話のための、ソースデバイス102とデスティネーションデバイス116との間での一方向または双方向のビデオ送信をサポートし得る。
一般に、ビデオソース104は、ビデオデータ(すなわち、未加工の符号化されていないビデオデータ)のソースを表し、ビデオデータの連続した一連のピクチャ(「フレーム」とも呼ばれる)をビデオエンコーダ200に提供し、ビデオエンコーダ200は、ピクチャのためのデータを符号化する。ソースデバイス102のビデオソース104は、ビデオカメラ、以前にキャプチャされた未加工のビデオを含むビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどの、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース104は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブされたビデオとコンピュータで生成されたビデオとの組合せを生成し得る。各々の場合において、ビデオエンコーダ200は、キャプチャされた、事前にキャプチャされた、またはコンピュータで生成されたビデオデータを符号化する。ビデオエンコーダ200は、受信された順序(「表示順序」と呼ばれることがある)からコーディングのためのコーディング順序へと、ピクチャを並べ替え得る。ビデオエンコーダ200は、符号化されたビデオデータを含むビットストリームを生成し得る。ソースデバイス102は次いで、たとえばデスティネーションデバイス116の入力インターフェース122によって、受信および/または取り出しのために、出力インターフェース108を介してコンピュータ可読媒体110へと、符号化されたビデオデータを出力し得る。
ソースデバイス102のメモリ106およびデスティネーションデバイス116のメモリ120は、汎用メモリを表す。いくつかの例では、メモリ106、120は、未加工のビデオデータ、たとえば、ビデオソース104からの未加工のビデオと、ビデオデコーダ300からの未加工の復号されたビデオデータとを記憶し得る。追加または代替として、メモリ106、120は、たとえば、それぞれ、ビデオエンコーダ200およびビデオデコーダ300によって実行可能なソフトウェア命令を記憶し得る。メモリ106およびメモリ120は、この例ではビデオエンコーダ200およびビデオデコーダ300とは別々に示されているが、ビデオエンコーダ200およびビデオデコーダ300は、機能的に同様のまたは等価な目的で内部メモリも含み得ることを理解されたい。さらに、メモリ106、120は、たとえばビデオエンコーダ200から出力されビデオデコーダ300へと入力される、符号化されたビデオデータを記憶し得る。いくつかの例では、メモリ106、120の一部は、たとえば、未加工の、復号された、および/または符号化されたビデオデータを記憶するための、1つまたは複数のビデオバッファとして割り振られ得る。
コンピュータ可読媒体110は、ソースデバイス102からデスティネーションデバイス116に符号化されたビデオデータを移すことが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体110は、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、ソースデバイス102がリアルタイムでデスティネーションデバイス116に符号化されたビデオデータを直接送信することを可能にするための通信媒体を表す。出力インターフェース108は、符号化されたビデオデータを含む送信信号を変調してもよく、入力インターフェース122は、ワイヤレス通信プロトコルなどの通信規格に従って、受信された送信信号を復調してもよい。通信媒体は、無線周波数(RF)スペクトルまたは1つまたは複数の物理伝送線路などの、任意のワイヤレスまたは有線通信媒体を含み得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどの、パケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス102からデスティネーションデバイス116への通信を容易にするために有用であり得る任意の他の機器を含み得る。
いくつかの例では、ソースデバイス102は、出力インターフェース108から記憶デバイス112に符号化されたデータを出力し得る。同様に、デスティネーションデバイス116は、入力インターフェース122を介して、記憶デバイス112からの符号化されたデータにアクセスし得る。記憶デバイス112は、ハードドライブ、ブルーレイディスク、DVD、CD-ROM、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの、様々な分散されたまたはローカルでアクセスされるデータ記憶媒体のうちのいずれかを含み得る。
いくつかの例では、ソースデバイス102は、符号化されたビデオデータを、ソースデバイス102によって生成された符号化されたビデオデータを記憶し得るファイルサーバ114または別の中間記憶デバイスに出力し得る。デスティネーションデバイス116は、ストリーミングまたはダウンロードを介して、ファイルサーバ114からの記憶されたビデオデータにアクセスし得る。
ファイルサーバ114は、符号化されたビデオデータを記憶し、その符号化されたビデオデータをデスティネーションデバイス116に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ114は、(たとえば、ウェブサイトのための)ウェブサーバ、(File Transfer Protocol(FTP)またはFile Delivery over Unidirectional Transport(FLUTE)プロトコルなどの)ファイル転送プロトコルサービスを提供するように構成されたサーバ、コンテンツ配信ネットワーク(CDN)デバイス、ハイパーテキスト転送プロトコル(HTTP)サーバ、マルチメディアブロードキャストマルチキャストサービス(MBMS)もしくは拡張MBMS(eMBMS)サーバ、および/またはネットワークアタッチトストレージ(NAS)デバイスを表し得る。ファイルサーバ114は、追加または代替として、Dynamic Adaptive Streaming over HTTP(DASH)、HTTP Live Streaming(HLS)、Real Time Streaming Protocol(RTSP)、HTTP Dynamic Streamingなどの1つまたは複数のHTTPストリーミングプロトコルを実装し得る。
デスティネーションデバイス116は、インターネット接続を含む任意の標準的なデータ接続を通じて、ファイルサーバ114からの符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル(たとえば、Wi-Fi接続)、有線接続(たとえば、デジタル加入者線(DSL)、ケーブルモデムなど)、またはファイルサーバ114上に記憶されている符号化されたビデオデータにアクセスするのに適した、両方の組合せを含み得る。入力インターフェース122は、ファイルサーバ114からメディアデータを取り出すかもしくは受信するための上で説明された様々なプロトコル、またはメディアデータを取り出すための他のそのようなプロトコルのうちのいずれか1つまたは複数に従って動作するように構成され得る。
出力インターフェース108および入力インターフェース122は、ワイヤレス送信機/受信機、モデム、有線ネットワーキングコンポーネント(たとえば、イーサネットカード)、種々のIEEE 802.11規格のいずれかに従って動作するワイヤレス通信コンポーネント、または他の物理コンポーネントを表し得る。出力インターフェース108および入力インターフェース122がワイヤレスコンポーネントを備える例では、出力インターフェース108および入力インターフェース122は、4G、4G-LTE(Long-Term Evolution)、LTE Advanced、5Gなどのセルラー通信規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。出力インターフェース108がワイヤレス送信機を備えるいくつかの例では、出力インターフェース108および入力インターフェース122は、IEEE 802.11仕様、IEEE 802.15仕様(たとえば、ZigBee(商標))、Bluetooth(商標)規格などの他のワイヤレス規格に従った、符号化されたビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス102および/またはデスティネーションデバイス116は、それぞれのシステムオンチップ(SoC)デバイスを含み得る。たとえば、ソースデバイス102は、ビデオエンコーダ200および/または出力インターフェース108に起因する機能を実行するためのSoCデバイスを含んでもよく、デスティネーションデバイス116は、ビデオデコーダ300および/または入力インターフェース122に起因する機能を実行するためのSoCデバイスを含んでもよい。
本開示の技法は、電波によるテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、dynamic adaptive streaming over HTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されているデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。
デスティネーションデバイス116の入力インターフェース122は、コンピュータ可読媒体110(たとえば、通信媒体、記憶デバイス112、ファイルサーバ114など)から、符号化されたビデオビットストリームを受信する。符号化されたビデオビットストリームは、ビデオブロックまたは他のコーディングされたユニット(たとえば、スライス、ピクチャ、ピクチャグループ、シーケンスなど)の特性および/または処理を記述する値を有するシンタックス要素などの、ビデオデコーダ300によっても使用されるビデオエンコーダ200によって定義されるシグナリング情報を含み得る。表示デバイス118は、復号されたビデオデータの復号されたピクチャをユーザに表示する。表示デバイス118は、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプの表示デバイスなどの、様々な表示デバイスのいずれかを表し得る。
図1には示されないが、いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は各々、オーディオエンコーダおよび/またはオーディオデコーダと統合されてもよく、共通のデータストリームの中のオーディオとビデオの両方を含む多重化されたストリームを扱うために、適切なMUX-DEMUXユニット、または他のハードウェアおよび/もしくはソフトウェアを含んでもよい。適用可能な場合、MUX-DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
ビデオエンコーダ200およびビデオデコーダ300は各々、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなどの、様々な適切なエンコーダおよび/またはデコーダ回路のいずれかとして実装され得る。技法が部分的にソフトウェアで実装されるとき、デバイスは、適切な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、本開示の技法を実行するために1つまたは複数のプロセッサを使用してハードウェアでその命令を実行し得る。ビデオエンコーダ200およびビデオデコーダ300の各々は、1つまたは複数のエンコーダまたはデコーダに含まれてもよく、それらのいずれもが、それぞれのデバイスの中で複合エンコーダ/デコーダ(コーデック)の一部として統合されてもよい。ビデオエンコーダ200および/またはビデオデコーダ300を含むデバイスは、集積回路、マイクロプロセッサ、および/または携帯電話などのワイヤレス通信デバイスを備え得る。
ビデオエンコーダ200およびビデオデコーダ300は、High Efficiency Video Coding(HEVC)とも呼ばれるITU-T H.265などのビデオコーディング規格、または、マルチビューおよび/もしくはスケーラブルビデオコーディング拡張などのそれらの拡張に従って動作し得る。代替として、ビデオエンコーダ200およびビデオデコーダ300は、Versatile Video Coding(VVC)とも呼ばれるITU-T H.266などの、他のプロプライエタリ規格または業界規格に従って動作し得る。VVC規格の草案は、Bross他、「Versatile Video Coding Editorial Refinements on Draft 10」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29/WG 11のJoint Video Experts Team(JVET)、遠隔会議による第18回会合、2020年10月7～16日、JVET-T2001-v1(以後「VVC Draft 10」)に記載されている。しかしながら、本開示の技法は、いかなる特定のコーディング規格にも限定されない。
一般に、ビデオエンコーダ200およびビデオデコーダ300は、ピクチャのブロックベースのコーディングを実行し得る。「ブロック」という用語は全般に、処理されるべきデータ(たとえば、符号化および/または復号プロセスにおいて符号化される、復号される、または別様に使用される)を含む構造を指す。たとえば、ブロックは、輝度および/または色度データのサンプルの2次元行列を含み得る。一般に、ビデオエンコーダ200およびビデオデコーダ300は、YUV(たとえば、Y、Cb、Cr)フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルに対する赤、緑、および青(RGB)のデータをコーディングするのではなく、ビデオエンコーダ200およびビデオデコーダ300は、輝度成分および色度成分をコーディングしてもよく、色度成分は、赤の色調と青の色調の両方の色度成分を含んでもよい。いくつかの例では、ビデオエンコーダ200は、受信されたRGBフォーマットされたデータを符号化の前にYUV表現へと変換し、ビデオデコーダ300は、YUV表現をRGBフォーマットに変換する。代替として、前処理ユニットおよび後処理ユニット(図示せず)が、これらの変換を実行してもよい。
本開示は一般に、ピクチャのデータを符号化または復号するプロセスを含むものとして、ピクチャのコーディング(たとえば、符号化および復号)に言及し得る。同様に、本開示は、ブロックのためのデータを符号化または復号するプロセス、たとえば予測および/または残差コーディングを含むものとして、ピクチャのブロックのコーディングに言及し得る。符号化されたビデオビットストリームは一般に、コーディングの決定(たとえば、コーディングモード)およびブロックへのピクチャの区分を表す、シンタックス要素に対する一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は全般に、ピクチャまたはブロックを形成するシンタックス要素に対する値をコーディングすることとして理解されるべきである。
HEVCは、コーディングユニット(CU)、予測ユニット(PU)、および変換ユニット(TU)を含む、様々なブロックを定義する。HEVCによれば、ビデオコーダ(ビデオエンコーダ200など)は、四分木構造に従ってコーディングツリーユニット(CTU)をCUへと区分する。すなわち、ビデオコーダは、CTUおよびCUを4つの等しい重複しない正方形へと区分し、四分木の各ノードは、0個または4個のいずれかの子ノードを有する。子ノードのないノードは「リーフノード」と呼ばれることがあり、そのようなリーフノードのCUは、1つまたは複数のPUおよび/または1つまたは複数のTUを含むことがある。ビデオコーダはさらにPUおよびTUを区分し得る。たとえば、HEVCでは、残差四分木(RQT)はTUの区分を表す。HEVCでは、PUはインター予測データを表すが、TUは残差データを表す。イントラ予測されるCUは、イントラモード指示などのイントラ予測情報を含む。
別の例として、ビデオエンコーダ200およびビデオデコーダ300は、VVCに従って動作するように構成され得る。VVCによれば、(ビデオエンコーダ200などの)ビデオコーダは、ピクチャを複数のコーディングツリーユニット(CTU)に区分する。ビデオエンコーダ200は、四分木二分木(QTBT)構造またはマルチタイプ木(MTT)構造などの木構造に従って、CTUを区分し得る。QTBT構造は、HEVCのCUと、PUと、TUとの分離などの、複数の区分タイプという概念を取り払う。QTBT構造は、四分木区分に従って区分される第1のレベル、および二分木区分に従って区分される第2のレベルという、2つのレベルを含む。QTBT構造のルートノードはCTUに対応する。二分木のリーフノードはコーディングユニット(CU)に対応する。
MTT区分構造では、ブロックは四分木(QT)区分、二分木(BT)区分、および1つまたは複数のタイプの三分木(triple tree)(TT)(三分木(ternary tree)(TT)とも呼ばれる)区分を使用して区分され得る。三分木(triple tree)または三分木(ternary tree)区分は、ブロックが3つのサブブロックに分割される区分である。いくつかの例では、三分木(triple tree)または三分木(ternary tree)区分は、中心を通って元のブロックを分割することなく、ブロックを3つのサブブロックへと分割する。MTTにおける区分タイプ(たとえば、QT、BT、およびTT)は、対称的であっても、または非対称であってもよい。
いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は、輝度成分および色度成分の各々を表すために単一のQTBT構造またはMTT構造を使用してもよく、他の例では、ビデオエンコーダ200およびビデオデコーダ300は、輝度成分のための1つのQTBT/MTT構造および両方の色度成分のための別のQTBT/MTT構造(またはそれぞれの色度成分のための2つのQTBT/MTT構造)などの、2つ以上のQTBTまたはMTT構造を使用してもよい。
ビデオエンコーダ200およびビデオデコーダ300は、HEVCに従った四分木区分、QTBT区分、MTT区分、または他の区分構造を使用するように構成され得る。説明を目的に、本開示の技法の説明は、QTBT区分に関連して提示される。しかしながら、本開示の技法は、四分木区分、または他のタイプの区分も使用するように構成される、ビデオコーダにも適用され得ることを理解されたい。
いくつかの例では、CTUは、ルマサンプルのコーディングツリーブロック(CTB)、3つのサンプルアレイを有するピクチャのクロマサンプルの2つの対応するCTB、またはモノクロームピクチャもしくはサンプルをコーディングするために使用される3つの別個の色平面およびシンタックス構造を使用してコーディングされたピクチャのサンプルのCTBを含む。CTBは、CTBへの成分の分割が区分であるような、何らかの値のNに対するサンプルのN×Nブロックであり得る。成分は、1つのアレイまたは4:2:0、4:2:2、もしくは4:4:4カラーフォーマットでピクチャを構成する3つのアレイ(ルマおよび2つのクロマ)のうちの1つからの単一のサンプル、あるいはアレイまたはモノクロームフォーマットでピクチャを構成するアレイの単一のサンプルである。いくつかの例では、コーディングブロックは、コーディングブロックへのCTBの分割が区分であるような、何らかの値のMおよびNに対するサンプルのM×Nブロックである。
ブロック(たとえば、CTUまたはCU)は、ピクチャにおいて様々な方法でグループ化され得る。一例として、ブリックは、ピクチャの中の特定のタイル内のCTU行の長方形領域を指し得る。タイルは、ピクチャにおける特定のタイル列および特定のタイル行の中のCTUの長方形領域であり得る。タイル列は、ピクチャの高さに等しい高さおよび(たとえば、ピクチャパラメータセットなどにおいて)シンタックス要素によって指定される幅を有する、CTUの長方形領域を指す。タイル行は、(たとえば、ピクチャパラメータセットなどにおいて)シンタックス要素によって指定される高さおよびピクチャの幅に等しい幅を有する、CTUの長方形領域を指す。
いくつかの例では、タイルは複数のブリックへと区分されてもよく、ブリックの各々はタイル内の1つまたは複数のCTU行を含んでもよい。複数のブリックに区分されないタイルも、ブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。
ピクチャの中のブリックは、スライスにおいても並べられ得る。スライスは、単一のネットワーク抽象化レイヤ(NAL)ユニットに独占的に含まれ得る、整数個のピクチャのブリックであり得る。いくつかの例では、スライスは、いくつかの完全なタイル、または、1つのタイルの一連の連続する完全なブリックのみの、いずれかを含む。
本開示は、垂直方向および水平方向の寸法に関して、ブロック(CUまたは他のビデオブロックなど)のサンプル寸法を指すために、「N×N」および「N対N」を、たとえば16×16サンプルまたは16対16サンプルを交換可能に使用することがある。一般に、16×16 CUは、垂直方向に16個のサンプル(y=16)と水平方向に16個のサンプル(x=16)とを有する。同様に、N×N CUは、一般に、垂直方向にN個のサンプルと水平方向にN個のサンプルとを有し、ここでNは、非負の整数値を表す。CUの中のサンプルは、行および列として並べられ得る。その上、CUは、必ずしも水平方向に垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、CUはN×Mサンプルを備えることがあり、ここでMは必ずしもNと等しいとは限らない。
ビデオエンコーダ200は、予測情報および/または残差情報、ならびに他の情報を表す、CUのためのビデオデータを符号化する。予測情報は、CUのための予測ブロックを形成するために、CUがどのように予測されるべきかを示す。残差情報は一般に、符号化の前のCUのサンプルと予測ブロックとの間のサンプルごとの差を表す。
CUを予測するために、ビデオエンコーダ200は一般に、インター予測またはイントラ予測を通じて、CUのための予測ブロックを形成し得る。インター予測は一般に、以前にコーディングされたピクチャのデータからCUを予測することを指し、一方、イントラ予測は一般に、同じピクチャの以前にコーディングされたデータからCUを予測することを指す。インター予測を実行するために、ビデオエンコーダ200は、1つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ200は一般に、たとえば、CUと参照ブロックとの差に関して、CUとよく一致する参照ブロックを特定するために、動き探索を実行し得る。ビデオエンコーダ200は、絶対差分和(SAD)、二乗差分和(SSD)、平均絶対差(MAD)、平均二乗差(MSD)、または他のそのような差分計算を使用して差分メトリックを計算し、参照ブロックが現在のCUとよく一致するかどうかを決定し得る。いくつかの例では、ビデオエンコーダ200は、単方向予測または双方向予測を使用して現在のCUを予測し得る。
VVCのいくつかの例は、インター予測モードと見なされ得るアフィン動き補償モードも提供する。アフィン動き補償モードでは、ビデオエンコーダ200は、ズームインもしくはズームアウト、回転、射影運動、または他の不規則な運動タイプなどの、非並進運動を表す2つ以上の動きベクトルを決定し得る。
イントラ予測を実行するために、ビデオエンコーダ200は、予測ブロックを生成するためにイントラ予測モードを選択し得る。VVCのいくつかの例は、様々な方向モードを含む67個のイントラ予測モード、ならびに平面モードおよびDCモードを提供する。一般に、ビデオエンコーダ200は、現在ブロック(たとえば、CUのブロック)のサンプルをそれから予測すべき、その現在ブロックに対する近隣のサンプルを記述する、イントラ予測モードを選択する。そのようなサンプルは一般に、ビデオエンコーダ200がラスター走査順序で(左から右、上から下)CTUおよびCUをコーディングすると仮定して、現在ブロックと同じピクチャにおいて、現在ブロックの上、上および左、または左にあり得る。
ビデオエンコーダ200は、現在ブロックのための予測モードを表すデータを符号化する。たとえば、インター予測モードでは、ビデオエンコーダ200は、様々な利用可能なインター予測モードのいずれが使用されるかを表すデータ、ならびに、対応するモードのための動き情報を符号化し得る。単方向または双方向のインター予測のために、たとえば、ビデオエンコーダ200は、高度動きベクトル予測(AMVP)モードまたはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ200は、同様のモードを使用して、アフィン動き補償モードのために動きベクトルを符号化し得る。
ブロックのイントラ予測またはインター予測などの予測に従って、ビデオエンコーダ200は、ブロックのための残差データを計算し得る。残差ブロックなどの残差データは、対応する予測モードを使用して形成された、ブロックとブロックのための予測ブロックとの間のサンプルごとの差を表す。ビデオエンコーダ200は、サンプル領域の代わりに変換領域において変換されたデータを生成するために、1つまたは複数の変換を残差ブロックに適用し得る。たとえば、ビデオエンコーダ200は、離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に類似の変換を、残差ビデオデータに適用し得る。加えて、ビデオエンコーダ200は、モード依存非分離可能二次変換(MDNSST: mode-dependent non-separable secondary transform)、信号依存変換、カルーネンレーベ変換(KLT)などの二次的な変換を、最初の変換に続いて適用し得る。ビデオエンコーダ200は、1つまたは複数の変換の適用に続いて変換係数を生成する。
上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ200は、変換係数の量子化を実行し得る。量子化は一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を実現するプロセスを指す。量子化プロセスを実行することによって、ビデオエンコーダ200は、変換係数の一部またはすべてに関連するビット深度を低減し得る。たとえば、ビデオエンコーダ200は、量子化の間にnビット値をmビット値に切り捨ててもよく、ここで、nはmよりも大きい。いくつかの例では、量子化を実行するために、ビデオエンコーダ200は、量子化されるべき値のビット単位の右シフトを実行してもよい。
量子化に続いて、ビデオエンコーダ200は、変換係数を走査し、量子化された変換係数を含む2次元行列から1次元ベクトルを生成し得る。走査は、より高いエネルギー(それゆえより低い周波数)の変換係数をベクトルの前方に置き、より低いエネルギー(それゆえより高い周波数)の変換係数をベクトルの後方に置くように設計され得る。いくつかの例では、ビデオエンコーダ200は、量子化された変換係数を走査するためにあらかじめ定められた走査順序を利用して直列化されたベクトルを生成し、次いで、ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ200は、適応走査を実行し得る。1次元ベクトルを形成するために量子化された変換係数を走査した後、ビデオエンコーダ200は、たとえばコンテキスト適応バイナリ算術コーディング(CABAC)に従って、1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ200はまた、ビデオデータを復号する際にビデオデコーダ300によって使用するための符号化されたビデオデータに関連するメタデータを記述するシンタックス要素に対する値をエントロピー符号化し得る。
CABACを実行するために、ビデオエンコーダ200は、送信されるべきシンボルにコンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接する値が0であるかどうかに関連し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
ビデオエンコーダ200はさらに、ビデオデコーダ300への、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、または、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、もしくはビデオパラメータセット(VPS)などの他のシンタックスデータにおいて生成し得る。ビデオデコーダ300は、対応するビデオデータをどのように復号するかを決定するために、そのようなシンタックスデータを同様に復号し得る。
このようにして、ビデオエンコーダ200は、符号化されたビデオデータ、たとえば、ブロック(たとえば、CU)へのピクチャの区分ならびにブロックに対する予測および/または残差情報を記述するシンタックス要素を含む、ビットストリームを生成し得る。最終的に、ビデオデコーダ300は、ビットストリームを受信し、符号化されたビデオデータを復号し得る。
一般に、ビデオデコーダ300は、ビットストリームの符号化されたビデオデータを復号するために、ビデオエンコーダ200によって実行されたプロセスと逆のプロセスを実行する。たとえば、ビデオデコーダ300は、ビデオエンコーダ200のCABAC符号化プロセスと逆ではあるが実質的に同様の方式で、CABACを使用してビットストリームのシンタックス要素に対する値を復号し得る。シンタックス要素は、ピクチャをCTUに区分するための区分情報、およびQTBT構造などの対応する区分構造に従った各CTUの区分を定義して、CTUのCUを定義し得る。シンタックス要素はさらに、ビデオデータのブロック(たとえば、CU)に対する予測および残差情報を定義し得る。
残差情報は、たとえば量子化された変換係数によって表され得る。ビデオデコーダ300は、ブロックの量子化された変換係数を逆量子化し逆変換して、ブロックのための残差ブロックを再生し得る。ビデオデコーダ300は、シグナリングされた予測モード(イントラ予測またはインター予測)および関連する予測情報(たとえば、インター予測のための動き情報)を使用して、ブロックのための予測ブロックを形成する。ビデオデコーダ300は次いで、予測ブロックと残差ブロックとを(サンプルごとに)組み合わせて、元のブロックを再生し得る。ビデオデコーダ300は、ブロックの境界に沿った視覚的なアーティファクトを減らすために、デブロッキング処理を実行することなどの、追加の処理を実行し得る。
本開示の技法によれば、方法は、少なくとも1つの改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用するステップと、少なくとも1つの改良された動きベクトルに基づいてブロックを復号するステップとを含み、マルチパスDMVRは、ブロックベースでありビデオデータのブロックに適用される第1のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第2パスサブブロックに適用される第2のパスであって、第2パスサブブロックの幅がビデオデータのブロックの幅以下であり、第2パスサブブロックの高さがビデオデータのブロックの高さ以下である、第2のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第3パスサブブロックに適用される第3のパスであって、第3パスサブブロックの幅が第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが第2パスサブブロックの高さ以下である、第3のパスとを備える。
本開示の技法によれば、デバイスは、ビデオデータを記憶するように構成されるメモリと、回路で実装されメモリに通信可能に結合される1つまたは複数のプロセッサとを含み、1つまたは複数のプロセッサは、少なくとも1つの改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用し、少なくとも1つの改良された動きベクトルに基づいてブロックを復号するように構成され、マルチパスDMVRは、ブロックベースでありビデオデータのブロックに適用される第1のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第2パスサブブロックに適用される第2のパスであって、第2パスサブブロックの幅がビデオデータのブロックの幅以下であり、第2パスサブブロックの高さがビデオデータのブロックの高さ以下である、第2のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第3パスサブブロックに適用される第3のパスであって、第3パスサブブロックの幅が第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが第2パスサブブロックの高さ以下である、第3のパスとを備える。
本開示の技法によれば、非一時的コンピュータ可読媒体は、実行されると、1つまたは複数のプロセッサに、少なくとも1つの改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルへマルチパスデコーダ側動きベクトル改良(DMVR)を適用させ、少なくとも1つの改良された動きベクトルに基づいてブロックを復号させる、命令を記憶し、マルチパスDMVRは、ブロックベースでありビデオデータのブロックに適用される第1のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第2パスサブブロックに適用される第2のパスであって、第2パスサブブロックの幅がビデオデータのブロックの幅以下であり、第2パスサブブロックの高さがビデオデータのブロックの高さ以下である、第2のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第3パスサブブロックに適用される第3のパスであって、第3パスサブブロックの幅が第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが第2パスサブブロックの高さ以下である、第3のパスとを備える。
本開示の技法によれば、デバイスは、少なくとも1つの改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用するための手段と、少なくとも1つの改良された動きベクトルに基づいてブロックを復号するための手段とを含み、マルチパスDMVRは、ブロックベースでありビデオデータのブロックに適用される第1のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第2パスサブブロックに適用される第2のパスであって、第2パスサブブロックの幅がビデオデータのブロックの幅以下であり、第2パスサブブロックの高さがビデオデータのブロックの高さ以下である、第2のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第3パスサブブロックに適用される第3のパスであって、第3パスサブブロックの幅が第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが第2パスサブブロックの高さ以下である、第3のパスとを備える。
本開示の技法によれば、方法は、改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用するステップと、改良された動きベクトルに基づいてブロックをコーディングするステップとを含む。
本開示の技法によれば、デバイスは、ビデオデータを記憶するように構成されるメモリと、回路で実装されメモリに通信可能に結合される1つまたは複数のプロセッサとを含み、1つまたは複数のプロセッサは、本開示の技法のいずれかを実行するように構成される。
本開示の技法によれば、デバイスは、本開示の技法のいずれかを実行するための少なくとも1つの手段を含む。
本開示の技法によれば、コンピュータ可読記憶媒体には、実行されると、プログラマブルプロセッサに本開示の技法のいずれかを実行させる命令が符号化されている。
本開示は全般に、シンタックス要素などの何らかの情報を「シグナリングすること」に言及することがある。「シグナリング」という用語は、全般に、シンタックス要素に対する値、および/または符号化されたビデオデータを復号するために使用される他のデータの通信を指すことがある。すなわち、ビデオエンコーダ200は、ビットストリームにおいてシンタックス要素に対する値をシグナリングし得る。一般に、シグナリングは、ビットストリームにおいて値を生成することを指す。上で述べられたように、ソースデバイス102は、実質的にリアルタイムで、または非リアルタイムでビットストリームをデスティネーションデバイス116に転送してもよく、これは、デスティネーションデバイス116により後で取り出すためにシンタックス要素を記憶デバイス112に記憶するときなどに起こることがある。
図2Aおよび図2Bは、例示的な四分木二分木(QTBT)構造130および対応するコーディングツリーユニット(CTU)132を示す概念図である。実線は四分木分割を表し、点線は二分木分割を示す。二分木の各分割(すなわち、非リーフ)ノードでは、どちらの分割タイプ(すなわち、水平または垂直)が使用されるかを示すために1つのフラグがシグナリングされ、この例では0が水平の分割を示し、1が垂直の分割を示す。四分木分割の場合、四分木ノードがブロックをサイズが等しい4つのサブブロックに水平にかつ垂直に分割するので、分割タイプを示す必要はない。したがって、QTBT構造130の領域木レベル(すなわち、実線)のためのシンタックス要素(分割情報など)およびQTBT構造130の予測木レベル(すなわち、破線)のためのシンタックス要素(分割情報など)を、ビデオエンコーダ200は符号化してもよく、ビデオデコーダ300は復号してもよい。QTBT構造130の末端リーフノードによって表されるCUのための、予測データおよび変換データなどのビデオデータを、ビデオエンコーダ200は符号化してもよく、ビデオデコーダ300は復号してもよい。
一般に、図2BのCTU132は、第1および第2のレベルにおけるQTBT構造130のノードに対応するブロックのサイズを定義するパラメータと関連付けられ得る。これらのパラメータは、CTUサイズ(サンプルの中のCTU132のサイズを表す)、最小四分木サイズ(MinQTSize、最小の許容される四分木リーフノードサイズを表す)、最大二分木サイズ(MaxBTSize、最大の許容される二分木ルートノードサイズを表す)、最大二分木深度(MaxBTDepth、最大の許容される二分木深度を表す)、および最小二分木サイズ(MinBTSize、最小の許容される二分木リーフノードサイズを表す)を含み得る。
CTUに対応するQTBT構造のルートノードは、QTBT構造の第1のレベルにおいて4つの子ノードを有してもよく、それらの各々が、四分木区分に従って区分されてもよい。すなわち、第1のレベルのノードは、リーフノード(子ノードを有しない)を有するか、または4つの子ノードを有するかのいずれかである。QTBT構造130の例は、親ノードと、分岐のための実線を有する子ノードとを含むものとして、そのようなノードを表す。第1のレベルのノードが最大の許容される二分木ルートノードサイズ(MaxBTSize)より大きくない場合、ノードはそれぞれの二分木によってさらに区分され得る。分割に起因するノードが最小の許容される二分木リーフノードサイズ(MinBTSize)または最大の許容される二分木深度(MaxBTDepth)に達するまで、1つのノードの二分木分割が繰り返され得る。QTBT構造130の例は、分岐のための破線を有するようなノードを表す。二分木リーフノードはコーディングユニット(CU)と呼ばれ、これは、さらなる区分なしで予測(たとえば、ピクチャ内またはピクチャ間予測)および変換のために使用される。上で論じられたように、CUは「ビデオブロック」または「ブロック」とも呼ばれ得る。
QTBT区分構造の一例では、CTUサイズは128×128(ルマサンプルおよび2つの対応する64×64クロマサンプル)として設定され、MinQTSizeは16×16として設定され、MaxBTSizeは64×64として設定され、MinBTSize(幅と高さの両方に対して)は4として設定され、MaxBTDepthは4として設定される。四分木リーフノードを生成するために、四分木区分がまずCTUに適用される。四分木リーフノードは、16×16(すなわち、MinQTSize)から128×128(すなわち、CTUサイズ)までのサイズを有し得る。四分木リーフノードが128×128である場合、サイズがMaxBTSize(すなわち、この例では64×64)を超えるので、四分木リーフノードは二分木によってさらに分割されない。それ以外の場合、四分木リーフノードは二分木によってさらに区分される。したがって、四分木リーフノードは二分木のルートノードでもあり、0という二分木深度を有する。二分木深度がMaxBTDepth(この例では4)に達するとき、さらなる分割は許可されない。MinBTSize(この例では4)に等しい幅を有する二分木ノードは、その二分木ノードに対してさらなる垂直分割(すなわち、幅の分割)が許可されないことを示唆する。同様に、MinBTSizeに等しい高さを有する二分木ノードは、その二分木ノードに対してさらなる水平分割(すなわち、高さの分割)が許可されないことを示唆する。上述のように、二分木のリーフノードはCUと呼ばれ、さらなる区分なしで予測および変換に従ってさらに処理される。
図3は、本開示の技法を実行し得る例示的なビデオエンコーダ200を示すブロック図である。図3は、説明のために提供され、本開示において広く例示および説明されるような技法の限定と見なされるべきでない。説明のために、本開示は、VVC(ITU-T H.266)、およびHEVC(ITU-T H.265)の技法によるビデオエンコーダ200を説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に従って構成されるビデオ符号化デバイスによって実行され得る。
図3の例では、ビデオエンコーダ200は、ビデオデータメモリ230、モード選択ユニット202、残差生成ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、フィルタユニット216、復号ピクチャバッファ(DPB)218、およびエントロピー符号化ユニット220を含む。ビデオデータメモリ230、モード選択ユニット202、残差生成ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、フィルタユニット216、DPB218、およびエントロピー符号化ユニット220のいずれかまたはすべては、1つまたは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオエンコーダ200のユニットは、ハードウェア回路の一部としての1つまたは複数の回路もしくは論理要素として、またはプロセッサ、ASIC、もしくはFPGAの一部として実装され得る。さらに、ビデオエンコーダ200は、これらおよび他の機能を実行するための追加または代替のプロセッサまたは処理回路を含み得る。
ビデオデータメモリ230は、ビデオエンコーダ200のコンポーネントによって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ200は、ビデオデータメモリ230に記憶されるビデオデータを、たとえば、ビデオソース104(図1)から受信し得る。DPB218は、ビデオエンコーダ200による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する、参照ピクチャメモリとして作動し得る。ビデオデータメモリ230およびDPB218は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM)、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ230およびDPB218は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ230は、示されるように、ビデオエンコーダ200の他のコンポーネントとともにオンチップであってもよく、またはそれらのコンポーネントに対してオフチップであってもよい。
本開示では、ビデオデータメモリ230への言及は、そのように別段記述されない限り、ビデオエンコーダ200の内部のメモリに限定されるものとして解釈されるべきではなく、または、そのように別段記述されない限り、ビデオエンコーダ200の外部のメモリに限定されるものとして解釈されるべきではない。むしろ、ビデオデータメモリ230への言及は、ビデオエンコーダ200が符号化のために受信するビデオデータ(たとえば、符号化されるべき現在ブロックに対するビデオデータ)を記憶する参照メモリとして理解されるべきである。図1のメモリ106はまた、ビデオエンコーダ200の様々なユニットからの出力の一時的な記憶を行い得る。
図3の様々なユニットは、ビデオエンコーダ200によって実行される動作を理解するのを助けるために示されている。ユニットは、固定機能の回路、プログラマブル回路、またはこれらの組合せとして実装され得る。固定機能の回路は、特定の機能を提供する回路を指し、実行され得る動作があらかじめ設定される。プログラマブル回路は、様々なタスクを実行するようにプログラムされ得る回路を指し、実行され得る動作において柔軟な機能を提供する。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される方式で、プログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能の回路は、(たとえば、パラメータを受信するために、またはパラメータを出力するために)ソフトウェア命令を実行し得るが、固定機能の回路が実行する動作のタイプは、一般に不変である。いくつかの例では、ユニットのうちの1つまたは複数は、異なる回路ブロック(固定機能またはプログラマブル)であってもよく、いくつかの例では、ユニットのうちの1つまたは複数は集積回路であってもよい。
ビデオエンコーダ200は、算術論理ユニット(ALU)、基本機能ユニット(EFU)、デジタル回路、アナログ回路、および/または、プログラム可能回路から形成されるプログラマブルコアを含み得る。ビデオエンコーダ200の動作がプログラマブル回路によって実行されるソフトウェアを使用して実行される例では、メモリ106(図1)が、ビデオエンコーダ200が受信および実行するソフトウェアの命令(たとえば、オブジェクトコード)を記憶してもよく、またはビデオエンコーダ200内の別のメモリ(図示せず)が、そのような命令を記憶してもよい。
ビデオデータメモリ230は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ200は、ビデオデータメモリ230からビデオデータのピクチャを取り出し、ビデオデータを残差生成ユニット204およびモード選択ユニット202に提供し得る。ビデオデータメモリ230中のビデオデータは、符号化されるべき未加工のビデオデータであってもよい。
モード選択ユニット202は、動き推定ユニット222、動き補償ユニット224、およびイントラ予測ユニット226を含む。モード選択ユニット202は、他の予測モードに従ってビデオ予測を実行するための追加の機能ユニットを含み得る。例として、モード選択ユニット202は、パレットユニット、イントラブロックコピーユニット(これは、動き推定ユニット222および/または動き補償ユニット224の一部であり得る)、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。
モード選択ユニット202は全般に、複数の符号化パスを協調させて、符号化パラメータの組合せと、そのような組合せに対して得られるレートひずみ値を試験する。符号化パラメータは、CUへのCTUの区分、CUに対する予測モード、CUの残差データに対する変換タイプ、CUの残差データに対する量子化パラメータなどを含み得る。モード選択ユニット202は最終的に、他の試験された組合せより良いレートひずみ値を有する符号化パラメータの組合せを選択し得る。
ビデオエンコーダ200は、ビデオデータメモリ230から取り出されたピクチャを一連のCTUに区分し、スライス内に1つまたは複数のCTUをカプセル化し得る。モード選択ユニット202は、QTBT構造または上で説明されたHEVCの四分木構造などの、木構造に従ってピクチャのCTUを区分し得る。上で説明されたように、ビデオエンコーダ200は、木構造に従ってCTUを区分することから1つまたは複数のCUを形成し得る。そのようなCUは、一般に「ビデオブロック」または「ブロック」とも呼ばれ得る。
一般に、モード選択ユニット202はまた、現在ブロック(たとえば、現在CU、またはHEVCでは、PUとTUの重複部分)に対する予測ブロックを生成するように、そのコンポーネント(たとえば、動き推定ユニット222、動き補償ユニット224、およびイントラ予測ユニット226)を制御する。現在ブロックのインター予測の場合、動き推定ユニット222は、1つまたは複数の参照ピクチャ(たとえば、DPB218に記憶されている1つまたは複数の以前にコーディングされたピクチャ)の中の1つまたは複数のよく一致する参照ブロックを特定するために、動き探索を実行し得る。具体的には、動き推定ユニット222は、たとえば、絶対差分和(SAD)、二乗差分和(SSD)、平均絶対差(MAD)、平均二乗差(MSD)などに従って、潜在的な参照ブロックが現在ブロックとどれだけ類似しているかを表す値を計算し得る。動き推定ユニット222は一般に、現在ブロックと検討されている参照ブロックとの間のサンプルごとの差を使用して、これらの計算を実行し得る。動き推定ユニット222は、現在ブロックと最もよく一致する参照ブロックを示す、これらの計算に起因する最低の値を有する参照ブロックを特定し得る。
動き推定ユニット222は、現在ピクチャの中の現在ブロックの位置に対する相対的な参照ピクチャの中の参照ブロックの位置を定義する、1つまたは複数の動きベクトル(MV)を形成し得る。動き推定ユニット222は次いで、動きベクトルを動き補償ユニット224に提供し得る。たとえば、単方向のインター予測の場合、動き推定ユニット222は単一の動きベクトルを提供してもよく、一方、双方向インター予測の場合、動き推定ユニット222は2つの動きベクトルを提供してもよい。動き補償ユニット224は次いで、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット224は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが非整数サンプル精度を有する場合、動き補償ユニット224は、1つまたは複数の補間フィルタに従って、予測ブロックに対する値を補間し得る。その上、双方向インター予測の場合、動き補償ユニット224は、それぞれの動きベクトルによって特定される2つの参照ブロックに対するデータを取り出し、たとえば、サンプルごとの平均または加重平均を通じて、取り出されたデータを組み合わせ得る。
別の例として、イントラ予測またはイントラ予測コーディングの場合、イントラ予測ユニット226は、現在ブロックに隣接するサンプルから予測ブロックを生成し得る。たとえば、指向性モードの場合、イントラ予測ユニット226は一般に、隣接するサンプルの値を数学的に組み合わせて、現在ブロックにわたって定められた方向においてこれらの計算された値をポピュレートして、予測ブロックを生み出し得る。別の例として、DCモードの場合、イントラ予測ユニット226は、現在ブロックに隣接するサンプルの平均を計算し、予測ブロックの各サンプルに対するこの得られた平均を含むように予測ブロックを生成し得る。
モード選択ユニット202は、予測ブロックを残差生成ユニット204に提供する。残差生成ユニット204は、ビデオデータメモリ230から現在ブロックの未加工の符号化されていないバージョンを受信し、モード選択ユニット202から予測ブロックを受信する。残差生成ユニット204は、現在ブロックと予測ブロックとのサンプルごとの差を計算する。得られるサンプルごとの差は、現在ブロックに対する残差ブロックを定義する。いくつかの例では、残差生成ユニット204はまた、残差差分パルス符号変調(RDPCM: residual differential pulse code modulation)を使用して残差ブロックを生成するために、残差ブロックの中のサンプル値間の差を決定し得る。いくつかの例では、残差生成ユニット204は、二進減算を実行する1つまたは複数の減算器回路を使用して形成され得る。
モード選択ユニット202がCUをPUへと区分する例では、各PUは、ルマ予測ユニットおよび対応するクロマ予測ユニットと関連付けられ得る。ビデオエンコーダ200およびビデオデコーダ300は、様々なサイズを有するPUをサポートし得る。上で示されたように、CUのサイズは、CUのルマコーディングブロックのサイズを指すことがあり、PUのサイズは、PUのルマ予測ユニットのサイズを指すことがある。特定のCUのサイズが2N×2Nであると仮定すると、ビデオエンコーダ200は、イントラ予測に対して2N×2NまたはN×NというPUサイズ、およびインター予測に対して2N×2N、2N×N、N×2N、N×N、または類似の対称的なPUサイズをサポートし得る。ビデオエンコーダ200およびビデオデコーダ300はまた、インター予測に対して、2N×nU、2N×nD、nL×2N、およびnR×2NというPUサイズのための非対称区分をサポートし得る。
モード選択ユニット202がCUをPUへとさらに区分しない例では、各CUはルマコーディングブロックおよび対応するクロマコーディングブロックと関連付けられ得る。上のように、CUのサイズは、CUのルマコーディングブロックのサイズを指し得る。ビデオエンコーダ200およびビデオデコーダ300は、2N×2N、2N×N、またはN×2NというCUサイズをサポートし得る。
いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル(LM)モードコーディングなどの他のビデオコーディング技法の場合、モード選択ユニット202は、コーディング技法に関連するそれぞれのユニットを介して、符号化されている現在ブロックのための予測ブロックを生成する。パレットモードコーディングなどのいくつかの例では、モード選択ユニット202は、予測ブロックを生成しなくてもよく、代わりに、選択されたパレットに基づいてブロックを再構築する方式を示すシンタックス要素を生成してもよい。そのようなモードでは、モード選択ユニット202は、符号化されるべきエントロピー符号化ユニット220にこれらのシンタックス要素を提供し得る。
上で説明されたように、残差生成ユニット204は、現在ブロックおよび対応する予測ブロックに対するビデオデータを受信する。残差生成ユニット204は次いで、現在ブロックに対する残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット204は、予測ブロックと現在ブロックとのサンプルごとの差を計算する。
変換処理ユニット206は、1つまたは複数の変換を残差ブロックに適用して、変換係数のブロック(「変換係数ブロック」と本明細書で呼ばれる)を生成する。変換処理ユニット206は、残差ブロックに様々な変換を適用して、変換係数ブロックを形成し得る。たとえば、変換処理ユニット206は、離散コサイン変換(DCT)、方向変換、カルーネンレーベ変換(KLT)、または概念的に類似の変換を、残差ブロックに適用し得る。いくつかの例では、変換処理ユニット206は、複数の変換、たとえば、回転変換などの一次変換および二次変換を残差ブロックに対して実行し得る。いくつかの例では、変換処理ユニット206は、残差ブロックに変換を適用しない。
量子化ユニット208は、変換係数ブロックの中の変換係数を量子化して、量子化された変換係数ブロックを生成し得る。量子化ユニット208は、現在ブロックに関連する量子化パラメータ(QP)値に従って、変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ200は(たとえば、モード選択ユニット202を介して)、CUに関連するQP値を調整することによって、現在ブロックに関連する変換係数ブロックに適用される量子化の程度を調整し得る。量子化が情報の損失をもたらすことがあり、したがって、量子化された変換係数は、変換処理ユニット206によって生成される元の変換係数より精度が低いことがある。
逆量子化ユニット210および逆変換処理ユニット212は、それぞれ、量子化された変換係数ブロックに逆量子化および逆変換を適用して、変換係数ブロックから残差ブロックを再構築し得る。再構築ユニット214は、モード選択ユニット202によって生成される再構築された残差ブロックおよび予測ブロックに基づいて、(ある程度のひずみを伴う可能性があるが)現在ブロックに対応する再構築されたブロックを生成し得る。たとえば、再構築ユニット214は、モード選択ユニット202によって生成される予測ブロックからの対応するサンプルに再構築された残差ブロックのサンプルを加算して、再構築されたブロックを生成し得る。
フィルタユニット216は、再構築されたブロックに対して1回または複数回のフィルタ動作を実行し得る。たとえば、フィルタユニット216は、CUの端部に沿ったブロッキネスアーティファクトを減らすために、デブロッキング動作を実行し得る。いくつかの例では、フィルタユニット216の動作はスキップされ得る。
ビデオエンコーダ200は、DPB218に再構築されたブロックを記憶する。たとえば、フィルタユニット216の動作が実行されない例では、再構築ユニット214が再構築されたブロックをDPB218に記憶し得る。フィルタユニット216の動作が実行される例では、フィルタユニット216は、フィルタリングされた再構築されたブロックをDPB218に記憶し得る。動き推定ユニット222および動き補償ユニット224は、後で符号化されるピクチャのブロックをインター予測するために、再構築された(および場合によってはフィルタリングされた)ブロックから形成される、DPB218から参照ピクチャを取り出し得る。加えて、イントラ予測ユニット226は、現在ピクチャの中の他のブロックをイントラ予測するために、現在ピクチャのDPB218の中の再構築されたブロックを使用し得る。
一般に、エントロピー符号化ユニット220は、ビデオエンコーダ200の他の機能コンポーネントから受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット220は、量子化ユニット208から量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット220は、モード選択ユニット202からの予測シンタックス要素(たとえば、インター予測のための動き情報またはイントラ予測のためのイントラモード情報)をエントロピー符号化し得る。エントロピー符号化ユニット220は、1つまたは複数のエントロピー符号化動作を、ビデオデータの別の例であるシンタックス要素に対して実行して、エントロピー符号化されたデータを生成し得る。たとえば、エントロピー符号化ユニット220は、コンテキスト適応可変長コーディング(CAVLC)動作、CABAC動作、可変長-可変長(V2V)コーディング動作、シンタックスベースコンテキスト適応バイナリ算術コーディング(SBAC)動作、確率間隔区分エントロピー(PIPE)コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作を、データに対して実行し得る。いくつかの例では、エントロピー符号化ユニット220は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。
ビデオエンコーダ200は、スライスまたはピクチャのブロックを再構築するために必要とされるエントロピー符号化されたシンタックス要素を含むビットストリームを出力し得る。具体的には、エントロピー符号化ユニット220がビットストリームを出力し得る。
上で説明された動作は、ブロックに関して説明される。そのような説明は、ルマコーディングブロックおよび/またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上で説明されたように、いくつかの例では、ルマコーディングブロックおよびクロマコーディングブロックは、CUのルマ成分およびクロマ成分である。いくつかの例では、ルマコーディングブロックおよびクロマコーディングブロックは、PUのルマ成分およびクロマ成分である。
いくつかの例では、ルマコーディングブロックに関して実行される動作は、クロマコーディングブロックに対して繰り返される必要はない。一例として、ルマコーディングブロックのための動きベクトル(MV)および参照ピクチャを特定するための動作が、クロマブロックのためのMVおよび参照ピクチャを特定するために繰り返される必要はない。むしろ、ルマコーディングブロックのためのMVは、クロマブロックのためのMVを決定するためにスケーリングされてもよく、参照ピクチャは同じであってもよい。別の例として、イントラ予測プロセスは、ルマコーディングブロックおよびクロマコーディングブロックについて同じであってもよい。
図4は、本開示の技法を実行し得る例示的なビデオデコーダ300を示すブロック図である。図4は、説明のために提供され、本開示において広く例示および説明されるような技法を限定するものではない。説明のために、本開示は、VVC(ITU-T H.266)、およびHEVC(ITU-T H.265)の技法によるビデオデコーダ300を説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に従って構成されるビデオコーディングデバイスによって実行され得る。
図4の例では、ビデオデコーダ300は、コーディングピクチャバッファ(CPB)メモリ320、エントロピー復号ユニット302、予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構築ユニット310、フィルタユニット312、および復号ピクチャバッファ(DPB)314を含む。CPBメモリ320、エントロピー復号ユニット302、予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構築ユニット310、フィルタユニット312、およびDPB314のいずれかまたはすべてが、1つまたは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオデコーダ300のユニットは、ハードウェア回路の一部としての1つまたは複数の回路もしくは論理要素として、またはプロセッサ、ASIC、もしくはFPGAの一部として実装され得る。さらに、ビデオデコーダ300は、これらおよび他の機能を実行するための追加または代替のプロセッサまたは処理回路を含み得る。
予測処理ユニット304は、動き補償ユニット316およびイントラ予測ユニット318を含む。予測処理ユニット304は、他の予測モードに従って予測を実行するための追加のユニットを含み得る。例として、予測処理ユニット304は、パレットユニット、イントラブロックコピーユニット(これは、動き補償ユニット316の一部を形成し得る)、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。他の例では、ビデオデコーダ300は、より多数の、より少数の、または異なる機能コンポーネントを含み得る。動き補償ユニット316は、以下の動き補償ユニット316の議論において説明される、マルチパスDMVRユニット(MPDMVR)317を含み得る。
CPBメモリ320は、ビデオデコーダ300のコンポーネントによって復号されるべき、符号化されたビデオビットストリームなどのビデオデータを記憶し得る。CPUメモリ320に記憶されるビデオデータは、たとえば、コンピュータ可読媒体110(図1)から取得され得る。CPUメモリ320は、符号化されたビデオビットストリームからの符号化されたビデオデータ(たとえば、シンタックス要素)を記憶するCPBを含み得る。また、CPBメモリ320は、ビデオデコーダ300の様々なユニットからの出力を表す一時データなどの、コーディングされたピクチャのシンタックス要素以外のビデオデータを記憶し得る。DPB314は一般に復号されたピクチャを記憶し、ビデオデコーダ300は、符号化されたビデオビットストリームの後続のデータまたはピクチャを復号するとき、参照ビデオデータとしてこの復号されたピクチャを出力および/または使用し得る。CPBメモリ320およびDPB314は、SDRAMを含むDRAM、MRAM、RRAM、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。CPUメモリ320およびDPB314は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、CPBメモリ320は、ビデオデコーダ300の他のコンポーネントとともにオンチップであってよく、またはそれらのコンポーネントに対してオフチップであってよい。
追加または代替として、いくつかの例では、ビデオデコーダ300は、メモリ120(図1)からコーディングされたビデオデータを取り出し得る。すなわち、メモリ120は、CPBメモリ320とともに上で論じられたようなデータを記憶し得る。同様に、メモリ120は、ビデオデコーダ300の機能の一部またはすべてがビデオデコーダ300の処理回路によって実行されるべきソフトウェアにおいて実装されるとき、ビデオデコーダ300によって実行されるべき命令を記憶し得る。
図4に示される様々なユニットは、ビデオデコーダ300によって実行される動作を理解するのを助けるために示されている。ユニットは、固定機能の回路、プログラマブル回路、またはこれらの組合せとして実装され得る。図3と同様に、固定機能の回路は、特定の機能を提供する回路を指し、実行され得る動作があらかじめ設定されている。プログラマブル回路は、様々なタスクを実行するようにプログラムされ得る回路を指し、実行され得る動作において柔軟な機能を提供する。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される方式で、プログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能の回路は、(たとえば、パラメータを受信するために、またはパラメータを出力するために)ソフトウェア命令を実行し得るが、固定機能の回路が実行する動作のタイプは、一般に不変である。いくつかの例では、ユニットのうちの1つまたは複数は、異なる回路ブロック(固定機能またはプログラマブル)であってもよく、いくつかの例では、ユニットのうちの1つまたは複数は集積回路であってもよい。
ビデオデコーダ300は、ALU、EFU、デジタル回路、アナログ回路、および/または、プログラム可能回路から形成されるプログラマブルコアを含み得る。ビデオデコーダ300の動作がプログラム可能回路上で実行されるソフトウェアによって実行される例では、オンチップメモリまたはオフチップメモリは、ビデオデコーダ300が受信して実行するソフトウェアの命令(たとえば、オブジェクトコード)を記憶し得る。
エントロピー復号ユニット302は、CPBから符号化されたビデオデータを受信し、ビデオデータをエントロピー復号して、シンタックス要素を再生し得る。予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構築ユニット310、およびフィルタユニット312は、ビットストリームから抽出されたシンタックス要素に基づいて、復号されたビデオデータを生成し得る。
一般に、ビデオデコーダ300は、ブロックごとにピクチャを再構築する。ビデオデコーダ300は、各ブロックに対する再構築動作を個別に実行し得る(ここで、現在再構築されている、すなわち復号されているブロックは、「現在ブロック」と呼ばれ得る)。
エントロピー復号ユニット302は、量子化された変換係数ブロックの量子化された変換係数を定義するシンタックス要素、ならびに、量子化パラメータ(QP)および/または変換モード指示などの変換情報をエントロピー復号し得る。逆量子化ユニット306は、量子化の程度と、同様に、逆量子化ユニット306が適用すべき逆量子化の程度とを決定するために、量子化された変換係数ブロックと関連付けられるQPを使用し得る。逆量子化ユニット306は、たとえば、ビットごとの左シフト演算を実行して、量子化された変換係数を逆量子化し得る。こうして、逆量子化ユニット306は、変換係数を含む変換係数ブロックを形成し得る。
逆量子化ユニット306が変換係数ブロックを形成した後、逆変換処理ユニット308は、現在ブロックに関連する残差ブロックを生成するために、変換係数ブロックに1つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット308は、逆DCT、逆整数変換、逆カルーネンレーベ変換(KLT)、逆回転変換、逆方向変換、または別の逆変換を、変換係数ブロックに適用し得る。
さらに、予測処理ユニット304は、エントロピー復号ユニット302によってエントロピー復号された予測情報シンタックス要素に従って、予測ブロックを生成する。たとえば、現在ブロックがインター予測されることを、予測情報シンタックス要素が示す場合、動き補償ユニット316は、予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそこから取り出すべきDPB314の中の参照ピクチャ、ならびに、現在ピクチャの中の現在ブロックの位置に対する相対的な参照ピクチャの中の参照ブロックの位置を特定する動きベクトルを示し得る。動き補償ユニット316は一般に、動き補償ユニット224(図3)に関して説明されるものと実質的に同様の方式で、インター予測処理を実行し得る。
いくつかの例では、動き補償ユニット316は、マルチパスDMVRユニット317を含み得る。マルチパスDMVRユニット317は、改良された動きベクトルを決定するために、ビデオデータのブロックのための動きベクトルにマルチパスDMVRを適用し得る。マルチパスDMVRは、ブロックベースでありビデオデータのブロックに適用される、第1のパスを含み得る。マルチパスDMVRは、サブブロックベースでありビデオデータのブロックの少なくとも1つの第2パスサブブロックに適用される、第2のパスを含み得る。マルチパスDMVRは、サブブロックベースでありビデオデータのブロックの少なくとも1つの第3パスサブブロックに適用される、第3のパスを含み得る。第2パスサブブロックの幅は、ビデオデータのブロックの幅以下であってもよく、第2パスサブブロックの高さは、ビデオデータのブロックの高さ以下であってもよい。第3パスサブブロックの幅は、第2パスサブブロックの幅以下であってもよく、第3パスサブブロックの高さは、第2パスサブブロックの高さ以下である。マルチパスDMVR技法のさらなる例および説明は、本開示において後で説明される。
別の例として、現在ブロックがイントラ予測されることを、予測情報シンタックス要素が示す場合、イントラ予測ユニット318は、予測情報シンタックス要素によって示されるイントラ予測モードに従って、予測ブロックを生成し得る。再び、イントラ予測ユニット318は一般に、イントラ予測ユニット226(図3)に関して説明されるものと実質的に同様の方式で、イントラ予測処理を実行し得る。イントラ予測ユニット318は、DPB314から現在ブロックに隣接するサンプルのデータを取り出し得る。
再構築ユニット310は、予測ブロックと残差ブロックとを使用して現在ブロックを再構築し得る。たとえば、再構築ユニット310は、予測ブロックの対応するサンプルに残差ブロックのサンプルを追加して、現在ブロックを再構築し得る。
フィルタユニット312は、再構築されたブロックに対して1回または複数回のフィルタ動作を実行し得る。たとえば、フィルタユニット312は、再構築されたブロックの端部に沿ったブロッキネスアーティファクトを減らすために、デブロッキング動作を実行し得る。すべての例において、フィルタユニット312の動作が必ずしも実行されるとは限らない。
ビデオデコーダ300は、DPB314に再構築されたブロックを記憶し得る。たとえば、フィルタユニット312の動作が実行されない例では、再構築ユニット310は再構築されたブロックをDPB314に記憶し得る。フィルタユニット312の動作が実行される例では、フィルタユニット312は、フィルタリングされた再構築されたブロックをDPB314に記憶し得る。上で論じられたように、DPB314は、イントラ予測のための現在のピクチャおよび以後の動き補償のための以前に復号されたピクチャのサンプルなどの参照情報を、予測処理ユニット304に提供し得る。さらに、ビデオデコーダ300は、図1の表示デバイス118などの表示デバイス上に後で提示するための、DPB314からの復号されたピクチャ(たとえば、復号されたビデオ)を出力し得る。
このようにして、ビデオデコーダ300は、ビデオデータを記憶するように構成されるメモリと、回路で実装されメモリに通信可能に結合される1つまたは複数のプロセッサとを含む、ビデオ復号デバイスの例を表し、1つまたは複数のプロセッサは、少なくとも1つの改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用し、少なくとも1つの改良された動きベクトルに基づいてブロックを復号するように構成され、マルチパスDMVRは、ブロックベースでありビデオデータのブロックに適用される第1のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第2パスサブブロックに適用される第2のパスであって、第2パスサブブロックの幅がビデオデータのブロックの幅以下であり、第2パスサブブロックの高さがビデオデータのブロックの高さ以下である、第2のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第3パスサブブロックに適用される第3のパスであって、第3パスサブブロックの幅が第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが第2パスサブブロックの高さ以下である、第3のパスとを備える。
ビデオデコーダ300はまた、ビデオデータを記憶するように構成されるメモリと、回路で実装される1つまたは複数の処理ユニットとを含む、ビデオ復号デバイスの例を表し、処理ユニットは、改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用し、改良された動きベクトルに基づいてブロックを復号するように構成される。
本開示は、デコーダ側動きベクトル導出技法(たとえば、テンプレートマッチング、バイラテラルマッチング、デコーダ側MV改良、双方向オプティカルフローなど)に関連する。本開示の技法は、HEVC(High Efficiency Video Coding)、VVC(Versatile Video Coding)、Essential Video Coding(EVC)などの既存のビデオコーデックのいずれに適用されてもよく、またはあらゆる未来のビデオコーディング規格における効率的なコーディングツールになる可能性がある。このセクションでは、HEVCおよびJEM技法ならびに本開示に関連するVersatile Video Coding(VVC)における進行中の作業が最初に検討される。
ビデオコーディング規格は、そのスケーラブルビデオコーディング(SVC:Scalable Video Coding)拡張およびマルチビュービデオコーディング(MVC:Multi-view Video Coding)拡張を含む、ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262またはISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、およびITU-T H.264(ISO/IEC MPEG-4 AVCとも呼ばれる)を含む。Versatile Video Coding and Test Model 10(VTM 10.0)のアルゴリズム記述は、https://jvet-experts.org/から入手可能なJVET-T2002と呼ばれ得る。
HEVCにおけるCU構造および動きベクトル予測がここで論じられる。HEVCでは、スライスの中の最大のコーディングユニットは、コーディングツリーブロック(CTB)またはコーディングツリーユニット(CTU)と呼ばれる。CTBは、そのノードがコーディングユニットである四分木を含み得る。
(技術的には8×8のCTBサイズがサポートされ得るが)CTBのサイズは、HEVCメインプロファイルでは16×16から64×64にわたり得る。コーディングユニット(CU)は、CTBと同じサイズから8×8程度に小さいサイズまでのサイズを有し得る。各CUは、1つのモード、すなわちインターモードまたはイントラモードを用いてコーディングされる。CUがインターコーディングされるとき、CUは、2つもしくは4つの予測ユニット(PU)へとさらに区分されてもよく、またはさらなる区分が適用されないときには1つだけのPUのままであってもよい。2つのPUが1つのCUの中に存在するとき、2つのPUは、各々半分のサイズの長方形(CUのサイズの半分)であってもよく、または一方がCUの1/4のサイズで他方がCUの3/4のサイズである2つのサイズの長方形であってもよい。
CUがインターコーディングされるとき、各PUは動き情報の1つのセットを有し、これは固有のインター予測モードを用いて導出される。
ここで、動きベクトル予測が論じられる。HEVC規格では、PUに対して、マージモード(スキップはマージの特別な場合であると見なされる)および高度動きベクトル予測(AMVP)モードと名付けられた、2つのインター予測モードがある。
AMVPモードまたはマージモードのいずれでも、動きベクトル(MV)候補リストが、複数の動きベクトル予測子のために維持される。現在PUの、MV、ならびにマージモードにおける参照インデックスは、MV候補リストから1つの候補をとることによって生成される。たとえば、ビデオデコーダ300はMV候補リストを維持し得る。
MV候補リストは、マージモードのための最高で5つの候補とAMVPモードのための2つだけの候補とを含んでいる。マージ候補は、動き情報のセット、たとえば、参照ピクチャリスト(リスト0およびリスト1)と対応する参照インデックスとの両方に対応するMVを含み得る。マージ候補がマージインデックスによって特定される場合、現在ブロックの予測のために使用される参照ピクチャ、ならびに関連する動きベクトルが決定される。一方、リスト0またはリスト1のいずれかからの各々の潜在的な予測方向に対するAMVPモードでは、AMVP候補がMVしか含まないので、ビデオエンコーダ200は、MV予測子(MVP)インデックスとともに参照インデックスをMV候補リストに明示的にシグナリングし得る。AMVPモードでは、予測されるMVはさらに改良され得る。
ビデオデコーダ300は、同じ空間および時間隣接ブロックから同様に、両方のモードのための候補を導出し得る。
図5A～図5Bはそれぞれ、マージモードおよびAMVPモードのための例示的な空間隣接MV候補を示す概念図である。空間MV候補は、特定のPU(PU0)に対して図5Aおよび図5Bに示される隣接ブロックから導出されるが、ブロックから候補を生成する方法は、マージモードとAMVPモードとで異なる。
マージモードでは、PU0 500のための最高で4つの空間MV候補を、番号が増大するような図5Aにおいて示される順序で導出することができ、その順序は、左(0,A1)、上(1,B1)、右上(2,B0)、左下(3,A0)、および左上(4,B2)である。たとえば、ビデオデコーダ300は、上に記載された順序を使用して、PU0 500のための最大で4つの空間MV候補を導出し得る。
図5Bに示されるように、AMVPモードでは、PU0 502の隣接ブロックは2つのグループ、すなわちブロック0および1からなる左のグループと、ブロック2、3および4からなる上のグループに分割される。たとえば、ビデオデコーダ300は、隣接ブロックを左のグループおよび上のグループへと分割し得る。各グループに対して、シグナリングされた参照インデックスによって示される参照ピクチャと同じ参照ピクチャを参照する隣接ブロックの中の潜在的な候補は、グループの最終候補を形成するために選択される際の優先順位が最高である。すべての隣接ブロックが、同じ参照ピクチャを指す動きベクトルを含まないことがあり得る。したがって、そのような候補を見出すことができない場合、第1の利用可能な候補が、最終候補を形成するようにスケーリングされるので、時間距離の差が補償され得る。
HEVCにおける時間動きベクトル予測がここで論じられる。ビデオデコーダ300は、時間動きベクトル予測子(TMVP)候補を、有効であり利用可能である場合、任意の空間動きベクトル候補の後にMV候補リストに追加し得る。TMVP候補のための動きベクトル導出のプロセスは、マージモードとAMVPモードの両方に対して同じである。しかしながら、マージモードにおけるTMVP候補のための目標参照インデックスは常に0に設定され得る。
図6A～図6Bはそれぞれ、例示的なTMVP候補およびMVスケーリングを示す概念図である。TMVP候補導出のための主要ブロックの位置は、空間隣接候補を生成するために使用される上のブロックおよび左のブロックへのバイアスを補償するために、ブロック「T」600として図6Aにおいて示されている同一位置PUの外側の右下ブロックである。しかしながら、ブロックが現在CTBの行の外側に位置する場合(ブロック602として示される)、または動き情報が利用可能ではない場合、ブロックはPU0 606の中心ブロック604で置き換えられる。
TMVP候補のための動きベクトルは、スライスレベルで示される、同一位置ピクチャの同一位置PUから導出される。同一位置PUの動きベクトルは、同一位置MVと呼ばれる。
AVCにおける時間直接モードと同様に、TMVP候補を導出するために、同一位置MV610は、図6Bに示されるように、時間距離差分を補償するためにスケーリングされる必要がある。たとえば、ビデオデコーダ300は、時間距離差分を補償するために同一位置MV610をスケーリングし得る。
HEVCにおける動き予測の他の態様がここで論じられる。マージモードおよびAMVPモードのいくつかの態様は、次のように言及に値する。
動きベクトルのスケーリング: MVの値は提示時間におけるピクチャの距離に比例する。MVは、参照ピクチャ、および動きベクトルを含むピクチャ(たとえば、含有ピクチャまたは動きベクトルを使用して予測されているブロックを含むピクチャ)という、2つのピクチャを関連付ける。MVが別のMVを予測するために利用されるとき、含有ピクチャと参照ピクチャとの間の時間距離は、ピクチャ順序カウント(POC)値に基づいて計算される。
予測されるべき動きベクトルに対して、動きベクトルの関連する含有ピクチャと参照ピクチャの両方が異なることがある。したがって、新しい距離(POCに基づく)が計算される。MVは、これらの2つのPOC距離に基づいてスケーリングされる。たとえば、ビデオデコーダ300は、POCに基づいて新しい距離を計算してもよく、2つのPOC距離に基づいてMVをスケーリングしてもよい。空間隣接候補に対して、2つのMVの含有ピクチャは同じであるが、参照ピクチャは異なる。HEVCでは、MVのスケーリングは、空間隣接候補および時間隣接候補のためのTMVPとAMVPの両方に適用される。
人工動きベクトル候補の生成: MV候補リストが完全ではない場合、リストがすべての候補を有する(たとえば、リストが埋まる)まで、人工MV候補が生成されてリストの最後に挿入され得る。
マージモードでは、Bスライスのためだけに導出される合成候補、および第1のタイプが十分な人工候補を提供しない場合にAMVPのためだけに使用されるゼロ候補という、2つのタイプの人工MV候補がある。
候補リストの中にすでにあり、必要な動き情報を有する候補の各ペアに対して、リスト0の中のピクチャを参照する第1の候補のMVと、リスト1の中のピクチャを参照する第2の候補のMVとの合成によって、双方向合成MV候補が導出される。
候補挿入のための剪定プロセス: 異なるブロックからの候補が偶然同じであることがあり、これは、マージ/AMVP候補リストの効率を下げる。この問題を解決するために剪定プロセスが適用され得る。剪定プロセスの間、ビデオデコーダ300は、同一の候補を挿入するのをある程度避けるために、ある候補を現在の候補リストの中の他の候補と比較する。複雑さを下げるために、剪定プロセスは、各々のあり得る候補をすべての他の既存の候補と比較するのではなく、限られた数の候補に適用されてもよい。
テンプレートマッチング予測がここで論じられる。テンプレートマッチング(TM)予測は、Frame-Rate Up Conversion(FRUC)技法に基づく特別なマージモードである。このTM予測モードでは、ブロックの動き情報はシグナリングされないが、ビデオデコーダ300によってデコーダ側で導出される。AMVPモードと通常のマージモードの両方にTM予測が適用される。AMVPモードでは、MVP候補の選択は、現在ブロックテンプレートと参照ブロックテンプレートとの差が最小となる候補を選ぶように、基本テンプレートマッチングを使用して決定される。通常のマージモードでは、ビデオエンコーダ200は、TMの使用を示すためにTMモードフラグをシグナリングし、次いで、MV改良のためのマージインデックスによって示されるマージ候補に、TMが適用される。
図7は、初期MVの周りの探索エリアでの例示的なテンプレートマッチングを示す概念図である。図7に示されるように、現在CUの動き情報を導出するために、テンプレートマッチングが使用され得る。動き情報を導出することは、現在ピクチャ702の中のテンプレート700(現在CUの上および/または左の隣接ブロック)と参照ピクチャ706の中のブロック704(たとえば、テンプレートと同じサイズ)との最良の一致を見つけることを含み得る。最初のマッチングエラーに基づいて選択されるAMVP候補を用いて、候補のMVPはテンプレートマッチングによって改良される。シグナリングされたマージインデックスによって示されるマージ候補を用いて、参照ピクチャlist0(L0)および参照ピクチャlist1(L1)に対応する候補のマージされたMVは、テンプレートマッチングによって独立に改良され、次いで、前の参照としてより正確なMVを用いて、より正確ではないMVがさらに再び改良される。たとえば、ビデオデコーダ300は、シグナリングされたマージインデックスを受信して解析し、MVを改良するためにテンプレートマッチングをマージされたMVに適用し得る。
コスト関数: 動きベクトルが非整数サンプル位置を指すとき、ビデオデコーダ300は、動き補償された補間を使用し得る。複雑さを下げるために、通常の8タップ離散コサイン変換-補間フィルタ(DCT-IF)補間の代わりに、双線形補間が、テンプレートマッチングと、参照ピクチャ上でテンプレートを生成することの両方のために使用される。テンプレートマッチングのマッチングコストCは次のように計算され得る。
C=SAD+w・(|MVx-MVx s|+|MVy-MVy s|)
ここで、wは経験的に4に設定される加重係数であり、MVおよびMVsはそれぞれ、現在の試験対象MVおよび初期MV(たとえば、AMVPモードにおけるMVP候補またはマージモードにおけるマージされた動きベクトル)を示す。絶対差分和(SAD)は、テンプレートマッチングのマッチングコストとして使用され得る。
TMが使用されるとき、ルマサンプルのみを使用することによって、動きが改良される。導出される動きは、動き補償(MC)インター予測のためのルマとクロマの両方のために使用される。MVが決められた後、ルマのための8タップ補間フィルタおよびクロマのための4タップ補間フィルタを使用して、最後のMCが実行される。たとえば、ビデオデコーダ300は、ルマサンプルだけを使用して動きを改良してもよい。
探索方法: MV改良は、テンプレートマッチングコストの基準を用いたパターンベースのMV探索であり得る。MV改良のために、ダイヤモンド探索およびクロス探索という2つの探索パターンがサポートされる。たとえば、ビデオデコーダ300は、MV改良のためにダイヤモンド探索またはクロス探索を使用し得る。MVは、ダイヤモンドパターンを用いて4分の1ルマサンプル動きベクトル差分(MVD)の正確さで、クロスパターンを用いて続いて4分の1ルマサンプルMVDの正確さで直接探索され、そしてこの後には、クロスパターンを用いた8分の1ルマサンプルMVDの改良がある。MV改良の探索範囲は、初期MVの周りの(-8,+8)ルマサンプルに等しく設定され得る。
バイラテラルマッチング予測がここで論じられる。バイラテラルマッチング(バイラテラルマージとしても知られている)(BM)予測は、FRUC技法に基づく別のマージモードである。あるブロックのためにBMモードを適用するという決定が行われると、構築されたマージリストの中のマージ候補を選択するためにシグナリングされたマージ候補インデックスを使用することによって、2つの初期MV(MV0およびMV1)が導出される。ビデオデコーダ300は、MV0およびMV1の周りでバイラテラルマッチング探索を実行し、最小のバイラテラルマッチングコストに基づいて最終的なMV0'およびMV1'を導出し得る。
図8A～図8Bはそれぞれ、MVD0およびMVD1が時間距離に基づいて比例する例、ならびにMVD0およびMVD1が時間距離にかかわらず鏡写しになっている例を示す概念図である。2つの参照ブロックを指す動きベクトル差分MVD0(MV0'-MV0によって表記される)およびMVD1(MV1'-MV1によって表記される)は、現在ピクチャ804と2つの参照ピクチャ806および808との間の時間距離(TD)、たとえばTD0 800およびTD1 802に比例し得る。図8AはMVD0およびMVD1の例を示し、TD1 802はTD0 800の4倍である。
しかしながら、MVD0およびMVD1が時間距離TD0およびTD1にかかわらず鏡写しであるような任意選択の設計がある。図8Bは鏡写しであるMVD0およびMVD1の例を示し、TD1 812はTD0 810の4倍である。
図9は、探索範囲[-8,8]における3×3の正方形探索パターンの例を示す概念図である。バイラテラルマッチングは、初期MV0およびMV1の周りでローカル探索を実行して、最終的なMV0'およびMV1'を導出することを含み得る。ローカル探索を適用するために、ビデオデコーダ300は、3×3の正方形探索パターンを適用してもよく、探索範囲[-8,8]をループする。各々の探索の反復において、探索パターンの中の8つの取り囲むMVのバイラテラルマッチングコストが計算され、中心MVのバイラテラルマッチングコストと比較される。バイラテラルマッチングコストが最小であるMVが、次の探索の反復において新しい中心のMVになる。現在の中心MVが3×3の正方形探索パターン内で最小のコストを有するとき、またはローカル探索があらかじめ定められた最大の回数の探索の反復に達すると、ローカル探索は終了する。たとえば、ビデオデコーダ300は、本明細書において説明されるようなバイラテラルマッチングを実行し得る。図9の例では、初期MV900が使用され、初期MV900の周りで3×3の探索パターン902が探索される。最初の反復では、初期の8つのMVのうちでコストが最低であるMVはMV904になる。第2の反復において、ビデオデコーダ300は次いで、MV904の周りで探索パターン902を繰り返す。この例では、N回の反復の後で最後に選択されるMVはMV906である。
図10は、例示的なデコーダ側動きベクトル改良を示す概念図である。マージモードのMVの正確さ高めるために、デコーダ側動きベクトル改良(DMVR)が、VVD Draft 10におけるように適用され得る。たとえば、ビデオデコーダ300はDMVRを適用し得る。双予測演算において、参照ピクチャlist0(L0)および参照ピクチャlist1(L1)の中の初期MVの周りで、改良されたMVが探索される。DMVR方法は、L0およびL1の中の2つの候補ブロック間のひずみを計算する。たとえば、ビデオデコーダ300は、2つの候補ブロック間のひずみを計算し得る。図10に示されるように、初期MVの周りの各MV候補に基づくブロック1000と1002との間のSADが計算される。たとえば、ビデオデコーダ300は、ブロック1000と1002との間のSADを決定し得る。SADが最低であるMV候補が、改良されたMVになり、双予測される信号を生成するために使用される。
DMVR技法によって導出される改良されたMVは、インター予測サンプルを生成するために使用され、未来のピクチャをコーディングするための時間動きベクトル予測においても使用される。ビデオデコーダ300は、デブロッキングプロセスにおいて、また未来のCUのコーディングのための空間動きベクトル予測においても、元のMVを使用し得る。
VVC Draft 10のDMVRは、16×16ルマサンプルのあらかじめ定められた最大のPUを用いるサブブロックベースのマージモードである。CUの幅および/または高さが16ルマサンプルより大きいとき、CUはさらに、16ルマサンプルに等しい幅および/または高さをもつサブブロックへと分割され得る。たとえば、ビデオデコーダ300はさらに、16ルマサンプルに等しい幅および/または高さをもつサブブロックへと、より大きいCUを分割し得る。
例示的な探索方式がここで論じられる。DVMRでは、初期MVの周りの探索点およびMVオフセットは、上で論じられたMV差分の鏡写しルールに従う。言い換えると、MVペア候補(MV0,MV1)によって表記される、DMVRを実装するビデオデコーダ300によって確認されるいずれの点も、以下の2つの式に従う。
MV0'=MV0+MV_offset
MV1'=MV1-MV_offset
ここで、MV_offsetは、参照ピクチャのうちの1つの中の初期MVと改良されたMVとの間の改良オフセットを表す。改良探索範囲は、初期MVから2つの整数ルマサンプルである。この探索は、整数サンプルオフセット探索段階および非整数サンプル改良段階を含む。
整数サンプルオフセット探索のために、25点の完全な探索が適用され得る。たとえば、ビデオデコーダ300は、25点の完全な探索を実行し得る。初期MVペアのSADが最初に計算される。初期MVペアのSADが閾値より小さい場合、DMVRの整数サンプル段階は終了する。それ以外の場合、残りの24点のSADが、ラスター走査順序で計算され確認される。SADが最小である点が、整数サンプルオフセット探索段階の出力として選択される。DMVR改良の不確実性という不利益を減らすために、DMVRプロセスの間は元のMVが優先され得る。初期MV候補によって参照される参照ブロック間のSADは、SAD値の1/4だけ減少し得る。
整数サンプル探索の後には、非整数サンプル改良がある。たとえば、ビデオデコーダ300は、整数サンプル探索を実行し、次いで非整数サンプル改良を実行し得る。計算の複雑さを軽減するために、非整数サンプル改良は、SAD比較を用いた追加の探索ではなく、パラメトリック誤差表面方程式を使用することによって導出され得る。非整数サンプル改良は、整数サンプル探索段階の出力に基づいて条件的に呼び出される。整数サンプル探索段階が、第1の反復探索または第2の反復探索のいずれかにおいて、中心が最小のSADを有する状態で終了すると、非整数サンプル改良がさらに適用される。
パラメトリック誤差表面ベースのサブピクセルオフセット推定では、中心位置コストおよび中心からの4つの隣接する位置におけるコストが、以下の形式の2次元(2-D)放物線誤差表面方程式をフィッティングするために使用される。
E(x,y)=A(x-xmin)2+B(y-ymin)2+C
ここで、(xmin,ymin)はコストが最小である非整数位置に対応し、AおよびBは定数であり、Cは最小のコスト値に対応する。5つの探索点のコスト値を使用することによって上の式を解くことによって、最小値(xmin,ymin)の位置は次のように計算される。
xmin=(E(-1,0)-E(1,0))/(2(E(-1,0)+E(1,0)-2E(0,0)))
ymin=(E(0,-1)-E(0,1))/(2((E(0,-1)+E(0,1)-2E(0,0)))
すべてのコスト値が整数であり、最小の値はE(0,0)であるので、xminおよびyminの値は自動的に-8と8の間に制約される。これは、VVC Draft 10における16分の1ペルのMVの正確さを用いると、半ペルのオフセットに相当する。サブピクセルの正確な改良デルタMVを得るために、計算された非整数の(xmin, ymin)が整数距離改良MVに加算される。
双線形補間およびサンプルパディングがここで論じられる。これらの技法は、ビデオデコーダ300によって適用され得る。VVC Draft 10では、MVの分解能は1/16ルマサンプルである。非整数位置におけるサンプルは、8タップの補間フィルタを使用して補間され得る。DMVRでは、探索点は、整数サンプルのオフセットを伴って初期の非整数ペルMVを取り囲む。したがって、それらの非整数位置のサンプルは、DMVR探索のために補間される必要がある。計算の複雑さを下げるために、双線形補間フィルタを使用して、DMVRにおける探索のための非整数サンプルを生成する。別の効果は、2サンプルの探索範囲とともに双線形フィルタを使用することによって、DVMRは普通の動き補償プロセスと比較してより多くの参照サンプルにアクセスしないということである。改良されたMVがDMVR探索を用いて得られた後、最終的な予測を生成するために、普通の8タップの補間フィルタが適用される。普通の動き補償プロセスより多くの参照サンプルにアクセスしないようにするために、元のMVに基づく補間プロセスに必要とされないが、改良されたMVに基づく補間プロセスに必要とされるサンプルが、利用可能なサンプルからパディングされる。
DMVRのための例示的な有効化条件がここで論じられる。一例では、以下の条件がすべて満たされる場合に、DMVRが有効にされ得る。1)CUレベルマージモードが双予測MVとともに使用される、2)現在ピクチャに関して、ある参照ピクチャが過去にあり、別の参照ピクチャが未来にある、3)両方の参照ピクチャから現在ピクチャまでの距離(たとえば、POC差分)が同じである、4)CUが64個より多くのルマサンプルを有する、5)CUの高さとCUの幅の両方が8ルマサンプル以上である、6)CU重みを用いた双予測(BCW: Bi-prediction with CU weights)重みインデックスが等しい重みを示す、7)加重予測(WP)が現在ブロックに対して有効ではない、および8)合成インターイントラ予測(CIIP: Combined inter-intra prediction)モードが現在ブロックのために使用されない。
双方向オプティカルフローがここで論じられる。ビデオデコーダ300は、4×4サブブロックレベルでCUの中のルマサンプルの双予測信号を改良するために、双方向オプティカルフロー(BDOF)を使用し得る。その名称が示すように、BDOFモードはオプティカルフローの概念に基づき、この概念は、オブジェクトの動きが滑らかであると仮定する。各々の4×4サブブロックに対して、L0予測サンプルとL1予測サンプルとの間の差分を最小にすることによって、動き改良(vx,vy)が計算される。動き改良は次いで、4×4サブブロックの中の双予測されるサンプル値を調整するために使用される。以下のステップはBDOFプロセスにおいて適用される。
まず、2つの予測信号の水平方向および垂直方向の勾配、
および
、k=0,1が、2つの隣接サンプル間の差分を直接計算することによって算出され、たとえば、
であり、ここでI(k)(i,j)はリストkの中の予測信号の座標(i,j)におけるサンプル値であり、k=0,1であり、shift1はルマビット深度bitDepthに基づいて計算され、shift1は6に等しく設定される。
次いで、勾配S1、S2、S3、S5およびS6の自己相関と相互相関が次のように計算され、
S1=Σ(i,j)∈Ω│ψx(i,j)│, S3=Σ(i,j)∈Ωθ(i,j)・(-sign(ψx(i,j)))
S2=Σ(i,j)∈Ωψx(i,j)・sign(ψy(i,j))
S5=Σ(i,j)∈Ω│ψy(i,j)│ S6=Σ(i,j)∈Ωθ(i,j)・(-sign(ψy(i,j)))
ここで
θ(i,j)=(I(0)(i,j)≫shift2)-(I(1)(i,j)≫shift2)
であり、Ωは4×4サブブロックの周りの6×6ウィンドウであり、shift2の値は4に等しく設定され、shift3の値は1に等しく設定される。
動き改良(vx,vy)が次いで、以下を使用して、相互相関と自己相関の項を使用して導出される。
ここで、
は床関数である。
動き改良および勾配に基づいて、4×4サブブロック中の各サンプルのために以下の調整が計算される。
最後に、CUのBDOFサンプルが、双予測サンプルを調整することによって次のように計算される。
predBDOF(x,y)=(I(0)(x,y)+I(1)(x,y)+b(x,y)+οoffset)≫shift5
ここで、shift5はMax(3,15-BitDepth)であり、変数ooffsetは(1<<(shift5-1))に等しく設定される。
これらの値は、BDOFプロセスにおける乗数が15ビットを超えず、BDOFプロセスにおける中間パラメータの最大ビット幅が32ビット以内に保たれるように選択される。
図11は、BDOFにおいて使用される例示的な拡張されたCU領域を示す概念図である。勾配値を導出するために、現在CU境界の外の、リストk(k=0,1)の中のいくつかの予測サンプルI(k)(i,j)が生成されなければならないことがある。図11に示されるように、BDOFは、CU1100の境界の周りの1つの拡張された行/列を使用する。境界外予測サンプルを生成する計算上の複雑さを制御するために、(座標に対してfloor()演算を使用して)近くの整数位置にある参照サンプルを補間なしで直接とることによって、拡張されたエリア(たとえば、一番外側の位置)の中の予測サンプルが生成され、普通の8タップ動き補償補間フィルタが、CU1100内で予測サンプルを生成するために使用される(たとえば、CU1100内の斜線または模様付きの位置)。これらの拡張されたサンプル値は、勾配計算においてのみ使用され得る。BDOFプロセスにおける残りのステップに対して、CU1100の境界の外側の任意のサンプル値および勾配値が必要である場合、それらは最近傍からパディング(たとえば、反復)され得る。
BDOFは、4×4サブブロックレベル(たとえば、サブブロック1102)でCUの双予測信号を改良するために使用される。一例では、BDOFは、CUが以下の条件をすべて満たす場合にそのCUに適用され得る。1)CUが「真」の双予測モードを使用してコーディングされる、たとえば、2つの参照ピクチャの一方が表示順序において現在ピクチャの前にあり、他方が表示順序において現在ピクチャの後にある、2)CUがアフィンモードまたはATMVPマージモードを使用してコーディングされない、3)CUが64ルマサンプルより多くを有する、4)CUの高さとCUの幅の両方が8ルマサンプル以上である、5)BCW重みインデックスが等しい重みを示す、6)WPが現在CUに対して有効ではない、および7)CIIPモードが現在CUのために使用されない。
VVC Draft 10において、DMVRはサブブロックベースであり、最大で16×16ルマサンプルを伴う。各サブブロックの改良されたMVは、元のMVからのデルタMV(Δhor,Δver)を有する。ΔhorおよびΔverはそれぞれ、水平方向および垂直方向における動きベクトルオフセットである。ΔhorおよびΔverの値の範囲は、DMVRの探索範囲によって決定される。VVC Draft 10では、DMVRの探索範囲は[-2,2]である。したがって、改良された動きベクトルは、水平方向と垂直方向の両方において、元のMVから最大で±2ペルのオフセットを有する。
デルタMVの±2ペルの値の範囲は、一部のブロックには小さすぎることがある。デルタMVの±2ペルの値の範囲外に最良のデルタMVを有するブロックに対して、ビデオデコーダ300は、そのような値の範囲を有するDMVRを用いて最適な改良されたMVを導出することができない。
デルタMVの値の範囲は、DMVR探索範囲を広げることにより広げられ得る。たとえば、DMVR探索範囲は[-8,8]に広げられ得る。したがって、改良された動きベクトルは、水平方向と垂直方向の両方において、元のMVから最大で±8ペルのオフセットを有する。
しかしながら、探索範囲を広げることは、DMVRプロセスの複雑さを上げる。たとえば、固定された探索範囲[-8,8]へと広げるとき、ビデオデコーダ300は、DMVRのコーディングされたブロックのための[-2,2]という探索範囲と比較して、11倍以上多くのDMRS探索を行う必要がある。加えて、導出されたMVのサブセットが同様または同一であり得るとしても、DMVRのコーディングされたブロックの中のサブブロックのサブセットは、同様の改良されたMVを有することがあり、サブブロックベースのDMVRプロセスは、各サブブロックのためのMV改良を含む。一方、サブブロックのサブエリアは、サブブロックの他のサブエリアとは異なる最適な改良されたMVを有し得る。VVC Draft 10のDMVRは、16×16ルマサンプルサブブロックベースであるので、ビデオデコーダ300は、たとえば16×16サブブロック内の8×8または4×4サブエリアにおいて、異なる改良されたMVを導出できない。
DMVRプロセスを改善し得る技法が、本明細書において開示される。
例1. この例では、W×Hコーディングブロック内のサブブロックの改良された動きベクトルは、マルチパスデコーダ側動きベクトル改良(Multi-Pass DMVR)プロセスによって導出される。所定の数Nは、マルチパスDMVR技法のパスの総数を表し得る。ビデオデコーダ300は、これらのマルチパスDMVR技法を利用し得る。
図12は、例示的な3パスDMVR技法を示す概念図である。この例では、32×16コーディングブロック1200は、初期MVorgで開始する。第1のパスはブロックベースであり得る。したがって、第1のパスは、現在PUまたはCUなどのブロック1200全体を使用し得る。第1のパス1202を実装するビデオデコーダ300は、改良されたMVであるMVpass1を生成し得る。第2のパスはサブブロックベースであり得る。この例では、ビデオデコーダ300は、ブロック1200を2つの16×16サブブロック、サブブロック1204A～1204Bへと分割し得る。第2のパスを実装するビデオデコーダ300は、サブブロック1204A(MV(pass2,0))およびサブブロック1204B(MV(pass2,1))の各々のための改良されたMVを生成し得る。この例では、ビデオデコーダ300は、ブロック1200を8つの8×8サブブロック、サブブロック1208A～1208Hへと分割し得る。示されるように、第3のパスを実装するビデオデコーダ300は、サブブロック1208A～1208Gの各々のための改良されたMVを生成し得る。
たとえば、ビデオデコーダ300は、改良された動きベクトルを決定するためにビデオデータのブロック(たとえば、ブロック1200)のための動きベクトルにマルチパスDMVRを適用し、改良された動きベクトルに基づいてブロックを復号し得る。マルチパスDMVRは、ブロックベースでありビデオデータのブロックに適用される第1のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第2パスサブブロックに適用される第2のパスであって、第2パスサブブロックの幅が第1パスブロックの幅以下であり、第2パスサブブロックの高さが第1パスブロックの高さ以下である、第2のパスと、サブブロックベースであり少なくとも1つの第3パスサブブロックに適用される第3のパスであって、第3パスサブブロックの幅が第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが第2パスサブブロックの高さ以下である、第3のパスとを含み得る。
マルチパスDMVR技法は、W×Hコーディングブロックの元の動きベクトルMVorgで開始する。コーディングブロックはPUまたはCUであり得る。第1のパスはブロックベースであり得る。第1のパスは、W×Hコーディングブロック全体のための改良された動きベクトルMVpass1を導出し得る。MVpass1は、後続のパスのための初期動きベクトルとして保存され使用され得る。
第2のパスはサブブロックベースであってもよく、たとえばW×Hコーディングブロックの1つまたは複数のサブブロックに基づいてもよい。第2のパスにおけるサブブロック(第2パスSB)は、所定の最大の寸法sbW_1×sbH_1を有し得る。W×Hコーディングブロックは、K1個のサブブロック(第2パスSB)へと分割されてもよく、K1≧1である。各第2パスSBは寸法M1×N1を有してもよく、M1≦WかつN1≦Hである。各第2パスSBは、初期動きベクトルMVpass1(たとえば、第1のパスから導出されたMV)を有し得る。第2のパスは、各第2パスSBのための改良された動きベクトルMV(pass2,i)を導出してもよく、iは第2パスSBのインデックスを表し、0≦i≦K1-1である。MV(pass2,i)は、後続のパスのための初期動きベクトルとして保存され使用され得る。
第3のパスはサブブロックベースであってもよく、たとえば第2のパスのそれぞれのサブブロックの1つまたは複数のサブブロックに基づいてもよい。第3のパスにおけるサブブロック(第3パスSB)は、所定の最大の次元sbW_2×sbH_2を有し、sbBW_2≦sbW_1かつsbH_2≦sbH_1である。第2のパスにおける各々の第iの第2パスSBは、K2個のサブブロック(第3パスSB)へと分割されてもよく、K2≧1である。W×Hコーディングブロック内の第3パスSBの総数は、K2*K1であり得る。各第3パスSBは次元M2×N2を有してもよく、M2≦sbW_1かつN2≦sbH_1である。第iの第2パスSB内の各第3パスSBは、初期動きベクトルMV(pass2,i)(たとえば、第2のパスの間に導出されたMV)を有し得る。第3のパスは、各第3パスSBのための改良された動きベクトルMV(pass3,j)を導出し、jは第3パスSBのインデックスを表し、0≦j≦K2*K1-1である。MV(pass3,j)は、後続のパスのための初期動きベクトルとして保存され使用され得る。
いくつかの例では、マルチパスDMVR技法は、第Pのパスまで続く。MV改良を実行するビデオデコーダ300は、第Pのパスにおける各サブブロック(第PパスSB)のためのMV(passP,i)を導出してもよく、iはW×Hコーディングブロック内の第PパスSBのインデックスを表す。MV(passP,i)は、現在のコーディングブロックの予測ブロックを導出するために保存され使用され得る。MV(passP,i)は、第iのサブブロックのための改良されたMVを表す。
例2. 例1のように、DMVR技法の第pのパスと先行するパス(第(p-1)のパス)の両方がサブブロックベースであるとき、第pパスサブブロックの寸法は、先行するパスにおけるサブブロックの寸法以下であり得る。
例1のように、第pのパスにおけるデルタ動きベクトルMV(Δhor,Δver)の値の範囲はあらかじめ決められていてもよい。たとえば、minDeltaHorPassP≦Δhor≦maxDeltaHorPassP、minDeltaVerPassP≦Δver≦maxDeltaVerPassPである。第pのパスが第1のパスではないとき(たとえば、p>1)、第pのパスにおけるΔhorおよびΔverの値の範囲は、先行するパスにおける値の範囲以下であり得る。たとえば、minDeltaHorPassP≧minDeltaHorPass(P-1)、maxDeltaHorPassP≦maxDeltaHorPass(P-1)、minDeltaVerPassP≧minDeltaVerPass(P-1)、maxDeltaVerPassP≦maxDeltaVerPass(P-1)である。第pのパスは先行するパスの改良された動きベクトルから開始し得るので、デルタ(最終的な改良された)動きベクトルの全体の値の範囲は、単一パスDMVRと比較して拡張される。
例1のように、ビデオデコーダ300が現在コーディングブロックをK個のサブブロックへと分割することを決定するとき、サブブロックは、現在コーディングブロックの左上から右下へのラスター走査順序にあり得る。
例3 - DMVR技法の第pのパスを飛ばす。例1のように、所定の数Nは、マルチパスDMVR技法の全体のパスを表し得る。マルチパスDMVR技法を実装するビデオデコーダ300は、最終的な改良されたMVを導出するために1つまたは複数のパスを飛ばしてもよい。言い換えると、ビデオデコーダ300は、マルチパスDMVR技法のサブセットを適用することによって、最終的な改良された動きベクトルを導出し得る。DMVR技法の第pのパスを飛ばすと、ビデオデコーダ300の複雑さが下がり得る。
DMVR技法の第pのパスを飛ばすかどうかの決定は、DMVR技法の先行するパスの結果に基づき得る。たとえば、先行するパスが相対的に最適な改良された動きベクトルを導出する場合、第pのパスは飛ばされ得る。
たとえば、ビデオデコーダ300は、短縮されたマルチパスDMVRをブロックのための動きベクトルに適用し得る。ビデオデコーダ300は、ブロックのためのマルチパスDMVRの所与のパスを飛ばすと決定し、所与のパスを飛ばすという決定に基づいて、ブロックのためのマルチパスDMVRの所与のパスを飛ばし得る。たとえば、先行するパスの改良されたMVが相対的に最適である(たとえば、さらなる改良がMV(サブペル)分解能の点でMVに変化をもたらさない可能性がある、またはさらなる改良のコストがさらなる改良の利益を上回る可能性がある)ときなどは、所与のパスを飛ばすと決定することは先行するパスの結果に基づいてもよい。
例4 - サブブロックベースの第1パスDMVR技法。一部のハードウェア設計では、動き補償プロセスのための最大サイズは制約されていてもよく、より大きいコーディングブロックがハードウェア処理のために複数のサブブロックへと分割されてもよい。いくつかの例では、マルチパスDMVR技法は、第1のパスのためのサブブロックサイズmin{P,W}×min{Q,H}で開始してもよく、PおよびQはハードウェア制約により決定されるあらかじめ定められた整数値である。
例1および3のように、DMVR技法の第1のパスはブロックベースであり得る。マルチパスDMVR技法がサブブロックベースのパスで開始するとき、DMVR技法の第1のパスは、サブブロックベースの第1パスDMVR技法またはスキップ第1パスDMVR技法としても知られていることがある。ビデオデコーダ300は、サブブロックベースの第1パスDMVR技法を適用し得る。
例5 - コーディングブロックのサブエリアのためのDMVR技法の第pのパスを飛ばす。例1および3のように、W×Hコーディングブロックを仮定すると、所定の数Nは、マルチパスDMVR技法のパスの総数を表し得る。ビデオデコーダ300は、DMVR技法のN個のパスを適用することによって、コーディングブロックのサブエリアのための改良された動きベクトルを導出し得る。ビデオデコーダ300は、DMVR技法のM個のパスを適用することによってコーディングブロックの異なるサブエリアの改良された動きベクトルを導出してもよく、M<Nである。言い換えると、ビデオデコーダ300は、1つまたは複数のパスを飛ばして、コーディングブロックの所与のサブエリアのための最終的な改良された動きベクトルを導出してもよい。サブエリアは、コーディングブロックの1つまたは複数のサブブロックを含み得る。
たとえば、ビデオデコーダ300は、短縮されたマルチパスDMVRをブロックの動きベクトルに適用する。ビデオデコーダ300は、1つまたは複数のサブブロックを含む、ブロックの特定のサブエリア(たとえば、上の段落において言及されたコーディングブロックの異なるサブエリア)のためのマルチパスDMVRの所与のサブブロックベースのパスを飛ばすと決定し、所与のサブブロックベースのパスを飛ばすという決定に基づいて、特定のサブエリアのためのマルチパスDMVRの所与のサブブロックベースのパスを飛ばしてもよい。たとえば、先行するパスの改良されたMVが相対的に最適である(たとえば、さらなる改良がMV(サブペル)精度の点でMVに変化をもたらさない可能性がある、またはさらなる改良のコストがさらなる改良の利益を上回る可能性がある)ときなどは、所与のサブブロックベースのパスを飛ばすと決定することは先行するパスの結果に基づいてもよい。
例6 - DMVRの第pのパスにおける改良された動きベクトルを導出する。この例では、いくつかのデコーダ側動きベクトル改良技法が説明される。マルチパスDMVR技法では、ビデオデコーダ300は、少なくとも1つのパスを通じて、以下で論じられるバイラテラルマッチングベースの動きベクトル改良を適用し、および/または、少なくとも1つのパスを通じて、BDOFベースの動きベクトル改良を適用し得る。言い換えると、マルチパスDMVRの少なくとも1つのパスはBDOFを適用することを含んでもよく、および/または、マルチパスDMVRの少なくとも1つのパスはバイラテラルマッチングを適用することを含んでもよい。一例では、第1のパスはバイラテラルマッチングを適用することを含み、第2のパスはバイラテラルマッチングを適用することを含み、第3のパスはBDOFを適用することを含む。
図13は、例示的なBDOF動きベクトル改良を示す概念図である。双方向オプティカルフローによって改良された動きベクトルを導出することがここで説明される。この例では、ビデオデコーダ300は、双方向オプティカルフロー(BDOF)を使用することによって、第pパスDMVR技法における改良された動きベクトルを導出し得る。BDOF MVの改良は次の通りであり得る。
Mv0'=Mv0+bioMv
Mv1'=Mv1-bioMv
ここで、Mv0およびMv1はそれぞれ、参照ピクチャ0 1300および参照ピクチャ1 1302の中の現在ブロック/サブブロックの第pのパスの最初の初期Mvを表し、Mv0'およびMv1'はそれぞれ、参照ピクチャ0 1300および参照ピクチャ1 1302の中の現在ブロックのBDOF改良されたMVを表し、bioMvはBDOFデルタMVである。
BDOF MV改良プロセスにおいて、bioMv(Δhor,Δver)は、以下のステップから導出され得る。
1)上で論じられたように、予測信号predSig0およびpredSig1から、水平方向および垂直方向の勾配、
および
、k=0,1を導出する。
2)上で論じられたように、導出された水平方向および垂直方向の勾配ならびに予測信号predSig0およびpredSig1から、勾配の自己相関および相互相関、S1、S2、S3、S5、およびS6を導出する。
3)2つのパラメータvxおよびvyを次のように導出する。
ここで、mは所定の値である。たとえば、m=3である。
4)デルタMV bioMV(Δhor,Δver)を次のように導出する。
Δhor=clip3(minDeltaHorPass3, maxDeltaHorPass3, ((vx+2n-1 )≫n))
Δver=clip3(minDeltaVerPass3, maxDeltaVerPass3, ((vy+2n-1 )≫n))
ここで、
nは所定の値である。たとえば、n=3である。
minDeltaHorPass3は所定の値である。たとえば、minDeltaHorPass3=-2である。
maxDeltaHorPass3は所定の値である。たとえば、maxDeltaHorPass3=2である。
minDeltaVerPass3は所定の値である。たとえば、minDeltaVerPass3=-2である。
maxDeltaVerPass3は所定の値である。たとえば、maxDeltaVerPass3=2である。
バイラテラルマッチングによって改良された動きベクトルを導出するビデオデコーダ300がここで説明される。バイラテラルマッチングは、それぞれ参照ピクチャ0および参照ピクチャ1の中の所定のローカル探索エリアにおける第pのパスでの、2つの初期動きベクトルMV0およびMV1の周りの探索を含む。最終的なMV0'およびMV1'は、最小のバイラテラルマッチングコストに基づいて導出される。
コーディングブロックのためのバイラテラルマッチングのローカル探索エリアは、水平方向の探索範囲、たとえば[sMinHor,sMaxHor]および垂直方向の探索範囲、たとえば[sMinVer,sMaxVer]を有する。コーディングブロックのためのバイラテラルマッチングのローカル探索エリアは、(sMaxHor-sMinHor+1)×(sMaxVer-sMinVer+1)であり得る。
例2のように、第pのパスにおいてデルタ動きベクトルMV(Δhor,Δver)の所定の値の範囲がある場合、探索範囲の値は、次のように、第pパスDMVR技法におけるデルタ動きベクトルの値の範囲によって決定され得る。
sMinHor≧minDeltaHorPassP
sMaxHor≦maxDeltaHorPassP
sMinVer≧minDeltaVerPassP
sMaxVer≦maxDeltaVerPassP
さらなるデコーダ側動きベクトル改良方法がここで説明される。改良された動きベクトルは、代替のデコーダ側動きベクトル導出技法、たとえば、テンプレートマッチングまたはデコーダ側動きベクトル導出(DMVD)によって導出され得る。第pパスマルチパスDMVR技法を実装するビデオデコーダ300は、本開示において説明されるこれらの動きベクトル改良方法のうちの1つを使用し得る。しかしながら、DMVR技法の詳細は、本文書における説明と比較して異なっていてもよく、それでも本開示の範囲内にあってもよい。
例7 - 補間フィルタを適用することによって、または先行するパスの予測信号を使用することによって、第pパスDMVR技法における予測信号を導出する。例6のように、第pのパスにおける動きベクトル改良技法は、第pのパスにおける初期動きベクトルおよび参照ピクチャにおける予測信号で開始する。参照ピクチャにおける予測信号は、参照ピクチャにおける初期動きベクトル情報とともに補間フィルタを適用することによって導出され得る。
この例では、ビデオデコーダ300は、
1)補間フィルタを適用することによって、第pパスDMVR技法を用いて予測信号を導出する。補間フィルタは、第pのパスにおいてMV改良技法(たとえば、バイラテラルマッチング、BDOFなど)によって決定されてもよく、および/または、
2)先行する予測信号を使用することによって、第pパスDMVR技法を用いて予測信号を導出する。
補間フィルタを適用することによって第pパスDMVR技法を用いて予測信号を導出するビデオデコーダ300がここで説明される。バイラテラルマッチングまたは改良された動きベクトルの導出のためのDMVR技法において、探索のための動き補償結果を生成するために、何らかの簡略化された補間フィルタが使用され得る。たとえば、バイラテラルマッチングまたはDMVRにおける探索プロセスのための非整数サンプルを生成するために、双線形補間フィルタが使用され得る。
いくつかの例では、BDOFベースの技法を適用するとき、例6のように、第pのパスにおいて改良された動きベクトルを導出するために、入力は、元の(簡略化されていない)補間フィルタを使用した動き補償によって生成されるサンプルであり得る。
他の例では、BDOFベースの技法を適用するとき、例6のように、第pのパスにおいて改良された動きベクトルを導出するために、入力は、双線形補間フィルタなどの簡略化された補間フィルタを使用した動き補償によって生成されるサンプルであり得る。
先行するパスの予測信号を使用することによって第pパスDMVR技法において予測信号を導出するビデオデコーダ300がここで説明される。一例では、ビデオデコーダ300は、先行するパスにおけるデルタ動きベクトルの精度を確認することによって、先行するパスの予測信号を使用するかどうかを決定し得る。たとえば、
1)先行するパスにおけるデルタ動きベクトルが整数ペル精度であるとき、DMVR技法の第pのパスにおける予測信号は、先行するパスの予測信号を使用することによって導出されてもよく、2)先行するパスにおける改良された動きベクトルが先行するパスにおける初期動きベクトルと同一であるとき、DMVR技法の第pのパスにおける予測信号は、先行するパスの予測信号を使用することによって導出されてもよい。
例8 - 3パスデコーダ側動き改良の例。この例では、ビデオデコーダ300は、3パスデコーダ側動き改良技法を使用する。この例では、プロセスは次のような3つのパスを含む。1)第1のパスはブロックベースである。改良された動きベクトルは、バイラテラルマッチングベースの動きベクトル改良を適用することによって導出される。デルタ動き値の範囲は、たとえば水平方向において[-8,8]であり、たとえば垂直方向において[-8,8]である。2)第2のパスはサブブロックベースである。改良された動きベクトルは、バイラテラルマッチングベースの動きベクトル改良を適用することによって導出される。最大のサブブロック寸法は、たとえば16×16ルマサンプルである。たとえば、第2のパスのサブブロックは、16ルマサンプルという所定の最大の幅および16ルマサンプルという所定の最大の高さを有する。デルタ動き値の範囲は、たとえば水平方向において[-8,8]であり、たとえば垂直方向において[-8,8]である。3)第3のパスはサブブロックベースである。改良された動きベクトルは、BDOFベースの動きベクトル改良を適用することによって導出される。最大のサブブロック寸法は、たとえば8×8ルマサンプルである。たとえば、第3のパスのサブブロックは、8ルマサンプルという所定の最大の幅および8ルマサンプルという所定の最大の高さを有する。デルタ動き値の範囲は、たとえば水平方向において[-2,2]であり、たとえば垂直方向において[-2,2]である。
たとえば、第1のパスまたは第2のパスのうちの少なくとも1つのためのデルタ動き値の範囲は、水平方向において[-8,8]および垂直方向において[-8,8]であってもよく、第3のパスのためのデルタ動き値の範囲は、水平方向において[-2,2]および垂直方向において[-2,2]であってもよい。
前述の技法は、ビデオコーディングシステムのビデオデコーダ300によって適用され得る。以下は、マルチパスDMVRの詳細な例である。ビデオデコーダ300は、ビットストリームからのピクチャの中のインター予測されるブロックを復号するために、以下のステップのすべてまたはサブセットによって、ここで説明される技法を実施し得る。
1)ビットストリームの中のシンタックス要素を復号することによって、現在ブロックの左上のルマ位置として位置成分(x,y)を導出する。
2)ビットストリームの中のシンタックス要素を復号することによって、幅値Wおよび高さ値Hとして現在ブロックのサイズを導出する。
3)ビットストリームの中の要素を復号することから、現在ブロックがインター予測されるブロックであると決定する。
4)ビットストリームの中の要素を復号することから、現在ブロックの動きベクトル成分(mvL0およびmvL1)および参照インデックス(refPicL0およびrefPicL1)を導出する。
5)ビットストリームの中の要素を復号することからフラグを推測し、フラグは、デコーダ側動きベクトル導出(たとえば、DMVR、バイラテラルマージ、テンプレートマッチングなど)が現在ブロックに適用されるかどうかを示す。フラグの推測方式は、限定はされないが、本開示において前に論じられたDMVRの有効化条件と同じであり得る。別の例では、このフラグは、ビデオデコーダ300による複雑な条件の確認を避けるために、ビットストリームにおいて明示的にシグナリングされ得る。
6)(パス1)前述のフラグの値に従って、決定が現在ブロックにDMVR(バイラテラルマージまたはテンプレートマッチング)を適用しないというものである場合、動きベクトルmvL0およびmvL1をそれぞれMV0pass1およびMV1pass1の動きベクトルとして設定し、それ以外の場合(決定が現在ブロックにDMVRを適用するというものである場合)、次のことが当てはまる。
(a)現在ブロックのmvL0およびmvL1を、現在ブロックのための初期動きベクトルとして設定する。
(b)変数sHorおよびsVerを次のように決定する。
sHor=maximum(maxDeltaHorPass1, W×sFactor)
sVer=maximum(maxDeltaVerPass1, H×sFactor)
ここで、
maxDeltaHorPass1は所定の変数(たとえば、8)である。
maxDeltaVerPass1は所定の変数(たとえば、8)である。
sFactorは所定の変数(たとえば、0.5)である。
sHorは水平方向におけるDMVRの探索範囲[-sHor,sHor]である。
sVerは垂直方向におけるDMVRの探索範囲[-sVer,sVer]である。
(c)導出されたmvL0およびrefPicL0を使用することによって、参照ピクチャ0から予測信号predSig0を導出する。predSig0の幅は、W+2×sHorに等しい。predSig0の高さは、H+2×sVerに等しい。
(d)導出されたmvL1およびrefPicL1を使用することによって、参照ピクチャ1から予測信号predSig1を導出する。predSig1の幅は、W+2×sHorに等しい。predSig0の高さは、H+2×sVerに等しい。
(e)変数minCostPass1を最大のコスト値に設定する。
(f)変数best delta MV(Δhor_best,Δver_best)をデルタMV(0,0)に設定する。
(g)現在ブロックの探索範囲内のデルタMV(Δhor,Δver)の各々またはサブセットをループする。-sVer≦Δver≦sVer、-sHor≦Δhor≦sHorである。
(i)現在デルタMV(Δhor,Δver)におけるバイラテラルマッチングコストbilCostを導出する。
(ii)bilCostがminCostPass1未満である場合、
(a)minCostPass1をbilCostに等しく設定する。
(b)best delta MV(Δhor_best,Δver_best)をMV(Δhor,Δver)に等しく設定する。
(h)改良された動きベクトル(mvL0+MV(Δhor_best,Δver_best))をMV0pass1の動きベクトルとして導出する。
(i)改良された動きベクトル(mvL1-MV(Δhor_best,Δver_best))をMV1pass1の動きベクトルとして導出する。
7)(パス2)水平方向におけるサブブロックの数numSbXおよび垂直方向におけるサブブロックの数numSbY、サブブロックの幅sbWidthPass2、ならびに高さsbHeightPass2を次のように導出する。
numSbX=(W>thW)?(W/thW):1
numSbY=(H>thH)?(H/thH):1
sbWidthPass2=(W>thW)?thW:W
sbHeightPass2=(H>thH)?thH:H
ここで、thWおよびthHはそれぞれ、第2のパスのための最大のサブブロックの幅と高さを示す所定の整数値である(たとえば、thW=thH=16)。
(a)前述のフラグの値に従って、決定が現在ブロックにDMVR(バイラテラルマージまたはテンプレートマッチング)を適用しないというものである場合、動きベクトルMV0pass1およびMV1pass1をそれぞれ、各サブブロックのための動きベクトルMV0(pass2,i)およびMV1(pass2,i)として設定し、それ以外の場合(決定が現在ブロックにDMVRを適用するというものである場合)、次のことが当てはまる。
(b)(パス2を飛ばすかどうかを確認する)(thFactorPass2×W×H)に等しい変数costThPass2を導出し、thFactorPass2は所定の値であり、たとえばthFactorPass2=1である。minCostPass1がcostThPass2未満である場合、MV0pass1およびMV1pass1をそれぞれ、各サブブロックのための動きベクトルMV0(pass2, i)およびMV1(pass2, i)として設定し、それ以外の場合(minCostPass1がcostThPass2以上である場合)、次のことが当てはまる。
(i)位置成分(sbX,sbY)=(x,y)を現在ブロックの第1のサブブロックの左上ルマ位置として設定する。
(ii)左上から右下へと各サブブロックに対して、
(a)変数i=(sbY/sbHeightPass2)*(W/sbWidthPass2)+(sbX/sbWidthPass2)を現在サブブロックインデックスとして設定する。
(b)MV0pass1およびMV1pass1を、現在サブブロックのための初期動きベクトルとして設定する。
(c)変数sHorおよびsVerを次のように決定する。
sHor=maximum(maxDeltaHorPass2, sbWidthPass2×sFactor)
sVer=maximum(maxDeltaVerPass2, sbHeightPass2×sFactor)
ここで、
maxDeltaHorPass2は所定の変数(たとえば、8)であり、maxDeltaVerPass2は所定の変数(たとえば、8)である。
sFactorは所定の変数(たとえば、0.5)である。
sHorは、パス2のための水平方向における探索範囲[-sHor,sHor]を指定する。
sVerは、パス2のための垂直方向における探索範囲[-sVer,sVer]を指定する。
(d)導出されたMV0pass1およびrefPicL0を使用することによって、参照ピクチャ0から予測信号predSig0を導出する。predSig0の幅はsbWidthPass2+2×sHorに等しい。predSig0の高さはsbHeightPass2+2×sVerに等しい。
(e)導出されたMV1pass1およびrefPicL1を使用することによって、参照ピクチャ1から予測信号predSig1を導出する。predSig1の幅はsbWidthPass2+2×sHorに等しい。predSig0の高さはsbHeightPass2+2×sVerに等しい。
(f)変数minCostPass2を最大のコスト値に設定する。
(g)変数best delta MV(Δhor_best,Δver_best)をデルタMV(0,0)に設定する。
(h)現在サブブロックの探索範囲内のデルタMV(Δhor,Δver)の各々またはサブセットをループする。-sVer≦Δver≦sVer、-sHor≦Δhor≦sHorである。
(i)現在デルタMV(Δhor,Δver)におけるバイラテラルマッチングコストbilCostを導出する。
(ii)bilCostがminCostPass2未満である場合、
(a)minCostPass2をbilCostに等しく設定する。
(b)best delta MV(Δhor_best,Δver_best)をMV(Δhor,Δver)に等しく設定する。
(i)改良された動きベクトル(MV0pass1+MV(Δhor_best,Δver_best))をMV0(pass2,i)の動きベクトルとして導出する。
(j)改良された動きベクトル(MV1pass1-MV(Δhor_best,Δver_best))をMV1(pass2,i)の動きベクトルとして導出する。
(k)サブブロックの左上ルマ位置を次のように更新する。
sbX=(sbX+sbWidthPass2)<W?sbX+sbWidthPass2:0
sbY=(sbX+sbWidthPass2)<W?sbY:sbY+sbHeightPass2
8)ビットストリームの中の要素を復号することからフラグを推測し、フラグは、双方向オプティカルフローが現在ブロックに適用されるかどうかを示す。フラグの推測方式は、限定はされないが、上に記載された例と同じであり得る。別の例では、このフラグは、デコーダにおける複雑な条件の確認を避けるために、ビットストリームにおいて明示的にシグナリングされ得る。
9)(パス3)前述のフラグの値に従って、決定が現在ブロックにBDOFを適用するというものであるとき、次のことが当てはまる。
(a)水平方向におけるサブブロックの数numSbXおよび垂直方向におけるサブブロックの数numSbY、サブブロックの幅sbW、ならびに高さsbHを次のように導出する。
numSbX=(W>thW)?(W/thW):1
numSbY=(H>thH)?(H/thH):1
sbWidthPass3=(W>thW)?thW:W
sbHeightPass3=(H>thH)?thH:H
ここで、thWおよびthHはそれぞれ、第3のパスのための最大のサブブロックの幅と高さを示す所定の整数値である(たとえば、thW=thH=8)。
(b)(thFactorPass3×sbWidth×sbHeight)に等しい変数costThPass3を導出し、thFactorPass3は所定の値であり、たとえばthFactorPass3=32である。
(c)位置成分(sbX,sbY)=(x,y)を現在ブロックの第1のサブブロックの左上ルマ位置として設定する。
(d)左上から右下へと各サブブロックに対して、
(i)変数i=(sbY/sbHeightPass3)*(W/sbWidthPass3)+(sbX/sbWidthPass3)をパス3の現在サブブロックインデックスとして設定する。
(ii)変数j=(sbY/sbHeightPass2)*(W/sbWidthPass2)+(sbX/sbWidthPass2)をパス2の現在サブブロックインデックスとして設定する。
(iii)MV0(pass2,j)およびMV1(pass2,j)を、現在サブブロックのための初期動きベクトルとして設定する。
(iv)導出されたMV0(pass2,j)およびrefPicL0を使用することによって、参照ピクチャ0から予測信号predSig0を導出する。
(v)導出されたMV1(pass2,j)およびrefPicL1を使用することによって、参照ピクチャ1から予測信号predSig1を導出する。
(vi)現在サブブロックのpredSig0とpredSig1との間のひずみコスト距離を導出する。
(vii)(サブエリアパス3をスキップするかどうかを確認する)ひずみコスト距離がcostThPass3未満である場合、MV0(pass2,j)およびMV1(pass2,j)をそれぞれ、現在サブブロックのための改良された動きベクトルMV0(pass3,i)およびMV1(pass3,i)として設定し、それ以外の場合(ひずみコスト距離がcostThPass3以上である場合)、次のことが当てはまる、
(a)上で論じられたように、予測信号predSig0およびpredSig1から、水平方向および垂直方向の勾配、
および
、k=0,1を導出する。
(b)上で論じられたように、導出された水平方向および垂直方向の勾配ならびに予測信号predSig0およびpredSig1から、勾配の自己相関および相互相関、S1、S2、S3、S5、およびS6を導出する。
(c)2つのパラメータvxおよびvyを次のように導出する。
ここで、mは所定の値である。たとえば、m=3である。
(d)デルタMV bioMV(Δhor,Δver)を次のように導出する。
Δhor=clip3(minDeltaHorPass3, maxDeltaHorPass3, ((vx+2n-1 )≫n))
Δver=clip3(minDeltaVerPass3, maxDeltaVerPass3, ((vy+2n-1 )≫n))
ここで、
nは所定の値である。たとえば、n=3である。
minDeltaHorPass3は所定の値である。たとえば、minDeltaHorPass3=-2である。
maxDeltaHorPass3は所定の値である。たとえば、maxDeltaHorPass3=2である。
minDeltaVerPass3は所定の値である。たとえば、minDeltaVerPass3=-2である。
maxDeltaVerPass3は所定の値である。たとえば、maxDeltaVerPass3=2である。
(e)改良された動きベクトル(MV0(pass2,j)+bioMV(Δhor,Δver))をMV0(pass3,i)の動きベクトルとして導出する。
(f)改良された動きベクトル(MV1(pass2,j)-bioMV(Δhor,Δver))をMV1(pass3,i)の動きベクトルとして導出する。
(viii)サブブロックの左上ルマ位置を次のように更新する。
sbX=(sbX+sbWidthPass3)<W?sbX+sbWidthPass3:0
sbY=(sbX+sbWidthPass3)<W?sbY:sbY+sbHeightPass3
10)ビデオ復号のための各サブブロックの改良された動きベクトルMV0(pass3,i)およびMV1(pass3,i)を使用して、予測されるブロックを導出する。
例9 - マルチパスDMVR技法のすべてのパスが飛ばされる。マルチパスDMVR技法のすべてのパスが飛ばされるとき、最後のパス(パスP)における各サブブロックのための最後の改良された動きベクトルMV(passP,i)は、初期動きベクトルMVOrgに等しい。
たとえば、例8のように、ビデオデコーダ300は、DMVR(たとえば、バイラテラルマージまたはテンプレートマッチング)を現在ブロックに適用する条件によって、BDOFベースの動きベクトル改良(パス3)を現在ブロックに適用するかどうかを決定し得る。たとえば、上の例の8におけるステップ5において、ビデオデコーダ300は、現在ブロックにDMVRを適用しないと決定し、マルチパスDMVR技法すべての3つのパスが飛ばされる。例8のステップ10における各サブブロックのための改良された動きベクトルMV0(pass3,i)およびMV1(pass3,i)はそれぞれ、mvL0およびmvL1に等しい。たとえば、ビデオデコーダ300は、DMVRをブロックに適用しないと決定し得る。DMVRをブロックに適用しないという決定に基づいて、ビデオデコーダ300は、マルチパスDMVRのすべてのパスを飛ばし、初期動きベクトルに基づいてブロックを復号し得る。
図14は、本開示の例示的なマルチパスDMVR技法を示すフローチャートである。ビデオデコーダ300は、改良されたMVを決定するために、ビデオデータのブロックのためのMVにマルチパスDMVRを適用し得る(1400)。たとえば、ビデオデコーダ300は、ブロックベースである第1のパスと、サブブロックベースである第2のパスであって、第2パスサブブロックの幅が第1パスブロックの幅以下であり、第2パスサブブロックの高さが第1パスブロックの高さ以下である、第2のパスと、サブブロックベースである第3のパスであって、第3パスサブブロックの幅が第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが第2パスサブブロックの高さ以下である、第3のパスとを含む、マルチパスDMVRを適用し得る。
ビデオデコーダ300は、改良されたMVに基づいてブロックをコーディングし得る(1402)。たとえば、ビデオデコーダ300は、改良されたMVを使用してブロックを予測し得る。
いくつかの例では、ビデオデータのブロックの少なくとも1つの第3パスサブブロックは、ビデオデータのブロックの少なくとも1つの第2パスサブブロックへのサブブロックである。いくつかの例では、ビデオデコーダ300は、ビデオデータのブロックのための少なくとも1つの第1の改良された動きベクトルを導出するために第1のパスを適用し、第2のパスにおいて少なくとも1つの第1の改良された動きベクトルを使用し得る。たとえば、ビデオデコーダ300は、第2のパスのための初期動きベクトルとして第1の改良された動きベクトルを使用し得る。いくつかの例では、ビデオデコーダ300は、少なくとも1つのそれぞれの第2パスサブブロックのための少なくとも1つの第2の改良された動きベクトルを導出するために第2のパスを適用し、第3のパスにおいて少なくとも1つの第2の改良された動きベクトルを使用し得る。たとえば、ビデオデコーダ300は、第2のパスの1つまたは複数のそれぞれのサブブロックのための1つまたは複数の第2の改良された動きベクトルを導出し、第3のパスのための初期動きベクトルとして1つまたは複数の第2の改良された動きベクトルを使用し得る。いくつかの例では、ビデオデコーダ300は、少なくとも1つのそれぞれの第3パスサブブロックのための少なくとも1つの第3の改良された動きベクトルを導出するために第3のパスを適用し、少なくとも1つの第3の改良された動きベクトルとして少なくとも1つの改良された動きベクトルを決定し得る。
いくつかの例では、マルチパスDMVRの少なくとも1つのパスは、BDOFを適用すること、またはバイラテラルマッチングを適用することを含む。いくつかの例では、第1のパスはバイラテラルマッチングを適用することを含み、第2のパスはバイラテラルマッチングを適用することを含み、第3のパスはBDOFを適用することを含む。
いくつかの例では、少なくとも1つの第2パスサブブロックは、16ルマサンプルという所定の最大の幅および16ルマサンプルという所定の最大の高さを有する。いくつかの例では、少なくとも1つの第3パスサブブロックは、8ルマサンプルという所定の最大の幅および8ルマサンプルという所定の最大の高さを有する。
いくつかの例では、第1のパスまたは第2のパスのうちの少なくとも1つのためのデルタ動き値の範囲は、水平方向において[-8,8]および垂直方向において[-8,8]であり、第3のパスのためのデルタ動き値の範囲は、水平方向において[-2,2]および垂直方向において[-2,2]である。
いくつかの例では、ビデオデータのブロックは第1のブロックである。いくつかの例では、ビデオデコーダ300は、短縮されたマルチパスDMVRをビデオデータの第2のブロックのための動きベクトルに適用し得る。たとえば、ビデオデコーダ300は、第2のブロックのためのマルチパスDMVRの所与のパスを飛ばすと決定し、第2のブロックのためのマルチパスDMVRの所与のパスを飛ばすという決定に基づいて、第2のブロックのためのマルチパスDMVRの所与のパスを飛ばし得る。いくつかの例では、ビデオデコーダ300は、先行するパスの結果に基づいて所与のパスを飛ばすと決定し得る。
いくつかの例では、ビデオのブロックは第1のブロックである。いくつかの例では、ビデオデコーダ300は、短縮されたマルチパスDMVRをビデオデータの第2のブロックのための動きベクトルに適用し得る。たとえば、ビデオデコーダ300は、ビデオデータの第2のブロックの特定のサブエリアのためのマルチパスDMVRの所与のサブブロックベースのパスを飛ばすと決定してもよく、特定のサブエリアは第2のブロックの1つまたは複数のサブブロックを備える。たとえば、ビデオデコーダ300は、第2のブロックの特定のサブエリアのためのマルチパスDMVRの所与のサブブロックベースのパスを飛ばすという決定に基づいて、第2のブロックの特定のサブエリアのためのマルチパスDMVRの所与のサブブロックベースのパスを飛ばし得る。いくつかの例では、ビデオデコーダ300は、先行するパスの結果に基づいて所与のパスを飛ばすと決定し得る。
いくつかの例では、ブロックはビデオデータの第1のブロックである。いくつかの例では、ビデオデコーダ300は、ビデオデータの第2のブロックにDMVRを適用しないと決定し得る。DMVRを第2のブロックに適用しないという決定に基づいて、ビデオデコーダ300は、第2のブロックのためのマルチパスDMVRのすべてのパスを飛ばし、第2のブロックのための初期動きベクトルに基づいて第2のブロックを復号し得る。
図15は、本開示の技法による、現在ブロックを符号化するための例示的な方法を示すフローチャートである。現在ブロックは現在CUを備え得る。ビデオエンコーダ200(図1および図3)に関して説明されるが、他のデバイスが図15の方法と同様の方法を実行するように構成され得ることを理解されたい。
この例では、ビデオエンコーダ200は最初に、現在ブロックを予測する(350)。たとえば、ビデオエンコーダ200は、現在ブロックのための予測ブロックを形成し得る。次いで、ビデオエンコーダ200は、現在ブロックのための残差ブロックを計算し得る(352)。残差ブロックを計算するために、ビデオエンコーダ200は、元の符号化されていないブロックと現在ブロックのための予測ブロックとの間の差分を計算し得る。次いで、ビデオエンコーダ200は、残差ブロックを変換し、残差ブロックの変換係数を量子化し得る(354)。次に、ビデオエンコーダ200は、残差ブロックの量子化された変換係数を走査し得る(356)。走査の間、または走査に続いて、ビデオエンコーダ200は、変換係数をエントロピー符号化し得る(358)。たとえば、ビデオエンコーダ200は、CAVLCまたはCABACを使用して変換係数を符号化し得る。次いで、ビデオエンコーダ200は、ブロックのエントロピー符号化されたデータを出力し得る(360)。
図16は、本開示の技法による、ビデオデータの現在ブロックを復号するための例示的な方法を示すフローチャートである。現在ブロックは現在CUを備え得る。ビデオデコーダ300(図1および図4)に関して説明されるが、他のデバイスが図16の方法に類似の方法を実行するように構成され得ることを理解されたい。
ビデオデコーダ300は、エントロピー符号化された予測情報および現在ブロックに対応する残差ブロックの変換係数のエントロピー符号化されたデータなどの、現在ブロックのためのエントロピー符号化されたデータを受信し得る(370)。ビデオデコーダ300は、エントロピー符号化されたデータをエントロピー復号して、現在ブロックのための予測情報を決定し、残差ブロックの変換係数を再生し得る(372)。ビデオデコーダ300は、現在ブロックのための予測ブロックを計算するために、たとえば、現在ブロックのための予測情報によって示されるようなイントラ予測モードまたはインター予測モードを使用して、現在ブロックを予測し得る(374)。現在ブロックを予測することの一部として、ビデオデコーダ300は、限定はされないが図14の技法を含む、本開示のマルチパスDMVR技法のいずれかを使用し得る。次いで、ビデオデコーダ300は、量子化された変換係数のブロックを作成するために、再生された変換係数を逆走査し得る(376)。次いで、ビデオデコーダ300は、変換係数を逆量子化し、逆変換を変換係数に適用して、残差ブロックを生成し得る(378)。ビデオデコーダ300は、予測ブロックおよび残差ブロックを合成することによって、現在ブロックを最終的に復号し得る(380)。
本開示は以下の非限定的な条項を含む。
条項1A. ビデオデータをコーディングする方法であって、改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用するステップと、改良された動きベクトルに基づいてブロックをコーディングするステップとを備える、方法。
条項2A. マルチパスDMVRのパスの総数が所定の整数である、条項1Aに記載の方法。
条項3A. マルチパスDMVRが、ブロックベースである第1のパスと、サブブロックベースである第2のパスと、サブブロックベースである第3のパスとを備える、条項1Aまたは条項2Aに記載の方法。
条項4A. 第1のパスを適用するステップが、第1の改良された動きベクトルを導出する、条項3Aに記載の方法。
条項5A. 改良された動きベクトルが第2のパスにおいて使用され、第2のパスのサブブロックが所定の最大の幅および所定の最大の高さを有し、第2のパスを適用するステップが、第2のパスの少なくとも1つのそれぞれのサブブロックのための第2の改良された動きベクトルを導出する、条項4Aに記載の方法。
条項6A. 各々の第2の改良された動きベクトルが第3のパスにおいて使用され、第3のパスのサブブロックが所定の最大の幅および所定の最大の高さを有し、第3のパスを適用するステップが、第3のパスの少なくとも1つのそれぞれのサブブロックのための第3の改良された動きベクトルを導出する、条項5Aに記載の方法。
条項7A. マルチパスDMVRが反復的である、条項1Aから6Aのいずれかの組合せに記載の方法。
条項8A. パスのサブブロックが、先行するパスのブロックまたはサブブロックのサイズ以下である、条項1Aから7Aのいずれかの組合せに記載の方法。
条項9A. マルチパスDMVRの所与のパスを飛ばすかどうかを決定するステップと、所与のパスを飛ばすという決定に基づいてマルチパスDMVRの所与のパスを飛ばすステップとをさらに備える、条項1Aから8Aのいずれかの組合せに記載の方法。
条項10A. 所与のパスを飛ばすかどうかを決定するステップが、先行するパスからの所与の改良された動きベクトルが最適であると決定するステップを備える、条項9Aに記載の方法。
条項11A. 所与のサブブロックサイズを(P,W)の小さい方および(Q,H)の小さい方であるものと決定するステップをさらに備え、PおよびQがあらかじめ定められた整数である、条項1Aから10Aのいずれかの組合せに記載の方法。
条項12A. PおよびQがハードウェア制約に基づく、条項11Aに記載の方法。
条項13A. 特定のサブブロックのためのマルチパスDMVRのサブブロックパスを飛ばすかどうかを決定するステップと、サブブロックパスを飛ばすという決定に基づいて特定のサブブロックのためのマルチパスDMVRのサブブロックパスを飛ばすステップとをさらに備える、条項1Aから12Aのいずれかの組合せに記載の方法。
条項14A. サブブロックパスを飛ばすかどうかを決定するステップが、先行するパスからのサブブロックの改良された動きベクトルが最適であると決定するステップを備える、条項13Aに記載の方法。
条項15A. マルチパスDMVRの少なくとも1つのパスが、双方向オプティカルフローを適用するステップを備える、条項1Aから14Aのいずれかの組合せに記載の方法。
条項16A. マルチパスDMVRの少なくとも1つのパスが、バイラテラルマッチングを適用するステップを備える、条項1Aから15Aのいずれかの組合せに記載の方法。
条項17A. マルチパスDMVRの少なくとも1つのパスが、テンプレートマッチングを適用するステップを備える、条項1Aから16Aのいずれかの組合せに記載の方法。
条項18A. マルチパスDMVRの少なくとも1つのパスが、補間フィルタを適用するステップを備える、条項1Aから17Aのいずれかの組合せに記載の方法。
条項19A. マルチパスDMVRの少なくとも1つのパスが、簡略化された補間フィルタを適用するステップを備える、条項1Aから18Aのいずれかの組合せに記載の方法。
条項20A. マルチパスDMVTのすべてのパスを飛ばすかどうかを決定するステップと、マルチパスDMVTのすべてのパスを飛ばすという決定に基づいて、初期動きベクトルに基づいてブロックをコーディングするステップとをさらに備える、条項1Aから19Aのいずれかの組合せに記載の方法。
条項21A. コーディングするステップが復号するステップを備える、条項1Aから20Aのいずれかに記載の方法。
条項22A. コーディングするステップが符号化するステップを備える、条項1Aから21Aのいずれかに記載の方法。
条項23A. ビデオデータをコーディングするためのデバイスであって、条項1Aから22Aのいずれかに記載の方法を実行するための1つまたは複数の手段を備える、デバイス。
条項24A. 1つまたは複数の手段が、回路において実装された1つまたは複数のプロセッサを備える、条項23Aに記載のデバイス。
条項25A. ビデオデータを記憶するためのメモリをさらに備える、条項23Aまたは24Aのいずれかに記載のデバイス。
条項26A. 復号されたビデオデータを表示するように構成されるディスプレイをさらに備える、条項23Aから25Aのいずれかの組合せに記載のデバイス。
条項27A. デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、条項23Aから26Aのいずれかの組合せに記載のデバイス。
条項28A. デバイスがビデオデコーダを備える、条項23Aから27Aのいずれかの組合せに記載のデバイス。
条項29A. デバイスがビデオエンコーダを備える、条項23Aから28Aのいずれかの組合せに記載のデバイス。
条項30A. 命令を記憶したコンピュータ可読記憶媒体であって、命令が、実行されると、1つまたは複数のプロセッサに、条項1Aから22Aのいずれかに記載の方法を実行させる、コンピュータ可読記憶媒体。
条項1B. ビデオデータを復号する方法であって、
少なくとも1つの改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用するステップと、少なくとも1つの改良された動きベクトルに基づいてブロックを復号するステップとを備え、マルチパスDMVRが、ブロックベースでありビデオデータのブロックに適用される第1のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第2パスサブブロックに適用される第2のパスであって、第2パスサブブロックの幅がビデオデータのブロックの幅以下であり、第2パスサブブロックの高さがビデオデータのブロックの高さ以下である、第2のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第3パスサブブロックに適用される第3のパスであって、第3パスサブブロックの幅が第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが第2パスサブブロックの高さ以下である、第3のパスとを備える、方法。
条項2B. ビデオデータのブロックの少なくとも1つの第3パスサブブロックが、ビデオデータのブロックの少なくとも1つの第2パスサブブロックへのサブブロックである、条項1Bに記載の方法。
条項3B. 第1のパスを適用するステップが、ビデオデータのブロックのための少なくとも1つの第1の改良された動きベクトルを導出し、少なくとも1つの第1の改良された動きベクトルが第2のパスにおいて使用される、条項1Bまたは条項2Bに記載の方法。
条項4B. 第2のパスを適用するステップが、少なくとも1つのそれぞれの第2パスサブブロックのための少なくとも1つの第2の改良された動きベクトルを導出し、少なくとも1つの第2の改良された動きベクトルが第3のパスにおいて使用される、条項3Bに記載の方法。
条項5B. 第3のパスを適用するステップが、少なくとも1つのそれぞれの第3パスサブブロックのための少なくとも1つの第3の改良された動きベクトルを導出し、少なくとも1つの改良された動きベクトルが少なくとも1つの第3の改良された動きベクトルとして決定される、条項4Bに記載の方法。
条項6B. マルチパスDMVRの少なくとも1つのパスが、双方向オプティカルフロー(BDOF)を適用するステップまたはバイラテラルマッチングを適用するステップを備える、条項1Bから5Bのいずれかの組合せに記載の方法。
条項7B. 第1のパスがバイラテラルマッチングを適用することを備え、第2のパスがバイラテラルマッチングを適用することを備え、第3のパスがBDOFを適用することを備える、条項6Bに記載の方法。
条項8B. 少なくとも1つの第2パスサブブロックが、16ルマサンプルという所定の最大の幅および16ルマサンプルという所定の最大の高さを有する、条項1Bから7Bのいずれかの組合せに記載の方法。
条項9B. 少なくとも1つの第3パスサブブロックが、8ルマサンプルという所定の最大の幅および8ルマサンプルという所定の最大の高さを有する、条項1Bから8Bのいずれかの組合せに記載の方法。
条項10B. 第1のパスまたは第2のパスのうちの少なくとも1つのためのデルタ動き値の範囲が、水平方向において[-8,8]および垂直方向において[-8,8]であり、第3のパスのためのデルタ動き値の範囲が、水平方向において[-2,2]および垂直方向において[-2,2]である、条項1Bから9Bのいずれかの組合せに記載の方法。
条項11B. ビデオデータのブロックが第1のブロックであり、方法がさらに、ビデオデータの第2のブロックのための動きベクトルに短縮されたマルチパスDMVRを適用するステップを備え、適用するステップが、第2のブロックのためのマルチパスDMVRの所与のパスを飛ばすと決定するステップと、第2のブロックのためのマルチパスDMVRの所与のパスを飛ばすという決定に基づいて、第2のブロックのためのマルチパスDMVRの所与のパスを飛ばすステップとを備える、条項1Bから10Bのいずれかの組合せに記載の方法。
条項12B. 所与のパスを飛ばすと決定するステップが、先行するパスの結果に基づく、条項11Bに記載の方法。
条項13B. ビデオデータのブロックが第1のブロックであり、方法がさらに、ビデオデータの第2のブロックのための動きベクトルに短縮されたマルチパスDMVRを適用するステップを備え、適用するステップが、ビデオデータの第2のブロックの特定のサブエリアのためのマルチパスDMVRの所与のサブブロックベースのパスを飛ばすと決定するステップであって、特定のサブエリアが第2のブロックの1つまたは複数のサブブロックを備える、ステップと、第2のブロックの特定のサブエリアのためのマルチパスDMVRの所与のサブブロックベースのパスを飛ばすという決定に基づいて、第2のブロックの特定のサブエリアのためのマルチパスDMVRの所与のサブブロックベースのパスを飛ばすステップとを備える、条項1Bから12Bのいずれかの組合せに記載の方法。
条項14B. 所与のサブブロックベースのパスを飛ばすと決定するステップが、先行するパスの結果に基づく、条項13Bに記載の方法。
条項15B. ブロックがビデオデータの第1のブロックであり、方法がさらに、ビデオデータの第2のブロックにDMVRを適用しないと決定するステップと、第2のブロックにDMVRを適用しないという決定に基づいて、第2のブロックのためのマルチパスDMVRのすべてのパスを飛ばすステップと、第2のブロックのための初期動きベクトルに基づいて第2のブロックを復号するステップとを備える、条項1Bから10Bのいずれかの組合せに記載の方法。
条項16B. ビデオデータを復号するためのデバイスであって、ビデオデータを記憶するように構成されるメモリと、回路で実装されメモリに通信可能に結合される1つまたは複数のプロセッサとを備え、1つまたは複数のプロセッサが、少なくとも1つの改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用し、少なくとも1つの改良された動きベクトルに基づいてブロックを復号するように構成され、マルチパスDMVRが、ブロックベースでありビデオデータのブロックに適用される第1のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第2パスサブブロックに適用される第2のパスであって、第2パスサブブロックの幅がビデオデータのブロックの幅以下であり、第2パスサブブロックの高さがビデオデータのブロックの高さ以下である、第2のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第3パスサブブロックに適用される第3のパスであって、第3パスサブブロックの幅が第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが第2パスサブブロックの高さ以下である、第3のパスとを備える、デバイス。
条項17B. ビデオデータのブロックの少なくとも1つの第3パスサブブロックが、ビデオデータのブロックの少なくとも1つの第2パスサブブロックへのサブブロックである、条項16Bに記載のデバイス。
条項18B. 1つまたは複数のプロセッサが、ビデオデータのブロックのための少なくとも1つの第1の改良された動きベクトルを導出するために、および少なくとも1つの第1の改良された動きベクトルを第2のパスにおいて使用するために、第1のパスを適用するように構成される、条項16Bまたは条項17Bに記載のデバイス。
条項19B. 1つまたは複数のプロセッサが、少なくとも1つのそれぞれの第2パスサブブロックのための少なくとも1つの第2の改良された動きベクトルを導出するために、および少なくとも1つの第2の改良された動きベクトルを第3のパスにおいて使用するために、第2のパスを適用するように構成される、条項18Bに記載のデバイス。
条項20B. 1つまたは複数のプロセッサが、少なくとも1つのそれぞれの第3パスサブブロックのための少なくとも1つの第3の改良された動きベクトルを導出するために、および少なくとも1つの改良された動きベクトルを少なくとも1つの第3の改良された動きベクトルとして決定するために、第3のパスを適用するように構成される、条項19Bに記載のデバイス。
条項21B. マルチパスDMVRの少なくとも1つのパスが、双方向オプティカルフロー(BDOF)を適用するステップまたはバイラテラルマッチングを適用するステップを備える、条項16Bから20Bのいずれかの組合せに記載のデバイス。
条項22B. 第1のパスがバイラテラルマッチングを適用することを備え、第2のパスがバイラテラルマッチングを適用することを備え、第3のパスがBDOFを適用することを備える、条項21Bに記載のデバイス。
条項23B. 少なくとも1つの第2パスサブブロックが、16ルマサンプルという所定の最大の幅および16ルマサンプルという所定の最大の高さを有する、条項16Bから22Bのいずれかの組合せに記載のデバイス。
条項24B. 少なくとも1つの第3パスサブブロックが、8ルマサンプルという所定の最大の幅および8ルマサンプルという所定の最大の高さを有する、条項16Bから23Bのいずれかの組合せに記載のデバイス。
条項25B. 第1のパスまたは第2のパスのうちの少なくとも1つのためのデルタ動き値の範囲が、水平方向において[-8,8]および垂直方向において[-8,8]であり、第3のパスのためのデルタ動き値の範囲が、水平方向において[-2,2]および垂直方向において[-2,2]である、条項16Bから24Bのいずれかの組合せに記載のデバイス。
条項26B. ビデオデータのブロックが第1のブロックであり、1つまたは複数のプロセッサが、ビデオデータの第2のブロックのための動きベクトルに短縮されたマルチパスDMVRを適用するように構成され、第2のブロックのための動きベクトルに短縮されたマルチパスDMVRを適用するために、1つまたは複数のプロセッサが、第2のブロックのためのマルチパスDMVRの所与のパスを飛ばすと決定し、第2のブロックのためのマルチパスDMVRの所与のパスを飛ばすという決定に基づいて、第2のブロックのためのマルチパスDMVRの所与のパスを飛ばすように構成される、条項16Bから25Bのいずれかの組合せに記載のデバイス。
条項27B. 1つまたは複数のプロセッサが、先行するパスの結果に基づいて所与のパスを飛ばすと決定するように構成される、条項26Bに記載のデバイス。
条項28B. ビデオデータのブロックが第1のブロックであり、1つまたは複数のプロセッサが、ビデオデータの第2のブロックのための動きベクトルに短縮されたマルチパスDMVRを適用するように構成され、第2のブロックのための動きベクトルに短縮されたマルチパスDMVRを適用するために、1つまたは複数のプロセッサが、ビデオデータの第2のブロックの特定のサブエリアのためのマルチパスDMVRの所与のサブブロックベースのパスを飛ばすと決定することであって、特定のサブエリアが第2のブロックの1つまたは複数のサブブロックを備える、決定することと、第2のブロックの特定のサブエリアのためのマルチパスDMVRの所与のサブブロックベースのパスを飛ばすという決定に基づいて、第2のブロックの特定のサブエリアのためのマルチパスDMVRの所与のサブブロックベースのパスを飛ばすこととを行うように構成される、条項16Bから27Bのいずれかの組合せに記載のデバイス。
条項29B. 1つまたは複数のプロセッサが、先行するパスの結果に基づいて所与のサブブロックベースのパスを飛ばすと決定するように構成される、条項28Bに記載のデバイス。
条項30B. ブロックがビデオデータの第1のブロックであり、1つまたは複数のプロセッサがさらに、ビデオデータの第2のブロックにDMVRを適用しないと決定し、第2のブロックにDMVRを適用しないという決定に基づいて、第2のブロックのためのマルチパスDMVRのすべてのパスを飛ばし、第2のブロックのための初期動きベクトルに基づいて第2のブロックを復号するように構成される、条項16Bから25Bのいずれかの組合せに記載のデバイス。
条項31B. 命令を記憶した非一時的コンピュータ可読記憶媒体であって、命令が実行されると、1つまたは複数のプロセッサに、少なくとも1つの改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルへマルチパスデコーダ側動きベクトル改良(DMVR)を適用させ、少なくとも1つの改良された動きベクトルに基づいてブロックを復号させ、マルチパスDMVRが、ブロックベースでありビデオデータのブロックに適用される第1のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第2パスサブブロックに適用される第2のパスであって、第2パスサブブロックの幅がビデオデータのブロックの幅以下であり、第2パスサブブロックの高さがビデオデータのブロックの高さ以下である、第2のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第3パスサブブロックに適用される第3のパスであって、第3パスサブブロックの幅が第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが第2パスサブブロックの高さ以下である、第3のパスとを備える、非一時的コンピュータ可読記憶媒体。
条項33B. ビデオデータをコーディングするためのデバイスであって、少なくとも1つの改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用するための手段と、少なくとも1つの改良された動きベクトルに基づいてブロックを復号するための手段とを備え、マルチパスDMVRが、ブロックベースでありビデオデータのブロックに適用される第1のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第2パスサブブロックに適用される第2のパスであって、第2パスサブブロックの幅がビデオデータのブロックの幅以下であり、第2パスサブブロックの高さがビデオデータのブロックの高さ以下である、第2のパスと、サブブロックベースでありビデオデータのブロックの少なくとも1つの第3パスサブブロックに適用される第3のパスであって、第3パスサブブロックの幅が第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが第2パスサブブロックの高さ以下である、第3のパスとを備える、デバイス。
例に応じて、本明細書において説明された技法のうちのいずれかのいくつかの行為またはイベントが、異なる順序で実行されることが可能であり、追加され、統合され、または完全に除外されてもよい(たとえば、説明されたすべての行為またはイベントが技法の実践にとって必要であるとは限らない)ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて並行して実行されてもよい。
1つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装されてもよい。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されてもよく、またはコンピュータ可読媒体を介して送信されてもよく、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に相当するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含んでもよい。このようにして、コンピュータ可読媒体は、一般に、(1)非一時的である有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に相当してもよい。データ記憶媒体は、本開示で説明された技法の実装のための命令、コード、および/またはデータ構造を取り出すために、1つまたは複数のコンピュータまたは1つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であってもよい。コンピュータプログラム製品がコンピュータ可読媒体を含んでもよい。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、フラッシュメモリ、または命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得るとともに、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続も適切にコンピュータ可読媒体と呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義の中に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的な媒体を含まず、代わりに非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびブルーレイディスク(disc)を含み、ここで、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記のものの組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
命令は、1つまたは複数のDSP、汎用マイクロプロセッサ、ASIC、FPGA、または他の等価な集積論理回路もしくはディスクリート論理回路などの、1つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」および「処理回路」という用語は、上記の構造、または本明細書で説明された技法の実装に適した任意の他の構造のうちのいずれかを指すことがある。加えて、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用のハードウェアモジュールおよび/もしくはソフトウェアモジュール内で提供されてもよく、または複合コーデックの中に組み込まれてもよい。また、本技法は、1つまたは複数の回路または論理要素で完全に実装され得る。
本開示の技法は、ワイヤレスハンドセット、集積回路(IC)、またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装されてもよい。開示された技法を実行するように構成されたデバイスの機能的態様を強調するために、様々なコンポーネント、モジュール、またはユニットが本開示において説明されたが、それらは必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上で説明されたように、様々なユニットは、コーデックハードウェアユニットにおいて組み合わせられてもよく、または適切なソフトウェアおよび/もしくはファームウェアとともに、上で説明されたような1つまたは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供されてもよい。
様々な例が説明された。これらおよび他の例は、以下の特許請求の範囲内に入る。
102 ソースデバイス
104 ビデオソース
106 メモリ
108 出力インターフェース
110 コンピュータ可読媒体
112 記憶デバイス
114 ファイルサーバ
116 デスティネーションデバイス
118 表示デバイス
120 メモリ
122 入力インターフェース
130 QTBT構造
132 コーディングツリーユニット
200 ビデオエンコーダ
202 モード選択ユニット
204 残差生成ユニット
206 変換処理ユニット
208 量子化ユニット
210 逆量子化ユニット
212 逆変換処理ユニット
214 再構築ユニット
216 フィルタユニット
218 復号ピクチャバッファ
220 エントロピー符号化ユニット
222 動き推定ユニット
224 動き補償ユニット
226 イントラ予測ユニット
230 ビデオデータメモリ
300 ビデオデコーダ
302 エントロピー復号ユニット
304 予測処理ユニット
306 逆量子化ユニット
308 逆変換処理ユニット
310 再構築ユニット
312 フィルタユニット
314 DPB
316 動き補償ユニット
317 MPDMVR
318 イントラ予測ユニット
320 CPBメモリ
500 PU0
502 PU0
600 ブロック
602 ブロック
610 同一位置MV
700 テンプレート
702 現在ピクチャ
706 参照ピクチャ
800 TD0
802 TD1
804 現在ピクチャ
806 参照ピクチャ
808 参照ピクチャ
810 TD0
812 TD1
900 初期MV
902 3×3探索パターン
904 MV
906 最後に選択されるMV
1000 ブロック
1002 ブロック
1100 CU
1102 サブブロック
1200 コーディングブロック
1202 第1のパス
1204A～1204B サブブロック
1208A～1208H サブブロック

Claims (32)

  1. ビデオデータを復号する方法であって、
    少なくとも1つの改良された動きベクトルを決定するために前記ビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用するステップと、
    前記少なくとも1つの改良された動きベクトルに基づいて前記ブロックを復号するステップとを備え、
    前記マルチパスDMVRが、
    ブロックベースであり前記ビデオデータの前記ブロックに適用される、第1のパスと、
    サブブロックベースであり、前記ビデオデータの前記ブロックの少なくとも1つの第2パスサブブロックに適用される、第2のパスであって、第2パスサブブロックの幅が前記ビデオデータの前記ブロックの幅以下であり、第2パスサブブロックの高さが前記ビデオデータの前記ブロックの高さ以下である、第2のパスと、
    サブブロックベースであり、前記ビデオデータの前記ブロックの少なくとも1つの第3パスサブブロックに適用される、第3のパスであって、第3パスサブブロックの幅が前記第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが前記第2パスサブブロックの高さ以下である、第3のパスと
    を備える、方法。
  2. 前記ビデオデータの前記ブロックの前記少なくとも1つの第3パスサブブロックが、前記ビデオデータの前記ブロックの前記少なくとも1つの第2パスサブブロックへのサブブロックである、請求項1に記載の方法。
  3. 前記第1のパスを適用するステップが、前記ビデオデータの前記ブロックのための少なくとも1つの第1の改良された動きベクトルを導出し、前記少なくとも1つの第1の改良された動きベクトルが前記第2のパスにおいて使用される、請求項1に記載の方法。
  4. 前記第2のパスを適用するステップが、少なくとも1つのそれぞれの第2パスサブブロックのための少なくとも1つの第2の改良された動きベクトルを導出し、前記少なくとも1つの第2の改良された動きベクトルが前記第3のパスにおいて使用される、請求項3に記載の方法。
  5. 前記第3のパスを適用するステップが、少なくとも1つのそれぞれの第3パスサブブロックのための少なくとも1つの第3の改良された動きベクトルを導出し、前記少なくとも1つの改良された動きベクトルが前記少なくとも1つの第3の改良された動きベクトルとして決定される、請求項4に記載の方法。
  6. 前記マルチパスDMVRの少なくとも1つのパスが、双方向オプティカルフロー(BDOF)を適用することまたはバイラテラルマッチングを適用することを備える、請求項1に記載の方法。
  7. 前記第1のパスがバイラテラルマッチングを適用することを備え、前記第2のパスがバイラテラルマッチングを適用することを備え、前記第3のパスがBDOFを適用することを備える、請求項6に記載の方法。
  8. 前記少なくとも1つの第2パスサブブロックが、16ルマサンプルという所定の最大の幅および16ルマサンプルという所定の最大の高さを有する、請求項1に記載の方法。
  9. 前記少なくとも1つの第3パスサブブロックが、8ルマサンプルという所定の最大の幅および8ルマサンプルという所定の最大の高さを有する、請求項1に記載の方法。
  10. 前記第1のパスまたは前記第2のパスのうちの少なくとも1つのためのデルタ動き値の範囲が、水平方向において[-8,8]および垂直方向において[-8,8]であり、前記第3のパスのためのデルタ動き値の範囲が、前記水平方向において[-2,2]および前記垂直方向において[-2,2]である、請求項1に記載の方法。
  11. 前記ビデオデータの前記ブロックが第1のブロックであり、前記方法がさらに、前記ビデオデータの第2のブロックのための動きベクトルに短縮されたマルチパスDMVRを適用するステップを備え、前記適用するステップが、
    前記第2のブロックのための前記マルチパスDMVRの所与のパスを飛ばすと決定するステップと、
    前記第2のブロックのための前記マルチパスDMVRの前記所与のパスを飛ばすという前記決定に基づいて、前記第2のブロックのための前記マルチパスDMVRの前記所与のパスを飛ばすステップとを備える、請求項1に記載の方法。
  12. 前記所与のパスを飛ばすと決定する前記ステップが、先行するパスの結果に基づく、請求項11に記載の方法。
  13. 前記ビデオデータの前記ブロックが第1のブロックであり、前記方法がさらに、前記ビデオデータの第2のブロックのための動きベクトルに短縮されたマルチパスDMVRを適用するステップを備え、前記適用するステップが、
    前記ビデオデータの前記第2のブロックの特定のサブエリアのための前記マルチパスDMVRの所与のサブブロックベースのパスを飛ばすと決定するステップであって、前記特定のサブエリアが前記第2のブロックの1つまたは複数のサブブロックを備える、ステップと、
    前記第2のブロックの前記特定のサブエリアのための前記マルチパスDMVRの前記所与のサブブロックベースのパスを飛ばすという前記決定に基づいて、前記第2のブロックの前記特定のサブエリアのための前記マルチパスDMVRの前記所与のサブブロックベースのパスを飛ばすステップとを備える、請求項1に記載の方法。
  14. 前記所与のサブブロックベースのパスを飛ばすと決定する前記ステップが、先行するパスの結果に基づく、請求項13に記載の方法。
  15. 前記ブロックが前記ビデオデータの第1のブロックであり、前記方法がさらに、
    前記ビデオデータの第2のブロックにDMVRを適用しないと決定するステップと、
    前記第2のブロックにDMVRを適用しないという前記決定に基づいて、前記第2のブロックのための前記マルチパスDMVRのすべてのパスを飛ばすステップと、
    前記第2のブロックのための初期動きベクトルに基づいて前記第2のブロックを復号するステップとを備える、請求項1に記載の方法。
  16. ビデオデータを復号するためのデバイスであって、
    前記ビデオデータを記憶するように構成されるメモリと、
    回路で実装され、前記メモリに通信可能に結合される1つまたは複数のプロセッサとを備え、前記1つまたは複数のプロセッサが、
    少なくとも1つの改良された動きベクトルを決定するために前記ビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用し、
    前記少なくとも1つの改良された動きベクトルに基づいて前記ブロックを復号するように構成され、
    前記マルチパスDMVRが、
    ブロックベースであり前記ビデオデータの前記ブロックに適用される、第1のパスと、
    サブブロックベースであり、前記ビデオデータの前記ブロックの少なくとも1つの第2パスサブブロックに適用される、第2のパスであって、第2パスサブブロックの幅が前記ビデオデータの前記ブロックの幅以下であり、第2パスサブブロックの高さが前記ビデオデータの前記ブロックの高さ以下である、第2のパスと、
    サブブロックベースであり、前記ビデオデータの前記ブロックの少なくとも1つの第3パスサブブロックに適用される、第3のパスであって、第3パスサブブロックの幅が前記第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが前記第2パスサブブロックの高さ以下である、第3のパスと
    を備える、デバイス。
  17. 前記ビデオデータの前記ブロックの前記少なくとも1つの第3パスサブブロックが、前記ビデオデータの前記ブロックの前記少なくとも1つの第2パスサブブロックへのサブブロックである、請求項16に記載のデバイス。
  18. 前記1つまたは複数のプロセッサが、前記ビデオデータの前記ブロックのための少なくとも1つの第1の改良された動きベクトルを導出するために、および前記少なくとも1つの第1の改良された動きベクトルを前記第2のパスにおいて使用するために、前記第1のパスを適用するように構成される、請求項16に記載のデバイス。
  19. 前記1つまたは複数のプロセッサが、少なくとも1つのそれぞれの第2パスサブブロックのための少なくとも1つの第2の改良された動きベクトルを導出するために、および前記少なくとも1つの第2の改良された動きベクトルを前記第3のパスにおいて使用するために、前記第2のパスを適用するように構成される、請求項18に記載のデバイス。
  20. 前記1つまたは複数のプロセッサが、少なくとも1つのそれぞれの第3パスサブブロックのための少なくとも1つの第3の改良された動きベクトルを導出するために、および前記少なくとも1つの改良された動きベクトルを前記少なくとも1つの第3の改良された動きベクトルとして決定するために、前記第3のパスを適用するように構成される、請求項19に記載のデバイス。
  21. 前記マルチパスDMVRの少なくとも1つのパスが、双方向オプティカルフロー(BDOF)を適用することを備え、または、前記マルチパスDMVRの少なくとも1つのパスが、バイラテラルマッチングを適用することを備える、請求項16に記載のデバイス。
  22. 前記第1のパスがバイラテラルマッチングを適用することを備え、前記第2のパスがバイラテラルマッチングを適用することを備え、前記第3のパスがBDOFを適用することを備える、請求項21に記載のデバイス。
  23. 前記少なくとも1つの第2パスサブブロックが、16ルマサンプルという所定の最大の幅および16ルマサンプルという所定の最大の高さを有する、請求項16に記載のデバイス。
  24. 前記少なくとも1つの第3パスサブブロックが、8ルマサンプルという所定の最大の幅および8ルマサンプルという所定の最大の高さを有する、請求項16に記載のデバイス。
  25. 前記第1のパスまたは前記第2のパスのうちの少なくとも1つのためのデルタ動き値の範囲が、水平方向において[-8,8]および垂直方向において[-8,8]であり、前記第3のパスのためのデルタ動き値の範囲が、前記水平方向において[-2,2]および前記垂直方向において[-2,2]である、請求項16に記載のデバイス。
  26. 前記ビデオデータの前記ブロックが第1のブロックであり、前記1つまたは複数のプロセッサが、前記ビデオデータの第2のブロックのための動きベクトルに短縮されたマルチパスDMVRを適用するように構成され、前記第2のブロックのための前記動きベクトルに前記短縮されたマルチパスDMVRを適用するために、前記1つまたは複数のプロセッサが、
    前記第2のブロックのための前記マルチパスDMVRの所与のパスを飛ばすと決定し、
    前記第2のブロックのための前記マルチパスDMVRの前記所与のパスを飛ばすという前記決定に基づいて、前記第2のブロックのための前記マルチパスDMVRの前記所与のパスを飛ばすように構成される、請求項16に記載のデバイス。
  27. 前記1つまたは複数のプロセッサが、先行するパスの結果に基づいて前記所与のパスを飛ばすと決定するように構成される、請求項26に記載のデバイス。
  28. 前記ビデオデータの前記ブロックが第1のブロックであり、前記1つまたは複数のプロセッサが、前記ビデオデータの第2のブロックのための動きベクトルに短縮されたマルチパスDMVRを適用するように構成され、前記第2のブロックのための前記動きベクトルに前記短縮されたマルチパスDMVRを適用するために、前記1つまたは複数のプロセッサが、
    前記ビデオデータの前記第2のブロックの特定のサブエリアのための前記マルチパスDMVRの所与のサブブロックベースのパスを飛ばすと決定することであって、前記特定のサブエリアが前記第2のブロックの1つまたは複数のサブブロックを備える、決定することと、
    前記第2のブロックの前記特定のサブエリアのための前記マルチパスDMVRの前記所与のサブブロックベースのパスを飛ばすという前記決定に基づいて、前記第2のブロックの前記特定のサブエリアのための前記マルチパスDMVRの前記所与のサブブロックベースのパスを飛ばすこととを行うように構成される、請求項16に記載のデバイス。
  29. 前記1つまたは複数のプロセッサが、先行するパスの結果に基づいて前記所与のサブブロックベースのパスを飛ばすと決定するように構成される、請求項28に記載のデバイス。
  30. 前記ブロックが前記ビデオデータの第1のブロックであり、前記1つまたは複数のプロセッサがさらに、
    前記ビデオデータの第2のブロックにDMVRを適用しないと決定し、
    前記第2のブロックにDMVRを適用しないという前記決定に基づいて、前記第2のブロックのための前記マルチパスDMVRのすべてのパスを飛ばし、
    前記第2のブロックのための初期動きベクトルに基づいて前記第2のブロックを復号するように構成される、請求項16に記載のデバイス。
  31. 命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令が、実行されると、1つまたは複数のプロセッサに、
    少なくとも1つの改良された動きベクトルを決定するためにビデオデータのブロックのための動きベクトルへマルチパスデコーダ側動きベクトル改良(DMVR)を適用させ、
    前記少なくとも1つの改良された動きベクトルに基づいて前記ブロックを復号させ、
    前記マルチパスDMVRが、
    ブロックベースであり前記ビデオデータの前記ブロックに適用される、第1のパスと、
    サブブロックベースであり、前記ビデオデータの前記ブロックの少なくとも1つの第2パスサブブロックに適用される、第2のパスであって、第2パスサブブロックの幅が前記ビデオデータの前記ブロックの幅以下であり、第2パスサブブロックの高さが前記ビデオデータの前記ブロックの高さ以下である、第2のパスと、
    サブブロックベースであり、前記ビデオデータの前記ブロックの少なくとも1つの第3パスサブブロックに適用される、第3のパスであって、第3パスサブブロックの幅が前記第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが前記第2パスサブブロックの高さ以下である、第3のパスと
    を備える、非一時的コンピュータ可読記憶媒体。
  32. ビデオデータをコーディングするためのデバイスであって、
    少なくとも1つの改良された動きベクトルを決定するために前記ビデオデータのブロックのための動きベクトルにマルチパスデコーダ側動きベクトル改良(DMVR)を適用するための手段と、
    前記少なくとも1つの改良された動きベクトルに基づいて前記ブロックを復号するための手段とを備え、
    前記マルチパスDMVRが、
    ブロックベースであり前記ビデオデータの前記ブロックに適用される、第1のパスと、
    サブブロックベースであり、前記ビデオデータの前記ブロックの少なくとも1つの第2パスサブブロックに適用される、第2のパスであって、第2パスサブブロックの幅が前記ビデオデータの前記ブロックの幅以下であり、第2パスサブブロックの高さが前記ビデオデータの前記ブロックの高さ以下である、第2のパスと、
    サブブロックベースであり、前記ビデオデータの前記ブロックの少なくとも1つの第3パスサブブロックに適用される、第3のパスであって、第3パスサブブロックの幅が前記第2パスサブブロックの幅以下であり、第3パスサブブロックの高さが前記第2パスサブブロックの高さ以下である、第3のパスと
    を備える、デバイス。
JP2023530281A 2020-12-22 2021-12-21 マルチパスデコーダ側動きベクトル改良 Pending JP2023554236A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063129221P 2020-12-22 2020-12-22
US63/129,221 2020-12-22
US17/556,142 US20220201315A1 (en) 2020-12-22 2021-12-20 Multi-pass decoder-side motion vector refinement
US17/556,142 2021-12-20
PCT/US2021/064537 WO2022140338A1 (en) 2020-12-22 2021-12-21 Multi-pass decoder-side motion vector refinement

Publications (1)

Publication Number Publication Date
JP2023554236A true JP2023554236A (ja) 2023-12-27

Family

ID=79831635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023530281A Pending JP2023554236A (ja) 2020-12-22 2021-12-21 マルチパスデコーダ側動きベクトル改良

Country Status (11)

Country Link
EP (1) EP4268468A1 (ja)
JP (1) JP2023554236A (ja)
KR (1) KR20230123946A (ja)
AU (1) AU2021409783A1 (ja)
CA (1) CA3198095A1 (ja)
CL (1) CL2023001849A1 (ja)
CO (1) CO2023007958A2 (ja)
IL (1) IL301896A (ja)
MX (1) MX2023007161A (ja)
TW (1) TW202232951A (ja)
WO (1) WO2022140338A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10911761B2 (en) * 2016-12-27 2021-02-02 Mediatek Inc. Method and apparatus of bilateral template MV refinement for video coding
US11310526B2 (en) * 2018-01-26 2022-04-19 Mediatek Inc. Hardware friendly constrained motion vector refinement
TWI738248B (zh) * 2019-03-14 2021-09-01 聯發科技股份有限公司 運動細化以及子分區基礎填充的視訊處理的方法以及裝置

Also Published As

Publication number Publication date
AU2021409783A9 (en) 2024-02-08
CA3198095A1 (en) 2022-06-30
MX2023007161A (es) 2023-06-29
IL301896A (en) 2023-06-01
CO2023007958A2 (es) 2023-07-21
AU2021409783A1 (en) 2023-05-18
KR20230123946A (ko) 2023-08-24
CL2023001849A1 (es) 2024-01-05
EP4268468A1 (en) 2023-11-01
WO2022140338A1 (en) 2022-06-30
TW202232951A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
US11206396B2 (en) Local illumination compensation in video coding
CN110771164A (zh) 视频译码中的帧间预测与帧内预测的组合
JP2022521979A (ja) デコーダ側動きベクトル改良に対する制約
US11936877B2 (en) Template matching based affine prediction for video coding
US20230007238A1 (en) Using unrefined motion vectors for performing decoder-side motion vector derivation
JP2024514103A (ja) インター予測モードにおけるテンプレートマッチングの改善
US11528504B2 (en) Motion vector prediction with motion information collecting buffer
US20220201315A1 (en) Multi-pass decoder-side motion vector refinement
US20220201313A1 (en) Bi-directional optical flow in video coding
CN117529921A (zh) 视频译码中的混合帧间双预测
CN116636213A (zh) 视频译码中的模板匹配
JP2023554236A (ja) マルチパスデコーダ側動きベクトル改良
US20230328257A1 (en) Bi-directional prediction boundary pixel padding with out-of-picture-boundary motion vectors
US20230079743A1 (en) Multiple inter predictors with decoder side motion vector derivation for video coding
US20230089741A1 (en) Adaptive bilateral matching for decoder side motion vector refinement for video coding
US20240121399A1 (en) Decoder-side control point motion vector refinement for affine inter-prediction in video coding
KR20230123951A (ko) 비디오 코딩에서의 양방향 광학 플로우
JP2024501137A (ja) ビデオコーディングにおけるテンプレートマッチング
JP2024514113A (ja) ビデオコーディングのためのテンプレートマッチングベースのアフィン予測
JP2024508216A (ja) ビデオコーディングのためのモデルベースの動きベクトル差分導出およびテンプレート照合予測
CN116601956A (zh) 多遍次解码器侧运动向量细化
JP2024512926A (ja) 隣接しない候補とａｍｖｐインデックスのシグナリングとを用いたテンプレートマッチングベースの高度動きベクトル予測子（ａｍｖｐ）候補リストの構築
CN116601949A (zh) 视频译码中的双向光流
CN117546467A (zh) 使用未经细化的运动向量来执行解码器侧运动向量推导
CN117203966A (zh) 用于视频译码的基于模板匹配的仿射预测