JP7507166B2 - デコーダ側動きベクトル改良に対する制約 - Google Patents

Description

優先権の主張

[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１９年３月１日に出願された米国仮出願第６２／８１２，８２８号の利益を主張する、２０２０年２月２７日に出願された米国特許出願第１６／８０３，５２０号の優先権を主張する。

[0002]本開示は、ビデオ符号化およびビデオ復号に関する。

[0003]デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法などの、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。

[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間（ピクチャ内）予測および/または時間（ピクチャ間）予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオピクチャまたはビデオピクチャの一部分）が、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）および/またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコーディングされた（Ｉ）スライスの中のビデオブロックは、同じピクチャ中の近隣ブロックの中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライスの中のビデオブロックは、同じピクチャ中の隣接ブロックの中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0005]全般に、本開示は、デコーダ側動きベクトル改良（ＤＭＶＲ：decoder-side motion vector refinement）のための技法を説明する。具体的には、本開示は、双方向（bilateral）テンプレート照合などの動きベクトル改良プロセスを、双予測される予測（bi-predicted prediction）を使用して符号化されたビデオデータのブロックにいつ適用するかを決定するための、技法を説明する。一例では、ビデオコーダは、双予測される予測のために使用される重みが等しくないとき、双予測されるブロックのための動きベクトル改良プロセスを無効にし得る。本開示のさらなる例では、ビデオコーダはまた、双予測の動きベクトルによって特定される予測されるブロック間の差分が閾値未満であるとき、動きベクトル改良プロセスを無効にし得る。本開示の技法は、既存のビデオコーデックのいずれの拡張に適用されてもよく、開発中のＶＶＣ（汎用ビデオコーディング:Versatile Video Coding）規格とともに使用されてもよく、またはいかなる将来のビデオコーディング規格においても効率的なコーディングツールになり得る。

[0006]一例では、方法は、双予測される予測を使用して符号化されたビデオデータの現在のブロックの動きベクトルを決定するステップと、当該現在のブロックの双予測される予測のために使用される重みに基づいて当該動きベクトルに対して動きベクトル改良プロセスを使用すると決定するステップと、動きベクトル改良プロセスを使用するという決定に基づいて、当該動きベクトルに対して動きベクトル改良プロセスを適用するステップとを含む。

[0007]別の例では、ビデオデータを復号するように構成される装置は、ビデオデータの現在のブロックを記憶するように構成されるメモリと、回路において実装されメモリと通信している１つまたは複数のプロセッサとを含み、１つまたは複数のプロセッサは、双予測される予測を使用して符号化されたビデオデータの現在のブロックのための動きベクトルを決定し、当該現在のブロックの双予測される予測のために使用される重みに基づいて、当該動きベクトルに対して動きベクトル改良プロセスを使用すると決定し、動きベクトル改良プロセスを使用するという決定に基づいて、当該動きベクトルに対して動きベクトル改良プロセスを適用するように構成される。

[0008]別の例では、ビデオデータを復号するように構成される装置は、双予測される予測を使用して符号化されたビデオデータの現在のブロックのための動きベクトルを決定するための手段と、当該現在のブロックの双予測される予測のために使用される重みに基づいて当該動きベクトルに対して動きベクトル改良プロセスを使用すると決定するための手段と、動きベクトル改良プロセスを使用するという決定に基づいて、当該動きベクトルに対して動きベクトル改良プロセスを適用するための手段とを含む。

[0009]別の例では、本開示は、実行されると、ビデオデータを復号するように構成される１つまたは複数のプロセッサに、双予測される予測を使用して符号化されたビデオデータの現在のブロックのための動きベクトルを決定させ、当該現在のブロックの双予測される予測のために使用される重みに基づいて当該動きベクトルに対して動きベクトル改良プロセスを使用すると決定させ、動きベクトル改良プロセスを使用するという決定に基づいて、当該動きベクトルに対して動きベクトル改良プロセスを適用させる、命令を記憶した非一時的コンピュータ可読媒体を説明する。

[0010]１つまたは複数の例の詳細が添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。

[0011]本開示の技法を実行し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0012]本開示の技法を実行し得る例示的なビデオエンコーダを示すブロック図。 [0013]本開示の技法を実行し得る例示的なビデオデコーダを示すブロック図。 [0014]マージモードのための空間隣接動きベクトル候補を示す概念図。 [0015]高度動きベクトル予測（ＡＭＶＰ：advanced motion vector prediction）モードのための空間隣接動きベクトル候補を示す概念図。 [0016]時間動きベクトル候補を示す概念図。 [0017]動きベクトルスケーリングを示す概念図。 [0018]マージ動きベクトル改良（ＭＭＶＲ）プロセスを示す概念図。 [0019]ＭＭＶＲ探索点を示す概念図。 [0020]オフセットマージ候補を示す概念図。 [0021]双方向テンプレート照合を示す概念図。 [0022]デコーダ側動きベクトル導出（ＤＭＶＤ）技法のための例示的なパイプライン状態を示す概念図。 [0023]例示的なオプティカルフロー軌跡を示す概念図。 [0024]８×４ブロックに対する例示的な双方向オプティカルフロー（ＢＩＯ）を示す概念図。 [0025]例示的な符号化方法を示すフローチャート。 [0026]例示的な復号方法を示すフローチャート。 [0027]デコーダ側動きベクトル改良を適用するための例示的な復号方法を示すフローチャート。 [0028]デコーダ側動きベクトル改良を適用するための別の例示的な復号方法を示すフローチャート。

[0029]全般に、本開示は、デコーダ側動きベクトル改良（ＤＭＶＲ）のための技法を説明する。具体的には、本開示は、双方向テンプレート照合などの動きベクトル改良プロセスを、双予測される予測を使用して符号化されたビデオデータのブロックにいつ適用するかを決定するための、技法を説明する。本開示の技法によれば、ビデオコーダは、動きベクトル改良が適用されるべきかどうかを示すシンタックス要素を明示的にコーディングする（たとえば、符号化または復号する）ことなく、動きベクトル改良プロセスをいつ適用するかを決定するように構成され得る。このようにして、ビデオコーダは、符号化されたビデオビットストリームにおけるオーバーヘッドシグナリングを増やすことなく、動きベクトル改良を選択的に適用し得る。一例では、ビデオコーダ（たとえば、ビデオエンコーダおよび/またはビデオデコーダ）は、双予測される予測のために使用される重みが等しくないとき、双予測されるブロックのための動きベクトル改良プロセスを無効にし得る。本開示のさらなる例では、ビデオコーダはまた、双予測の動きベクトルによって特定される予測されるブロック間の差分が閾値未満であるとき、動きベクトル改良プロセスを無効にし得る。

[0030]図１は、ＤＭＶＲのための本開示の技法を実行し得る例示的なビデオ符号および復号システム１００を示すブロック図である。本開示の技法は、一般に、ビデオデータをコーディング（符号化および/または復号）することを対象とする。一般に、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、未加工の（raw）コーディングされていないビデオと、符号化されたビデオと、復号された（たとえば、再構築された）ビデオと、シグナリングデータなどのビデオメタデータとを含み得る。以下でより詳細に説明されるように、本開示は、双方向テンプレート照合などのＤＭＶＲのための動きベクトル改良プロセスを、双予測される予測を使用して符号化されたビデオデータのブロックにいつ適用するかを決定するための、技法を説明する。一例では、ビデオコーダは、双予測される予測のために使用される重みが等しくないとき、双予測されるブロックのための動きベクトル改良プロセスを無効にし得る。本開示のさらなる例では、ビデオコーダはまた、双予測の動きベクトルによって特定される予測されたブロック間の差分が閾値未満であるとき、動きベクトル改良プロセスを無効にし得る。本開示の技法は、コーディング効率を高め、および/またはＤＭＶＲ技法の実装を簡単にし得る。

[0031]図１に示されるように、システム１００は、この例では、宛先デバイス１１６によって復号され表示されるべき符号化されたビデオデータを提供するソースデバイス１０２を含む。具体的には、ソースデバイス１０２は、コンピュータ可読媒体１１０を介してビデオデータを宛先デバイス１１６に提供する。ソースデバイス１０２および宛先デバイス１１６は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。いくつかの場合、ソースデバイス１０２および宛先デバイス１１６は、ワイヤレス通信に対応し得るので、ワイヤレス通信デバイスと呼ばれ得る。

[0032]図１の例では、ソースデバイス１０２は、ビデオソース１０４と、メモリ１０６と、ビデオエンコーダ２００と、出力インターフェース１０８とを含む。宛先デバイス１１６は、入力インターフェース１２２と、ビデオデコーダ３００と、メモリ１２０と、ディスプレイデバイス１１８とを含む。本開示によれば、ソースデバイス１０２のビデオエンコーダ２００および宛先デバイス１１６のビデオデコーダ３００は、デコーダ側動きベクトル改良のための技法を適用するように構成され得る。したがって、ソースデバイス１０２はビデオ符号化デバイスの例を表し、宛先デバイス１１６はビデオ復号デバイスの例を表す。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または構成を含み得る。たとえば、ソースデバイス１０２は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス１１６は、統合されたディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

[0033]図１に示されているシステム１００は一例にすぎない。一般に、いかなるデジタルビデオ符号化および/または復号デバイスも、デコーダ側動きベクトル改良のための技法を実行し得る。ソースデバイス１０２および宛先デバイス１１６は、ソースデバイス１０２が宛先デバイス１１６への送信のためにコーディングされたビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示は、データのコーディング（符号化および/または復号）を実行するデバイスとして「コーディング」デバイスに言及する。したがって、ビデオエンコーダ２００およびビデオデコーダ３００は、コーディングデバイス、特に、それぞれビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、デバイス１０２、１１６は、デバイス１０２、１１６の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、システム１００は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、またはビデオ電話のための、ビデオデバイス１０２とビデオデバイス１１６との間の一方向または双方向のビデオ送信をサポートし得る。

[0034]一般に、ビデオソース１０４は、ビデオデータのソース（すなわち、未加工の、コーディングされていないビデオデータ）を表し、ピクチャのためのデータを符号化するビデオエンコーダ２００にビデオデータの連続した一連のピクチャ（「フレーム」とも呼ばれる）を提供する。ソースデバイス１０２のビデオソース１０４は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされた未加工のビデオを包含するビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース１０４は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブされたビデオとコンピュータで生成されたビデオとの組合せを生成し得る。各々の場合において、ビデオエンコーダ２００は、キャプチャされたビデオデータ、プリキャプチャされたビデオデータ、またはコンピュータで生成されたビデオデータを符号化する。ビデオエンコーダ２００は、ピクチャを、（「表示順序」と呼ばれることがある）受信順序から、コーディングのためのコーディング順序に並べ替え得る。ビデオエンコーダ２００は、符号化されたビデオデータを含むビットストリームを生成し得る。ソースデバイス１０２は、次いで、たとえば、宛先デバイス１１６の入力インターフェース１２２による受信および/または取出しのために、出力インターフェース１０８を介して符号化されたビデオデータをコンピュータ可読媒体１１０に出力し得る。

[0035]ソースデバイス１０２のメモリ１０６、および宛先デバイス１１６のメモリ１２０は、汎用メモリを表す。いくつかの例では、メモリ１０６、１２０は、未加工のビデオデータ、たとえば、ビデオソース１０４からの未加工のビデオ、およびビデオデコーダ３００からの未加工の、復号されたビデオデータを記憶し得る。追加または代替として、メモリ１０６、１２０は、たとえば、それぞれ、ビデオエンコーダ２００およびビデオデコーダ３００によって実行可能なソフトウェア命令を記憶し得る。この例ではビデオエンコーダ２００およびビデオデコーダ３００とは別々に示されているが、ビデオエンコーダ２００およびビデオデコーダ３００は、機能的に同等のまたは等価な目的のために内部メモリも含み得ることを理解されたい。さらに、メモリ１０６、１２０は、符号化されたビデオデータ、たとえば、ビデオエンコーダ２００からの出力、およびビデオデコーダ３００への入力を記憶し得る。いくつかの例では、メモリ１０６、１２０の部分は、たとえば、未加工の復号および/または符号化されたビデオデータを記憶するために、１つまたは複数のビデオバッファとして割り振られ得る。

[0036]コンピュータ可読媒体１１０は、ソースデバイス１０２から宛先デバイス１１６に符号化されたビデオデータを移送することが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体１１０は、ソースデバイス１０２が、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、符号化されたビデオデータを宛先デバイス１１６にリアルタイムで直接送信することを可能にするための通信媒体を表す。出力インターフェース１０８は、符号化されたビデオデータを含む送信信号を変調してもよく、入力インターフェース１２２は、ワイヤレス通信プロトコルなどの通信規格に従って、受信された送信信号を変調してもよい。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路などの、任意のワイヤレスまたは有線の通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどの、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１０２から宛先デバイス１１６への通信を容易にするために有用であり得る任意の他の機器を含み得る。

[0037]いくつかの例では、ソースデバイス１０２は、出力インターフェース１０８から記憶デバイス１１６に符号化されたデータを出力し得る。同様に、宛先デバイス１１６は、入力インターフェース１２２を介して記憶デバイス１１６から符号化されたデータにアクセスし得る。記憶デバイス１１６は、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体などの、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。

[0038]いくつかの例では、ソースデバイス１０２は、ソースデバイス１０２によって生成された符号化されたビデオを記憶し得るファイルサーバ１１４または別の中間記憶デバイスに符号化されたビデオデータを出力し得る。宛先デバイス１１６は、ストリーミングまたはダウンロードを介して、ファイルサーバ１１４から、記憶されたビデオデータにアクセスし得る。ファイルサーバ１１４は、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先デバイス１１６に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ１１４は、（たとえば、ウェブサイトのための）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、コンテンツ配信ネットワークデバイス、またはネットワーク接続ストレージ（ＮＡＳ）デバイスを表し得る。宛先デバイス１１６は、インターネット接続を含む、任意の標準データ接続を通じてファイルサーバ１１４から符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、有線接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または、ファイルサーバ１１４に記憶された符号化されたビデオデータにアクセスするのに適した、両方の組合せを含み得る。ファイルサーバ１１４および入力インターフェース１２２は、ストリーミング伝送プロトコル、ダウンロード伝送プロトコル、またはそれらの組合せに従って動作するように構成され得る。

[0039]出力インターフェース１０８および入力インターフェース１２２は、ワイヤレス送信機/受信機、モデム、有線ネットワーキング構成要素（たとえば、イーサネット（登録商標）カード）、様々なＩＥＥＥ８０２．１１規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース１０８および入力インターフェース１２２がワイヤレス構成要素を備える例では、出力インターフェース１０８および入力インターフェース１２２は、４Ｇ、４Ｇ－ＬＴＥ（登録商標）（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇなどのセルラー通信規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を備えるいくつかの例では、出力インターフェース１０８と入力インターフェース１２２とは、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（たとえば、ＺｉｇＢｅｅ（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格などの、他のワイヤレス規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２および/または宛先デバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含み得る。たとえば、ソースデバイス１０２は、ビデオエンコーダ２００および/または出力インターフェース１０８に起因する機能を実行するためにＳｏＣデバイスを含んでもよく、宛先デバイス１１６は、ビデオデコーダ３００および/または入力インターフェース１２２に起因する機能を実行するためにＳｏＣデバイスを含んでもよい。

[0040]本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ：dynamic adaptive streaming over HTTP）などのインターネットストリーミングビデオ送信、データ記憶媒体に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。

[0041]宛先デバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（たとえば、記憶デバイス１１２、ファイルサーバ１１４など）から符号化されたビデオビットストリームを受信する。符号化されたビデオビットストリームコンピュータ可読媒体１１０は、ビデオブロックまたは他のコーディングされたユニット（たとえば、スライス、ピクチャ、ピクチャのグループ、シーケンスなど）の特性および/または処理を記述する値を有するシンタックス要素などの、ビデオデコーダ３００によっても使用される、ビデオエンコーダ２００によって定義されるシグナリング情報を含み得る。ディスプレイデバイス１１８は、ユーザに復号されたビデオデータの復号されたピクチャを表示する。ディスプレイデバイス１１８は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなどの、様々なディスプレイデバイスのいずれかを表し得る。

[0042]図１には示されていないが、いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は各々、オーディオエンコーダおよび/またはオーディオデコーダと統合されてもよく、共通のデータストリームにオーディオとビデオの両方を含む多重化されたストリームを処理するために、適切なＭＵＸ－ＤＥＭＵＸユニット、または他のハードウェアおよび/もしくはソフトウェアを含み得る。

[0043]ビデオエンコーダ２００およびビデオデコーダ３００は各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなどの、様々な好適なエンコーダおよび/もしくはデコーダ回路のいずれか、またはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、本開示の技法を実行するために１つまたは複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ２００およびビデオデコーダ３００の各々は、１つまたは複数のエンコーダまたはデコーダに含まれてもよく、それらのいずれかが、それぞれのデバイス中の複合エンコーダ/デコーダ（ＣＯＤＥＣ）の一部として組み込まれてもよい。ビデオエンコーダ２００および/またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および/または携帯電話などのワイヤレス通信デバイスを備えてもよい。

[0044]ビデオエンコーダ２００およびビデオデコーダ３００は、高効率ビデオコーディング（ＨＥＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６５、またはマルチビューおよび/もしくはスケーラブルビデオコーディング拡張などのそれらの拡張などの、ビデオコーディング規格に従って動作し得る。代替的に、ビデオエンコーダ２００およびビデオデコーダ３００は、共同探査テストモデル（ＪＥＭ：Joint Exploration Test Model）、または汎用ビデオコーディング（ＶＶＣ：Versatile Video Coding）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６６などの、他のプロプライエタリまたは業界規格に従って動作し得る。ＶＶＣ規格のドラフトは、Ｂｒｏｓｓ他、「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ４）」、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３およびＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１のジョイントビデオエキスパートチーム（ＪＶＥＴ）、第１３回会合、マラケシュ、モロッコ、２０１９年１月９～１８日、ＪＶＥＴ－Ｍ１００１－ｖ５（以後「ＶＶＣ Ｄｒａｆｔ ４）に記載される。しかしながら、本開示の技法は、いかなる特定のコーディング規格にも限定されない。

[0045]一般に、ビデオエンコーダ２００およびビデオデコーダ３００は、ピクチャのブロックベースのコーディングを実行し得る。「ブロック」という用語は一般に、処理されるべき（たとえば、符号化されるべき、復号されるべき、または符号化および/もしくは復号プロセスにおいて他の方法で使用されるべき）データを含む構造を指す。たとえば、ブロックは、ルミナンスおよび/またはクロミナンスデータのサンプルの２次元行列を含み得る。一般に、ビデオエンコーダ２００およびビデオデコーダ３００は、ＹＵＶ（たとえば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのために赤色、緑色、および青色（ＲＧＢ）データをコーディングするのではなく、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分とクロミナンス成分とをコーディングしてもよく、ここで、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ２００は、符号化より前に、受信されたＲＧＢフォーマットのデータをＹＵＶ表現に変換し、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットに変換する。代替的に、前処理および後処理ユニット（図示せず）が、これらの変換を実行し得る。

[0046]本開示は、全般に、ピクチャのデータを符号化または復号するプロセスを含むように、ピクチャのコーディング（たとえば、符号化および復号）に言及することがある。同様に、本開示は、ブロックのデータを符号化または復号するプロセス、たとえば、予測および/または残差コーディングを含むように、ピクチャのブロックのコーディングに言及することがある。符号化されたビデオビットストリームは、一般に、コーディング決定（たとえば、コーディングモード）とブロックへのピクチャの区分とを表すシンタックス要素の一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、一般に、ピクチャまたはブロックを形成するシンタックス要素の値をコーディングすることとして理解されるべきである。

[0047]ＨＥＶＣは、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）を含む、様々なブロックを定義する。ＨＥＶＣによれば、（ビデオエンコーダ２００などの）ビデオコーダは、４分木構造に従ってコーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵおよびＣＵを４つの等しい、重複しない矩形に区分し、４分木の各ノードは、０個または４個のいずれかの子ノードを有する。子ノードのないノードは、「リーフノード」と呼ばれることがあり、そのようなリーフノードのＣＵは、１つまたは複数のＰＵおよび/または１つまたは複数のＴＵを含み得る。ビデオコーダは、ＰＵとＴＵとをさらに区分し得る。たとえば、ＨＥＶＣでは、残差４分木（ＲＱＴ）はＴＵの区分を表す。ＨＥＶＣでは、ＰＵはインター予測データを表すが、ＴＵは残差データを表す。イントラ予測されるＣＵは、イントラモード指示などのイントラ予測情報を含む。

[0048]別の例として、ビデオエンコーダ２００およびビデオデコーダ３００は、ＪＥＭまたはＶＶＣに従って動作するように構成され得る。ＪＥＭまたはＶＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する。ビデオエンコーダ２００は、４分木２分木（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ）構造などの、木構造に従ってＣＴＵを区分し得る。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵの区別などの、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、４分木区分に従って区分される第１のレベル、および２分木区分に従って区分される第２のレベルという、２つのレベルを含む。ＱＴＢＴ構造のルートノードはＣＴＵに対応する。２分木のリーフノードはコーディングユニット（ＣＵ）に対応する。

[0049]ＭＴＴ区分構造では、ブロックは、４分木（ＱＴ）区分と、２分木（ＢＴ）区分と、１つまたは複数のタイプの３分木（ＴＴ：triple tree）（３元木（ＴＴ：ternary tree）とも呼ばれる）区分とを使用して区分され得る。３分木または３元木区分は、ブロックが３つのサブブロックに分割される区分である。いくつかの例では、３分木または３元木区分は、中心を通って元のブロックを分割することなくブロックを３つのサブブロックに分割する。ＭＴＴにおける区分タイプ（たとえば、ＱＴ、ＢＴ、およびＴＴ）は、対称または非対称であり得る。

[0050]いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分とクロミナンス成分の各々を表すために単一のＱＴＢＴまたはＭＴＴ構造を使用してもよく、他の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分のための１つのＱＴＢＴ／ＭＴＴ構造、および両方のクロミナンス成分のための別のＱＴＢＴ／ＭＴＴ構造（またはそれぞれのクロミナンス成分のための２つのＱＴＢＴ／ＭＴＴ構造）などの、２つ以上のＱＴＢＴまたはＭＴＴ構造を使用してもよい。

[0051]ビデオエンコーダ２００およびビデオデコーダ３００は、ＨＥＶＣに従う４分木区分、ＱＴＢＴ区分、ＭＴＴ区分、または他の区分構造を使用するように構成され得る。説明の目的で、本開示の技法の説明はＱＴＢＴ区分に関して提示される。しかしながら、本開示の技法は、４分木区分、または同様に他のタイプの区分を使用するように構成されたビデオコーダにも適用され得ることを理解されたい。

[0052]ブロック（たとえば、ＣＴＵまたはＣＵ）は、ピクチャの中で様々な方法でグループ化され得る。一例として、ブリックは、ピクチャの中の特定のタイル内のＣＴＵ行の長方形領域を指し得る。タイルは、ピクチャの中の特定のタイル列内および特定のタイル行内のＣＴＵの長方形領域であり得る。タイル列は、ピクチャの高さに等しい高さと、（たとえば、ピクチャパラメータセットの中などにある）シンタックス要素によって指定された幅とを有するＣＴＵの長方形領域を指す。タイル行は、（たとえば、ピクチャパラメータセットの中などにある）シンタックス要素によって指定された高さと、ピクチャの幅に等しい幅とを有するＣＴＵの長方形領域を指す。

[0053]本開示は、垂直および水平次元に関して（ＣＵまたは他のビデオブロックなどの）ブロックのサンプル次元に言及するために、「Ｎ×Ｎ」および「Ｎ対Ｎ」、たとえば、１６×１６のサンプルまたは１６対１６のサンプルを交換可能に使用し得る。一般に、１６×１６のＣＵは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×ＮのＣＵは、一般に、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。ＣＵの中のサンプルは、行および列に配置され得る。さらに、ＣＵは、必ずしも、水平方向において垂直方向と同じ数のサンプルを有するとは限らない。たとえば、ＣＵはＮ×Ｍサンプルを備えてもよく、ここで、Ｍは必ずしもＮに等しくない。

[0054]ビデオエンコーダ２００は、予測および/または残差情報、ならびに他の情報を表す、ＣＵのためのビデオデータを符号化する。予測情報は、ＣＵのための予測ブロックを形成するためにＣＵがどのように予測されるべきかを示す。残差情報は、一般に、符号化より前のＣＵのサンプルと予測ブロックとの間のサンプルごとの差分を表す。

[0055]ＣＵを予測するために、ビデオエンコーダ２００は、一般に、インター予測またはイントラ予測を通じてＣＵのための予測ブロックを形成し得る。インター予測は、一般に、以前にコーディングされたピクチャのデータからＣＵを予測することを指し、一方、イントラ予測は、一般に、同じピクチャの以前にコーディングされたデータからＣＵを予測することを指す。インター予測を実行するために、ビデオエンコーダ２００は、１つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ２００は、一般に、たとえば、ＣＵと参照ブロックとの差分に関して、ＣＵと厳密に一致する参照ブロックを特定するために動き探索を実行し得る。ビデオエンコーダ２００は、参照ブロックが現在のＣＵと厳密に一致するかどうかを決定するために、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して現在のＣＵを予測し得る。

[0056]ＪＥＭおよびＶＶＣのいくつかの例はまた、インター予測モードと見なされ得るアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームインもしくはズームアウト、回転、射影運動、または他の不規則な運動タイプなどの、非並進運動を表す２つ以上の動きベクトルを決定し得る。

[0057]イントラ予測を実行するために、ビデオエンコーダ２００は、予測ブロックを生成するためのイントラ予測モードを選択し得る。ＪＥＭおよびＶＶＣのいくつかの例は、様々な方向性モード、ならびに平面モードおよびＤＣモードを含む、６７個のイントラ予測モードを提供する。一般に、ビデオエンコーダ２００は、現在のブロック（たとえば、ＣＵのブロック）のサンプルをそれから予測すべき、現在のブロックに対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、ビデオエンコーダ２００がラスタ走査順序で（左から右に、上から下に）ＣＴＵおよびＣＵをコーディングすると仮定すると、一般に、現在のブロックと同じピクチャの中の現在のブロックの上、左上、または左にあり得る。

[0058]ビデオエンコーダ２００は、現在のブロックの予測モードを表すデータを符号化する。たとえば、インター予測モードでは、ビデオエンコーダ２００は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードの動き情報を表すデータを符号化し得る。たとえば、単方向または双方向インター予測では、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ）またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ２００は、アフィン動き補償モードの動きベクトルを符号化するために同様のモードを使用し得る。

[0059]ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ２００は、ブロックのための残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックについての予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ２００は、サンプル領域ではなく変換領域において変換されたデータを生成するために、残差ブロックに１つまたは複数の変換を適用し得る。たとえば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用し得る。さらに、ビデオエンコーダ２００は、モード依存非分離可能２次変換（ＭＤＮＳＳＴ：mode-dependent non-separable secondary transform）、信号依存変換、カルーネンレーベ変換（ＫＬＴ）などの、２次変換を第１の変換に続いて適用し得る。ビデオエンコーダ２００は、１つまたは複数の変換の適用に続いて変換係数を生成する。

[0060]上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ２００は、変換係数の量子化を実行し得る。量子化は、一般に、係数を表すために使用されるデータの量をできる限り低減してさらなる圧縮をもたらすように、変換係数が量子化されるプロセスを指す。量子化プロセスを実行することによって、ビデオエンコーダ２００は、係数の一部またはすべてと関連付けられるビット深度を低減し得る。たとえば、ビデオエンコーダ２００は、量子化の間にｎビット値をｍビット値に丸めてもよく、ｎはｍより大きい。いくつかの例では、量子化を実行するために、ビデオエンコーダ２００は、量子化されるべき値のビットごとの右シフトを実行してもよい。

[0061]量子化に続いて、ビデオエンコーダ２００は、変換係数を走査して、量子化された変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、より高いエネルギー（したがって、より低い頻度）の係数をベクトルの前方に配置し、より低いエネルギー（したがって、より高い頻度）の変換係数をベクトルの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２００は、量子化された変換係数を走査してシリアル化されたベクトルを生成するためにあらかじめ定められた走査順序を利用し、次いで、ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ２００は適応型走査を実行し得る。量子化された変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２００は、たとえば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２００はまた、ビデオデータを復号する際にビデオデコーダ３００によって使用するための、符号化されたビデオデータと関連付けられるメタデータを記述するシンタックス要素のための値をエントロピー符号化し得る。

[0062]ＣＡＢＡＣを実行するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの隣接値が０値であるかどうかに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

[0063]ビデオエンコーダ２００は、さらに、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、またはシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、もしくはビデオパラメータセット（ＶＰＳ）などの他のシンタックスデータの中で、ビデオデコーダ３００に対して生成し得る。ビデオデコーダ３００は、対応するビデオデータをどのように復号すべきかを決定するために、そのようなシンタックスデータを同様に復号し得る。

[0064]このようにして、ビデオエンコーダ２００は、符号化されたビデオデータ、たとえば、ブロック（たとえば、ＣＵ）へのピクチャの区分ならびにブロックの予測および/または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ３００は、ビットストリームを受信し、符号化されたビデオデータを復号し得る。

[0065]一般に、ビデオデコーダ３００は、ビットストリームの符号化されたビデオデータを復号するために、ビデオエンコーダ２００によって実行されたものとは逆のプロセスを実行する。たとえば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣ符号化プロセスと逆ではあるが、それと実質的に同様の様式でＣＡＢＡＣを使用してビットストリームのシンタックス要素の値を復号し得る。シンタックス要素は、ＣＴＵのＣＵを定義するために、ＣＴＵへのピクチャの区分情報と、ＱＴＢＴ構造などの対応する区分構造に従う、各ＣＴＵの区分とを定義し得る。シンタックス要素は、ビデオデータのブロック（たとえば、ＣＵ）のための予測および残差情報をさらに定義し得る。

[0066]残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ３００は、ブロックの残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ３００は、ブロックの予測ブロックを形成するために、シグナリングされた予測モード（イントラまたはインター予測）と、関連する予測情報（たとえば、インター予測のための動き情報）とを使用する。ビデオデコーダ３００は、元のブロックを再生するために（サンプルごとに）予測ブロックと残差ブロックとを組み合わせ得る。ビデオデコーダ３００は、ブロックの境界に沿って視覚的アーティファクトを低減するためにデブロッキング処理を実行することなどの、追加の処理を実行し得る。

[0067]本開示の技法によれば、ビデオエンコーダ２００およびビデオデコーダ３００は、双予測される予測を使用して符号化されたビデオデータの現在のブロックの動きベクトルを決定し、現在のブロックの双予測される予測のために使用される重みに基づいて動きベクトルに対して動きベクトル改良プロセスを使用すると決定し、動きベクトル改良プロセスを使用するという決定に基づいて、動きベクトルに対して動きベクトル改良プロセスを適用するように構成され得る。

[0068]本開示では、一般に、シンタックス要素などの、ある情報を「シグナリング」することに言及することがある。「シグナリング」という用語は、一般に、値シンタックス要素および/または符号化されたビデオデータを復号するために使用される他のデータの通信を指し得る。すなわち、ビデオエンコーダ２００は、ビットストリームにおいてシンタックス要素の値をシグナリングし得る。一般に、シグナリングは、ビットストリームの中に値を生成することを指す。上述されたように、ソースデバイス１０２は、実質的にリアルタイムでビットストリームを宛先デバイス１１６に移送するか、または、宛先デバイス１１６による後の取出しのためにシンタックス要素を記憶デバイス１１２に記憶するときに起こり得るように、非リアルタイムでビットストリームを宛先デバイス１１６に移送し得る。

[0069]図２は、本開示の技法を実行し得る例示的なビデオエンコーダ２００を示すブロック図である。図２は、説明のために与えられており、本開示で広く例示され説明される技法を限定するものと見なされるべきではない。説明の目的で、本開示は、ＨＥＶＣビデオコーディング規格および開発中のＨ．２６６ビデオコーディング規格などのビデオコーディング規格の文脈において、ビデオエンコーダ２００を説明する。しかしながら、本開示の技法は、これらのビデオコーディング規格に限定されず、一般的にビデオ符号化および復号に適用可能である。

[0070]図２の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、復号ピクチャバッファ（ＤＰＢ）２１８と、エントロピー符号化ユニット２２０とを含む。ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、ＤＰＢ２１８と、エントロピー符号化ユニット２２０とのいずれかまたはすべては、１つまたは複数のプロセッサまたは処理回路において実装され得る。その上、ビデオエンコーダ２００は、これらおよび他の機能を実行するための追加または代替のプロセッサまたは処理回路を含み得る。

[0071]ビデオデータメモリ２３０は、ビデオエンコーダ２００の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ２００は、たとえば、ビデオソース１０４（図１）から、ビデオデータメモリ２３０に記憶されたビデオデータを受信し得る。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ２３０およびＤＰＢ２１８は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ２３０およびＤＰＢ２１８は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ２３０は、示されるように、ビデオエンコーダ２００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

[0072]本開示では、ビデオデータメモリ２３０への言及は、特にそのように説明されない限り、ビデオエンコーダ２００の内部のメモリに限定されるものとして解釈されるべきではなく、または特にそのように説明されない限り、ビデオエンコーダ２００の外部のメモリに限定されるものとして解釈されるべきではない。そうではなく、ビデオデータメモリ２３０への言及は、ビデオエンコーダ２００が符号化のために受信するビデオデータ（たとえば、符号化されるべきである現在のブロックのためのビデオデータ）を記憶する参照メモリとして理解されるべきである。図１のメモリ１０６はまた、ビデオエンコーダ２００の様々なユニットからの出力の一時的記憶を提供し得る。

[0073]図２の様々なユニットは、ビデオエンコーダ２００によって実行される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を与える回路を指し、実行され得る動作に関してあらかじめ設定される。プログラマブル回路は、様々なタスクを実行するように、および実行され得る動作においてフレキシブルな機能を提供するようにプログラムされる回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは、一般に不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であってもよく、いくつかの例では、１つまたは複数のユニットは、集積回路であってもよい。

[0074]ビデオエンコーダ２００は、算術論理ユニット（ＡＬＵ）、基本機能ユニット（ＥＦＵ）、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオエンコーダ２００の動作が、プログラマブル回路によって実行されるソフトウェアを使用して実行される例では、メモリ１０６（図１）は、ビデオエンコーダ２００が受信し実行するソフトウェアのオブジェクトコードを記憶してもよく、またはビデオエンコーダ２００内の別のメモリ（図示せず）が、そのような命令を記憶してもよい。

[0075]ビデオデータメモリ２３０は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャを取り出し、残差生成ユニット２０４とモード選択ユニット２０２とにビデオデータを提供し得る。ビデオデータメモリ２３０の中のビデオデータは、符号化されるべきである未加工のビデオデータであり得る。

[0076]モード選択ユニット２０２は、動き推定ユニット２２２と、動き補償ユニット２２４と、イントラ予測ユニット２２６とを含む。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実行するために追加の機能ユニットを含み得る。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および/または動き補償ユニット２２４の一部であり得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。

[0077]モード選択ユニット２０２は、一般に、符号化パラメータの組合せと、そのような組合せに対して得られたレートひずみ値とをテストするために、複数の符号化パスを協調させる。符号化パラメータは、ＣＵへのＣＴＵの区分、ＣＵのための予測モード、ＣＵの残差データのための変換タイプ、ＣＵの残差データのための量子化パラメータなどを含み得る。モード選択ユニット２０２は、他のテストされた組合せよりも良好であるレートひずみ値を有する符号化パラメータの組合せを最終的に選択し得る。

[0078]ビデオエンコーダ２００は、一連のＣＴＵにビデオデータメモリ２３０から取り出されたピクチャを区分し、スライス内の１つまたは複数のＣＴＵをカプセル化し得る。モード選択ユニット２０２は、上で説明されたＨＥＶＣのＱＴＢＴ構造または４分木構造などの木構造に従ってピクチャのＣＴＵを区分し得る。上で説明されたように、ビデオエンコーダ２００は、木構造に従ってＣＴＵを区分することから１つまたは複数のＣＵを形成し得る。そのようなＣＵは、一般に「ビデオブロック」または「ブロック」と呼ばれることもある。

[0079]一般に、モード選択ユニット２０２はまた、現在のブロック（たとえば、現在のＣＵ、またはＨＥＶＣでは、ＰＵとＴＵの重複する部分）のための予測ブロックを生成するように、その構成要素（たとえば、動き推定ユニット２２２、動き補償ユニット２２４、およびイントラ予測ユニット２２６）を制御する。現在のブロックのインター予測のために、動き推定ユニット２２２は、１つまたは複数の参照ピクチャ（たとえば、ＤＰＢ２１８に記憶されている１つまたは複数の以前のコーディングされたピクチャ）の中で１つまたは複数の厳密に一致する参照ブロックを特定するために動き探索を実行し得る。特に、動き推定ユニット２２２は、たとえば、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）などに従って、現在のブロックに対して潜在的な参照ブロックがどのくらい類似しているかを表す値を計算し得る。動き推定ユニット２２２は、一般に、現在のブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実行し得る。動き推定ユニット２２２は、現在のブロックに最も厳密に一致する参照ブロックを示す、これらの計算から得られた最も低い値を有する参照ブロックを識別し得る。

[0080]動き推定ユニット２２２は、現在のピクチャの中の現在のブロックの位置に対して参照ピクチャの中の参照ブロックの位置を定義する１つまたは複数の動きベクトル（ＭＶ）を形成し得る。動き推定ユニット２２２は、次いで、動きベクトルを動き補償ユニット２２４に提供し得る。たとえば、単方向インター予測の場合、動き推定ユニット２２２は、単一の動きベクトルを提供し得るが、双方向インター予測（双予測される予測）の場合、動き推定ユニット２２２は、２つの動きベクトルを提供し得る。動き補償ユニット２２４は、次いで、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット２２４は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが部分サンプル精度を有する場合、動き補償ユニット２２４は、１つまたは複数の補間フィルタに従って予測ブロックの値を補間し得る。その上、双方向インター予測の場合、動き補償ユニット２２４は、それぞれの動きベクトルによって特定される２つの参照ブロックのためのデータを取り出し、たとえば、サンプルごとの平均化または重み付け平均化を通じて、取り出されたデータを組み合わせ得る。

[0081]以下でより詳細に説明される本開示の技法によれば、動き補償ユニット２２４は、双予測される予測を使用してビデオデータのブロックを符号化するように構成され得る。上で言及されたように、双予測される予測は、２つの参照ピクチャリストから２つの動きベクトルを使用し得る。いくつかの例では、動き補償ユニット２２４はまた、双予測される予測において使用される動きベクトルの１つまたは複数に動きベクトル改良プロセス（たとえば、ＤＭＶＲ）を適用し得る。例示的なＤＭＶＲ技法は、以下で論じられ、マージ動きベクトル改良、マージオフセット拡張、双方向テンプレート照合、パラメトリックサブペル動きベクトル導出、および双方向オプティカルフローのうちの１つまたは複数を含み得る。本開示は、双予測される予測を用いてビデオデータのブロックを符号化するときに、ＤＭＶＲ技法（たとえば、双方向テンプレート照合）をいつ使用するかを決定するための技法を説明する。

[0082]本開示の一例では、動き補償ユニット２２４は、双予測される予測を使用して符号化されたビデオデータの現在のブロックのための動きベクトルを決定し、現在のブロックの双予測される予測のために使用される重みに基づいて動きベクトルに対して動きベクトル改良プロセスを使用すると決定し、動きベクトル改良プロセスを使用するという決定に基づいて、動きベクトルに対して動きベクトル改良プロセスを適用するように構成され得る。たとえば、現在のブロックの双予測される予測のために使用される重みが等しくないとき、動き補償ユニット２２４は、動きベクトル改良プロセスを無効にすると決定し得る。他の例では、動き補償ユニット２２４は、動きベクトルによって特定される予測されるブロック間の差分を決定し、現在のブロックの双予測される予測のために使用される重みと、動きベクトルによって特定される予測されるブロック間の決定された差分とに基づいて、動きベクトルに対して動きベクトル改良プロセスを使用すると決定するように構成され得る。たとえば、動き補償ユニット２２４は、動きベクトルによって特定される予測されるブロック間の差分が閾値未満である場合、動きベクトル改良プロセスを無効にすると決定するように構成され得る。

[0083]別の例として、イントラ予測またはイントラ予測コーディングの場合、イントラ予測ユニット２２６は、現在のブロックに隣接するサンプルから予測ブロックを生成し得る。たとえば、方向モードの場合、イントラ予測ユニット２２６は、一般に、予測ブロックを生成するために、隣接サンプルの値を数学的に組み合わせ、現在のブロックにわたって定義された方向にこれらの計算された値をポピュレート（populate）し得る。別の例として、ＤＣモードの場合、イントラ予測ユニット２２６は、現在のブロックに隣接するサンプルの平均を計算し、予測ブロックの各サンプルに対するこの得られた平均を含むように予測ブロックを生成し得る。

[0084]モード選択ユニット２０２は、残差生成ユニット２０４に予測ブロックを与える。残差生成ユニット２０４は、ビデオデータメモリ２３０から現在のブロックの未加工の、コーディングされていないバージョンを受信し、モード選択ユニット２０２から予測ブロックを受信する。残差生成ユニット２０４は、現在のブロックと予測ブロックとの間のサンプルごとの差分を計算する。得られたサンプルごとの差分は、現在のブロックのための残差ブロックを定義する。いくつかの例では、残差生成ユニット２０４はまた、残差差分パルスコード変調（ＲＤＰＣＭ：residual differential pulse code modulation）を使用して残差ブロックを生成するために、残差ブロックの中のサンプル値の間の差分を決定し得る。いくつかの例では、残差生成ユニット２０４は、バイナリ減算を実行する１つまたは複数の減算器回路を使用して形成され得る。

[0085]モード選択ユニット２０２がＣＵをＰＵに区分する例では、各ＰＵは、ルーマ予測ユニットおよび対応するクロマ予測ユニットと関連付けられ得る。ビデオエンコーダ２００およびビデオデコーダ３００は、様々なサイズを有するＰＵをサポートし得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指すことがあり、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指すことがある。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２００は、イントラ予測のための２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、インター予測のための２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または同様のものの対称的なＰＵサイズとをサポートし得る。ビデオエンコーダ２００およびビデオデコーダ３００はまた、インター予測のための２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズの非対称的区分をサポートし得る。

[0086]モード選択ユニットがＣＵをＰＵにさらに区分しない例では、各ＣＵは、ルーマコーディングブロックおよび対応するクロマコーディングブロックと関連付けられ得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得る。ビデオエンコーダ２００およびビデオデコーダ３００は、２Ｎ×２Ｎ、２Ｎ×Ｎ、またはＮ×２ＮのＣＵサイズをサポートし得る。

[0087]いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル（ＬＭ）モードコーディングなどの、他のビデオコーディング技法では、モード選択ユニット２０２は、コーディング技法と関連付けられたそれぞれのユニットを介して、符号化されている現在のブロックのための予測ブロックを生成する。パレットモードコーディングなどの、いくつかの例では、モード選択ユニット２０２は、予測ブロックを生成せず、代わりに、選択されたパレットに基づいてブロックを再構築するための方式を示すシンタックス要素を生成し得る。そのようなモードでは、モード選択ユニット２０２は、符号化されるためにこれらのシンタックス要素をエントロピー符号化ユニット２２０に提供し得る。

[0088]上で説明されたように、残差生成ユニット２０４は、現在のブロックおよび対応する予測ブロックのための、ビデオデータを受信する。残差生成ユニット２０４は、次いで、現在のブロックのための残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット２０４は、予測ブロックと現在のブロックとの間のサンプルごとの差分を計算する。

[0089]変換処理ユニット２０６は、変換係数のブロック（本明細書では「変換係数ブロック」と呼ばれる）を生成するために、残差ブロックに１つまたは複数の変換を適用する。変換処理ユニット２０６は、変換係数ブロックを形成するために、残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向変換、カルーネンレーベ変換（ＫＬＴ）、または概念的に同様の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに複数の変換、たとえば、回転変換などの１次変換および２次変換を実行し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに変換を適用しない。

[0090]量子化ユニット２０８は、量子化された変換係数ブロックを生成するために変換係数ブロックの中の変換係数を量子化し得る。量子化ユニット２０８は、現在のブロックと関連付けられる量子化パラメータ（ＱＰ）値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ２００は（たとえば、モード選択ユニット２０２を介して）、ＣＵと関連付けられたＱＰ値を調整することによって、現在のブロックと関連付けられた係数ブロックに適用される量子化の程度を調整し得る。量子化は、情報の損失をもたらすことがあり、したがって、量子化された変換係数は、変換処理ユニット２０６によって生成された元の変換係数よりも低い精度を有し得る。

[0091]逆量子化ユニット２１０および逆変換処理ユニット２１２は、変換係数ブロックから残差ブロックを再構築するために、それぞれ、量子化された変換係数ブロックに逆量子化および逆変換を適用し得る。再構築ユニット２１４は、再構築された残差ブロックと、モード選択ユニット２０２によって生成された予測ブロックとに基づいて、（潜在的にある程度のひずみを伴うが）現在のブロックに対応する再構築されたブロックを生成し得る。たとえば、再構築ユニット２１４は、再構築されたブロックを生成するために、モード選択ユニット２０２によって生成された予測ブロックからの対応するサンプルに、再構築された残差ブロックのサンプルを加算し得る。

[0092]フィルタユニット２１６は、再構築されたブロックに対して１つまたは複数のフィルタ演算を実行し得る。たとえば、フィルタユニット２１６は、ＣＵの端部に沿ったブロッキネスアーティファクトを低減するためにデブロッキング動作を実行し得る。いくつかの例では、フィルタユニット２１６の動作はスキップされてもよい。

[0093]ビデオエンコーダ２００は、再構築されたブロックをＤＰＢ２１８に記憶する。たとえば、フィルタユニット２１６の動作が必要とされない例において、再構築ユニット２１４は、再構築されたブロックをＤＰＢ２１８に記憶し得る。フィルタユニット２１６の動作が必要とされる例では、フィルタユニット２１６は、フィルタリングされた再構築されたブロックをＤＰＢ２１８に記憶し得る。動き推定ユニット２２２および動き補償ユニット２２４は、後で符号化されるピクチャのブロックをインター予測するために、再構築（および潜在的にフィルタリング）されたブロックから形成された参照ピクチャをＤＰＢ２１８から取り出し得る。加えて、イントラ予測ユニット２２６は、現在のピクチャの中の他のブロックをイントラ予測するために、現在のピクチャのＤＰＢ２１８の中の再構築されたブロックを使用し得る。

[0094]一般に、エントロピー符号化ユニット２２０は、ビデオエンコーダ２００の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット２２０は、量子化ユニット２０８からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（たとえば、インター予測のための動き情報またはイントラ予測のためのイントラモード情報）をエントロピー符号化し得る。エントロピー符号化ユニット２２０は、エントロピー符号化されたデータを生成するためにビデオデータの別の例であるシンタックス要素に対して１つまたは複数のエントロピー符号化動作を実行し得る。たとえば、エントロピー符号化ユニット２２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変対可変（Ｖ２Ｖ）長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）動作、確率間隔区分エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実行し得る。いくつかの例では、エントロピー符号化ユニット２２０は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。

[0095]ビデオエンコーダ２００は、スライスまたはピクチャのブロックを再構築するために必要なエントロピー符号化されたシンタックス要素を含むビットストリームを出力し得る。特に、エントロピー符号化ユニット２２０は、ビットストリームを出力し得る。

[0096]上で説明された動作が、ブロックに関して説明される。そのような説明は、ルーマコーディングブロックおよび/またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上で説明されたように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＣＵのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＰＵのルーマおよびクロマ成分である。

[0097]いくつかの例では、ルーマコーディングブロックに関して実行される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル（ＭＶ）と参照ピクチャとを識別するための動作は、クロマブロックのためのＭＶと参照ピクチャとを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのＭＶは、クロマブロックのためのＭＶを決定するためにスケーリングされてもよく、参照ピクチャは同じであってもよい。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックに対して同じであり得る。

[0098]ビデオエンコーダ２００は、ビデオデータを記憶するように構成されるメモリと、回路において実装される１つまたは複数の処理ユニットとを含む、ビデオデータを符号化するように構成されるデバイスの例を表し、１つまたは複数の処理ユニットは、ビデオデータの現在のブロックのための動きベクトルを決定し、現在のブロックの双予測される予測のために使用される重みに基づいて動きベクトルに対して動きベクトル改良プロセスを使用すると決定し、動きベクトル改良プロセスを使用するという決定に基づいて動きベクトルを改良するように構成される。

[0099]図３は、本開示の技法を実行し得る例示的なビデオデコーダ３００を示すブロック図である。図３は、説明の目的で与えられており、本開示において広く例示され、説明される技法を限定するものではない。説明の目的で、本開示は、ＪＥＭ、ＶＶＣ、およびＨＥＶＣの技法に従ってビデオデコーダ３００を説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオコーディングデバイスによって実行され得る。

[0100]図３の例では、ビデオデコーダ３００は、コーディングピクチャバッファ（ＣＰＢ）メモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、復号ピクチャバッファ（ＤＰＢ）３１４とを含む。ＣＰＢメモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４とのいずれかまたはすべては、１つまたは複数のプロセッサまたは処理回路において実装され得る。その上、ビデオデコーダ３００は、これらおよび他の機能を実行するために、追加または代替のプロセッサもしくは処理回路を含み得る。

[0101]予測処理ユニット３０４は、動き補償ユニット３１６とイントラ予測ユニット３１８とを含む。予測処理ユニット３０４は、他の予測モードに従って予測を実行するための追加のユニットを含み得る。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成し得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。他の例では、ビデオデコーダ３００は、より多数の、より少数の、または異なる機能の構成要素を含み得る。

[0102]ＣＰＢメモリ３２０は、ビデオデコーダ３００の構成要素によって復号されるべき、符号化されたビデオビットストリームなどのビデオデータを記憶し得る。ＣＰＢメモリ３２０に記憶されるビデオデータは、たとえば、コンピュータ可読媒体１１０（図１）から取得され得る。ＣＰＢメモリ３２０は、符号化されたビデオビットストリームからの符号化されたビデオデータ（たとえば、シンタックス要素）を記憶するＣＰＢを含み得る。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００の様々なユニットからの出力を表す一時データなど、コーディングされたピクチャのシンタックス要素以外のビデオデータを記憶し得る。ＤＰＢ３１４は、一般に、ビデオデコーダ３００が符号化されたビデオビットストリームの後続のデータまたはピクチャを復号するときに出力しおよび/または参照ビデオデータとして使用し得る復号されたピクチャを記憶する。ＣＰＢメモリ３２０およびＤＰＢ３１４は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。ＣＰＢメモリ３２０およびＤＰＢ３１４は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

[0103]追加または代替として、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコーディングされたビデオデータを取り出し得る。すなわち、メモリ１２０は、ＣＰＢメモリ３２０とともに上で論じられたデータを記憶し得る。同様に、メモリ１２０は、ビデオデコーダ３００の機能の一部またはすべてが、ビデオデコーダ３００の処理回路によって実行されるべきソフトウェアにおいて実装されたとき、ビデオデコーダ３００によって実行されるべき命令を記憶し得る。

[0104]図３に示されている様々なユニットは、ビデオデコーダ３００によって実行される動作を理解するのを支援するために図示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図２と同様に、固定機能回路は、特定の機能を提供する回路を指し、実行され得る動作にプリセットされる。プログラマブル回路は、様々なタスクを実行するように、および実行され得る動作においてフレキシブルな機能を提供するようにプログラムされる回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは、一般に不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であってもよく、いくつかの例では、１つまたは複数のユニットは、集積回路であってもよい。

[0105]ビデオデコーダ３００は、ＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオデコーダ３００の動作が、プログラマブル回路上で実行されるソフトウェアによって実行される例では、オンチップまたはオフチップメモリは、ビデオデコーダ３００が受信し実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得る。

[0106]エントロピー復号ユニット３０２は、ＣＰＢから符号化されたビデオデータを受信し、ビデオデータをエントロピー復号してシンタックス要素を再生し得る。予測処理ユニット３０４、逆量子化ユニット３０６、逆変換処理ユニット３０８、再構成ユニット３１０、およびフィルタユニット３１２は、ビットストリームから抽出されるシンタックス要素に基づいて復号されたビデオデータを生成し得る。

[0107]一般に、ビデオデコーダ３００は、ブロックごとにピクチャを再構築する。ビデオデコーダ３００は、各ブロックに対して個々に再構築演算を実行し得る（ここで、現在再構築されているブロック、すなわち、現在復号されているブロックは、「現在のブロック」と呼ばれることがある）。

[0108]エントロピー復号ユニット３０２は、量子化された変換係数ブロックの量子化された変換係数を定義するシンタックス要素、ならびに量子化パラメータ（ＱＰ）および/または変換モード指示などの変換情報をエントロピー復号し得る。逆量子化ユニット３０６は、量子化の程度を決定するために、また同様に、逆量子化ユニット３０６が適用すべき逆量子化の程度を決定するために、量子化された変換係数ブロックと関連付けられるＱＰを使用し得る。逆量子化ユニット３０６は、たとえば、量子化された変換係数を逆量子化するためにビット単位の左シフト演算を実行し得る。逆量子化ユニット３０６は、それによって、変換係数を含む変換係数ブロックを形成し得る。

[0109]逆量子化ユニット３０６が変換係数ブロックを形成した後に、逆変換処理ユニット３０８は、現在のブロックと関連付けられる残差ブロックを生成するために、変換係数ブロックに１つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット３０８は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、または別の逆変換を、係数ブロックに適用し得る。

[0110]さらに、予測処理ユニット３０４は、エントロピー復号ユニット３０２によってエントロピー復号された予測情報シンタックス要素に従って、予測ブロックを生成する。たとえば、現在のブロックがインター予測されていることを予測情報シンタックス要素が示す場合、動き補償ユニット３１６は、予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそこから取り出すＤＰＢ３１４の中の参照ピクチャ、ならびに現在のピクチャの中の現在のブロックの位置に対する参照ピクチャの中の参照ブロックの位置を特定する、動きベクトルを示し得る。動き補償ユニット３１６は、一般に、動き補償ユニット２２４（図２）に関して説明されたのと実質的に同様の方式で、インター予測プロセスを実行し得る。

[0111]以下でより詳細に説明される本開示の技法によれば、動き補償ユニット３１６は、双予測される予測を使用してビデオデータのブロックを復号するように構成され得る。上で言及されたように、双予測される予測は、２つの参照ピクチャリストから２つの動きベクトルを使用し得る。いくつかの例では、動き補償ユニット３１６はまた、双予測される予測において使用される動きベクトルの１つまたは複数に動きベクトル改良プロセス（たとえば、ＤＭＶＲ）を適用し得る。例示的なＤＭＶＲ技法は、以下で論じられ、マージ動きベクトル改良、マージオフセット拡張、双方向テンプレート照合、パラメトリックサブペル動きベクトル導出、および双方向オプティカルフローのうちの１つまたは複数を含み得る。本開示は、双予測される予測を用いてビデオデータのブロックを復号するときに、ＤＭＶＲ技法（たとえば、双方向テンプレート照合）をいつ使用するかを決定するための技法を説明する。

[0112]本開示の一例では、動き補償ユニット３１６は、双予測される予測を使用して符号化されたビデオデータの現在のブロックのための動きベクトルを決定し、現在のブロックの双予測される予測のために使用される重みに基づいて動きベクトルに対して動きベクトル改良プロセスを使用すると決定し、動きベクトル改良プロセスを使用するという決定に基づいて、動きベクトルに対して動きベクトル改良プロセスを適用するように構成され得る。たとえば、現在のブロックの双予測される予測のために使用される重みが等しくないとき、動き補償ユニット３１６は、動きベクトル改良プロセスを無効にすると決定し得る。他の例では、動き補償ユニット３１６は、動きベクトルによって特定される予測されるブロック間の差分を決定し、現在のブロックの双予測される予測のために使用される重みと、動きベクトルによって特定される予測されるブロック間の決定された差分とに基づいて、動きベクトルに対して動きベクトル改良プロセスを使用すると決定するように構成され得る。たとえば、動き補償ユニット３１６は、動きベクトルによって特定される予測されたブロック間の差分が閾値未満である場合、動きベクトル改良プロセスを無効にすると決定するように構成され得る。

[0113]別の例として、予測情報シンタックス要素が、現在のブロックがイントラ予測されることを示す場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されるイントラ予測モードに従って予測ブロックを生成し得る。再び、イントラ予測ユニット３１８は、一般に、イントラ予測ユニット２２６（図２）に関して説明されたのと実質的に同様の方式で、イントラ予測プロセスを実行し得る。イントラ予測ユニット３１８は、ＤＰＢ３１４から、現在のブロックに対する隣接サンプルのデータを取り出し得る。

[0114]再構築ユニット３１０は、予測ブロックと残差ブロックとを使用して現在のブロックを再構築し得る。たとえば、再構築ユニット３１０は、現在のブロックを再構築するために、予測ブロックの対応するサンプルに残差ブロックのサンプルを加算し得る。

[0115]フィルタユニット３１２は、再構築されたブロックに対して１つまたは複数のフィルタ演算を実行し得る。たとえば、フィルタユニット３１２は、再構築されたブロックの端部に沿ってブロッキネスアーティファクトを低減するためにデブロッキング動作を実行し得る。フィルタユニット３１２の動作は、すべての例において必ずしも実行されるとは限らない。

[0116]ビデオデコーダ３００は、再構築されたブロックをＤＰＢ３１４に記憶し得る。上で論じられたように、ＤＰＢ３１４は、イントラ予測のための現在のピクチャのサンプルおよび後続の動き補償のための以前に復号されたピクチャなどの、参照情報を予測処理ユニット３０４に提供し得る。その上、ビデオデコーダ３００は、ＤＰＢからの復号されたピクチャを、後で提示するために、図１のディスプレイデバイス１１８などのディスプレイデバイス上に出力し得る。

[0117]このようにして、ビデオデコーダ３００は、ビデオデータを記憶するように構成されるメモリと、回路において実装される１つまたは複数の処理ユニットとを含む、ビデオ復号デバイスの例を表し、１つまたは複数の処理ユニットは、双予測される予測を使用して符号化されるビデオデータの現在のブロックのための動きベクトルを決定し、現在のブロックの双予測される予測のために使用される重みに基づいて動きベクトルに対して動きベクトル改良プロセスを使用すると決定し、動きベクトル改良プロセスを使用するという決定に基づいて動きベクトルに対して動きベクトル改良プロセスを適用するように構成される。

[0118]以下のセクションでは、ＨＥＶＣおよびＪＥＭ技法、ならびに本開示に関する汎用ビデオコーディング（ＶＶＣ）における進行中の作業が説明される。

[0119]ＨＥＶＣにおけるＣＵ構造および動きベクトル予測
[0120]ＨＥＶＣでは、スライスの中の最大のコーディングユニットは、コーディングツリーブロック（ＣＴＢ）またはコーディングツリーユニット（ＣＴＵ）と呼ばれる。ＣＴＢは４分木を含んでおり、そのノードはコーディングユニットである。

[0121]（技術的に、８×８のＣＴＢサイズがサポートされ得るが）ＣＴＢのサイズは、ＨＥＶＣメインプロファイルにおいて１６×１６から６４×６４に及び得る。コーディングユニット（ＣＵ）は、ＣＴＢと同じサイズであり、８×８程度に小さくなり得る。各コーディングユニットは、１つのモード（たとえば、インター予測、イントラ予測など）でコーディングされる。ＣＵがインターコーディングされるとき、ビデオエンコーダ２００およびビデオデコーダ３００はさらに、ＣＵを２つもしくは４つの予測ユニット（ＰＵ）に区分してもよく、またはさらなる区分が適用されないとき、ただ１つのＰＵにしてもよい。１つのＣＵの中に２つのＰＵが存在するとき、それらは半分のサイズの長方形、またはＣＵの１／４もしくは３／４のサイズの２つの長方形であり得る。

[0122]ＣＵがインターコーディングされるとき、各ＰＵについて動き情報の１つのセットが存在する。加えて、各ＰＵは、動き情報のセットを導出するために、固有のインター予測モードを用いてコーディングされる。

[0123]動きベクトル予測
[0124]ＨＥＶＣ規格では、予測ユニット（ＰＵ）に対して、それぞれ、マージモード（スキップは残差のないマージの特別な事例と見なされる）および高度動きベクトル予測（ＡＭＶＰ）モードと称する、２つのインター予測モードがある。ＡＭＶＰモードまたはマージモードのいずれでも、ビデオエンコーダ２００およびビデオデコーダ３００は、複数の動きベクトル予測子の動きベクトル（ＭＶ）候補リストを構築して維持し得る。ビデオエンコーダ２００およびビデオデコーダ３００は、ＭＶ候補リストから１つの候補の動き情報を取ることによって、現在のＰＵの（1つまたは複数の）動きベクトル、ならびに、マージモードでの参照インデックスを生成し得る。

[0125]ＨＥＶＣでは、ＭＶ候補リストは、マージモードのための５つまでの候補と、ＡＭＶＰモードのための２つのみの候補とを含む。マージ候補は、動き情報のセット、たとえば、両方の参照ピクチャリスト（リスト０およびリスト１）に対応する動きベクトルと、参照インデックスとを含み得る。マージ候補がマージインデックスによって特定される場合、ビデオエンコーダ２００およびビデオデコーダ３００は、現在のブロックの予測のために参照ピクチャを使用するように構成される。加えて、ビデオエンコーダ２００およびビデオデコーダ３００は、マージインデックスと関連付けられる動きベクトルを決定するように構成され得る。しかしながら、ＡＭＶＰモードの下では、リスト０またはリスト１のいずれかからの各々の潜在的な予測方向に対して、ＡＭＶＰ候補が動きベクトルのみを含んでいるので、ビデオエンコーダ２００は、ＭＶ候補リストへのＭＶ予測子（ＭＶＰ）インデックスとともに、参照インデックスを明示的にシグナリングする。ＡＭＶＰモードでは、予測される動きベクトルがさらに改良され得る。

[0126]上でわかるように、マージ候補は、動き情報の完全なセットに対応するが、ＡＭＶＰ候補は、特定の予測方向および参照インデックスのための１つだけの動きベクトルを含む。両方のモードのための候補は、同じ空間隣接ブロックおよび時間隣接ブロックから同様に導出される。

[0127]空間隣接候補
[0128]ＨＥＶＣでは、ビデオエンコーダ２００およびビデオデコーダ３００は、特定のＰＵ（ＰＵ_０）について、図４Ａおよび図４Ｂに示されるように、隣接ブロックから空間ＭＶ候補を導出し得るが、ブロックから候補を生成する技法はマージモードとＡＭＶＰモードで異なる。

[0129]図４Ａは、マージモードのためのブロック５００の空間隣接候補を示す概念図である。図４Ｂは、ＡＭＶＰモードのためのブロック５０２の空間隣接候補を示す概念図である。マージモードでは、ビデオエンコーダ２００およびビデオデコーダ３００は、図４Ａに示されている順序で最高で４つの空間ＭＶ候補を導出し得る。順序は、左のブロック（０，Ａ１）、上のブロック（１，Ｂ１）、右上のブロック（２，Ｂ０）、左下のブロック（３，Ａ０）、および左上のブロック（４，Ｂ２）である。

[0130]ＡＭＶＰモードでは、ビデオエンコーダ２００およびビデオデコーダ３００は、図４Ｂに示されるように、２つのグループ、すなわち、ブロック０と１とを含む左グループ、およびブロック２と３と４とを含む上グループに隣接ブロックを分割し得る。各グループに対して、シグナリングされる参照インデックスによって示されるのと同じ参照ピクチャを参照する、隣接ブロックの中の潜在的な候補が、グループの最終候補を形成するために選ばれるべき最高の優先度を有する。すべての隣接ブロックが、同じ参照ピクチャを指す動きベクトルを含んでいるとは限らない可能性がある。したがって、そのような候補が発見され得ない場合、ビデオエンコーダ２００およびビデオデコーダ３００は、最終候補を形成するために第１の利用可能な候補をスケーリングし得る。したがって、時間距離差分が補償され得る。

[0131]ＨＥＶＣにおける時間動きベクトル予測
[0132]ＨＥＶＣにおける時間動きベクトル予測がここで論じられる。ビデオエンコーダ２００およびビデオデコーダ３００は、時間動きベクトル予測子（ＴＭＶＰ）候補が有効であり利用可能である場合、それを空間動きベクトル候補の後にＭＶ候補リストへと追加するように構成され得る。ＴＭＶＰ候補に対する動きベクトル導出のプロセスは、マージモードとＡＭＶＰモードの両方に対して同じである。しかしながら、ＨＥＶＣでは、マージモードにおけるＴＭＶＰ候補に対するターゲット参照インデックスは０に設定される。

[0133]図５Ａはブロック６０４（ＰＵ０）のための例示的なＴＭＶＰ候補を示し、図５Ｂは動きベクトルスケーリングプロセス６０６を示す。ＴＭＶＰ候補導出の主要なブロック位置は、コロケート（collocated）ＰＵの外側の右下のブロックである。この候補は、図５Ａではブロック「Ｔ」として示されている。ブロックＴの位置は、空間隣接候補を生成するために使用される左上のブロックへの偏り（bias）を補償するために使用される。しかしながら、そのブロックが現在のＣＴＢ行の外側に位置するか、または動き情報が利用可能ではない場合、ブロックはＰＵの中心ブロックと置換される。

[0134]ＴＭＶＰ候補のための動きベクトルは、スライスレベルで示されている、コロケートピクチャのコロケートＰＵから導出される。コロケートＰＵのための動きベクトルは、コロケートＭＶと呼ばれる。ＡＶＣにおける時間ダイレクトモードと同様に、ＴＭＶＰ候補動きベクトルを導出するために、コロケートＭＶは、図５Ｂに示されるように、時間距離差分を補償するためにスケーリングされ得る。

[0135]マージ動きベクトル改良
[0136]Ｓ．Ｊｅｏｎｇ他、「ＣＥ４ Ｕｌｔｉｍａｔｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｅｘｐｒｅｓｓｉｏｎ （Ｔｅｓｔ ４．５．４）」、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３およびＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１のジョイントビデオエキスパートチーム（ＪＶＥＴ）、第１２回会合、マカオ、中国、２０１８年１０月３～１２日、ＪＶＥＴ－Ｌ００５４、マージ動きベクトル改良（ＭＭＶＲ、究極動きベクトル表現（ＵＭＶＥ：Ultimate Motion Vector Expression）としても知られている）は、シグナリングされた動きベクトル差分に基づいて、マージ候補の動きベクトルを改良するための技法を提示した。ＵＭＶＥは、開始点と、動きの大きさと、動き方向とを含む、簡略化されたシグナリングを用いる、代替の動きベクトル表現を提供する。マージ動きは、未改良のマージ動きベクトルによって指し示される位置を中心とする十字形パターン（cross-shaped pattern）上で、図６Ａおよび図６Ｂにおける図示されたオフセットのうちの１つを使用して改良され得る。加えて、リストＬ０の中で参照ピクチャを指し示すＭＶオフセット（たとえば、改良されたＭＶ－元の（original）ＭＶ）は、リストＬ１の中の参照ピクチャにスケーリングされる。

[0137]図６Ａは、例示的なＵＭＶＥ探索プロセスを示す概念図である。図６Ａに示されるように、現在のフレーム７０２の中の現在のブロック７０６のための動きベクトル７０８は、動きの大きさと動きの方向の両方に関して修正され得る。動きの大きさおよび動きの方向の異なる変化は、異なる動きベクトル（たとえば、動きベクトル７１０または動きベクトル７１２）を生み出し得る。動きベクトル７１０および７１２は、ＵＭＶＥを伴うマージ候補（この場合は動きベクトル７０８）と呼ばれ得る（または単にＵＭＶＥ候補と呼ばれ得る）。すなわち、動きベクトル７１０および７１２は、ＵＭＶＥで動きベクトル７０８を変えることによって作成される。

[0138]動きベクトル７０８は、異なる予測方向も有し得る。予測方向情報は、Ｌ０（フレーム７００）、Ｌ１（フレーム７０４）、ならびにＬ０およびＬ１予測の中から、予測方向を示す。Ｂスライスに対して、提案されるＵＭＶＥ技法を使用して、ビデオエンコーダ２００およびビデオデコーダ３００は、図６Ａおよび図６Ｂに示されるような鏡写し技法を使用することによって、単予測を用いてマージ候補から双予測候補を生成することができる。図６Ｂは、例示的なＵＭＶＥ探索点を示す概念図である。たとえば、マージ候補が参照リストＬ１を用いた単予測候補である場合、ビデオエンコーダ２００およびビデオデコーダ３００は、リスト１のための参照ピクチャと鏡写しである、リスト０の中の参照ピクチャを探索することによって、参照リストＬ０の参照インデックスを決定し得る。対応するピクチャがない場合、ビデオエンコーダ２００およびビデオデコーダ３００は、現在のピクチャに最も近い参照ピクチャを使用する。ビデオエンコーダ２００およびビデオデコーダ３００は、Ｌ１（フレーム７０４）の動きベクトルをスケーリングすることによって、Ｌ０（フレーム７００）の動きベクトルを導出し得る。ビデオエンコーダ２００およびビデオデコーダ３００は、ピクチャ順序カウント（ＰＯＣ）距離を使用してスケーリング係数を計算し得る。

[0139]マージオフセット拡張
[0140]Ｘ．Ｃｈｅｎ他、「ＣＥ ４： Ｍｅｒｇｅ Ｏｆｆｓｅｔ Ｅｘｔｅｎｓｉｏｎ （Ｔｅｓｔ ４．４．８）」、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３およびＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１のジョイントビデオエキスパートチーム（ＪＶＥＴ）、第１２回会合、マカオ、中国、２０１８年１０月３～１２日、ＪＶＥＴ－Ｌ０１７６は、マージ候補リストの第１の候補にのみ基づいて新しい拡張されたＭＶオフセット候補が構築される技法を説明する。新しい拡張されたＭＶオフセット候補は、第１の候補の現在のＭＶに対するＭＶオフセットのみを含む。他の予測情報は第１の候補と同じである。新たに追加される候補は、時間候補の後にマージ候補リストへ挿入される。サポートされる動きベクトルオフセットが図７に図示され、現在のサンプル８００に対する相対的なオフセット（０または±１、０または±１）を伴う点８０２と、現在のサンプル８００に対する相対的なオフセット（０または±２、０または±２）を伴う点８０４とを含む。

[0141]過去の参照ピクチャ（たとえば、リスト０）からの１つのＭＶ（たとえば、ＭＶ０）および未来の参照ピクチャ（たとえば、リスト１）からの別のＭＶ（たとえば、ＭＶ１）を用いた双予測に対して、ビデオエンコーダ２００およびビデオデコーダ３００は、選択されたＭＶオフセットを第１の候補ＭＶ０に加算し（add）、逆のＭＶオフセットを第１の候補ＭＶ１に加算し得る。他の双予測のケースは、同じＭＶオフセットを、それぞれ、第１の候補ＭＶ０およびＭＶ１に加算することを含む。

[0142]履歴ベースの動きベクトル予測
[0143]履歴ベースの動きベクトル予測（ＨＭＶＰ：Ｈｉｓｔｏｒｙ－ｂａｓｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）（たとえば、Ｌ． Ｚｈａｎｇ他、「ＣＥ４－ｒｅｌａｔｅｄ： Ｈｉｓｔｏｒｙ－ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ」、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３およびＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１のジョイントビデオエキスパートチーム（ＪＶＥＴ）、第１１回会合、リュブリャナ、スロベニア、２０１８年７月１０～１８日［ＪＶＥＴ－Ｋ０１０４］に記載されるような）は、すぐ隣の因果的隣接動きフィールドにおけるＭＶに加えて、過去から復号されたＭＶのリストから、各ブロックがそのＭＶ予測子を見つけることを可能にする、履歴ベースの技法である。符号化/復号プロセスの間、複数のＨＭＶＰ候補を有するテーブルが維持される。新たなスライスに遭遇すると、テーブルは空にされる。インターコーディングされたブロックがあるときはいつでも、関連する動き情報は、新たなＨＭＶＰ候補として先入れ先出し（ＦＩＦＯ）方式でテーブルに挿入される。次いで、制約ＦＩＦＯ規則が適用され得る。テーブルにＨＭＶＰを挿入するとき、テーブルの中に同一のＨＭＶＰがあるかどうかを見つけるために、最初に冗長性チェックが適用される。同一のＨＭＶＰが発見された場合、その特定のＨＭＶＰはテーブルから除去され、以後、すべてのＨＭＶＰ候補が移動される。

[0144]ＨＭＶＰ候補はまた、マージ候補リスト構成プロセスにおいて使用され得る。テーブルの中の最後のエントリから最初のエントリまでのすべてのＨＭＶＰ候補が、ＴＭＶＰ候補の後に挿入される。ＨＭＶＰ候補に対してプルーニングが適用される。利用可能なマージ候補の総数が、シグナリングされた最大の許容される数のマージ候補に達すると、マージ候補リスト構成プロセスは終了される。

[0145]同様に、ＨＭＶＰ候補はまた、ＡＭＶＰ候補リスト構成プロセスにおいて使用され得る。テーブルの中の最後のＫ個のＨＭＶＰ候補の動きベクトルは、ＴＭＶＰ候補の後に挿入される。ＡＭＶＰターゲット参照ピクチャと同じ参照ピクチャを伴うＨＭＶＰ候補だけが、ＡＭＶＰ候補リストを構成するために使用される。ＨＭＶＰ候補に対してプルーニングが適用される。

[0146]ＨＥＶＣにおける動き予測の他の態様
[0147]マージモードおよびＡＭＶＰモードのいくつかの態様には、次のように言及する価値がある。

[0148]動きベクトルスケーリング：動きベクトルの値は、提示時間におけるピクチャの距離に比例することが想定される。動きベクトルは、２つのピクチャ、すなわち、参照ピクチャと、動きベクトルを含むピクチャ（すなわち、含有ピクチャ）とを関連付ける。ある動きベクトルが、他の動きベクトルを予測するために利用されるとき、含有ピクチャと参照ピクチャとの距離は、ピクチャ順序カウント（ＰＯＣ）値に基づいて計算される。

[0149]予測されるべき動きベクトルについて、その関連する含有ピクチャと参照ピクチャの両方が異なり得る。したがって、（ＰＯＣに基づく）新しい距離が計算され、動きベクトルは、これらの２つのＰＯＣ距離に基づいてスケーリングされる。空間隣接候補では、２つの動きベクトルのための含有ピクチャは同じであるが、参照ピクチャは異なる。ＨＥＶＣでは、動きベクトルスケーリングは、空間および時間隣接候補のためにＴＭＶＰとＡＭＶＰの両方に適用される。

[0150]擬似（artificial）動きベクトル候補生成：動きベクトル候補リストが完全ではない（たとえば、所定の最大値より少ない候補を有する）場合、擬似動きベクトル候補は、リストが埋まるまで生成されてリストの終わりに挿入される。

[0151]マージモードでは、２つのタイプの擬似ＭＶ候補、すなわち、Ｂスライスについてのみ導出された複合候補（combined candidate）と、第１のタイプが十分な擬似候補を与えない場合にＡＭＶＰのためにのみ使用されるゼロ候補（zero candidates）とがある。

[0152]すでに候補リストの中にあり必要な動き情報を有する候補の各ペアに対して、双方向複合動きベクトル候補が、リスト０の中のピクチャを参照する第１の候補の動きベクトルと、リスト１の中のピクチャを参照する第２の候補の動きベクトルとの組合せによって導出される。

[0153]候補挿入のためのプルーニングプロセス：異なるブロックからの候補が偶然同じであることがあり、これはマージ/ＡＭＶＰ候補リストの効率を低下させる。プルーニングプロセスはこの問題に対処するために適用され得る。プルーニングプロセスは、同一の候補を挿入するのをある程度回避するために、ある候補を現在の候補リストの中の他の候補と比較する。複雑さを低減するために、可能な各候補をすべての他の既存の候補と比較するのではなく、限られた数のプルーニングプロセスしか適用されない。

[0154]双方向テンプレート照合
[0155]図８は、双方向テンプレート照合を示す概念図である。双方向照合は、テンプレートベースの改良プロセスを回避するための、デコーダ側動きベクトル改良（ＤＭＶＲ）技法の変形である。現在のブロック９００のための双方向テンプレート照合は、初期双予測ＭＶ（たとえば、図８の中のｖ_０およびｖ_１）によって指し示される単予測参照ブロック９０２および９０４（Ｉ_０（ｘ＋ｖ_０）およびＩ_１（ｘ＋ｖ_１）と表記され、ｘは、現在のブロック９００内のピクセルの座標である）の間で双方向照合コストを直接計算することを含む。

[0156]ビデオエンコーダ２００およびビデオデコーダ３００は、初期双予測ＭＶの周囲のあらかじめ定められた探索範囲内での双方向照合（bilateral matching）に基づいて、局所的な探索を実行し得る。具体的には、初期ＭＶがｖ_０ ^（０）およびｖ_１ ^（０）であると仮定して、最初の探索反復において、いくつかのＭＶペア（たとえば、ｖ_０ ^（０）＋Δおよびｖ_１ ^（０）－Δ、ただし、Δ∈｛（０，０），（－１，１），（０，１），（１，１），（１，０），（１，－１），（０，－１），（－１，－１），（－１，０）など｝である）が、最小の双方向照合コストをもたらすΔ＊の最適値を決定するためにテストされる。本開示では、コスト関数は、Ｉ_０（ｘ＋ｖ_０ ^（０）＋Δ）とＩ_１（ｘ＋ｖ_１ ^（０）－Δ）との間のひずみ＋動きコストとして定義される。ひずみ関数は、平均除去絶対差分和（ＭＲＳＡＤ：Mean Removed sum of absolute differences）または絶対差分和（ＳＡＤ：sum of absolute differences）のいずれかであり得る。図８は、第１の探索反復において、テストされるＭＶペアのうちの１つによって示される例示的な探索ブロック９０６および９０８を示す。

[0157]最適なΔ＊が発見された後、ビデオエンコーダ２００およびビデオデコーダ３００によって実行される反復プロセスは、Δ＊を使用することによって初期ＭＶ（ｖ_０ ^（０）およびｖ_１ ^（０））の値を更新する。具体的には、ｖ_０ ^（１）＝ｖ_０ ^（０）＋Δ＊、および、ｖ_１ ^（１）＝ｖ_１ ^（０）－Δ＊）。次いで、上の説明におけるすべての上付き文字を１だけ増やした後、Δ＊が（０，０）に等しいことが達成されるまで、同じ反復プロセスが繰り返す。出力ＭＶペア（ｖ_０ ^（ｎ）およびｖ_１ ^（ｎ）として表記され、ｎ≧１である）が、次いで、サブペル精度で再び改良され得る。次いで、得られるＭＶペアが、マージブロックの元のＭＶ（ｖ_０ ^（０）およびｖ_１ ^（０））を置き換えるために取られる。次いで、改良されたＭＶに基づいて動き補償が実行される。

[0158]パラメトリックサブペル動きベクトル導出
[0159]Ｓ．Ｓｅｔｈｕｒｍａｎ他、「Ｄｅｃｏｄｅｒ Ｓｉｄｅ ＭＶ Ｒｅｆｉｎｅｍｅｎｔ／Ｄｅｒｉｖａｔｉｏｎ ｗｉｔｈ ＣＴＢ－ｌｅｖｅｌ ｃｏｎｃｕｒｒｅｎｃｙ ａｎｄ ｏｔｈｅｒ ｎｏｒｍａｔｉｖｅ ｃｏｍｐｌｅｘｉｔｙ ｒｅｄｕｃｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ」、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３およびＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１のジョイントビデオエキスパートチーム（ＪＶＥＴ）、第１１回会合、リュブリャナ、スロベニア、２０１８年７月１０～１８日、ＪＶＥＴ－Ｋ４００１では、各々の可能な分数ペルＭＶに対する予測誤差曲面を形成するために、２次パラメトリック関数（a quadratic parametric function）が使用される。基本的に、２次パラメトリック関数は、推定量としての予測誤差の値を補間する補間関数である。整数探索からの厳密な（exact）予測誤差値に基づいて、２次パラメトリック関数のパラメータが導出され、したがって、この誤差探索における最良の動きサンプリング位置が発見され得る。次いで、実際にサブペル動きベクトル推定を実行するのではなく、元のＭＶがこの厳密な動きサンプリング位置に調整される。このパラメトリック関数は、参照として、５つの点からコスト値を取って、誤差表面（error surface）を形成し、この表面上で最小コスト値を有する最良の位置を見つける。５つの点は十字形を形成し、隣り合う２つの各点の間のギャップは２ピクセルであり、ここで、中心／左／右／上／下の点は、（０，０）／（－１，０）／（１，０）／（０，－１）／（０，１）に調整される（coordinated）。このパラメトリック誤差曲面関数は、２Ｄ放物線誤差曲面方程式（2-D parabolic error surface equation）、すなわち、

であり、ここで、（Δｘ，Δｙ）は最小コストを有する位置に相当し、Ｃは最小コスト値に相当する。５つの方程式を５つの未知数で解くことによって、（Δｘ，Δｙ）は、

のように計算され、ここで、αは（Δｘ，Δｙ）をいくつかのサブペル精度で表すために導入された整数スケーリング係数、たとえば、１／１６の精度に対して１６、および１／４の精度に対して４である。

[0160]デコーダ側の導出された動きベクトルを使用する動きベクトル予測
[0161]動きオーバーヘッドを低減する際にデコーダ側動きベクトル導出（ＤＭＶＤ）は効率的であるが、（ＤＭＶＲなどの）既存のＤＭＶＤ設計は、空間隣接ＣＵのコーディングの間の相互依存性に起因する復号レイテンシ問題に遭遇することがある。ＣＵのＭＶが、ＤＭＶＲを使用してコーディングされたその空間隣接物から予測される場合、復号プロセスは、隣接ＣＵの改良されたＭＶが利用可能になるまで待たなければならない。汎用ビデオコーディング規格の開発において、いくつかのデコーダ側ＭＶ導出（ＤＭＶＤ）手法のための低レイテンシ設計を達成し得る、いくつかの技法が研究されている。これらの技法のいくつかが、以下で詳述される。

[0162]直前のＤＭＶＤブロックからの空間ＭＶ予測なし
[0163]ＤＭＶＤ技法を使用してコーディングされるブロックに対して、復号プロセスは３つのステップで解釈され得る。
１．初期動きフィールドの再構築および参照ブロックのプリフェッチ、
２．最終ＭＶを得るためのブロック動きの改良プロセス、および
３．最終ＭＶを用いた動き補償。

[0164]ステップ２における改良プロセスの後、最終ＭＶがピクチャ動きフィールドに書き戻されるので、空間ＭＶ予測、時間ＭＶ予測、および境界強度計算に関して、改良されたＭＶが使用され得る。図９は、ＤＭＶＲなどのＤＭＶＤ技法のためのパイプラインステージのいくつかの実装形態を示す。図９において、３つの主要なモジュールの再構築とプリフェッチ１０００、ＭＶ改良１００２、および動き補償１００４は、ＤＭＶＤ技法のための３つの復号ステップを表す。モジュール１０００、１００２、および１００４は、ビデオデコーダ３００の動き補償ユニット３１６（図３参照）の一部であり得る。図９に示されるように、時間Ｔ０において、元の（original）動きベクトルＶ０（Ｖ0,orig）を有するＣＵ０に対して、再構築およびプリフェッチが実行される。時間Ｔ１において、元の動きベクトルＶ０は、改良された（refined）動きベクトルＶ０（Ｖ0,refined）を生み出すように改良される。時間Ｔ３において、改良された動きベクトルＶ０が、ＣＵ１のための再構築およびプリフェッチにおいて使用される。やはり時間Ｔ３において、改良された動きベクトルＶ０を使用して、ＣＵ０のために動き補償が実行される。このカスケーディングプロセスは未来のＣＵについても続く。

[0165]一般に、ＣＵ_ｐｒｅｖは、現在のＣＵ（ＣＵ_ｃｕｒ）の前の、以前にコーディングされたＣＵである。ＣＵ_ｃｕｒの元のＭＶを再構築するとき、ＭＶ予測子が、偶然ＤＭＶＤコーディングされたブロックであるＣＵ_ｐｒｅｖからのものである場合、この予測子は、ＣＵ_ｃｕｒにとって利用不可能であるものとしてマークされる。その結果、ＣＵ_ｃｕｒの初期ＭＶの再構築は、もはやＣＵ_ｐｒｅｖの改良されたＭＶに依存せず、ＭＶ改良とＭＶ予測との間の相互依存性は、ある程度除去される。

[0166]現在のフレームにおけるＤＭＶＤブロックからの空間ＭＶ予測なし
[0167]改良されたＭＶを使用する代わりに、この技法は、空間ＭＶ予測子を導出するために、各ＤＭＶＲ ＣＵの元のＭＶを使用する。時間ＭＶ予測の場合、コロケートピクチャが完全に再構築されているので、改良されたＭＶは復号レイテンシ問題を伴わずに使用され得る。したがって、空間的な隣接ＣＵの間のコーディング依存性がもはや存在しないので、ＤＭＶＲの復号レイテンシ問題は完全に解決され得る。しかしながら、コーディング性能の低下が予想され得る。

[0168]現在のＣＴＵ行におけるＤＭＶＤブロックからの空間ＭＶ予測なし
[0169]この技法は、空間ＭＶ予測を実行するために、直接隣接するブロックからの参照として、現在のブロックと一緒にこれらの隣接ブロックがすべて同じＣＴＵ行にある場合に、未改良のＭＶを用いる。（いくつかの他の技法が、そのような隣接ブロックからのＭＶ予測子を、利用不可能であるものとしてマークすることがあることに留意されたい。）一方、改良されたＭＶは、それらの関連するブロックが、すぐ上のＣＴＵおよび左上のＣＴＵに位置する隣接する因果的ＣＴＵ内にあるときにのみ、空間ＭＶ予測に利用可能である。したがって、この技法は、ＣＴＵ行の内部で、ＭＶ改良と空間ＭＶ予測との間の相互依存性を壊す（breaks）。

[0170]ＪＥＭにおける双方向オプティカルフロー
[0171]双方向オプティカルフロー（ＢＩＯ）は、双予測のケースにおいてブロック単位の動き補償に加えて（on top of）実行される、ピクセル単位の動き改良である。ＢＩＯがブロックの内部の細かい動きを補償するので、ＢＩＯを有効にする（enabling）ことは、動き補償に対するブロックサイズの拡大をもたらす。サンプルレベル動き改良は、各サンプルに対して精密な動きベクトルを与える明示的な式があるので、徹底的な（exhaustive）探索またはシグナリングを必要としない。図１０は、オプティカルフロー軌跡１１００を示す概念図である。

[0172]Ｉ^（ｋ）は補償ブロックの動きの後の参照ｋ（ｋ＝０，１）からのルミナンス値であり、∂Ｉ^（ｋ）／∂ｘ、∂Ｉ^（ｋ）／∂ｙは、それぞれ、Ｉ^（ｋ）勾配の水平成分および垂直成分である。オプティカルフローが有効であると想定すると、動きベクトルフィールド（ｖ_ｘ，ｖ_ｙ）は、式:

により与えられる。

[0173]オプティカルフローの式を各サンプルの動き軌跡に対するエルミート補間と組み合わせると、端部において(at the ends)関数値Ｉ^（ｋ）と導関数∂Ｉ^（ｋ）／∂ｘ、∂Ｉ^（ｋ）／∂ｙの両方と一致する、一意の３次多項式が得られる。ｔ＝０におけるこの多項式の値は、ＢＩＯ予測

である。

[0174]ここで、τ_０およびτ_１は、図１０に示されるように、参照フレームまでの距離を示す。距離τ_０およびτ_１は、Ｒｅｆ０およびＲｅｆ１に対するＰＯＣに基づいて計算され、すなわち、τ_０＝ＰＯＣ（現在）－ＰＯＣ（Ｒｅｆ０）、τ_１＝ＰＯＣ（Ｒｅｆ１）－ＰＯＣ（現在）である。両方の予測が同じ時間方向から（両方が過去から、または両方が未来から）来る場合、符号は異なり、τ_０・τ_１＜０である。この場合、予測が同じ時間モーメント（time moment）からのものではない（τ_０≠τ_１）場合にのみＢＩＯが適用され、両方の参照される領域は０ではない動きを有し、

ブロック動きベクトルは時間距離に比例する。

[0175]点Ａの値と点Ｂの値の差分Δ（図１０の動き軌跡と参照フレーム平面との交差）を最小化することによって、動きベクトルフィールド（ｖ_ｘ，ｖ_ｙ）が決定される。このモデルは、Δに対する局所的なテイラー展開の最初の線形項しか使用しない。

[0176]式（１）におけるすべての値は、これまでは省略されていたサンプル位置（ｉ’，ｊ’）に依存する。局所的な周辺のサンプルにおいて動きが一貫（consistent）していると仮定すると、現在予測される点（ｉ，ｊ）を中心とする（２Ｍ＋１）×（２Ｍ＋１）の正方形ウィンドウΩの内側で、Δが次のように最小化され得る。

[0177]この最適化問題に対して、まず垂直方向において、次いで水平方向において最小化を行う、簡略化された解決策が使用されてもよく、これは以下をもたらす。

ここで、

[0178]０または極めて小さい値による除算を回避するために、正則化パラメータｒおよびｍが、たとえば次のように式（２）、式（３）に導入され得る。

[0179]ここで、ｄは入力ビデオの内部ビット深度である。

[0180]いくつかの場合、ＢＩＯのＭＶ群は、雑音または不規則な動きにより信頼できないことがある。したがって、ＢＩＯでは、ＭＶ群の大きさは、ある閾値ｔｈＢＩＯへと切り詰められる。閾値は、現在のピクチャのすべての参照ピクチャが、すべて１つの方向からであるかどうかに基づいて決定される。現在のピクチャの現在のピクチャのすべての参照ピクチャが１つの方向からのものである場合、閾値の値は１２×２^１４－ｄに設定され、そうではない場合、閾値は１２×２^１３－ｄに設定される。

[0181]ＢＩＯに対する勾配は、ＨＥＶＣ動き補償プロセスと整合するオペレーションを使用して動き補償補間と同時に計算される（２Ｄ分離可能ＦＩＲ）。この２Ｄ分離可能ＦＩＲのための入力は、動き補償プロセスのためのものと同じ参照フレームサンプル、およびブロック動きベクトルの分数部分（fractional part）に従った分数位置（ｆｒａｃＸ，ｆｒａｃＹ）である。水平勾配の場合、∂I/∂ｘ信号はまず、デスケーリングシフトｄ－８を用いて分数位置ｆｒａｃＹに対応するＢＩＯｆｉｌｔｅｒＳを使用して垂直にまず補間され、次いで、勾配フィルタＢＩＯｆｉｌｔｅｒＧが、１８－ｄのデスケーリングシフトを用いて分数位置ｆｒａｃＸに対応する水平方向に適用される。垂直勾配∂I/∂ｙの場合、第１の勾配フィルタは、デスケーリングシフトｄ－８を用いて分数位置ｆｒａｃＹに対応するＢＩＯｆｉｌｔｅｒＧを使用して垂直に適用され、次いで、１８－ｄのデスケーリングシフトを用いて分数位置ｆｒａｃＸに対応する水平方向においてＢＩＯｆｉｌｔｅｒＳを使用して、信号移動（signal displacement）が実行される。実装の複雑さを低く保ちながら望ましいビットレートおよび/またはひずみを達成するために、勾配計算ＢＩＯｆｉｌｔｅｒＧおよび信号移動ＢＩＯｆｉｌｔｅｒＦのための補間フィルタの長さはより短い（６タップ）。

[0182]図１１は、８×４の現在のブロック１２００に対する双方向オプティカルフロー（ＢＩＯ）を示す概念図である。図１１は特に、現在のブロック１２００のための勾配計算の例を示す。８×４の現在のブロック１２００に対して、ビデオコーダは、動き補償された予測子をフェッチし、現在のブロック内のすべてのピクセルの、ならびにピクセルの外側の２行の、ＨＯＲ／ＶＥＲ勾配を計算する。これは、各ピクセルに対してｖｘおよびｖｙを解くことは、（４）に示されるように各ピクセルを中心とするウィンドウΩ内のピクセルのＨＯＲ／ＶＥＲ勾配値および動き補償された予測子を必要とするからである。ＪＥＭでは、このウィンドウのサイズは５×５に設定される。したがって、ビデオコーダは、動き補償された予測子をフェッチし、ピクセルの外側の２行に対する勾配を計算する。

[0183]ＪＥＭでは、２つの予測が異なる参照ピクチャからのものであるとき、ＢＩＯはすべての双方向予測されたブロックに適用される。ＣＵに対してＬＩＣが有効である（イネーブルにされる）とき、ＢＩＯは無効にされる（ディセーブルにされる）。

[0184]一般化された双予測（ＧＢｉ）
[0185]ＧＢｉは、Ｃ． Ｃｈｅｎ、「Ｇｅｎｅｒａｌｉｚｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ｉｎｔｅｒ ｃｏｄｉｎｇ」、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３およびＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＧ ２９／ＷＧ １１のジョイントビデオエキスパートチーム（ＪＶＥＴ）、第３回会合、ジュネーブ、スイス、２０１６年５月２６日～６月１日、ＪＶＥＴ－Ｃ００４７において提案された。Ｙ．Ｓｕ他、「ＣＥ４．４．１： Ｇｅｎｅｒａｌｉｚｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ｉｎｔｅｒ ｃｏｄｉｎｇ」、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３およびＩＳＯ／ＩＥＣ ＪＴＣ １／SC ２９／ＷＧ １１のジョイントビデオエキスパートチーム（ＪＶＥＴ）、第１１回会合、リュブリャナ、スロベニア、２０１８年７月１０～１８日、JVET-K0248において、提案が、ＧＢｉに対する利得と複雑さのトレードオフを改善し、ＶＶＣのベンチマークセット２．１（ＢＭＳ２．１）へと採用された。ＢＭＳ２．１ ＧＢｉは、双予測モードにおけるＬ０およびＬ１からの予測子に不均等な重みを適用する。インター予測モードでは、均等な重みペア（１／２，１／２）を含む複数の重みペアが、レートひずみ最適化（ＲＤＯ：rate-distortion optimization）に基づいて評価され、選択された重みペアのＧＢｉインデックスが、ビデオデコーダ３００にシグナリングされる。マージモードでは、ＧＢｉインデックスは隣接ＣＵから継承される。ＢＭＳ２．１ ＧＢｉにおいて、双予測モードでの予測子生成が以下に示される。

ここで、Ｐ_ＧＢｉはＧＢｉの最終予測子である。重みｗ_０およびｗ_１は選択されたＧＢｉ重みペアであり、それぞれ、リスト０（Ｌ０）およびリスト１（Ｌ１）の予測子に適用される。ＲｏｕｎｄｉｎｇＯｆｆｓｅｔ_ＧＢｉおよびｓｈｉｆｔＮｕｍ_ＧＢｉは、ＧＢｉにおける最終予測子を正規化するために使用される。サポートされるｗ１重みセットは、｛－１／４，３／８，１／２，５／８，５／４｝であり、これらの５つの重みは１つの均等な重みペアおよび４つの不均等な重みペアに対応する。混合利得（blending gain）、すなわち、ｗ_１とｗ_０との合計は、１．０に固定される。したがって、対応するｗ０重みセットは、｛５／４，５／８，１／２，３／８，－１／４｝である。重みペア選択はＣＵレベルにある。

[0186]非低遅延ピクチャに対して、重みセットサイズは５つから３つに低減され、ここで、ｗ_１重みセットは｛３／８，１／２，５／８｝であり、ｗ_０重みセットは｛５／８，１／２，３／８｝である。非低遅延ピクチャに対する重みセットサイズ低減は、ＢＭＳ２．１ ＧＢｉ、およびＪＶＥＴ－Ｋ０２４８におけるすべてのＧＢｉテストに適用される。

[0187]本開示は、デコーダ側動きベクトル改良のための以下の技法を説明する。

[0188]１．１ 制約されたデコーダ側動きベクトル改良
[0189]本開示は、双予測される予測に対する２つの重みが等しくない場合、デコーダ側動き改良を無効にする（ディセーブルにする）ことを提案する。すなわち、２つの動きベクトルを使用してコーディングされるビデオデータの双予測されるブロックに対して、ビデオエンコーダ２００およびビデオデコーダ３００は、双予測される予測のために使用される重みが等しいかどうかを決定するように構成され得る。ビデオエンコーダ２００およびビデオデコーダ３００は、双予測される予測のために使用されるべき重みを決定し得る。重みが等しくない場合、ビデオエンコーダ２００およびビデオデコーダ３００は、双予測される予測のために使用される動きベクトルに動きベクトル改良プロセス（たとえば、双方向テンプレート照合）を適用しない（たとえば、無効にする）ことがある。すなわち、ビデオエンコーダ２００およびビデオデコーダ３００は、動きベクトル改良なしで、双予測される予測を使用してビデオデータのブロックをコーディングし得る。重みが等しい場合、ビデオエンコーダ２００およびビデオデコーダ３００は、双予測される予測のために使用される動きベクトルに動きベクトル改良プロセス（たとえば、双方向テンプレート照合）を適用する（たとえば、有効にする）ことがある。すなわち、ビデオエンコーダ２００およびビデオデコーダ３００は、動きベクトル改良ありで、双予測される予測を使用してビデオデータのブロックをコーディングし得る。

[0190]たとえば、ＧＢｉが双予測される予測として適用され、重みｗ０およびｗ１が等しくない場合、ビデオエンコーダ２００およびビデオデコーダ３００は、デコーダ側動きベクトル改良プロセスを無効にし得る。別の例では、現在のブロックをコーディングするために重み付けられた双予測される予測が使用され、重みｗ０およびｗ１が等しくない場合、ビデオエンコーダ２００およびビデオデコーダ３００は、デコーダ側動きベクトル改良プロセスを無効にし得る。上の例では、双方向テンプレート照合が、動きベクトル改良（たとえば、ＤＭＶＲ）プロセスとして使用され得る。しかしながら、本開示の技法は、任意の動きベクトル改良プロセスとともに使用され得る。

[0191]したがって、本開示の一例では、ビデオエンコーダ２００およびビデオデコーダ３００は、双予測される予測を使用して符号化されたビデオデータの現在のブロックのための動きベクトルを決定し、現在のブロックの双予測される予測のために使用される重みに基づいて動きベクトルに対して動きベクトル改良プロセスを使用すると決定し、動きベクトル改良プロセスを使用するという決定に基づいて、動きベクトルに対して動きベクトル改良プロセスを適用するように構成され得る。一例では、現在のブロックの双予測される予測のために使用される重みは等しくない。この例では、ビデオエンコーダ２００およびビデオデコーダ３００は、動きベクトル改良プロセスを無効にすると決定するように構成され得る。

[0192]１．２ デコーダ側動きベクトル改良のための適応的なオン／オフ
[0193]セクション１．２の技法は、セクション１．１の技法と一緒に適用されてもよく、または独立に適用されてもよい。現在のブロックの双予測される予測のために使用される２つの動きベクトル（たとえば、リスト０およびリスト１からの）は、１つまたは複数の参照ピクチャの中の２つの異なるブロックを指す。本開示の別の例では、２つの元の動きベクトル（すなわち、あらゆる動きベクトル改良の前の）を使用する２つの予測されるブロック間の差分が閾値未満である場合、ビデオエンコーダ２００およびビデオデコーダ３００は、現在のコーディングブロックに対して動きベクトル改良プロセス（たとえば、ＤＭＶＲ）を適用しない（たとえば、無効にする）ことがある。

[0194]ビデオエンコーダ２００およびビデオデコーダ３００は、２つの予測されるブロックの絶対差分和（ＳＡＤ）または２乗誤差和（ＳＳＥ）を使用して、予測されるブロック間の「距離」を測定するように構成され得る。当然、他の技法が使用され得る。いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、差分を計算するための予測されたブロックの中のいくつかのサンプルをスキップするために、何らかの簡略化技法を使用し得る。たとえば、ビデオエンコーダ２００およびビデオデコーダ３００は、予測されるブロックのサンプルの１行おきの行を使用して、予測されたブロックのＳＡＤ／ＳＳＥを計算し得る。

[0195]ビデオエンコーダ２００およびビデオデコーダ３００は、予測されたブロックの中のサンプルの数およびサンプルのビット深度から、動きベクトル改良を適用すべきかどうかを決定するために使用される、「閾値」を決定し得る。たとえば、ビデオエンコーダ２００およびビデオデコーダ３００は、（Ｎ＜＜（ＢＤ－８））＊Ｗ＊Ｈとして閾値を計算し得る。ＷおよびＨはそれぞれ、ブロックの幅および高さである。ＢＤはサンプルのビット深度である。Ｎはあらかじめ定められた値であり、たとえば１、２、４、８他である。Ｎは高水準シンタックスにおいてもシグナリングされ得る。演算子＜＜はビットごとの右シフト（bitwise right shift）である。

[0196]別の技法では、ビデオエンコーダ２００およびビデオデコーダ３００は、ＳＡＤ／ＳＳＥおよびサンプルのビット深度を計算するために使用される、予測されるブロックの中のサンプルの数から閾値を決定し得る。たとえば、ＳＡＤ／ＳＳＥが１行おきに計算される場合、閾値は（Ｎ＜＜（ＢＤ－８））＊Ｗ＊Ｈ／２である。

[0197]したがって、本開示の別の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、動きベクトルによって特定される予測されるブロック間の差分を決定するように構成され得る。現在のブロックの双予測される予測のために使用される重みに基づいて動きベクトルに対して動きベクトル改良プロセスを使用すると決定するために、ビデオエンコーダ２００およびビデオデコーダ３００は、現在のブロックの双予測される予測のために使用される重みと、動きベクトルによって特定される予測されるブロック間の決定された差分とに基づいて、動きベクトルに対して動きベクトル改良プロセスを使用すると決定するように構成され得る。

[0198]別の例では、現在のブロックの双予測される予測のために使用される重みおよび動きベクトルによって特定される予測されるブロック間の決定された差分に基づいて、動きベクトルに対して動きベクトル改良プロセスを使用すると決定するために、ビデオエンコーダ２００およびビデオデコーダ３００は、動きベクトルによって特定される予測されるブロック間の差分が閾値未満である場合、動きベクトル改良プロセスを無効にすると決定するように構成され得る。

[0199]別の例では、動きベクトルによって特定される予測されるブロック間の差分を決定するために、ビデオエンコーダ２００およびビデオデコーダ３００は、予測されるブロック間の絶対差分和または予測されるブロック間の２乗誤差和を使用して、動きベクトルによって特定される予測されるブロック間の差分を決定するように構成され得る。

[0200]本開示の別の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、予測されるブロックの中のサンプルの数および予測されるブロックの中のサンプルのビット深度に基づいて、閾値を決定するように構成され得る。

[0201]１．３ 双方向テンプレート照合のための動き補償
[0202]双方向テンプレート照合において、上で説明されたように、ビデオエンコーダ２００およびビデオデコーダ３００は、２つの予測されるブロックを取得する。非整数動きベクトルの場合、ビデオエンコーダ２００およびビデオデコーダ３００は、補間によって予測されるブロックを取得する。ＨＥＶＣなどのように、補間が必要とされるいくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、まず水平補間を実行し、続いて垂直補間を実行することによって、予測されるブロックを取得する。水平補間の出力は、垂直補間のための入力である。ビデオエンコーダ２００およびビデオデコーダ３００は、ある数のサンプルを加重平均すること、すなわち、対応するサンプルと補間係数を乗じ、次いで重みの合計を除算して正規化することによって、補間を実行し得る。

[0203]水平補間の後で得られる中間データは、丸め誤差を減らすために、より高いビット深度に記憶され得る。コーディングのための内部ビット深度はｂｉｔＤｅｐｔｈＩであり、補間の間に（たとえば、水平補間の後に）得られる中間データのためのビット深度はｂｉｔＤｅｐｔｈＩＦである。いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、内部補間ビット深度ｂｉｔＤｅｐｔｈＩＦを達成するために、水平補間（サンプルの加重和）の結果をシフトする。いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、シフトの前にある程度のオフセットを適用し得る。このシフト数はｓｈｉｆｔ１と呼ばれ得る。内部ビット深度ｂｉｔＤｅｐｔｈＩを達成するために、垂直補間の結果もシフトされ得る。このシフト数はｓｈｉｆｔ２と呼ばれ得る。変数ｐｒｅｃＩＦの数は、重みの合計がｐｒｅｃＩＦの２乗以下となるように選ばれる。

[0204]技法１
[0205]本開示の第１の技法では、双方向テンプレート照合における予測されたブロックのビット深度は固定されており、ビデオをコーディングするための内部ビット深度と必ずしも同じではない。次いで、ビデオエンコーダ２００およびビデオデコーダ３００は、予測されるブロックの固定されたビット深度によってセクション１．２において説明される「閾値」を決定し得る。たとえば、ビット深度は１０であり、閾値は（１＜＜２）＊Ｗ＊Ｈ／２、すなわち４＊Ｗ＊Ｈ／２である。したがって、閾値は、ビデオをコーディングするための内部ビット深度とは無関係である。ビデオエンコーダ２００およびビデオデコーダ３００は、内部ビット深度ｂｉｔＤｅｐｔｈＩの代わりに内部補間ビット深度ｂｉｔＤｅｐｔｈＩＦを達成するために、垂直補間の結果をシフトし得る。

[0206]一例では、数ｓｈｉｆｔ１はｐｒｅｃＩＦ－ｍｉｎ（ｐｒｅｃＩＦ，ｂｉｔＤｅｐｔｈＩＦ－ｂｉｔＤｅｐｔｈＩ）として設定され、数ｓｈｉｆｔ２はｐｒｅｃＩＦとして設定される。シフト数が０より大きい場合、ビデオエンコーダ２００およびビデオデコーダ３００は、右シフトの前にオフセットを適用し得る。ｓｈｉｆｔ１について、ｓｈｉｆｔ１が０より大きい場合、オフセットは１＜＜（ｓｈｉｆｔ１－１）である。ｓｈｉｆｔ２について、ｓｈｉｆｔ２が０より大きい場合、オフセットは１＜＜（ｓｈｉｆｔ２－１）である。補間が適用されない場合、すなわち動きベクトルが分数ではない場合、ビデオエンコーダ２００およびビデオデコーダ３００は、同じ中間ビット深度および出力ビット深度を達成するためにシフトを適用し得る。一例では、双線形補間が使用されるとき、ｐｒｅｃＩＦは４であり、ｂｉｔＤｅｐｔｈＩＦは１０である。数ｓｈｉｆｔ１は４－ｍｉｎ（４，１０－ｂｉｔＤｅｐｔｈＩ）であり、ｓｈｉｆｔ２は４である。動きベクトルのｘ成分が０である場合、すなわち、水平補間が実行されない場合、ｓｈｉｆｔ２はｐｒｅｃＩＦーｍｉｎ（ｐｒｅｃＩＦ，ｂｉｔＤｅｐｔｈＩＦ－ｂｉｔＤｅｐｔｈＩ）としてリセットされる。

[0207]別の例では、数ｓｈｉｆｔ１はｐｒｅｃＩＦ－ｍｉｎ（ｐｒｅｃＩＦ－１，ｂｉｔＤｅｐｔｈＩＦ－ｂｉｔＤｅｐｔｈＩ）として設定され、数ｓｈｉｆｔ２はｐｒｅｃＩＦとして設定される。動きベクトルのｘ成分が０である場合、すなわち、水平補間が実行されない場合、ｓｈｉｆｔ２はｐｒｅｃＩＦ－ｍｉｎ（ｐｒｅｃＩＦ，ｂｉｔＤｅｐｔｈＩＦ－ｂｉｔＤｅｐｔｈＩ）としてリセットされる。

[0208]さらに別の例では、数ｓｈｉｆｔ１はｐｒｅｃＩＦ－（ｂｉｔＤｅｐｔｈＩＦ－ｂｉｔＤｅｐｔｈＩ）として設定され、数ｓｈｉｆｔ２はｐｒｅｃＩＦとして設定される。これは、ｂｉｔＤｅｐｔｈＩＦ－ｂｉｔＤｅｐｔｈＩが通常はｐｒｅｃＦより小さいからである。

[0209]双方向テンプレート照合における予測されるブロックのための補間フィルタは、通常の動き補償のための補間フィルタとは異なり得る。したがって、双方向テンプレート照合のｐｒｅｃＩＦおよびｂｉｔＤｅｐｔｈＩＦは、通常の動き補償のそれらとは異なり得る。

[0210]前述のことに鑑みて、動きベクトルに対して双方向テンプレート照合を適用するために、ビデオエンコーダ２００およびビデオデコーダ３００は、双方向テンプレート照合を使用して現在のブロックのための２つの予測されるブロックを決定するように構成されてもよく、２つの予測されるブロックのうちの第１の予測されるブロックは現在のブロックのための動きベクトルに基づいて決定され、動きベクトルは非整数の動きベクトルを含む。第１の予測されるブロックを決定するために、ビデオエンコーダ２００およびビデオデコーダ３００は、非整数の動きベクトルに基づいて水平補間を実行し、内部ビット深度より高いビット深度で水平補間の出力を記憶し、垂直補間を実行するためにより高いビット深度に記憶されている水平補間の出力を使用するように構成され得る。本開示の技法は、コーディング効率を高め、および/またはＤＭＶＲ技法の実装を簡単にし得る。

[0211]技法２
[0212]第２の技法では、予測されるブロックのビット深度は、ビデオをコーディングするための内部ビット深度と同じなるように設定される。したがって、予測されるブロックのビット深度は、ビデオをコーディングするための内部ビット深度に依存する。セクション１．２において説明される「閾値」は、ビデオをコーディングするための内部ビット深度によって決定される。一例では、双方向テンプレート照合のｐｒｅｃＩＦおよびｂｉｔＤｅｐｔｈＩＦは、通常の動き補償のそれらとは異なり得る。

[0213]別の例では、双方向テンプレート照合および通常の動き補償のための補間プロセスは統合される。その例では、双方向テンプレート照合のｐｒｅｃＩＦおよびｂｉｔＤｅｐｔｈＩＦは、通常の動き補償におけるものと同じである。

[0214]図１２は、現在のブロックを符号化するための例示的な方法を示すフローチャートである。現在のブロックは現在のＣＵを備え得る。ビデオエンコーダ２００（図１および図２）に関して説明されるが、他のデバイスが図１２の方法と同様の方法を実行するように構成され得ることを理解されたい。

[0215]この例では、ビデオエンコーダ２００は、最初に、現在のブロックを予測する（３５０）。たとえば、ビデオエンコーダ２００は、現在のブロックのための予測ブロックを形成し得る。ビデオエンコーダ２００は、次いで、現在のブロックのための残差ブロックを計算し得る（３５２）。残差ブロックを計算するために、ビデオエンコーダ２００は、元の（original）コーディングされていないブロックと、現在のブロックのための予測ブロックとの間の差分を計算し得る。ビデオエンコーダ２００は、次いで、残差ブロックの係数を変換および量子化し得る（３５４）。次に、ビデオエンコーダ２００は、残差ブロックの量子化された変換係数を走査し（scan）得る（３５６）。走査の間、または走査に続いて、ビデオエンコーダ２００は、係数をエントロピー符号化し得る（３５８）。たとえば、ビデオエンコーダ２００は、ＣＡＶＬＣまたはＣＡＢＡＣを使用して係数を符号化し得る。次いで、ビデオエンコーダ２００は、ブロックのエントロピーコーディングされたデータを出力し得る（３６０）。

[0216]図１３は、ビデオデータの現在のブロックを復号するための例示的な方法を示すフローチャートである。現在のブロックは現在のＣＵを備え得る。ビデオデコーダ３００（図１および図３）に関して説明されるが、他のデバイスが図１３の方法と同様の方法を実行するように構成され得ることを理解されたい。

[0217]ビデオデコーダ３００は、エントロピーコーディングされた予測情報、および現在のブロックに対応する残差ブロックの係数に対するエントロピーコーディングされたデータなどの、現在のブロックに対するエントロピーコーディングされたデータを受信し得る（３７０）。ビデオデコーダ３００は、エントロピーコーディングされたデータをエントロピー復号し得、それにより、現在のブロックに対する予測情報を決定し、残差ブロックの係数を再生する（３７２）。ビデオデコーダ３００は、現在のブロックのための予測ブロックを計算するために、たとえば、現在のブロックのための予測情報によって示されるイントラ予測またはインター予測モードを使用して、現在のブロックを予測し得る（３７４）。たとえば、以下図１４および図１５において説明されるように、動きベクトル改良を実行するかどうかを決定するための本開示の技法は、図１３のプロセス３７４の前および/または間にビデオデコーダ３００によって実行され得る。ビデオデコーダ３００は、次いで、量子化された変換係数のブロックを作成するために、再生された係数を逆走査し得る（３７６）。ビデオデコーダ３００は、次いで、残差ブロックを生成するために、係数を逆量子化および逆変換し得る（３７８）。ビデオデコーダ３００は、予測ブロックと残差ブロックとを組み合わせることによって、最終的に現在のブロックを復号し得る（３８０）。

[0218]図１４は、デコーダ側動きベクトル改良を適用するための例示的な復号方法を示すフローチャートである。図１４の技法は、動き補償ユニット３１６を含む、ビデオデコーダ３００を参照して説明される。しかしながら、図１４の技法は、動き補償ユニット２２４を含む、ビデオエンコーダ２００により逆の方式でも実行され得ることを理解されたい。

[0219]本開示の一例では、ビデオデコーダ３００は、双予測される予測を使用して符号化されたビデオデータの現在のブロックを受信するように構成され得る（１５００）。ビデオデコーダ３００は次いで、双予測される予測の重みが等しいかどうかを決定し得る（１５０２）。双予測される予測の重みが等しくない場合、ビデオデコーダ３００は、動きベクトル改良プロセスを無効（disable）にし（１５０４）、動きベクトル改良なしで双予測される予測を使用して現在のブロックを復号し得る（１５０６）。双予測される予測の重みが等しいとビデオデコーダ３００が決定する場合、ビデオデコーダ３００は、動きベクトル改良プロセスを有効（enable）にし（１５０８）、動きベクトル改良ありで双予測される予測を使用して現在のブロックを復号し得る（１５１０）。

[0220]したがって、上の例を鑑みて、ビデオデコーダ３００は、双予測される予測を使用して符号化されたビデオデータの現在のブロックのための動きベクトルを決定し、現在のブロックの双予測される予測のために使用される重みに基づいて動きベクトルに対して動きベクトル改良プロセスを使用すると決定し、動きベクトル改良プロセスを使用するという決定に基づいて、動きベクトルに対して動きベクトル改良プロセスを適用するように構成され得る。一例では、現在のブロックの双予測される予測のために使用される重みが等しくないとき、ビデオデコーダ３００は、動きベクトル改良プロセスを無効にすると決定するように構成され得る。一例では、動きベクトル改良プロセスは双方向テンプレート照合である。

[0221]一例では、双予測予測は重み付け双予測（weighted bi-prediction）である。別の例では、双予測予測は一般化された双予測（generalized bi-prediction）である。

[0222]別の例では、ビデオデコーダ３００は、ピクチャレベルにおいて現在のブロックの双予測される予測のために使用される重みを決定するように構成され得る。別の例では、ビデオデコーダ３００は、ブロックレベルにおいて現在のブロックの双予測される予測のために使用される重みを決定するように構成され得る。

[0223]図１５は、デコーダ側動きベクトル改良を適用するための別の例示的な復号方法を示すフローチャートである。図１５の技法は、動き補償ユニット３１６を含む、ビデオデコーダ３００を参照して説明される。しかしながら、図１５の技法は、動き補償ユニット２２４を含むビデオエンコーダ２００によって、逆の方式でも実行され得ることを理解されたい。

[0224]本開示の一例では、ビデオデコーダ３００は、双予測される予測を使用して符号化されたビデオデータの現在のブロックを受信するように構成され得る（１６００）。ビデオデコーダ３００は次いで、双予測される予測の重みが等しいかどうかを決定し得る（１６０２）。双予測される予測の重みが等しくない場合、ビデオデコーダ３００は、動きベクトル改良プロセスを無効にし（１６０４）、動きベクトル改良なしで双予測される予測を使用して現在のブロックを復号し得る（１６０６）。

[0225]双予測される予測の重みが等しいとビデオデコーダ３００が決定する場合、ビデオデコーダ３００はさらに、双予測されるブロックの動きベクトルによって特定される予測されるブロック間の差分が閾値未満であるかどうかを決定し得る（１６０８）。閾値未満である場合、ビデオデコーダ３００は、動きベクトル改良プロセスを無効にし（１６０４）、動きベクトル改良なしで双予測される予測を使用して現在のブロックを復号し得る（１６０６）。閾値未満ではない場合、ビデオデコーダ３００は、動きベクトル改良プロセスを有効にし（１６１０）、動きベクトル改良ありで双予測される予測を使用して現在のブロックを復号し得る（１６１２）。

[0226]したがって、上の例に鑑みて、ビデオデコーダ３００は、双予測される予測を使用して符号化されたビデオデータの現在のブロックのための動きベクトルを決定し、動きベクトルによって特定される予測されるブロック間の差分を決定し、現在のブロックの双予測される予測のために使用される重みおよび動きベクトルによって特定される予測されるブロック間の決定された差分に基づいて動きベクトルに対して動きベクトル改良プロセスを使用すると決定し、動きベクトル改良プロセスを使用するという決定に基づいて、動きベクトルに対して動きベクトル改良プロセスを適用するように構成され得る。

[0227]本開示の説明のための例は以下のことを含む。

[0228]例１： ビデオデータをコーディングする方法であって、ビデオデータの現在のブロックのための動きベクトルを決定するステップと、現在のブロックの双予測される予測のために使用される重みに基づいて動きベクトルに対して動きベクトル改良プロセスを使用すると決定するステップと、決定に基づいて動きベクトルを改良するステップとを備える、方法。

[0229]例２：双予測予測は重み付け双予測である、例１の方法。

[0230]例３：双予測予測は一般化された双予測である、例１の方法。

[0231]例４：ビデオデータの現在のブロックのための動きベクトルを決定することは、双方向テンプレート照合を使用して動きベクトルを決定することを備える、例１の方法。

[0232]例５：ビデオデータをコーディングする方法であって、ビデオデータの現在のブロックのための動きベクトルを決定することと、２つの予測されるブロック間の差分に基づいて動きベクトルに対して動きベクトル改良プロセスを使用すると決定することと、決定に基づいて動きベクトルを改良することと、を備える、方法。

[0233]例６：ビデオデータをコーディングする方法であって、双方向テンプレート照合を使用してコーディングされるべきビデオデータの現在のブロックを受信することと、双方向テンプレート照合を使用して現在のブロックのための２つの予測されるブロックを決定することとを備え、２つの予測されるブロックのうちの第１のブロックは非整数動きベクトルに基づいて決定され、第１のブロックを決定するステップは、非整数動きベクトルに基づいて水平補間を実行することと、内部ビット深度より高いビット深度で水平補間の出力を記憶することと、垂直補間を実行するために、より高いビット深度で記憶されている水平補間の出力を使用することと、を備える。

[0234]例７：コーディングすることは復号することを備える、例１から６のいずれかの方法。

[0235]例８：コーディングすることが符号化することを備える、例１から６のいずれかの方法。

[0236]例９：ビデオデータをコーディングするためのデバイスであって、例１から例８のいずれかの方法を実行するための１つまたは複数の手段を備える、デバイス。

[0237]例１０：１つまたは複数の手段が回路中に実装される１つまたは複数のプロセッサを備える、例９のデバイス。

[0238]例１１：ビデオデータを記憶するように構成されるメモリをさらに備える、例９および１０のいずれかのデバイス。

[0239]例１２：復号されたビデオデータを表示するように構成されるディスプレイをさらに備える、例９から１１のいずれかのデバイス。

[0240]例１３：例９から１２のいずれかのデバイスであって、当該デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える。

[0241]例１４：例９から１３のいずれかのデバイスであって、当該デバイスがビデオデコーダを備える。

[0242]例１５：例９から１４のいずれかのデバイスであって、当該デバイスがビデオエンコーダである。

[0243]例１６：実行されると、例１から８のいずれかの方法を１つまたは複数のプロセッサに実行させる命令を記憶した、コンピュータ可読記憶媒体。

[0244]例に応じて、本明細書で説明された技法のいずれかのいくつかの行為またはイベントは、異なる順序で実行されてもよく、追加、統合、または完全に除外されてもよい（たとえば、すべての説明された行為またはイベントが本技法の実践のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて同時に実行され得る。

[0245]１つまたは複数の例において、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令もしくはコードとして、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を促進する任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的な有形コンピュータ可読記憶媒体、または（２）信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示において説明された技法の実装のための命令、コードおよび/またはデータ構造を取り出すために、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

[0246]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る、任意の他の媒体を備え得る。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まず、非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書において使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイ（登録商標）ディスク（disc）を含み、ここで、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含まれるべきである。

[0247]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の均等な集積論理回路構成もしくは個別論理回路構成などの、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書において使用される「プロセッサ」および「処理回路」という用語は、前述の構造、または本明細書において説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用ハードウェアおよび/もしくはソフトウェアモジュール内で提供され、または複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。

[0248]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置に実装され得る。本開示では、開示される技法を実行するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが説明されたが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上で説明されたように、様々なユニットは、好適なソフトウェアおよび/またはファームウェアとともに、上で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって提供され得る。

[0249]様々な例が説明された。これらおよび他の例は添付の特許請求の範囲内に入る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを復号する方法であって、
双予測される予測を使用して符号化されたビデオデータの現在のブロックのための動きベクトルを決定することと、
前記現在のブロックの前記双予測される予測のために使用される重みに基づいて、前記動きベクトルに対して動きベクトル改良プロセスを使用すると決定することと、
前記動きベクトル改良プロセスを使用するという前記決定に基づいて、前記動きベクトルに対して前記動きベクトル改良プロセスを適用することと、
を備える、方法。
［Ｃ２］
前記現在のブロックの前記双予測される予測のために使用される前記重みは等しくなく、
前記現在のブロックの前記双予測される予測のために使用される前記重みに基づいて前記動きベクトルに対して前記動きベクトル改良プロセスを使用すると決定することは、
前記動きベクトル改良プロセスを無効にすると決定することを備える、
Ｃ１に記載の方法。
［Ｃ３］
前記双予測予測は重み付け双予測である、Ｃ１に記載の方法。
［Ｃ４］
前記双予測予測は一般化された双予測である、Ｃ１に記載の方法。
［Ｃ５］
ピクチャレベルにおいて、前記現在のブロックの前記双予測される予測のために使用される前記重みを決定することをさらに備える、Ｃ１に記載の方法。
［Ｃ６］
ブロックレベルにおいて、前記現在のブロックの前記双予測される予測のために使用される前記重みを決定することをさらに備える、Ｃ１に記載の方法。
［Ｃ７］
前記動きベクトル改良プロセスは、双方向テンプレート照合である、Ｃ１に記載の方法。
［Ｃ８］
前記動きベクトルによって特定される予測されるブロック間の差分を決定することをさらに備え、
前記現在のブロックの前記双予測される予測のために使用される前記重みに基づいて前記動きベクトルに対して前記動きベクトル改良プロセスを使用すると決定することは、
前記現在のブロックの前記双予測される予測のために使用される前記重みと、前記動きベクトルによって特定される前記予測されるブロック間の前記決定された差分とに基づいて、前記動きベクトルに対して前記動きベクトル改良プロセスを使用すると決定することを備える、
Ｃ１に記載の方法。
［Ｃ９］
前記現在のブロックの前記双予測される予測のために使用される重みと、前記動きベクトルによって特定される前記予測されるブロック間の前記決定された差分とに基づいて、前記動きベクトルに対して前記動きベクトル改良プロセスを使用すると決定することは、
前記動きベクトルによって特定される前記予測されるブロック間の前記差分が閾値未満である場合、前記動きベクトル改良プロセスを無効にすると決定することを備える、
Ｃ８に記載の方法。
［Ｃ１０］
前記動きベクトルによって特定される前記予測されるブロック間の前記差分を決定することは、
前記予測されるブロック間の絶対差分和または前記予測されるブロック間の２乗誤差和を使用して、前記動きベクトルによって特定される前記予測されるブロック間の前記差分を決定することを備える、
Ｃ８に記載の方法。
［Ｃ１１］
前記予測されるブロックの中のサンプルの数および前記予測されるブロックの中の前記サンプルのビット深度に基づいて、前記閾値を決定することをさらに備える、Ｃ１０に記載の方法。
［Ｃ１２］
前記動きベクトル改良プロセスは双方向テンプレート照合であり、前記現在のブロックの前記双予測される予測のために使用される前記重みは等しく、
前記現在のブロックの前記双予測される予測のために使用される前記重みに基づいて前記動きベクトルに対して前記動きベクトル改良プロセスを使用すると決定することは、
前記動きベクトル改良プロセスを有効にすると決定することを備える、
Ｃ１に記載の方法。
［Ｃ１３］
前記動きベクトルに対して前記双方向テンプレート照合を適用することは、
双方向テンプレート照合を使用して前記現在のブロックのための２つの予測されるブロックを決定することを備え、前記２つの予測されるブロックのうちの第１の予測されるブロックは前記現在のブロックのための前記動きベクトルに基づいて決定され、
前記動きベクトルは非整数動きベクトルを含み、前記第１の予測されるブロックを決定することは、
前記非整数動きベクトルに基づいて水平補間を実行することと、
内部ビット深度より高いビット深度において前記水平補間の出力を記憶することと、
垂直補間を実行するために、前記より高いビット深度で記憶されている前記水平補間の前記出力を使用することと、
を備える、Ｃ１２に記載の方法。
［Ｃ１４］
ビデオデータを復号するように構成される装置であって、
ビデオデータの現在のブロックを記憶するように構成されるメモリと、
回路において実装され、前記メモリと通信している１つまたは複数のプロセッサと、を備え、前記１つまたは複数のプロセッサは、
双予測される予測を使用して符号化されたビデオデータの現在のブロックのための動きベクトルを決定し、
前記現在のブロックの前記双予測される予測のために使用される重みに基づいて、前記動きベクトルに対して動きベクトル改良プロセスを使用すると決定し、
前記動きベクトル改良プロセスを使用するという前記決定に基づいて、前記動きベクトルに対して前記動きベクトル改良プロセスを適用する、
ように構成される、装置。
［Ｃ１５］
前記現在のブロックの前記双予測される予測のために使用される前記重みは等しくなく、
前記現在のブロックの前記双予測される予測のために使用される前記重みに基づいて前記動きベクトルに対して前記動きベクトル改良プロセスを使用すると決定するために、前記１つまたは複数のプロセッサはさらに、
前記動きベクトル改良プロセスを無効にすると決定するように構成される、Ｃ１４に記載の装置。
［Ｃ１６］
前記双予測予測は重み付け双予測である、Ｃ１４に記載の装置。
［Ｃ１７］
前記双予測予測は一般化された双予測である、Ｃ１４に記載の装置。
［Ｃ１８］
前記１つまたは複数のプロセッサはさらに、
ピクチャレベルにおいて、前記現在のブロックの前記双予測される予測のために使用される前記重みを決定するように構成される、Ｃ１４に記載の装置。
［Ｃ１９］
前記１つまたは複数のプロセッサはさらに、
ブロックレベルにおいて、前記現在のブロックの前記双予測される予測のために使用される前記重みを決定するように構成される、Ｃ１４に記載の装置。
［Ｃ２０］
前記動きベクトル改良プロセスは、双方向テンプレート照合である、Ｃ１４に記載の装置。
［Ｃ２１］
前記１つまたは複数のプロセッサは、さらに、
前記動きベクトルによって特定される予測されるブロック間の差分を決定するように構成され、
前記現在のブロックの前記双予測される予測のために使用される前記重みに基づいて前記動きベクトルに対して前記動きベクトル改良プロセスを使用すると決定するために、前記１つまたは複数のプロセッサは、さらに、
前記現在のブロックの前記双予測される予測のために使用される前記重みおよび前記動きベクトルによって特定される前記予測されるブロック間の前記決定された差分に基づいて、前記動きベクトルに対して前記動きベクトル改良プロセスを使用すると決定するように構成される、Ｃ１４に記載の装置。
［Ｃ２２］
前記現在のブロックの前記双予測される予測のために使用される重みと、前記動きベクトルによって特定される前記予測されるブロック間の前記決定された差分とに基づいて、前記動きベクトルに対して前記動きベクトル改良プロセスを使用すると決定するために、前記１つまたは複数のプロセッサは、さらに、
前記動きベクトルによって特定される前記予測されるブロック間の前記差分が閾値未満である場合、前記動きベクトル改良プロセスを無効にすると決定するように構成される、
Ｃ２１に記載の装置。
［Ｃ２３］
前記動きベクトルによって特定される前記予測されるブロック間の前記差分を決定するために、前記１つまたは複数のプロセッサは、さらに、
前記予測されるブロック間の絶対差分和または前記予測されるブロック間の２乗誤差和を使用して、前記動きベクトルによって特定される前記予測されるブロック間の前記差分を決定するように構成される、
Ｃ２１に記載の装置。
［Ｃ２４］
前記１つまたは複数のプロセッサは、さらに、
前記予測されたブロックの中のサンプルの数および前記予測されたブロックの中の前記サンプルのビット深度に基づいて、前記閾値を決定するように構成される、Ｃ２３に記載の装置。
［Ｃ２５］
前記動きベクトル改良プロセスは双方向テンプレート照合であり、前記現在のブロックの前記双予測される予測のために使用される前記重みは等しく、
前記現在のブロックの前記双予測される予測のために使用される前記重みに基づいて前記動きベクトルに対して前記動きベクトル改良プロセスを使用すると決定するために、前記１つまたは複数のプロセッサは、さらに、
前記動きベクトル改良プロセスを有効にすると決定するように構成される、
Ｃ１４に記載の装置。
［Ｃ２６］
前記動きベクトルに対して前記双方向テンプレート照合を適用するために、前記１つまたは複数のプロセッサは、さらに、
双方向テンプレート照合を使用して前記現在のブロックのための２つの予測されるブロックを決定するように構成され、前記２つの予測されるブロックのうちの第１の予測されるブロックは前記現在のブロックのための前記動きベクトルに基づいて決定され、
前記動きベクトルが非整数動きベクトルを含み、前記第１の予測されるブロックを決定するために、前記１つまたは複数のプロセッサは、さらに、
前記非整数動きベクトルに基づいて水平補間を実行し、
内部ビット深度より高いビット深度において前記水平補間の出力を記憶し、
垂直補間を実行するために、前記より高いビット深度で記憶されている前記水平補間の前記出力を使用する、
ように構成される、Ｃ２５に記載の装置。
［Ｃ２７］
前記装置がワイヤレス通信デバイスである、Ｃ１４に記載の装置。
［Ｃ２８］
実行されると、ビデオデータを復号するように構成された１つまたは複数のプロセッサに、
双予測される予測を使用して符号化されたビデオデータの現在のブロックのための動きベクトルを決定することと、
前記現在のブロックの前記双予測される予測のために使用される重みに基づいて、前記動きベクトルに対して動きベクトル改良プロセスを使用すると決定することと、
前記動きベクトル改良プロセスを使用するという前記決定に基づいて、前記動きベクトルに対して前記動きベクトル改良プロセスを適用することと、
を行わせる命令を記憶した非一時的コンピュータ可読記憶媒体。

Claims (15)

1. ビデオデータを復号する方法であって、
   双予測される予測を使用して符号化されたビデオデータの現在のブロックのための動きベクトルを決定することと、
   前記現在のブロックの前記双予測される予測のための２つの参照ピクチャリストからの予測子のために使用される重みが等しくないと決定することと、
   前記現在のブロックの前記双予測される予測のための前記２つの参照ピクチャリストからの前記予測子のために使用される前記重みが等しくないと決定することに基づいて、前記動きベクトルのための動きベクトル改良プロセスを無効にすると決定することと、前記動きベクトル改良プロセスは、マージ動きベクトル改良、マージオフセット拡張、双方向テンプレート照合、およびパラメトリックサブペル動きベクトル導出のうちの１つであり、
   前記動きベクトル改良プロセスなしで、前記双予測される予測を使用してビデオデータの前記現在のブロックを復号することと、
   を備える、方法。
2. 前記双予測される予測は、重み付け双予測であるか、または一般化された双予測である、請求項１に記載の方法。
3. ピクチャレベルにおいてまたはブロックレベルにおいて、前記現在のブロックの前記双予測される予測のための２つの参照ピクチャリストからの予測子のために使用される前記重みを決定することをさらに備える、請求項１に記載の方法。
4. 前記動きベクトル改良プロセスは、双方向テンプレート照合である、請求項１に記載の方法。
5. 双予測される予測を使用して符号化されたビデオデータの第２のブロックのための動きベクトルを決定することと、
   前記第２のブロックの前記双予測される予測のための２つの参照ピクチャリストからの予測子のために使用される重みが等しいと決定することと、
   前記第２のブロックのための前記動きベクトルによって特定される予測されるブロック間の差分を決定することと、
   前記第２のブロックの前記双予測される予測のための前記２つの参照ピクチャリストからの前記予測子のために使用される前記重みと、前記第２のブロックのための前記動きベクトルによって特定される前記予測されるブロック間の前記決定された差分とに基づいて、前記第２のブロックのための前記動きベクトルに対して前記動きベクトル改良プロセスを適用すると決定することと、
   をさらに備える、請求項１に記載の方法。
6. 前記動きベクトルによって特定される予測されるブロック間の差分を決定することさらに備え、
   前記現在のブロックの前記双予測される予測のための前記２つの参照ピクチャリストからの前記予測子のために使用される前記重みに基づいて、前記動きベクトルに対して前記動きベクトル改良プロセスを無効にすると決定することは、前記動きベクトルによって特定される前記予測されるブロック間の前記決定された差分にさらに基づき、
   前記動きベクトルによって特定される前記予測されるブロック間の前記差分が閾値未満である場合、前記動きベクトル改良プロセスを無効にすると決定することをさらに備える、
   請求項１に記載の方法。
7. 前記予測されるブロックの中のサンプルの数および前記予測されるブロックの中の前記サンプルのビット深度に基づいて、前記閾値を決定することをさらに備える、請求項６に記載の方法。
8. 前記第２のブロックのための前記動きベクトルによって特定される前記予測されるブロック間の前記差分を決定することは、
   前記予測されるブロック間の絶対差分和または前記予測されるブロック間の２乗誤差和を使用して、前記第２のブロックのための前記動きベクトルによって特定される前記予測されるブロック間の前記差分を決定することを備える、
   請求項５に記載の方法。
9. 前記動きベクトル改良プロセスは双方向テンプレート照合である、請求項５に記載の方法。
10. 前記第２のブロックのための前記動きベクトルに対して前記双方向テンプレート照合を適用することは、
    前記双方向テンプレート照合を使用して前記第２のブロックのための２つの予測されるブロックを決定することを備え、前記２つの予測されるブロックのうちの第１の予測されるブロックは前記第２のブロックのための前記動きベクトルに基づいて決定され、前記第２のブロックのための前記動きベクトルは非整数動きベクトルを含み、前記第１の予測されるブロックを決定することは、
    前記非整数動きベクトルに基づいて水平補間を実行することと、
    内部ビット深度より高いビット深度において前記水平補間の出力を記憶することと、
    垂直補間を実行するために、前記より高いビット深度で記憶されている前記水平補間の前記出力を使用することと、
    を備える、請求項９に記載の方法。
11. ビデオデータを復号するように構成される装置であって、
    ビデオデータの現在のブロックを記憶するように構成されるメモリと、
    回路において実装され、前記メモリと通信している１つまたは複数のプロセッサと、を備え、前記１つまたは複数のプロセッサは、
    双予測される予測を使用して符号化されたビデオデータの現在のブロックのための動きベクトルを決定し、
    前記現在のブロックの前記双予測される予測のための２つの参照ピクチャリストからの予測子のために使用される重みが等しくないと決定し、
    前記現在のブロックの前記双予測される予測のための前記２つの参照ピクチャリストからの前記予測子のために使用される前記重みが等しくないという前記決定に基づいて、前記動きベクトルのための動きベクトル改良プロセスを無効にすると決定し、前記動きベクトル改良プロセスは、マージ動きベクトル改良、マージオフセット拡張、双方向テンプレート照合、およびパラメトリックサブペル動きベクトル導出のうちの１つであり、
    前記動きベクトル改良プロセスなしで、前記双予測される予測を使用してビデオデータの前記現在のブロックを復号する、
    ように構成される、装置。
12. 前記１つまたは複数のプロセッサは、請求項２～１０のいずれか一項に記載の方法を実行するようにさらに構成される、請求項１１に記載の装置。
13. 前記装置がワイヤレス通信デバイスである、請求項１１に記載の装置。
14. 実行されると、ビデオデータを復号するように構成された１つまたは複数のプロセッサに、
    双予測される予測を使用して符号化されたビデオデータの現在のブロックのための動きベクトルを決定することと、
    前記現在のブロックの前記双予測される予測のための２つの参照ピクチャリストからの予測子のために使用される重みが等しくないと決定することと、
    前記現在のブロックの前記双予測される予測のための前記２つの参照ピクチャリストからの前記予測子のために使用される前記重みが等しくないという前記決定に基づいて、前記動きベクトルのための動きベクトル改良プロセスを無効にすると決定することと、前記動きベクトル改良プロセスは、マージ動きベクトル改良、マージオフセット拡張、双方向テンプレート照合、およびパラメトリックサブペル動きベクトル導出のうちの１つであり、
    前記動きベクトル改良プロセスなしで、前記双予測される予測を使用してビデオデータの前記現在のブロックを復号することと、
    を行わせる命令を記憶した非一時的コンピュータ可読記憶媒体。
15. 実行されると、１つまたは複数のプロセッサに、請求項２～１０のいずれか一項に記載の方法を実行させる命令をさらに記憶した請求項１４に記載の非一時的コンピュータ可読記憶媒体。

Images