JPWO2019160860A5

JPWO2019160860A5 -

Info

Publication number: JPWO2019160860A5
Application number: JP2020543604A
Authority: JP
Publication date: 2022-02-25
Anticipated expiration: 2039-02-12

Description

本開示は、一般的にはビデオコーディングに関し、具体的にはビデオコーディングでインター予測によりビデオブロックをコーディングするための動きモデル候補リストの生成に関する。

たとえ比較的短いビデオであっても、これを表すのに必要なビデオデータはかなりの量となるため、データのストリーミングが行われたり、帯域幅容量に限りがある通信ネットワークにまたがってデータが伝達されたりする場合には困難が生じることがある。このため、ビデオデータは通常、今日の通信ネットワークにまたがって伝達される前に圧縮される。ビデオがストレージ装置に格納される場合は、メモリーリソースが乏しい場合もあるため、ビデオのサイズが問題になることもある。ビデオ圧縮装置は多くの場合、伝送や格納に先立ち供給元でソフトウェアおよび／またはハードウェアを使ってビデオデータをコーディングし、そうすることでデジタルビデオ画像を表すのに必要なデータの量を減らす。その後、圧縮されたデータは、供給先でビデオデータをデコードするビデオ解凍装置によって受け取られる。ネットワークリソースには限りがあり、より高いビデオ品質を求める要求が増大しているため、画質をほとんど犠牲にしないかまったく犠牲にせずに圧縮率を高める改善された圧縮・解凍技法が望まれている。

一実施形態において、本開示は、ビデオコーディング装置によって使用されるコンピュータプログラム製品を含む非一時的なコンピュータ読取可能媒体を含み、コンピュータプログラム製品は非一時的なコンピュータ読取可能媒体に格納されたコンピュータ実行可能命令を含み、プロセッサによって実行されると、ビデオコーディング装置に上述した態様のいずれかの態様の方法を実行させる。

一実施形態において、本開示は、アフィンインター予測に従ってビデオ信号からアフィンブロックをエンコードするための制御点を決定するように構成されたプロセッサを含むビデオコーディング装置を含む。プロセッサは、サブブロックのサブブロックサイズを決定するようにさらに構成される。プロセッサは、制御点に基づいてアフィンブロックのサブブロックの動きベクトルを決定するようにさらに構成される。プロセッサは、サブブロックに対応する参照ブロックに適用する補間フィルタを選択し、補間フィルタはサブブロックサイズに基づいて選択される、ようにさらに構成される。プロセッサは、現在サンプルの動きベクトルが参照ブロックの小数位置を指し示していると判定し、現在サンプルの動きベクトルがサブブロックの動きベクトルからオフセットされる、ようにさらに構成される。プロセッサは、参照ブロックに補間フィルタを適用して、小数位置で参照サンプルを決定するようにさらに構成される。プロセッサは、サブブロックの現在サンプルと参照ブロックの参照サンプルとの差異に基づいてサブブロックの残余情報を決定するようにさらに構成される。プロセッサは、制御点および残余情報をビットストリームにエンコードするようにさらに構成される。ビデオコーディング装置はまた、プロセッサに接続された送信器を含み、送信器は、ビデオフレームの一部としてのアフィンブロックの復元をサポートするために、ビットストリームをデコーダへ送信するように構成される。開示される実施形態は、全てのサブブロックに対してただ1つの補間フィルタの適用を試みるのではなく、サブブロックのサイズに基づいて補間フィルタを選択することを含む。例えば、閾値よりも小さいサブブロックの場合は、複雑度が低いフィルタが選択され、閾値よりも大きいサブブロックの場合は、より複雑で強力な補間フィルタが使用される。これにより、フレームからフレームにかけて動きがよく一致し、相反するデータがほとんど存在しない場合は、複雑度が低いフィルタを使用し、動きがより複雑である場合は、複雑度が高いフィルタを使用することが可能となる。

一実施形態において、本開示はデコーダで実施される方法を含む。方法は、デコーダの受信器により、アフィンインター予測に従ってコーディングされたアフィンブロックを記述する制御点を含むビットストリームを受信するステップを含む。方法は、プロセッサにより、サブブロックのサブブロックサイズを決定するステップをさらに含む。方法は、プロセッサにより、制御点に基づいてアフィンブロックのサブブロックの動きベクトルを決定するステップをさらに含む。方法は、プロセッサにより、サブブロックに対応する参照ブロックに適用する補間フィルタを選択するステップであって、補間フィルタがサブブロックサイズに基づいて選択される、ステップをさらに含む。方法は、プロセッサにより、現在サンプルの動きベクトルが参照ブロックの小数位置を指し示していると判定するステップであって、現在サンプルの動きベクトルがサブブロックの動きベクトルからオフセットされる、ステップをさらに含む。方法は、プロセッサにより、参照ブロックに補間フィルタを適用して、小数位置で参照サンプルを決定するステップをさらに含む。方法は、プロセッサにより、参照サンプルに基づいて予測情報を決定するステップをさらに含む。方法は、プロセッサにより、予測情報に基づき、かつビットストリームに含まれているアフィンブロックの残余情報に基づき、アフィンブロックを復元するステップをさらに含む。方法は、プロセッサにより、復元されたアフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送するステップをさらに含む。開示される実施形態は、全てのサブブロックに対してただ1つの補間フィルタの適用を試みるのではなく、サブブロックのサイズに基づいて補間フィルタを選択することを含む。例えば、閾値よりも小さいサブブロックの場合は、複雑度が低いフィルタが選択され、閾値よりも大きいサブブロックの場合は、より複雑で強力な補間フィルタが使用される。これにより、フレームからフレームにかけて動きがよく一致し、相反するデータがほとんど存在しない場合は、複雑度が低いフィルタを使用し、動きがより複雑である場合は、複雑度が高いフィルタを使用することが可能となる。

一実施形態において、本開示は、アフィンインター予測に従ってコーディングされたアフィンブロックを記述する制御点を含むビットストリームを受信するように構成された受信器を含むビデオコーディング装置を含む。ビデオコーディング装置は、受信器に接続され、サブブロックのサブブロックサイズを決定するように構成されたプロセッサをさらに含む。プロセッサは、制御点に基づいてアフィンブロックのサブブロックの動きベクトルを決定するようにさらに構成される。プロセッサは、サブブロックに対応する参照ブロックに適用する補間フィルタを選択し、補間フィルタはサブブロックサイズに基づいて選択される、ようにさらに構成される。プロセッサは、現在サンプルの動きベクトルが参照ブロックの小数位置を指し示していると判定し、現在サンプルの動きベクトルがサブブロックの動きベクトルからオフセットされる、ようにさらに構成される。プロセッサは、参照ブロックに補間フィルタを適用して、小数位置で参照サンプルを決定するようにさらに構成される。プロセッサは、参照サンプルに基づいて予測情報を決定するようにさらに構成される。プロセッサは、予測情報に基づき、かつビットストリームに含まれているアフィンブロックの残余情報に基づき、アフィンブロックを復元するようにさらに構成される。プロセッサは、復元されたアフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送するようにさらに構成される。開示される実施形態は、全てのサブブロックに対してただ1つの補間フィルタの適用を試みるのではなく、サブブロックのサイズに基づいて補間フィルタを選択することを含む。例えば、閾値よりも小さいサブブロックの場合は、複雑度が低いフィルタが選択され、閾値よりも大きいサブブロックの場合は、より複雑で強力な補間フィルタが使用される。これにより、フレームからフレームにかけて動きがよく一致し、相反するデータがほとんど存在しない場合は、複雑度が低いフィルタを使用し、動きがより複雑である場合は、複雑度が高いフィルタを使用することが可能となる。

一実施形態において、本開示は、アフィンインター予測に従ってコーディングされたアフィンブロックを記述する制御点を含むビットストリームを受信する受信手段を含むデコーダを含む。デコーダは、制御点に基づいてアフィンブロックのサブブロックの動きベクトルを決定する動きベクトル手段をさらに含む。デコーダは、サブブロックのサブブロックサイズを決定するサブブロックサイズ手段をさらに含む。デコーダは、サブブロックに対応する参照ブロックに適用する補間フィルタを選択し、補間フィルタがサブブロックサイズに基づいて選択される、フィルタ選択手段をさらに含む。デコーダは、現在サンプルの動きベクトルが参照ブロックの小数位置を指し示していると判定し、現在サンプルの動きベクトルがサブブロックの動きベクトルからオフセットされ、参照ブロックに補間フィルタを適用して、小数位置で参照サンプルを決定する参照決定手段をさらに含む。デコーダは、参照サンプルに基づいて予測情報を決定する予測手段をさらに含む。デコーダは、予測情報に基づき、かつビットストリームに含まれているアフィンブロックの残余情報に基づき、アフィンブロックを復元する復元手段をさらに含む。デコーダは、復元されたアフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送する転送手段をさらに含む。開示される実施形態は、全てのサブブロックに対してただ1つの補間フィルタの適用を試みるのではなく、サブブロックのサイズに基づいて補間フィルタを選択することを含む。例えば、閾値よりも小さいサブブロックの場合は、複雑度が低いフィルタが選択され、閾値よりも大きいサブブロックの場合は、より複雑で強力な補間フィルタが使用される。これにより、フレームからフレームにかけて動きがよく一致し、相反するデータがほとんど存在しない場合は、複雑度が低いフィルタを使用し、動きがより複雑である場合は、複雑度が高いフィルタを使用することが可能となる。

ビデオ信号をコーディングする例示的な方法の流れ図である。ビデオコーディングのための例示的なコーディング・デコーディング（コーデック）システムの概略図である。適応型補間フィルタを使用できる例示的なビデオエンコーダを示す概略図である。適応型補間フィルタを使用できる例示的なビデオデコーダを示す概略図である。片方向インター予測の一例を示す概略図である。双方向インター予測の一例を示す概略図である。アフィンインター予測のためのアフィン動きモデルの一例を示す概略図である。参照ブロックにおける例示的な小数位置を示す概略図である。ワーピング補間フィルタ（WIF）の例示的な一実装を示す概略図である。エンコーダで適応型補間フィルタを適用する例示的な方法の流れ図である。デコーダで適応型補間フィルタを適用する例示的な方法の流れ図である。例示的なビデオコーディング装置の概略図である。適応型補間フィルタを適用するエンコーディング装置の一実施形態である。適応型補間フィルタを適用するデコーディング装置の一実施形態である。

ビデオコーディングはインター予測とイントラ予測による圧縮の組み合わせをともなう。本開示は、精度および／またはコーディング効率を高めながら、計算の複雑さおよび／またはメモリーの使用量を低減するために、インター予測に関係する補間手法の改良に着目する。インター予測は、或るフレーム内の物体の位置を別のフレーム内の当該物体の位置に基づいてエンコードする手法である。例えば、動きベクトルは、ビデオシーケンスの複数のフレームにわたって表される物体の時間の経過にともなう動きの方向を示すことができる。それ故、参照フレーム内の物体と動きベクトルはエンコードでき、デコーダはこれを使って参照フレームに時間的に近いフレームを部分的に復元できる。インター予測では片方向インター予測および／または双方向インター予測を使用できる。片方向インター予測は、1つの参照フレームに対する1つの動きベクトルを使って現在フレーム内の物体の位置を予測する。双方向インター予測は、先行参照フレームを指し示す先行動きベクトルと、後続参照フレームを指し示す後続動きベクトルとを使用する。

動きベクトルはサブペル精度を有するように構成されることがある。ペルはサンプルと呼ばれることもある画素の位置である。画素／サンプルはコーディングの目的で整数位置に配置される。場合によっては、サブペル精度の動きベクトルはサブブロックサンプルの位置から参照ブロックの小数位置を指し示すことがある。小数位置は対応するサンプルを含む整数位置間の位置である。このため、アフィンサブブロックサンプルから参照ブロックの小数位置を指し示す動きベクトルは、対応する参照サンプルを明確に指定しない場合がある。この曖昧さは、補間フィルタを使用し、小数位置でアップサンプリングを行うことによって対処できる。例えば、参照ブロックに補間フィルタを適用することで、小数位置に近い参照サンプルの値に基づいて指示された小数位置に参照サンプルを作ることができる。補間フィルタの適用にあたっては、多大な処理および／またはメモリーリソースを使うことがある。例えば、複雑な補間フィルタは単純な補間フィルタよりも多くのメモリーリソースと処理リソースを使うが、より高い精度を提供する。したがって、補間フィルタの選択はハードウェアリソース使用と精度とのトレードオフとなり、それ故、コーディング効率と復元される画像の画像明瞭度とのトレードオフとなる。

図1は、ビデオ信号をコーディングする例示的な方法100の流れ図である。具体的に述べると、ビデオ信号はエンコーダでエンコードされる。エンコーディングプロセスは、ビデオファイルのサイズを減じる様々な手法を用いてビデオ信号を圧縮する。ファイルのサイズが小さければ、圧縮されたビデオファイルをユーザーへ伝送し、これにともなう帯域幅オーバーヘッドを減らすことが可能となる。その後、デコーダは圧縮されたビデオファイルをデコードし、エンドユーザーに向けて表示するため元のビデオ信号を復元する。デコーダでビデオ信号を着実に復元することを可能にするために、デコーディングプロセスは通常、エンコーディングプロセスを反映する。

ステップ103では、ビデオがブロックに区分けされる。区分けは、各フレーム内の画素を圧縮のために正方形および／または長方形のブロックに細分することを含む。例えば、コーディングツリーを使ってブロックを分割し、その後、さらなるエンコーディングをサポートする構成が達成されるまでブロックを再帰的に細分することができる。このため、高効率ビデオコーディング（HEVC）（H.265およびパート2としても知られる）ではブロックがコーディングツリーユニットと呼ばれることがある。例えば、フレームのルマ成分は、個々のブロックが比較的均一な照明値を含むようになるまで細分されてよい。さらに、フレームのクロマ成分は、個々のブロックが比較的均一な色値を含むようになるまで細分されてよい。したがって、区分け手法はビデオフレームの内容に応じて異なる。

ビデオ信号が区分けされ、圧縮され、フィルタされたら、できあがったデータがステップ109にてビットストリームでエンコードされる。このビットストリームは上述したデータを含むほか、デコーダでの適切なビデオ信号復元をサポートするにあたって望ましいシグナリングデータを含む。例えば、かかるデータは、区分データ、予測データ、残余ブロック、およびデコーダにコーディング指図を提供する種々フラグを含み得る。ビットストリームは、要求に応じてデコーダへ伝送できるようにメモリーに格納されてよい。ビットストリームは、複数のデコーダに向けてブロードキャストおよび／またはマルチキャストされてもよい。ビットストリームの作成は繰り返し作業である。したがって、ステップ101、103、105、107、および109は、多数のフレームおよびブロックにわたって連続的に、および／または同時に、行われてよい。図1に示された順序は説明を明瞭かつ平易にするために提示されており、ビデオコーディングプロセスを特定の順序に限定することを意図するものではない。

デコーダはビットストリームを受け取り、ステップ111でデコーディングプロセスを開始する。具体的に述べると、デコーダはエントロピデコーディング方式を用いてビットストリームを対応するシンタクスデータとビデオデータに変換する。デコーダはステップ111で、ビットストリームからのシンタクスデータを使ってフレームの区分を決定する。区分けはステップ103におけるブロック区分けの結果に整合しなければならない。これより、ステップ111で使われるエントロピエンコーディング／デコーディングを説明する。エンコーダは、入力画像における値の空間的配置に基づいて数通りの選択肢からブロック区分け方式を選択するなど、圧縮過程で多数の選択を行う。ぴったりの選択肢を伝えるために、多数のビンを使用することがある。ここで使われるビンは、変数として扱われる2進値である（例えば、状況に応じて変わり得るビット値）。エントロピコーディングでは、エンコーダはある特定の状況で明らかに成り立たないオプションを破棄し、許容可能なオプションからなる集合を残すことができる。その後、それぞれの許容可能オプションには符号語が割り当てられる。符号語の長さは許容可能オプションの数に基づいている（例えば、2つのオプションに対し1ビン、3乃至4つのオプションに対し2ビンなど）。その後、エンコーダは選択されたオプションの符号語をエンコードする。符号語は、全ての可能なオプションからなる大きい集合からの選択を一意に指示するのに対し、許容可能オプションからなる小さい部分集合からの選択を一意に指示する場合に所望の大きさになるため、この方式は符号語のサイズを縮小する。その後、デコーダは、エンコーダと同様に許容可能オプションからなる集合を決定することによって選択をデコードする。デコーダは、許容可能オプションからなる集合を決定することによって符号語を読み取り、エンコーダによって行われた選択を決定することができる。

ステップ113では、デコーダがブロックデコーディングを行う。具体的に述べると、デコーダは逆変換を用いて残余ブロックを生成する。その後、デコーダは残余ブロックと対応する予測ブロックを使用し、区分けに基づいて画像ブロックを復元する。予測ブロックは、ステップ105でエンコーダで生成されたイントラ予測ブロックとインター予測ブロックの両方を含み得る。その後、復元された画像ブロックは、ステップ111で決定された区分けデータに基づいて復元されたビデオ信号のフレームの中に配置される。ステップ113のシンタクスも上述したエントロピコーディングによりビットストリームで伝達されてよい。

本開示は、アフィンインター予測の計算の複雑さを軽減するための改良に関する。具体的に述べると、本開示はインター予測に使用する補間フィルタを選択する手法を紹介する。高い精度が有益である場合は複雑度が高い補間フィルタが使われ、低い精度が求められる場合は複雑度が低い補間フィルタが使われる。これはエンコーダとデコーダにおけるブロック圧縮の平均的な複雑さを軽減するほか、場合によっては精度を高め、結果的に、残余が減り、平均的なコーディング効率が上がる。それ故、以下の図で説明されるインター予測手法は、ステップ105におけるブロック圧縮の作業と、ステップ109におけるビットストリームのエンコーディングおよび伝送と、ステップ113におけるブロックデコーディングとに影響をおよぼす。

図2は、ビデオコーディングのための例示的なコーディング・デコーディング（コーデック）システム200の概略図である。具体的に述べると、コーデックシステム200は方法100の実施をサポートする機能を提供する。エンコーダとデコーダの両方で使われるコンポーネントを描くため、コーデックシステム200は概括されている。コーデックシステム200は方法100のステップ101および103に関して述べたようにビデオ信号を受け取り、これを区分けし、その結果、区分けされたビデオ信号201が得られる。コーデックシステム200はその後、方法100のステップ105、107、および109に関して述べたようにエンコーダとして機能する場合に、区分けされたビデオ信号201をコーディングされたビットストリームに圧縮する。コーデックシステム200は、デコーダとして機能する場合に、方法100のステップ111、113、115、および117に関して述べたように、ビットストリームから出力ビデオ信号を生成する。コーデックシステム200は、総合コーダー制御コンポーネント211、変換スケーリング量子化コンポーネント213、イントラピクチャ推定コンポーネント215、イントラピクチャ予測コンポーネント217、動き補償コンポーネント219、動き推定コンポーネント221、スケーリング逆変換コンポーネント229、フィルタ制御解析コンポーネント227、インループフィルタコンポーネント225、デコード済みピクチャバッファコンポーネント223、およびヘッダーフォーマッティング・コンテキスト適応型バイナリ算術コーディング（CABAC）コンポーネント231を含む。かかるコンポーネントは図示されたとおりに接続されている。図2で、黒い線はエンコード／デコードされるデータの動きを示しており、破線は他のコンポーネントの動作を制御する制御データの動きを示している。コーデックシステム200のコンポーネントはどれもエンコーダ内に存在してよい。デコーダはコーデックシステム200のコンポーネントの部分集合を含んでよい。例えば、デコーダは、イントラピクチャ予測コンポーネント217、動き補償コンポーネント219、スケーリング逆変換コンポーネント229、インループフィルタコンポーネント225、およびデコード済みピクチャバッファコンポーネント223を含んでよい。これよりこれらのコンポーネントを説明する。

総合コーダー制御コンポーネント211は、用途の制約条件に応じてビデオシーケンスの画像をビットストリームにコーディングすることに関係する決定を下すように構成される。例えば、総合コーダー制御コンポーネント211はビットレート／ビットストリームサイズと復元品質との最適化を管理する。そのような決定は、使用できるストレージ空間／帯域幅と画像の解像度要求に基づいて下されてよい。総合コーダー制御コンポーネント211はまた、バッファのアンダーラン問題とオーバーラン問題を軽減するために、伝送速度を踏まえてバッファの使用状況を管理する。これらの問題を管理するために、総合コーダー制御コンポーネント211は、他のコンポーネントによる区分けと予測とフィルタリングを管理する。例えば、総合コーダー制御コンポーネント211は、解像度を上げて帯域幅使用を増大させるために圧縮の複雑度を動的に増大させることができ、あるいは解像度と帯域幅使用を低下させるために圧縮の複雑度を低下させることができる。それ故、総合コーダー制御コンポーネント211はコーデックシステム200の他のコンポーネントを制御することで、ビデオ信号の復元品質とビットレート問題のバランスをとる。総合コーダー制御コンポーネント211は、他のコンポーネントの動作を制御する制御データを生成する。制御データはまた、デコーダでのデコーディングのためのパラメータを伝達するために、ヘッダーフォーマッティングCABACコンポーネント231へ転送されてビットストリームでエンコードされる。

区分けされたビデオ信号201は、インター予測のために、動き推定コンポーネント221と動き補償コンポーネント219にも送信される。区分けされたビデオ信号201のフレームまたはスライスは複数のビデオブロックに分割できる。動き推定コンポーネント221と動き補償コンポーネント219は、時間予測を提供するために、1つ以上の参照フレーム内の1つ以上のブロックを基準にして受信したビデオブロックのインター予測コーディングを行う。コーデックシステム200は、例えばビデオデータのブロックごとに適切なコーディングモードを選択するために、複数のコーディング工程を実行できる。

動き推定コンポーネント221と動き補償コンポーネント219は高度に一体化されてもよいが、概念的な目的のため別々に示されている。動き推定コンポーネント221によって行われる動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、予測ブロックに対するコーディングされた物体の移動を示すことができる。予測ブロックとは、画素差の点で、コーディングされるブロックによく一致することが分かっているブロックである。予測ブロックは参照ブロックと呼ばれることもある。かかる画素差は、絶対差の和（SAD）、二乗差の和（SSD）、またはその他の差指標によって決定することができる。HEVCは、コーディングツリーユニット（CTU）、コーディングツリーブロック（CTB）、およびCUを含むいくつかのコーディングされた物体を使用する。例えば、CTUはCTBに分割でき、その後CTBはCUに分割でき、CUは要望に応じてさらに細分できる。CUは、予測データを含む予測ユニット（PU）として、および／またはCUの変換された残余データを含む変換ユニット（TU）として、エンコードできる。動き推定コンポーネント221は、レート歪み最適化プロセスの一部としてレート歪み解析を用いることによって動きベクトル、PU、およびTUを生成する。例えば、動き推定コンポーネント221は、現在ブロック／フレームについて複数の参照ブロック、複数の動きベクトルなどを決定することができ、最良のレート歪み特性を有する参照ブロック、動きベクトルなどを選択できる。最良のレート歪み特性とは、ビデオ復元の質（例えば、圧縮によるデータ損失量）とコーディング効率（例えば、最終的なエンコーディングのサイズ）とのバランスをとるものである。

いくつかの例において、コーデックシステム200は、デコード済みピクチャバッファコンポーネント223に格納された参照ピクチャのサブ整数画素位置の値を計算できる。例えば、ビデオコーデックシステム200は、参照ピクチャの4分の1画素位置、8分の1画素位置、またはその他の小数画素位置の値を補間できる。したがって、動き推定コンポーネント221は全画素位置と小数画素位置を基準にして動き探索を行い、小数画素精度の動きベクトルを出力できる。動き推定コンポーネント221は、PUの位置を参照ピクチャの予測ブロックの位置に比較することによって、インターコーディングされたスライス内のビデオブロックのPUについて動きベクトルを計算する。動き推定コンポーネント221は、計算した動きベクトルを動きデータとしてヘッダーフォーマッティングCABACコンポーネント231にエンコーディングのため出力し、動き補償コンポーネント219に動きを出力する。

動き補償コンポーネント219によって行われる動き補償では、動き推定コンポーネント221によって決定された動きベクトルに基づいて予測ブロックを取得または生成できる。繰り返しになるが、いくつかの例において、動き推定コンポーネント221と動き補償コンポーネント219は機能的に一体化されてもよい。現在ビデオブロックのPUの動きベクトルを受け取った動き補償コンポーネント219は、動きベクトルが指し示す予測ブロックの位置を特定できる。その後、コーディングされる現在ビデオブロックの画素値から予測ブロックの画素値を引いて画素差値を形成することによって、残余ビデオブロックが形成される。通常、動き推定コンポーネント221はルマ成分について動き推定を行い、動き補償コンポーネント219はルマ成分に基づいて計算された動きベクトルをクロマ成分とルマ成分の両方に使用する。予測ブロックと残余ブロックは変換スケーリング量子化コンポーネント213へ転送される。

例えば、イントラピクチャ推定コンポーネント215は様々な実証済みイントラ予測モードについてレート歪み解析を用いてレート歪み値を計算し、実証済みモードの中から最良のレート歪み特性を有するイントラ予測モードを選択する。レート歪み解析は通常、エンコード済みブロックと、エンコード済みブロックを生成するためにエンコードされた元のエンコードされていないブロックとの歪（または誤差）の量と、エンコード済みブロックの生成に使われたビットレート（例えばビット数）を決定する。イントラピクチャ推定コンポーネント215は様々なエンコード済みブロックの歪とレートから比率を計算することで、ブロックで最良のレート歪み値を示すイントラ予測モードがどれかを判定する。加えて、イントラピクチャ推定コンポーネント215は、レート歪み最適化（RDO）に基づくデプスモデリングモード（DMM）を使ってデプスマップのデプスブロックをコーディングするように構成されてよい。

ヘッダーフォーマッティングCABACコンポーネント231はコーデックシステム200の様々なコンポーネントからデータを受信し、かかるデータをデコーダへ伝送するためコーディングされたビットストリームにエンコードする。具体的に述べると、ヘッダーフォーマッティングCABACコンポーネント231は、一般制御データやフィルタ制御データなどの制御データをエンコードするために、様々なヘッダーを生成する。さらに、イントラ予測および動きデータを含む予測データ、ならびに量子化された変換係数データの形をとる残余データは、いずれもビットストリームでエンコードされる。最終的なビットストリームは、デコーダが元の区分けされたビデオ信号201を復元するにあたって必要となる全情報を含んでいる。かかる情報は、イントラ予測モードインデックステーブル（符号語マッピングテーブルとも呼ばれる）、様々なブロックのエンコーディングコンテキストの設定、最も可能性の高いイントラ予測モードの指示、区分情報の指示なども含み得る。かかるデータはエントロピコーディングを用いてエンコードできる。例えば、情報は、コンテキスト適応型可変長コーディング（CAVLC）、CABAC、シンタクス方式コンテキスト適応型バイナリ算術コーディング（SBAC）、確率区間区分エントロピ（PIPE）コーディング、または他のエントロピコーディング技法を用いてエンコードできる。エントロピコーディングの後には、コーディングされたビットストリームを別の装置（例えばビデオデコーダ）へ伝送でき、あるいは後ほど伝送したり取り出したりするために格納できる。

本開示は、アフィンインター予測の計算の複雑さを軽減するための改良に関する。具体的に述べると、本開示はインター予測に使用する補間フィルタを選択する手法を紹介する。高い精度が有益である場合は複雑度が高い補間フィルタが使われ、低い精度が求められる場合は複雑度が低い補間フィルタが使われる。これはエンコーダとデコーダにおけるブロック圧縮の平均的な複雑さを軽減するほか、場合によっては精度を高め、結果的に、残余が減り、平均的なコーディング効率が上がる。それ故、以下の図で説明されるインター予測手法は、動き推定コンポーネント221、動き補償コンポーネント219、および／またはヘッダーフォーマッティングCABACコンポーネント231の動作に影響をおよぼす。

具体的に述べると、区分けされたビデオ信号301はイントラ予測のためイントラピクチャ予測コンポーネント317へ転送される。イントラピクチャ予測コンポーネント317はイントラピクチャ推定コンポーネント215およびイントラピクチャ予測コンポーネント217と実質的に同様であってよい。区分けされたビデオ信号301は、デコード済みピクチャバッファコンポーネント323内の参照ブロックに基づくインター予測のために、動き補償コンポーネント321にも転送される。動き補償コンポーネント321は動き推定コンポーネント221および動き補償コンポーネント219と実質的に同様であってよい。イントラピクチャ予測コンポーネント317と動き補償コンポーネント321からの予測ブロックと残余ブロックは、残余ブロックの変換と量子化のために、変換量子化コンポーネント313へ転送される。変換量子化コンポーネント313は変換スケーリング量子化コンポーネント213と実質的に同様であってよい。変換され量子化された残余ブロックと対応する予測ブロックは（関連制御データとともに）、ビットストリームへのコーディングのために、エントロピコーディングコンポーネント331へ転送される。エントロピコーディングコンポーネント331はヘッダーフォーマッティングCABACコンポーネント231と実質的に同様であってよい。

これ以降は、方法100とコーデックシステム200とに関して説明した機能を用いてエンコーダ300によって適用されるアフィンインター予測のより詳細な説明である。アフィンインター予測は、ステップ105、ステップ113、動き補償コンポーネント219、動き推定コンポーネント221、および／または動き補償コンポーネント321によってエンコーディングおよびデコーディングに使われるインター予測の一種である。インター予測は動きベクトルと参照フレーム内の参照ブロックを使って、参照フレームに時間的に近い1つ以上のフレームのブロックをエンコードする。上述したように、これにより、全てのフレームで物体を繰り返しコーディングせずに、参照フレームを基準にして物体をコーディングすることが可能となる。アフィンインター予測は物体の形がフレームからフレームにかけて視覚的に変わる場合に使用され、これは、カメラの拡大縮小、カメラの回転、遠近運動、および／またはその他の不規則な動きによって生じることがある。アフィンインター予測を使用する場合、動き補償コンポーネント321は、時間的に近いフレームで物体の形と位置を予想するため、参照フレームを歪める。

アフィンインター予測プロセスによって参照フレームが歪められると、対応する動きベクトルはエンコードされるブロックにわたって変化する。現在ブロックの動きベクトルは、現在ブロックの制御点動きベクトルに基づいて動きモデルで記述できる。現在ブロックは動きモデルに基づいて選択されるサイズのサブブロックに細分され、その後、動きモデルおよび／または制御点に基づいてサブブロックの動きベクトルを決定することができる。こうして得られたサブブロックの動きベクトルは動き補償コンポーネント321および／またはインループフィルタコンポーネント325でフィルタし、加重でき、これにより生成された予測情報（例えばPU）と残余情報は、変換量子化コンポーネント313とエントロピコーディングコンポーネント331でそれぞれ変換および／またはエンコードできる。

例えば、動き補償コンポーネント321はまず、レート歪み最適化プロセスの一部として現在ブロックの制御点ベクトルを決定することができる。動きベクトルは所定の優先順位に基づいて隣接するコーディング済みブロックから継承できる。動き補償コンポーネント321はまた、制御点ベクトルに基づいて動きモデルを決定することができる。動きモデルは現在フレームおよび参照フレーム間のブロックの動きを記述する。その後、動き補償コンポーネント321は動きモデルおよび／または制御点に基づいて様々なサブブロックのサイズを決定することができる。動き補償コンポーネント321は各サブブロックの関連動きベクトルを決定することもできる。各サブブロックには1つの動きベクトルを使用できるが、各サンプル（例えば画素）の動きベクトルはサブブロックの動きベクトルとオフセットに基づいて決定することができる。動き補償コンポーネント321は片方向インター予測と双方向インター予測の一部としてかかるプロセスを使用できる。例えば、動き補償コンポーネント321はレート歪み最適化のときに片方向インター予測と双方向インター予測の両方を試みることができ、その後、コーディングサイズとビデオ品質の最良のバランスに結びつくアプローチを選択することができる。片方向予測では1つの参照フレームによって現在ブロックが予測されるが、双方向予測では、時間的に先行する参照フレームと時間的に後続する参照フレームによって現在ブロックが予測される。

補間フィルタの複雑さは様々である。複雑度が高い補間フィルタは周囲のサンプルのより多くの特性を考慮するため、より正確な実効参照サンプルを決定する。ただし、複雑度が高い補間フィルタはより多くの処理リソースも使用する。小さいサブブロックは通常、大きいサブブロックよりも均一なサンプルを含む、および／または動きの変化により正確に一致する。このため、動き補償コンポーネント321は、サイズが閾値を超過するサブブロックの場合は複雑度が高いフィルタを適用し、サイズが閾値以下のサブブロックの場合は複雑度が低いフィルタを適用する適応型補間フィルタを使用する。これは精度を高め、なおかつ、そのような精度が有益である場合は、大きいサブブロックでコーディング効率を上げる。これはまた、複雑度が高い補間フィルタのメリットを大して引き出せない小さいサブブロックで処理の複雑さを軽減する。補間フィルタの一尺度は、フィルタで使われる、タップと呼ばれることがある、係数の数である。したがって、動き補償コンポーネント321は、小さいサブブロックの場合はタップが少ない補間フィルタを使用し、大きいサブブロックの場合はタップが多い補間フィルタを使用することができる。これらの態様については以下の図に関してより詳細に述べる。

ビットストリームはエントロピデコーディングコンポーネント433によって受信される。エントロピデコーディングコンポーネント433は、CAVLC、CABAC、SBAC、PIPEコーディング、またはその他のエントロピコーディング技法など、エントロピデコーディング方式を実施するように構成される。例えば、エントロピデコーディングコンポーネント433はヘッダー情報を使用して、ビットストリームで符号語としてエンコードされる追加データを解釈するためのコンテキストを提供できる。デコードされた情報は、一般制御データ、フィルタ制御データ、区分情報、動きデータ、予測データ、残余ブロックからの量子化変換係数など、ビデオ信号のデコードにあたって望ましい情報を含む。量子化変換係数は残余ブロックへの復元のため逆変換量子化コンポーネント429へ転送される。逆変換量子化コンポーネント429は逆変換量子化コンポーネント329と同様であってよい。

エンコーダ300と同様、デコーダ400の動き補償コンポーネント421はサンプルの動きベクトルを生成できる、参照フレームにて非整数位置へのポイント。これは、サブペルの動きベクトルのオフセットへの適用によって起こり得る。したがって、動き補償コンポーネント421は補間フィルタを使って、動きベクトルによって指し示される実効参照サンプルを決定する。動き補償コンポーネント321と同様、動き補償コンポーネント421は、サイズが閾値以下のサブブロックの場合は複雑度が低い補間フィルタを使用し、サイズが閾値を超過するサブブロックの場合は複雑度が高い補間フィルタを使用することができる。これは精度を高め、なおかつ、そのような精度が有益である場合は、大きいサブブロックでコーディング効率を上げる。これはまた、複雑度が高い補間フィルタのメリットを大して引き出せない小さいサブブロックで処理の複雑さを軽減する。したがって、動き補償コンポーネント421は、小さいサブブロックの場合はタップが少ない補間フィルタを使用し、大きいサブブロックの場合はタップが多い補間フィルタを使用することができる。これらの態様については以下の図に関してより詳細に述べる。

現在ブロック511は、コーディングプロセスの所定の時点でエンコード／デコードされるコーディングユニットである。現在ブロック511は区分けされたブロック全体であってよく、あるいはアフィンインター予測の場合はサブブロックであってもよい。現在フレーム510はある程度の時間距離（TD）533で参照フレーム530から隔てられている。TD 533は、ビデオシーケンス内の現在フレーム510と参照フレーム530との間の時間量を表し、フレーム単位で測定できる。現在ブロック511の予測情報は、フレーム間の方向と時間距離を示す参照インデックスによって参照フレーム530および／または参照ブロック531を参照できる。TD 533によって表される期間にわたって、現在ブロック511内の物体は、現在フレーム510内の或る位置から参照フレーム530内の別の位置（例えば参照ブロック531の位置）まで動く。例えば、物体は、時間の経過にともなう物体の動きの方向である動き軌道513に沿って動き得る。動きベクトル535は、TD 533にわたる動き軌道513沿いの物体の動きの方向と大きさを記述する。したがって、エンコードされた動きベクトル535と参照ブロック531は、現在ブロック511を復元して現在フレーム510内に現在ブロック511を配置するにあたって十分な情報を提供する。アフィンインター予測の場合、物体の形は現在フレーム510と参照フレーム530の間で変わる。それ故、現在ブロック511はサブブロックに細分され、それらのサブブロックは、例えば動きモデルおよび／または制御点によって決定される対応する動きベクトル535を各々含む。

先行動きベクトル（MV0）625は、（例えば、先行参照フレーム620と現在フレーム610の間で）TD0 623にわたる動き軌道613沿いの物体の動きの方向と大きさを記述する。後続動きベクトル（MV1）635は、（例えば、現在フレーム610と後続参照フレーム630の間で）TD1 633にわたる動き軌道613沿いの物体の動きの方向と大きさを記述する。このため、双方向インター予測600では、先行参照ブロック621および／または後続参照ブロック631、MV0 625、およびMV1 635を使って現在ブロック611をコーディングし復元できる。

アフィンブロックの動きモデルは片方向インター予測500および／または双方向インター予測600を使用できる。インター予測の方向とタイプは関連する動きベクトルの参照インデックスに左右され得る。例えば、動きモデルに使われるインター予測のタイプは、隣接するコーディング済みブロックに基づいて決定することができる制御点動きベクトルに左右され得る。

方法1100は、アフィンインター予測に従って現在ブロックをアフィンブロックとしてデコードするときに使われる。例えば、方法1100は方法1000を補完するものである。例えば、方法1100は、方法1000に従ってエンコーダでエンコードされたアフィンブロックをデコーダで復元するために使うことができる。ステップ1101で、デコーダはエンコードされたビデオを含むビットストリームを受信する。具体的に述べると、このビットストリームは、アフィンインター予測に従ってコーディングされたアフィンブロックを記述する制御点を含んでいる。例えば、ビットストリームは、複数のフレームにわたってアフィンブロックによって記述される物体の動きを記述する動きモデルを示すデータを含んでよい。具体的な一例として、動きモデルは、共通のフレーム内の他のブロックに基づいて候補リストに従って動きモデルを示すインデックスによって指示できる。その後、指示された動きモデルに従って制御点を決定することができる。前述したことは制御点をエンコードする例示的な手法であるが、かかるデータのエンコードにあたって多数の手法を使用できることに注意するべきである。さらに、方法1000に関して説明したように、ビットストリームはアフィンブロックの残余情報を含んでもよい。

図12は、本開示の一実施形態による例示的なビデオコーディング装置1200の概略図である。ビデオコーディング装置1200は、ここで説明されている開示例／実施形態を実施するのに適している。ビデオコーディング装置1200は、ダウンストリームポート1220、アップストリームポート1250、および／またはネットワークにわたってデータをアップストリームおよび／またはダウンストリームに伝達する送信器および／または受信器を含むトランシーバユニット（Tx/Rx）1210を含む。ビデオコーディング装置1200はまた、データを処理するために論理装置および／または中央処理装置（CPU）を含むプロセッサ1230と、データを格納するメモリー1232とを含む。ビデオコーディング装置1200はまた、光－電気（OE）コンポーネント、電気－光（EO）コンポーネント、および／または光または無線通信ネットワークを介したデータ通信のためにアップストリームポート1250および／またはダウンストリームポート1220に接続された無線通信コンポーネントを含んでよい。ビデオコーディング装置1200はまた、ユーザーとデータをやり取りする入力および／または出力（I/O）装置1260を含んでよい。I/O装置1260は、ビデオデータを表示するディスプレイやオーディオデータを出力するスピーカなどの出力装置を含んでよい。I/O装置1260はまた、キーボード、マウス、トラックボール、および／またはかかる出力装置と相互に作用する対応するインターフェースなどの入力装置を含んでよい。

プロセッサ1230はハードウェアとソフトウェアによって実装される。プロセッサ1230は、1つ以上のCPUチップ、コア（例えばマルチコアプロセッサ）、フィールドプログラマブルゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）、およびデジタルシグナルプロセッサ（DSP）として実装されてよい。プロセッサ1230は、ダウンストリームポート1220、Tx/Rx 1010、アップストリームポート1250、およびメモリー1232と通信する。プロセッサ1230はコーディングモジュール1214を含む。コーディングモジュール1214は、方法100、1000、および／または1100、片方向インター予測500、双方向インター予測600、および／またはここで説明されている他のいずれかの方法／手法など、上述した開示実施形態を実施する。例えば、コーディングモジュール1214は、例えばDCT-IFおよび／またはWIF 900を使用することによって、アフィン動きモデル700に従ってインター予測を実施して、参照ブロック800の参照サンプルを決定することができる。さらに、コーディングモジュール1214は、コーデックシステム200、エンコーダ300、および／またはデコーダ400を実行できる。したがって、コーディングモジュール1214を使用することでアフィンブロックのサブブロックサイズを決定することができる。さらに、コーディングモジュール1214はサブブロックサイズに基づいて補間フィルタを選択し、これを参照ブロックに適用できる。動きベクトルが参照ブロックの小数位置を指し示す場合は、補間フィルタの適用によってアフィンブロックの参照サンプルを決定する。サブブロックサイズに基づいて補間フィルタを選択することによって、適応型補間フィルタが生成される。適応型補間フィルタは、閾値サイズ以下であるサブブロックの場合に複雑度が低い補間フィルタを適用し、閾値サイズを上回るサブブロックの場合に複雑度が高い補間フィルタを適用する。これは、複雑な補間フィルタを使っても大きなメリットが得られない小さいサブブロックの場合に処理リソースを減らし、大きいサブブロックの場合は精度を高める。したがって、適応型フィルタの適用によって精度が上がり、および／または処理リソースの使用量が減り、それ故、ビデオコーディング装置1200の機能性が高まる。さらに、コーディングモジュール1214はビデオコーディング装置1200の変換を異なる状態まで達成する。あるいは、コーディングモジュール1214はメモリー1232に格納された命令として実施でき、（例えば、非一時的な媒体に格納されたコンピュータプログラム製品として）プロセッサ1230によって実行できる。

図14は、適応型補間フィルタを適用するデコーディング装置1400の一実施形態である。デコーディング装置1400は、アフィンインター予測に従ってコーディングされたアフィンブロックを記述する制御点を含むビットストリームを受信する受信モジュール1401を含んでよい。デコーディング装置1400はまた、制御点に基づいてアフィンブロックのサブブロックの動きベクトルを決定する動きベクトルモジュール1403を含んでよい。デコーディング装置1400はまた、サブブロックのサブブロックサイズを決定するサブブロックサイズモジュール1405を含んでよい。デコーディング装置1400はまた、サブブロックに対応する参照ブロックに適用する補間フィルタを選択し、補間フィルタがサブブロックサイズに基づいて選択される、フィルタ選択モジュール1407を含んでよい。デコーディング装置1400はまた、現在サンプルの動きベクトルが参照ブロックの小数位置を指し示していると判定し、現在サンプルの動きベクトルがサブブロックの動きベクトルからオフセットされ、参照ブロックに補間フィルタを適用して、小数位置で参照サンプルを決定する参照決定モジュール1409を含んでよい。デコーディング装置1400はまた、参照サンプルに基づいて予測情報を決定する予測モジュール1411を含んでよい。デコーディング装置1400はまた、予測情報に基づき、かつビットストリームに含まれているアフィンブロックの残余情報に基づき、アフィンブロックを復元する復元モジュール1413を含んでよい。デコーディング装置1400はまた、復元されたアフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送する転送モジュール1415を含んでよい。

100 方法
200 コーデックシステム
201 区分けされたビデオ信号
211 総合コーダー制御コンポーネント
213 変換スケーリング量子化コンポーネント
215 イントラピクチャ推定コンポーネント
217 イントラピクチャ予測コンポーネント
219 動き補償コンポーネント
221 動き推定コンポーネント
229 スケーリング逆変換コンポーネント
227 フィルタ制御解析コンポーネント
225 インループフィルタコンポーネント
223 デコード済みピクチャバッファコンポーネント
231 ヘッダーフォーマッティング・コンテキスト適応型バイナリ算術コーディング（CABAC）コンポーネント
300 ビデオエンコーダ
317 イントラピクチャ予測コンポーネント
323 デコード済みピクチャバッファコンポーネント
321 動き補償コンポーネント
313 変換量子化コンポーネント
331 エントロピコーディングコンポーネント
329 逆変換量子化コンポーネント
325 インループフィルタコンポーネント
400 ビデオデコーダ
433 エントロピデコーディングコンポーネント
429 逆変換量子化コンポーネント
417 イントラピクチャ予測コンポーネント
425 インループフィルタコンポーネント
423 デコード済みピクチャバッファコンポーネント
421 動き補償コンポーネント
500 片方向インター予測
510 現在フレーム
511 現在ブロック
531 参照ブロック
530 参照フレーム
533 時間距離（TD）
513 動き軌道
535 動きベクトル
600 双方向インター予測
610 現在フレーム
611 現在ブロック
620 先行参照フレーム
630 後続参照フレーム
621 先行参照ブロック
631 後続参照ブロック
613 動き軌道
623 先行時間距離（TD0）
633 後続時間距離（TD1）
625 先行動きベクトル（MV0）
635 後続動きベクトル（MV1）
700 アフィン動きモデル
701 現在ブロック
702 制御点動きベクトルv0
703 制御点動きベクトルv1
704 制御点動きベクトルv2
740 サブブロック
741 動きベクトル
743 サンプル
747 動きベクトル
800 参照ブロック
852 小数位置
851 参照サンプル
900 WIF
901 参照ブロック
903 参照ブロック
905 シャープニングフィルタ
907 フィルタブロック
1200 ビデオコーディング装置
1220 ダウンストリームポート
1250 アップストリームポート
1210 トランシーバユニット（Tx/Rx）
1230 プロセッサ
1232 メモリー
1260 入力および／または出力（I/O）装置
1214 コーディングモジュール
1300 エンコーディング装置
1301 制御点モジュール
1303 動きベクトルモジュール
1305 サブブロックサイズモジュール
1307 フィルタ選択モジュール
1309 参照決定モジュール
1311 残余モジュール
1313 エンコーディングモジュール
1315 送信モジュール
1401 受信モジュール
1400 デコーディング装置
1403 動きベクトルモジュール
1405 サブブロックサイズモジュール
1407 フィルタ選択モジュール
1409 参照決定モジュール
1411 予測モジュール
1413 復元モジュール
1415 転送モジュール

Claims

エンコーダで実施される方法であって、前記方法は、
前記エンコーダのプロセッサにより、アフィンインター予測に従ってビデオ信号からアフィンブロックをエンコードするための制御点を決定するステップと、
前記プロセッサにより、前記アフィンブロックのサブブロックのサブブロックサイズを決定するステップと、
前記プロセッサにより、前記制御点に基づいて前記サブブロックの動きベクトルを決定するステップと、
前記プロセッサにより、前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択するステップであって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、ステップと、
前記プロセッサにより、現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定するステップと、
前記プロセッサにより、前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定するステップと、
前記プロセッサにより、前記サブブロックの前記現在サンプルと前記参照ブロックの前記参照サンプルとの差異に基づいて前記サブブロックの残余情報を決定するステップと、
前記プロセッサにより、前記制御点および前記残余情報をビットストリームにエンコードするステップと、
ビデオフレームの一部としての前記アフィンブロックの復元をサポートするために、前記エンコーダの送信器により、前記ビットストリームをデコーダへ送信するステップと
を含み、
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、前記サブブロックサイズが前記閾値以下である場合は第2の数のタップを含むように選択され、タップの前記第1の数はタップの前記第2の数よりも大きい、方法。
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合に、6タップ、8タップ、または12タップを含む離散コサイン変換補間フィルタ（DCT-IF）として選択される、請求項1に記載の方法。
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、4タップまたは6タップを含むDCT-IFとして選択される、請求項1または2に記載の方法。
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、5タップを含むワーピング補間フィルタ（WIF）として選択される、請求項1または2に記載の方法。
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差、前記アフィンブロックの幅、および前記アフィンブロックの高さに基づいて決定される、請求項1から4のいずれか一項に記載の方法。
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、前記アフィンブロックのサイズ、および動きベクトル精度から決定される、請求項1から4のいずれか一項に記載の方法。
ビデオコーディング装置によって使用されるコンピュータプログラムを格納した非一時的なコンピュータ読取可能媒体であって、前記コンピュータプログラムは、前記非一時的なコンピュータ読取可能媒体に格納されたコンピュータ実行可能命令を含み、前記コンピュータ実行可能命令は、プロセッサによって実行されると、前記ビデオコーディング装置に請求項1から6のいずれか一項に記載の方法を実行させる、非一時的なコンピュータ読取可能媒体。
アフィンインター予測に従ってビデオ信号からアフィンブロックをエンコードするための制御点を決定することと、
前記アフィンブロックのサブブロックのサブブロックサイズを決定することと、
前記制御点に基づいて前記サブブロックの動きベクトルを決定することと、
前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択することであって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、ことと、
現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定することと、
前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定することと、
前記サブブロックの前記現在サンプルと前記参照ブロックの前記参照サンプルとの差異に基づいて前記サブブロックの残余情報を決定することと、
前記制御点および前記残余情報をビットストリームにエンコードすることと
を行うように構成されたプロセッサと、
前記プロセッサに接続された送信器であって、ビデオフレームの一部としての前記アフィンブロックの復元をサポートするために、前記ビットストリームをデコーダへ送信するように構成された送信器と
を含み、
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、前記サブブロックサイズが前記閾値以下である場合は第2の数のタップを含むように選択され、タップの前記第1の数はタップの前記第2の数よりも大きい、ビデオコーディング装置。
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合に、6タップ、8タップ、または12タップを含む離散コサイン変換補間フィルタ（DCT-IF）として選択される、請求項8に記載のビデオコーディング装置。
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、4タップまたは6タップを含むDCT-IFとして選択される、請求項8または9に記載のビデオコーディング装置。
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、5タップを含むワーピング補間フィルタ（WIF）として選択される、請求項8または9に記載のビデオコーディング装置。
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差、前記アフィンブロックの幅、および前記アフィンブロックの高さに基づいて決定される、請求項8から11のいずれか一項に記載のビデオコーディング装置。
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、前記アフィンブロックのサイズ、および動きベクトル精度から決定される、請求項8から11のいずれか一項に記載のビデオコーディング装置。
アフィンインター予測に従ってビデオ信号からアフィンブロックをエンコードするための制御点を決定する制御点手段と、
前記アフィンブロックのサブブロックのサブブロックサイズを決定するサブブロックサイズ手段と、
前記制御点に基づいて前記サブブロックの動きベクトルを決定する動きベクトル手段と、
前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択するフィルタ選択手段であって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、フィルタ選択手段と、
現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定し、前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定する参照決定手段と、
前記サブブロックの前記現在サンプルと前記参照ブロックの前記参照サンプルとの差異に基づいて前記サブブロックの残余情報を決定する残余手段と、
前記制御点および前記残余情報をビットストリームにエンコードするエンコーディング手段と、
ビデオフレームの一部としての前記アフィンブロックの復元をサポートするために、前記ビットストリームをデコーダへ送信する送信手段と
を含み、
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、前記サブブロックサイズが前記閾値以下である場合は第2の数のタップを含むように選択され、タップの前記第1の数はタップの前記第2の数よりも大きい、エンコーダ。
請求項1から6のいずれか一項に記載の方法を実施するようにさらに構成される、請求項14に記載のエンコーダ。
デコーダで実施される方法であって、前記方法は、
前記デコーダの受信器により、アフィンインター予測に従ってコーディングされたアフィンブロックを記述する制御点を含むビットストリームを受信するステップと、
前記デコーダのプロセッサにより、前記アフィンブロックのサブブロックのサブブロックサイズを決定するステップと、
前記プロセッサにより、前記制御点に基づいて前記サブブロックの動きベクトルを決定するステップと、
前記プロセッサにより、前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択するステップであって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、ステップと、
前記プロセッサにより、現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定するステップと、
前記プロセッサにより、前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定するステップと、
前記プロセッサにより、前記参照サンプルに基づいて予測情報を決定するステップと、
前記プロセッサにより、前記予測情報に基づき、かつ前記ビットストリームに含まれている前記アフィンブロックの残余情報に基づき、前記アフィンブロックを復元するステップと、
前記プロセッサにより、復元された前記アフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送するステップと
を含み、
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、前記サブブロックサイズが前記閾値以下である場合は第2の数のタップを含むように選択され、タップの前記第1の数はタップの前記第2の数よりも大きい、方法。
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合に、6タップ、8タップ、または12タップを含む離散コサイン変換補間フィルタ（DCT-IF）として選択される、請求項16に記載の方法。
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、4タップまたは6タップを含むDCT-IFとして選択される、請求項16または17に記載の方法。
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、5タップを含むワーピング補間フィルタ（WIF）として選択される、請求項16または17に記載の方法。
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差、前記アフィンブロックの幅、および前記アフィンブロックの高さに基づいて決定される、請求項16から19のいずれか一項に記載の方法。
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、前記アフィンブロックのサイズ、および動きベクトル精度から決定される、請求項16から19のいずれか一項に記載の方法。
ビデオコーディング装置によって使用されるコンピュータプログラムを格納した非一時的なコンピュータ読取可能媒体であって、前記コンピュータプログラムは、前記非一時的なコンピュータ読取可能媒体に格納されたコンピュータ実行可能命令を含み、前記コンピュータ実行可能命令は、プロセッサによって実行されると、前記ビデオコーディング装置に請求項16から21のいずれか一項に記載の方法を実行させる、非一時的なコンピュータ読取可能媒体。
アフィンインター予測に従ってコーディングされたアフィンブロックを記述する制御点を含むビットストリームを受信するように構成された受信器と、
前記受信器に接続されたプロセッサであって、
前記アフィンブロックのサブブロックのサブブロックサイズを決定することと、
前記制御点に基づいて前記サブブロックの動きベクトルを決定することと、
前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択することであって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、ことと、
現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定することと、
前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定することと、
前記参照サンプルに基づいて予測情報を決定することと、
前記予測情報に基づき、かつ前記ビットストリームに含まれている前記アフィンブロックの残余情報に基づき、前記アフィンブロックを復元することと、
復元された前記アフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送することと
を行うように構成されたプロセッサと
を含み、
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、前記サブブロックサイズが前記閾値以下である場合は第2の数のタップを含むように選択され、タップの前記第1の数はタップの前記第2の数よりも大きい、ビデオコーディング装置。
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合に、6タップ、8タップ、または12タップを含む離散コサイン変換補間フィルタ（DCT-IF）として選択される、請求項23に記載のビデオコーディング装置。
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、4タップまたは6タップを含むDCT-IFとして選択される、請求項23または24に記載のビデオコーディング装置。
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、5タップを含むワーピング補間フィルタ（WIF）として選択される、請求項23または24に記載のビデオコーディング装置。
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差、前記アフィンブロックの幅、および前記アフィンブロックの高さに基づいて決定される、請求項23から26のいずれか一項に記載のビデオコーディング装置。
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、前記アフィンブロックのサイズ、および動きベクトル精度から決定される、請求項23から26のいずれか一項に記載のビデオコーディング装置。
アフィンインター予測に従ってコーディングされたアフィンブロックを記述する制御点を含むビットストリームを受信する受信手段と、
前記制御点に基づいて前記アフィンブロックのサブブロックの動きベクトルを決定する動きベクトル手段と、
前記サブブロックのサブブロックサイズを決定するサブブロックサイズ手段と、
前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択するフィルタ選択手段であって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、フィルタ選択手段と、
現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定し、前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定する参照決定手段と、
前記参照サンプルに基づいて予測情報を決定する予測手段と、
前記予測情報に基づき、かつ前記ビットストリームに含まれている前記アフィンブロックの残余情報に基づき、前記アフィンブロックを復元する復元手段と、
復元された前記アフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送する転送手段と
を含み、
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、前記サブブロックサイズが前記閾値以下である場合は第2の数のタップを含むように選択され、タップの前記第1の数はタップの前記第2の数よりも大きい、デコーダ。
請求項16から21のいずれか一項に記載の方法を実施するようにさらに構成される、請求項29に記載のデコーダ。