JP7516725B2 - 双線形補間ベースのデコーダ側の動きベクトルのリファインメントにおけるパッチの類似性に基づいてリファインメントを省略するための方法 - Google Patents

Description

［関連出願の相互参照］
本発明は、２０１８年９月１９日に出願されたインド国仮特許出願第２０１８３１０３５３０９号に対する優先権を主張する。ここで、当該インド国仮特許出願は、その全体において参照により組み込まれる。

本発明は、デコーダ側の動きベクトルのリファインメントを用いたビデオ符号化のための動き補償に関する。特に、本発明の実施形態は、動き補償された参照パッチ間のアラインメントレベルを検証し、２つの動き補償された参照パッチ間の差が符号化ユニットサイズに依存する閾値より小さい場合、リファインメントを省略するための方法及び装置に関する。

ビデオ圧縮において、インター予測は、現在のブロックと比べた動きベクトルを特定することにより、以前にデコードされた参照ピクチャの再構築されたサンプルを用いる処理である。これらの動きベクトルは、予測残差として、空間的又は時間的な動きベクトルの予測因子を用いて符号化され得る。動きベクトルは、サブピクセル精度であり得る。再構築された整数位置の値から、参照フレーム（ピクチャ）内のサブピクセル精度のピクセル値を導出するために、補間フィルタが適用される。双予測は、２つの参照ピクチャエリアから２つの動きベクトルを用いて導出される２つの予測ブロックの重み付けされた組み合わせとして、現在のブロックの予測が導出される処理に関する。この場合、動きベクトルに加えて、２つの予測ブロックが導出される参照ピクチャに対する参照インデックスも符号化される必要がある。現在のブロックに対する動きベクトルはまた、いずれの動きベクトルの残差も符号化することなく空間的な隣接の動きベクトル及び参照インデックスが継承されるマージ処理を通じて導出され得る。空間的な隣接に加えて、以前に符号化された参照フレームの動きベクトルはまた、現在のブロックに対する参照フレームへの距離と比べた参照フレームへの距離に対処するために、動きベクトルの適切なスケーリングを有する時間的なマージオプションとして格納され、用いられる。

図１は、テンプレートマッチングベースのデコーダ側の動きベクトルの導出を示し、現在のブロックのテンプレートは、参照ピクチャ内の参照テンプレートと一致する。図１を参照すると、テンプレートマッチングは、現在のピクチャ（「Ｃｕｒ Ｐｉｃ」として示される）内のテンプレート（上側及び／又は左側の隣接ブロック）と、参照ピクチャ（「Ｒｅｆ０」として示される）内のテンプレートのブロックと同じサイズを有するブロックとの間での最も近い一致を見つけることにより、現在の符号化ユニット（ＣＵ）の動き情報を導出するために採用される。

図２は、バイラテラルマッチングベースのデコーダ側の動きベクトルの導出を示し、現在のブロックは、動きの軌跡に沿って、２つの参照ブロックを用いて予測される。図２を参照すると、現在のブロック（「Ｃｕｒ ｂｌｏｃｋ」として示される）の動き情報は、２つの参照ピクチャＲｅｆ０及びＲｅｆ１に基づいて導出される。現在のブロックＣｕｒ ｂｌｏｃｋの動き情報は、参照ピクチャＲｅｆ０及びＲｅｆ１内の動きの軌跡に沿う動きベクトルＭＶ０及びＭＶ１と関連付けられる２つのブロック間の最良のマッチングを見つけることにより導出される。動きの軌跡が直線である場合、参照ピクチャＲｅｆ０と関連付けられる動きベクトルＭＶ０、及び、参照ピクチャＲｅｆ１と関連付けられる動きベクトルＭＶ１は、現在のピクチャとそれぞれの参照ピクチャＲｅｆ０及びＲｅｆ１との間の時間的距離ＴＤ０及びＴＤ１に比例する。

動きベクトルの残差を符号化したビットをさらに削減できるようにデコーダ側の動きベクトルのリファインメント又は導出を実行するために、いくつかの方法が提案されてきた。テンプレートマッチング（ＴＭ）方法と呼ばれる方法の１つのクラスは、（図１に示されるように）テンプレートと称される既に再構築されている現在のブロックに隣接するＬ字形状の領域を用い、複数の適切にスケーリングされた空間的及び時間的な動きベクトルの候補を用いて、各参照フレームにおいて最も一致するＬ字形状の領域を（差分絶対値和又は平均値が除去された差分絶対値和などのコスト関数を用いて）識別する。そして、最も一致する候補を中心に、その中心の周りの特定のリファインメント距離内で、さらなるリファインメントが実行される。エンコーダ側では、片予測（すなわち、最も一致する参照を用いた予測）、又は、双予測（すなわち、上位２つの最も一致する参照を平均化することにより導出された予測）を判定するために、レート歪み最適化コストが計算される。

バイラテラルマッチング（ＢＭ）方法と呼ばれる方法の別のクラスは、２つの異なる参照ピクチャ内の現在の符号化ユニット（ＣＵ）の動きの軌跡に沿う２つのブロック間で最も近い一致を見つけることにより、現在のＣＵの動き情報を導出する。これは、図２に示されている。連続的な動きの軌跡という仮定のもと、２つの参照ブロックを指す動きベクトルＭＶ０及びＭＶ１は、現在のピクチャと２つの参照ピクチャとの間の時間的距離、すなわち、ＴＤ０及びＴＤ１に比例するものとする。現在のピクチャが時間的に２つの参照ピクチャ間にあり、かつ、現在のピクチャから２つの参照ピクチャまでの時間的距離が同じである場合、バイラテラルマッチングは、ミラーベースの双方向動きベクトル（ＭＶ）となる。

バイラテラルマッチングマージモードでは、２つの異なる参照ピクチャにおける現在のＣＵの動きの軌跡に沿う２つのブロック間の最も近い一致に基づいて、ＣＵの動き情報が導出されるので、双予測が常に適用される。

テンプレートマッチングマージ又はバイラテラルマッチングマージを示す明示的なマージモードは、デコーダ側の動きベクトルの導出を全く必要としないデフォルトのマージモードからこれらのモードを区別するためにシグナリングされ得る。

バイラテラルマッチングモードでは、時間的距離が無視され、過去及び将来の参照フレーム内のそれぞれの等しい及び反対の動きベクトルを用いてバイラテラルマッチングが実行される。

いくつかの場合において、マージインデックスがシグナリングされることはないが、他の場合では、複数の動き補償を実行することについてのデコーダの複雑性を簡単にするために、明示的なマージインデックスがシグナリングされる。

デコーダ側の動きベクトルのリファインメント（ＤＭＶＲ）方法と呼ばれるバイラテラルマッチングモードの変形では、まず、明示的にシグナリングされたマージインデックスから取得された参照リストＬ０及びＬ１内の予測ブロックを用いて、双方で平均化されたテンプレートが作成され、このテンプレートに対して、バイラテラルマッチングが実行される。当該テンプレートは、何らかの動きがある場合に更新される。また、いくつかの場合において、リファインメントが一方の参照において実行され、このリファインされた動きベクトルのミラーリングを通じて、他の参照における動きベクトルが取得される。リファインメントは、中心位置が最小のエラーを有する、又は、反復の最高回数に達する、のいずれかまで、２つの参照間で交互に行う。

いくつかのリファインメント処理では、まず、ＣＵレベルのリファインメントが実行される。次に、候補としてのＣＵレベルのリファインされたＭＶと共に、サブＣＵレベルの複数候補の評価が実行される。他のリファインメント処理では、各サブＣＵは、最も一致する候補に関して独自のリファインメントを実行できる。

暗黙的なデコーダ側の導出又はリファインメント処理を考慮すると、エンコーダ側の再構築がデコーダ側の再構築と一致させるために、エンコーダは、デコーダと厳密に同じ方式でこれらの段階を実行する必要がある。

通常、デコーダ側の動きベクトルのリファインメント又は導出処理中、輝度サンプルのみが用いられる。しかしながら、輝度の動き補償に対して用いられるように、（任意のクロマダウンサンプリングを構成するために、適切にスケーリングされた）最終的なリファインメント動きベクトルを用いて、クロミナンスも動き補償される。

マージ動きベクトルがサブピクセル精度であるので、通常、リファインメントは、各参照内のそれぞれのサブピクセル精度のマージ動きベクトルからの整数距離で最初に実行される。標準的な動き補償は計算的に高額であるので、一般的には、整数距離のリファインメントを実行するために必要とされる補間されたサンプル値を作成するために、双線形補間方法が用いられる。他の従来技術では、リファインメントが終了した場合に、整数距離の位置において評価されたコスト関数の値、及び、最低コストを有する位置におけるコスト関数の値を用いて、サブピクセルデルタ動きベクトルの補正が推定されるものを用いてパラメトリックなエラー表面を取得するという提案が行われていた。各参照において、最終の整数距離に加えてサブピクセル距離ベースの動きベクトルの補正が取得されると、最終の標準的な動き補償が実行される。

本発明の実施形態は、予め定められた符号化ユニットサイズに依存する閾値に対して動き補償された参照パッチ間のアラインメントのレベルを判定するための方法及び装置に関する。予め定められた符号化ユニットサイズに依存する閾値に対して動き補償された参照パッチ間のアラインメントレベルを判定することにより、デコーダ側の動きベクトルのリファインメントの反復のコンピュータ演算を節約できるので、それにより、ビデオデコーダ内の電力消費を減らすことができる。

動きベクトルのリファインメント段階を削減するために、動き補償された参照パッチ間のアラインメントレベルを判定する方法及び装置が提供される。一方法によれば、ビデオデコーダは、マージ動きベクトルに丸め処理を行うことによりアラインメントレベルを判定し、丸め処理が行われた動きベクトルを用いて単純な動き補償を実行することにより２つの動き補償された参照パッチ間の差分絶対値和（ＳＡＤ）を算出し、ＳＡＤがＣＵサイズに依存する閾値より小さいか否かを判定する。ＳＡＤがＣＵサイズに依存する閾値より小さい場合、デコーダは、残りのデコーダ側の動きベクトルの処理段階を省略し、丸め処理が行われていないマージ動きベクトルを用いて最終的な動き補償を実行する。一実施形態において、丸め処理が行われていないマージ動きベクトルは、横方向及び縦方向において最も近い整数サンプルの位置に対して丸め処理が行われてよく、最終的な動き補償は、整数位置のサンプルの平均化を実行することを含む。別の実施形態において、丸め処理が行われていないマージ動きベクトルは、半ピクセルの位置サンプルを取得するために、横方向及び縦方向において最も近い半ピクセルサンプルの位置に対して丸め処理が行われてよく、最終的な動き補償は、半ピクセルの位置サンプルの平均化を実行することを含む。方法は、ＳＡＤが予め定められた閾値よりも小さいときはいつでも、ビデオデコーダは、動き補償された参照パッチ間のアラインメントレベルが許容可能であると判定し、ビデオデコーダは、動きベクトルのリファインメント処理、例えば、双線形補間、平均値の判定、リファインメントコスト関数の評価及び他の処理段階を省略して、クロックサイクルを節約し、電力消費を減らすことができるという点で有利である。別の方法において、ビデオデコーダは、サブピクセル精度のマージ動きベクトルを用いた双線形動き補償された補間からのサンプルのサブセットを用いて、２つの動き補償された参照パッチ間のＳＡＤを算出する。次に、ＳＡＤは、符号化ユニット（ＣＵ）サイズに依存する閾値と比較される。符号化ユニットサイズに依存する閾値のビットデプスは、補間されたサンプルのビットデプスにしたがって調整され得る。補間されたサンプルのサブセットを用いてＳＡＤのみを計算することにより、方法は、有利なことに、必要とされる演算（クロックサイクル）がより少ない。さらに別の方法において、デコーダは、動き補償された参照パッチのそれぞれの中心位置にある動き補償されて補間されたサンプル間の平均値が削減されたＳＡＤ（ＭＲ－ＳＡＤ）を算出し、ＭＲ－ＳＡＤがＣＵサイズに依存する閾値より小さいか否かを判定する。この方法では、２つの動き補償された参照パッチの中心位置のＭＲ－ＳＡＤは、リファインメントが始まる場合に計算される。中心位置に対するＭＲ－ＳＡＤがＣＵサイズに依存する閾値より小さい場合、ビデオデコーダは、デコーダ側の動きベクトルのリファインメント処理の残りを省略する。インター予測方法は、マージモードの初期の動きベクトルに基づいて、第１の動き補償された参照パッチ及び第２の動き補償された参照パッチを取得する段階と、第１の動き補償された参照パッチと第２の動き補償された参照パッチとの間のパッチ差分値を計算する段階と、パッチ差分値が閾値より小さい場合、初期の動きベクトルに基づいて現在のブロックの予測値を取得する段階であって、閾値は、現在のブロックのサイズに基づいて判定される、段階と、パッチ差分値が閾値よりも大きい又は閾値と等しい場合、初期の動きベクトルをリファインして、現在のブロックの予測値を取得する段階とを備える。実現可能な実施例において、初期の動きベクトルは、現在のブロックの隣接ブロックの動きベクトルから導出される。実現可能な実施例において、初期の動きベクトルは、第１の動きベクトル及び第２の動きベクトルを有し、第１の動き補償された参照パッチは、第１の動きベクトルにしたがって取得され、第２の動き補償された参照パッチは、第２の動きベクトルにしたがって取得される。実現可能な実施例において、パッチ差分値は、ＳＡＤ値又は平均値が削減されたＳＡＤ値である。実現可能な実施例において、第１の動き補償された参照パッチと第２の動き補償された参照パッチとの間のパッチ差分値を計算する段階は、第１の動き補償された参照パッチのサブセットサンプルと、第２の動き補償された参照パッチの対応するサブセットサンプルとの間のパッチ差分値を計算する段階を有する。実現可能な実施例において、第１の動き補償された参照パッチと第２の動き補償された参照パッチとの間のパッチ差分値を計算する段階の後に、パッチ差分値及び閾値に基づいて比較を実行する段階をさらに備える。実現可能な実施例において、パッチ差分値及び閾値に基づいて比較を実行する段階の前に、現在のブロックのサイズにしたがって閾値を判定した後に閾値を調整する段階をさらに備える。実現可能な実施例において、パッチ差分値が閾値より小さい場合、初期の動きベクトルに基づいて現在のブロックの予測値を取得する段階の前に、デコーダ側の動きベクトルのリファインメント（ＤＭＶＲ）が省略されると判定する段階をさらに備える。実現可能な実施例において、パッチ差分値が閾値より小さい場合、初期の動きベクトルと同じである動きベクトルを用いて、現在のブロックの予測値を取得する。インター予測装置は、非一時的メモリであって、これに格納されるプロセッサ実行可能命令を有するメモリと、メモリに接続され、プロセッサ実行可能命令を実行して、上記のインター予測方法の実現可能な実施例のいずれか一つに係る方法を促進するように構成されるプロセッサとを備える。これらの新規な技術は、動きベクトルのリファインメントの相当な数の反復を節約することにより、クロックサイクルの数、及び、ビデオデコーダの電力消費を減らす。

テンプレートマッチングベースのデコーダ側の動きベクトルの導出を示し、現在のブロックのテンプレートは、参照ピクチャ内の参照テンプレートと一致する。

バイラテラルマッチングベースのデコーダ側の動きベクトルの導出を示し、現在のブロックは、動きの軌跡に沿う２つの参照ブロックを用いて予測される。

バイラテラルテンプレートマッチングベースのデコーダ側の動きベクトルのリファインメント（ＤＭＶＲ）の例を示し、テンプレートは、更新された動きベクトルＭＶ０'及びＭＶ１'によって参照される最も一致するブロックを見つけるために、初期の動きベクトルＭＶ０及びＭＶ１及びバイラテラルテンプレートマッチングによって参照される予測ブロックから双予測を用いて生成される。

本発明の実施形態に係る動き補償された参照パッチ間のアラインメントレベルを判定するための方法を図示する簡略フローチャートであり、リファインメント処理段階の条件付きの省略は、丸め処理された整数位置ベースのコスト関数に基づいている。

本発明の実施形態に係る動き補償されたパッチ間のアラインメントレベルのデコーダ側の検証、チェック又は判定を用いる方法の簡略フローチャートを示し、リファインメント処理段階の条件付きの省略は、動き補償されて補間されたサンプルのサブセットを用いた２つの動き補償された参照パッチ間の差分絶対値和に基づいている。

本発明の実施形態に係る動き補償されたパッチ間のアラインメントレベルのデコーダ側の検証、チェック又は判定を用いる方法の簡略フローチャートを示し、リファインメント処理段階の条件付きの省略は、動き補償された参照パッチのそれぞれの中心位置にある動き補償されて補間されたサンプル間の平均値が削減された差分絶対値和に基づいている。

コンテンツ配信サービスを実現するコンテンツ供給システム３１００の例示的な構造を示すブロック図である。

端末デバイスの例の構造を示すブロック図である。

本発明は、ＶＣＥＧのＱ１６とＭＰＥＧ（ＳＣ２９／ＷＧ１１）との間のジョイントワークであるＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ内のＪｏｉｎｔ Ｅｘｐｌｏｒａｔｏｒｙ Ｍｏｄｅｌ（ＪＥＭ）として以前から追及されていた多用途ビデオ符号化規格に関する。デコーダ側の動きベクトルのリファインメント及びデコーダ側の動きベクトルの導出に関する文書ＪＶＥＴ－Ｇ１００１及び他のホアウェイ社の従来技術は、本発明に関連する寄稿文書及び特許のリストを取得するために用いられ得る。

上記で説明したように、バイラテラルマッチング演算は、双予測に関連する２つの参照内の動き補償されたブロック間のアラインメントのレベルを改善しようとする。追加のフラグを符号化することを避けるために、好ましいオプションは、デコーダ側の動きベクトルのリファインメントにふさわしいすべてのマージモードのインター符号化された符号化ユニットに対するものである。しかしながら、非常に良好な数の符号化ユニットは、マージモードの動きベクトルにおいて既に非常に良好なアラインメントを有しており、リファインメントを通じて改善の余地が全くないことに気づく。リファインメントは、リファインメントの範囲内で複数の位置におけるコスト関数の評価を実行することを伴うので、より良好なバッテリ寿命又は低消費エネルギーなどの属性に転換できる平均的なデコーダの複雑性の大幅な削減を結果としてもたらすことができるような改善が見込まれない場合、これらの演算を回避する。いくつかの従来技術の方法では、双予測マージモード符号化ユニット内のマージ動きベクトルから取得された２つの標準的な動き補償されたパッチ間のアラインメントのレベルが各符号化ユニットサイズに対する予め定められた閾値より小さい場合、リファインメントを省略することが提案されてきた。しかしながら、一般に、双線形補間がリファインメントを実行するために用いられるサンプルを作成するために採用されているという事実を考慮すると、従来技術では、依然として、リファインメントを省略できるか否かをチェックするために標準的な動き補償、リファインメントを実行するための双線形補間、及び、サブピクセルの精度がリファインされた動きベクトルを用いた最終の標準的な動き補償を必要としている。標準的な８タップ補間フィルタは計算的に非常に高額であるので、補間フィルタリングを２回実行することは、リファインメントを省略するためのテストを行わないよりも、最悪のケースの複雑性を高くする。また、ハードウェアタイミングの視点から、差分絶対値和の評価が、リファインメントが利用可能なクロックを減らす従属ステージを加える。

したがって、（リファインされた動きベクトルを用いた最終的な正確な動き補償を伴う双線形補間ベースのリファインメントと比較される場合）補間サイクルを増やすことなく、かつ、ハードウェア実装に対する最悪のケースのタイミング制約を悪化させることなく、リファインメントの反復を省略することをチェックするコンセプトを調和させる必要がある。

動きベクトル（ＭＶ）リファインメントは、バイラテラルマッチングコスト又はテンプレートマッチングコストの基準を有するパターンベースのＭＶ探索である。最近の動向では、無制限中心バイアスダイアモンド探索（ＵＣＢＤＳ）と、ＣＵレベル及びサブＣＵレベルのそれぞれにおけるＭＶリファインメントに対する適応クロス探索という２つの探索パターンがサポートされている。ＣＵ及びサブＣＵレベルのＭＶリファインメントの両方について、ＭＶは、１／４輝度サンプルＭＶ精度で直接検索され、これは、１／８輝度サンプルＭＶリファインメントに従う。ＣＵ及びサブＣＵ段階に対するＭＶリファインメント探索範囲は、８個の輝度サンプルと等しく設定される。

双予測演算において、１つのブロック領域の予測について、リスト０のＭＶ及びリスト１のＭＶを用いてそれぞれ形成される２つの予測ブロックは、単一の予測信号を形成するために組み合わせられる。デコーダ側の動きベクトルのリファインメント（ＤＭＶＲ）方法において、双予測の２つの動きベクトルは、さらに、バイラテラルテンプレートマッチング処理によりリファインされる。デコーダに適用されるバイラテラルテンプレートマッチングは、追加の動き情報を伝送することなく、リファインされたＭＶを取得するために、バイラテラルテンプレートと参照ピクチャ内の再構築サンプルとの間の歪みベースの探索を実行する。

図３は、バイラテラルテンプレートマッチングベースのデコーダ側の動きベクトルのリファインメント（ＤＭＶＲ）の例を示し、テンプレートは、更新されたＭＶ０'及びＭＶ１'によって参照される最も一致するブロックを見つけるために、初期のＭＶ０及びＭＶ１及びバイラテラルテンプレートマッチングによって参照される予測ブロックからの双予測を用いて生成される。まず、リスト０内の候補のＭＶ０となるように、マージモードで、現在のブロックに対して最も一致するＭＶが設定される。同様に、リスト１内の候補のＭＶとなるように、（マージモードで）現在のブロックに対して最も一致するＭＶが設定される。次に、参照ピクセルは、テンプレートを形成するために平均化される。次に、テンプレートを用いて、第１及び第２の参照ピクチャの候補のＭＶの周囲の領域が検索され、最低コストを有するＭＶが最終的なＭＶであると判定される。テンプレート内の各ピクセルと、検索された領域内の各ピクセルとの間の差の和を用いて、コスト値が算出されてよい。図３を参照すると、段階１において、バイラテラルテンプレートは、リスト０及びリスト１内のそれぞれの参照ブロックにおける初期の動きベクトルＭＶ０及びＭＶ１により参照される予測ブロックから生成される。

段階２において、バイラテラルマッチングは、更新された動きベクトルＭＶ０'及びＭＶ１'によって参照される最も一致するブロックを見つけることである。テンプレートマッチング演算は、生成されたテンプレートと、参照ピクチャ内の（初期の予測ブロックの周りにある）サンプル領域との間のコスト測定を算出する工程を含む。２つの参照ピクチャのそれぞれについて、最小のテンプレートコストを生じるＭＶは、元のＭＶを置換えるために、そのリストの更新されたＭＶとみなされる。最近の動向では、９個のＭＶの候補がリストごとに検索される。９個のＭＶの候補は、元のＭＶと、横又は縦方向のいずれか、又は、両方において元のＭＶに対してオフセットされた１つの輝度サンプルを有する８個の周囲ＭＶとを含む。最後に、最終的な双予測結果を生成するために、２つの新たなＭＶ、すなわち、ＭＶ０'及びＭＶ１'が用いられる。コスト測定として、差分絶対値和（ＳＡＤ）が用いられる。ＤＭＶＲは、追加の構文要素を伝送することなく、過去の参照ピクチャからの一方のＭＶと、将来の参照ピクチャからの他方を用いた双予測のマージモードに適用される。

様々な実施形態において、予め定められた符号化ユニットサイズに依存する閾値に対して、２つの動き補償された参照パッチ間の差が比較又は測定され、比較又は測定結果に基づいて、リファインメントが省略される。２つの動き補償された参照パッチ間の差は、事前補間サンプルを用いる、又は、双線形補間されたサンプルのサブセットを用いる、のいずれかで実行される。また、いくつかの実施形態において、パッチの平均値が除去された差分絶対値和（ＭＲ－ＳＡＤ）は、リファインメントに対するエラー測定基準として用いられてよく、パッチの単純な差分絶対値和は、平均に対する平均値の計算を節約することを可能にし、最悪のケースのタイミング要件に役立てるために、省略チェックが実行される測定基準として用いられてよい。予め定められた閾値は、バッファサイズ及び処理要件を減らすために、補間中又はその後に採用され得る下位ビットデプスに適合される。

デコーダ側の動きベクトルのリファインメント／導出が符号化システムの標準的な態様であることを考慮すると、エンコーダの再構築とデコーダの再構築との間にドリフトがないようにするために、エンコーダも同じエラー表面技術を実行しなければならい。したがって、エンコーディング及びデコーディングシステムの両方に対して、すべての実施形態のすべての態様が適用可能である。以下に提供される実施形態は、本開示を理解するための一部の例に過ぎず、したがって、制限することを意図しているものとして理解されるべきでない。

実施形態１

本実施形態において、マージ動きベクトルは、最も近い整数位置に対して丸め処理が行われる。双予測に対して用いられる２つの参照内の現在の符号化ユニットの位置に関するオフセットとして整数グリッドの動きベクトルに丸め処理が行われるこれらを用いて、符号化ユニットサイズのサンプルのブロック間の差分絶対値和（ＳＡＤ）が計算される。この差分絶対値和は、符号化ユニット（ＣＵ）サイズに依存する閾値と比較され、差分絶対値和が閾値より小さい場合、デコーダ側の動きベクトルのリファインメント処理段階の残り（ｔｈｅ ｒｅｓｔ）又は残り（ｔｈｅ ｒｅｍａｉｎｉｎｇ）は、規範的に省略される。

適切に予め定められたＣＵサイズに依存する閾値は、高い閾値での圧縮ゲインの低下とトレードオフされる所望の平均的な計算の節約又は省エネルギーに基づいて判定される。

図４は、本発明の実施形態に係る動き補償されたパッチ間のアラインメントレベルについてのデコーダ側の検証又は判定を用いる方法の簡略フローチャートであり、残りのリファインメント処理段階の条件付きの省略は、丸め処理された整数位置ベースのコスト関数に基づいている。フローチャートに示される段階は、エンコーダ側又はデコーダ側における１つ又は複数のプロセッサ上の実行可能なプログラムコード又は命令として実装され得る。フローチャートに示される段階は、電子コンポーネント、デジタル及び／又はアナログ回路、ロジックエレメント、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせを用いて実装され得る。方法は、段階４０１において、ビデオデコーダ（ビデオデコーダ及びデコーダは本明細書において互換的に用いられる）が、２つの動き補償された参照パッチ間の丸め処理が行われていないマージ動きベクトルを取得する段階を含んでよい。パッチは、Ｍ×Ｎピクセルの現在のブロックの予め定められたサイズを有し、Ｍ及びＮはそれぞれ正の整数である。いくつかの実施形態において、ＭはＮと等しくてよい。他の実施形態において、Ｍ及びＮは異なっていてよい。パッチは、予測ユニット又は符号化ユニットであってよく、ピクチャ（フレーム）内のサンプルのブロックと称される。丸め処理が行われていないマージ動きベクトルは、バイラテラルマッチング、テンプレートマッチング又は他の技術を用いて取得され得る。丸め処理が行われていないマージ動きベクトルは、整数ピクセル精度又は分数ピクセル精度を有するマージ動きベクトルであり得る。段階４０２において、デコーダは、丸め処理が行われていないマージ動きベクトルに丸め処理を行って、丸め処理が行われた動きベクトルを取得する。丸め処理を行う工程は、丸め処理が行われていない動きベクトルを整数ピクセル精度の動きベクトルに変換すること、又は、動きベクトルのピクセル精度を下げることを含み得る。例えば、分数精度の動きベクトルは、整数ピクセル精度の動きベクトルに対して丸め処理が行われ得る。丸め処理を行う工程は、１つ又は複数のビット分、ベクトル値を右にシフトすることを含んでよい。一実施形態において、ビデオデコーダは、最も近い整数サンプルの位置に対する丸め処理が行われていないマージ動きベクトルに丸め処理を行ってよい。別の実施形態において、ビデオデコーダは、最も近い半ピクセルサンプルの位置に対する丸め処理が行われていないマージ動きベクトルに丸め処理を行ってよい。

段階４０３において、ビデオデコーダは、丸め処理が行われた動きベクトルを用いて単純な動き補償を実行することにより、２つの動き補償された参照パッチ間の差分絶対値和（ＳＡＤ）を計算（算出）する。それぞれの参照ピクチャＲｅｆ０、Ｒｅｆ１における差の和ＳＡＤ（第１のパッチ、第２のパッチ）は、それぞれの探索空間における最良のテンプレートマッチングを判定するためのコスト関数である。段階４０４において、デコーダは、符号化ユニット（ＣＵ）サイズに依存する閾値とＳＡＤを比較して、ＳＡＤがＣＵサイズに依存する閾値より小さいか、又は、これより小さくないか（すなわち、ＣＵサイズに依存する閾値と等しいか、又は、これより大きいか）を判定する。ＳＡＤがＣＵサイズに依存する閾値より小さいと判定された場合（段階４０５における「はい」）、デコーダは、デコーダ側の動きベクトルのリファインメント（ＤＭＶＲ）処理段階を省略し（段階４０６）、丸め処理が行われていないマージ動きベクトルを用いて最終的な動き補償を実行する（段階４０８）。ＳＡＤがＣＵサイズに依存する閾値より小さくないと判定された場合（段階４０５における「いいえ」）、デコーダは、デコーダ側の動きベクトルのリファインメント（ＤＭＶＲ）処理段階を実行し（段階４０７）、次に、最終的な動き補償を実行する（段階４０８）。デコーダは、現在のブロックと厳密に一致する探索窓内の参照ブロックに基づいて動きベクトルの候補をリファインしてよく、すなわち、デコーダは、ＳＡＤがＣＵサイズに依存する閾値より小さくない場合、現在のブロックに対する新たな補間された動きベクトルを（例えば、双線形補間を用いて）判定してよく、その後、デコーダは、次に、現在のブロックに対する最終的な動き補償を実行する。一実施形態において、最終的な動き補償を実行する段階は、横方向及び縦方向において最も近い整数サンプルの位置に対する丸め処理が行われていないマージ動きベクトルに丸め処理を行って、整数位置のサンプルを取得し、整数位置のサンプルに対して平均化演算を実行する段階を含んでよい。別の実施形態において、最終的な動き補償を実行する段階は、横方向及び縦方向において最も近い半ピクセルサンプルの位置に対する丸め処理が行われていないマージ動きベクトルに丸め処理を行って、半ピクセルの位置サンプルを取得する段階と、半ピクセルの位置サンプルに対して平均化演算を実行する段階とを含んでよい。

評価される測定基準は閾値より小さいときはいつでも、異なる位置における双線形補間、平均値の判定及びリファインメントコスト関数の評価などのデコーダ側の動きベクトルのリファインメントについての他の態様のすべてを省略でき、最終の標準的な動き補償を実行できるという点で、本実施形態は、他の利点の中でも有利である。ハードウェア実装では、いくつかの実施形態において、リファインメントを省略してタイミング制約を改善する（すなわち、リファインメントのタスクを実行するために、より多くの時間又はクロックサイクルを取得する）ために、測定基準の評価と並行して双線形補間を投機的に実行することが可能であることに留意されたい。

実施形態２

本実施形態において、デコーダは、サブピクセル精度のマージ動きベクトルを用いて実行される双線形動き補償された補間からのサンプルのサブセットを用いて、双予測に関する２つの参照内の動き補償されたパッチ間の差分絶対値和を計算する。次に、この差分絶対値和は、予め定められた符号化ユニットサイズに依存する閾値と比較され、差分絶対値和が閾値より小さいとデコーダが判定した場合、リファインメント段階の残りは規範的に省略される。

１つの例示的な実施例において、双線形動き補償された補間は、参照パッチの両方において並行して（同時に）実行される。別の実施形態において、２つの参照にわたる補間されたサンプルの生成がインターリーブされる。これらの両方の場合において、差分絶対値和の算出は、有利なことに、生成されるすべての補間されたサンプルを待機させるよりはむしろ、できるだけ早い時間において計算される。この処理はまた、補間されたサンプルを再度ロードすることを避ける。これにより、ハードウェアのレイテンシを減らし、最悪のケース経路に必要とされる残りのリファインメントの計算を実行するのに利用可能な時間を改善する。

いくつかの実施例において、差分絶対値和を計算するために、符号化ユニットの次元と等しい次元（サイズ）を有するサンプルのブロックが用いられる。そのような実施形態では、差分絶対値和が閾値より小さいと判定された場合、中心位置以外のリファインメント位置に対して必要とされる補間されたサンプルの計算が省略され得る。他の実施形態において、補間されたサンプルのサブセットのみが差分絶対値和を計算するために利用される。これらの場合、予め定められた閾値は、差分絶対値和に対して用いられるサンプル数の関数となるように修正される。差分絶対値和が閾値より小さいとデコーダが判定した場合、残りの補間も省略できる。一実施形態では、補間されたサンプルのサブセットは、一実施形態における（ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｗｉｄｔｈ－２）×（ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｅｉｇｈｔ－２）サンプルとすることができる。別の実施形態では、補間されたサンプルのサブセットは、別の実施形態における（ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｗｉｄｔｈ×ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｅｉｇｈｔ－(ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｗｉｄｔｈ－２)×（ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｅｉｇｈｔ－２））サンプルとすることができ、ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｗｉｄｔｈは符号化ユニットの幅であり、ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｅｉｇｈｔは符号化ユニットの高さである。

双線形補間が補間されたサンプルのビットデプスを制約する場合、補間されたサンプルの制約されていないビットデプスにおいて導出される閾値をシフトダウンすることによって、予め定められた閾値もそれにしたがって調整される。

図５は、本発明の実施形態に係る動き補償されたパッチ間のアラインメントレベルについてのデコーダ側の検証、チェック又は判定を用いる方法の簡略フローチャートを示し、デコーダ側の動きベクトルのリファインメント処理段階の条件付きの省略は、双線形動き補償されて補間されたサンプルのサブセットに基づいている。フローチャートに示される段階は、エンコーダ側又はデコーダ側における１つ又は複数のプロセッサ上の実行可能なプログラムコード又は命令として実装され得る。フローチャートに示される段階はまた、電子コンポーネント、デジタル及び／又はアナログ回路、ロジックエレメント、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせを用いて実装され得る。方法は、段階５０１において、ビデオデコーダが、２つの動き補償された参照パッチ間の丸め処理が行われていないマージ動きベクトルを取得することを含んでよい。パッチは、Ｍ×Ｎピクセルの現在のブロックの予め定められたサイズを有し、Ｍ及びＮはそれぞれ正の整数である。いくつかの実施形態において、Ｍ及びＮは同じであってよい。他の実施形態において、Ｍ及びＮは異なっていてよい。丸め処理が行われていないマージ動きベクトルは、バイラテラルマッチング、テンプレートマッチング又は他の技術を用いて取得され得る。段階５０２において、デコーダはまた、サブピクセル精度のマージ動きベクトルに基づいて、動き補償されて補間されたサンプルを取得する。

段階５０３において、デコーダは、動き補償されて補間されたサンプルのサブセットを用いて、２つの動き補償された参照パッチ間の差分絶対値和（ＳＡＤ）を計算（算出）する。いくつかの実施形態において、ＳＡＤは、補間処理と並行して、又は、同時に並行して計算され得る。段階５０４において、デコーダは、符号化ユニット（ＣＵ）サイズに依存する閾値とＳＡＤを比較して、ＳＡＤがＣＵサイズに依存する閾値より小さいか、又は、これより小さくないかを判定する。一実施形態において、ＣＵサイズに依存する閾値は、補間されたサンプルのサブセット内のサンプル数の関数である。ＳＡＤがＣＵサイズに依存する閾値より小さいと判定された場合（段階５０５における「はい」）、デコーダは、デコーダ側の動きベクトルのリファインメント（ＤＭＶＲ）処理段階を省略し（段階５０６）、丸め処理が行われていないマージ動きベクトルを用いて最終的な動き補償を実行する（段階５０８）。ＳＡＤがＣＵサイズに依存する閾値より小さくない（すなわち、ＣＵサイズに依存する閾値と等しい又はこれより大きい）と判定された場合（段階５０５における「いいえ」）、デコーダは、丸め処理が行われていないマージ動きベクトルを用いてデコーダ側の動きベクトルのリファインメント（ＤＭＶＲ）処理段階を実行し（段階５０７）、次に、丸め処理が行われていないマージ動きベクトルを用いて、最終的な動き補償を実行する（段階５０８）。デコーダは、現在のブロックと厳密に一致する探索窓内の参照ブロックに基づいて動きベクトルの候補をリファインしてよく、すなわち、デコーダは、ＳＡＤがＣＵサイズに依存する閾値より小さくない場合、現在のブロックに対する新たな補間された動きベクトルを（例えば、双線形補間を用いて）判定してよく、その後、デコーダは、次に、丸め処理が行われていないマージ動きベクトルを用いて、現在のブロックに対する最終的な動き補償を実行する。

第２の実施形態（実施形態２）は、控え目な閾値が、依然として多くの符号化ユニットがリファインメント処理の残りの段階を省略することを可能にすることができるので、より少ない符号化ゲインの減少を可能にする。タイミングの観点から、閾値に対するＳＡＤの判定又は検証のために必要とされる差分絶対値和の演算は、双線形補間段階に対して実質的に隠すことができるので、最悪のケースのタイミング制約に影響を与えることはない。

実施形態３

本実施形態において、リファインメントを始める中心位置に対して計算される平均値が除去された差分絶対値和（ＭＲ－ＳＡＤ）を用いて、早期終了チェック（判定）が実行される。いくつかの実施形態では、中心位置のＭＲ－ＳＡＤがまず評価されて符号化ユニットサイズに依存する閾値と比較される。中心位置に対するＭＲ－ＳＡＤが閾値より小さい場合、次に、リファインメント処理の残りが規範的に省略される。

いくつかの実施形態において、中心位置以外の位置（例えば、第１の反復リファインメントポイント内の特定の位置）におけるＭＲ－ＳＡＤ評価が中心位置のＭＲ－ＳＡＤ評価と並行して評価され得ることが可能である。しかしながら、これら評価されたＭＲ－ＳＡＤは、中心位置のＭＲ－ＳＡＤが予め定められた閾値より小さい場合、影響がない。

補間が補間されたサンプルのビットデプスを制約する場合、補間されたサンプルの制約されていないビットデプスにおいて導出された閾値をシフトダウンすることにより、予め定められた閾値もそれにしたがって調整される。

図６は、本発明の実施形態に係る動き補償されたパッチ間のアラインメントレベルについてのデコーダ側の検証、チェック又は判定を用いる方法の簡略フローチャートを示し、デコーダ側の動きベクトルのリファインメント処理段階の条件付きの省略は、リファインメント開始位置の平均値が除去された差分絶対値和に基づいている。フローチャートに示される段階は、エンコーダ側又はデコーダ側における１つ又は複数のプロセッサ上の実行可能なプログラムコード又は命令として実装され得る。フローチャートに示される段階はまた、電子コンポーネント、デジタル及び／又はアナログ回路、ロジックエレメント、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせを用いて実装され得る。方法は、段階６０２で開始してよく、ビデオデコーダは、２つの動き補償された参照パッチ間のサブピクセル精度のマージ動きベクトルに基づいて、動き補償されて補間されたサンプルを取得する。段階６０３において、デコーダは、リファインメントを始める中心位置に対する２つのパッチのそれぞれの平均値を計算（算出）する。デコーダはまた、中心位置に対する平均値が除去された差分絶対値和（ＭＲ－ＳＡＤ）を（６０３において）計算する。

６０４において、デコーダは、符号化ユニット（ＣＵ）サイズに依存する閾値とＭＲ－ＳＡＤを比較して、ＭＲ－ＳＡＤがＣＵサイズに依存する閾値より小さいか、又は、これより小さくないか（ＣＵサイズに依存する閾値と等しいか、又は、これより大きいか）を判定する。一実施形態において、ＣＵサイズに依存する閾値は、サブピクセル精度のマージ動きベクトルのビットデプスについての関数である。ＭＲ－ＳＡＤがＣＵサイズに依存する閾値より小さいと判定された場合（段階６０５における「はい」）、デコーダは、デコーダ側の動きベクトルのリファインメント（ＤＭＶＲ）処理段階を省略し（段階６０６）、マージ動きベクトルを用いて最終的な動き補償を実行する（段階６０８）。ＭＲ－ＳＡＤがＣＵサイズに依存する閾値より小さくないと判定された場合（段階６０５における「いいえ」）、デコーダは、マージ動きベクトルを用いてデコーダ側の動きベクトルのリファインメント（ＤＭＶＲ）処理段階を実行し（段階６０７）、次に、マージ動きベクトルを用いて、最終的な動き補償を実行する（段階６０８）。デコーダは、現在のブロックと厳密に一致する探索窓内の参照ブロックに基づいて動きベクトルの候補をリファインしてよく、すなわち、デコーダは、ＭＲ－ＳＡＤがＣＵサイズに依存する閾値より小さくない場合、現在のブロックに対する新たな補間された動きベクトルを（例えば、双線形補間を用いて）判定してよく、その後、デコーダは、次に、マージ動きベクトルを用いて現在のブロックに対する最終的な動き補償を実行する。

いくつかの実施形態において、パッチの平均値を計算する段階は、対応する参照パッチ内のすべてのピクセルの輝度強度を平均化する段階を含んでよい。平均値が除去された差分絶対値和（ＭＲ－ＳＡＤ）は、以下の式を用いて計算されてよい。
ＭＲ－ＳＡＤ＝ＳＡＤ（ｆｉｒｓｔ＿ｓａｍｐｌｅ－ｍｅａｎ（ｆｉｒｓｔ＿ｐａｔｃｈ）、ｓｅｃｏｎｄ＿ｓａｍｐｌｅ－ｍｅａｎ（ｓｅｃｏｎｄ＿ｐａｔｃｈ））

ｆｉｒｓｔ＿ｓａｍｐｌｅは、第１の動き補償された参照パッチの中心にある第１の動き補償されて補間されたサンプルを表し、ｓｅｃｏｎｄ＿ｓａｍｐｌｅは、第２の動き補償された参照パッチの中心にある第２の動き補償されて補間されたサンプルを表し、ｍｅａｎ（ｆｉｒｓｔ＿ｂｌｏｃｋ）は、ｆｉｒｓｔ＿ｂｌｏｃｋのサンプル値の平均化演算を表し、ｍｅａｎ（ｓｅｃｏｎｄ＿ｂｌｏｃｋ）は、ｓｅｃｏｎｄ＿ｂｌｏｃｋのサンプル値の平均化演算を表し、（第１、第２）パッチは、サンプルに関して（第１、第２）ブロックの幅及び高さを有してよく、ＳＡＤは、第１のパッチのサンプルの値と第２のパッチのサンプルの値との絶対差の加算演算である。

本実施形態は、そのようなチェックなしで必要とされるものに対して、リファインメントチェックの条件付きの省略を実行するために、追加の計算が生じないことを保証できる。統計的に、リファインメントの反復の計算が節約され、結果として、ソフトウェアにおける電力を節約し、平均的なサイクルを減少させることができる。

示される上述したフローチャートは、本発明に係る動き補償されたパッチ間のアラインメントの判定、チェック又は検証についての例示的な実施形態を図示することを意図している。当業者が理解するように、本明細書で説明されるアラインメントのチェック及び判定段階は、本発明の範囲から逸脱することなく、本発明を実施するために再配置され、修正され、又は、組み合わせられてよい。

本開示に係る実施形態は、ハードウェア回路、ソフトウェアプログラムコード、１つ又は複数のプロセッサ又はＣＰＵにより実行可能なコンピュータ命令、又は、これらの組み合わせにおいて実装されてよい。例えば、本発明の実施形態は、本明細書で説明された段階を実行する１つ又は複数の集積回路又はデバイスであり得る。プログラムコードは、デジタル信号プロセッサ（ＤＳＰ）上で実行され得る。実施形態はまた、１つ又は複数のマイクロプロセッサ、１つ又は複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）により実装され得る。

本開示に係る実施形態は、予め定められたＣＵサイズに依存する閾値に対して動き補償された参照パッチ（符号化ユニット、ブロック）間のアラインメントのレベルを判定するための装置を提供する。装置は、２つの動き補償された参照パッチ間の丸め処理が行われていないマージ動きベクトルを取得し、最も近い整数サンプルの位置に対する丸め処理が行われていないマージ動きベクトルに丸め処理を行って、丸め処理が行われた動きベクトルを取得し、丸め処理が行われた動きベクトルを用いて、２つの動き補償された参照パッチ間の差分絶対値和（ＳＡＤ）を計算し、ＳＡＤがＣＵサイズに依存する閾値より小さいか否かを判定するように構成される回路を含んでよい。ＳＡＤがＣＵサイズに依存する閾値より小さい場合、装置の回路は、デコーダ側の動きベクトルのリファインメント処理の残りの段階を省略し、丸め処理が行われていないマージ動きベクトルを用いて最終的な動き補償を実行する。ＳＡＤがＣＵサイズに依存する閾値より小さくない場合、装置の回路は、デコーダ側の動きベクトルのリファインメント処理の残りの段階を実行し、次に、丸め処理が行われていないマージ動きベクトルを用いて最終的な動き補償を実行する。

一実施形態において、装置の回路は、丸め処理が行われた動きベクトルを用いる代わりに、動き補償されて補間されたサンプルのサブセットを用いてＳＡＤを導出する。

一実施形態において、装置の回路は、整数ピクセルの動き探索に対して平均値が除去された差分絶対値和（ＭＲ－ＳＡＤ）を計算し、ＣＵサイズに依存する閾値とＭＲ－ＳＡＤを比較する。

いくつかの実施形態において、装置の回路は、統合された半導体デバイス又はチップを含んでよい。他の実施形態において、回路は、ハードウェアコンポーネント又はデバイス、又は、ハードウェア及びソフトウェアの組み合わせ、例えば、命令又はプログラムコードを用いて動作可能な１つ又は複数のプロセッサ、プログラマブルデバイス、又は、ＤＳＰを含んでよい。

以下は、上述した実施形態に示されるようなエンコーディング方法及びデコーディング方法のアプリケーション及びそれらを用いたシステムの説明である。

図７は、コンテンツ配布サービスを実現するためのコンテンツ供給システム３１００を示すブロック図である。このコンテンツ供給システム３１００は、キャプチャデバイス３１０２、端末デバイス３１０６を含み、任意で、ディスプレイ３１２６を含む。キャプチャデバイス３１０２は、通信リンク３１０４を介して端末デバイス３１０６と通信する。通信リンクは、上述した通信チャネル１３を含んでよい。通信リンク３１０４は、限定されるものではないが、ＷＩＦＩ（登録商標）、イーサネット（登録商標）、ケーブル、無線（３Ｇ／４Ｇ／５Ｇ）、ＵＳＢ又はこれらの任意の種類の組み合わせなどを含む。

キャプチャデバイス３１０２は、データを生成し、上記の実施形態に示されるようなエンコーディング方法により、データをエンコードしてよい。代わりに、キャプチャデバイス３１０２は、データをストリーミングサーバ（図には示されていない）に配信してよく、サーバは、データをエンコードして、エンコードされたデータを端末デバイス３１０６に伝送する。キャプチャデバイス３１０２は、限定されるものではないが、カメラ、スマートフォン又はパッド、コンピュータ又はラップトップ、ビデオ会議システム、ＰＤＡ、車載デバイス又はこれらのいずれかの組み合わせなどを含む。例えば、上述したように、キャプチャデバイス３１０２は送信元デバイス１２を含んでよい。データがビデオを含む場合、キャプチャデバイス３１０２に含まれるビデオエンコーダ２０は、ビデオエンコーディング処理を実際に実行してよい。データがオーディオ（すなわち、音声）を含む場合、キャプチャデバイス３１０２に含まれるオーディオエンコーダは、オーディオエンコーディング処理を実際に実行してよい。いくつかの実際のシナリオについて、キャプチャデバイス３１０２は、これらを一緒に多重化することにより、エンコードされたビデオ及びオーディオデータを配信する。他の実際のシナリオについて、例えば、ビデオ会議システムにおいて、エンコードされたオーディオデータ及びエンコードされたビデオデータは多重化されない。キャプチャデバイス３１０２は、エンコードされたオーディオデータ及びエンコードされたビデオデータを別個に端末デバイス３１０６に配信する。

コンテンツ供給システム３１００において、端末デバイス３１０は、エンコードされたデータを受信及び再生する。端末デバイス３１０６は、データ受信及び復元機能を有するデバイス、例えば、上述したエンコードされたデータをデコーディングすることが可能なスマートフォン又はパッド３１０８、コンピュータ又はラップトップ３１１０、ネットワークビデオレコーダ（ＮＶＲ）／デジタルビデオレコーダ（ＤＶＲ）３１１２、ＴＶ３１１４、セットトップボックス（ＳＴＢ）３１１６、ビデオ会議システム３１１８、ビデオ監視システム３１２０、パーソナルデジタルアシスタント（ＰＤＡ）３１２２、車載デバイス３１２４又はこれらのいずれかの組み合わせなどであってよい。例えば、上述したように、端末デバイス３１０６は送信先のデバイス１４を含んでよい。エンコードされたデータがビデオを含む場合、端末デバイスに含まれるビデオデコーダ３０は、ビデオデコーディングを実行することを優先させる。エンコードされたデータがオーディオを含む場合、端末デバイスに含まれるオーディオデコーダは、オーディオデコーディング処理を実行することを優先させる。

ディスプレイを有する端末デバイス、例えば、スマートフォン又はパッド３１０８、コンピュータ又はラップトップ３１１０、ネットワークビデオレコーダ（ＮＶＲ）／デジタルビデオレコーダ（ＤＶＲ）３１１２、ＴＶ３１１４、パーソナルデジタルアシスタント（ＰＤＡ）３１２２又は車載デバイス３１２４について、端末デバイスは、デコードされたデータをそのディスプレイに入力できる。ディスプレイを搭載していない端末デバイス、例えば、ＳＴＢ３１１６、ビデオ会議システム３１１８又はビデオ監視システム３１２０について、外部ディスプレイ３１２６は、デコードされたデータを受信及び示すために、内部でコンタクトされる。

このシステム内の各デバイスがエンコーディング又はデコーディングを実行する場合、上述した実施形態に示されるように、ピクチャエンコーディングデバイス又はピクチャデコーディングデバイスが用いられ得る。

図８は、端末デバイス３１０６の例の構造を示す略図である。端末デバイス３１０６がキャプチャデバイス３１０２からストリームを受信した後に、プロトコル処理ユニット３２０２は、ストリームの伝送プロトコルを解析する。プロトコルは、限定されるものではないが、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）、ＨＴＴＰライブストリーミングプロトコル（ＨＬＳ）、ＭＰＥＧ－ＤＡＳＨ、リアルタイムトランスポートプロトコル（ＲＴＰ）、リアルタイムメッセージングプロトコル（ＲＴＭＰ）、又は、これらの任意の種類の組み合わせなどを含む。

プロトコル処理ユニット３２０２がストリームを処理した後に、ストリームファイルが生成される。当該ファイルは、逆多重化ユニット３２０４に出力される。逆多重化ユニット３２０４は、多重化されたデータをエンコードされたオーディオデータ及びエンコードされたビデオデータに分離できる。上述したように、いくつかの実際のシナリオにつて、例えば、ビデオ会議システムでは、エンコードされたオーディオデータ及びエンコードされたビデオデータは多重化されていない。この状況において、エンコードされたデータは、逆多重化ユニット３２０４を通すことなく、ビデオデコーダ３２０６及びオーディオデコーダ３２０８に伝送される。

逆多重化処理を介して、ビデオエレメンタリストリーム（ＥＳ）、オーディオＥＳ及び任意で字幕が生成される。上述した実施形態において説明したように、ビデオデコーダ３０を含むビデオデコーダ３２０６は、上述した実施形態に示されるようなデコーディング方法により、ビデオＥＳをデコードしてビデオフレームを生成し、このデータを同期ユニット３２１２に入力する。オーディオデコーダ３２０８は、オーディオＥＳをデコードしてオーディオフレームを生成し、このデータを同期ユニット３２１２に入力する。代わりに、ビデオフレームは、それを同期ユニット３２１２に入力する前に、（図８には示されていない）バッファに格納されてよい。同様に、オーディオフレームは、それを同期ユニット３２１２に入力する前に、（図８には示されていない）バッファに格納されてよい。

同期ユニット３２１２は、ビデオフレーム及びオーディオフレームを同期させて、ビデオ／オーディオをビデオ／オーディオディスプレイ３２１４に供給する。例えば、同期ユニット３２１２は、ビデオ及びオーディオ情報の提示を同期させる。情報は、符号化されたオーディオ及びビジュアルデータの提示に関するタイムスタンプ、及び、データストリームそのものの配信に関するタイムスタンプを用いて構文で符号化してよい。

ストリームに字幕が含まれている場合、字幕デコーダ３２１０は、字幕をデコードし、それをビデオフレーム及びオーディオフレームと同期させ、ビデオ／オーディオ／字幕をビデオ／オーディオ／字幕ディスプレイ３２１６に供給する。

本発明は、上述したシステムに限定されるものではなく、上述した実施形態におけるピクチャエンコーディングデバイス又はピクチャデコーディングデバイスのいずれが、他のシステム、例えば、自動車システムに組み込まれ得る。

Claims (11)

1. 動き補償された参照パッチ間のアラインメントレベルを判定するための方法であって、前記方法は、
   デコーダにより、双線形動き補償された補間からサブピクセル精度のマージ動きベクトルに基づいて、動き補償されて補間されたサンプルを取得する段階であって、２つの参照パッチにわたる前記補間されたサンプルの生成は、インターリーブされている、段階と、
   前記デコーダにより、前記動き補償されて補間されたサンプルのサブセットを用いて、２つの動き補償された参照パッチ間の差分絶対値和（ＳＡＤ）を計算する段階と、
   前記デコーダにより、前記ＳＡＤが符号化ユニット（ＣＵ）サイズに依存する閾値より小さいか否かを判定する段階であって、前記ＣＵサイズに依存する閾値は、前記動き補償されて補間されたサンプルの前記サブセット内のサンプル数の関数である、段階と、
   前記ＳＡＤが前記ＣＵサイズに依存する閾値より小さい場合、
   残りのデコーダ側の動きベクトルのリファインメント（ＤＭＶＲ）処理段階を省略する段階と、
   最終的な動き補償を実行する段階と、
   前記ＳＡＤが前記ＣＵサイズに依存する閾値より小さくない場合、
   前記残りのＤＭＶＲ処理段階を実行する段階と、
   前記最終的な動き補償を実行する段階と
   を備える方法。
2. 前記２つの動き補償された参照パッチに対する前記双線形動き補償された補間の処理が並行して実行される、請求項１に記載の方法。
3. 前記動き補償されて補間されたサンプルは、インターリーブ方式で前記２つの動き補償された参照パッチから導出される、請求項１又は２に記載の方法。
4. 動き補償された参照パッチ間のアラインメントレベルを判定するための方法であって、前記方法は、
   デコーダにより、双線形動き補償された補間からサブピクセル精度のマージ動きベクトルに基づいて、動き補償されて補間されたサンプルを取得する段階と、
   前記デコーダにより、前記動き補償されて補間されたサンプルのサブセットを用いて、２つの動き補償された参照パッチ間の差分絶対値和（ＳＡＤ）を計算する段階と、
   前記デコーダにより、前記ＳＡＤが符号化ユニット（ＣＵ）サイズに依存する閾値より小さいか否かを判定する段階であって、前記ＣＵサイズに依存する閾値は、前記動き補償されて補間されたサンプルの前記サブセット内のサンプル数の関数である、段階と、
   前記ＳＡＤが前記ＣＵサイズに依存する閾値より小さい場合、
   残りのデコーダ側の動きベクトルのリファインメント（ＤＭＶＲ）処理段階を省略する段階と、
   最終的な動き補償を実行する段階と、
   前記ＳＡＤが前記ＣＵサイズに依存する閾値より小さくない場合、
   前記残りのＤＭＶＲ処理段階を実行する段階と、
   前記最終的な動き補償を実行する段階と
   を備え、
   前記動き補償されて補間されたサンプルは、インターリーブ方式で前記２つの動き補償された参照パッチから導出される、方法。
5. 前記動き補償されて補間されたサンプルの前記サブセットは、（ＣＵ＿ｗｉｄｔｈ－２）×（ＣＵ－ｈｅｉｇｈｔ－２）サンプルを有し、ＣＵ＿ｗｉｄｔｈは前記符号化ユニットの幅であり、ＣＵ－ｈｅｉｇｈｔは符号化ユニット（ＣＵ）の高さである、請求項３又は４に記載の方法。
6. 前記動き補償されて補間されたサンプルの前記サブセットは、（ＣＵ＿ｗｉｄｔｈ×ＣＵ＿ｈｅｉｇｈｔ－（ＣＵ＿ｗｉｄｔｈ－２）×（ＣＵ－ｈｅｉｇｈｔ－２））サンプルを有し、ＣＵ＿ｗｉｄｔｈは前記符号化ユニットの幅であり、ＣＵ－ｈｅｉｇｈｔは符号化ユニット（ＣＵ）の高さである、請求項３又は４に記載の方法。
7. 前記ＣＵサイズに依存する閾値は、動き補償されて補間されたサンプルの前記サブセット内のサンプル数についての関数である、請求項１から６のいずれか一項に記載の方法。
8. 前記２つの動き補償された参照パッチに対する前記双線形動き補償された補間が並行して実行される、請求項１から７のいずれか一項に記載の方法。
9. 前記双線形動き補償された補間は、前記２つの動き補償された参照パッチに対してインターリーブ方式で実行される、請求項１から７のいずれか一項に記載の方法。
10. 動き補償された参照パッチ間のアラインメントレベルを判定するための方法であって、前記方法は、
    デコーダにより、双線形動き補償された補間からサブピクセル精度のマージ動きベクトルに基づいて、動き補償されて補間されたサンプルを取得する段階と、
    前記デコーダにより、前記動き補償されて補間されたサンプルのサブセットを用いて、２つの動き補償された参照パッチ間の差分絶対値和（ＳＡＤ）を計算する段階と、
    前記デコーダにより、前記ＳＡＤが符号化ユニット（ＣＵ）サイズに依存する閾値より小さいか否かを判定する段階であって、前記ＣＵサイズに依存する閾値は、前記動き補償されて補間されたサンプルの前記サブセット内のサンプル数の関数である、段階と、
    前記ＳＡＤが前記ＣＵサイズに依存する閾値より小さい場合、
    残りのデコーダ側の動きベクトルのリファインメント（ＤＭＶＲ）処理段階を省略する段階と、
    最終的な動き補償を実行する段階と、
    前記ＳＡＤが前記ＣＵサイズに依存する閾値より小さくない場合、
    前記残りのＤＭＶＲ処理段階を実行する段階と、
    前記最終的な動き補償を実行する段階と
    を備え、
    前記双線形動き補償された補間は、前記２つの動き補償された参照パッチに対してインターリーブ方式で実行される方法。
11. 非一時的メモリであって、これに格納されるプロセッサ実行可能命令を有する非一時的メモリと、
    前記非一時的メモリに接続され、前記プロセッサ実行可能命令を実行して、請求項１から１０のいずれか一項に記載の方法を促進するように構成されるプロセッサと
    を備える、インター予測装置。