JP6978552B2 - 動画像符号化方法、動画像復号化方法、符号化装置および復号化装置 - Google Patents

Description

本出願は、２０１５年５月１５日に中国特許庁に提出され発明の名称を「動画像符号化方法、動画像復号化方法、符号化装置および復号化装置」とする中国特許出願第２０１５１０２４９４８４．８号に基づく優先権を主張し、その内容は参照によりすべて本明細書に組み込まれる。

本発明は、動画像処理の分野に関し、特に、動画像符号化方法、動画像復号化方法、符号化装置および復号化装置に関する。

インターネットテクノロジが急速に発展し人々の物質的・精神的文化がより豊かになるのに伴い、インターネット上の動画像アプリケーションに対する要求事項、特に高解像度動画像アプリケーションに対する要求事項が増加している。しかしながら、高解像度動画のデータ量は莫大であり、また、帯域幅に制限のあるインターネット上で高解像度動画を送信することができるように、高解像度動画像の圧縮符号化の問題がまず解決される必要がある。現在、２つの国際組織、すなわち、国際標準化機構（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ、略して「ＩＳＯ」）／国際電気標準会議（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ、略して「ＩＥＣ」）下のＭｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、略して「ＭＰＥＧ」）、および、国際電気通信連合‐電気通信標準化部門（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ‐Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｔａｎｄａｒｄｉｚａｔｉｏｎ ｓｅｃｔｏｒ、略して「ＩＴＵ‐Ｔ」）下のビデオコーディングエキスパートグループ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ，略して「ＶＣＥＧ」）が国際的な動画像符号化規格の開発に携わっている。ＭＰＥＧは１９８６年に設立され、マルチメディア分野で関連する規格の策定に携わってきており、これらの規格は主としてインターネット上や無線ネットワーク上などでのストレージ、放送およびテレビならびにストリーミングメディア等に適用されている。ＩＴＵ‐Ｔは主としてビデオ電話やビデオ会議用途のような、リアルタイム映像通信分野向けの動画像符号化規格を策定している。

過去数十年において様々な用途向けの国際的動画像符号化規格が成功裏に策定されており、主として、ビデオコンパクトディスク（Ｖｉｄｅｏ Ｃｏｍｐａｃｔ Ｄｉｓｃ、略して「ＶＣＤ」）に適用されるＭＰＥＧ‐１規格、デジタル多用途ディスク（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ、略して「ＤＶＤ」）およびデジタルビデオ放送（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｂｒｏａｄｃａｓｔｉｎｇ、略して「ＤＶＢ」）に適用されるＭＰＥＧ‐２規格、ビデオ会議に適用されるＨ．２６１規格、Ｈ．２６３規格およびＨ．２６４規格、任意の形式のオブジェクトの符号化を可能にするＭＰＥＧ‐４規格、ならびに最新の高効率ビデオコーディング（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、略して「ＨＥＶＣ」）規格を含む。

最新の動画像符号化規格であるＨＥＶＣと比較して、回転やスケーリングの動きを含むシーケンスについては、線形的に変化する動きベクトルフィールドに基づく動き補償予測技術は、符号化の効率を顕著に改善することができる。アフィン変換に基づく従来の動き補償予測技術においては、ピクチャブロックのアフィン変換パラメータを取得した後で、ピクチャブロック内の各画素の動きベクトルを計算する必要があり、動き補償予測が各画素の動きベクトルにしたがって行なわれ、したがって、各画素の動き補償予測信号が取得される。ピクチャブロックの各画素の動きベクトルが変化することがあるので、動きベクトルに応じて画素に対して異なる操作が行われる必要がある。画素ベースの動き補償予測の複雑度は非常に高い。符号化／復号化の複雑度を低減するために、関連する技術は、さらに、ピクチャブロックをピクチャサブブロックに分割して、各ピクチャサブブロックの動きベクトルを取得したうえで、各ピクチャサブブロックの動き補償予測信号を取得することを試みている。

しかしながら、関連する技術においては、ピクチャサブブロックの大きさが固定されている。ピクチャサブブロックが過度に小さい場合、比較的高い符号化／復号化の複雑度につながる。ピクチャサブブロックが過度に大きい場合、符号化／復号化の効率が低下する。

本発明は、適切なサイズのピクチャサブブロックを選択することによって、符号化／復号化の複雑度を低減させるとともに符号化／復号化の効率を改善すべく、動画像符号化方法、動画像復号化方法、符号化装置および復号化装置を提供する。

第１の態様によれば、動画像符号化方法が提供され、この動画像符号化方法は、アフィンピクチャブロックの動きベクトル差分を求めることと、アフィンピクチャブロックの動きベクトル精度を求めることと、動きベクトル差分と、動きベクトル精度と、アフィンピクチャブロック内の制御点であって、動きベクトル差分を求めるために用いられる画素である、制御点どうしの間の距離とにしたがって、アフィンピクチャブロック内のアフィン動き補償ピクチャサブブロックのサイズを決定することと、アフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して符号化処理を行なうことと、を含む。

第１の態様に関連して、第１の態様の第１の可能な実装方式においては、アフィンピクチャブロックの動きベクトル差分を求めることは、同一水平線上に位置している第１制御点および第２制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第１成分を求めることと、同一垂直線上に位置している第３制御点および第４制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第２成分を求めることとを含み、ここで、第１制御点と第２制御点との間には第１水平距離が存在し、かつ、第３制御点と第４制御点との間には第１垂直距離が存在する。

第１の態様の第１の可能な実装方式に関連して、第１の態様の第２の可能な実装方式においては、同一水平線上に位置している第１制御点および第２制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第１成分を求めることは、第１制御点および第２制御点の動きベクトルどうしの第１水平成分差分および第１垂直成分差分を求めることと、第１水平成分差分および第１垂直成分差分のうちいずれか大きいほうを、動きベクトル差分の第１成分として決定することを含み、かつ、同一垂直線上に位置している第３制御点および第４制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第２成分を求めることは、第３制御点および第４制御点の動きベクトルどうしの第２水平成分差分および第２垂直成分差分を求めることと、第２水平成分差分および第２垂直成分差分のうちいずれか大きいほうを、動きベクトル差分の第２成分として決定することを含む。

第１の態様の第２の可能な実装方式に関連して、第１の態様の第３の可能な実装方式においては、方法は、各画素が同一のアフィン変換パラメータをもつアフィンピクチャブロックについて、該アフィンピクチャブロックの１つの画素のアフィン変換パラメータを求めることをさらに含み、第１制御点および第２制御点の動きベクトルどうしの第１水平成分差分および第１垂直成分差分を求めることは、アフィン変換パラメータと第１水平距離とにしたがって、第１水平成分差分および第１垂直成分差分を求めることを含み、かつ、第３制御点および第４制御点の動きベクトルどうしの第２水平成分差分および第２垂直成分差分を求めることは、アフィン変換パラメータと第１垂直距離とにしたがって、第２水平成分差分および第２垂直成分差分を求めることを含む。

第１の態様の第２の可能な実装方式に関連して、第１の態様の第４の可能な実装方式においては、方法は、第１制御点の動きベクトル、第２制御点の動きベクトル、第３制御点の動きベクトルおよび第４制御点の動きベクトルを求めることをさらに含み、
第１制御点および第２制御点の動きベクトルどうしの第１水平成分差分および第１垂直成分差分を求めることは、第１制御点の動きベクトルの水平成分と第２制御点の動きベクトルの水平成分との差分を、第１水平成分差分として決定することと、第１制御点の動きベクトルの垂直成分と第２制御点の動きベクトルの垂直成分との差分を、第１垂直成分差分として決定することと、を含み、かつ、第３制御点および第４制御点の動きベクトルどうしの第２水平成分差分および第２垂直成分差分を求めることは、第３制御点の動きベクトルの水平成分と第４制御点の動きベクトルの水平成分との差分を、第２水平成分差分として決定することと、第３制御点の動きベクトルの垂直成分と第４制御点の動きベクトルの垂直成分との差分を、第２垂直成分差分として決定することと、を含む。

第１の態様の第２の可能な実装方式に関連して、第１の態様の第５の可能な実装方式においては、第１制御点と第２制御点とは２つの隣接した画素であり、かつ、第３制御点と第４制御点とは２つの隣接した画素であり、第１制御点および第２制御点の動きベクトルどうしの第１水平成分差分および第１垂直成分差分を求めること、および第３制御点および第４制御点の動きベクトルどうしの第２水平成分差分および第２垂直成分差分を求めることは、重なり合わない画素である第１画素、第２画素および第３画素について、第１画素の動きベクトル、第２画素の動きベクトルおよび第３画素の動きベクトルを求めることと、第１画素と第２画素との間の第２水平距離および第２垂直距離を求めることと、第１画素と第３画素との間の第３水平距離および第３垂直距離を求めることと、第１画素の動きベクトルと、第２画素の動きベクトルと、第３画素の動きベクトルと、第２水平距離と、第２垂直距離と、第３水平距離と、第３垂直距離と、にしたがって、第１水平成分差分、第１垂直成分差分、第２水平成分差分および第２垂直成分差分を求めることと、を含む。

第１の態様の第３ないし第５の可能な実装方式のいずれかに関連して、第１の態様の第６の可能な実装方式においては、動きベクトル差分と、動きベクトル精度と、アフィンピクチャブロック内の制御点どうしの間の距離とにしたがって、アフィンピクチャブロック内のアフィン動き補償ピクチャサブブロックのサイズを決定することは、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして、決定することと、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして、決定することと、を含む。

第１の態様の第３ないし第５の可能な実装方式のいずれかに関連して、動きベクトル差分と、動きベクトル精度と、アフィンピクチャブロック内の制御点どうしの間の距離とにしたがって、アフィンピクチャブロック内のアフィン動き補償ピクチャサブブロックのサイズを決定することは、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比が、あらかじめ定められた第１設定値以上であるとき、この比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定すること、または、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比が、第１設定値未満であるとき、この第１設定値を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定することと、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比が、あらかじめ定められた第２設定値以上であるとき、この比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定すること、または、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比が、第２設定値未満であるとき、この第２設定値を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定することと、を含む。

第１の態様の第１ないし第７の可能な実装方式のいずれかに関連して、第１の態様の第８の可能な実装方式においては、第１制御点と第３制御点とは同一画素である。

第１の態様の第１ないし第８の可能な実装方式のいずれかに関連して、第１の態様の第９の可能な実装方式においては、第１制御点、第２制御点、第３制御点および第４制御点はアフィンピクチャブロックの頂点である。

第１の態様の第７の可能な実装方式に関連して、第１の態様の第１０の可能な実装方式においては、第１設定値は４であり、および／または、第２設定値は４である。

第１の態様のいずれか、または第１の態様の第１ないし第１０の可能な実装方式のいずれかに関連して、第１の態様の第１１の可能な実装方式においては、アフィンピクチャブロックの動きベクトル精度を求めることは、あらかじめ定められた第３設定値をアフィンピクチャブロックの動きベクトル精度として決定すること、または、アフィンピクチャブロックに隣接するピクチャブロックであって、アフィンピクチャブロックに対して空間的および／または時間的に隣接しているピクチャブロックである隣接するピクチャブロック、の特徴にしたがって、アフィンピクチャブロックの動きベクトル精度を求めることを含む。

第１の態様のいずれか、または第１の態様の第１ないし第１１の可能な実装方式のいずれかに関連して、第１の態様の第１２の可能な実装方式においては、アフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して符号化処理を行なうことは、アフィン動き補償ピクチャサブブロックのうち各アフィン動き補償ピクチャサブブロックの動きベクトルを求めることと、各アフィン動き補償ピクチャサブブロックの動きベクトルにしたがって各アフィン動き補償ピクチャサブブロックの動き補償予測信号を求めることと、各アフィン動き補償ピクチャサブブロックの動き補償予測信号にしたがって、各アフィン動き補償ピクチャサブブロックの予測残差信号を求めることと、各アフィン動き補償ピクチャサブブロックの予測残差信号を符号化することと、を含む。

第１の態様の第１２の可能な実装方式に関連して、第１の態様の第１３の可能な実装方式においては、方法は、各アフィン動き補償ピクチャサブブロックの境界における１つまたは複数の列内の画素である、各アフィン動き補償ピクチャサブブロックの境界画素の信号をフィルタリングすること、をさらに含む。

第１の態様の第１３の可能な実装方式に関連して、第１の態様の第１４の可能な実装方式においては、境界画素の信号が、動き補償予測信号および／または再構成された信号を含み、この再構成された信号は、動き補償予測信号と再構成された残差信号との和である。

第２の態様によれば、動画像復号化方法が提供され、この動画像復号化方法は、アフィンピクチャブロックの動きベクトル差分を求めることと、アフィンピクチャブロックの動きベクトル精度を求めることと、動きベクトル差分と、動きベクトル精度と、アフィンピクチャブロック内の制御点であって、動きベクトル差分を決定するために使われる画素である、制御点どうしの間の距離と、にしたがって、アフィンピクチャブロック内のアフィン動き補償ピクチャサブブロックのサイズを決定することと、アフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して復号化処理を行なうことと、を含む。

第２の態様に関連して、第２の態様の第１の可能な実装方式においては、アフィンピクチャブロックの動きベクトル差分を求めることは、同一水平線上に位置している第１制御点および第２制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第１成分を求めることと、同一垂直線上に位置している第３制御点および第４制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第２成分を求めることとを含み、ここで、第１制御点と第２制御点との間には第１水平距離が存在し、かつ、第３制御点と第４制御点との間には第１垂直距離が存在する。

第２の態様の第１の可能な実装方式に関連して、第２の態様の第２の可能な実装方式においては、同一水平線上に位置している第１制御点および第２制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第１成分を求めることは、第１制御点および第２制御点の動きベクトルどうしの第１水平成分差分および第１垂直成分差分を求めることと、第１水平成分差分および第１垂直成分差分のうちいずれか大きいほうを、動きベクトル差分の第１成分として決定することを含み、かつ、同一垂直線上に位置している第３制御点および第４制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第２成分を求めることは、第３制御点および第４制御点の動きベクトルどうしの第２水平成分差分および第２垂直成分差分を求めることと、第２水平成分差分および第２垂直成分差分のうちいずれか大きいほうを、動きベクトル差分の第２成分として決定することを含む。

第２の態様の第２の可能な実装方式に関連して、第２の態様の第３の可能な実装方式においては、方法は、各画素が同一のアフィン変換パラメータをもつアフィンピクチャブロックについて、該アフィンピクチャブロックの１つの画素のアフィン変換パラメータを求めることをさらに含み、第１制御点および第２制御点の動きベクトルどうしの第１水平成分差分および第１垂直成分差分を求めることは、アフィン変換パラメータと第１水平距離とにしたがって、第１水平成分差分および第１垂直成分差分を求めることを含み、かつ、第３制御点および第４制御点の動きベクトルどうしの第２水平成分差分および第２垂直成分差分を求めることは、アフィン変換パラメータと第１垂直距離とにしたがって、第２水平成分差分および第２垂直成分差分を求めることを含む。

第２の態様の第２の可能な実装方式に関連して、第２の態様の第４の可能な実装方式においては、方法は、第１制御点の動きベクトル、第２制御点の動きベクトル、第３制御点の動きベクトルおよび第４制御点の動きベクトルを求めることをさらに含み、第１制御点および第２制御点の動きベクトルどうしの第１水平成分差分および第１垂直成分差分を求めることは、第１制御点の動きベクトルの水平成分と第２制御点の動きベクトルの水平成分との差分を、第１水平成分差分として決定することと、第１制御点の動きベクトルの垂直成分と第２制御点の動きベクトルの垂直成分との差分を、第１垂直成分差分として決定することと、を含み、第３制御点および第４制御点の動きベクトルどうしの第２水平成分差分および第２垂直成分差分を求めることは、第３制御点の動きベクトルの水平成分と第４制御点の動きベクトルの水平成分との差分を、第２水平成分差分として決定することと、第３制御点の動きベクトルの垂直成分と第４制御点の動きベクトルの垂直成分との差分を、第２垂直成分差分として決定することと、を含む。

第２の態様の第２の可能な実装方式に関連して、第２の態様の第５の可能な実装方式においては、第１制御点と第２制御点とは２つの隣接した画素であり、かつ、第３制御点と第４制御点とは２つの隣接した画素であり、第１制御点および第２制御点の動きベクトルどうしの第１水平成分差分および第１垂直成分差分を求めることおよび第３制御点および第４制御点の動きベクトルどうしの第２水平成分差分および第２垂直成分差分を求めることは、重なり合わない画素である第１画素、第２画素および第３画素について、第１画素の動きベクトル、第２画素の動きベクトルおよび第３画素の動きベクトルを求めることと、第１画素と第２画素との間の第２水平距離および第２垂直距離を求めることと、第１画素と第３画素との間の第３水平距離および第３垂直距離を求めることと、第１画素の動きベクトルと、第２画素の動きベクトルと、第３画素の動きベクトルと、第２水平距離と、第２垂直距離と、第３水平距離と、第３垂直距離と、にしたがって、第１水平成分差分、第１垂直成分差分、第２水平成分差分および第２垂直成分差分を求めることと、を含む。

第２の態様の第３ないし第５の可能な実装方式のいずれかに関連して、第２の態様の第６の可能な実装方式においては、動きベクトル差分と、動きベクトル精度と、アフィンピクチャブロック内の制御点どうしの間の距離とにしたがって、アフィンピクチャブロック内のアフィン動き補償ピクチャサブブロックのサイズを決定することは、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして、決定することと、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして、決定することと、を含む。

第２の態様の第３ないし第５の可能な実装方式のいずれかに関連して、第２の態様の第７の可能な実装方式においては、動きベクトル差分と、動きベクトル精度と、アフィンピクチャブロック内の制御点どうしの間の距離とにしたがって、アフィンピクチャブロック内のアフィン動き補償ピクチャサブブロックのサイズを決定することは、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比が、あらかじめ定められた第１設定値以上であるとき、この比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定すること、または、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比が、第１設定値未満であるとき、この第１設定値を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定することと、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比が、あらかじめ定められた第２設定値以上であるとき、この比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定すること、または、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比が、第２設定値未満であるとき、この第２設定値を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定することと、を含む。

第２の態様の第１ないし第７の可能な実装方式のいずれかに関連して、第２の態様の第８の可能な実装方式においては、第１制御点と第３制御点とは同一画素である。

第２の態様の第１ないし第８の可能な実装方式のいずれかに関連して、第２の態様の第９の可能な実装方式においては、第１制御点、第２制御点、第３制御点および第４制御点はアフィンピクチャブロックの頂点である。

第２の態様の第７の可能な実装方式に関連して、第２の態様の第１０の可能な実装方式においては、第１設定値は４である、および／または、第２設定値は４である。

第２の態様のいずれか、または第２の態様の第１ないし第１０の可能な実装方式に関連して、第２の態様の第１１の可能な実装方式においては、アフィンピクチャブロックの動きベクトル精度を求めることは、第３設定値をアフィンピクチャブロックの動きベクトル精度として決定すること、または、アフィンピクチャブロックに隣接するピクチャブロックであって、アフィンピクチャブロックに対して空間的および／または時間的に隣接しているピクチャブロックである隣接するピクチャブロック、の特徴にしたがって、アフィンピクチャブロックの動きベクトル精度を求めることを含む。

第２の態様のいずれか、または、第２の態様の第１ないし第１１の可能な実装方式に関連して、第２の態様の第１２の可能な実装方式においては、アフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して復号化処理を行なうことは、アフィン動き補償ピクチャサブブロックのうち各アフィン動き補償ピクチャサブブロックの動きベクトルを求めることと、各アフィン動き補償ピクチャサブブロックの動きベクトルにしたがって各アフィン動き補償ピクチャサブブロックの動き補償予測信号を求めることと、各アフィン動き補償ピクチャサブブロックの動き補償予測信号にしたがって、各アフィン動き補償ピクチャサブブロックの予測残差信号を求めることと、各アフィン動き補償ピクチャサブブロックの予測残差信号を復号化することと、を含む。

第２の態様の第１２の可能な実装方式に関連して、第２の態様の第１３の可能な実装方式においては、方法は、さらに次のものを含む。各アフィン動き補償ピクチャサブブロックの境界画素の信号をフィルタリングすること、をさらに含み、ここで、境界画素は、各アフィン動き補償ピクチャサブブロックの境界における１つまたは複数の列内の画素である。

第２の態様の第１３の可能な実装方式に関連して、第２の態様の第１４の可能な実装方式においては、境界画素の信号が、動き補償予測信号および／または再構成された信号を含み、この再構成された信号は、動き補償予測信号と再構成された残差信号との和である。

第３の態様によれば、符号化装置が提供され、この符号化装置は、アフィンピクチャブロックの動きベクトル差分を求めるように構成された第１の判定モジュールと、アフィンピクチャブロックの動きベクトル精度を求めるように構成された第２の判定モジュールと、第１の判定モジュールによって求められた動きベクトル差分と、第２の判定モジュールによって求められた動きベクトル精度と、アフィンピクチャブロック内の制御点であって、動きベクトル差分を求めるために用いられる画素である、制御点どうしの間の距離と、にしたがって、アフィンピクチャブロック内のアフィン動き補償ピクチャサブブロックのサイズを決定するように構成された、第３の判定モジュールと、第３の判定モジュールによって決定されたアフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して符号化処理を行なうように構成された、符号化モジュールと、を備えている。

第３の態様に関連して、第３の態様の第１の可能な実装方式においては、第１の判定モジュールは、同一水平線上に位置している第１制御点および第２制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第１成分を求め、かつ、同一垂直線上に位置している第３制御点および第４制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第２成分を求めるように特に構成され、ここで、第１制御点と第２制御点との間には第１水平距離が存在し、かつ、第３制御点と第４制御点との間には第１垂直距離が存在する。

第３の態様の第１の可能な実装方式に関連して、第３の態様の第２の可能な実装方式においては、第１の判定モジュールは、第１制御点および第２制御点の動きベクトルどうしの第１水平成分差分および第１垂直成分差分を求め、第１水平成分差分および第１垂直成分差分のうちいずれか大きいほうを、動きベクトル差分の第１成分として決定し、第３制御点および第４制御点の動きベクトルの間の第２水平成分差分と第２垂直成分差分とを求め、かつ、第２水平成分差分および第２垂直成分差分のうちいずれか大きいほうを、動きベクトル差分の第２成分として決定するように特に構成されている。

第３の態様の第２の可能な実装方式に関連して、第３の態様の第３の可能な実装方式においては、第１の判定モジュールは、各画素が同一のアフィン変換パラメータをもつアフィンピクチャブロックについて、該アフィンピクチャブロックの１つの画素のアフィン変換パラメータを求め、アフィン変換パラメータと第１水平距離とにしたがって第１水平成分差分および第１垂直成分差分を求めて、アフィン変換パラメータと第１垂直距離とにしたがって第２水平成分差分および第２垂直成分差分を求めるように特に構成されている。

第３の態様の第２の可能な実装方式に関連して、第３の態様の第４の可能な実装方式においては、第１の判定モジュールは、第１制御点の動きベクトル、第２制御点の動きベクトル、第３制御点の動きベクトルおよび第４制御点の動きベクトルを求め、第１制御点の動きベクトルの水平成分と第２制御点の動きベクトルの水平成分との間の差分を、第１水平成分差分として決定し、第１制御点の動きベクトルの垂直成分と第２制御点の動きベクトルの垂直成分との間の差分を、第１垂直成分差分として決定し、第３制御点の動きベクトルの水平成分と第４制御点の動きベクトルの水平成分との間の差分を、第２水平成分差分として決定し、第３制御点の動きベクトルの垂直成分と第４制御点の動きベクトルの垂直成分との間の差分を、第２垂直成分差分として決定するように特に構成されている。

第３の態様の第２の可能な実装方式に関連して、第３の態様の第５の可能な実装方式においては、第１制御点と第２制御点とは２つの隣接した画素であり、かつ、第３制御点と第４制御点とは２つの隣接した画素であり、第１の判定モジュールは、重なり合わない画素である第１画素、第２画素および第３画素について、第１画素の動きベクトルと、第２画素の動きベクトルと、第３画素の動きベクトルとを求め、第１画素と第２画素との間の第２水平距離および第２垂直距離を求め、第１画素と第３画素との間の第３水平距離および第３垂直距離を求め、かつ、第１画素の動きベクトルと、第２画素の動きベクトルと、第３画素の動きベクトルと、第２水平距離と、第２垂直距離と、第３水平距離と、第３垂直距離と、にしたがって、第１水平成分差分、第１垂直成分差分、第２水平成分差分および第２垂直成分差分を求めるように特に構成されている。

第３の態様の第３ないし第５の可能な実装方式のいずれかに関連して、第３の態様の第６の可能な実装方式においては、第３の判定モジュールは、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして、決定し、かつ、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして、決定するように特に構成されている。

第３の態様の第３ないし第５の可能な実装方式のいずれかに関連して、第３の態様の第７の可能な実装方式においては、第３の判定モジュールは、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比が、あらかじめ定められた第１設定値以上であるとき、この比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、または、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比が、第１設定値未満であるとき、この第１設定値を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、かつ、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比が、あらかじめ定められた第２設定値以上であるとき、この比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定し、または、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比が、第２設定値未満であるとき、この第２設定値を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定するように特に構成されている。

第３の態様の第１ないし第７の可能な実装方式のいずれかに関連して、第３の態様の第８の可能な実装方式においては、第１制御点と第３制御点とは同一画素である。

第３の態様の第１ないし第８のいずれかの可能な実装方式に関連して、第３の態様の第９の可能な実装方式においては、第１制御点、第２制御点、第３制御点および第４制御点はアフィンピクチャブロックの頂点である。

第３の態様の第７の可能な実装方式に関連して、第３の態様の第１０の可能な実装方式、第１設定値は４であり、および／または、第２設定値は４である。

第３の態様のいずれか、または第３の態様の第１ないし第１０の可能な実装方式に関連して、第３の態様の第１１の可能な実装方式においては、第２の判定モジュールは、あらかじめ定められた第３設定値をアフィンピクチャブロックの動きベクトル精度として決定し、アフィンピクチャブロックに隣接するピクチャブロックであって、アフィンピクチャブロックに対して空間的および／または時間的に隣接しているピクチャブロックである隣接するピクチャブロック、の特徴にしたがって、アフィンピクチャブロックの動きベクトル精度を求めるように特に構成されている。

第３の態様のいずれか、または第３の態様の第１ないし第１１の可能な実装方式のいずれかに関連して、第３の態様の第１２の可能な実装方式においては、符号化モジュールは、アフィン動き補償ピクチャサブブロックのうち各アフィン動き補償ピクチャサブブロックの動きベクトルを求め、各アフィン動き補償ピクチャサブブロックの動きベクトルにしたがって各アフィン動き補償ピクチャサブブロックの動き補償予測信号を求め、かつ、各アフィン動き補償ピクチャサブブロックの動き補償予測信号にしたがって、各アフィン動き補償ピクチャサブブロックの予測残差信号を求めて、各アフィン動き補償ピクチャサブブロックの予測残差信号を符号化するように特に構成されている。

第３の態様の第１２の可能な実装方式に関連して、第３の態様の第１３の可能な実装方式においては、符号化装置は、各アフィン動き補償ピクチャサブブロックの境界画素の信号をフィルタリングするように構成されたフィルタモジュールをさらに備え、ここで、境界画素は、各アフィン動き補償ピクチャサブブロックの境界における１つまたは複数の列内の画素である。

第３の態様の第１３の可能な実装方式に関連して、第３の態様の第１４の可能な実装方式においては、境界画素の信号が、動き補償予測信号および／または再構成された信号を含み、この再構成された信号は、動き補償予測信号と再構成された残差信号との和である。

第４の態様によれば、復号化装置が提供され、この復号化装置は、アフィンピクチャブロックの動きベクトル差分を求めるように構成された第１の判定モジュールと、アフィンピクチャブロックの動きベクトル精度を求めるように構成された第２の判定モジュールと、第１の判定モジュールによって求められた動きベクトル差分と、第２の判定モジュールによって求められた動きベクトル精度と、アフィンピクチャブロック内の制御点であって、動きベクトル差分を求めるために用いられる画素である、制御点どうしの間の距離と、にしたがって、アフィンピクチャブロック内のアフィン動き補償ピクチャサブブロックのサイズを決定するように構成された、第３の判定モジュールと、第３の判定モジュールによって決定されたアフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して復号化処理を行なうように構成された、復号化モジュールと、を備えている。

第４の態様に関連して、第４の態様の第１の可能な実装方式においては、第１の判定モジュールは、同一水平線上に位置している第１制御点および第２制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第１成分を求め、かつ、同一垂直線上に位置している第３制御点および第４制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第２成分を求めるように特に構成され、ここで、第１制御点と第２制御点との間には第１水平距離が存在し、かつ、第３制御点と第４制御点との間には第１垂直距離が存在する

第４の態様の第１の可能な実装方式に関連して、第４の態様の第２の可能な実装方式においては、第１の判定モジュールは、第１制御点および第２制御点の動きベクトルどうしの間の第１水平成分差分および第１垂直成分差分を求め、第１水平成分差分および第１垂直成分差分のうちいずれか大きいほうを、動きベクトル差分の第１成分として決定し、第３制御点および第４制御点の動きベクトルどうしの間の第２水平成分差分および第２垂直成分差分を求め、かつ、第２水平成分差分および第２垂直成分差分のうちいずれか大きいほうを、動きベクトル差分の第２成分として決定するように特に構成されている。

第４の態様の第２の可能な実装方式に関連して、第４の態様の第３の可能な実装方式においては、第１の判定モジュールは、各画素が同一のアフィン変換パラメータをもつアフィンピクチャブロックについて、該アフィンピクチャブロックの１つの画素のアフィン変換パラメータを求め、アフィン変換パラメータと第１水平距離とにしたがって、第１水平成分差分と第１垂直成分差分とを求め、かつ、アフィン変換パラメータと第１垂直距離とにしたがって、第２水平成分差分および第２垂直成分差分を求めるように特に構成されている。

第４の態様の第２の可能な実装方式に関連して、第４の態様の第４の可能な実装方式においては、第１の判定モジュールは、第１制御点の動きベクトル、第２制御点の動きベクトル、第３制御点の動きベクトルおよび第４制御点の動きベクトルを求め、第１制御点の動きベクトルの水平成分と第２制御点の動きベクトルの水平成分との差分を、第１水平成分差分として決定し、第１制御点の動きベクトルの垂直成分と第２制御点の動きベクトルの垂直成分との差分を、第１垂直成分差分として決定し、第３制御点の動きベクトルの水平成分と第４制御点の動きベクトルの水平成分との差分を、第２水平成分差分として決定し、かつ、第３制御点の動きベクトルの垂直成分と第４制御点の動きベクトルの垂直成分との差分を、第２垂直成分差分として決定するように特に構成されている。

第４の態様の第２の可能な実装方式に関連して、第４の態様の第５の可能な実装方式においては、第１制御点と第２制御点とは２つの隣接した画素であり、かつ、第３制御点と第４制御点とは２つの隣接した画素であり、第１の判定モジュールは、重なり合わない画素である第１画素、第２画素および第３画素について、第１画素の動きベクトルと、第２画素の動きベクトルと、第３画素の動きベクトルとを求め、第１画素と第２画素との間の第２水平距離および第２垂直距離を求め、第１画素と第３画素との間の第３水平距離および第３垂直距離を求め、かつ、第１画素の動きベクトルと、第２画素の動きベクトルと、第３画素の動きベクトルと、第２水平距離と、第２垂直距離と、第３水平距離と、第３垂直距離と、にしたがって、第１水平成分差分、第１垂直成分差分、第２水平成分差分および第２垂直成分差分を求めるように特に構成されている。

第４の態様の第３ないし第５の可能な実装方式のいずれかに関連して、第４の態様の第６の可能な実装方式においては、第３の判定モジュールは、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして、決定し、かつ、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして、決定するように特に構成されている。

第４の態様の第３ないし第５の可能な実装方式のいずれかに関連して、第４の態様の第７の可能な実装方式においては、第３の判定モジュールは、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比が、第１設定値以上であるとき、比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、または、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比が、第１設定値未満であるとき、第１設定値を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、かつ、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比が、第２設定値以上であるとき、比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定し、または、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比が、第２設定値未満であるとき、第２設定値を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定するように特に構成されている。

第４の態様の第１ないし第７の可能な実装方式のいずれかに関連して、第４の態様の第８の可能な実装方式においては、第１制御点と第３制御点とは同一画素である。

第４の態様の第１ないし第８の可能な実装方式のいずれかに関連して、第４の態様の第９の可能な実装方式においては、第１制御点、第２制御点、第３制御点および第４制御点はアフィンピクチャブロックの頂点である。

第４の態様の第７の可能な実装方式に関連して、第４の態様の第１０の可能な実装方式においては、第１設定値は４であり、および／または、第２設定値は４である。

第４の態様の第１ないし第１０の可能な実装方式のいずれかに関連して、第４の態様の第１１の可能な実装方式においては、第２の判定モジュールは、あらかじめ定められた第３設定値をアフィンピクチャブロックの動きベクトル精度として決定し、または、アフィンピクチャブロックに隣接するピクチャブロックであって、アフィンピクチャブロックに対して空間的および／または時間的に隣接しているピクチャブロックである隣接するピクチャブロック、の特徴にしたがって、アフィンピクチャブロックの動きベクトル精度を決定するように特に構成されている。

第４の態様の第１ないし第１１の可能な実装方式のいずれかに関連して、第４の態様の第１２の可能な実装方式においては、復号化モジュールは、アフィン動き補償ピクチャサブブロックのうち各アフィン動き補償ピクチャサブブロックの動きベクトルを求め、各アフィン動き補償ピクチャサブブロックの動きベクトルにしたがって各アフィン動き補償ピクチャサブブロックの動き補償予測信号を求め、各アフィン動き補償ピクチャサブブロックの動き補償予測信号にしたがって、各アフィン動き補償ピクチャサブブロックの予測残差信号を求め、かつ、各アフィン動き補償ピクチャサブブロックの予測残差信号を復号化するように特に構成されている。

第４の態様の第１２の可能な実装方式に関連して、第４の態様の第１３の可能な実装方式においては、復号化装置は、各アフィン動き補償ピクチャサブブロックの境界画素の信号をフィルタリングするように構成されたフィルタモジュールをさらに備え、ここで、境界画素は、各アフィン動き補償ピクチャサブブロックの境界における１つまたは複数の列内の画素である。

第４の態様の第１３の可能な実装方式に関連して、第４の態様の第１４の可能な実装方式においては、境界画素の信号が、動き補償予測信号および／または再構成された信号を含み、この再構成された信号は、動き補償予測信号と再構成された残差信号との和である。

前述の技術的解決策に基づいて、本発明の実施形態における動画像符号化方法、動画像復号化方法、符号化装置および復号化装置によれば、アフィンピクチャブロック内のアフィン動き補償ピクチャサブブロックのサイズが、アフィンピクチャブロックの動きベクトル差分と、動きベクトル精度と、制御点どうしの間の距離とにしたがって決定される。このようにして、適切なサイズのピクチャサブブロックが符号化／復号化プロセスにおいて選択されるので、符号化／復号化の複雑度を低減することができ、かつ、符号化／復号化の効率を改善することができる。

本発明の実施形態における技術的解決策をより一層はっきりと記載するために、本発明の実施形態を記載するうえで必要な添付の図面について、以下のとおり簡単に説明しておく。明らかに、以下の説明における添付の図画は、単に本発明の若干の実施形態を示したものであって、当業者は依然として、創作的な取り組みを要することなく、これらの添付の図面から他の図面を導出することがある。

本発明の実施形態に係る動画像符号化方法の概略流れ図である。 本発明の実施形態に係る別の動画像符号化方法の概略流れ図である。 本発明の実施形態に係るさらに別の動画像符号化方法の概略流れ図である。 本発明の実施形態に係るさらに別の動画像符号化方法の概略流れ図である。 本発明の実施形態に係るアフィンピクチャブロックおよび制御点の概略図である。 本発明の実施形態に係るアフィンピクチャブロックにおける３つの重なり合わない画素の概略図である。 本発明の実施形態に係る別のアフィンピクチャブロックの概略図である。 本発明の実施形態に係るさらに別の動画像符号化方法の概略流れ図である。 本発明の実施形態に係るさらに別の動画像符号化方法の概略流れ図である。 本発明の実施形態に係るさらに別の動画像符号化方法の概略流れ図である。 本発明の実施形態に係るさらに別のアフィンピクチャブロックの概略図である。 本発明の実施形態に係る動画像復号化方法の概略流れ図である。 本発明の実施形態に係る別の動画像復号化方法の概略流れ図である。 本発明の実施形態に係るさらに別の動画像復号化方法の概略流れ図である。 本発明の実施形態に係るさらに別の動画像復号化方法の概略流れ図である。 本発明の実施形態に係るさらに別の動画像復号化方法の概略流れ図である。 本発明の実施形態に係るさらに別の動画像復号化方法の概略流れ図である。 本発明の実施形態に係るさらに別の動画像復号化方法の概略流れ図である。 本発明の実施形態に係る符号化装置の概略ブロック図である。 本発明の実施形態に係る別の符号化装置の概略ブロック図である。 本発明の実施形態に係る復号化装置の概略ブロック図である。 本発明の実施形態に係る別の復号化装置の概略ブロック図である。 本発明の別の実施形態に係る符号化装置の概略ブロック図である。 本発明の別の実施形態に係る復号化装置の概略ブロック図である。

以下、本発明の実施形態における技術的解決策について、本発明の実施形態における添付の図面を参照して、明確かつ完全に説明する。明らかに、記載された実施形態は本発明の実施形態のすべてというよりはその一部である。本発明の実施形態に基づいて創作的な取り組みなしに当業者によって得られる他のすべての実施形態が本発明の保護範囲に含まれるべきである。

図１は、本発明の実施形態に係る動画像符号化方法の概略流れ図を示す。図１に示される方法は符号化装置、例えば、エンコーダによって行なわれてもよい。特に、図１に示すように、方法１０００は次のステップを含む。

Ｓ１１００：アフィンピクチャブロックの動きベクトル差分を求める。

Ｓ１２００：アフィンピクチャブロックの動きベクトル精度を求める。

Ｓ１３００：動きベクトル差分、動きベクトル精度、および、アフィンピクチャブロック内の制御点どうしの間の距離にしたがって、アフィン動き補償ピクチャサブブロックのサイズを決定する。なお、制御点は、動きベクトル差分を決定するのに用いられる画素である。

Ｓ１４００：アフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して符号化処理を行う。

具体的には、符号化装置は、求めた制御点にしたがって、アフィンピクチャブロックの動きベクトル差分を求めるとともに、アフィンピクチャブロックの動きベクトル精度を求めたうえで、求めた動きベクトル差分と、求めた動きベクトル精度と、制御点どうしの間の距離とにしたがって、アフィンピクチャブロック内のアフィン動き補償ピクチャサブブロックのサイズを決定して、決定したサイズにしたがって、アフィンピクチャブロックに対して符号化処理を行なう。

したがって、本発明のこの実施形態に係る動画像符号化方法においては、符号化装置は、アフィンピクチャブロックの求めた動きベクトル差分と、求めた動きベクトル精度と、制御点どうしの間の距離とにしたがって、アフィン動き補償ピクチャサブブロックのサイズを決定したうえで、アフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して符号化処理を行なう。このようにして、符号化プロセスにおいて適切なサイズのピクチャサブブロックが選択されるので、符号化の複雑度を低減するとともに符号化の効率を改善することができる。

本発明のこの実施形態においては、「アフィン（Ａｆｆｉｎｅ）ピクチャブロック」とは、全ユニットの動きベクトルが同じアフィンモデル、例えば、同一のパラメータ（例えば、同一グループに属するパラメータ）によって表される同一のアフィンモデルに準拠しているところのピクチャブロックであることが理解されるべきである。ユニットとは、一群の画素であって、例えば１画素であってもよく、または、１×３または２×４のようなブロック構造であってもよい。本発明はこれに限定されるものではない。

本発明のこの実施形態においては、「アフィン動き補償（Ａｆｆｉｎｅ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ、略して「アフィン‐ＭＣ」）ピクチャサブブロック」とは、アフィンピクチャブロックを分割することによって得られ、動き補償予測を行なうために用いられるところのピクチャサブブロックであり、アフィン‐ＭＣピクチャサブブロックは、同じサイズまたは異なるサイズをもつものであってもよいことが理解されるべきである。本発明はこれに限定されるものではない。

本発明のこの実施形態においては、任意の重なり合わない画素がアフィンピクチャブロックの動きベクトル差分を決定するための制御点として選択されてもよいこともまた理解されるべきである。本発明はこれに限定されるものではない。

好ましくは、図２に示すように、Ｓ１１００は以下のステップを含む。

Ｓ１１０１：同一水平線上に位置している第１制御点および第２制御点の動きベクトルどうしの差分にしたがって、動きベクトル差分の第１成分を求める。

Ｓ１１０２：同一垂直線上に位置している第３制御点および第４制御点の動きベクトルどうしの差分にしたがって、動きベクトル差分の第２成分を求める。

第１制御点と第２制御点との間には第１水平距離が存在し、かつ、第３制御点と第４制御点との間には第１垂直距離が存在する。

本発明のこの実施形態においては、動きベクトル差分の第１成分は動きベクトル差分の水平成分であり、かつ、動きベクトル差分の第２成分は動きベクトル差分の垂直成分であることが理解されるべきである。

本発明のこの実施形態においては、「第１」、「第２」、「第３」および「第４」は画素どうしを区別する趣旨にすぎず、本発明の保護範囲に対するいかなる限定とも解釈されるべきでないこともまた理解されるべきである。例えば、第１制御点はあるいは第２制御点とよばれてもよく、また、第２制御点が第１制御点になってもよい。

本発明のこの実施形態においては、任意選択的に、第１制御点と第３制御点とは同一画素とされている。すなわち、選択された制御点の数は３であり、３つの制御点のうちの１つが他の２つの制御点の一方と同一水平線上に位置しており、かつ、２つの制御点の他方と同一垂直線に位置している。

本発明のこの実施形態においては、任意選択的に、第１制御点、第２制御点、第３制御点および第４制御点は、アフィンピクチャブロックの頂点とされている。１つのアフィンピクチャブロックの４つの頂点が、それぞれ、左上隅の頂点、左下隅の頂点、右上隅の頂点および右下隅の頂点と表記されると仮定すると、２つの直交する方向に位置している任意の３つの頂点が、アフィンピクチャブロックの動きベクトル差分を決定するために選択されてもよい。例えば、左上隅の頂点、左下隅の頂点および右上隅の頂点が選択されてもよく、または、左上隅の頂点、右上隅の頂点および右下隅の頂点が選択されてもよい。本発明はこれに限定されるものではない。

本発明のこの実施形態においては、任意選択的に、第１制御点および第２制御点の動きベクトルの２つの方向における成分のうちいずれかの方向における成分どうしの差分が、アフィンピクチャブロックの動きベクトル差分の第１成分として決定されてもよく、かつ、第３制御点および第４制御点の動きベクトルの２つの方向の成分のうちいずれかの方向における成分どうしの差分が、アフィンピクチャブロックの動きベクトル差分の第２成分として決定されてもよく、または、符号化の複雑度と符号化の効率とに関する実際の要求事項に応じて、第１制御点および第２制御点の動きベクトルの２方向の成分どうしの２つの差分の間の数値が第１成分として決定さてもよく、かつ、第３制御点および第４制御点の動きベクトルの２方向の成分どうしの２つの差分の間の数値が第２成分として決定されてもよい。本発明はこれに限定されるものではない。

任意選択的に、図３に示すように、Ｓ１１０１は特に以下のステップを含む。

Ｓ１１０３：第１制御点および第２制御点の動きベクトルどうしの第１水平成分差分および第１垂直成分差分を求める。

Ｓ１１０４：第１水平成分差分および第１垂直成分差分のうちいずれか大きいほうを、動きベクトル差分の第１成分として決定する。

これに対応して、図４に示すように、Ｓ１１０２は特に以下のステップを含む。

Ｓ１１０５：第３制御点および第４制御点の動きベクトルどうしの第２水平成分差分および第２垂直成分差分を求める。

Ｓ１１０６：第２水平成分差分および第２垂直成分差分のうちいずれか大きいほうを、動きベクトル差分の第２成分として決定する。

すなわち、ｖｘ（ｘ，ｙ）とｖｙ（ｘ，ｙ）が位置（ｘ，ｙ）における画素の動きベクトルの水平成分と垂直成分とをそれぞれ示すために用いられる場合、アフィンピクチャブロックの動きベクトル差分は、式（１）および式（２）にしたがって決定されてもよい。

ここで、ｍａｘは最大値を表し、Δｍｖ_horはアフィンピクチャブロックの動きベクトル差分の水平成分を表し、Δｍｖ_verはアフィンピクチャブロックの動きベクトル差分の垂直成分を表し、ｗは第１制御点と第２制御点との間の第１水平距離を表し、ｈは第３制御点と第４制御点との間の第１垂直距離を表す。

本発明のこの実施形態においては、任意選択的に、アフィンピクチャブロックの画素のアフィン変換パラメータが決定されてもよく、アフィンピクチャブロック内の画素が同一のアフィン変換パラメータをもつ。

これに対応して、Ｓ１１０３は特に、アフィン変換パラメータと第１水平距離とにしたがって第１水平成分差分および第１垂直成分差分を求める。

Ｓ１１０５は特に、アフィン変換パラメータと第１垂直距離とにしたがって第２水平成分差分および第２垂直成分差分を求める。

前述のプロセスのシーケンス番号が実行順序を意味しないことが理解されるべきである。プロセスの実行順序はプロセスの機能および内部ロジックにしたがって決定されるべきであって、本発明の実施形態の実施プロセスに対するいかなる限定とも解釈されるべきではない。

本発明のこの実施形態においては、任意選択的に、アフィン変換モデルは従来技術における６パラメータのアフィン変換モデルであってもよく、または、４パラメータもしくは２パラメータのアフィン変換モデルであってもよい。６パラメータのアフィン変換モデルでは（ｘ，ｙ）は現在の画像における画素Ｐの座標であり、（ｘ’，ｙ’）は参照画像であって画素Ｐに一致する画素Ｐ’の座標であり、かつ、ａ、ｂ、ｃ、ｄ、ｅおよびｆはアフィン変換パラメータであると仮定する。アフィン変換パラメータが既知である場合、参照画像における画素（ｘ，ｙ）の位置（ｘ’，ｙ’）を得てもよく、したがって、画素の予測信号が参照画像から取得されてもよい。

一般に、ピクチャブロック内の幾つかの画素の動きベクトルに応じた計算によってアフィン変換パラメータを得てもよく、動きベクトルの水平成分および垂直成分はそれぞれ式（５）および式（６）によって表されてもよい。

式（３）を式（５）に代入するとともに式（４）を式（６）に代入して、それぞれ式（７）および式（８）に示すように、座標（ｘ、ｙ）をもつ画素の動きベクトルの水平成分および垂直成分を得る。

式（７）を式（１）代入するとともに式（８）を式（２）に代入すると、式（１）および式（２）はそれぞれ式（９）および式（１０）に変換される。

アフィン変換パラメータａ、ｂ、ｃおよびｄならびに制御点どうしの間の距離を求めることにより、アフィンピクチャブロックの動きベクトル差分の第１成分と第２成分とを求めてもよい。

４パラメータのアフィン変換モデルまたは２パラメータのアフィン変換モデルを利用した場合の動きベクトル差分を求める方法は、６パラメータのアフィン変換モデルを利用した場合のそれと本質的に同様であることが理解されるべきである。簡潔さのために、詳細はここでは再度説明しない。

本発明のこの実施形態においては、任意選択的に、符号化プロセスにおいて、アフィン変換パラメータは、例えば、各パラメータを繰り返し計算することにより、例えば、パラメータａに１を加算してモデル内の動き補償予測信号が最適か否かを判定することにより、取得されてもよい。代替的には、アフィン変換パラメータは隣接するアフィンピクチャブロックのアフィン変換パラメータにしたがって導出することにより取得されてもよい。しかしながら、本発明はこれに限定されるものではない。

本発明のこの実施形態においては、任意選択的に、第１制御点の動きベクトル、第２制御点の動きベクトル、第３制御点の動きベクトルおよび第４制御点の動きベクトルが決定されてもよい。

これに対応して、Ｓ１１０３は特に、第１制御点の動きベクトルの水平成分と第２制御点の動きベクトルの水平成分との差分を第１水平成分差分として決定するとともに、第１制御点の動きベクトルの垂直成分と第２制御点の動きベクトルの垂直成分との差分を第１垂直成分差分として決定する。

Ｓ１１０５は特に、第３制御点の動きベクトルの水平成分と第４制御点の動きベクトルの水平成分との間の差分を第２水平成分差分として決定するとともに、第３制御点の動きベクトルの垂直成分と第４制御点の動きベクトルの垂直成分との差分を第２垂直成分差分として決定する。

具体的には、制御点の動きベクトルは直接的に決定されてもよい。動きベクトルの成分の間の差分を計算することにより、アフィンピクチャブロックの動きベクトル差分の第１成分および第２成分が直接的に取得されてもよい。

例えば、図５は、本発明の実施形態に係るアフィンピクチャブロックおよび制御点の概略図である。２つの制御点Ａおよび制御点Ｂが距離ｗをもちつつ同一水平線上にある。２つの制御点Ｃおよび制御点Ｄが距離ｈをもちつつ同一垂直線上にある。制御点Ａ、Ｂ、ＣおよびＤの動きベクトルが既知である場合、アフィンピクチャブロックの動きベクトル差分の第１成分および第２成分を式（１１）および式（１２）にしたがって求めてもよい。

本発明のこの実施形態においては、任意選択的に、制御点Ａと制御点Ｃとが同一画素であってもよい。

本発明のこの実施形態においては、任意選択的に、制御点Ａ、Ｂ、ＣおよびＤは、アフィンピクチャブロックの頂点であってもよい。この場合、制御点Ａと制御点Ｂとの間の距離はアフィンピクチャブロックの幅Ｗであり、制御点Ｃと制御点Ｄとの間の距離はアフィンピクチャブロックの高さＨである。

本発明のこの実施形態においては、任意選択的に、第１制御点と第２制御点とは２つの隣接した画素であり、かつ、第３制御点と第４制御点とは２つの隣接した画素である。

Ｓ１１０３およびＳ１１０５は特に、第１画素の動きベクトル、第２画素の動きベクトルおよび第３画素の動きベクトルと、を求め（ここで、第１画素、第２画素および第３画素は重なり合わない画素である）、第１画素と第２画素との間の第２水平距離および第２垂直距離を求め、第１画素と第３画素との間の第３水平距離および第３垂直距離を求めるとともに、第１画素の動きベクトルと、第２画素の動きベクトルと、第３画素の動きベクトルと、第２水平距離と、第２垂直距離と、第３水平距離と、第３垂直距離とにしたがって、第１水平成分差分、第１垂直成分差分、第２水平成分差分および第２垂直成分差分を求めるものである。

具体的には、Ａ、ＢおよびＣがピクチャブロック内の３つの重なり合わない画素であると仮定すると、これら３つの画素の位置は図６に示すとおりであり、３つの画素の動きベクトルは、それぞれ、（ｖｘ_A，ｖｙ_A）、（ｖｘ_B，ｖｙ_B）および（ｖｘ_C，ｖｙ_C）である。画素Ａと画素Ｂとの間の水平方向の距離はｗ₁であり、垂直方向における距離はｈ₁である。画素Ａと画素Ｃとの間の水平方向の距離はｗ₂であり、垂直方向における距離はｈ₂である。画素Ｂと画素Ｃとの間の水平方向の距離はｗ₂−ｗ₁であり、垂直方向における距離はｈ₁＋ｈ₂である。水平方向における２つの隣接した画素の動きベクトルの水平成分の差分がそれぞれΔｍｖｘ_horおよびΔｍｖｙ_horであると仮定し、また、垂直方向における２つの隣接した画素の動きベクトルの垂直成分の差分がそれぞれΔｍｖｘ_verおよびΔｍｖｙ_verであると仮定する。ピクチャブロックの動きベクトルは線形的に変化するので、Δｍｖｘ_hor、Δｍｖｙ_hor、Δｍｖｘ_verおよびΔｍｖｙ_verは、画素Ａ、ＢおよびＣの動きベクトルを求めることによって求めてもよい。このようにして、ピクチャブロックにおける隣接した画素の動きベクトル差分を求めてもよく、特に、式（１３）ないし式（１６）にしたがって求めてもよい。

または、式（１３）および式（１４）ならびに式（１７）および式（１８）にしたがって求めてもよい。

本発明のこの実施形態においては、任意選択的に、符号化装置は、動き推定探索を行なうことによって、すべての制御点の動きベクトルを取得してもよいし、隣接したピクチャブロックからすべての制御点の動きベクトルを取得してもよいし、アフィン変換モデルにしたがって、すべての制御点の動きベクトルを計算してもよいし、動き推定探索を行なうことによって、一部の制御点の動きベクトルを取得したうえで隣接したピクチャブロックから他の制御点の動きベクトルを取得してもよいし、アフィン動き推定探索を行なうことによって、一部の制御点の動きベクトルを取得したうえでアフィン変換モデルにしたがって計算を行うことにより他の制御点の動きベクトルを取得してもよく、または、隣接したピクチャブロックから一部の制御点の動きベクトルを取得した上でアフィン変換モデルにしたがって他の制御点の動きベクトルを計算してもよい。しかしながら、本発明はこれに限定されるものではない。

任意選択的に、Ｓ１２００において、あらかじめ定められた第３設定値が、アフィンピクチャブロックの動きベクトル精度として決定されてもよく、または、アフィンピクチャブロックの動きベクトル精度は、アフィンピクチャブロックに隣接したピクチャブロックの特徴にしたがって決定されてもよい（ここで、「隣接したピクチャブロック」とは、アフィンピクチャブロックに対して空間的および／または時間的に隣接しているピクチャブロックである）。

具体的には、アフィンピクチャブロックの動きベクトルの値は整数であってもよい。この場合、動きベクトルは整数画素精度をもつ、すなわち、画素精度は１である。代替的には、動きベクトルの値は整数でなくてもよい。この場合、動きベクトルは、１／２、１／４、または１／８のような精度を含むサブピクセル精度をもつ。図７は、４×４ピクチャブロックを示し、同図中、×は整数画素位置にある画素を示し、撮影された画像は整数画素位置にある画素のみをもつ。Ｏは、１／２の精度位置にあり、整数画素位置における画素を補間することによって取得される必要がある画素を示す。他の精度位置における画素の値は、さらに整数画素精度位置における画素または１／２精度位置における画素を補間することによって取得される必要がある。現在の画素の動きベクトルが整数である場合、動きベクトルは参照画像内で×の位置をさし示す。現在の画素の動きベクトルが１／２の精度をもつ場合、動きベクトルは参照画像内でＯの位置をさし示す。

アフィンピクチャブロックの動きベクトル精度はすべてのアフィンピクチャブロックにおける画素の動きベクトルのうち最も高い精度である。アフィンピクチャブロックの動きベクトル精度はあらかじめ設定されていてもよく、例えば、整数画素精度または１／２、１／４、１／８もしくは１／１６のような精度であってもよい。代替的に、動きベクトル精度は、アフィンピクチャブロックに隣接しているピクチャブロックの特徴にしたがって求めてもよい。例えば、隣接した画像が比較的平滑である場合、現在のアフィンピクチャブロックが同じく比較的平滑であると予測されてもよい。したがって、１／８または１／１６の精度のようなより一層高い動きベクトル精度が選択されてもよい。そうでなければ、整数画素精度または１／２の精度のようなより低い動きベクトル精度が選択されてもよい。取得された精度は、ＭｖＡｃで表される。

任意選択的に、図８に示すように、Ｓ１３００は特に以下のステップを含む。

Ｓ１３０１：動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定する。

Ｓ１３０２：動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定する。

具体的には、一般的に得られる動きベクトル差分Δｍｖ_horおよびΔｍｖ_verは比較的小さく、各画素の動きベクトルの精度が過剰に高い、例えば１／３２または１／６４であることを示している。過剰に高い動きベクトル精度は、ほとんど動画像の圧縮効率を促進する要因とならず、膨大な量の計算の原因となる。したがって、アフィンピクチャブロックは、各アフィン‐ＭＣピクチャサブブロックの動きベクトル精度がＭｖＡｃに達することを確実にするために、すでに得られた予想動きベクトル精度ＭｖＡｃにしたがって複数のアフィン‐ＭＣピクチャサブブロックに分割される。

本発明のこの実施形態においては、任意選択的に、第１制御点と第２制御点との間の水平距離がｗ、第３制御点と第４制御点との間の垂直距離がｈ、アフィン‐ＭＣピクチャサブブロックの幅がａＭｃＷ、かつ、アフィン‐ＭＣピクチャサブブロックの高さがａＭｃＨであると仮定すると、ａＭｃＷおよびａＭｃＨは式（１９）にしたがって求めてもよい。

および

これは、

および

と等価である。

本発明のこの実施形態においては、任意選択的に、第１制御点、第２制御点、第３制御点および第４制御点がアフィンピクチャブロックの頂点であるとき、第１制御点と第２制御点の間の水平距離はアフィンピクチャブロックの幅Ｗでああり、かつ、第３制御点と第４制御点との間の垂直距離はアフィンピクチャブロックの高さＨである。この場合、アフィン‐ＭＣピクチャサブブロックの幅ａＭｃＷおよび高さａＭｃＨは、式（２０）にしたがって求めてもよい。

これは、

および

と等価である。

本発明のこの実施形態においては、任意選択的に、第１制御点と第２制御点とが隣接した制御点であり、かつ、第３制御点と第４制御点とが隣接した制御点であるとき、第１制御点と第２制御点との間の第１水平距離は１である、すなわち、第１制御点は第２制御点から画素の整数量で分離されており、第３制御点と第４制御点の間の第１垂直距離は１である、すなわち、第３制御点は第４制御点から画素の整数量で分離されている。この場合、式（１９）は式（２１）に単純化されていてもよい。

これは、

および

と等価である。

したがって、本発明のこの実施形態係る動画像符号化方法においては、符号化装置はアフィンピクチャブロックの求めた動きベクトル差分と、求めた動きベクトル精度と、制御点どうしの間の距離とにしたがって、アフィン動き補償ピクチャサブブロックのサイズを決定して、アフィン動き補償ピクチャサブブロックのサイズに応じてアフィンピクチャブロックに対して符号化処理を行なう。このようにして、適切なサイズのピクチャサブブロックが符号化プロセスにおいて選択されるので、符号化の複雑度を低減することができるとともに符号化効率を改善することができる一方、アフィン変換における動き補償予測の効率は維持される。

任意選択的に、図９に示すように、Ｓ１３００は以下のステップを含む。

Ｓ１３０３：動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比があらかじめ定められた第１設定値以上であるとき、この比をアフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、または、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比が第１設定値未満であるとき、この第１設定値をアフィン動き補償ピクチャサブブロックの水平方向長さとして決定する。

Ｓ１３０４：動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比があらかじめ定められた第２設定値以上であるとき、この比をアフィン動き補償ピクチャサブブロックの垂直方向長さとして決定し、または、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比が第２設定値未満であるとき、この第２設定値をアフィン動き補償ピクチャサブブロックの垂直方向長さとして決定する。

具体的には、符号化プロセスにおけるハードウェア実装に関しては、アフィン‐ＭＣピクチャサブブロックの幅および高さに対して下限値が設定されてもよい。計算された幅または高さがあらかじめ設定された下限値未満であるとき、これらのあらかじめ設定された下限値がアフィン‐ＭＣピクチャサブブロックの幅および高さとして決定される。好ましくは、下限値は４に設定されてもよいが、実際の要求事項に応じて別の数値に設定されてもよい。例えば、幅の下限値が２に設定されかつ高さの指定値が３に設定される。または、幅の下限値が１に設定されかつ高さの指定値が２に設定される。本発明はこれに限定されるものではない。

任意選択的に、図１０に示すように、Ｓ１４００は以下のステップを含む。

Ｓ１４０１：アフィン動き補償ピクチャサブブロックのうち各アフィン動き補償ピクチャサブブロックの動きベクトルを決定する。

Ｓ１４０２：各アフィン動き補償ピクチャサブブロックの動きベクトルにしたがって、各アフィン動き補償ピクチャサブブロックの動き補償予測信号を求める。

Ｓ１４０３：各アフィン動き補償ピクチャサブブロックの動き補償予測信号にしたがって、各アフィン動き補償ピクチャサブブロックの予測残差信号を求める。

Ｓ１４０４：各アフィン動き補償ピクチャサブブロックの予測残差信号を符号化する。

本発明のこの実施形態においては、各アフィン‐ＭＣピクチャサブブロックが複数の画素を含んでいてもよく、１つの画素の動きベクトルを、各アフィン‐ＭＣピクチャサブブロックから、アフィン‐ＭＣピクチャサブブロックの動きベクトルとして選択する必要があることが理解されるべきである。

任意選択的に、Ｓ１４０１において、アフィン‐ＭＣピクチャサブブロックの中心位置における画素の動きベクトルがアフィン‐ＭＣピクチャサブブロックの動きベクトルとして選択されてもよい。アフィン‐ＭＣピクチャサブブロックのすべての画素の動きベクトルの平均値がアフィン‐ＭＣピクチャサブブロックの動きベクトルとして用いられてもよい。または、アフィン‐ＭＣピクチャサブブロックの左上隅における画素の動きベクトルがアフィン‐ＭＣピクチャサブブロックの動きベクトルとして選択されてもよい。しかしながら、本発明はこれに限定されるものではない。

本発明のこの実施形態においては、任意選択的に、各アフィン動き補償ピクチャサブブロックの境界画素の信号がフィルタリングされ、これらの境界画素は各アフィン動き補償ピクチャサブブロックの境界における１つまたは複数の列にある画素である。

本発明のこの実施形態においては、任意選択的に、境界画素の信号は動き補償予測信号および／または再構成された信号を含み、この再構成された信号は、動き補償予測信号と再構成された残差信号との和である。

具体的には、図１１に示すように、太い実線のブロックがアフィンピクチャブロックを示し、細い実線のブロックがアフィン‐ＭＣピクチャサブブロックを示し、破線のブロックが隣接したアフィン‐ＭＣピクチャサブブロックの境界における画素を示し、十字が画素を示す。図１１における破線ブロックの領域は、アフィン‐ＭＣピクチャサブブロックの境界における２つの行または２つの列内で隣接したアフィン‐ＭＣピクチャサブブロックの画素を含むが、または、１つの行または１つの列を含んでもよく、または、アフィン‐ＭＣピクチャサブブロックの境界における３つの行または３つの列を含んでもよい。隣接したアフィン‐ＭＣピクチャサブブロックの動きベクトルが異なっていてもよいのであるから、参照画像から得られた予測信号は参照画像においては互いに隣接していない。このことは隣接したアフィン‐ＭＣピクチャサブブロックの境界において予測信号の不連続を生じさせ、したがって、残差の不連続を生じさせて残差の符号化の効率に影響を与える。それゆえ、アフィン‐ＭＣピクチャサブブロックの境界における動き補償予測信号をフィルタリングすることが考慮される。

再構成された信号は、一般に、動き補償予測信号に、再構成された残差信号を加えることによって取得される。一般に、ロッシー符号化が残差信号のために利用される。これは再構成された残差信号ともとの残差信号との間に歪みを生じさせる。隣接したアフィン‐ＭＣピクチャサブブロックの境界における画素の歪み方向は一貫していないこともある。例えば、第１のアフィン‐ＭＣピクチャサブブロックの右の画素が歪みのためにより大きくなり、かつ、右に隣接したアフィン‐ＭＣピクチャサブブロックの左の画素が歪みのためにより小さくなる。このことは、アフィン‐ＭＣピクチャサブブロックの再構成された画素の境界において画素値の不連続を生じさせ、主観的および客観的なエフェクトを損なう。それゆえ、再構成された信号をフィルタリングする必要がある。

本発明のこの実施形態においては、任意選択的に、フィルタリングは、周辺領域内の画素値がより一層円滑に変化するように、低域フィルタを利用して行われてもよい。例えば、フィルタリングはガウスフィルタを用いて行なわれる。しかしながら、本発明はこれに限定されるものではない。

本発明のこの実施形態においては、任意選択的に、オーバーラップブロック動き補償（Ｏｖｅｒｌａｐｐｅｄ ｂｌｏｃｋ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ、略して「ＯＢＭＣ」）の方法を利用してフィルタリングを行ってもよい。フィルタリング対象画素に隣接するアフィン‐ＭＣピクチャサブブロックの動きベクトルを用いることにより動き補償予測をフィルタリング対象画素に対して行い、得られた動き補償予測信号と、フィルタリング対象画素の動きベクトルを用いることにより得られた動き補償予測信号とに対して加重平均を行うことで、最終的な動き補償予測信号が得られる。

従来の技術と比較した本発明のこの実施形態の有益な効果をよりよく証明するため、符号化を行うにあたり本発明のこの実施形態の方法および従来技術の方法が利用された場合の符号化の複雑度および符号化の効率を検証する目的でＬＤＰテストストラクチャが利用される。結果を表１に示す。

表１からわかるように、本発明のこの実施形態における動画像符号化方法を用いることで、符号化の効率を改善するとともに符号化の時間を短縮することができる。

したがって、本発明のこの実施形態に係る動画像符号化方法においては、符号化装置が、アフィンピクチャブロックの求めた動きベクトル差分と、求めた動きベクトル精度と、制御点どうしの間の距離とにしたがって、アフィン動き補償ピクチャサブブロックのサイズを決定したうえで、アフィン動き補償ピクチャサブブロックのサイズにしたがってアフィンピクチャブロックに対して符号化処理を行なう。このようにして、符号化プロセスにおいて適切なサイズのピクチャサブブロックが選択されるので、符号化の複雑度を低減することができるとともに符号化の効率を改善することができる。

本発明のこの実施形態に係る動画像符号化方法について、以上、図１ないし図１１を参照して詳細に説明した。本発明の実施形態に係る動画像復号化方法については、以下、図１２ないし図１８を参照して詳細に説明する。デコーダの関連した動作は本質的にエンコーダの動作と整合的であることが留意されるべきである。反復を避けるために、詳細はここでは再度説明しない。

図１２は、本発明の実施形態に係る動画像復号化方法の概略流れ図を示す。図１２に示される方法は復号化装置、例えば、デコーダによって行なわれてもよい。特に、図１２に示すように、方法２０００は次のステップを含む。

Ｓ２１００。アフィンピクチャブロックの動きベクトル差分を求める。

Ｓ２２００。アフィンピクチャブロックの動きベクトル精度を求める。

Ｓ２３００：動きベクトル差分、動きベクトル精度およびアフィンピクチャブロック内の制御点どうしの間の距離にしたがって、アフィン動き補償ピクチャサブブロックのサイズを決定する（ここで、制御点は、動きベクトル差分を求めるのに用いられる画素である）。

Ｓ２４００：アフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して復号化処理を行なう。

具体的には、復号化装置は求めた制御点にしたがってアフィンピクチャブロックの動きベクトル差分を求め、アフィンピクチャブロックの動きベクトル精度を求め、求めた動きベクトル差分、求めた動きベクトル精度および制御点どうしの間の距離にしたがって、アフィンピクチャブロックにおけるアフィン動き補償ピクチャサブブロックのサイズを決定して、この決定したサイズにしたがって、アフィンピクチャブロックに対して復号化処理を行なう。

したがって、本発明のこの実施形態による動画像復号化方法においては、復号化装置は、アフィンピクチャブロックの求めた動きベクトル差分と、求めた動きベクトル精度と、制御点どうしの間の距離とにしたがって、アフィン動き補償ピクチャサブブロックのサイズを決定して、この決定したサイズにしたがって、アフィンピクチャブロックに対して復号化処理を行なう。このようにして、復号化プロセスにおいて適切なサイズのピクチャサブブロックが選択されるので、復号化の複雑度を低減することができるとともに復号化の効率を改善することができる。

好ましくは、図１３に示すように、Ｓ２１００は以下のステップを含む。

Ｓ２１０１：同一水平線上に位置している第１制御点および第２制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第１成分を求める。

Ｓ２１０２：同一垂直線上に位置している第３制御点および第４制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第２成分を求める。

第１制御点と第２制御点との間には第１水平距離が存在し、第３制御点と第４制御点との間には第１垂直距離が存在する。

本発明のこの実施形態においては、動きベクトル差分の第１成分が動きベクトル差分の水平成分であり、かつ、動きベクトル差分の第２成分が動きベクトル差分の垂直成分であることが理解されるべきである。

任意選択的に、図１４に示すように、Ｓ２１０１は特に以下のステップを含む。

Ｓ２１０３：第１制御点および第２制御点の動きベクトルどうしの第１水平成分差分および第１垂直成分差分を求める。

Ｓ２１０４：第１水平成分差分および第１垂直成分差分のうち大きいほうを、動きベクトル差分の第１成分として決定する。

これに対応して、図１５に示すように、Ｓ２１０２は特に以下のステップを含む。

Ｓ２１０５：第３制御点および第４制御点の動きベクトルどうしの第２水平成分差分および第２垂直成分差分を求める。

Ｓ２１０６：第２水平成分差分および第２垂直成分差分のうち大きいほうを、動きベクトル差分の第２成分として決定する。

本発明のこの実施形態においては、任意選択的に、アフィンピクチャブロック内の画素のアフィン変換パラメータを求めてもよく、アフィンピクチャブロックの画素は同一のアフィン変換パラメータをもつ。

これに対応して、Ｓ２１０３は特に、アフィン変換パラメータと第１水平距離とにしたがって、第１水平成分差分および第１垂直成分差分を求める。

Ｓ２１０５は特に、アフィン変換パラメータと第１垂直距離とにしたがって、第２水平成分差分および第２垂直成分差分を求める。

本発明のこの実施形態においては、任意選択的に、第１制御点の動きベクトル、第２制御点の動きベクトル、第３制御点の動きベクトルおよび第４制御点の動きベクトルを求めてもよい。

これに対応して、Ｓ２１０３は特に、第１制御点の動きベクトルの水平成分と第２制御点の動きベクトルの水平成分との間の差分を、第１水平成分差分として決定し、かつ、第１制御点の動きベクトルの垂直成分と第２制御点の動きベクトルの垂直成分との間の差分を、第１垂直成分差分として決定する。

Ｓ２１０５は特に、第３制御点の動きベクトルの水平成分と第４制御点の動きベクトルの水平成分との間の差分を、第２水平成分差分として決定し、かつ、第３制御点の動きベクトルの垂直成分と第４制御点の動きベクトルの垂直成分との間の差分を、第２垂直成分差分として決定する。

本発明のこの実施形態においては、任意選択的に、第１制御点および第２制御点は２つの隣接した画素であり、かつ、第３制御点および第４制御点は２つの隣接した画素である。

Ｓ２１０３およびＳ２１０５は特に、第１画素の動きベクトル、第２画素の動きベクトルおよび第３画素の動きベクトル（ここで、第１画素、第２画素および第３画素は重なり合わない画素である）を求め、第１画素と第２画素との間の第２水平距離および第２垂直距離を求め、第１画素と第３画素との間の第３水平距離および第３垂直距離を求めたうえで、第１画素の動きベクトル、第２画素の動きベクトル、第３画素の動きベクトル、第２水平距離、第２垂直距離、第３水平距離および第３垂直距離にしたがって、第１水平成分差分、第１垂直成分差分、第２水平成分差分および第２垂直成分差分を求める。

本発明のこの実施形態においては、任意選択的に、復号化装置は、ビットストリームを解析することによって、すべての制御点の動きベクトルを取得してもよく、隣接したピクチャブロックからすべての制御点の動きベクトルを取得してもよく、アフィン変換モデルにしたがって、すべての制御点の動きベクトルを計算してもよく、ビットストリームを解析することによって、いくつかの制御点の動きベクトルを取得して、隣接したピクチャブロックから他の制御点の動きベクトルを取得してもよく、ビットストリームを解析することによって、いくつかの制御点の動きベクトルを取得して、アフィン変換モデルによる計算を通じて、他の制御点の動きベクトルを獲得してもよく、または、隣接したピクチャブロックからいくつかの制御点の動きベクトルを得て、アフィン変換モデルにしたがって、他の制御点の動きベクトルを計算してもよい。しかしながら、本発明はこれに限定されるものではない。

任意選択的に、Ｓ２２００において、あらかじめ定められた第３設定値を、アフィンピクチャブロックの動きベクトル精度として決定してもよく、または、アフィンピクチャブロックの動きベクトル精度は、アフィンピクチャブロックに隣接しているピクチャブロックの特徴にしたがって求められる（ここで、隣接したピクチャブロックは、空間的におよび／または時間的にアフィンピクチャブロックに隣接しているピクチャブロックである）。

任意選択的に、図１６に示すように、Ｓ２３００は特に以下のステップを含む。

Ｓ２３０１：動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして、決定する。

Ｓ２３０２：動きベクトル差分の第２成分に対する動きベクトル精度と第１垂直距離と積の比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定する。

任意選択的に、図１７に示すように、Ｓ２３００は以下のステップを含む。

Ｓ２３０３：動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比があらかじめ定められた第１設定値以上であるとき、この比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、または、動きベクトル散文の水平成分に対する動きベクトル精度と第１水平距離との積の比が第１設定値よりも小さいとき、この第１設定値をアフィン動き補償ピクチャサブブロックの水平方向長さとして決定する。

Ｓ２３０４：動きベクトル差分の垂直成分に対する動きベクトル精度と第１垂直距離との積の比があらかじめ定められた第２設定値以上であるとき、この比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定し、または、動きベクトル差分の垂直成分に対する動きベクトル精度と第１垂直距離との積の比が第２設定値よりも小さいとき、この第２設定値をアフィン動き補償ピクチャサブブロックの垂直方向長さとして決定する。

任意選択的に、図１８に示すように、Ｓ２４００は以下のステップを含む。

Ｓ２４０１：アフィン動き補償ピクチャサブブロックのうち各アフィン動き補償ピクチャサブブロックの動きベクトルを求める。

Ｓ２４０２：各アフィン動き補償ピクチャサブブロックの動きベクトルにしたがって各アフィン動き補償ピクチャサブブロックの動き補償予測信号を求める。

Ｓ２４０３：各アフィン動き補償ピクチャサブブロックの動き補償予測信号にしたがって、各アフィン動き補償ピクチャサブブロックの予測残差信号を求める。

Ｓ２４０４：各アフィン動き補償ピクチャサブブロックの予測残差信号を復号化する。

本発明のこの実施形態においては、任意選択的に、各アフィン動き補償ピクチャサブブロックの境界画素の信号がフィルタリングされ、これらの境界画素は、各アフィン動き補償ピクチャサブブロックの境界における１つまたは複数の行内の画素である。

本発明のこの実施形態においては、任意選択的に、境界画素の信号は、動き補償予測信号および／または再構成された信号を含み、再構成された信号は、動き補償予測信号と再構成された残差信号との和である。したがって、本発明のこの実施形態による動画像復号化方法においては、復号化装置は、アフィンピクチャブロックの求めた動きベクトル差分と、動きベクトル精度と、制御点どうしの間の距離とにしたがって、アフィン動き補償ピクチャサブブロックのサイズを決定して、決定したサイズにしたがって、アフィンピクチャブロックに対して復号化処理を行なう。このようにして、復号化プロセスにおいて適切なサイズのピクチャサブブロックが選択されるので、復号化の複雑度を低減することができるとともに復号化効率を改善することができる。

任意選択的に、本発明の復号化方法はまた、
動きベクトルを得るためにビットストリームを解析して、アフィンピクチャブロックの差分とアフィンの動きベクトル精度とを取得し（ここで、アフィンピクチャブロックの画素は同一のアフィン変換パラメータをもつ）、
動きベクトル差分と、動きベクトル精度とアフィンピクチャブロックにおける制御点どうしの間の距離とにしたがって、アフィンピクチャブロックにおけるアフィン動き補償ピクチャサブブロックの大きさを決定し（ここで、制御点は、動きベクトル差分を決定するのに用いられる画素である）、かつ、アフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して復号化処理を行なうものであってもよい。

代替的に、復号化方法は、
ビットストリームを解析してアフィンピクチャブロック情報を取得し、
アフィンピクチャブロック情報にしたがって、アフィンピクチャブロックにおけるアフィン動き補償ピクチャサブブロックのサイズを決定して、
アフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して復号化処理を行なうものであってもよい。

このようにして、デコーダは、再計算をせずに、エンコーダによってデコーダに送られたパラメータを直接的に用いて、アフィン動き補償ピクチャサブブロックのサイズを決定して、さらに計算量を削減してもよい。

以下、本発明の一実施形態に係る符号化装置について、図１９および図２０を参照して詳細に説明する。図１９に示すように、符号化装置１０は、
アフィン画像の動きベクトル差分を求めるように構成された第１の判定モジュール１１と、
アフィンピクチャブロックの動きベクトル精度を求めるように構成された第２の判定モジュール１２と、
第１の判定モジュール１１によって求められた動きベクトル差分と、第２の判定モジュール１２によって求められた動きベクトル精度と、アフィンピクチャブロック内の制御点であって動きベクトル差分を決定するために用いられる画素である制御点どうしの距離とにしたがって、アフィンピクチャブロックのアフィン動き補償ピクチャサブブロックのサイズを決定するように構成された第３の判定モジュール１３と、
第３のモジュール１３によって決定されたアフィン動き補償ピクチャサブブロックのサイズによしたがってアフィンピクチャブロックに対して符号化処理を行なうように構成された符号化モジュール１４と、
を備えている。

具体的には、符号化装置は、求めた制御点にしたがってアフィンピクチャブロックの動きベクトル差分を求め、アフィンピクチャブロックの動きベクトル精度を求めて、求めた動きベクトル差分と、求めた動きベクトル精度と、制御点どうしの間の距離とにしたがって、アフィンピクチャブロックにおけるアフィン動き補償ピクチャサブブロックのサイズを決定して、この決定したサイズにしたがって、アフィンピクチャブロックに対して符号化処理を行なう。

したがって、本発明のこの実施形態に係る符号化装置は、アフィンピクチャブロックの求めた動きベクトル差分と、求めた動きベクトル精度と、制御点どうしの間の距離と、にしたがって、アフィン動き補償ピクチャサブブロックのサイズを決定して、アフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して符号化処理を行なう。このようにして、符号化プロセスにおいて適切なサイズのピクチャサブブロックが選択されるので、符号化の複雑度を低減することができるとともに符号化の効率を改善することができる。

本発明のこの実施形態においては、任意選択的に、第１の判定モジュール１１が、同一水平線上に位置している第１制御点および第２制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第１成分を求め、同一垂直線上に位置している第３制御点および第４制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第２成分を求めるように特に構成されている。ここで、第１制御点と第２制御点との間には第１水平距離が存在し、かつ、第３制御点と第４制御点との間には第１垂直距離が存在する。

本発明のこの実施形態においては、任意選択的に、第１の判定モジュール１１は、第１制御点および第２制御点の動きベクトルどうしの間の第１水平成分差分および第１垂直成分差分を求め、第１水平成分差分および第１垂直成分差分のうちより大きいほうを、動きベクトル差分の第１成分として決定し、第３制御点および第４制御点の動きベクトルどうしの間の第２水平成分差分および第２垂直成分差分を求め、第２水平成分差分および第２垂直成分差分のうちより大きいほうを、動きベクトル差分の第２成分として決定するように特に構成されている。

本発明のこの実施形態においては、任意選択的に、第１の判定モジュール１１は、アフィンピクチャブロック内の画素のアフィン変換パラメータを求め（ここで、アフィンピクチャブロック内の画素は同一のアフィン変換パラメータをもつ）、アフィン変換パラメータと第１水平距離とにしたがって、第１水平成分差分および第１垂直成分差分を求めたうえで、アフィン変換パラメータと第１垂直距離とにしたがって、第２水平成分差分および第２垂直成分差分を求めるように特に構成されている。

本発明のこの実施形態においては、任意選択的に、第１の判定モジュール１１は、第１制御点の動きベクトル、第２制御点の動きベクトル、第３制御点の動きベクトルおよび第４制御点の動きベクトルを求め、第１制御点の動きベクトルの水平成分と第２制御点の動きベクトルの水平成分との間の差分を、第１水平成分差分として決定し、第１制御点の動きベクトルの垂直成分と第２制御点の動きベクトルの垂直成分との間の差分を、第１垂直成分差分として決定し、第３制御点の動きベクトルの水平成分と第４制御点の動きベクトルの水平成分との間の差分を、第２水平成分差分として決定し、第３制御点の動きベクトルの垂直成分と第４制御点の動きベクトルの垂直成分との間の差分を、第２垂直成分差分として決定するように特に構成されている。

本発明のこの実施形態においては、任意選択的に、第１制御点と第２制御点とは２つの隣接した画素であり、かつ、第３制御点と第４制御点とは２つの隣接した画素である。

第１の判定モジュール１１は、第１画素の動きベクトル、第２画素の動きベクトルおよび第３画素の動きベクトルを求め（ここで、第１画素、第２画素および第３画素は重なり合わない画素である）、第１画素と第２画素との間の第２水平距離および第２垂直距離を求め、第１画素と第３画素との間の第３水平距離および第３垂直距離を求め、第１画素の動きベクトルと、第２画素の動きベクトルと、第３画素の動きベクトルと、第２水平距離、第２垂直距離、第３水平距離と、第３垂直距離とにしたがって、第１水平成分差分、第１垂直成分差分、第２水平成分差分および第２垂直成分差分を決定するように特に構成されている。

本発明のこの実施形態においては、任意選択的に、第３の判定モジュール１３は、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定するように特に構成されている。

本発明のこの実施形態においては、任意選択的に、第３の判定モジュール１３は、動きベクトル差分の第１成分に対する、ベクトル精度と第１水平距離との積の比があらかじめ定められた第１設定値以上であるとき、この比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、または、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比が第１設定値未満であるとき、この第１設定値を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、かつ、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比が第２設定値以上であるとき、この比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定し、または、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比が第２設定値未満であるとき、第２設定値を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定する。

本発明のこの実施形態においては、任意選択的に、第１制御点と第３制御点とは同一画素である。

本発明のこの実施形態においては、任意選択的に、第１制御点、第２制御点、第３制御点および第４制御点はアフィンピクチャブロックの頂点である。

本発明のこの実施形態においては、任意選択的に、第１設定値は４である、および／または、第２設定値は４である。

本発明のこの実施形態においては、任意選択的に、第２の判定モジュール１２は、あらかじめ定められた第３設定値をアフィンピクチャブロックの動きベクトル精度として決定し、または、アフィンピクチャブロックに隣接するピクチャブロックの特徴にしたがってアフィンピクチャブロックの動きベクトル精度を求めるように特に構成されており、ここで、隣接したピクチャブロックは、アフィンピクチャブロックに空間的および／または時間的に隣接しているピクチャブロックである。

本発明のこの実施形態においては、任意選択的に、符号化モジュール１４は、アフィン動き補償ピクチャサブブロックのうち各アフィン動き補償ピクチャサブブロックの動きベクトルを求め、各アフィン動き補償ピクチャサブブロックの動きベクトルにしたがって各アフィン動き補償ピクチャサブブロックの動き補償予測信号を求め、各アフィン動き補償ピクチャサブブロックの動き補償予測信号にしたがって、各アフィン動き補償ピクチャサブブロックの予測残差信号を求めて、各アフィン動き補償ピクチャサブブロックの予測残差信号を符号化するように特に構成されている。

本発明のこの実施形態においては、任意選択的に、図２０に示すように、符号化装置１０は、
各アフィン動き補償ピクチャサブブロックの境界における１つまたは複数の列内の画素である各アフィン動き補償ピクチャサブブロックの境界画素の信号をフィルタリングするように設構成された、フィルタモジュール１５をさらに備えている。

本発明のこの実施形態においては、任意選択的に、境界画素の信号は動き補償予測信号および／または再構成された信号を含み、この再構成された信号は、動き補償予測信号と再構成された残差信号との和である。

本発明のこの実施形態に係る符号化装置１０は、が本発明の実施形態における動画像符号化方法１０００を対応して行ってもよく、そして、符号化装置１０内のモジュールの前述およびその他の動作および／または機能は、図１ないし図１１における方法の対応する手順を実装することを個別に意図されている。簡潔さのために、詳細はここでは再度説明しない。

したがって、本発明のこの実施形態に係る符号化装置は、アフィンピクチャブロックの求めた動きベクトル差分と、求めた動きベクトル精度と、制御点どうしの間の距離とにしたがって、アフィン動き補償ピクチャサブブロックのサイズを決定して、このサイズにしたがって、アフィンピクチャブロックに対して符号化処理を行なう。このようにして、符号化プロセスにおいて適切なサイズのピクチャサブブロックが選択されるので、符号化の複雑度を低減することができるとともに符号化の効率を改善することができる。

以下、本発明のこの実施形態に係る復号化装置について、図２１および図２２を参照して詳細に説明する。図２１に示すように、復号化装置２０は、
アフィン画像の動きベクトル差分を求めるように構成された第１の判定モジュール２１と、
アフィンピクチャブロックの動きベクトル精度を求めるように構成された第２の判定モジュール２２と、
第１の判定モジュール２１によって求めた動きベクトル差分と、第２の判定モジュール２２によって求めた動きベクトル精度と、アフィンピクチャブロックにおける制御点であって動きベクトル差分を求めるために用いられる画素である制御点どうしの距離と、にしたがって、アフィンピクチャブロックのアフィン動き補償ピクチャサブブロックのサイズを決定するように構成された、第３の判定モジュール２３と、
第３のモジュール２３によって求めたアフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して復号化処理を行なうように構成された、復号化モジュール２４と、
を備えている。

具体的には、復号化装置は、求めた制御点にしたがってアフィンピクチャブロックの動きベクトル差分を求め、アフィンピクチャブロックの動きベクトル精度を求め、求めた動きベクトル差分と、求めた動きベクトル精度と、制御点どうしの間の距離とにしたがって、アフィンピクチャブロックにおけるアフィン動き補償ピクチャサブブロックのサイズを決定して、決定したサイズにしたがって、アフィンピクチャブロックに対して復号化処理を行なう。

したがって、本発明のこの実施形態に係る復号化装置は、アフィンピクチャブロックの求めた動きベクトル差分と、求めた動きベクトル精度と、制御点どうしの間の距離と、にしたがってアフィン動き補償ピクチャサブブロックのサイズを決定して、アフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して復号化処理を行なう。このようにして、復号化プロセスにおいて適切なサイズのピクチャサブブロックが選択されるので、復号化の複雑度を低減することができるとともに復号化効率を改善することができる。

本発明のこの実施形態においては、任意選択的に、第１の判定モジュール２１は同一水平線上に位置している第１制御点および第２制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第１成分を求め、同一垂直線上に位置している第３制御点および第４制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第２成分を求めるように特に構成されている。
ここで、第１制御点と第２制御点との間には第１水平距離が存在し、かつ、第３制御点と第４制御点との間には第１垂直距離が存在する。

本発明のこの実施形態においては、任意選択的に、第１の判定モジュール２１は、第１制御点および第２制御点の動きベクトルどうしの間の第１水平成分差分および第１垂直成分差分を求め、第１水平成分差分および第１垂直成分差分のうちより大きいほうを、動きベクトル差分の第１成分として決定し、第３制御点および第４制御点の動きベクトルどうしの間の第２水平成分差分および第２垂直成分差分を求め、第２水平成分差分と第２垂直成分差分のうちより大きいほうを、動きベクトル差分の第２成分として決定するように特に構成されている。

本発明のこの実施形態においては、任意選択的に、第１の判定モジュール２１は、アフィンピクチャブロック内の画素のアフィン変換パラメータを求め（ここで、アフィンピクチャブロック内の画素は同一のアフィン変換パラメータの画素をもつ）、アフィン変換パラメータと第１水平距離とにしたがって第１水平成分差分および第１垂直成分差分を求めて、アフィン変換パラメータと第１垂直距離とにしたがって第２水平成分差分および第２垂直成分差分を求めるように特に構成されている。

本発明のこの実施形態においては、任意選択的に、第１の判定モジュール２１は、第１制御点の動きベクトル、第２制御点の動きベクトル、第３制御点の動きベクトルおよび第４制御点の動きベクトルを求め、第１制御点の動きベクトルの水平成分と第２制御点の動きベクトルの水平成分との間の差分を、第１水平成分差分として決定し、第１制御点の動きベクトルの垂直成分と第２制御点の動きベクトルの垂直成分との間の差分を、第１垂直成分差分として決定し、第３制御点の動きベクトルの水平成分と第４制御点の動きベクトルの水平成分との間の差分を、第２水平成分差分として決定し、第３制御点の動きベクトルの垂直成分と第４制御点の動きベクトルの垂直成分との間の差分を、第２垂直成分差分として決定するように特に構成されている。

本発明のこの実施形態においては、任意選択的に、第１制御点と第２制御点とは２つの隣接した画素であり、かつ、第３制御点と第４制御点とは２つの隣接した画素である。

第１の判定モジュール２１は、第１画素の動きベクトル、第２画素の動きベクトルおよび第３画素の動きベクトルを求め（ここで、第１画素、第２画素および第３画素は重なり合わない画素である）、第１画素と第２画素との間の第２水平距離および第２垂直距離を求め、第１画素と第３画素との間の第３水平距離および第３垂直距離を求め、第１画素の動きベクトルと、第２画素の動きベクトルと、第３画素の動きベクトルと、第２水平距離と、第２垂直距離と、第３水平距離と、第３垂直距離とにしたがって、第１水平成分差分、第１垂直成分差分、第２水平成分差分および第２垂直成分差分を決定するように特に構成されている。

本発明のこの実施形態においては、任意選択的に、第３の判定モジュール２３は、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定するように特に構成されている。

本発明のこの実施形態においては、任意選択的に、第３の判定モジュール２３は、
動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比があらかじめ定められた第１設定値以上であるとき、この比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、または、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比が第１設定値未満であるとき、この第１設定値を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、かつ、
動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比があらかじめ定められた第２設定値以上であるとき、この比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定し、または、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比が第２設定値未満であるとき、この第２設定値を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定するように特に構成されている。

本発明のこの実施形態においては、任意選択的に、第１制御点と第３制御点とは同一画素である。

本発明のこの実施形態においては、任意選択的に、第１制御点、第２制御点、第３制御点および第４制御点はアフィンピクチャブロックの頂点である。

本発明のこの実施形態においては、任意選択的に、第１設定値は４であり、および／または、第２設定値は４である。

本発明のこの実施形態においては、任意選択的に、第２の判定モジュール２２は、あらかじめ定められた第３設定値をアフィンピクチャブロックの動きベクトル精度として決定し、または、アフィンピクチャブロックに隣接するピクチャブロックの特徴にしたがってアフィンピクチャブロックの動きベクトル精度を求めるように特に構成されており、ここで、隣接したピクチャブロックは、アフィンピクチャブロックに空間的および／または時間的に隣接しているピクチャブロックである。

本発明のこの実施形態においては、任意選択的に、復号化モジュール２４は、アフィン動き補償ピクチャサブブロックのうち各アフィン動き補償ピクチャサブブロックの動きベクトルを求め、各アフィン動き補償ピクチャサブブロックの動きベクトルにしたがって各アフィン動き補償ピクチャサブブロックの動き補償予測信号を求め、各アフィン動き補償ピクチャサブブロックの動き補償予測信号にしたがって、各アフィン動き補償ピクチャサブブロックの予測残差信号を求めて、各アフィン動き補償ピクチャサブブロックの予測残差信号を復号化するように特に構成されている。

本発明のこの実施形態においては、任意選択的に、図２２に示すように、復号化装置２０は、各アフィン動き補償ピクチャサブブロックの境界画素の信号をフィルタリングするように構成されているフィルタモジュール２５をさらに備えている。境界画素は各アフィン動き補償ピクチャサブブロックの境界における１つまたは複数の行内の画素である。

本発明のこの実施形態においては、任意選択的に、境界画素の信号は動き補償予測信号および／または再構成された信号を含み、再構成された信号は、動き補償予測信号と再構成された残差信号との和である。

本発明のこの実施形態に係る復号化装置２０が、本発明の実施形態における動画像復号化方法２０００を対応して行なってもよいことが理解されるべきであり、そして、復号化装置２０におけるモジュールの前述のおよび他の動作および／機能は、図１２ないし図１８における方法の対応する手順を実装するように別個に意図されている。簡潔さのために、詳細はここでは再度説明しない。

したがって、本発明のこの実施形態に係る復号化装置はアフィンピクチャブロックの求めた動きベクトル差分と、求めた動きベクトル精度と、制御点どうしの間の距離とにしたがって、アフィン動き補償ピクチャサブブロックのサイズを決定して、このサイズにしたがって、アフィンピクチャブロックに対して復号化処理を行なう。このようにして、復号化プロセスにおいて適切なサイズのピクチャサブブロックが選択されるので、復号化の複雑度を低減することができるとともに復号化効率を改善することができる。

図２３に示すように、本発明の一実施形態は、さらに、プロセッサ３１と、メモリ３２と、バスシステム３３とを備えた符号化装置３０を提供する。プロセッサ３１とメモリ３２とはバスシステム３３によって接続されている。メモリ３２は命令を格納するように構成されている。プロセッサ３１はメモリ３２に格納された命令を実行するように構成されている。符号化装置３０のメモリ３２はプログラムコードを格納しており、プロセッサ３１は、以下の動作を行うためにメモリ３２に格納されたプログラムコードを呼び出してもよい。アフィンピクチャブロックの動きベクトル差分を求める。アフィンピクチャブロックの動きベクトル精度を求める。動きベクトル差分と、動きベクトル精度と、アフィンピクチャブロックにおける制御点どうしの間の距離とにしたがって、フィンピクチャブロックにおけるアフィン動き補償ピクチャサブブロックの大きさを決定する（ここで、制御点は、動きベクトル差分を求めるために用いられる画素である）。そして、アフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して符号化処理を行なう。

したがって、本発明のこの実施形態に係る符号化装置は、アフィンピクチャブロックの求めた動きベクトル差分と、求めた動きベクトル精度と、制御点どうしの間の距離と、にしたがって、アフィン動き補償ピクチャサブブロックのサイズを決定して、アフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して符号化処理を行なう。このようにして、符号化プロセスにおいて適切なサイズのピクチャサブブロックが選択されるので、符号化の複雑度を低減することができるとともに符号化の効率を改善することができる。

本発明のこの実施形態においては、プロセッサ３１は中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、略して「ＣＰＵ」）であってもよく、または、プロセッサ３１は別の汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または別のプログラマブルロジックデバイス、離散的なゲートもしくはトランジスタロジックデバイス、ディスクリートハードウェアコンポーネント等であってもよいことが理解されるべきである。汎用プロセッサはマイクロプロセッサであってもよく、またはプロセッサは任意の従来のプロセッサ等であってもよい。

メモリ３２は読み取り専用メモリおよびランダムアクセスメモリを含んでもよく、プロセッサ３１に命令とデータを提供してもよい。メモリ３２の一部はさらに、不揮発性ランダムアクセスメモリを含んでもよい。例えば、メモリ３２はさらにデバイス種別に関する情報を格納してもよい。

バスシステム３３はデータバスのほかに、さらにパワーバス、制御バス、状態信号バス等を含んでもよい。しかしながら、明確な記載のために、図中では種々のバスはバスシステム３３と表記する。

実装のプロセスにおいては、前述の方法の各ステップは、プロセッサ３１内のハードウェアの統合論理回路を利用して、または、ソフトウェア形態の命令を利用して完結されてもよい。本発明の実施形態を参照して開示された方法のステップは、ハードウェアプロセッサによって直接的に行なわれてもよく、または、プロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせを利用して行なわれてもよい。ソフトウェアモジュールはランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラム可能読み取り専用メモリ、電気的に消去可能なプログラマブルメモリまたはレジスタのような、分野において成熟している記憶媒体内に配置されてもよい。記憶媒体はメモリ３２内に配置されている。プロセッサ３１はメモリ３２内の情報を読み込んで、プロセッサ３１のハードウェアと協同して前述の方法におけるステップを完結させる。反復を避けるために、詳細はここでは再度説明しない。

任意選択的に、一実施形態においては、プロセッサ３１は、同一水平線上に位置している第１制御点および第２制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第１成分を求め、同一垂直線上に位置している第３制御点および第４制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第２成分を求めるように特に構成されており、第１制御点と第２制御点との間には第１水平距離が存在し、かつ、第３制御点と第４制御点との間には第１垂直距離が存在する。

任意選択的に、一実施形態においては、プロセッサ３１は、第１制御点および第２制御点の動きベクトルどうしの間の第１水平成分差分および第１垂直成分差分を求め、第１水平成分差分および第１垂直成分差分のうちより大きいほうを、動きベクトル差分の第１成分として決定し、第３制御点および第４制御点の動きベクトルどうしの間の第２水平成分差分および第２垂直成分差分を求め、第２水平成分差分と第２垂直成分差分のうちより大きいほうを、動きベクトル差分の第２成分として決定するように特に構成されている。

任意選択的に、一実施形態においては、プロセッサ３１は、アフィンピクチャブロック内の画素のアフィン変換パラメータを求め（ここで、アフィンピクチャブロック内の画素は、同一のアフィン変換パラメータをもつ）、アフィン変換パラメータと第１水平距離とにしたがって第１水平成分差分および第１垂直成分差分を求めて、アフィン変換パラメータと第１垂直距離とにしたがって第２水平成分差分および第２垂直成分差分を求めるように特に構成されている。

任意選択的に、一実施形態においては、プロセッサ３１は、第１制御点の動きベクトル、第２制御点の動きベクトル、第３制御点の動きベクトルおよび第４制御点の動きベクトルを求め、第１制御点の動きベクトルの水平成分と第２制御点の動きベクトルの水平成分との間の差分を、第１水平成分差分として決定し、第１制御点の動きベクトルの垂直成分と第２制御点の動きベクトルの垂直成分との間の差分を、第１垂直成分差分として決定し、第３制御点の動きベクトルの水平成分と第４制御点の動きベクトルの水平成分との間の差分を、第２水平成分差分として決定し、第３制御点の動きベクトルの垂直成分と第４制御点の動きベクトルの垂直成分との間の差分を、第２垂直成分差分として決定するように特に構成されている。

任意選択的に、一実施形態においては、第１制御点と第２制御点とは２つの隣接した画素であり、かつ、第３制御点と第４制御点とは２つの隣接した画素である。

プロセッサ３１は、第１画素の動きベクトル、第２画素の動きベクトルおよび第３画素の動きベクトルを求め（ここで、第１画素、第２画素および第３画素は重なり合わない画素である）、第１画素と第２画素との間の第２水平距離および第２垂直距離を求め、第１画素と第３画素との間の第３水平距離および第３垂直距離を求めたうえで、第１画素の動きベクトルと、第２画素の動きベクトルと、第３画素の動きベクトルと、第２水平距離と、第２垂直距離と、第３水平距離と、第３垂直距離とにしたがって、第１水平成分差分、第１垂直成分差分、第２水平成分差分および第２垂直成分差分を求めるように特に構成されている。

任意選択的に、一実施形態においては、プロセッサ３１は、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定するように特に構成されている。

任意選択的に、一実施形態においては、プロセッサ３１は、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比があらかじめ定められた第１設定値以上であるとき、この比を、水平方向におけるアフィン動き補償ピクチャサブブロックの長さとして決定し、または、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比が第１設定値よりも小さいとき、この第１設定値を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、かつ、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比があらかじめ定められた第２設定値以上であるとき、この比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定し、または、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比が第２設定値よりも小さいとき、この第２設定値を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定するように特に構成されている。

任意選択的に、一実施形態においては、第１制御点と第３制御点とは同一画素である。

任意選択的に、一実施形態においては、第１制御点に、第２制御点、第３制御点および第４制御点はアフィンピクチャブロックの頂点である。

任意選択的に、一実施形態においては、第１設定値は４であり、および／または、第２設定値は４である。

任意選択的に、一実施形態においては、プロセッサ３１は、あらかじめ定められた第３設定値をアフィンピクチャブロックの動きベクトル精度として決定し、または、アフィンピクチャブロックに隣接しているピクチャブロックの特徴にしたがって、アフィンピクチャブロックの動きベクトル精度を求めるように特に構成されており、ここで、隣接したピクチャブロックは、空間的におよび／または時間的にアフィンピクチャブロックに隣接しているピクチャブロックである。

任意選択的に、一実施形態においては、プロセッサ３１は、アフィン動き補償ピクチャサブブロックのうち各アフィン動き補償ピクチャサブブロックの動きベクトルを求め、各アフィン動き補償ピクチャサブブロックの動きベクトルにしたがって各アフィン動き補償ピクチャサブブロックの動き補償予測信号を求め、各アフィン動き補償ピクチャサブブロックの動き補償予測信号にしたがって、各アフィン動き補償ピクチャサブブロックの予測残差信号を求めて、各アフィン動き補償ピクチャサブブロックの予測残差信号を符号化するように特に構成されている。

任意選択的に、一実施形態においては、プロセッサ３１は、さらに、各アフィン動き補償ピクチャサブブロックの境界画素の信号をフィルタリングするように構成されており、ここで、境界画素は各アフィン動き補償ピクチャサブブロックの境界における１つまたは複数の行内の画素である。

任意選択的に、一実施形態においては、境界画素の信号は動き補償予測信号および／または再構成された信号を含み、再構成された信号は動き補償予測信号と再構成された残差信号との和である。

本発明のこの実施形態に係る符号化装置３０は、本発明の実施形態における符号化装置１０に対応してもよく、本発明の実施形態に係る方法１０００を行なう対応するエンティティーに対応してもよいことが理解されるべきであり、そして、符号化装置３０におけるモジュールの前述のおよび他の動作および／または機能は図１ないし図１１における方法の対応する手順を実装するように別個に意図されている。簡潔さのために、詳細はここでは再度説明しない。

したがって、本発明のこの実施形態に係る符号化装置は、アフィンピクチャブロックの求めた動きベクトル差分と、求めた動きベクトル精度と、制御点どうしの間の距離と、にしたがって、アフィン動き補償ピクチャサブブロックのサイズを決定して、アフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して符号化処理を行なう。このようにして、符号化プロセスにおいて適切なサイズのピクチャサブブロックが選択されるので、符号化の複雑度を低減することができるとともに符号化の効率を改善することができる。

図２４に示すように、本発明の実施形態は、さらに、プロセッサ４１と、メモリ４２と、バスシステム４３とを備えた復号化装置４０を提供する。プロセッサ４１とメモリ４２とはバスシステム４３によって接続されている。メモリ４２は命令を格納するように構成されている。プロセッサ４１はメモリ４２に格納された命令を実行するように構成されている。復号化装置４０のメモリ４２はプログラムコードを格納しており、プロセッサ４１は、以下の動作を行うためにメモリ４２に格納されたプログラムコードを呼び出してもよい。アフィンピクチャブロックの動きベクトル差分を求める。アフィンピクチャブロックの動きベクトル精度を求める。動きベクトル差分と、動きベクトル精度と、アフィンピクチャブロックにおける制御点であって、動きベクトル差分を求めるために用いられる画素である、制御点どうしの間の距離とにしたがって、アフィンピクチャブロックにおけるアフィン動き補償ピクチャサブブロックの大きさを決定する。そして、アフィン動き補償ピクチャサブブロックのサイズにしたがって、アフィンピクチャブロックに対して復号化処理を行なう。

したがって、本発明のこの実施形態に係る復号化装置は、アフィンピクチャブロックの求めた動きベクトル差分と、求めた動きベクトル精度と、制御点どうしの間の距離とにしたがって、アフィン動き補償ピクチャサブブロックのサイズを決定して、このサイズにしたがって、アフィンピクチャブロックに対して復号化処理を行なう。このようにして、復号化プロセスにおいて適切なサイズのピクチャサブブロックが選択されるので、復号化の複雑度を低減することができるとともに復号化効率を改善することができる。

本発明のこの実施形態においては、プロセッサ４１は中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、略して「ＣＰＵ」）であってもよく、またはプロセッサ４１が別の汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または別のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタデバイス、ディスクリートハードウェアコンポーネント等であってもよいことが理解されるべきである。汎用プロセッサはマイクロプロセッサであってもよく、またはプロセッサは任意の従来のプロセッサ等であってもよい。

メモリ４２は読み取り専用メモリとランダムアクセスメモリを含んでもよく、プロセッサ４１に命令とデータを提供してもよい。メモリ４２の一部はさらに、不揮発性ランダムアクセスメモリを含んでもよい。例えば、メモリ４２はさらにデバイス種別に関する情報を格納してもよい。

バスシステム４３はデータバスのほかにさらにパワーバス、制御バス、状態信号バス等を含んでもよい。しかしながら、明確な記述のために、図中における種々のバスはバスシステム４３として表記する。

実装のプロセスにおいては、前述の方法の各ステップは、プロセッサ４１内のハードウェアの統合された論理回路を利用して、または、ソフトウェアの形態の命令を利用して完結されてもよい。本発明の実施形態を参照して開示された方法のステップは、ハードウェアプロセッサによって直接的に行なわれてもよく、または、プロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせを利用して行われてもよい。ソフトウェアモジュールはランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラム可能読み取り専用メモリ、電気的に消去可能なプログラマブルメモリまたはレジスタのような、分野において成熟した記憶媒体内に配置されていてもよい。記憶媒体はメモリ４２内に配置されている。プロセッサ４１はメモリ４２内の情報を読み出して、プロセッサ４１のハードウェアと協同して前述の方法におけるステップを完結させる。反復を避けるために、詳細はここでは再度説明しない。

任意選択的に、一実施形態においては、プロセッサ４１は、同一水平線上に位置している第１制御点および第２制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第１成分を求め、そして、同一垂直線上に位置している第３制御点および第４制御点の動きベクトルどうしの差分にしたがって動きベクトル差分の第２成分を求めるように特に構成されており、第１制御点と第２制御点との間には第１水平距離が存在し、かつ、第３制御点と第４制御点との間には第１垂直距離が存在する。

任意選択的に、一実施形態においては、プロセッサ４１は、第１制御点および第２制御点の動きベクトルどうしの間の第１水平成分差分および第１垂直成分差分を求め、第１水平成分差分および第１垂直成分差分のうちより大きいほうを、動きベクトル差分の第１成分として決定し、第３制御点および第４制御点の動きベクトルどうしの間の第２水平成分差分および第２垂直成分差分を求め、第２水平成分差分および第２垂直成分差分のうちより大きいほうを、動きベクトル差分の第２成分として決定するように特に構成されている。

任意選択的に、一実施形態においては、プロセッサ４１は、アフィンピクチャブロック内の画素のアフィン変換パラメータを求め（ここで、アフィンピクチャブロック内の画素は同一のアフィン変換パラメータをもつ）、アフィン変換パラメータと第１水平距離とにしたがって、第１水平成分差分および第１垂直成分差分を求めて、アフィン変換パラメータと第１垂直距離とにしたがって、第２水平成分差分および第２垂直成分差分を求めるように特に構成されている。

任意選択的に、一実施形態においては、プロセッサ４１は、第１制御点の動きベクトル、第２制御点の動きベクトル、第３制御点の動きベクトルおよび第４制御点の動きベクトルを求め、第１制御点の動きベクトルの水平成分と第２制御点の動きベクトルの水平成分との間の差分を、第１水平成分差分として決定し、第１制御点の動きベクトルの垂直成分と第２制御点の動きベクトルの垂直成分との間の差分を、第１垂直成分差分として決定し、第３制御点の動きベクトルの水平成分と第４制御点の動きベクトルの水平成分との間の差分を、第２水平成分差分として決定し、第３制御点の動きベクトルの垂直成分と第４制御点の動きベクトルの垂直成分との間の差分を、第２垂直成分差分として決定するように特に構成されている。

任意選択的に、一実施形態においては、第１制御点と第２制御点とは２つの隣接した画素であり、かつ、第３制御点と第４制御点とは２つの隣接した画素である。

プロセッサ４１は、第１画素の動きベクトル、第２画素の動きベクトルおよび第３画素の動きベクトルを求め（ここで、第１画素、第２画素および第３画素は重なり合わない画素である）、第１画素と第２画素との間の第２水平距離および第２垂直距離を求め、第１画素と第３画素との間の第３水平距離および第３垂直距離を求め、第１画素の動きベクトルと、第２画素の動きベクトルと、第３画素の動きベクトルと、第２水平距離と、第２垂直距離と、第３水平距離と、第３垂直距離とにしたがって、第１水平成分差分、第１垂直成分差分、第２水平成分差分および第２垂直成分差分を決定するように特に構成されている。

任意選択的に、一実施形態においては、プロセッサ４１は、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定するように特に構成されている。

任意選択的に、一実施形態においては、プロセッサ４１は、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比があらかじめ定められた第１設定値以上であるとき、この比を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、または、動きベクトル差分の第１成分に対する、動きベクトル精度と第１水平距離との積の比が第１設定値未満であるとき、この第１設定値を、アフィン動き補償ピクチャサブブロックの水平方向長さとして決定し、かつ、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比があらかじめ定められた第２設定値以上であるとき、この比を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定し、または、動きベクトル差分の第２成分に対する、動きベクトル精度と第１垂直距離との積の比が第２設定値未満であるとき、この第２設定値を、アフィン動き補償ピクチャサブブロックの垂直方向長さとして決定するように特に構成されている。

任意選択的に、一実施形態においては、第１制御点と第３制御点とは同一画素である。

任意選択的に、一実施形態においては、第１制御点に、第２制御点、第３制御点および第４制御点はアフィンピクチャブロックの頂点である。

任意選択的に、一実施形態においては、第１設定値は４であり、および／または、第２設定値は４である。

任意選択的に、一実施形態においては、プロセッサ４１は、あらかじめ定められた第３設定値をアフィンピクチャブロックの動きベクトル精度として決定し、または、アフィンピクチャブロックに隣接しているピクチャブロックの特徴にしたがって、アフィンピクチャブロックの動きベクトル精度を求めるように特に構成されており、ここで、隣接したピクチャブロックは、空間的および／または時間的にアフィンピクチャブロックに隣接しているピクチャブロックである。

任意選択的に、一実施形態においては、プロセッサ４１は、アフィン動き補償ピクチャサブブロックのうち各アフィン動き補償ピクチャサブブロックの動きベクトルを求め、各アフィン動き補償ピクチャサブブロックの動きベクトルにしたがって各アフィン動き補償ピクチャサブブロックの動き補償予測信号を求め、各アフィン動き補償ピクチャサブブロックの動き補償予測信号にしたがって、各アフィン動き補償ピクチャサブブロックの予測残差信号を求めて、各アフィン動き補償ピクチャサブブロックの予測残差信号を復号化するように特に構成されている。

任意選択的に、一実施形態においては、プロセッサ４１はさらに各アフィン動き補償ピクチャサブブロックの境界画素の信号をフィルタリングするように構成されており、ここで、境界画素は各アフィン動き補償ピクチャサブブロックの境界における１つまたは複数の行内の画素である。

任意選択的に、一実施形態においては、境界画素の信号は動き補償予測信号および／または再構成された信号を含み、再構成された信号は、動き補償予測信号と再構成された残差信号との和である。

本発明のこの実施形態に係る復号化装置４０は、本発明の実施形態における復号化装置２０に対応するものであってもよく、また、本発明の実施形態に係る方法２０００を行なう対応するエンティティーに対応するものであってもよいことが理解されるべきであり、そして、復号化装置４０におけるモジュールにおける前述のおよび他の動作および／または機能は、図１２ないし図１８における方法の対応する手順を実装するように個別に意図されたものである。簡潔さのために、詳細はここでは再度説明しない。

したがって、本発明のこの実施形態に係る復号化装置は、アフィンピクチャブロックの求めた動きベクトル差分と、動きベクトル精度と、制御点どうしの間の距離とにしたがって、アフィン動き補償ピクチャサブブロックのサイズを決定して、このサイズにしたがって、アフィンピクチャブロックに対して復号化処理を行なう。このようにして、復号化プロセスにおいて適切なサイズのピクチャサブブロックが選択されるので、復号化の複雑度を低減することができるとともに復号化の効率を改善することができる。

本明細書全体で言及される「実施形態」または明細書全体で言及される「実施の形態」は、特定の特長、構造または実施形態に関連する特徴が、本発明の少なくとも一つの実施形態に包含されることを意味するものではないことが理解されるべきである。したがって、本明細書において出現する「実施形態において」または「実施形態においては」は、同一実施形態をさすものではない。また、これらの特定の特徴、構造または特徴は、任意の適切な方法を利用することにより１つまたは複数の実施形態において組み合わせてもよい。

前述のプロセスのシーケンス番号が本発明の種々の実施形態において実行順序を意味しないことが理解されるべきである。プロセスの実行順序はプロセスの機能と内部ロジックにしたがって決定されるべきであって、本発明の実施形態の実施プロセスに対するいかなる限定としても解釈されるべきではない。

また、用語「システム」および「ネットワーク」は本明細書において互換的に用いられることがある。本明細書における用語「および／または」は関連するオブジェクトを記述するための関連関係のみを記述し、３つの関係が存在しうることを表す。例えば、Ａおよび／またはＢは、以下の３つの場合、すなわち、Ａのみが存在する場合、ＡおよびＢの両方が存在する場合、およびＢのみが存在する場合の３つの場合を表すことがある。また、特段の指示がないかぎり、本明細書における文字「／」は、一般に、関連するオブジェクト間の「または」関係を示す。

本出願の実施形態においては、「Ａに対応するＢ」は、ＢがＡと関連していること、および、ＢがＡにしたがって決定されてもよいことを示すことが理解されるべきである。しかしながら、ＢにしたがってＡを決定するということが、ＢがＡのみにしたがって決定されることを意味しないこともまた理解されるべきである。すなわち、Ｂはまた、Ａおよび／または他の情報にしたがって決定されてもよい。

当業者は、本明細書において開示された実施形態において説明された実施例とあわせて、ユニットおよびアルゴリズムステップは、電子ハードウェア、コンピュータ・ソフトウェア、またはこれらの組み合わせによって実装されてもよいことに留意しうる。ハードウェアとソフトウェアとの間の互換性を明確に記載するために、上記記載は、機能にしたがって各実施例の構成要素およびステップを一般的に説明したものである。機能がハードウェアまたはソフトウェアによって行われるか否かは、技術的解決策の特定の用途および設計上の制約条件に依存する。当業者は、各特定の用途について記載された機能を実装するために、異なる方法を利用してもよいが、実装方式が本発明の範囲を超えると考えられるべきではない。

好適かつ簡潔な説明を目的として、前述のシステム、装置およびユニットの実施プロセスの詳細については、前述の方法の実施形態における対応するプロセスが参照されてもよいことが当業者によって明確に理解されることがあるので、詳細はここでは説明しない。

本出願において提供されたいくつかの実施形態においては、開示されたシステム、装置および方法は、他の仕方で実装されてもよいことが理解されるべきである。例えば、記載された装置の実施形態は単なる実施例に過ぎない。例えば、ユニット区分は、単なる論理的機能による区分にすぎず、実際の実装方式においては他の区分であってもよい。例えば、複数のユニットまたはコンポーネントが組み合わせられまたは別のシステムに統合されてもよく、または、無視されてもよくもしくは行われなくてもよい。また、表示されたまたは論じられた相互結合もしくは直接的結合または通信接続は、若干のインタフェースを利用して実装されてもよい。装置またはユニット間の間接的結合または通信接続は、電子的、機械的または他の形式において実装されてもよい。

別個のパーツとして記載されているユニットは、物理的に別個のものであってもなくてもよく、ユニットとして表示されるパーツは、物理ユニットであってもなくてもよく、１つの位置に配置されていてもよく、複数のネットワークユニット上に分散されていてもよい。ユニットの一部または全部が、実施形態の解決策の目的を達成するために、実際の要求事項に応じて選択されてもよい。

また、本発明の実施形態における機能ユニットは、１つの処理装置に統合されてもよく、または、ユニットの各々が物理的に単独で存在していてもよく、または、２つ以上のユニットが１つのユニットに統合されていてもよい。

統合されたユニットがソフトウェア機能ユニットの形態で実装されかつ独立的な製品として販売および利用される場合、統合されたユニットはコンピュータ読み取り可能な記憶媒体に格納されてもよい。かかる理解に基づいて、本願の技術的解決策もしくは先行技術に寄与する部分または技術的解決策の一部は、ソフトウェア製品の形態で実装されてもよい。ソフトウェア製品は記憶媒体に格納され、コンピュータ装置（パーソナルコンピュータ、サーバ、ネットワーク装置などであってもよい）に対して本発明の実施形態に記載された方法のステップの全部または一部を行うよう指示するためのいくつかの命令を含む。前述した記憶媒体には、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、略してＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、略してＲＡＭ）、磁気ディスク、光ディスクなどのプログラムコードを格納可能な任意の媒体が含まれる。

前述の記載は本発明の単なる具体的実装方式にすぎず、しかして本発明の保護範囲を限定する趣旨ではない。本発明において開示された技術的範囲内で当業者によって容易に理解されるいかなる変更または置換もまた本発明の保護範囲に属すべきものである。したがって、本願の保護範囲は、請求項の保護範囲に従うべきものである。

Claims (20)

1. ビデオ画像の符号化方法であって、
   アフィンピクチャブロックの動きベクトル差分を決定するステップと、
   前記アフィンピクチャブロックの動きベクトル精度を取得するステップと、
   前記アフィンピクチャブロック内の制御点間の距離を決定するステップであって、前記制御点の動きベクトルは、前記動きベクトル差分を決定するために使用される、ステップと、
   前記動きベクトル差分、前記動きベクトル精度、および前記アフィンピクチャブロック内の前記制御点間の前記距離に基づいて変化するサイズにわたって、前記アフィンピクチャブロックに対して符号化処理を実行するステップであって、前記サイズは幅（ａＭｃＷ）及び高さ（ａＭｃＨ）により規定され、前記幅は前記動きベクトル差分の水平成分、前記動きベクトル精度、および前記制御点の間の水平距離に基づいており、前記高さは前記動きベクトル差分の垂直成分、前記動きベクトル精度、および前記制御点の間の垂直距離に基づいている、ステップと
   を含む、方法。
2. 前記制御点は、第１制御点、第２制御点、第３制御点、および第４制御点を含み、
   前記水平距離は、前記第１制御点と前記第２制御点との間にあり、
   前記垂直距離は、前記第３制御点と前記第４制御点との間にある、請求項１に記載の方法。
3. 前記アフィンピクチャブロックの前記動きベクトル差分を決定するステップは、
   前記第１制御点および前記第２制御点の前記動きベクトル間の差分に従って、前記動きベクトル差分の前記水平成分を決定するステップであって、前記第１制御点および前記第２制御点は同じ水平線上に位置する、ステップと、
   前記第３制御点および前記第４制御点の前記動きベクトル間の差分に従って、前記動きベクトル差分の前記垂直成分を決定するステップであって、前記第３制御点および前記第４制御点は同じ垂直線上に位置する、ステップと
   を含む、請求項２に記載の方法。
4. 前記動きベクトル差分の前記水平成分を決定するステップは、
   前記第１制御点および前記第２制御点の前記動きベクトル間の第１の水平成分差分および第１の垂直成分差分を決定するステップと、
   前記第１の水平成分差分および前記第１の垂直成分差分のうち大きい方を前記動きベクトル差分の前記水平成分として決定するステップと、
   を含み、
   前記動きベクトル差分の前記垂直成分を決定するステップは、
   前記第３制御点および前記第４制御点の動きベクトル間の第２の水平成分差分および第２の垂直成分差分を決定するステップと、
   前記第２の水平成分差分および前記第２の垂直成分差分のうち大きい方を前記動きベクトル差分の前記垂直成分として決定するステップと
   を含む、請求項３に記載の方法。
5. 前記第１制御点および前記第２制御点の前記動きベクトル間の前記第１の水平成分差分および前記第１の垂直成分差分を決定するステップは、
   前記第１制御点の前記動きベクトルの水平成分と、前記第２制御点の前記動きベクトルの水平成分との差分を前記第１の水平成分差分として決定するステップと、
   前記第１制御点の前記動きベクトルの垂直成分と、前記第２制御点の前記動きベクトルの垂直成分との差分を前記第１の垂直成分差分として決定するステップと
   を含み、
   前記第３制御点および前記第４制御点の前記動きベクトル間の前記第２の水平成分差分および前記第２の垂直成分差分を決定するステップは、
   前記第３制御点の前記動きベクトルの水平成分と、前記第４制御点の前記動きベクトルの水平成分との差分を前記第２の水平成分差分として決定するステップと、
   前記第３制御点の前記動きベクトルの垂直成分と、前記第４制御点の前記動きベクトルの垂直成分との差分を前記第２の垂直成分差分として決定するステップと
   を含む、請求項４に記載の方法。
6. 前記第１制御点および前記第２制御点は２つの隣接するピクセルであり、前記第３制御点および前記第４制御点は２つの隣接するピクセルであり、
   前記第１制御点および前記第２制御点の前記動きベクトル間の前記第１の水平成分差分および前記第１の垂直成分差分を決定するステップ、および前記第３制御点および前記第４制御点の前記動きベクトル間の前記第２の水平成分差分および前記第２の垂直成分差分を決定するステップは、
   第１のピクセルの動きベクトル、第２のピクセルの動きベクトル、および第３のピクセルの動きベクトルを決定するステップであって、前記第１のピクセル、前記第２のピクセル、および前記第３のピクセルは、重複しないピクセルである、ステップと、
   前記第１のピクセルおよび前記第２のピクセル間の第２の水平距離および第２の垂直距離を決定するステップと、
   前記第１のピクセルおよび前記第３のピクセル間の第３の水平距離および第３の垂直距離を決定するステップと、
   前記第１のピクセルの前記動きベクトル、前記第２のピクセルの前記動きベクトル、前記第３のピクセルの前記動きベクトル、前記第２の水平距離、前記第２の垂直距離、前記第３の水平距離、および前記第３の垂直距離に従って、前記第１の水平成分差分、前記第１の垂直成分差分、前記第２の水平成分差分、および前記第２の垂直成分差分を決定するステップと
   を含む、請求項４に記載の方法。
7. 前記第１制御点、前記第２制御点、前記第３制御点、および前記第４制御点は、前記アフィンピクチャブロックの頂点であり、前記アフィンピクチャブロックは矩形である、請求項２に記載の方法。
8. 前記第１制御点と前記第２制御点との間の距離は前記アフィンピクチャブロックの幅Ｗであり、前記第３制御点と前記第４制御点の間の距離は前記アフィンピクチャブロックの高さＨである、請求項７に記載の方法。
9. 前記アフィンピクチャブロックの前記動きベクトル精度を決定するステップは、
   前記アフィンピクチャブロックの前記動きベクトル精度として第３の事前設定された値を決定するステップ、または
   前記アフィンピクチャブロックに隣接するピクチャブロックの特徴に従って、前記アフィンピクチャブロックの前記動きベクトル精度を決定するステップであって、前記隣接するピクチャブロックは、前記アフィンピクチャブロックに空間的または時間的に隣接するピクチャブロックである、ステップ
   を含む、請求項１に記載の方法。
10. 前記動きベクトル精度は、１／２、１／４、１／８、または１／１６である、請求項１に記載の方法。
11. １つまたは複数のプロセッサと、
    前記１つまたは複数のプロセッサにおいて実行される命令を格納するメモリと
    を備えたビデオ画像復号デバイスであって、
    前記１つまたは複数のプロセッサは、
    アフィンピクチャブロックの動きベクトル差分を決定することと、
    前記アフィンピクチャブロックの動きベクトル精度を取得することと、
    前記アフィンピクチャブロック内の制御点間の距離を決定することであって、前記制御点の動きベクトルは、前記動きベクトル差分を決定するために使用されることと、
    前記動きベクトル差分、前記動きベクトル精度、および前記アフィンピクチャブロック内の前記制御点間の前記距離に基づいて変化するサイズにわたって、前記アフィンピクチャブロックに対して符号化処理を実行することであって、前記サイズは幅（ａＭｃＷ）及び高さ（ａＭｃＨ）により規定され、前記幅は前記動きベクトル差分の水平成分、前記動きベクトル精度、および前記制御点の間の水平距離に基づいており、前記高さは前記動きベクトル差分の垂直成分、前記動きベクトル精度、および前記制御点の間の垂直距離に基づいている、ことと
    を行う命令を実行する、デバイス。
12. 前記制御点は、第１制御点、第２制御点、第３制御点、および第４制御点を含み、
    前記水平距離は、前記第１制御点と前記第２制御点との間にあり、
    前記垂直距離は、前記第３制御点と前記第４制御点との間にある、請求項１１に記載のデバイス。
13. 前記１つまたは複数のプロセッサは、
    前記第１制御点および前記第２制御点の前記動きベクトル間の差分に従って、前記動きベクトル差分の前記水平成分を決定することであって、前記第１制御点および前記第２制御点は同じ水平線上に位置することと、
    前記第３制御点および前記第４制御点の前記動きベクトル間の差分に従って、前記動きベクトル差分の前記垂直成分を決定することであって、前記第３制御点および前記第４制御点は同じ垂直線上に位置することと
    を行う命令を実行する、請求項１２に記載のデバイス。
14. 前記１つまたは複数のプロセッサは、
    前記第１制御点および前記第２制御点の前記動きベクトル間の第１の水平成分差分および第１の垂直成分差分を決定することと、
    前記第１の水平成分差分および前記第１の垂直成分差分のうち大きい方を前記動きベクトル差分の前記水平成分として決定することと、
    前記第３制御点および前記第４制御点の前記動きベクトル間の第２の水平成分差分および第２の垂直成分差分を決定することと、
    前記第２の水平成分差分および前記第２の垂直成分差分のうち大きい方を前記動きベクトル差分の前記垂直成分として決定することと
    を行う命令を実行する、請求項１３に記載のデバイス。
15. 前記１つまたは複数のプロセッサは、
    前記第１制御点の前記動きベクトルの水平成分と、前記第２制御点の前記動きベクトルの水平成分との差分を前記第１の水平成分差分として決定することと、
    前記第１制御点の前記動きベクトルの垂直成分と、前記第２制御点の前記動きベクトルの垂直成分との差分を前記第１の垂直成分差分として決定することと、
    前記第３制御点の前記動きベクトルの水平成分と、前記第４制御点の前記動きベクトルの水平成分との差分を前記第２の水平成分差分として決定することと、
    前記第３制御点の前記動きベクトルの垂直成分と、前記第４制御点の前記動きベクトルの垂直成分との差分を前記第２の垂直成分差分として決定することと
    を行う命令を実行する、請求項１４に記載のデバイス。
16. 前記第１制御点、前記第２制御点、前記第３制御点、および前記第４制御点は、前記アフィンピクチャブロックの頂点であり、前記アフィンピクチャブロックは矩形である、請求項１２に記載のデバイス。
17. 前記第１制御点と前記第２制御点との間の距離は前記アフィンピクチャブロックの幅Ｗであり、前記第３制御点と前記第４制御点の間の距離は前記アフィンピクチャブロックの高さＨである、請求項１６に記載のデバイス。
18. 前記１つまたは複数のプロセッサは、
    前記アフィンピクチャブロックの前記動きベクトル精度として第３の事前設定された値を決定する命令を実行する、請求項１１に記載のデバイス。
19. 前記１つまたは複数のプロセッサは、
    前記アフィンピクチャブロックに隣接するピクチャブロックの特徴に従って、前記アフィンピクチャブロックの前記動きベクトル精度を決定する命令を実行し、前記隣接するピクチャブロックは、前記アフィンピクチャブロックに空間的または時間的に隣接するピクチャブロックである、請求項１１に記載のデバイス。
20. 前記デバイスはデコーダである、請求項１１に記載のデバイス。

Images