JP4922302B2

JP4922302B2 - 移動物体境界のための適応影響エリアフィルタ

Info

Publication number: JP4922302B2
Application number: JP2008531161A
Authority: JP
Inventors: マルコパニコーニ; ジェイムズジェイキャリッグ; ズーロンミアオ
Original assignee: ソニーエレクトロニクスインク
Priority date: 2005-09-16
Filing date: 2006-08-31
Publication date: 2012-04-25
Anticipated expiration: 2026-08-31
Also published as: EP1925159A4; CN101268690B; KR101266638B1; US7957466B2; WO2007035231A2; CN101268690A; WO2007035231A3; US20070064802A1; EP1925159A2; JP2009509404A; KR20080046271A

Description

本発明は、ビデオ圧縮の分野に関する。

時間予測フィルタは、１組の予め復号された参照画像から目標画像を予測するためにビデオ圧縮処理において用いられる。時間予測処理は、有意な量の時間的冗長性を除去するのに有効であり、それによって一般的に高い符号化効率が得られる。予測処理は、１組の動きベクトルと動きベクトルに作用するフィルタとを用いて目標画像を予測する。

例えば、予測方法は、図１に示すように参照画像１１０を複数の固定サイズのブロック１２０に分割する。各ブロックは、目標画像に対するブロックの動きを表す関連の動きベクトルを有する。動きベクトルは、画像１１０内の白色の点で示している。時間予測フィルタは、関連の動きベクトルを用いて参照画像内の各ブロックに対して単純な動き補正技術を実施し、目標画像内のそのブロックの位置を予測する。すなわち、目標画像内の各ブロックは、単一の動きベクトルを用いて参照画像内のブロックから推定される。しかし、この手法は、各動きベクトルを独立に取り扱い、画像特徴に適応しない。

関連ブロックの位置を予測するのに単一の動きベクトルを用いるか、又は規則的な動きベクトルパターンに対して形成されたフィルタに依存する従来の時間フィルタは、時間予測を実施するのに動きベクトルの規則的な分布を必要とする。従って、それらは、動きベクトルの不規則パターンに対する予測処理に適応することができない。動きベクトルの不規則パターンの変動にタップ及びフィルタ係数を局所的に適応させることができるフィルタに対する必要性が存在する。また、物体境界及び空間テクスチャに適応する柔軟性を有する時間フィルタに対する必要性も存在する。

適応時間予測を実施する方法は、目標画像内の物体の位置が参照画像内のその物体の位置とは異なる目標画像を受信する段階、物体の境界を用いて不規則パターンの目標画像動きベクトルを発生させる段階、目標画像動きベクトルを用いて、各セルが目標画像動きベクトルのうちの固有の１つを収容する影響エリアセルに目標画像を分割する段階、及び影響エリアセルに適応影響エリアフィルタを適用することによって目標画像の予測を発生させる段階を含む。

本発明は、例示的に示しており、添付図面と共に以下の説明を参照することによってより良く理解することができる。

以下の説明では、本明細書の一部を形成し、本発明を実施することができる特定的な実施形態を具体例によって示す添付図面を参照する。他の実施形態を利用することもでき、本発明の範囲から逸脱することなく構造的変更を加えることができることは理解されるものとする。例えば、様々な実施形態を説明するために用いるフィールド、フレーム、又は画像という用語は、一般的にビデオデータへの参照に用いられるものと互換的であることを当業者は理解するであろう。

適応影響エリア（ＡＡＯＩ）時間フィルタは、目標画像を予測する時に不規則なパターンの動きベクトル、物体特徴、及び空間テクスチャに自動的に適応する。ＡＡＯＩフィルタは、動き補正された信号に対して時間ドメインで作用し、動きベクトルをフィルタリングしようと試みる他の方法（例えば、動きベクトル領域での三角分割フィルタリング）とは異なる。例えば、ＡＡＯＩフィルタリング法は時間ドメインで作用するので、物体及び空間テクスチャへの適応に向いている。一実施形態では、ＡＡＯＩフィルタは、ピクセルの予測中に近傍動きベクトルを結合する２段階処理を実施する。第１の段階は、フィルタを不規則なサンプリングパターンの動きベクトル、物体形状、及び境界に適応させる。第２の段階は、フィルタを画像の空間テクスチャに適応させる。

適応時間フィルタリング手順の例を図２Ａに示している。２０３では、１つ又はそれよりも多くの参照画像及び目標画像内の移動物体の境界を受信する。２１０では、移動物体境界を用いて目標画像において不規則なサンプリングパターンの動きベクトルを発生させる。２２０では、各々が１つの動きベクトルをノードとして有する影響エリア（ＡＯＩ）セルに目標画像を分割する。２３０では、各動きベクトルに関する初期値を推定する。２４０では、適応影響エリアフィルタをＡＩＯセルに適応させて目標画像の予測を発生させる。２５０では、フィルタによって生成された予測結果を用いて動きベクトルの値を再推定し、適応フィルタの精度を改善する。一部の実施形態では、２６０で、処理は２４０に戻り、適応影響エリアフィルタによって発生する予測誤差を低減する。そうでなければ、処理は２７０で終了する。

図２Ａに示す方法を実施する論理デバイスの例を図２Ｂに示している。論理デバイス２８０は、目標画像及び参照画像を受信する受信器２８１を含む。受信器２８１はまた、目標画像から移動物体の境界に関するデータを受信する。発生器２８３は、移動物体の境界に関するデータを用いて目標画像において不規則なサンプリングパターンの動きベクトルを発生させる。分割器２８５は、各々が動きベクトルのうちの１つを収容する影響エリアセルに目標画像を分割する。予測器２８７は、適応影響エリアフィルタを影響エリアセルに適用して目標画像の予測を発生させる。

ここで図２Ａの要素をより詳細に解説することにする。図２Ａの２０５で目標画像から抽出される移動物体境界の例を図３Ａのブロック３２０に示している。ブロック３２０では、黒色の領域は、目標画像３１０の背景領域に対応する。白色の領域は、背景に対して移動している人物に対応し、灰色の領域は、同様に背景に対して移動するように見える目標画像の前景領域に対応する。図２Ａの２１０で移動物体境界を用いて発生させた不規則パターンの動きベクトルの例を図３Ｂのブロック３３０に示している。画像３３０内の白色の点は、動きベクトルを表している。この適応サンプリングパターンでは、動きベクトルは、参照画像から予測することが困難な領域である移動物体境界に沿ってより集中している。例えば、背景領域のような単純な動き領域には、より少数の動きベクトルしか配置されていない。

一部の実施形態では、不規則パターンの動きベクトルは、図４Ａに示す方法によって図２Ａの２１０で発生させる。４１０では、動きベクトルを移動物体の重心に配置する。４２０では、不規則パターンの動きベクトルは、境界に対する接線に沿った２つの動きベクトルの間の距離ｄ、境界に対して法線方向の経路に沿った境界の内側の動きベクトルと境界の外側の動きベクトルとの間の幅ｗのようなパラメータを用いて物体境界の周囲に配置される。内側ストライドｉｓｔｒは、法線方向の経路に沿った境界の内側の動きベクトル数を決め、外側ストライドｏｓｔｒは、法線方向の経路に沿った境界の外側の動きベクトル数を決める。

パラメータは、境界に沿った動きの程度及び境界の定義の程度に従って変更することができる。例えば、動きが複雑であり、境界が粗い場合には、ｗ及びｄの値を下げ、内側及び外側のストライドの値を増し、この領域内により多くの動きベクトルを配置する。代わりに、物体の動きが単純であり、境界が明確な場合には、より少数の動きベクトルしか必要とならない。従って、ｗ及びｄの値を増し、ストライド値を下げる。結果は、移動物体の境界に沿った不規則パターンの動きベクトルである。

４３０では、移動物体を目標画像から除去し、背景領域を残す。４４０では、不規則パターンの動きベクトルを背景領域から発生させる。一部の実施形態では、固定数の動きベクトルを目標画像に適用する。背景領域に対して利用可能な動きベクトル数は、不規則パターンの動きベクトルを境界の周囲に配置した後に残る数である。続いて４５０では、移動物体及び背景領域をこれらが有する不規則パターンの動きベクトルと共に組み合わせる。

図４Ａの方法の中間結果を図４Ｂに示している。ブロック４１２では、動きベクトル４１４を物体の内側の位置に配置する。例えば、一部の実施形態では、動きベクトルは物体４１６の重心に配置する。４２２では、不規則パターンの動きベクトルを、ｄ、ｗ、ｉｓｔｒ、及びｏｓｔｒのようなパラメータに従って物体４１６の周囲に配置する。距離ｄの例を、動きベクトル４２３と４２５の間に示している。幅ｗは、動きベクトル４２３と４２７の間に示している。動きベクトル４２８及び４２９は、値２を有する内側ストライドパラメータの例である。値１を有する外側ストライドパラメータｏｓｔｒの例を、動きベクトル４２３によって示している。ブロック４３２では、物体４１６を画像から除去し、背景領域４３６を残す。ブロック４４２では、背景領域において不規則パターンの動きベクトルを発生させる。ブロック４５２では、目標画像内で不規則パターンを組み合わせる。

図２Ａに戻ると、２２０において、影響エリアセル（ＡＯＩセル）と呼ぶ複数のセルへと画像を分割する。各ＡＯＩセルは、ノードとして１つの動きベクトルを有する。ＡＯＩセルに分割した画像の例を、図３Ｂの３４０に示している。各ＡＯＩセルは、画像内のあらゆる他の動きベクトルよりもセルの内側の動きベクトルによって大きく影響を受ける。ＡＯＩセルは、各動きベクトルに対して発生させるので、ＡＯＩセルのサイズは、境界領域のような画像内の物体の特徴に関連付けることができる。例えば、物体間の境界領域の近くのＡＯＩセルは、画像背景領域内のＡＯＩセルよりも小さくすることができる。同様に、ＡＯＩセルの形状は、物体の境界の形状に適応するように局所的に修正することができる。ＡＯＩセルを発生させる方法の一実施形態は、距離最短動きベクトル分割法（例えば、Ｖｏｒｏｎｏｉセル）である。例えば、ブロック法又は三角法のような他の分割法を用いることができる。

図２Ａを参照すると、２３０で最初の動き推定を実施し、各ＡＯＩセル内の動きベクトルに対する初期値を判断する。最初の動き推定は、動きベクトルに関連付けられたＡＯＩセルを参照画像内の対応するセルにマップし、２つのセルの間の変位を測定する。変位は、各動きベクトルに対して初期値を与える。従って、この初期値は、これらのセル間のマッピング及び変位測定によって判断されるので、周囲の動きベクトルからのいかなる影響も反映しない。従って、特定の動きベクトルにおける初期値は、他の動きベクトルから独立している。

２４０では、適応影響エリア（ＡＡＯＩ）フィルタを影響エリアセルに適用し、目標画像の時間予測を実施する。このフィルタは、時間ドメインにおいて適用され、動きベクトル値の組及びサンプリングパターンが与えられると、目標画像に対する予測結果を発生させる。ＡＡＯＩフィルタは、重なり領域の面積によって定められるフィルタタップ及びフィルタ係数を用いて、予測されるピクセルの近傍の動きベクトルの関連性を捕捉する。適応影響エリアフィルタは、影響エリアセルに適用され、参照画像及び動きベクトルの組から目標画像の時間予測を発生させる。このフィルタは、以下の構造を有する。｛ｖ_j｝はＮ個の動きベクトルの集合を表し、Ｉ（ｘ）は参照画像（予め復号された画像）を表すとする。Ｓ（ｘ）は、ピクセルｘの位置を取り囲む動きベクトルの何らかの集合を表すとする。この目標ピクセルｘの予測は、一般的に次式で表現することができる。

ここで、｛ｆ_i｝は、フィルタ係数の集合であり、ｘ＋ｖ_iは、動きベクトルｖ_iをピクセルｘに適用する時の動き補正されたピクセルである。フィルタのサポート又はタップを集合Ｓ（ｘ）によって定義する。タップサポートＳ（ｘ）及びフィルタ係数｛ｆ_i｝は、一般的に、ピクセル位置ｘ及びその近傍の動きベクトルの関数である。すなわち、動きベクトルの分布が画像にわたって変化するので、フィルタ係数は、各ピクセルに対して変えることができる。従って、フィルタは、変化する動きベクトルのパターンに局所的に適応する。

一実施形態では、フィルタ係数｛ｆ_i｝は、図５に例示する方法を用いて計算する。第１段階では、自然なタップ構造及びフィルタ重みを定め、第２段階では、フィルタを画像の空間テクスチャに適応させる。第１段階は、不規則なサンプリングパターン、並びに物体形状及び境界のような特徴に適応することができるＡＡＯＩフィルタを発生させる。第２段階は、ＡＡＯＩフィルタが、ビデオ圧縮のための動きベクトルベースの時間予測中に画像の空間テクスチャに適応することを可能にする。

第１段階は、５１０で始まり、予測される目標ピクセルの近傍の動きベクトルを収容する局所動きベクトルサンプリングパターンを受信する。５２０では、影響エリアセルを各局所動きベクトルの周囲に構築する。すなわち、目標ピクセルの局所的なエリアを１組のＡＯＩセルに分割する。５３０では、ピクセルを補間するために、このピクセルを新しいノードと見なし、その周囲にピクセル影響エリアセルを構築する。続いて５４０で、ピクセル影響エリアセルに重なる各近傍ＡＯＩセルのエリアを判断する。重なったエリアは、自然なタップ構造及びフィルタ重みを定める。言い換えれば、タップ構造は、ＡＯＩセルがピクセルエリアセルとの非ゼロの重なり面積Ａ_iを有する各動きベクトルｉによって形成される。タップ構造内の各動きベクトルのフィルタ重みは、比Ａ_i／Ａによって定められる。すなわち、何らかのピクセル位置ｘに対して次式が成り立つ。

ここで、Ｓ（ｘ）は、ピクセルｘの近傍の局所動きベクトルの集合、Ａ_iは、集合Ｓ（ｘ）内の動きベクトルｉに対してＡＯＩセルの重なった面積、Ａは、ＡＯＩセルとピクセル影響セルとの全重なり面積、及びｆ_iは、フィルタ重みである。

５５０では、フィルタを例えば移動物体の物体境界のような画像特徴に適応させる。一部の実施形態では、影響エリアセルの形状は、移動物体の境界に適応させるために変化する。エリアセルは、動きベクトルエリアセル及びピクセルエリアセルを制約することによって画像内の物体境界に適応し、同じ物体に属するピクセルのみを含むようになる。この作用は、予測されるピクセルの周囲に修正されたＡＯＩセルを発生させる。従って、一実施形態では、フィルタサポート及び係数は次式で表現される。

ここで、

は、物体境界に起因して修正された動きベクトルｉに対するＡＯＩセルである。各修正済みＡＯＩセルは、予測されるピクセルと同じ動きレーヤ内のピクセルを含み、他の動きレーヤ内のピクセルを排除する。この第１段階の完了時には、フィルタは、不規則パターンの動きベクトル及び移動物体の境界の両方に適応している。

画像内の各ピクセルに対して予測を発生させた後に、フィルタリング処理の第２段階を実施する。第２段階では、５６０において、フィルタを空間テクスチャに適応させる。上述の予測は、規則的なパターンのサンプリングデータという形態にあるＡＡＯＩフィルタの第１段階からの出力であるから、一部の実施形態では、第２段階で、最小二乗（ＬＳ）学習フィルタを用いてフィルタを空間テクスチャに適応させる。別の実施形態では、空間適応処理は、同様の空間テクスチャを有するピクセルのみを含めるように、第１段階におけるＡＯＩセルを直接修正することができる。

図６は、図５の５５０で画像特徴にフィルタを適応させる方法の例を示している。６１０では、移動物体境界の周囲でフィルタを修正する。６２０では、物体境界及び代表的動きベクトルを用いて遮蔽領域を推定する。遮蔽領域は、参照画像に対して隠れるエリアである。６３０で、過去の参照画像及び未来の参照画像の両方が利用可能な場合には、未来の参照画像を用い、６１０で発生させた修正済みフィルタを用いて遮蔽領域を予測する。そうでなければ、１つの参照画像のみしか利用可能でない場合に、６４０において遮蔽領域の周囲でフィルタを修正する。

６１０をより詳細に参照すると、動きレーヤを分離する移動物体境界の存在によってフィルタを修正し、予測されるピクセルｘと同じ動きレーヤ内の動きベクトルを考慮に入れる。同様に、移動物体境界を用いて、ピクセルｘを予測するのに用いられるＡＯＩセルの形状を変更する。一部の実施形態では、次式のように各ＡＯＩセルを構築することによってこれを実施する。

ここで、ｘは、予測されるピクセル、ｘ_iは、Ｎ個の動きベクトルの集合内での特定の動きベクトルｉのピクセル位置、Ｏ_iは、動きベクトルｉに対する物体の動きレーヤの割り当てである。動きベクトルｉに対するＡＯＩセルＴ_iは、ピクセルｘが、動きベクトルｉと同じ動きレーヤＯ_iに属するようなピクセル｛ｘ｝の集合であり、ピクセルｘと動きベクトルｉの間の距離は、ピクセルｘと全ての他の動きベクトルｊ、ｊ＝ｌ、．．．Ｎ、ｊ≠ｉの間の距離よりも短い。各新しいＡＯＩセルＴ_iが式（４）を用いて構築された後に、移動物体境界を用いて、これらのセルの形状を修正し、式（３）からフィルタ重みを生成する。

物体境界の周囲にＡＯＩセルを構築し、これらのセルの形状を修正する例を図７に示している。７１０では、局所ノードパターンを受信する。局所ノードパターンは、予測する必要があるピクセルｘの近傍の動きベクトルの集合（円で表している）を含む。動きベクトルには（１）から（６）の番号を振っている。７２０では、動きベクトルの周囲に影響エリアセルを構築する。各破線は、ＡＯＩセル間の境界を表している。７３０では、実線で表しているピクセル影響エリアセルを予測されるピクセルｘの周囲に構築する。

７４０では、各動きベクトルのＡＯＩセルとピクセルのＡＯＩセルとの間の重なり面積を判断する。例えば、動きベクトル（１）に対するＡＯＩセルは、重なりエリアＡ₁においてピクセルＡＯＩセルと重なる。フィルタのタップ及びフィルタ重みは、重なり面積によって判断される。タップ構造は、ＡＯＩセルがピクセルエリアセルとの非ゼロ重なり面積Ａ_iを有する各動きベクトルＩによって形成される。この例では、動きベクトル（４）に対するＡＯＩセルは、ピクセルＡＯＩセルと重ならない。従って、ピクセルｘに対するフィルタタップ構造は、動きベクトル（１）、（２）、（３）、（５）、及び（６）である。タップ構造内の各動きベクトルのフィルタ重みは、比Ａ_i／Ａによって定められる。例えば、この事例では、ｆ₁＝Ａ₁／Ａである。

７５０では、フィルタを例えば移動物体の物体境界７５１のような画像特徴に適応させる。移動物体の物体境界４５１は、動きレーヤ７５３及び７５５を分離する。ピクセルｘを補間するには、タップ構造を修正してピクセルｘと同じ動きレーヤ内の動きベクトルを含める。ピクセルｘは、動きレーヤ７５５内に存在するので、７４０からのタップ構造を式（４）を用いて修正し、動きベクトル（３）及び（５）を除去し、動きベクトル（１）、（２）、及び（６）をタップ構造として残す。

更に、７５０では、式（３）を用いてフィルタ重みを物体境界７５１の形状に適応させる。この例では、物体境界７５１に沿った影響エリアセルの形状は、移動物体の境界に適応するように変化する。物体境界７５１は、動きベクトル（２）に対するＡＯＩセルを切断する。動きレーヤ７５５内に存在するピクセルｘを補間するには、動きベクトル（２）に対するＡＯＩセルを、動きレーヤ７５５内に存在するその元のセルのピクセルのみを含むように再形成する。それによって動きベクトル（２）の周囲に修正されたＡＯＩセルが発生する。同様に、動きベクトル（６）に対するＡＯＩセルの形状も、物体境界７５１に適応させる。動きベクトル（６）に対するＡＯＩセルと物体境界７５１の間のエリアは、動きレーヤ７５５内に存在する。しかし、このエリアは、最初は動きベクトル（５）に対するＡＯＩセル内に含まれていたものである。動きベクトル（５）は、もはやフィルタにおけるタップ構造の一部ではないので、このエリア内のピクセルは、この時点で動きベクトル（６）に対するＡＯＩセルの一部になる。修正された重なり面積：

及び

及び重なり面積Ａ₁を用いて、修正済みフィルタに対するフィルタ重みを発生させる。

図６に戻ると、６２０において、移動物体境界を用いて遮蔽領域を推定する。遮蔽領域の例を図８に示している。目標画像８２０を過去の参照画像８１０を用いて予測する。過去の参照画像８１０内の移動物体８０５の境界の位置から、目標画像８２０内のこの境界の位置へのこの境界の変位は、遮蔽領域８２５を形成する。遮蔽領域８２５内の目標画像の部分は、過去の参照画像８１０内では覆われている。従って、過去の参照画像８１０を用いて目標画像８２０の遮蔽領域内のピクセルを予測すると、低い結果が作り出される。予測を改善するために、図６の６３０において、未来の参照画像が利用可能な場合は、この画像を用いて遮蔽領域内のピクセルを予測する。そうでなければ、６４０でフィルタを再度修正する。

６４０をより詳細に参照すると、予測のための図８の過去の参照画像８１０のような単一の参照フィールドしか利用可能でない場合には、別の修正をフィルタに加える。この第２の修正は、遮蔽領域の内外での予測の精度を改善する。遮蔽領域内の動きベクトルは、目標画像内で対応するピクセルと関連のない参照画像内のピクセルにマップされるので、これらの動きベクトルは信頼性が低く、一貫性がない。第２の修正は、フィルタが、互いに対してある程度の一貫性を有する動きベクトルノードを用いることを可能にする。例えば、遮蔽領域の近くのピクセルを予測する時には、フィルタは、同じ動きレーヤに属する動きベクトルを用いる。

遮蔽領域内の目標ピクセルを予測するために単一の参照フィールドを用いるための修正は、最も近くの動きベクトルのみを用いる。遮蔽領域の近くではあるがその外側にある目標ピクセルを予測するために、この修正は、遮蔽領域内のピクセルを用いることを回避するように影響エリアセルを制約する。

一般的に、遮蔽領域Ｃに属さない動きベクトルｉに対して、各影響エリアセルＴ_iは、次式のように構築される。

ここで、ｘは、予測されるピクセルであり、ｘ_iは、Ｎ個の動きベクトルの集合内の特定の動きベクトルｉのピクセル位置であり、Ｏ_iは、動きベクトルｉに対する物体の動きレーヤの割り当てである。動きベクトルｉに対するＡＯＩセルＴ_iは、ピクセルｘが動きベクトルｉと同じ動きレーヤに属するような全てのピクセル（ｘ）の集合であり、ｘと動きベクトルｉの間の距離は、ピクセルｘと全ての他の動きベクトルｊ、ｊ＝１、．．．Ｎ、ｊ≠ｉとの間の距離よりも短く、このピクセルは、遮蔽領域Ｃ内に存在しない。遮蔽領域Ｃ内に存在する動きベクトルに対しては、影響エリアセルを構築しない。その代わりに、この領域内の目標ピクセルは、最も近くの動きベクトルを用いて動き補正を実施することで予測される。

１つの参照画像を用いて遮蔽領域内又はその近くのピクセルを予測するための修正の例を図９に示している。ＡＯＩセルが移動物体境界に適応するように修正されたところを９１０に示している。遮蔽領域は、９２０で示している。フィルタへの第２の修正を９３０に示し、ここでは動きベクトル（３）に対するＡＯＩセルが、遮蔽領域と重なる部分を除去するように縮小されている。遮蔽領域内に存在する動きベクトル（５）に対するＡＯＩセルは、フィルタから除去されている。動きベクトル（４）に対するＡＯＩセルは、先の動きベクトル（５）のＡＯＩセルの遮蔽領域の外側に存在する部分を含むように拡張されている。９４０に示すピクセルｘのような遮蔽領域の近くのピクセルを予測するために、９５０に示すように式（３）を用いてフィルタ重みを判断する。９４０に示すピクセルｘのような遮蔽領域内のピクセルを予測するために、フィルタ重み１を有する最も近くの動きベクトルを用いて単一タップフィルタを形成する。この事例では、最も近い動きベクトルは（５）である。

適応フィルタリング処理は、時間ドメインに定義されで時間予測処理中に近傍動きベクトルと結合するエリアベースのフィルタを発生させる。このフィルタは、動き画像内の不均一又は不規則なサンプリングパターンの動きベクトル、物体の形状及び境界、並びに空間テクスチャに自然に適応する。図１０は、フィルタを用いて目標画像内のピクセルｘを予測する２４０（図２Ａ）の更なる詳細を示している。参照画像１０１０内のピクセルを用いて、目標画像１０２０内のピクセルを予測する。参照ピクセルは、参照画像１０１０内の実線の円で表しており、予測される目標ピクセルは、目標画像１０２０内の破線の円で表している。

このフィルタは、局所動きベクトルｖ₁からｖ₅のタップ構造を用いて、目標画像１０２０内のピクセルｘに関する予測を形成する。動きベクトルのそれぞれのＡＯＩセルの各々は、ピクセルｘに対するＡＯＩセルの少なくとも一部分と重なるので、これらの動きベクトルは、ピクセルｘに対して局所的である。タップ構造内の各動きベクトル｛ｖ_i｝は、参照画像１０１０内の画像データ｛Ｉ_i｝にマップされる。適応時間予測フィルタは、フィルタ重み｛ｆ_i｝によって参照データ｛Ｉ_i｝を調節してピクセルｘを予測する。一実施形態では、この予測フィルタは、タップ構造及びフィルタ重みを用いて次式に従う予測を発生させる。

ここで、フィルタタップは、局所動きベクトルによって形成され、フィルタ係数｛ｆ_i｝は、式（３）を用いて判断される。

最初の予測の後に、処理は、図２Ａのブロック２５０に示すように動きベクトルの値を再推定し、フィルタの精度を改善する。一実施形態では、再推定は、図１１に例示する方法を用いて実施される。１１１０では、ＡＡＯＩフィルタに対する最大予測誤差に寄与する動きベクトルを識別する。続いて１１２０において、識別した動きベクトルの値をＡＡＯＩフィルタの予測誤差が低減するか又は最小になるまで変更する。更に、１１３０では、変更した値を用いて動きベクトルの値を更新する。１１４０で誤差低減が飽和状態になると、処理は終了する。そうでなければ、予測誤差の低減が飽和状態になるまで、処理は１１１０に戻る。この後、一部の実施形態では、図２Ａの処理を画像内の全ての動きベクトルに対して繰り返す。

一実施形態では、ＡＡＯＩフィルタは、図１２に示すようにビデオデータの画像（又はフレーム、又はフィールド）を符号化するためのビデオ符号化システムによって用いられる。１２１０では、符号器は、入力目標画像のような入力ビデオデータ及び目標画像内の移動物体の境界に関するデータのような入力目標画像に関連するデータを受信する。目標画像に関連する復号された画像データを含む参照画像の集合は、符号化処理中に符号器に対して利用可能であり、同様に、復号処理中には復号器に対して利用可能である。１２２０では、符号器は、目標画像に関連の動きベクトルのサンプリング又は分布を発生させる。すなわち、数量Ｎ個の動きベクトルが与えられると、これらＮ個の動きベクトルを目標画像内に配置する。一般的に、動きベクトルの位置を画像コンテンツ内の動きのエリアに適応させて、例えば、図３Ｂに示すような不規則パターンの動きベクトルが生じる。１２３０では、サンプリングパターン情報（例えば、パターンを表すビット）を復号器に伝送する。適応サンプリングパターンを発生させるのに多くの手法を用いることができる。

１２４０では、時間予測フィルタリング処理は、不規則な動きサンプリングパターンに適用される。この適応フィルタリング処理は、動きベクトル、不規則なサンプリングパターン、及び参照画像を用いて目標画像の予測を発生させる。１２５０では、動きベクトル値を符号化し、復号器に送信する。１２６０では、目標画像の実際の目標データから適応フィルタリング処理からの予測誤差を差し引いた残差を発生させる。１２７０では、この残差を符号化し、１２８０において復号器に送信する。

別の実施形態では、ＡＡＯＩフィルタは、図１３に示すようにビデオデータの画像（又はフレーム、又は画像）を復号するのに用いられる。１３１０では、符号化済み残差を受信する。１３２０では、復号器は受信した符号化済み残差を復号する。１３３０では、復号器は、サンプリングパターン情報、参照画像、及び動きベクトル値を受信する。続いて１３４０において、復号器は、適応時間フィルタリング手順を適用して時間予測を発生させる。１３５０では、復号済み残差を時間予測に加えることにより、復号された目標画像を発生させる。

図１４は、適応影響エリアフィルタを用いるシステムの例を示している。デジタルビデオカメラ１４１０は、電子形式で画像を取り込み、かつ圧縮及び符号化処理中に適応影響エリアフィルタを用いる圧縮デバイス１４２０を用いて画像を処理する。符号化された画像は、電子伝送媒体１４３０を通じてデジタル再生デバイス１４４０に送信される。画像は、復号処理中にこのフィルタを用いる復号デバイス１４５０によって復号される。カメラ１４１０は、本発明の実施形態を含む様々な画像処理装置（例えば、他の画像取り込みデバイス、画像エディタ、画像処理プロセッサ、パーソナル及び市販のコンピュータプラットフォーム等）を示している。同様に、復号デバイス１４５０は、画像データを復号する様々なデバイスを示している。

本発明を特定のシステム環境における実施形態に関して説明したが、本発明は、特許請求の精神及び範囲内の他の異なるハードウエア及びソフトウエア環境において修正を伴って実施することができることを当業者は認識するであろう。

複数の固定サイズのブロックに分割された参照画像の例を示す図である。移動物体境界に対する適応時間フィルタリングの例を示す図である。移動物体境界に対する適応時間フィルタリングの例を示す図である。目標画像から抽出された移動物体境界の例を示す図である。移動物体境界を用いて発生させた不規則パターンの動きベクトルの例を示す図である。不規則パターンの動きベクトルを発生させる方法の例を示す図である。図４Ａの方法の中間結果の例を示す図である。フィルタ係数を計算する方法の例を示す図である。フィルタを画像内の物体特徴に適応させる方法の例を示す図である。物体境界の周囲にＡＯＩセルを構築する例を示す図である。移動物体に対する遮蔽領域の例を示す図である。１つの参照画像を用いて遮蔽領域内又はその近くのピクセルを予測するための修正の例を示す図である。フィルタを用いて目標画像内のピクセルを予測する例を示す図である。動きベクトルの値を再推定し、フィルタの精度を改善する例を示す図である。適応時間フィルタを用いてビデオデータの画像（又はフレーム、又はフィールド）を符号化するためのビデオ符号化システムの例を示す図である。ビデオデータの画像（又はフレーム、又は画像）を復号するのにフィルタを用いる例を示す図である。適応影響エリアフィルタを用いるビデオシステムの例を示す図である。

符号の説明

２１０不規則なサンプリングパターンの動きベクトルを発生させる段階
２２０影響エリア（ＡＯＩ）セルに目標画像を分割する段階
２４０目標画像の予測を発生させる段階

Claims

画像内の物体の位置が参照画像内の該物体の位置とは異なる目標画像を受信する段階と、
前記物体の境界を用いて、不規則パターンの目標画像動きベクトルを発生させる段階と、
前記目標画像動きベクトルを用いて、各セルが該目標画像動きベクトルのうちの固有の１つを収容する影響エリアセルに前記目標画像を分割する段階と、
前記影響エリアセルに適応影響エリアフィルタを適用することにより、前記目標画像の予測を発生させる段階と、
を含むことを特徴とする方法。
前記物体の境界を用いて不規則パターンの目標画像動きベクトルを発生させる段階は、
前記物体の内側に動きベクトルを位置決めする段階と、
前記境界に関連する少なくとも１つのパラメータを用いて、該境界に関連して動きベクトルを分布させる段階と、
を含む、
ことを特徴とする請求項１に記載の方法。
前記適応影響エリアフィルタを適用する段階は、
前記境界の近くの影響エリアセルに対して前記フィルタを修正する段階と、
前記修正されたフィルタを用いて遮蔽領域を推定する段階と、
前記遮蔽領域を持たない参照画像を用いて前記目標画像を予測する段階と、
を含む、
ことを特徴とする請求項１に記載の方法。
前記境界の近くの影響エリアセルに対して前記フィルタを修正する段階は、

が成り立つように、前記影響エリアセルに対する前記動きベクトルと同じ動きレーヤに属するピクセルを含めるために各影響エリアセルを修正し、
ここで、ｘは、予測されるピクセルであり、ｘ_iは、Ｎ個の動きベクトルの集合内の特定の動きベクトルｉのピクセル位置であり、Ｏは、動きベクトルｉに対する物体の動きレーヤ割り当てであり、Ｔ_iは、該特定の動きベクトルｉに対する影響エリアセルであり、集合ｊ∈Ｎ、ｊ≠ｉは、全ての他の動きベクトルを表している、
ことを特徴とする請求項３に記載の方法。
前記境界近くの影響エリアセルに対して前記フィルタを修正する段階は、
遮蔽領域を推定する段階と、
前記遮蔽領域の周囲で前記フィルタを修正する段階と、
を含む、
ことを特徴とする請求項３に記載の方法。
前記遮蔽領域の周囲で前記フィルタを修正する段階は、
前記遮蔽領域の外側の各動きベクトルに対して、

が成り立つように、動きベクトルと同じ動きレーヤに属し、かつ該遮蔽領域の外側にあるピクセルを含めるために該動きベクトルに対する前記影響エリアセルを修正する段階、
を含み、
ここで、ｘは、予測されるピクセルであり、ｘ_iは、Ｎ個の動きベクトルの集合内の特定の動きベクトルｉのピクセル位置であり、Ｏ_iは、動きベクトルｉに対する物体の動きレーヤ割り当てであり、Ｔ_iは、該特定の動きベクトルｉに対する影響エリアセルであり、集合ｊ∈Ｎ、ｊ≠ｉは、全ての他の動きベクトルを表し、Ｃは、前記遮蔽領域を表している、
ことを特徴とする請求項５に記載の方法。
前記遮蔽領域の周囲で前記フィルタを修正する段階は、
前記遮蔽領域の外側の各動きベクトルに対して、動きベクトルと同じ動きレーヤに属し、かつ該遮蔽領域の外側にあるピクセルを含めるために該動きベクトルに対する前記影響エリアセルを修正する段階と、
前記遮蔽領域内の各ピクセルに対して、フィルタ重み１を有する最も近い動きベクトルを用いて該ピクセルを予測する段階と、
前記遮蔽領域の外側の各ピクセルに対して、前記修正された影響エリアセルを用いてフィルタ重みを判断し、該ピクセルを予測する段階と、
を含む、
ことを特徴とする請求項５に記載の方法。
画像内の物体の位置が参照画像内の該物体の位置とは異なる目標画像を受信する受信器と、
前記物体の境界を用いて不規則パターンの目標画像動きベクトルを発生させる発生器と、
前記目標画像動きベクトルを用いて、各セルが該目標画像動きベクトルのうちの固有の１つを収容する影響エリアセルに前記目標画像を分割する分割器と、
前記影響エリアセルに適応影響エリアフィルタを適用することによって前記目標画像の予測を発生させる予測器と、
を含むことを特徴とする装置。
前記発生器は、前記物体の前記境界を用いて、該物体の内側に動きベクトルを位置決めし、かつ該境界に関連する少なくとも１つのパラメータを用いて該境界に関連して動きベクトルを分布させることにより、不規則パターンの目標画像動きベクトルを発生させることを特徴とする請求項８に記載の装置。
前記予測器は、記適応影響エリアフィルタを、前記境界の近くの影響エリアセルに対して該フィルタを修正し、該修正されたフィルタを用いて遮蔽領域を推定し、かつ該遮蔽領域を持たない参照画像を用いて前記目標画像を予測することによって適用することを特徴とする請求項８に記載の装置。
前記予測器は、前記境界の近くの影響エリアセルに対して前記フィルタを、移動物体の境界の周囲で該フィルタを修正し、遮蔽領域を推定し、該遮蔽領域を持たない参照画像を識別し、かつ該識別した参照画像を用いて前記目標画像を予測することによって修正することを特徴とする請求項１０に記載の装置。
前記予測器は、前記境界の近くの影響エリアセルに対して前記フィルタを、遮蔽領域を推定し、かつ該遮蔽領域の周囲で該フィルタを修正することによって修正することを特徴とする請求項１１に記載の装置。
電子データ処理システムによって実行された時に該システムに、
画像内の物体の位置が参照画像内の該物体の位置とは異なる目標画像を受信する段階と、
前記物体の境界を用いて、不規則パターンの目標画像動きベクトルを発生させる段階と、
前記目標画像動きベクトルを用いて、各セルが該目標画像動きベクトルのうちの固有の１つを収容する影響エリアセルに前記目標画像を分割する段階と、
前記影響エリアセルに適応影響エリアフィルタを適用することにより、前記目標画像の予測を発生させる段階と、
を含む方法を実施させる命令のコンピュータプログラムを記憶するコンピュータ可読媒体。
前記物体の境界を用いて不規則パターンの目標画像動きベクトルを発生させる段階は、
前記物体の内側に動きベクトルを位置決めする段階と、
前記境界に関連する少なくとも１つのパラメータを用いて、該境界に関連して動きベクトルを分布させる段階と、
を含む、
ことを特徴とする請求項１３に記載のコンピュータ可読媒体。
前記適応影響エリアフィルタを適用する段階は、
前記境界の近くの影響エリアセルに対して前記フィルタを修正する段階と、
前記修正されたフィルタを用いて遮蔽領域を推定する段階と、
前記遮蔽領域を持たない参照画像を用いて前記目標画像を予測する段階と、
を含む、
ことを特徴とする請求項１４に記載のコンピュータ可読媒体。
前記境界近くの影響エリアセルに対して前記フィルタを修正する段階は、
遮蔽領域を推定する段階と、
前記遮蔽領域の周囲で前記フィルタを修正する段階と、
を含む、
ことを特徴とする請求項１５に記載のコンピュータ可読媒体。