JP5103129B2

JP5103129B2 - 動き補償画像の補間方法、及びその方法を実現する装置

Info

Publication number: JP5103129B2
Application number: JP2007264499A
Authority: JP
Inventors: ケルヴェジョナタン; ゲルムーアサーヌ; ドワイヤンディディエ
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2006-10-12
Filing date: 2007-10-10
Publication date: 2012-12-19
Anticipated expiration: 2027-10-10
Also published as: EP1912172A1; US20080089419A1; JP2008099281A; KR101399616B1; US8223839B2; FR2907301A1; CN101163247B; KR20080033094A; EP1912172B1; CN101163247A

Description

本発明は、画像又はビデオの処理の分野に関し、特に、動き補償を伴う画像補間の分野に関する。

いくつかのビデオ処理動作（例えば、ビデオ補間の場合、又は、例えばビデオ圧縮の場合にデータ容量を削減する場合）は、処理の品質を向上させるために動き補償を必要とする。本発明は特に、動き補償を伴う補間（動き補償ビデオ補間とも呼ばれる）に関する。

動き補償ビデオ補間は一般に、動き推定工程、及びそれに続く補間工程を有する。

動き推定は、補間対象の画像の点毎に動きベクトルを規定する工程を含む。前述の画像は、時間上、２つのソース画像間に配置される。通常、動き推定工程は、２つの工程（すなわち、予測工程及び補正工程）で行われる。予測工程は、補間対象の画像の画素毎に、近傍画素について既に算出されている動きベクトルから、かつ、先行ソース画像について算出された動きベクトルの予測から動きベクトルを規定する工程、及び対象画素を含める工程を含む。既に算出されている動きベクトルは、例えば、先行画素行のn個の近傍画素の動きベクトルである。その場合、予測は、最小のDFD（変位フレーム差）値を生成する動きベクトルを、予め算出されたn+1個の動きベクトルから選択する工程を含む。後の補正工程は、選択された動きベクトルを、対象画素のDFDを更に削減する（可能な場合）ためにその軸を中心に回転させる工程を含む。

先行ソース画像I_prevと現行ソース画像I_currとの間で補間する対象の画像I_intの場合、先行して規定された動きベクトルは、ソース画像それぞれの画像点を指し示す。この画像点は、４つの画素間にある画素又は点である。「単一フレーム」として知られている補間の場合、双線形補間は、推定動きベクトルによってソース画像（一般に、現在のソース画像）のうちの1つにおいて指し示される4つの画素の値の双線形関数fである値を画像I_intの対象Pに割り当てる工程を含む。例えば、現在のソース画像における動きベクトルによって指し示される画像点の近くの4つの画素の値をV₁、V₂、V₃及びV₄が示し、α₁、α₂、α₃及びα₄が、画像点に上記画素の近傍を表す重み付け係数である場合、画像I_intの画素に割り当てられる値は、

である。４つの画素のうちの特定の画素を動きベクトルが指し示す場合、他の３つの画素に割り当てられる重み付け係数はゼロであり、対象画素に割り当てられる値は、この特定の画素の値である。「ダブル・フレーム」として知られている補間の場合、双線形補間は同様に、しかし、８つの画素（すなわち、先行ソース画像の４つの画素、及び現行ソース画像の４つの画素）によって行われる。

動き推定が誤差なしであることは決してないとすれば、移動におけるこのタイプの補償補間には、連続した２つのソース画像間で消滅又は出現する、画像領域において目に見える粗が含まれている。その場合、画素間のマッチングが可能でないからである。
米国特許出願公開第2004/252230号明細書米国特許出願公開第2004/076333号明細書米国特許出願公開第2002/171759号明細書 Ozkan M.K.ら、「Motion-adaptive weighted averaging for temporal filtering of noisy image sequences」、Proceedings of the SPIE − The International Society for Optical Engineering USA、 vol. 1657、 1992、 pp. 201-212 Boyce J.M. Ed、- Institute of Electrical and Electronics Engineers、「Noise reduction of image sequences using adaptive motion compressed frame averaging」、 Digital Signal Processing 2, Estimation、VLSI、 San Francisco、Mar. 23、Vol. VOL 5 CONF. 17、 23 mars 1992 (1992-03-23), pp. 461-464

本発明は、特に、オブジェクトの出現領域又は消滅領域について、前述したものよりも重大でない新たな動き補償ビデオ補間を提案している。

本発明は、推定された動きベクトルの振幅及び／又は信頼度係数に応じて補間工程自体が変動する動き補償ビデオ補間方法を提案している。補間について考慮に入れる対象の画素の数、及び前述の画素に関連した重み付け係数を、推定動きベクトルの振幅及び／又は信頼度係数に応じて変動させる。

本発明はよって、少なくとも２つのソース画像の画素から、動き補償画像の少なくとも一画素を補間する方法に関する。この方法は、
補間対象の画像の画素について、動きベクトルをソース画像から推定する工程と、
上記ベクトルの推定を表す情報を判定する工程と、
上記ベクトルの推定を表す上記情報に応じて、補間対象の画像の画素の補間パターンを選択する工程であって、補間パターンは、ソース画像のうちの少なくとも１つにおける画素を識別し、識別された画素それぞれに重み付け係数を関連付ける工程と、
選択された補間パターンの画素及び係数から画像の画素を補間する工程とを備える。

ベクトルの推定を表す情報は、推定ベクトルの振幅、若しくは、ベクトルの推定に関する信頼度係数、又は、前述の両方であり得る。

特定の実施例によれば、推定動きベクトルの振幅のみが、補間パターンの選択のために考慮に入れられる。この場合、いくつかの補間レベルを考慮することが可能である。

補間対象の画像の画素の推定動きベクトルの振幅が、第１の非ゼロ閾値以下の場合、補間パターンは、補間対象の画素の空間位置に最も近いソース画像のうちの１つのn個の画素を備える。Nは２以上であり、ソース画像画素それぞれに割り当てられる重み付け係数は、補間対象の画素との近さに依存する。この場合、これには単一フレーム補間が関係する。ダブル・フレーム補間の場合、補間パターンは、補間対象の画素の空間位置に最も近いソース画像それぞれのn個の画素を備え、nは2以上であり、ソース画像画素それぞれに割り当てられた重み付け係数は、補間対象の画素とのそれらの近さ、及び、ソース画像に対する、補間対象の画像の時間位置に依存する。

補間対象の画像の画素の推定動きベクトルの振幅が第１の閾値よりも大きい場合、補間パターンは、単一フレーム補間の場合、補間対象の画素の空間位置に最も近いソース画像のうちの１つのn個の画素を含む。nは２以上であり、ソース画像画素に割り当てられる重み付け係数は全て等しい。ダブル・フレーム補間の場合、補間パターンは、ソース画像それぞれにおける、補間対象の画素の空間位置に最も近いn個の画素を備え、nは2以上であり、ソース画像画素それぞれに割り当てられた重み付け係数は、補間対象の画素とのそれらの近さ、及び、ソース画像に対する、補間対象の画像の時間位置に依存する。画素の数nは、推定ベクトルの振幅の増加に伴って適切に増加する。

別の特定の実施例によれば、推定動きベクトルに関する信頼度係数のみが、補間パターンの選択のために考慮に入れられる。この信頼度係数は例えば、補間対象の画素を含むm×m個の画素ウィンドウにおける動きベクトルの分散に依存する。この場合、いくつかの補間レベルを考慮することも可能である。

補間対象の画像の画素の動きベクトルの信頼度係数が、第１の信頼度閾値よりも大きい場合、補間パターンは、単一フレーム補間の場合、補間対象の画素の空間位置に最も近いソース画像のうちの１つのn個の画素を備える。nは２以上であり、ソース画像画素それぞれに割り当てられる重み付け係数は、補間対象の画素との近さに依存する。ダブル・フレーム補間の場合、補間パターンは、補間対象の画素の空間位置に最も近いソース画像それぞれのn個の画素を備え、nは2以上であり、ソース画像画素それぞれに割り当てられる重み付け係数は、補間対象の画素へのそれらの近さ、及び、ソース画像に対する、補間対象の画像の時間位置に依存する。

補間対象の画像の画素の動きベクトルの信頼度係数が第１の信頼度閾値以下の場合、補間パターンは、単一フレーム補間の場合、補間対象の画素の空間位置に最も近いソース画像のうちの１つのn個の画素を含む。nは２以上であり、ソース画像画素に割り当てられる重み付け係数は等しい。ダブル・フレーム補間の場合、補間パターンは、ソース画像それぞれにおける、補間対象の画素の空間位置に最も近いn個の画素を備え、nは2以上であり、ソース画像画素それぞれに割り当てられる重み付け係数は、補間対象の画素とのそれらの近さ、及び、ソース画像に対する、補間対象の画像の時間位置に依存する。画素の数nは効果的には、推定ベクトルの信頼度係数の値の減少とともに減少する。

別の特定の実施例によれば、上記ベクトルの振幅、及び上記ベクトルに関する信頼度係数が、補間パターンの選択のために考慮に入れられる。

最後に、本発明は、少なくとも２つのソース画像からの動き補償画像の少なくとも１つ画素の補間装置にも関する。この装置は、
ソース画像を記憶するメモリと、
補間対象の画像の画素について、動きベクトルをソース画像から推定する動き推定器と、
上記ベクトルの推定を表す情報を判定する判定回路と、
上記ベクトルの推定を表す上記情報に応じて、補間対象の画像の画素の補間パターンを選択する補間回路とを備える。補間パターンは、ソース画像の少なくとも１つにおいて画素を識別し、識別された画素それぞれに重み付け係数を関連付け、選択された補間パターンの画素及び係数から画素を補間する。

本発明は、情報の目的でのみ記載しており、添付図面を参照する以下の説明を読むことによって、より深く理解されよう。

前述の通り、本発明の原理は、対象画素の推定動きベクトルの振幅及び／又は推定動きベクトルに関連した信頼度係数に応じて、補間パターン（すなわち、補間及び／又は関連した重み付け係数が基づく画素の数）を変えるものである。

以下、３つの実施例（すなわち、推定動きベクトルの振幅にのみ基づいた第１の実施例、推定動きベクトルの信頼度係数にのみ基づいた第２の実施例、及び前述の実施例を組み合わせた第３の実施例）を説明する。

図１は、本発明の方法の第１の実施例の工程を表すフロー図である。これは、
補間対象の画像の画素毎に動きベクトル（Vx,Vy）を推定する動き推定工程１００と、
推定動きベクトルの振幅A（

）を求める工程１１０と、
補間対象の画像の画素毎の、前述の画素の推定動きベクトルの振幅に応じた補間パターン選択工程１２０と、
前述の画像の画素毎に、前述の画素について選択された補間パターンを用いることによって補間画像を生成する補間工程１３０とを備える。

図２は特に、補間工程１３０を示し、各種補間（双線形補間、平均による補間）、及び推定動きベクトルの振幅に応じて施す対象の種々のパターンを示す。動きベクトルの方向（正の動きベクトル又は負の動きベクトル）は、補間の選択には関係しない。この実施例では、複数の近傍画像に基づいた双線形補間又は平均補間を用いる。前述のタイプの補間毎に、推定動きベクトルの振幅が大きいほど、補間パターンの画素の数の増加は大きくなる。

動きベクトルの振幅が第１の閾値ＳＡ１以下の場合、動きは低いとみなされる。閾値ＳＡ１は、例えば、2画素（フレーム毎）で固定される。補間はその場合、例えば、４つの画素に基づいた双線形補間である。前述の４つの画素は、ソース画像における対象の画素の近傍画素である。近傍画素は、補間対象の画像の対象画素の座標に空間座標が近いソース画像画素を意味するものとする。単一フレーム補間の場合、１つのソース画像のうちの４つの近傍画素のみが使用される。このケースは図３によって示す。４つの近傍画素はＰ_１、Ｐ_２、Ｐ_３及びＰ_４と表す。前述の４つの画素に関連したビデオ値はＶ_１、Ｖ_２、Ｖ_３及びＶ_４によって表し、関連した重み付け係数はα_１、α_２、α_３及びα_４と表す。係数α_iの値は、関連画素P_iと、補間対象の画素とを隔てる距離の関数である。図３の例では、画素P₁は、補間対象の画素に最も近く、その係数α_１はよって、最高である。画素P₄は、補間対象の画素から最も遠く、その係数α_４はよって、最低である。画素に割り当てられる値はよって、

に等しい。非常に明らかに、かつ、前述の通り、動きベクトルが、４つの画素のうちの特定の画素を指し示す場合、他の３つの画素に割り当てられる重み付け係数はゼロである。ダブル・フレーム補間の場合、双線形補間が、先行ソース画像の４つの近傍画素、及び現行ソース画像の４つの画素に対して行われる。V₁、V₂、V₃及びV₄が、現行ソース画像の４つの近傍画素の値を表し、α_１、α_２、α_３及びα_４が、関連した重み付け係数を表し、V’₁、V’₂、V’₃及びV’₄が、先行画像ソース画像の４つの近傍画素の値を表し、α’_１、α’_２、α’_３及びα’_４が、関連した重み付け係数を表す場合、補間対象の画素に割り当てられる値は、

に等しい。この公式では、βは、ソース画像に対する、補間対象の画像の時間位置に依存する係数である。補間対象の画像が、時間上、ソース画像間の中間点にある場合、β=1/2である。補間対象の画像が、先行ソース画像よりも現行ソース画像に近い場合、βは1/2よりも大きい。

特定画素の推定動きベクトルの振幅がゼロの場合、動きベクトルは、先行ソース画像及び現行ソース画像の一方及び他方において同じ空間座標を有する画素を指し示す。双線形補間は、対応する画素（すなわち、同じ空間座標を有する）の値を、先行ソース画像又は現行ソース画像の１つから再複製することに等しい。先行ソース画像及び現行ソース画像が、インタリーブされたビデオ系列のデインタリーブによって得られるプログレシブ画像である場合、（ゼロの動きベクトルによって関係付けられるので）等しいはずである画素の値が等しくないことが考えられる。この場合、動きベクトルによって指し示される画素の値の一方又は他方をなお再複製するか、又は、場合によっては平均を算出することが可能である。

動きベクトルの振幅が閾値SA1よりも大きく、SA１よりも大きな第２の閾値SA2以下の場合、動きは平均であるものとする。閾値ＳＡ２は、例えば、6画素（フレーム毎）で固定される。補間はその場合、ソース画像における対象の画素の４つの近傍画素P₁、P₂、P₃及びP₄に基づいた平均化工程である。このケースは図４によって示す。４つの近傍画素の重み付け係数は等しい（α_１=α_２=α_３=α_４=α）。単一フレーム補間の場合、補間対象の画素に割り当てられる値は、

に等しい。（α’_１=α’_２=α’_３=α’_４=α’）であるダブル・フレーム補間の場合、補間対象の画素に割り当てられる値は、

に等しい。

最後に、動きベクトルの振幅が閾値SA2よりも大きい場合、移動は大きいものとする。補間はその場合、８つの近傍画素に基づいた平均化工程（例えば、図５に示す工程）である。８つの近傍画素の重み付け係数は等しい（=α）。単一フレーム補間の場合、補間対象の画素に割り当てられる値は、

に等しい。ダブル・フレーム補間の場合、補間対象の画素に割り当てられる値は、

に等しい。

図６は、前述の処理を実現することができる装置を表す。この装置は、ソース画像（すなわち、現行ソース画像及び先行ソース画像）をそれぞれが記憶することができる少なくとも２つの画像メモリ２００と、装置の入力における現行ソース画像、及び画像メモリ２００の１つに記憶された先行ソース画像から補間対象の画像の画素毎に動きベクトル（Vx,Vy）を求める動き推定器２１０と、推定器２１０からの推定動きベクトルの振幅Aを求める回路２２０と、画像メモリ２００に記憶された現行ソース画像及び先行ソース画像、並びに、回路２２０によって求められた振幅Aから補間画像を生成する補間器２３０とを備える。補間器２３０は、閾値SA1及びSA2、並びにゼロ値におけるこの画素の推定動きベクトルの振幅Aを補間対象画素毎に比較し、その後、適切な補間パターンを施す。

図7は、本発明の第２の実施例の工程を表すフロー図である。これは、
補間対象の画像の画素毎に動きベクトル（Vx,Vy）を推定する動き推定工程３００と、
推定動きベクトルの信頼度係数Cを求める工程３１０と、
推定動きベクトルの信頼度係数に応じた、補間対象の画像の画素毎の補間パターン選択工程３２０と、
前述の画像の画素毎に、前述の画素について選択された補間パターンを用いることによって補間画像を生成する補間工程３３０とを備える。

この実施例では、この信頼度係数が低いほど、補間パターンによって用いられる画素の数は高くなる。実際に、補間画像は、推定動きベクトルの値における信頼度が低い場合、よりぼやけさせることが可能である。この信頼度係数は例えば、対象画素を含む画像領域における動きベクトルの値の分散を解析することによって求められる。この領域における動きベクトルの値が分散しているほど、対象画素に関連した信頼度係数は低くなる。信頼度係数Cは例えば、対象画素を含む5×5個の画素ウィンドウにおける動きベクトルの分散に反比例する。

等式の第２項は、0と1との間に収めるために標準化されている。座標画素(3,3)は現行画素を表す。Vx_i,j及びVy_i,jはそれぞれ、画素(i,j)の動きベクトルの水平成分及び垂直成分を表す。Vx_max及びVy_maxは、動きベクトルの最大水平成分及び最大垂直成分を表す。前述の成分それぞれの8ビット符号化の場合、Vx_max=Vy_max=255である。

図８は、補間工程３３０をより具体的に示し、推定動きベクトルに関連した信頼度係数の値に応じて施す対象の補間の例を示す。

信頼度係数の値が第１の閾値SC1以下の場合、信頼度係数は低いとみなされる。補間はその場合、例えば、8個の画素に基づいた平均化補間である。前述の8個の画素は、ソース画像における対象の画素の近傍画素である。単一フレーム補間の場合、１つのソース画像のうちの8個の近傍画素のみが使用される。図２乃至図５に対する第１の実施例について規定した表記を再使用した場合、補間対象の画素に割り当てられる値は、

に等しい。ダブル・フレーム補間の場合、補間が、先行ソース画像の8つの近傍画素、及び現行ソース画像の8つの画素に対して行われる。補間対象の画素に割り当てられる値はその場合、

に等しい。

信頼度係数の値が閾値SC1よりも大きく、SC１よりも大きな第２の閾値SC2以下の場合、信頼度係数は中位とみなされる。補間はその場合、例えば、4つの画素に基づいた平均化補間である。前述の4つの画素は、ソース画像における対象の画素の近傍画素である。単一フレーム補間の場合、１つのソース画像のうちの４つの近傍画素のみが使用される。図２乃至図５に対する第１の実施例について規定した表記を再使用した場合、補間対象の画素に割り当てられる値は、

に等しい。ダブル・フレーム補間の場合、補間が、先行ソース画像の4つの近傍画素、及び現行ソース画像の4つの画素に対して行われる。補間対象の画素に割り当てられる値はその場合、

に等しい。

最後に、信頼度係数の値が閾値SC2よりも大きい場合、信頼度係数は強いとみなされる。補間はその場合、例えば、4つの画素に基づいた双線形補間である。前述の4つの画素は、ソース画像における対象の画素の近傍画素である。単一フレーム補間の場合、１つのソース画像のうちの４つの近傍画素のみが使用される。図２乃至図５に対する第１の実施例について規定した表記を再使用した場合、補間対象の画素に割り当てられる値は、

に等しい。ダブル・フレーム補間の場合、双線形補間が、先行ソース画像の４つの近傍画素、及び現行ソース画像の４つの画素に対して行われる。画素に割り当てられる値はその場合、

に等しい。

図9は、前述の方法を実現することができる装置を表す。この装置は、ソース画像（すなわち、現行ソース画像及び先行ソース画像）をそれぞれが記憶することができる少なくとも２つの画像メモリ400と、装置の入力における現行ソース画像、及び画像メモリ400の１つにおける先行ソース画像から補間対象の画像の画素毎に動きベクトルを求める動き推定器410と、推定器410からの推定動きベクトル毎の信頼度係数Cを求める回路420と、画像メモリ400に記憶された現行ソース画像及び先行ソース画像、並びに、回路420によって求められた信頼度係数Cから補間画像を生成する補間器430とを備える。補間器430は、閾値SC1及びSC2におけるこの画素の推定動きベクトルの信頼度係数Cを補間対象画素毎に比較し、その後、適切な補間パターンを施す。

図１０は、推定動きベクトルの振幅A及び信頼度係数Cに応じて補間パターンが選択される、本発明の方法の実施例の工程を示すフロー図である。これは、
補間対象の画像の画素毎に動きベクトル（Vx,Vy）を推定する動き推定工程500と、
推定動きベクトル毎に、その振幅A（

）及び信頼度係数C（例えば、第２の実施例について説明したような、対象画素を含む画素ウィンドウにおける動きベクトルの分散である）を求める工程510と、
推定動きベクトルの振幅及び信頼度係数に応じて補間するための、補間対象の画像の画素毎の補間パターン選択工程520と、
前述の画像の画素毎に、前述の画素について選択された補間パターンを用いることによって補間画像を生成する補間工程530とを備える。

補間工程530について、例えば、それに応じて補間パターンが選択される値（例えば、修正振幅と呼ばれ、A_modと表す）を算出する。A_modは例えば、A_mod=A×(1-C)に等しい。A_modに応じて施される対象の補間は例えば、図１０によって示す。A_modが第１の閾値SA'1以下の場合、施される補間は、一方又は両方のソース画像における対象画素の４つの近傍画素に基づいた双線形補間である。A_modが閾値SA’1よりも大きいが、SA1より大きな閾値SA’2以下の場合、補間は、一方又は両方のソース画像における対象画素の４つの近傍画素に基づいた平均化工程である。最後に、A_modが閾値SA2よりも大きい場合、補間は、より大きな数（例えば、８つ）の近傍画素に基づいた平均化工程である。

図１１は、図９に示す処理を実現することができる装置を表す。この装置は、ソース画像（すなわち、現行ソース画像及び先行ソース画像）をそれぞれが記憶することができる少なくとも２つの画像メモリ６００と、装置の入力における現行ソース画素、及び画像メモリ６００の１つに記憶された先行ソース画像から補間対象の画像の画素毎に動きベクトル（Vx,Vy）を求める動き推定器６１０と、推定器６１０からの推定動きベクトルの振幅A及び信頼度係数Cを求める回路６２０と、画像メモリ６００に記憶された現行ソース画像及び先行ソース画像、並びに、回路６２０によって求められた振幅A及び信頼度係数Cから補間画像を生成する補間器６３０とを備える。

当然、本発明は、前述の実施例に限定されるものでない。当業者は、異なる数の画素、又は異なる重み付け係数を用いることによって、本明細書に提示したもの以外の補間タイプ及び補間パターンの使用を見通すことができるであろう。

推定動きベクトルの振幅に基づいた、第１の実施例における本発明の方法の工程を表すフロー図である。推定動きベクトルの振幅に応じて施される対象の別々の補間パターンを示す図である。推定動きベクトルが閾値SA1未満である場合における補間をより具体的に示す図である。推定動きベクトルが閾値SA1と閾値SA2の間である場合における補間をより具体的に示す図である。推定動きベクトルが閾値SA２より大きな場合における補間をより具体的に示す図である。図１の方法を実現することができる装置を示す図である。推定された移動の信頼度係数に基づいた、第２の実施例における本発明の方法の工程を表すフロー図である。推定動きベクトルの信頼度係数に応じて施される対象の別々の補間パターンを示す図である。図7の方法を実現することができる装置を示す図である。推定動きベクトルの振幅及び信頼度係数に基づいた、第３の実施例における本発明の方法の工程を表すフロー図である。推定動きベクトルの振幅及び信頼度係数に応じて施される対象の別々の補間パターンを示す図である。図10の方法を実現することができる装置を示す図である。

符号の説明

２００メモリ
２１０動き推定器
２２０判定回路
２３０補間回路
４００メモリ
４１０動き推定器
４２０判定回路
４３０補間回路
６００メモリ
６１０動き推定器
６２０判定回路
６３０補間回路

Claims

少なくとも２つのソース画像からの動き補償画像の少なくとも１つの画素を補間する方法であって、
補間対象の前記画像の前記画素について、動きベクトルを前記ソース画像から推定する工程と、
前記ベクトルの前記推定を表す少なくとも１つの情報を判定する工程であって、前記少なくとも１つの情報は、前記推定動きベクトルの振幅である工程と、
前記ベクトルの前記推定を表す前記情報に応じて、補間対象の前記画像の前記画素の補間パターンを選択する工程であって、前記補間パターンは、前記ソース画像のうちの少なくとも１つにおける画素を識別し、前記識別された画素それぞれに重み付け係数（α_i）を関連付け、前記補間対象の画像の前記画素の前記推定動きベクトルの振幅が、第１の非ゼロ閾値（SA1）以下の場合、前記補間パターンは、補間対象の前記画素の空間位置に最も近いソース画像のうちの少なくとも１つのn個の画素を備え、nは２以上であり、前記ソース画像の画素それぞれに割り当てられる重み付け係数は、補間対象の前記画素との近さに依存する工程と、
前記選択された補間パターンの前記重み付け係数及び前記少なくとも１つのソース画像の前記識別された画素から前記画像の前記画素を補間する工程と
を備える方法。
請求項１記載の方法であって、前記補間パターンは、補間対象の前記画素の空間位置に最も近いソース画像それぞれのn個の画素を備え、nは２以上であり、前記ソース画像の画素それぞれに割り当てられる重み付け係数は、補間対象の前記画素とのそれらの近さ、及び、ソース画像に対する、前記補間対象の前記画像の時間位置に依存する方法。
請求項１又は２に記載の方法であって、補間対象の前記画像の画素の前記推定動きベクトルの振幅が前記第１の閾値（SA1）よりも大きい場合、前記補間パターンは、補間対象の前記画素の前記空間位置に最も近い前記ソース画像のうちの１つのn個の画素を備え、nは２以上であり、前記ソース画像の画素に割り当てられる前記重み付け係数が等しい方法。
請求項１又は２に記載の方法であって、補間対象の画像の画素の前記推定動きベクトルの振幅が前記第１の閾値（SA1）よりも大きい場合、前記補間パターンは、前記ソース画像それぞれにおける補間対象の前記画素の前記空間位置に最も近いn個の画素を備え、nは２以上であり、前記ソース画像の画素それぞれに割り当てられる前記重み付け係数は、補間対象の前記画素とのそれらの近さ、及び、ソース画像に対する、前記補間対象の前記画像の時間位置に依存する方法。
請求項1乃至4の何れか一項に記載の方法であって、n個の画素は、前記推定ベクトルの振幅に伴って増加する方法。
少なくとも２つのソース画像からの動き補償画像の少なくとも１つの画素を補間する方法であって、
補間対象の前記画像の前記画素について、動きベクトルを前記ソース画像から推定する工程と、
前記ベクトルの前記推定を表す少なくとも１つの情報を判定する工程であって、前記少なくとも１つの情報は、前記推定ベクトルの前記推定に関する信頼度係数である工程と、
前記ベクトルの前記推定を表す前記情報に応じて、補間対象の前記画像の前記画素の補間パターンを選択する工程であって、前記補間パターンは、前記ソース画像のうちの少なくとも１つにおける画素を識別し、前記識別された画素それぞれに重み付け係数（α_i）を関連付け、前記補間対象の画像の前記画素の前記動きベクトルの前記信頼度係数が、第１の信頼度閾値（SC2）以上の場合、前記補間パターンは、補間対象の前記画素の空間位置に最も近いソース画像のうちの少なくとも１つのn個の画素を備え、nは２以上であり、前記ソース画像の画素それぞれに割り当てられる重み付け係数は、補間対象の前記画素との近さに依存する工程と、
前記選択された補間パターンの前記重み付け係数及び前記少なくとも１つのソース画像の前記識別された画素から前記画像の前記画素を補間する工程とを備える方法。
請求項６記載の方法であって、前記補間パターンは、補間対象の前記画素の空間位置に最も近いソース画像それぞれのn個の画素を備え、nは２以上であり、前記ソース画像の画素それぞれに割り当てられる重み付け係数は、補間対象の前記画素とのそれらの近さ、及び、前記ソース画像に対する、補間対象の前記画像の時間位置に依存する方法。
請求項６又は７に記載の方法であって、前記補間対象の前記画像の前記画素の前記動きベクトルの前記信頼度係数が、前記第１の信頼度閾値（SC2）以下の場合、前記補間パターンは、補間対象の前記画素の空間位置に最も近いソース画像の１つのn個の画素を備え、nは２以上であり、前記ソース画像の画素に割り当てられる前記重み付け係数は等しい方法。
請求項６又は７に記載の方法であって、前記補間対象の前記画像の前記画素の前記動きベクトルの前記信頼度係数が、前記第１の信頼度閾値（SC2）以下の場合、前記補間パターンは、補間対象の前記画素の空間位置に最も近いn個の画素を備え、nは２以上であり、前記ソース画像の画素それぞれに割り当てられる前記重み付け係数は、補間対象の前記画素とのそれらの近さ、及び、ソース画像に対する、補間対象の前記画像の時間位置に依存する方法。
請求項6乃至9の何れか一項に記載の方法であって、n個の画素は、前記推定ベクトルの信頼度係数の値に伴って減少する方法。
請求項６乃至１０の何れか一項に記載の方法であって、補間対象の画素の動きベクトルの前記推定に関する前記信頼度係数は、前記画素を含むmxm画素ウィンドウにおける前記動きベクトルの分散に依存する方法。
少なくとも２つのソース画像からの動き補償画像の少なくとも1つの画素の補間装置であって、
前記ソース画像を記憶するメモリと、
補間対象の前記画像の前記画素について、動きベクトルを前記ソース画像から推定する動き推定器と、
前記ベクトルの前記推定を表す少なくとも１つの情報を判定する判定回路であって、前記少なくとも１つの情報は、前記推定動きベクトルの振幅である判定回路と、
前記ベクトルの前記推定を表す前記情報に応じて、前記補間対象の画像の前記画素の補間パターンを選択する補間回路とを備え、前記補間パターンは、前記ソース画像の少なくとも１つにおいて画素を識別し、前記識別された画素それぞれに重み付け係数（α_i）を関連付け、前記選択された補間パターンの前記重み付け係数及び前記識別された画素から前記画像の前記画素を補間し、
前記補間対象の画像の前記画素の前記推定動きベクトルの振幅が、第１の非ゼロ閾値（SA1）以下の場合、前記補間パターンは、補間対象の前記画素の空間位置に最も近いソース画像のうちの少なくとも１つのn個の画素を備え、nは２以上であり、前記ソース画像の画素それぞれに割り当てられる重み付け係数は、補間対象の前記画素との近さに依存する補間装置。