JP6056766B2 - 動きベクトル推定装置、動きベクトル推定方法及び動きベクトル推定用プログラム - Google Patents

Description

本発明は、動画像から動きベクトルを推定するための動きベクトル推定装置、動きベクトル推定方法及び動きベクトル推定用プログラムに関する。

動画像中の連続するフレーム間での各画素の動きを推定する処理は、ＭＰＥＧ(Moving Picture Experts Group)符号化方法及び装置や、複数フレームの画像を位置合わせし、合成することでノイズ除去を行う３次元ノイズ除去方法及び装置や、複数フレームの画像から高解像画像を生成する超解像技術に用いられている。

微小な運動を含む動画像中の所定の時間間隔の二枚の輝度画像ｆ、ｆ’と、各画素におけるｆからｆ’への動きベクトルを推定した結果を図１に示す。以下では、座標（ｘ，ｙ）における動きベクトルの水平方向成分をｕ（ｘ，ｙ）、垂直方向成分をｖ（ｘ，ｙ）で表すこととする。

通常の動きベクトル推定方法の一例が非特許文献１に記載されている。同手法では、次の式で表されるエネルギー関数Ｅを考える。
ここで、第１項はデータ項と呼ばれ、第２項は正則化項と呼ばれる。また、ｆ_ｘ（ｘ，ｙ）、ｆ_ｙ（ｘ，ｙ）、ｆ_ｔ（ｘ，ｙ）はそれぞれ座標（ｘ，ｙ）における、画素値ｆ（ｘ，ｙ）のｘ軸、ｙ軸および時間軸方向の偏微分であり、次式で表される。
また、
は座標（ｘ，ｙ）における勾配ベクトルであり、次式で表される。
上式右辺｛｝内の第１項はデータ項と呼ばれ、動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）での移動前後で、画像ｆ、ｆ’上での輝度値が変化しないという制約を表す。同様に第２項は平滑化項と呼ばれ、動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）が空間的に滑らかに変化するという制約を表す。両制約の強さは、平滑化項重みαによって調整する。

最適な動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）は、上記エネルギー関数を最小にするものである。このとき、上記エネルギー関数のｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）についての偏微分を０とすることで、ｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）に関する以下の拘束式を得る。
ここで、Δはラプラス演算子であり、Δｕ（ｘ，ｙ）、Δｖ（ｘ，ｙ）は次式で表される。

上記拘束式は、各座標の動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）に関する方程式であり、この連立方程式を解くことで、ｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）が求まる。

なお、特許文献１には、反復計算が長時間を要することに鑑み、反復計算を用いずに、動きベクトルを検出することとした技術が記載されている。

特許文献２には、動き検出回路に関する技術が記載されているが、動きの有無を検出するのみであり、動きベクトルを検出することはできない。

特許文献３には、検出された勾配部の数に応じて、勾配法又はブロックマッチング法を切り替えて、動きベクトルを検出する技術が記載されている。しかし、この技術は、画像全体についての１つのみの動きベクトルを求めるものである。

特許文献４には、縮小画像から動きベクトルを検出してから、元の解像度の画像の動きベクトルを検出する技術が記載されている。しかし、この技術は、動きベクトルの探索範囲の改良に関するものである。

特許文献５には、階層的に動きベクトルを検出する方法において、画像を離散ウェーブレット分解して得たデータを用いて、動きの検出を開始する階層を決定する技術が記載されている。

特開平６−１５０００７号公報 特開２０００−１１５５８５号公報 特開２００９−８８８８４号公報 特開２０１０−７４４９６号公報 特開２０１１−８２７００号公報

Bruhnほか，「Lucas/Kanade meets Horn/Schunck: combining local and global optic flow methods」，International Journal of Computer Vision，Volume 61 Issue 3, 2005年。

上記の非特許文献１の技術の問題点は、計算量が多いということである。その理由は、上記連立方程式を解析的に解くことは、（画素数×２）×（画素数×２）次元の巨大な行列演算となるため、事実上不可能であり、一般にはｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）に初期値を与え、これを反復計算によって最適化する必要があるためである。

本発明の目的は、より少ない計算量で、動きベクトルを推定できる動きベクトル推定装置、動きベクトル推定方法及び動きベクトル推定用プログラムを提供することにある。

本発明の第１の観点によれば、入力画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを反復計算により推定する動きベクトル推定装置であって、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なう手段を備えることを特徴とする動きベクトル推定装置が提供される。

本発明の第２の観点によれば、入力画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを反復計算により推定する動きベクトル推定方法であって、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なうステップを有することを特徴とする動きベクトル推定方法が提供される。

本発明の第３の観点によれば、入力画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを反復計算により推定する動きベクトル推定装置としてコンピュータを機能させるための動きベクトル推定用プログラムであって、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なう手段としてコンピュータを機能させるための動きベクトル推定用プログラムが提供される。

本発明によれば、より少ない計算量で、動きベクトルを推定できる。

動画像中の所定の時間間隔の二枚の輝度画像間の各画素についての動きベクトルを説明するための図である。 本発明の実施形態により行なわれる画素の種類毎の反復計算の回数を説明するための図である。 本発明の実施形態１による動きベクトル推定装置の構成を示すブロック図である。 本発明の実施形態１による動きベクトル推定方法を示すフローチャートである。 本発明の実施形態で利用する高周波マスク画像の一例を示す図である。 本発明の実施形態２による動きベクトル推定装置の構成を示すブロック図である。 本発明の実施形態２による動きベクトル推定方法を示すフローチャートである。 本発明の実施形態２による動きベクトル推定方法を説明するための概念図である。 本発明の実施形態３によるインターレース・プログレッシブ変換装置の構成を示すブロック図である。 本発明の実施形態３によるインターレース・プログレッシブ変換方法を説明するための第１の概念図である。 本発明の実施形態３によるインターレース・プログレッシブ変換方法を説明するための第２の概念図である。

以下、図面を参照して本発明を実施するための形態について詳細に説明する。

本実施形態では、反復計算による最適化の過程で、画素によって動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）の値が収束するまでに必要な反復回数が異なる点に着目する。具体的には、画像上で高周波をもつ画素（エッジ付近の画素など）は、反復計算の初期段階で収束するのに対し、低周波をもつ画素（輝度変化の少ない平坦領域中の画素など）は、高周波画素よりも遅れて収束が始まる。本実施形態では、この特性を利用し、図２に示すように、反復計算全体を複数のステージにわけ、各ステージにおいて、該各ステージでの収束が見込まれる画素だけに反復計算を行うことで、本発明の目的を達成することができる。

すなわち、全画素について反復計算を行なった場合であっても、高周波画素のみについて反復計算を行なった場合であっても、反復計算の初期において高周波画素について計算が収束するまでの反復回数はさほど変わらない。従って、まず最初に高周波画素のみについて反復計算をする。そうすると、その反復計算からは低周波画素についての計算が除外されるので、１回の反復当たりに計算の対象となる画素数を削減することができる。

高周波画素のみについての反復計算が収束した時点での状態は、全画素についての反復計算が高周波画素のみについて収束した時点での状態とほぼ同じである。従って、高周波画素のみについての反復計算が収束したならば、次に、低周波画素のみについて反復計算をする。高周波画素のみについて反復計算をした後に行なわれる低周波画素のみについての反復計算における収束過程は、全画素について反復計算が行なわれる場合に、最初に実質的に高周波画素のみについて収束した後に引き続き行なわれる実質的に低周波画素のみについて行なわれる反復計算における収束過程とほぼ同じである。従って、高周波画素のみについての反復計算が収束したならば、次に、低周波画素のみについて反復計算をしても何ら問題は生じない。低周波画素のみについての反復計算からは、高周波画素についての計算は除外されるので、１回の反復当たりに計算の対象となる画素数を削減することができる。

従って、仮に、本実施形態における反復数の合計が、通常の計算における反復数と同じであったとしても、１回の反復当たりの計算対象となる画素数を削減することができるので、全体の計算量を削減することができる。また、最初に高周波画素のみについて反復計算をした後に、低周波画素のみについて反復計算をしても、計算の収束の様子は、最初から最後まで全画素について反復計算をする場合と比べて、殆ど変わらないので、最初に高周波画素のみについて反復計算をした後に、低周波画素のみについて反復計算をしても、計算の収束の様子は、最初から最後まで全画素について反復計算をする場合と比べて、反復数の合計は、増えるようなことなない。従って、本実施形態では、全体の計算量を削減することができる。

なお、高周波画素について反復計算をし、低周波画素について反復計算をし、最後に、全画素について反復計算を行なう。その理由は、最後に全画素について反復計算を行なうことにより、隣接画素を統合した処理をして、高周波画素と低周波画素との境界において推定した動きベクトルに連続性を持たせるためである。

［実施形態１］
次に、実施形態１による画像処理装置を図３に示す。また、この画像処理装置により行なわれる画像処理方法の全体を図４に示す。

本実施の形態では、反復計算全体を複数のステージにわけ、各ステージにおいて、該各ステージでの収束が見込まれる画素だけに関して反復計算を適用し、該各ステージごとに決められた反復回数に達した時、又は、各画素における前回の反復計算の結果と今回の反復計算の結果との差分が所定の閾値以下となった時に、反復計算を打ち切り、次のステージへと進むため、通常技術より少ない計算量で、通常技術と同等精度の動きベクトル推定結果が得られる。ここで、反復計算の結果としては、例えば、エネルギー関数の値である。また、反復計算方法としては、例えば、勾配法、共役勾配法、ガウス・ニュートン法、レーベンバーグ・マルカート（Levenberg-Marquardt）法を利用する。

図３を参照すると、実施形態１による動きベクトル推定装置１０１は、高周波／低周波判定部１０３、反復回数決定部１０５、偏微分係数計算部１０７及び動きベクトル推定部１０９を含む。

高周波／低周波判定部１０３は、現フレームｆの各画素が高周波数を含むか否かを判定し、高周波数を含む場合には、その画素は高周波画素であると判断し、高周波数を含まない場合には、その画素は低周波画素であると判断する。ここで、高周波数を含むとは、その画素を中心にして、高周波数通過／低周波数阻止の空間フィルタをかけた場合に、所定値以上の出力レベルが得られることをいう。高周波／低周波判定部１０３は、各画素についての判定結果を基に、図５に示すような、高周波マスク画像を出力する。図５において、白色の部分が高周波画素より成り、黒色の部分が低周波画素より成る。

反復回数決定部１０５は、高周波マスク画像に含まれる高周波画素と全画素との割合、所定の値のパラメータ等に基づいて、高周波画素についての反復計算での反復回数ｉ_１、低周波画素についての反復計算での反復回数ｉ_２−ｉ_１、全画素についての反復計算での反復回数ｉ_ＭＡＸ−ｉ_２を決定するためのｉ_１、ｉ_２を算出する。具体的には、
ｉ_１＝ｒａｔｉｏ_high・（ｉ_MAX−ｎ）
ｉ_２＝ｉ_MAX−ｎ
により、ｉ_１、ｉ_２を求める。ここで、ｒａｔｉｏ_highは画像全体に占める高周波画素の割合であり、ｎはあらかじめ決められたパラメータであり、ｉ_MAXは合計反復回数である。但し、ｒａｔｉｏ_highも予め決められたパラメータであるとしてもよい。

偏微分係数計算部１０７は、現フレーム画像ｆに含まれる画素と次フレーム画像ｆ’に含まれる画素を基に、各画素値ｆ（ｘ，ｙ）についての動きベクトルのｘ方向についての偏微分係数ｆ_ｘ（ｘ，ｙ）、各画素についての動きベクトルのｙ方向についての偏微分係数ｆ_ｙ（ｘ，ｙ）、各画素についての動きベクトルの時間方向についての偏微分係数ｆ_ｔ（ｘ，ｙ）を計算する。

動きベクトル推定部１０９は、高周波マスク画像、反復回数ｉ_１、i_２、ｉ_MAX、偏微分係数ｆ_ｘ（ｘ，ｙ）、ｆ_ｙ（ｘ，ｙ）、ｆ_ｔ（ｘ，ｙ）を入力し、これらの入力に基づいて、現フレーム画像ｆの各高周波画素についての動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）を推定し、現フレーム画像ｆの各低周波画素についての動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）を推定する。ここで、高周波マスク画像により高周波画素であると判定された画素については、上記拘束式を解くための反復計算の解法による計算を、反復回数ｉ_１により指定された回数だけ繰り返す。また、高周波マスク画像により低周波画素であると判定された画素については、上記拘束式を解くための反復計算の解法による計算を、反復回数ｉ_２−ｉ_１により指定された回数だけ繰り返す。更に、全画素について、上記拘束式を解くための反復計算の解法による計算を、反復回数ｉ_ＭＡＸ−ｉ_２により指定された回数だけ繰り返す。

次に、図４を参照して、図３に示す動きベクトル推定装置の動作について説明をする。図４を参照すると、まず、高周波／低周波判定部１０３は、現フレーム画像ｆの各画素について、高周波画素であるのか、或いは、低周波画素であるのかの判定を行なう（ステップＳ２０１）。

次に、反復回数決定部１０５は、反復回数に関連した回数ｉ_１、ｉ_２、ｉ_MAXを決定する（算出する）（ステップＳ２０３）。

次に、偏微分係数計算部１０７は、現フレーム画像の各画素値ｆ（ｘ，ｙ）についての偏微分係数ｆ_ｘ（ｘ，ｙ）、ｆ_ｙ（ｘ，ｙ）、ｆ_ｔ（ｘ，ｙ）を算出する（ステップＳ２０５）。

次に、現フレーム画像に含まれる高周波画素について、動きベクトルを求めるための上記拘束式を解くための反復計算をi_１回反復し、現フレーム画像に含まれる低周波画素について、動きベクトルを求めるための上記拘束式を解くための反復計算をｉ_２−i_１回反復し、現フレーム画像に含まれる全周波画素について、動きベクトルを求めるための上記拘束式を解くための反復計算をｉ_MAX−i_２回繰り返す（ステップＳ２０７、Ｓ２０９）。但し、各反復の途中で、計算結果が収束した画素については、それ以降は、反復計算を行なわなくてもよい。

［実施形態２］
次に、実施形態２について図面を参照して詳細に説明する。

実施形態２は、実施形態１を多重解像度化したものである。

実施形態２による画像処理装置を図６に示す。また、この画像処理装置により行なわれる画像処理方法の全体を図７に示す。

実施形態２では、図８に示すように、縦方向１／４、横方向１／４の低解像画像で動きベクトルを求める。そして、次の縦方向１／２、横方向１／２の解像度レベルでは、１つ前の縦方向１／４、横方向１／４の解像度レベルで求まった動きベクトルを、該縦方向１／２、横方向１／２の解像度レベルにあわせてアップスケーリングしたものを動きベクトルの初期値としてから、該縦方向１／２、横方向１／２の解像度レベルでの動きベクトルを求める。このような処理を最終解像度レベル、すなわち入力画像の解像度レベルと同じ解像度レベル、まで繰り返す。このような構成をとることで、実施形態１では正しく推定できないような大きな動きベクトルも推定することが可能となる。

図６を参照すると、実施形態２による動きベクトル推定装置１０１Ｂは、高周波／低周波判定部１０３Ｂ、反復回数決定部１０５Ｂ、偏微分係数計算部１０７Ｂ、動きベクトル推定部１０９Ｂ、解像度ピラミッド作成部１１１及び動きベクトルアップスケーリング部１１３を含む。

解像度ピラミッド作成部１１１は、現フレーム画像ｆ、次フレーム画像ｆ’それぞれについて、縦方向１／２、横方向１／２の解像度の１次低解像度画像、縦方向１／４、横方向１／４の解像度の２次低解像度画像を作成する。ある解像度の画像から、それと比較して縦方向１／２、横方向１／２の解像度の画像を作成する際には、ガウシアンフィルタを適用することで高周波成分を除去した後、画素を縦方向及び横方向に１画素おきにサンプリングする。但し、これは、或る解像度に比べて、それよりも一段階低い解像度が１／２である場合の方法である。或る解像度に比べて、それよりも一段階低い解像度が１／２以外であってもよく、その場合には、例えば、解像度に応じたフィルタリングとリサンプリングをする。

高周波／低周波判定部１０３Ｂ、反復回数決定部１０５Ｂ、偏微分係数計算部１０７Ｂ及び動きベクトル推定部１０９Ｂは、それぞれ、実施形態１の高周波／低周波判定部１０３、反復回数決定部１０５、偏微分係数計算部１０７及び動きベクトル推定部１０９と同様なものである。但し、高周波／低周波判定部１０３Ｂ、反復回数決定部１０５Ｂ、偏微分計算部１０７Ｂ及び動きベクトル推定部１０９Ｂは、入力画像と同一の解像度の画像（原解像度画像）、１次低解像度画像、２次低解像度画像について、２次解像度画像、１次低解像度、原解像度画像の順に動作する。

動きアップスケーリング部１１３は、現在の解像度の画像に含まれる画素について求まった動きベクトルを所定の方法（例えば、ｂｉｌｉｎｅａｒ補間、最近傍補間、ｂｉｃｕｂｉｃ補間等）により縦２倍、横２倍の解像度にアップスケーリングして、アップスケーリングされた動きベクトルを、次の（縦２倍、横２倍の）解像度の画素に含まれる画素について動きベクトルを求める際の初期値として、動きベクトル推定部１０９Ｂにフィードバックする。

次に、図７を参照して、図６に示す動きベクトル推定装置１０１Ｂの動作について説明をする。

ステップＳ２０１、Ｓ２０３、Ｓ２０５、Ｓ２０７、Ｓ２０９は、それぞれ、実施形態のステップＳ２０１、Ｓ２０３、Ｓ２０５、Ｓ２０７、Ｓ２０９と同様であるので、重複した説明を省略する。但し、ｉ_MAXは、解像度ｒ毎に異ならせてｉ^ｒ _MAXとなり、これに応じて、ｉ_１、ｉ_２は、ｉ^ｒ _１、ｉ^ｒ _２となる。

まず、解像度ピラミッド作成部１１１は、現フレーム画像ｆ及び次フレーム画像ｆ’のそれぞれについて、原解像度画像、１次低解像度画像及び２次低解像度画像を作成する（ステップＳ２２１）。

次に、ステップＳ２０１、Ｓ２０３、Ｓ２０５、Ｓ２０７、Ｓ２０９を実行する。

次に、動きベクトルアップスケーリング部１１３は、動きベクトルをアップスケーリングする（ステップＳ２２３）。

次に、現在の解像度が最終解像度（すなわち、原解像度）であるか否かを判断し（ステップＳ２２５）、そうでなければ（ステップＳ２２５でＮＯ）、解像度を１ステージ進めて（解像度を縦２倍、横２倍に上げて）、ステップＳ２０１に戻り、そうであれば（ステップＳ２２５でＹＥＳ）、現在求まっている動きベクトルを最終の推定動きベクトルとして、処理を終了する。

［実施形態３］
次に、実施形態３について図面を参照して詳細に説明する。

実施形態３は、実施形態１又は２の動きベクトル推定装置１０１又は１０１Ｂをインターレース・プログレッシブ変換装置に応用したものである。

図９を参照すると、実施形態３によるインターレース・プログレッシブ変換装置１２１は、動きベクトル推定装置１０１又は１０１Ｂ、動き補償部１２３及びフィールド合成部１２５を含む。

図１０に示すように、動きベクトル推定装置１０１又は１０１Ｂは、インターレース画像のうちの奇数フィールド画像又は偶数フィールド画像を動きベクトル推定の対象となるフィールド画像として、対象となるフィールド画像を挟む２つのフィールド画像を基に、動きベクトルを算出するための上記拘束式の偏微分係数ｆ_ｘ（ｘ，ｙ）、ｆ_ｙ（ｘ，ｙ）、ｆ_ｔ（ｘ，ｙ）を求め、これら偏微分係数を用いた上記拘束式を、反復計算により解くことにより、対象となるフィールド画像に含まれる画素についての動きベクトルを推定する。なお、動きベクトルは、動きベクトル推定の対象となるフィールド画像とそれに隣接するフィールド画像との間のものである。

動き補償部１２３は、動きベクトル推定の対象となったフィールド画像の画素を、動きベクトル推定装置１０１又は１０１Ｂで推定した動きベクトルにより動き補償する。

図１０、１１に示すように、フィールド合成部１２５は、動き補償部１２３により動き補償されたフィールド画像と入力インターレース画像に含まれる他方のフィールド画像を合成することにより、プログレッシブ画像を得て、これを出力する。

実施形態１〜３の効果は、通常技術より少ない計算量で、通常技術と同等精度の推定動きベクトルが得られることにある。

その理由は、反復計算全体を複数のステージにわけ、各ステージにおいて、同ステージでの収束が見込まれる画素だけを反復計算を行う対象とするためである。

次に、具体的な実施例を用いて上記実施形態を説明する。本実施例は実施形態２に関するものである。

はじめに、図６に示す解像度ピラミッド作成部１１１は、現フレーム画像ｆと、次フレーム画像ｆ’それぞれについて、解像度ピラミッドを生成する。具体的には、現フレーム画像ｆ、次フレーム画像ｆ’の各々（以下、「原フレーム画像」という。）に対して、ガウシアンフィルタを適用することで高周波成分を除去した後、画素を１画素おきにサンプリングすることで、画像解像度が原フレーム画像に対して縦方向１／２、横方向１／２となる１次低解像画像を生成する。

さらに、解像度ピラミッド作成部１１１は、１次解像度フレーム画像に対して、上記ガウシアンフィルタおよび１画素おきのサンプリングを適用することで、画像解像度が原フレーム画像に対して縦１／４、横１／４となる２次低解像画像を生成する。

以下では、元画像の解像度に対して１／４倍、１／２倍、等倍の解像度をそれぞれ解像度レベル１、２、３ということとする。

続いて、解像度レベル１から３の順で、以下の処理を繰り返す。はじめに、高周波／低周波判定部１０３Ｂ現在の解像度レベルｒ（ｒ＝１、２、３）の現フレーム画像ｆ中の各画素について、高周波成分をもつか否かを判定し、高周波成分をもつ画素を表す高周波マスク画像を生成する。具体的には、現フレーム画像ｆに対して以下の係数行列で表される水平、および垂直方向のＳｏｂｅｌフィルタを適用し、各座標における水平、および垂直方向の輝度勾配成分を算出し、水平、および垂直方向の輝度勾配成分を基にして求めた輝度勾配強度がしきい値を超える画素を高周波画素と判定する。そして、高周波画素でない画素を低周波画素とする。ここで、例えば、水平方向の輝度勾配成分と垂直方向の輝度勾配成分の自乗和、絶対値和又は最大値などを輝度勾配とする。

こうすることにより、低周波成分あり、且つ、高周波成分なしの画素は、低周波画素に分類され、低周波成分なし、且つ、高周波成分ありの画素と高周波成分あり、且つ、高周波成分ありの画素は高周波画素に分類される。

次に、反復回数決定部１０５Ｂは、現解像度レベルｒにおけるステージ１、２、３それぞれを終了する反復回数ｉ^ｒ _１、ｉ^ｒ _２、ｉ^ｒ _MAXを計算する。はじめに、ｉ^ｒ _MAXを次式により計算する。
ｉ^ｒ _MAX＝β^r-1・ｉ_MAX
ここで、ｉ_MAXは予め決められた最大反復回数であり、βは解像度レベルが進むごとに最大反復回数を減衰させるパラメータ（ただし、０＜β＜１）である。β^r-1は、βの（ｒ−１）乗を表す。続いて、現在の解像度レベルｒにおけるステージ１、すなわち高周波画素に関する推定動きを最適化するステージ、を終了する反復回数ｉ^ｒ _１、およびステージ２、すなわち低周波画素に関する推定動きを最適化するステージ、を終了する反復回数ｉ^ｒ _２を次式により計算する。
ｉ^ｒ _１＝ｒａｔｉｏ_high・（ｉ^r _MAX−ｎ）
ｉ^ｒ _２＝ｉ^r _MAX−ｎ
ここで、ｒａｔｉｏ_highは現解像度レベルｒにおける画像全体に占める高周波画素の割合であり、ｎはあらかじめ決められたパラメータである。

続いて、偏微分係数計算部１０７Ｂは、現在の解像度レベルｒの画像ｆおよびｆ’とから、動きベクトル推定処理で必要となる３つの偏微分係数ｆ_X（ｘ，ｙ）、ｆ_Y（ｘ，ｙ）、ｆ_t（ｘ，ｙ）を計算する。

次に、動きベクトル推定部１０９Ｂは、ステージ１から３の順に、動きベクトル推定処理を実行する。

具体的には、はじめに、ステージ１において、高周波画素（図５中の高周波マスク画像における白画素）について、反復計算を行い、高周波画素に対する推定動きベクトルを最適化する。このステージは第１回から第ｉ^ｒ _１回の反復まで実行する。続いて、ステージ２において、低周波画素（図５中の高周波マスク画像における黒画素）について、反復計算を行い、低周波画素に対する推定動きベクトルを最適化する。このステージは第ｉ^ｒ _１＋１回から第ｉ^ｒ _２回の反復まで実行する。最後に、ステージ３において、画像中の全画素について、反復計算を行い、全画素に対する推定動きベクトルを最適化する。

なお、各ステージにおける動きベクトル推定処理は、非特許文献１に開示された手法により行う。

以上の処理により、解像度レベルｒにおける全画素についての動きベクトルが推定される。

最後に、動きアップスケーリング部１１３は、推定された動きベクトル画像ｕ、ｖをｂｉｌｉｎｅａｒ補間により２倍の解像度にアップスケールすることにより、次の解像度レベルｒ＋１の推定動きベクトルの初期値を生成する。

上記処理を解像度レベル３まで繰り返すことで、現フレームと次フレームとの間での原解像度での全ての画素についての動きベクトルが推定される。

実施例１は、入力がプログレッシブ画像の場合のためのものである。実施例１の動きベクトル推定を用いることを前提とするならば、入力がインターレース画像の場合、画像を偶数フィールド画像、奇数フィールド画像とに分解し、さらに各フィールド画像に存在しないライン（偶数フィールド画像の場合は奇数ライン、奇数フィールド画像の場合は偶数ライン）の画素値をその上下の存在するラインの画素値の平均で補間する処理などによって各フィールド画像をプログレッシブ画像に変換し、２枚のプログレッシブ画像に対して実施例１の動きベクトル推定を適用する必要がある。

しかしながら、この手法では、各フィールド画像中に存在する画素だけでなく、補間によって生成された画素についても動きを推定することになり、本来必要とされる計算量の２倍の計算量が発生する。

実施例２は、この点に鑑みてなされたものであり、入力がインターレース画像の場合に、前処理としてインタレースレース画像をプログレッシブ画像に変換することなく動きベクトル推定を行い、その後に、推定された動きベクトルに基づいてプログレッシブ画像を生成する、動き補償型インターレース・プログレッシブ（ＩＰ）変換に関するものである。

なお、実施例２は、実施形態３を具体化したものある。

実施例２の動作の様子を図１０に示す。実施例２では、インターレース画像を入力とし、インターレース画像中の偶数フィールドと奇数フィールドとの間で動きベクトルを推定し、推定された動きベクトルに基づいて奇数フィールド画像を動き補償し、動き補償された奇数フィールドを偶数フィールド画像と統合することで、プログレッシブ画像を生成する。

実施例２が実施例１と異なる点は、入力されたインターレース画像を偶数フィールド画像f_evenと奇数フィールド画像f_oddとに分解する処理と、動きベクトル推定結果を用いて奇数フィールド画像f_oddを動き補償する処理と、偶数フィールド画像f_evenと動き補償された奇数フィールド画像f^- _oddとを一枚のプログレッシブ画像に統合する処理が追加されている点、並びに、動きベクトル推定処理で使用する数式が異なる点である。

以下、動きベクトル推定処理で使用する数式について説明する。

実施例２の動きベクトル推定処理で使用する数式は次式で与えられる。

なお、入力画像が横方向や縦方向に一定速度でスクロールするテロップなどを含む場合には、ｕ（ｘ，ｙ）、ｖ（ｘ、ｙ）のいずれか一方、または両方が既知となる。たとえば、画面下部に横方向にスクロールするテロップが存在する場合、画面下部の画素ではｖ（ｘ、ｙ）＝０であることは予めわかっている。

このように、ｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）が予め特定の値ｕ_０（ｘ，ｙ）、ｖ_０（ｘ，ｙ）をとることがわかっている場合には、上記第１、第２の各式の右辺にそれぞれ
ｗ_ｕ（ｘ，ｙ）・（ｕ（ｘ，ｙ）−ｕ_０（ｘ，ｙ））
ｗ_ｖ（ｘ，ｙ）・（ｖ（ｘ，ｙ）−ｖ_０（ｘ，ｙ））
を追加する。ここで、ｗ_ｕ（ｘ，ｙ）、ｗ_ｖ（ｘ，ｙ）はそれぞれ座標（ｘ，ｙ）がｕ_０（ｘ，ｙ）、ｖ_０（ｘ，ｙ）をとるかどうかの信頼度を表し、信頼度が高ければ高いほど大きな値をとり、信頼できない、すなわち特定の値をとることが予めわからない場合には、０となる。

なお、実施例２では、偶数フィールドを基準として、奇数フィールド画像を動き補償したが、奇数フィールドを基準として、偶数フィールド画像を動き補償する場合には、上式中のｆ_ｅｖｅｎとｆ_ｏｄｄを入れ替えるだけでよい。

実施例２を用いることにより、入力がインターレース画像の場合に、フィールド画像間の動きを必要最小限の計算量で推定することが可能となる。

実施例１、実施例２では、画素毎の動きベクトルを求めているが、２以上の画素より成る画素群毎の動きベクトルを求めるようにしてもよい。実施例１、実施例２は、画素群に含まれる画素数が１である場合のものである。

なお、上記の動きベクトル推定装置は、ハードウェア、ソフトウェア又はこれらの組合わせにより実現することができる。また、上記の動きベクトル推定装置その他の装置等により行なわれる動きベクトル推定方法も、ハードウェア、ソフトウェア又はこれらの組合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ(Read Only Memory)、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory)）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
入力画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを反復計算により推定する動きベクトル推定装置であって、
前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なう手段を備えることを特徴とする動きベクトル推定装置。

（付記２）
付記１に記載の動きベクトル推定装置であって、
前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なった後に、前記複数の画素群全体を対象とする前記反復計算を行なう手段を更に備えることを特徴とする動きベクトル推定装置。

（付記３）
付記１又は２に記載の動きベクトル推定装置であって、
前記入力画像を基に、該入力画像よりも解像度が低い第１次低解像度画像を生成する手段と、
該第１次低解像度画像について動きベクトルを推定した後に、該第１次低解像度画像について推定した動きベクトルを初期値として、前記入力画像について動きベクトルを推定する手段と、
を更に備えることを特徴とする動きベクトル推定装置。

（付記４）
付記３に記載の動きベクトル推定装置であって、
前記第１次低解像度画像を基に、該第１次低解像度画像よりも解像度が低い第２次低解像度画像を生成する手段と、
該第２次低解像度画像について動きベクトルを推定した後に、該第２次低解像度画像について推定した動きベクトルを初期値として、前記第１次低解像度画像について動きベクトルを推定する手段と、
を更に備えることを特徴とする動きベクトル推定装置。

（付記５）
付記１乃至４の何れか１に記載の動きベクトル推定装置であって、
複数の画素群それぞれについて高周波成分を有するか否かを判定する手段を更に備えることを特徴とする動きベクトル推定装置。

（付記６）
付記１乃至５の何れか１に記載の動きベクトル推定装置であって、
前記反復計算は、前記動きベクトルを推定するためのエネルギー関数であって、データ項と正則化項を含むエネルギー関数を最小化させるための反復計算であることを特徴とする動きベクトル推定装置。

（付記７）
付記１乃至６の何れか１に記載の動きベクトル推定装置を備え、
インターレース画像の奇数フィールド画像又は偶数フィールド画像を、前記動きベクトル推定装置への前記入力画像とし、
前記動きベクトル推定装置で推定した動きベクトルにより前記奇数フィールド画像又は前記偶数フィールド画像を動き補償する動き補償手段と、
動き補償後の前記奇数フィールド画像又は前記偶数フィールド画像と、他方のフィールド画像を合成するフィールド合成手段と、
を備えることを特徴とするインターレース・プログレッシブ変換装置。

（付記８）
入力画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを反復計算により推定する動きベクトル推定方法であって、
前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なうステップを有することを特徴とする動きベクトル推定方法。

（付記９）
付記８に記載の動きベクトル推定方法であって、
前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なった後に、前記複数の画素群全体を対象とする前記反復計算を行なうステップを更に有することを特徴とする動きベクトル推定方法。

（付記１０）
付記８又は９に記載の動きベクトル推定方法であって、
前記入力画像を基に、該入力画像よりも解像度が低い第１次低解像度画像を生成するステップと、
該第１次低解像度画像について動きベクトルを推定した後に、該第１次低解像度画像について推定した動きベクトルを初期値として、前記入力画像について動きベクトルを推定するステップと、
を更に有することを特徴とする動きベクトル推定方法。

（付記１１）
付記１０に記載の動きベクトル推定方法であって、
前記第１次低解像度画像を基に、該第１次低解像度画像よりも解像度が低い第２次低解像度画像を生成するステップと、
該第２次低解像度画像について動きベクトルを推定した後に、該第２次低解像度画像について推定した動きベクトルを初期値として、前記第１次低解像度画像について動きベクトルを推定するステップと、
を更に有することを特徴とする動きベクトル推定方法。

（付記１２）
付記８乃至１１の何れか１に記載の動きベクトル推定方法であって、
複数の画素群それぞれについて高周波成分を有するか否かを判定するステップを更に有することを特徴とする動きベクトル推定方法。

（付記１３）
付記８乃至１２の何れか１に記載の動きベクトル推定方法であって、
前記反復計算は、前記動きベクトルを推定するためのエネルギー関数であって、データ項と正則化項を含むエネルギー関数を最小化させるための反復計算であることを特徴とする動きベクトル推定方法。

（付記１４）
付記８乃至１３の何れか１に記載の動きベクトル推定方法の各ステップを有し、
インターレース画像の奇数フィールド画像又は偶数フィールド画像を、前記動きベクトル推定方法への前記入力画像とし、
前記動きベクトル推定方法で推定した動きベクトルにより前記奇数フィールド画像又は前記偶数フィールド画像を動き補償する動き補償ステップと、
動き補償後の前記奇数フィールド画像又は前記偶数フィールド画像と、他方のフィールド画像を合成するフィールド合成ステップと、
を更に有することを特徴とするインターレース・プログレッシブ変換方法。

（付記１５）
入力画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを反復計算により推定する動きベクトル推定装置としてコンピュータを機能させるための動きベクトル推定用プログラムであって、
前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なう手段としてコンピュータを機能させるための動きベクトル推定用プログラム。

（付記１６）
付記１５に記載の動きベクトル推定用プログラムであって、
更に、前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なった後に、前記複数の画素群全体を対象とする前記反復計算を行なう手段としてコンピュータを機能させるための動きベクトル推定用プログラム。

（付記１７）
付記１５又は１６に記載の動きベクトル推定用プログラムであって、
更に、前記入力画像を基に、該入力画像よりも解像度が低い第１次低解像度画像を生成する手段と、
該第１次低解像度画像について動きベクトルを推定した後に、該第１次低解像度画像について推定した動きベクトルを初期値として、前記入力画像について動きベクトルを推定する手段と、
としてコンピュータを機能させるための動きベクトル推定用プログラム。

（付記１８）
付記１７に記載の動きベクトル推定用プログラムであって、
更に、前記第１次低解像度画像を基に、該第１次低解像度画像よりも解像度が低い第２次低解像度画像を生成する手段と、
該第２次低解像度画像について動きベクトルを推定した後に、該第２次低解像度画像について推定した動きベクトルを初期値として、前記第１次低解像度画像について動きベクトルを推定する手段と、
としてコンピュータを機能させるための動きベクトル推定用プログラム。

（付記１９）
付記１５乃至１８の何れか１に記載の動きベクトル推定用プログラムであって、
更に、複数の画素群それぞれについて高周波成分を有するか否かを判定する手段としてコンピュータを機能させるための動きベクトル推定用プログラム。

（付記２０）
付記１５乃至１９の何れか１に記載の動きベクトル推定用プログラムであって、
前記反復計算は、前記動きベクトルを推定するためのエネルギー関数であって、データ項と正則化項を含むエネルギー関数を最小化させるための反復計算であることを特徴とする動きベクトル推定用プログラム。

（付記２１）
インターレース・プログレッシブ変換装置としてコンピュータを機能させるためのインターレース・プログレッシブ変換用プログラムであって、
付記１乃至６の何れか１に記載の動きベクトル推定装置であって、インターレース画像の奇数フィールド画像又は偶数フィールド画像を前記入力画像とした動きベクトル推定装置の各手段と、
前記動きベクトル推定装置で推定した動きベクトルにより前記奇数フィールド画像又は前記偶数フィールド画像を動き補償する動き補償手段と、
動き補償後の前記奇数フィールド画像又は前記偶数フィールド画像と、他方のフィールド画像を合成するフィールド合成手段と、
としてコンピュータを機能させるためのインターレース・プログレッシブ変換用プログラム。

本願は、日本の特願２０１１−２４９６７９（２０１１年１１月１５日に出願）に基づいたものであり、又は、特願２０１１−２４９６７９に基づくパリ条約の優先権を主張するものである。特願２０１１−２４９６７９の開示内容は、特願２０１１−２４９６７９を参照することにより本明細書に援用される。

本発明の代表的な実施形態が詳細に述べられたが、様々な変更（changes）、置き換え（substitutions）及び選択（alternatives）が請求項で定義された発明の精神と範囲から逸脱することなくなされることが理解されるべきである。また、仮にクレームが出願手続において補正されたとしても、クレームされた発明の均等の範囲は維持されるものと発明者は意図する。

本発明の動きベクトル推定装置、動きベクトル推定方法及び動きベクトル推定用プログラムは、より少ない計算量で動きベクトルを推定できることから、産業上有用である。

１０１、１０１Ｂ 動きベクトル推定装置
１０３、１０３Ｂ 高周波／低周波判定部
１０５、１０５Ｂ 反復回数決定部
１０７、１０７Ｂ 偏微分係数計算部
１０９、１０９Ｂ 動きベクトル推定部
１１１ 解像度ピラミッド作成部
１１３ 動きベクトルアップスケーリング部

Claims (21)

1. 入力画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを反復計算により推定する動きベクトル推定装置であって、
   前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なう手段を備えることを特徴とする動きベクトル推定装置。
2. 請求項１に記載の動きベクトル推定装置であって、
   前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なった後に、前記複数の画素群全体を対象とする前記反復計算を行なう手段を更に備えることを特徴とする動きベクトル推定装置。
3. 請求項１又は２に記載の動きベクトル推定装置であって、
   前記入力画像を基に、該入力画像よりも解像度が低い第１次低解像度画像を生成する手段と、
   該第１次低解像度画像について動きベクトルを推定した後に、該第１次低解像度画像について推定した動きベクトルを初期値として、前記入力画像について動きベクトルを推定する手段と、
   を更に備えることを特徴とする動きベクトル推定装置。
4. 請求項３に記載の動きベクトル推定装置であって、
   前記第１次低解像度画像を基に、該第１次低解像度画像よりも解像度が低い第２次低解像度画像を生成する手段と、
   該第２次低解像度画像について動きベクトルを推定した後に、該第２次低解像度画像について推定した動きベクトルを初期値として、前記第１次低解像度画像について動きベクトルを推定する手段と、
   を更に備えることを特徴とする動きベクトル推定装置。
5. 請求項１乃至４の何れか１に記載の動きベクトル推定装置であって、
   複数の画素群それぞれについて高周波成分を有するか否かを判定する手段を更に備えることを特徴とする動きベクトル推定装置。
6. 請求項１乃至５の何れか１に記載の動きベクトル推定装置であって、
   前記反復計算は、前記動きベクトルを推定するためのエネルギー関数であって、データ項と正則化項を含むエネルギー関数を最小化させるための反復計算であることを特徴とする動きベクトル推定装置。
7. 請求項１乃至６の何れか１に記載の動きベクトル推定装置を備え、
   インターレース画像の奇数フィールド画像又は偶数フィールド画像を、前記動きベクトル推定装置への前記入力画像とし、
   前記動きベクトル推定装置で推定した動きベクトルにより前記奇数フィールド画像又は前記偶数フィールド画像を動き補償する動き補償手段と、
   動き補償後の前記奇数フィールド画像又は前記偶数フィールド画像と、他方のフィールド画像を合成するフィールド合成手段と、
   を備えることを特徴とするインターレース・プログレッシブ変換装置。
8. 入力画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを反復計算により推定する動きベクトル推定方法であって、
   前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なうステップを有することを特徴とする動きベクトル推定方法。
9. 請求項８に記載の動きベクトル推定方法であって、
   前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なった後に、前記複数の画素群全体を対象とする前記反復計算を行なうステップを更に有することを特徴とする動きベクトル推定方法。
10. 請求項８又は９に記載の動きベクトル推定方法であって、
    前記入力画像を基に、該入力画像よりも解像度が低い第１次低解像度画像を生成するステップと、
    該第１次低解像度画像について動きベクトルを推定した後に、該第１次低解像度画像について推定した動きベクトルを初期値として、前記入力画像について動きベクトルを推定するステップと、
    を更に有することを特徴とする動きベクトル推定方法。
11. 請求項１０に記載の動きベクトル推定方法であって、
    前記第１次低解像度画像を基に、該第１次低解像度画像よりも解像度が低い第２次低解像度画像を生成するステップと、
    該第２次低解像度画像について動きベクトルを推定した後に、該第２次低解像度画像について推定した動きベクトルを初期値として、前記第１次低解像度画像について動きベクトルを推定するステップと、
    を更に有することを特徴とする動きベクトル推定方法。
12. 請求項８乃至１１の何れか１に記載の動きベクトル推定方法であって、
    複数の画素群それぞれについて高周波成分を有するか否かを判定するステップを更に有することを特徴とする動きベクトル推定方法。
13. 請求項８乃至１２の何れか１に記載の動きベクトル推定方法であって、
    前記反復計算は、前記動きベクトルを推定するためのエネルギー関数であって、データ項と正則化項を含むエネルギー関数を最小化させるための反復計算であることを特徴とする動きベクトル推定方法。
14. 請求項８乃至１３の何れか１に記載の動きベクトル推定方法の各ステップを有し、
    インターレース画像の奇数フィールド画像又は偶数フィールド画像を、前記動きベクトル推定方法への前記入力画像とし、
    前記動きベクトル推定方法で推定した動きベクトルにより前記奇数フィールド画像又は前記偶数フィールド画像を動き補償する動き補償ステップと、
    動き補償後の前記奇数フィールド画像又は前記偶数フィールド画像と、他方のフィールド画像を合成するフィールド合成ステップと、
    を更に有することを特徴とするインターレース・プログレッシブ変換方法。
15. 入力画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを反復計算により推定する動きベクトル推定装置としてコンピュータを機能させるための動きベクトル推定用プログラムであって、
    前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なう手段としてコンピュータを機能させるための動きベクトル推定用プログラム。
16. 請求項１５に記載の動きベクトル推定用プログラムであって、
    更に、前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なった後に、前記複数の画素群全体を対象とする前記反復計算を行なう手段としてコンピュータを機能させるための動きベクトル推定用プログラム。
17. 請求項１５又は１６に記載の動きベクトル推定用プログラムであって、
    更に、前記入力画像を基に、該入力画像よりも解像度が低い第１次低解像度画像を生成する手段と、
    該第１次低解像度画像について動きベクトルを推定した後に、該第１次低解像度画像について推定した動きベクトルを初期値として、前記入力画像について動きベクトルを推定する手段と、
    としてコンピュータを機能させるための動きベクトル推定用プログラム。
18. 請求項１７に記載の動きベクトル推定用プログラムであって、
    更に、前記第１次低解像度画像を基に、該第１次低解像度画像よりも解像度が低い第２次低解像度画像を生成する手段と、
    該第２次低解像度画像について動きベクトルを推定した後に、該第２次低解像度画像について推定した動きベクトルを初期値として、前記第１次低解像度画像について動きベクトルを推定する手段と、
    としてコンピュータを機能させるための動きベクトル推定用プログラム。
19. 請求項１５乃至１８の何れか１に記載の動きベクトル推定用プログラムであって、
    更に、複数の画素群それぞれについて高周波成分を有するか否かを判定する手段としてコンピュータを機能させるための動きベクトル推定用プログラム。
20. 請求項１５乃至１９の何れか１に記載の動きベクトル推定用プログラムであって、
    前記反復計算は、前記動きベクトルを推定するためのエネルギー関数であって、データ項と正則化項を含むエネルギー関数を最小化させるための反復計算であることを特徴とする動きベクトル推定用プログラム。
21. インターレース・プログレッシブ変換装置としてコンピュータを機能させるためのインターレース・プログレッシブ変換用プログラムであって、
    請求項１乃至６の何れか１に記載の動きベクトル推定装置であって、インターレース画像の奇数フィールド画像又は偶数フィールド画像を前記入力画像とした動きベクトル推定装置の各手段と、
    前記動きベクトル推定装置で推定した動きベクトルにより前記奇数フィールド画像又は前記偶数フィールド画像を動き補償する動き補償手段と、
    動き補償後の前記奇数フィールド画像又は前記偶数フィールド画像と、他方のフィールド画像を合成するフィールド合成手段と、
    としてコンピュータを機能させるためのインターレース・プログレッシブ変換用プログラム。