JPH05501188A - 画像の一連の動きについての階層的推定方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 画像の一連の動きについての階層的推定方法本発明は、画像のスペクトルを複数 のサブバンドに分解することに基づく、画像の階層的推定方法に関する。

画像に直接作用し、また相関技法又は傾斜技法に基づく動き推定用の従来のアル ゴリズムでは、画像の動き量が大きいか、若しくは画像領域が一定である場合に は満足すべき結果は得られない。更に画像の微細な部分の動きは、一般に非常に 表示が不良となる。

本発明の目的は、上記の欠点を改善することにある。

この目的についての本発明の対象は、解像度の水準に応じて画像の階層的分解を 実行することと、解像度の最も粗い水準に於て全体的な動きを評価することと、 及び解像度の増加に伴って各水準に於ける推定値を向上せしめることを特徴とす る、画像の連続的動きの階層的評価のための方法である。

本発明は、２つの継続する画像の間の変位ベクトル場の計算を行なうことが出来 るという主な利点を有する。

このベクトル場は１画像よりも小さい変位精度で、画像の各画素について確定す ることが出来る。更に、解像度の増加する高周波画像の２つのピラミッドを加え ることによって、本発明は単一ピラミッドの低周波の簡単な推定値中に消失する 様な、画像の微細な動きを復元することが出来る。

本発明に従う方法はまた、実フィールドに近い動きフィールドを必要とする全て の画像処理装置、例えば高鮮明度のテレビジョン用に応用する場合に於て、５０ 　Ｈｚ／　１００　Ｈｚ標準変換用、フレームのインクレース解除用、又は５０ 　Ｈｚ　／　１００　Ｈｚ変換用の装置など、に使用することが出来る利点を有 する。

その他の本発明の特徴と利点は、添付図面を参照して以下に述べる説明から明ら かになるであろう。

図１は、多重解像ピラミッドである。

図２は、画像を下位帯域（５ｕｂ−ｂａｎｄ）に分解した状態である。

図３は、画像の下位帯域へ分解するための基本モジュールの１実施態様である。

図４は、画像をその下位帯域から再構成するための基本モジュールの１実施態様 である。

図５は、３回の継続的なインタラクションに続く画像のスペクトル分割である。

図６は、３個の基本セルから得られた画像の分解用のトリーである。

図７は、４段階の解像度用に得られたトリーピラミッド構造である。

図８は、連続する２つの画像間に表わされた動きベクトルである。

図９及び図１０は、解像度の粗い画像から解像度の細かい画像への変位ベクトル の投影の２実施例である。

図１１は、提示された変化ベクトルの間の可能な選択の説明である。

図１２は、低周波ピラミッドについての推定値を計算するために、高周波ピラミ ッドについて得られた推定値の融合の実施例である。

図１３は、本発明に依る方法によって使用される処理アルゴリズムの説明である 。

図１４は、動きフィールドを１画素よりも小さい精度で推定することが出来る内 挿曲ラインである。

本発明に依れば、画像の一連の動きの解析は階層的な方法で行なわれる。これは 、最初に画像の粗い解像度で全体的な動きを、推定し、次いでこの推定値を、処 理される画像の解像度が増加するに従って、細密化することに複数の解像度の画 像ピラミッドについて説明する。ここでｊは間隔（ｏ、ｊ）に属し、完全解像画 像はｊ　−ＯＥ相当する。従って解像度２−Ｊの水準に於て行なわれた推定は、 更に高水準の解像度２−（ｊ−１）に於てなされる推定の開始に役立つ。本発明 は３種の斯かる多重解像度ピラミッドを用いる。その１つは低周波画像のピラミ ッドであり、２つは高周波画像のピラミッドである。これらの３種のピラミッド は、もちろん画像の下位帯域に階層分解することによって得られる。

画像スペクトルの分割様式は、直交２次元の基準系中に存在する４種の周波数帯 域１，１．１３及び工４に従って、図２中に示されている。基準系は２つの軸ω ８及びω、を含んでおり、その上にそれぞれ画像の幅及び画像の高さによって周 期中で測定される空間周波数ω　及びω　が載っている。

ｙ 帯域１１は、低周波数の領域に対応し、残りの３帯域１　、Ｉ　及びＩ４は高周 波数の領域に対応している。

この様な分割は、例えば、図３に示した方法で組織された分割モジュールによっ て得ることが出来る。このモジュールは、（１，１及び１３）の参照番号を付し 、２つの回路（２，２及び２３）によりデシメータ（１／１０除算器）に結合さ れた一次元高域（Ｈｌ）フィルタの第１のセット、及び２つの回路（４，４及び ４３）によってデシメータに結合された一次元低域（Ｈ）フィルタ（３，３２及 び３３）の第２のセラＩ トとを収容している。フィルター　及び３２は、それぞれの入力に加えられる画 像Ｉのコラムに沿って第１の濾波を実行する。

フィルター２と３１は、既に高域フィルター１とデシメータ２□によって濾波及 び２だけデシメートされている点上の画像のラインに沿って濾波を実行する。フ ィルタ　１３及び３３は、既に低域フィルタ３２及びデシメータ４１によって濾 波及び２だけデシメートされている点上の画像のラインに沿って濾波を実行する 。フィルタ３．１．３　及び１□の出力は、その順に、画像■を図２の４つの下 位帯域Ｉ　、Ｉ　、Ｉ　及びＩ４にオリジナル画像Ｉの分解をそれぞれ行なうた めに、２だけデシメートされる。

画像Ｉの部分画像１，１．Ｉ３及びＩ４からの再構成は、図４に示した方法で、 （Ｇ　）フィルタ５、乃至５　及び（Ｇ　）フィルタ５．５５及び５７により、 下記の関係により複素変数の複素平面内に限定された伝達関数を持って得ること が出来る。

Ｇｏ（Ｚ）　−２Ｈ，（−Ｚ）　／Ｄ　（Ｚ）　（１）Ｇ、　（Ｚ）−−２Ｈｏ （−Ｚ）　／Ｄ　（Ｚ）　（２）ここで　Ｄ　（Ｚ）− Ｈ（Ｚ）−町（−Ｚ）−ＨｏＣ−Ｚ）・町（Ｚ）（３）図４に於て、下位帯域１ 　、Ｉ　、Ｉ　及びＩ４内で得られる画像の要素は、それぞれ６．６　で示した ２倍オーバサンプラを通ってフィルタ５．５２，５４及び５、の出力にそれぞれ 加えられる。

一方に於てフィルタ５□及び５４の出力が、また他方に於て５　及び５６の出力 が、それぞれ加算回路７　。

７□に結合される。この加算回路７、及び７゜の出力は、それぞれオーバサンプ ラ８．８　を通って、フィルタ５．５　にそれぞれ結合される。生成する画像は 、フ５フ ィルタ５．５　の出力にそれぞれ結合された加算回路９の出力として得られる。

式（１）と式（２）で説明したＧ。フィルタと０１フイルタによって、フィルタ ＨｏとＨｌが何であっても、オリジナル画像を完全に再構成することができる。

それにも拘らず、有限演算における数値上の安定性から、有限パルス応答Ｆ１． Ｒを有するフィルタの使用が好ましい。さらに、有限パルス応答ＦＩＲ付きのフ ィルタは、特に中間の解像度に相当する濾波が重要である場合、画像処理によく 適用される直うイン相で構成されることができる。

か＼る状態において、再構成フィルタは、次のように定められた転送機能を持た なければならない。

（４）および（５）の関係は、帯域間の重なりを除去する利点がある。オリジナ ル画像を完全に構成するための状態は、従って、Ｄ　（Ｚ）−ＺＬで表される。

１つの表示として、フィルタＨおよびＨｌを作成するために“ＱＭＦ”　もしく は“ＣＱＦ”の略語で知られている請求積ミラーフィルタもしくは共役求積フィ ルタを使用することが可能であり、それらに関する説明は次の論文に記述されて いる。

ＯＭ、Ｊ、Ｄ、　Ｊｏｈｎｓｔｏｎ　請求積ミラーフィルタ使用のためのフィル タ群の設計”　、　Ｐｒｏｃｅｅｄｉｎｇ　ＩＣＡＳＴ、Ｐ２９Ｌ〜２９４　（ １９８０年発行） ＯＭ、に、Ｊ、　５ＩＩｌｉｔｈおよびＴＰ　Ｂａ１ｖｅｌｌ　’　ｌ−リー構 造サブバンド・コーダ用の正確な再構成の技術”、　ＩＥＥＥＡＳＳＰ　ｖｏｌ 、３４．　Ｎｏ、３　（１９，８８年６月発行）、ＯＭ、Ｃ，Ｇａ１ａｎｄの論 文、“下位帯域における符号化〜ワードシグナルのデジタル圧縮に関する理論と 応用”　Ｎ１ｃｅ　（１９８３年） 図３および図４に記載されているこれらの種類の基本の分解モジュール配列は、 多様な形状に沿ってスペクトルの分割を可能にする利点がある。スペクトルの１ 階層的分割が動き推定子用に使用される。

３分割のモジュールを用いる１つの例は、図５に表示されており、相当する分解 トリーを図６に示す。

この分解により、解像度の増大する高周波画像の３つのピラミッドが直接、確立 される。

図５において、周波数Ｘの画像の水平軸方向に広がる高周波画像は、区画３．２ 〜２．１さらに１．２によって形成される。高周波Ｙの垂直軸方向に広がる高周 波画像は、ブロック３．３〜２．３さらに１．３によって形成される。また、Ｘ およびＹ軸に沿って続く高周波画像はブロック３．４〜２，４および１．４によ って形成される。

特に、垂直輪郭を第１に、水平輪郭を第２に、それぞれ、１つが画像の詳細につ いての所定の種類にアクセント符号をつける。

これら最初の２個のピラミッドのみが動きの推定に有効に利用される。すなわち 、第１のピラミッドは画像の垂直輪郭の水平動きをもたらす役目、第２のピラミ ・ソドは画像の水平輪郭の垂直動きに役立つ。第３のピラミ、ノドは、構成する 画像の性質が全般的に雑音に著しく影響される事実のために採用されない。

図５および図６の分解によって、各段階で図２の画像Ｉ　が採用された場合、ブ ロックＩ　、Ｉ　、Ｉ　およびｌから成る低周波画像のピラミッドの確立も可能 となる。図２の画像■１は各ライン、カラムおよび２回のサブサンプリングの低 域濾波を行うことによって生じたものである。

解像度の４段階に対応する３つのピラミ・ソド構造を図７に示す。この構造は、 常に、低周波画像、水平軸に沿った高周波画像および垂直軸に沿った高周波画像 の３種の画像が解像度の各水準にあることを示している。

動きフィールドの決定は、３個のピラミッドに関する階層的推定計算によって行 われる。これは、図８に示す如く、先行画像１　（ｔ−１）における対応画素、 Ｋ、−（ｉ＃　ｊ＋　）を決定する現在の画像Ｉ　Ｃｔ）の各画素Ｘ＝（ｉ、ｊ ）についての課題である。動きベクトルＤ（Ｘ）次式によって決まる。

Ｄ−（ｉ’　−１＋　ｊ’　−ｊ） また次の様に表わされる。

Ｉ　（ｔ−１，Ｘ　）　−１（ｔ、Ｘ）動き推定子の一般原理は、以下の様に説 明することが出来る。即ち３回の階層的推定を３つのピラミッドについて平行し て行なわれる。高周波ピラミッドについて得られた２個の推定値は、低周波ピラ ミッドについて得られた推定値（実際に有用な情報を構成する）を、解像度の各 レベルで、豊富にするためにのみ役立つ。これは解像度の各レベルで３個のピラ ミッドについて得られた情報を融合することによって行なわれ、その結果帯られ る推定値は低周波ピラミッドに起因している。

各階層推定は、下記の方法で行なわれる。

低水準の解像度に於ける画像上の対応する点に於て計算される変位は、高水準の 解像度での推定値の予測に役立つ。

Ｄ　−（ｊ＋１）が解像度２−（＋＋１）の１個の画像につを示すとすれば、Ｄ ２−ｊは次式で与えられる。

これからベクトルｄＤが推定される。ｄＤはアンダサンプリング係数を与えられ た直前の水準に於ける推定ベクトルの２倍に等しい。

第１近似として、図９に示したように、低水準にある点の動きは、問題とする解 像度水準の４点の動きの可能な初期設定として使用することが出来る。

ただし、斯かる手法は問題とする水準の各点に於ける動きの推定用の可能な初期 設定（又は予ａ」）を１回だけ行なう。

低水準で得られる推定値を、その囲りの高水準の解像度の１６点上に投影するほ うがより現実的である。図１０に示す様に、このとき推定値を改善することが出 来る唯一の予測に代って、４種の予測がこの水準の各点で利用可能である。図１ ０の点１０に対しては、この予測子としての貢献は、最密解像度の１６点に及び 、また細密水準の点１１は、予測としてより粗な水準からの４点を使用する。各 解像水準に於て予測子の囲りでの±１画素の修正が許される。

図１１に示す如く、これは結局、ＸおよびＹ軸における±１画素に対するベクト ルｄＤの偏位を制限することによって、４個の予測ベクトルＤｏの周囲の９個の 可能なベクトルをテストすることになる。

±１画素に対するベクトルｄＤの偏位におけるこの制限により推定される動きの 最大の振幅は固定される。当然、Ｎ水準の分解を考慮して、解像度にの水準での １画に−１ 索がオリジナル画像上の２　画素に相当する（すなわち、水準１）。最も粗いに 水準での無価値となる推定子を選ぶことによって、ピラミッドのアウトプットに おける推定の最大動きは次のようになる。

これは、５水準への分解のための最大振幅動きの例に対応する。

所定の解像度において、４個の可能な推定子が各点で利用でき、図１１に示す如 く、それらは各、９個の可能なベクトルを生成する。課題点における動きベクト ルの選択は、従って、３６個のベクトルから行われなければならない。選らばれ たベクトルは、課題点に集中している３Ｘ３画素の窓において、オフセット・エ ラーを最小にするベクトルである。

■　によって現在の画素を、■　によって先行画像を、またＤ−（Ｕ、Ｖ）によ って、座標軸（ｔ、ｊ）の点Ｘによってテストされる変位ベクトルを表わすと、 に−−１，１ １−−１，１ 選ばれた変位ベクトルは、変位画像間の最小差ＤＦＤ（Ｘ、Ｄ）を与えるベクト ルである。

しかし推定が画像が一定の区域で行われ、また、たとえ提示されたベクトルであ っても、変位画像間の差ＤＦＤ　（Ｘ、Ｄ）についてＯ値を与える場合は、先行 の判定基準はも早や、適切でなく、アルゴリズムの発散の危険がある。

この問題は、変位画像間の差ＤＦＤ　（Ｘ、Ｄ）のセットの最小値と最大値との 間に存在する差について、テストを行うことで解消される。

この差が小さ過ぎる場合、選択は常に、４個の可能な推定子の中から同じ推定子 を保持するために行われる。

か〜る先行推定は、既に記述した２個の高周波ピラミッドについてそれぞれ別個 に行われる。

低周波ピラミッドに関する推定については、解像度の各水準において、推定され る動きフィールドは、高周波に由来する詳細についてのデータを融合することに よって、質的に向上される。

単一の対象物の輪郭を除いて、高周波画像が主として零にある時、これらの輪郭 について推定される動きは、低周波ピラミッド上□の推定動きを細密化するのに 有用である。また、高周波画像のノイズによって影響される区域のデータは計算 されない。このことは、対応する計算された動きを採用する前に、高周波画像に ついての適切なしきい値を固定するこによって達成される。

このしきい値は、問題になっている下位帯域の分散Ｖの機能として固定される。

高周波下位帯域がらの一点は、か＼る条件下で、輝度の絶対値がこの点における Ｋｖより大きい場合に計算に入れられる。高周波下位帯域が零手段を持っている ことに注意すべきである。融合の実例を図１２に示す。同図に於て、低周波画像 の各点Ｘ、がＸおよびＹ軸での高周波画像上の点Ｘ、およびＸｊ、に相ｘ 当する。

しきい値が画像の４帯域の１つもしくはそれ以上に達することができるという事 実から発生する、４つの事例の図が考えられる。

第１の場合において、しきい値がＸおよびＹ軸の何れにも到達しなければ、その ことは高周波についての情報が存在しないことを示し、また考慮中の動きが低周 波について推定された動きであることを示す。

第２の場合は、しきい値がＸ　に於て到達され、またＸ　にない場合であって、 選択は２個の可能な変位ベクトルの間で行われる。ベクトルの１つは低周波で推 定さある。

第３の場合は、しきい値がＸ　に於て到達され、Ｘｘに於ててはない場合であっ て、選択は２個の変位ベクトルの間で実行される。ベクトルの１つは低周波で推 定さ最後に、第４の場合によれば、しきい値はＸ　及びＸ　に於て到達される場 合であって、選択は４個のベクトルの間で実行される。

第２のベクトルはそのＸ成分が高周波で推定されるＤ　−（Ｕ（工）”　（Ｘ） 　）であり、またＦＩ 第３のベクトルはそのＸ成分が高周波で推定されるＤ　−（Ｕ　、Ｖ　）であり 、また ＢＦ２　（ｘ）　（Ｘｙ） 第４のベクトルはその成分がＸ及びＹに於て高周波で推定されるＤ”　（Ｕ（Ｘ ｘ）”　（Ｘｙ）である。

ＢＦ３ 全ての場合に、選ばれるベクトルは低周波画像上のオフセット・エラーを最少に するベクトルである。

従って、低周波ピラミッドについての推定は、各水準に於て、同一水準の詳細な 画像についての推定値を考慮に入れている。この融合した場は、次に図１３に示 した様に、次の水準に於ける推定用の予測子として使用される。

従って、図１３に示した２、３．及び４の各解像度水準に於て、各下位帯域での 推定は、予測値として同一の下位帯域又は同一の先行水準の推定値を用いて実行 され、また低周波の下位帯域中に搬送された３種の推定値の融合が実行される。

水準１での推定は、水準２に於ける融合推定値の予−１と共にオリジナル画像内 で実行される。

もちろん、動きフィールドの最後の解像水準から生じる１画素までの推定の精度 は、例えば１／２．１／４など１／２に画素の推定精度を得るために、Ｘ及びＹ 軸に２又は４などの、あるいはそれ以上の点で原始画像を内挿することによって 、更に改善することも出来る。しかし、この解は、急速に非常に高価になること があるので、２つの変数Ｕ及びＶの１つの関数とし、他を図１４に示した様に最 小変位画像間左曲ラインをＶを一定として描いた場合の、各変位画像間差の最小 値ＤＦＤをめる方法と両立する迅速内挿法を用いることが好ましい。

ラインはＵの３種の値（Ｕ−１，Ｕ及びＵ＋１）に対して引かれる。斯くして得 られた抛物ラインは対応する最小横座標Ｄｘを表わすが、これは変位のＸ成分で ある。

同じ操作を画像のＹ方向について実行し、１画素未満の精度で変位ベクトルＤｒ ｅａｌ＝　（Ｄ　、　Ｄ　）を得ることＹ が出来る。

この方法は、基本的には、選択によって選ばれたべりトルの周囲の９個のベクト ルについて基準となる変位画像間の最小差（Ｕ、Ｖ）が計算されるので、非常に 迅速な方法である。選ばれたベクトルの表現された画素の正方形の角部の１つに ある様な最悪の場合には、抛物ラインにより内挿するために計算すべきＤＦＤ　 （Ｄ）について２個の値のみがある。他方、そのベクトルが中心にあるときは、 計算すべき値はなく、その他の点について計算すべき値は１つのみである。

ＦＩＧ、１ 解像度　ＦＩＧ、７ １１ｔ−１１Ｉｌｌ ＦＩＧ、９ ＦＩＧ、１０ ＦＩＧ、１１ 亜　杓　書 ＦＩＧ、１３ 国際調査報告 ＋Ｉｓ＋ｖｍｌｌｅ＋ｍ　Ａ”””　−’　ＰＣＴ／ＦＲ９１１００４１６

Claims (10)

【特許請求の範囲】
1. １．画像の一連の動きを階層的に推定する方法であって、画像を複数の解像度（ Ｉ３Ｉ′Ｉ３２′Ｉ３３；Ｉ２Ｉ′Ｉ２２′Ｉ２３；Ｉ１１′Ｉ１２′Ｉ１３； Ｉ）により階層的に分解することと、最も粗な水準の解像度に於て、全体の動き を推定することと、解像度が大となるに従って各水準に於ける推定値（Ｉ３Ｉ′ Ｉ３２′Ｉ３３）を細密化することにあることを特徴とする方法。
2. ２．請求項１記載の方法において、画像の水平方向（３．２，２．２，Ｉ．２） 及び垂直方向（Ｉ３．４，２．４，１．４）に沿ったＩ個の、低周波画像（Ｉ３ Ｉ′Ｉ２１′Ｉ１１）のピラミッド、及び２個の、高周波画像のピラミッド、の ３個のピラミッドを構成することにあることを特徴する方法。
3. ３．請求項１及び２記載の方法において、分解の各水準に於て、それぞれ画像の 垂直方向と水平方向の輪郭を表わす低周波帯域（Ｉ１）と高周波帯域（Ｉ２′Ｉ ３）とを保存しながら、分析した画像を下位帯域に階層的に分解することによっ て画像の動きを分析することにあることを特徴とする方法。
4. ４．請求項３記載の方法において、現在の点を中心とするブロックのＮＸＮ個の 点を、直前の画像中の対応する点と相関付け、現在の解像度水準に於ける変位の 調査を直前の水準での計算された変位の囲りに行なうことにあることを特徴とす る方法。
5. ５．請求項３及び４記載の方法において、点対点の動き推定を３個のピラミッド の各々について階層的に実行することを特徴とする方法。
6. ６．請求項４乃至６のいずれかに記載の方法において、各推定用に４個の予測ベ クトル（Ｄ０）を使用すること及び変位ベクトルとして、変位画像間の最少差（ ＤＦＤ）を与える予測値を採用することにあることを特徴とする方法。
7. ７．請求項６記載の方法において、ある一定の水準の解像度で推定を開始するた めに、解像度ネットワーク　の低水準の４個の予測ベクトルを使用すること、及 びその４個の各々の近傍に於て変位画像間の最少差（ＤＦＤ）を与える変位ベク トル（Ｄ０）を調査することにあることを特徴とする方法。
8. ８．請求項２乃至５のいずれかに記載の方法において、高周波画像の各ピラミッ ド上でそれぞれ独立に動き推定を行なうこと、及び画像の高周波について得られ る動きのデータにより解像度の各水準を向上せしめることを特徴とする方法。
9. ９．請求項６記載の方法において、画像の均一な全領域内に同一の予測ベクトル を常に保有することにあることを特徴する方法。
10. １０．請求項６乃至８のいずれかに記載の方法において、±１画素よりも良い精 度を得るために、変位ベクトルの抛物ライン状推定を実行することにあることを 特徴とする方法。