JP3588290B2 - デジタル画像のサブピクセル・アライメント方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のデジタル画像をマッチさせる方法、特に、複数のデジタル・画像を高精度でサブピクセル単位で（１ピクセル未満の単位で）場所的にアライメントさせる方法である。
【０００２】
【従来の技術】
複数のデジタル画像を正確に場所的にアライメントすることは、多くのアプリケーションにおいて基本的には重要である。かかるアプリケーションの１つは、アメリカ合衆国オレゴン州のテクトロニクス社が製造しているＰＱＡ２００型画像品質分析器の如き測定器を用いて、画像品質を判断することである。このアプリケーションでは、基準ビデオ信号からの画像と、この基準ビデオ信号を処理したものである試験ビデオ信号からの対応画像と比較している。基準画像と、対応する試験画像との間の場所アライメント（場所的な一致）が良好ならば、上述の処理による試験ビデオ信号の劣化の程度を一層正確に判断できる。
【０００３】
アカデミック・プレスから１９７９年に出版されたアーネット・エル・ホール（Ｅｒｎｅｔ Ｌ． Ｈａｌｌ）による「コンピュータ画像処理及び認識（Ｃｏｍｐｕｔｅｒ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ）」の４８０ページ〜４８４ページは、テンプレートのマッチングのための基本的な相関方法を記載している。この相関方法は、画像アライメントに用いることができる。同様に、ＳＰＩＥ第１１９巻の「デジタル画像処理のアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）」（ＩＯＣＣ１９７７）の１９７ページ〜２０５ページのジェイ・ジェイ・ピアソン（Ｊ．Ｊ．Ｐｅａｒｓｏｎ）等の論文「ビデオ・レートの画像相関プロセッサ（Ｖｉｄｅｏ−Ｒａｔｅ Ｉｍａｇｅ Ｃｏｒｒｅｌａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）」は、位相情報を扱う種々の基本的な相関方法を記載している。整数ピクセル・シフト（ピクセル単位のピクセル・シフト）を伴うデジタル画像にとって、これら相関方法は、非常に正確である。
【０００４】
【発明が解決しようとする課題】
しかし、整数ピクセル・シフト及び端数ピクセル・シフト（１ピクセル未満のピクセル・シフト）の両方を含む広範囲なシフトにとっては、サブピクセル・アライメント（１ピクセル未満を対象にしたアライメント）の精度が、非常に重要になる。上述のピアソン等の論文は、ピークに隣接した相関値を用いた２次内挿法によって、サブピクセル・シフトを予測する方法を記載している。しかし、２次内挿関数は、真の画像シフト関数と必然的にマッチングしないので、２次内挿補間により得られる精度は、制限される。
【０００５】
そこで、デジタル画像に対する高精度なサブピクセル単位の場所的なアライメントが望まれている。
【０００６】
【課題を解決するための手段】
本発明によれば、デジタル画像の高精度のサブピクセル・アライメント方法に対して、反復方法及び場所的な再サンプリングを用いる。このデジタル画像の高精度なサブピクセル単位の場所的アライメントでは、一方のデジタル画像を基準ビデオ信号から求め、他方のデジタル画像を対応する試験ビデオ信号から求める。このサブピクセルの場所的アライメントは、反復処理を用い、端数ピクセル・シフトの見積もり及び基本相関による場所的再サンプリングも行う。基準ビデオ信号及び試験ビデオ信号からの対応する画像を捕獲する。これら捕獲した画像内のテキスチャーを含むように、試験ブロックをこれら基準画像及び試験画像の同じ位置に重ねる。各画像内の試験ブロック内にて、ＦＦＴ（高速フーリエ変換）を実施し、これらＦＦＴの結果を相互相関させて、これら基準及び試験画像間のシフト位置を表すピーク値を発生する。曲線をピーク値及び隣接値に適合させて、最も近い整数ピクセル・シフト位置（１ピクセル単位のシフト位置）を見つける。この整数ピクセル・シフト位置に応じて、試験ブロックを試験画像内にてシフトさせ、この試験画像内の試験ブロックに対してＦＦＴを繰り返し、再び、基準画像のＦＦＴ結果と相関させる。曲線の適合を繰り返して、整数ピクセル・シフト値と組み合わせる端数ピクセル・シフト位置の値を求めて、試験画像内で再び試験ブロック位置を更新する。終了条件に達するまで、これらステップを繰り返す。終了条件に達すると、基準画像に関連した試験画像内の試験ブロックに対するピクセル・シフト位置の値を用いて、高精度なサブピクセルの正確さで、これら２つの画像をアライメントできる（整列できる）。
【０００７】
本発明のその他の目的、利点及び新規な特徴は、添付図を参照した以下の詳細説明から明らかになろう。
【０００８】
【発明の実施の形態】
図１は、本発明によるデジタル画像の高精度サブピクセル・アライメント方法に用いるシステムのブロック図である。基準ビデオ信号源１０からのオリジナル・ビデオ信号、即ち、基準ビデオ信号が、ビデオ処理ネットワーク１２に入力する。このビデオ処理ネットワーク１２は、１つ以上の圧縮／伸張処理を含んでいる。ビデオ処理ネットワーク１２からの出力を検出器又は類似の装置である試験ビデオ装置１４に供給する。この装置１４は、試験ビデオ信号を発生する信号源になる。基準ビデオ信号源１０からの基準ビデオ信号と、試験ビデオ信号源１４からの試験ビデオ信号とは、ビデオ捕獲モジュール１６に入力する。このモジュール１６は、これら２つのビデオ信号から、対応する画像又はフレームを捕獲する。ビデオ捕獲モジュール１６からの対応する画像対は、高精度なサブピクセル単位の場所的アライメント検出モジュール１８に入力する。この場所的アライメント検出モジュール１８は、基準ビデオ信号の画像と、試験ビデオ信号の画像との間の位置シフト量（即ち、これら２つの画像の位置的シフトの差）を求める。場所的アライメント検出モジュール１８からの位置シフト量を位置シフト・モジュール２０に入力する。この位置シフト量は、基準信号経路又は試験信号経路のいずれかに対するものである。位置シフト・モジュール２０は、位置シフト量に応じて、ビデオ捕獲モジュール１６からの画像対の一方を他方に対してシフトして、サブピクセル精度で正確に、これら画像対をアライメント（位置合わせ）する。これら画像対、即ち、ビデオ捕獲モジュール１６からの画像及び位置シフト・モジュール２０からの画像は、画像品質アナライザ（ＰＱＡ）２１などにより更に処理される。本発明は、画像対のアライメントを行う方法である。
【０００９】
図２は、本発明により高精度なサブピクセルの正確さで場所的にアライメントされる基準（オリジナル）ビデオ信号の画像と、対応する試験ビデオ信号の画像との関係を示す図である。基準（オリジナル）画像２２及び試験画像２４は、マット画像（均一な画像）ではなく、いくつかのテキスチャー（模様画像）２５を含んでいる。試験画像２４に示すように、基準（オリジナル）ビデオ信号の処理後、テキスチャー２５が水平及び／又は垂直にシフトしている。任意の試験領域である試験ブロック２８を形成する。図示の例では、このブロック２８は、矩形であり、基準点がＸｏ、Ｙｏである。また、試験ブロック２８は、基準画像２２及び試験画像２４の両方と重なっている。図示の如き矩形の場合、基準点と、水平範囲ΔＸと、垂直範囲ΔＹとが試験領域であるブロック２８を定義する。試験領域２８の場所では、画像内に重要なテキスチャー２５が存在する。
【００１０】
高精度なサブピクセル単位の場所的アライメントのアルゴリズムを図３に示す。初期化モジュール３０は、試験ブロック２８を有し、互いに対応する基準画像及び試験画像を、相関測定モジュール３２に渡す。初期化モジュール３０内の第１ステップ３４では、ビデオ捕獲モジュール１６を制御して、基準ビデオ信号及び試験ビデオ信号から、互いに対応する基準画像、即ち、基準フレームと、試験画像、即ち、試験フレームとを捕獲する。第２ステップ３６では、目立つテキスチャー２５を有する領域内で、各画像に試験ブロックを重ねる（テキスチャーが試験ブロック内に入るようにする）。相関測定モジュール３２の第１ステップ３８では、試験領域（試験ブロック）内にある画像のピクセルに対して高速フーリエ変換（ＦＦＴ）を実行して、基準画像にＦＦＴを実行した結果である基準ＦＦＴと、試験画像にＦＦＴを実行した結果である試験ＦＦＴとを求める。なお、基準ＦＦＴは、ＦＦＴ（ｒｅｆ）で表し、試験ＦＦＴは、ＦＦＴ（ｔｓｔ）で表す。ステップ４０では、試験ブロックにおいて、周波数領域であるＦＦＴ領域における相互相関ＦＦＴ（ｃｏｒｒ）を次のように求める。
ＦＦＴ（ｃｏｒｒ）＝ＦＦＴ（ｒｅｆ）＊ＦＦＴ（ｔｓｔ）
この相互相関ＦＦＴ（ｃｏｒｒ）に対して、逆ＦＦＴを実行して、ＦＦＴ^−１（ｃｏｒｒ）を求めると、このＦＦＴ^−１（ｃｏｒｒ）は、試験領域（試験ブロック）内での総てのシフト点に対する相関係数（相関値）を発生する。これら相関係数は、図４に示すように、相関面４２の形式で表すことができる。この相関面４２内のピーク（ピーク相関値）４４の位置は、基準画像及び試験画像の間での位置に対するシフト量を示す。ステップ４０は、相互相関ＦＦＴにより、かかるピーク４４の位置を見つける。ステップ４６は、曲線を適合させるステップであり、ピーク位置と、このピーク位置から上、下、左及び右の位置との係数に基づいて、これらピーク相関値及び隣接相関値に曲線を適合させて、ピーク４４に対して最も近い整数ピクセル・シフト位置（整数個のピクセルによるシフト位置）を求める。相関測定モジュール３２からのピクセル・シフト位置（ピクセルのシフト位置）をステップ４８に渡す。このステップ４８では、シフト位置を更新する。なお、このステップ４８では、第１（最初の）反復（繰り返し）期間中のみ、最も近い整数ピクセルに対するシフト位置（整数のピクセル・シフト位置）の更新を行い、第２回目以降の繰り返しでは、後述のように端数のピクセル・シフト位置の更新を行う。
【００１１】
試験ステップ５０では、シフト位置を更新するステップ４８で求めた位置シフトの量と、特定のパラメータに対する繰り返しの数とをチェックして、場所的アライメント・アルゴリズムを実施したか、即ち、処理済みであるか否かを判断する。繰り返し回数が特定数と等しいか、又は、更新の量が特定のノイズ値未満である場合、更新ステップ４８からのシフト位置の値を出力ピクセル・シフト位置として、このアルゴリズムを終了する。そうでない場合、試験ブロックをシフトするステップ５２では、試験画像内の試験領域を、更新位置ステップ４８で求めた値だけシフトして、基準点をＸ＋ＸΔ及びＹ＋ＹΔにシフトする。なお、ＸΔ及びＹΔは、整数ピクセル・シフト位置の値である。これは、ステップ４８で求めたシフト位置毎に、試験領域をシフトすることである。なお、試験領域をシフトすることは、試験ピークをシフトすることである。ステップ５２では、ステップ４８と同様に、第１回目の反復期間中のみ、整数ピクセルのシフトを行い、第２回目以降の繰り返しでは、端数のピクセルのシフトを行う。その後、モジュール３２のステップ３８に戻る。試験領域又はブロックの新たな位置では、相関モジュール３２を再び適応させて、Ｘ及びＹにおける端数ピクセル・シフト値を得る。ＦＦＴステップ３８において、最初（第１）の繰り返しの後は、試験画像のみを処理する。しかし、基準画像に対するＦＦＴは、変化しない。端数ピクセル・シフト値を用いて、更新ステップ４８におけるシフト位置を更新するので、シフト位置は、Ｘｏ＋ＸΔ＋Ｘｆ及びＹｏ＋ＹΔ＋Ｙｆとなる。なお、Ｘｆ及びＹｆは、新たな端数ピクセルの更新量である。最も実際的なアプリケーションでは、端数ピクセル・シフト位置を求める処理を２回だけ繰り返すことにより、充分な結果が得られた。場所的アライメント検出モジュール１８からの最終シフト位置の出力値を用いて、試験画像及び基準画像を上述の如くアライメント（整列）させる。なお、図３に示すこれらステップは、コンピュータ（図示せず）がソフトウェアに応じて、モジュール１８及び２０を制御することにより実行できる。
【００１２】
【発明の効果】
本発明は、複数の画像間のシフト位置を表すピークを見つけるために、各画像から得た試験ブロックの相関ＦＦＴを繰り返し処理し、曲線を相関係数に適合させて、最も近い整数ピクセル・シフト位置を判断し、試験画像における試験ブロックの位置を更新する。そして、これら処理を、特定回数の繰り返しを行うまでか、又は、端数ピクセル・シフト位置の変化がノイズ・レベル未満になるまで、繰り返す。よって、本発明によれば、複数のデジタル画像を高精度にサブピクセル単位（１ピクセル未満の単位、即ち、端数ピクセル単位）で場所的にアライメントできる。
【図面の簡単な説明】
【図１】本発明によるデジタル画像の高精度サブピクセル・アライメント方法に用いるシステムのブロック図である。
【図２】本発明により、高精度サブピクセルの正確さで場所的にアライメントされる基準ビデオ信号の画像及び対応試験ビデオ信号の画像との関係を示す図である。
【図３】本発明による高精度サブピクセル・アライメントのアルゴリズムを示す流れ図である。
【図４】本発明による高精度サブピクセル・アライメントのアルゴリズムにおけるピーク位置を示す相互相関面の図である。
【符号の説明】
１０ 基準ビデオ信号源
１２ ビデオ処理ネットワーク
１４ 試験ビデオ信号源
１６ ビデオ捕獲モジュール
１８ 空間アライメント検出モジュール
２０ 位置シフト・モジュール
２１ 画像品質アナライザ
２２ 基準画像
２４ 試験画像
２５ テキスチャー
２８ 試験ブロック（領域）
４２ 相関面
４４ ピーク

Claims (1)

1. 基準ビデオ信号からの基準画像を１つのデジタル画像として捕獲すると共に、処理後の上記基準ビデオ信号を表す試験ビデオ信号からの対応試験画像を別のデジタル画像として捕獲し、
   テキスチャーを含む対応する位置にて、任意の試験ブロックを上記基準画像及び上記試験画像に重ね、
   上記試験ブロック内に位置する上記基準画像及び上記試験画像の各部分に対して高速フーリエ変換を行って、基準ＦＦＴ及び試験ＦＦＴを発生する変換ステップを行い、
   上記基準ＦＦＴ及び上記試験ＦＦＴを相互相関させて、上記基準画像及び上記試験画像間のシフト位置を表すピーク相関値を有する相関面を発生する相関ステップを行い、
   上記ピーク相関値及び隣接相関値に曲線を適合させて、整数のピクセル・シフト位置を決定し、
   上記試験画像に重なった上記試験ブロックの位置を、上記整数のピクセル・シフト位置により更新する更新ステップを行い、
   上記試験画像に対する変換ステップと、端数のピクセル・シフト位置を見つけるための上記相関ステップと、上記端数のピクセル・シフト位置を上記整数のピクセル・シフト位置に加算することによって行う上記更新ステップとを、終了条件に達するまで繰り返し、
   上記試験画像内の上記試験ブロックの初期位置を上記更新ステップによって上記試験画像内の上記試験ブロックの最終位置にシフトすることにより、上記基準画像及び上記試験画像の間で高精度のサブピクセル単位のアライメントを実現することを特徴とするデジタル画像のサブピクセル・アライメント方法。

Images