JP5545565B2 - 試験画像及び基準画像の位置合わせ方法 - Google Patents

Description

本発明の実施形態は、画像処理方法及びシステムに関し、特に画像の位置合わせのための画像処理方法及びシステムに関する。

ビデオ・フォーマット及びビデオ装置の急増に伴って、画像のサイズ変更、画像位置決め（Registration：レジストレーション）及びクロッピング（Cropping：画像外縁部分の切り捨て）が頻繁に行われるようになっている。従来よりも、別用途のためにビデオ・フォーマットを変更することが一般的になってきた。例えば、１ライン当たり７２０サンプルの６０１ＳＤ（標準画質：Standard Definition）ビデオ信号を７０４ＡＴＳＣ（Advanced Television Systems Committee）デジタル放送信号として送信するには、再フォーマットが必要となる。他の例では、ＳＤ及びＨＤ同時放送に伴う７２０ＳＤビデオ信号の１９２０ＨＤ（高解像度：High Definition）ビデオ信号への変換でも再フォーマットが必要となる。放送形態の変更に応じた再フォーマットに加えて、モバイル・デバイスや他のハンドヘルド・デバイスで利用するビデオ・フォーマットへの変換、例えば、ＨＤからＱＣＩＦ（Quarter Common Image Format）への変換でも再フォーマットが必要となる。この再フォーマットは、画像サイズ変更、空間的位置決め（spatial registration）とも呼ばれる空間的シフト、クロッピング（cropping）とも呼ばれる画像外縁部分の画像内容の切り捨て、その他のフォーマットの変更が必要となる。このような再フォーマットは、例えば、１６：９対４：３のように、新しいアスペクト比に画像を適合させることが必要になる。ここでアスペクト比は、幅と高さの比を意味する。再フォーマットは、画像辺部の切りつめ（truncation）又はクロッピングや、サイド・パネルとも呼ばれる画像の左右への黒い領域（black border）部分の追加、また、同様に画像の上下に同じことを行う（例えば、レターボックス画像の場合）などが必要となる。装置製造業者、放送業者、編集者などのビデオ・プロフェッショナルにとって、再フォーマットではいくつかの問題が生じる。処理装置が間違ったモードに設定されているのかもしれないし、調子がおかしいのかもしれない。また、例えば、上述の例の７２０ピクセルから７０４ピクセルのように、規格が変更されているのかもしれない。

こうしたことから、空間的な歪み、スケール、オフセット又はシフトを自動で測定する方法を実行可能で、ビデオ出力信号のクロッピングが可能な測定装置があれば有益と思われる。加えて、フル・リファレンス測定（full-reference measurements）におけるビデオ試験シーケンス画像とビデオ基準シーケンス画像との間における空間的な位置合わせは、ピクチャー品質測定においても必要なものである。

過去において、位置合わせは、少なくとも一部分については、ストライプ（縞模様）をオリジナルのビデオ画像に配置することによって実現されてきた。これは、割り込み処理であり、試験ビデオ及び基準ビデオの両方がストライプを持つことが必要で、これはビデオの比較や転送又は蓄積のために必要なその他の処理の前にストライプが加えられることを必要とする。利用例の中には、ひとたび測定のニーズが生じても、ストライプを追加するのが実用的でないか又は望ましくないものがあり、これが自動的なピクチャー品質測定を利用する上で制限となっていた。

家電におけるビデオ出力信号を確認するといった自動ビデオ測定（ＶＭ：Video Measurement）のために、空間的な歪みを自動測定する方法があれば有益と思われる。自動ピクチャー品質測定とともに用いられる自動空間位置合わせのための方法もあれば有益と考えられる。また、こうした方法が、デジタル圧縮の副作用（artifact：アーティファクト）、ランダム・ノイズ、量子化エラー、非線形歪み、線形歪み、干渉やその他のビデオ信号の品質を悪化させるであろう処理が存在するときに、アクティブになる（活性化する）ことが望ましいと考えられる。更に、この方法は、ビデオ信号に追加された任意のストライプ、アスペクト比、被測定デバイスのピクセル・クロック、その他に、垂直／水平スケーリング（拡大縮小）、オフセット又はクロッピングを示すものを含めて、ビデオの内容を予め知らなくとも動作することが望ましいと思われる。

加えて、この方法は、正確さと演算効率の良さを両立するものであることが望ましい。コーデック（コーダ／デコーダ）技術の進歩、特にＨ．２６４コーデックの展開と進歩に伴って、１９２０ピクセルｘ１０８０ピクセルＨＤビデオには、次第に客観的に測定される大きなエラーが現れるようになり、これは、通常の鑑賞条件においては、ほぼオリジナルの基準ビデオと同じに観察者には見えるものの、詳細には大変悪い相関関係（correlation）の原因となる。特に、ＨＤビデオ・コーデック、例えば、Ｈ．２６４コーデックについて空間的歪みを測定したり、その他のピクセル・レベルで試験ビデオ信号が悪化するような用途において、精度を改善することは有益と思われる。ピクセル・レベル試験ビデオ信号は、通常の鑑賞条件においては、平均的な鑑賞者にとって良い画質のように見える一方で、低い局部相関を有する点で損失が生じるかもしれない。上述の有益な特徴を持ちつつ、演算効率が高く及び精度の良い方法であれば、利点は多い。

特開２００８−１３１６５８号公報 米国特許出願第１１／９４４０５０号

本発明の実施形態は、画像の対を高い演算効率及び精度で位置決め（registration）するための方法及びシステムに関する。

本発明の実施形態の一例としては、第１方向に関連する第１縮小係数を定め、そして第２方向に関連する第２縮小係数を定めるようにしても良い。基準画像は、第１縮小係数及び第２縮小係数に従って縮尺されても良い。実施形態によっては、試験画像は、第１縮小係数及び第２縮小係数に従って縮尺されても良い。実施形態によっては、試験画像は、試験画像に関して大雑把に位置合わせした画像としても良い。別の実施形態では、試験画像は、基準画像及び試験画像間で行われた大雑把な位置合わせ測定に従って大雑把に位置合わせされるのに加えて、第１縮小係数及び第２縮小係数に従って縮尺されるようにしても良い。第１位置合わせ測定値は、縮尺試験画像及び縮尺基準画像を用いて定められる。第１位置合わせ測定値に従って試験画像が調整された後、基準画像と調整試験画像は、第２位置合わせ測定値を測定するのに利用される。第１位置合わせ測定値の精度は、第１縮小係数及び第２縮小係数に関係しており、また、第２位置合わせ測定値の調査範囲は、第１縮小係数及び第２縮小係数と関係している。

本発明の別の実施形態では、比較的高解像度の画像と狭い調査範囲を連続的に用いることで、位置合わせ測定値を連続してリファイン（Refine：洗練、改善）するようにしても良い。実施形態の一例としては、第１方向に関連する第１縮小係数を定めるとともに、第２方向に関連する第２縮小係数を定めるようにしても良い。基準画像は、第１縮小係数及び第２縮小係数に従って縮尺される。実施形態によっては、試験画像は第１縮小係数及び第２縮小係数に従って縮尺される。実施形態によっては、試験画像は、試験画像に関して大雑把に位置合わせした画像としても良い。別の実施形態では、試験画像は、基準画像及び試験画像間で行われた大雑把な位置合わせ測定に従って大雑把に位置合わせされるのに加えて、第１縮小係数及び第２縮小係数に従って縮尺されるようにしても良い。第１位置合わせ測定値は、縮尺試験画像及び縮尺基準画像を用いて定められる。第１位置合わせ測定値に従って試験画像が調整された後、基準画像と調整試験画像は、第１方向に関する第３縮小係数及び第２方向に関する第４縮小係数に従って、更に縮尺されるようにしても良い。第２位置合わせ測定値は、縮小基準画像及び縮小調整試験画像を用いて定められる。調整試験画像は、第２位置合わせ測定値に従って更に調整してもよく、この２度調整した試験画像及び基準画像は、完璧な位置合わせ測定値を定めるのに用いても良い。

本発明の別の実施形態では、垂直位置合わせ及び水平位置合わせについて、分離した位置合わせ処理を含んでいても良い。このタイプの実施形態の一例では、第１パスにおいて、垂直位置合わせ処理が省かれ、水平位置合わせだけが処理されて完了する。そして、第２パスでは、水平位置合わせ処理が行われず、垂直位置合わせだけが処理されて完了する。

本発明のより具体的な第１の実施形態は、試験画像と基準画像を位置合わせする方法に関し、次のａ〜ｇのステップを具えていても良い。即ち、ａ）第１方向と関連する第１縮小係数を定めるステップと、ｂ）第２方向と関連する第２縮小係数を定めるステップと、ｃ）第１縮小係数及び第２縮小係数に従って基準画像を縮尺するステップと、ｄ）第１縮小係数及び第２縮小係数に従って試験画像を縮尺するステップと、ｅ）縮尺試験画像及び縮尺基準画像を用いて、試験画像及び基準画像間の第１位置合わせ測定値を定めるステップと、ｆ）第１位置合わせ測定値に従って試験画像を調整するステップと、ｇ）調整試験画像及び基準画像を用いて、試験画像及び基準画像間の第２位置合わせ測定値を定めるステップとを具えていても良い。

第１方向は垂直及び水平方向の集合から選択された方向とし、第２方向は垂直及び水平の集合から選択されなかった他方の方向としても良い。

第２位置合わせ測定値に従って、試験画像を調整するステップを更に設けても良い。

第１縮小係数は、第１方向における第１調査範囲に基づくものとし、第２縮小係数は、第２方向における第２調査範囲に基づくものとしても良い。

更に、第１縮小係数は、次の数１に従って計算しても良い。

また、第２縮小係数は、次の数２に従って計算しても良い。

本発明の第１の実施形態では、試験画像及び基準画像について、大雑把な位置合わせ測定値を受けるステップを更に具えてもよく、このとき、試験画像の縮尺ステップが、大雑把な位置合わせ測定値に従って試験画像を調整するステップを更に有し、第１位置合わせ測定値に従って試験画像を調整するステップが大雑把な位置合わせ測定値に従って試験画像を調整するステップを更に有するようにしても良い。

このとき、試験画像には、試験画像に関して大雑把に位置合わせした画像を含めても良い。

本発明による試験画像と基準画像を位置合わせする方法における第２の実施形態としては、次のａ〜ｆのステップを具えるものとしても良い。即ち、ａ）第１方向と関連する第１縮小係数を定めるステップと、ｂ）第１縮小係数に従って、第１方向について基準画像を縮尺するステップと、ｃ）第１縮小係数に従って、第１方向について試験画像を縮尺するステップと、ｄ）第１方向縮尺試験画像及び第１方向縮尺基準画像を用いて、試験画像及び基準画像間の第１方向に関する第１方向第１位置合わせ測定値を定めるステップと、ｅ）第１方向第１位置合わせ測定値に従って試験画像を調整するステップと、ｆ）第１方向第１位置合わせ測定値及び基準画像に従って調整された試験画像を用いて、試験画像及び基準画像間の第１方向に関する第１方向第２位置合わせ測定値を定めるステップとを具えていても良い。

このとき更に、ａ）第２方向と関連する第２縮小係数を定めるステップと、ｂ）第２縮小係数に従って、第２方向について基準画像を縮尺するステップと、ｃ）第２縮小係数に従って、第２方向について試験画像を縮尺するステップと、ｄ）第２方向縮尺試験画像及び第２方向縮尺基準画像を用いて、試験画像及び基準画像間の第２方向に関する第２方向第１位置合わせ測定値を定めるステップと、ｅ）第２方向第１位置合わせ測定値に従って、試験画像を調整するステップと、ｆ）第２方向第１位置合わせ測定値及び基準画像に従って調整された試験画像を用いて、試験画像及び基準画像間の第２方向に関する第２方向第２位置合わせ測定値を定めるステップとを具えるようにしても良い。

このとき、第１方向は、垂直方向及び水平方向で構成される集合から１つの方向を選択したものとし、第２方向は垂直方向及び水平方向で構成される集合中の選択されなかった他方の方向としても良い。

また、第１方向第２位置合わせ測定値及び第２方向第２位置合わせ測定値に従って、試験画像を調整するステップを更に設けても良い。

第１縮小係数は、第１方向に関する第１調査範囲に基いて求めても良い。また、第２縮小係数は、第２方向に関する第２調査範囲に基いて求めても良い。

この場合も、第１縮小係数は、上述の数１に従って求めても良い。また、第２縮小係数は、上述の数２に従って求めても良い。

この場合において、試験画像及び基準画像について、大雑把な位置合わせ測定値を受けるステップを更に具えてもよく、このとき、ｉ）試験画像の縮尺ステップが、大雑把な位置合わせ測定値に従って試験画像を調整するステップを更に有し、ｉｉ）第１方向第１位置合わせ測定値に従って試験画像を調整するステップが大雑把な位置合わせ測定値に従って試験画像を調整するステップを更に有し、iii）第２方向に関する試験画像の縮尺ステップが大雑把な位置合わせ測定値に従って試験画像を調整するステップを更に有し、ｉｖ）第２方向第１位置合わせ測定値に従って試験画像を調整するステップが大雑把な位置合わせ測定値に従って試験画像を調整するステップを更に有するようにしても良い。

この場合も、試験画像には、その試験画像と関連する大雑把に位置合わせした画像を含めても良い。

第１縮小係数は、第１方向に関する第１調査範囲に基いて求めても良い。

また、第１縮小係数は、上述の数１に従って求めても良い。

この場合において、試験画像及び基準画像についての大雑把な位置合わせ測定値を受けるステップを更に具えてもよく、このとき、ｉ）第１方向に関する試験画像の縮尺ステップが、大雑把な位置合わせ測定値に従って試験画像を調整するステップを更に有し、ｉｉ）第１方向第１位置合わせ測定値に従って試験画像を調整するステップが大雑把な位置合わせ測定値に従って試験画像を調整するステップを更に有するようにしても良い。

ここで、試験画像には、その試験画像と関連する大雑把に位置合わせした画像を含めても良い。

本発明による試験画像と基準画像を位置合わせする方法における第３の実施形態としては、次のａ〜ｍのステップを具えるものとしても良い。即ち、ａ）第１方向と関連する第１縮小係数を定めるステップと、ｂ）第２方向と関連する第２縮小係数を定めるステップと、ｃ）第１縮小係数及び第２縮小係数に従って基準画像を縮尺し、第１縮尺基準画像を生成するステップと、ｄ）第１縮小係数及び第２縮小係数に従って試験画像を縮尺し、第１縮尺試験画像を生成するステップと、ｅ）第１縮尺試験画像及び第１縮尺基準画像を用いて、試験画像及び基準画像間の第１位置合わせ測定値を定めるステップと、ｆ）第１位置合わせ測定値に従って試験画像を調整するステップと、ｇ）第１方向と関連する第３縮小係数を定めるステップと、ｈ）第２方向と関連する第４縮小係数を定めるステップと、ｉ）第３縮小係数及び第４縮小係数に従って基準画像を縮尺し、第２縮尺基準画像を生成するステップと、ｊ）第３縮小係数及び第４縮小係数に従って第１位置合わせ測定値で調整された試験画像を縮尺し、縮尺第１調整試験画像を生成するステップと、ｋ）第２縮尺基準画像及び縮尺第１調整試験画像を用いて、試験画像及び基準画像間の第２位置合わせ測定値を定めるステップと、ｌ）第２位置合わせ測定値に従って第１位置合わせ測定値で調整された試験画像を調整するステップと、ｍ）基準画像及び第１位置合わせ測定値で調整され、更に第２位置合わせ測定値でも調整された試験画像を用いて試験画像及び基準画像間の第３位置合わせ測定値を定めるステップと、を具えるようにしても良い。

本発明の上述及び他の目的、特徴及び効果は、以下の本発明の詳細な説明を図面とともに考慮することによって容易に理解されるであろう。

図１は、解像度を減らした基準画像及び解像度を減らした試験画像を用いて、初期位置合わせ測定値を定め、続いて、初期位置合わせ測定値をリファイン（洗練、改善）する処理を含む本発明の実施形態の一例のフローチャートであり、ここでは後続のリファイン処理において、オリジナルの基準画像と初期位置合わせ測定値に従って調整された試験画像を用いている。 図２Ａは、位置合わせ測定をリファインするために、複数のリファイン段階を含む本発明の実施形態の一例のフローチャートの一部分である。 図２Ｂは、位置合わせ測定をリファインするために、複数のリファイン段階を含む本発明の実施形態の一例のフローチャートの一部分である。 図３は、解像度を減らした基準画像及び解像度を減らした試験画像を用いて、一方向に関して初期位置合わせ測定値を定め、続いて、初期位置合わせ測定値をリファインする処理を含む本発明の実施形態の一例のフローチャートであり、ここでは、後続のリファイン処理において、オリジナルの基準画像と初期位置合わせ測定値に従って調整された試験画像を用いている。

本発明の実施形態は、図面を参照することによって、より良く理解できるであろう。このとき対応するものには、全図を通して、同じ符号を付している。上述の図面は、詳細な説明の一部分をなしている。

本願中で説明し、図で描かれた本発明は、広く多様な異なる構成に変更し、設計することができる。従って、以下で説明する本発明の方法及びシステムの実施形態は、本発明を要旨を限定しようとするものではなく、単に本発明の代表的な実施形態に過ぎない。

本発明の実施形態は、試験及び測定装置内で実装しても良い。例えば、本発明の実施形態は、画像品質分析器のようなビデオ試験装置において実現しても良い。テクトロニクス社製ＰＱＡ５００型ピクチャ・クオリティ・アナライザのような画像品質分析器において、本発明の実施形態を実装しても良い。

本発明の実施形態の要素は、ハードウェア、ファームウェア又はソフトウェアのいずれで実現しても良い。本願で開示する実施形態の例は、多数ある形態の一部に過ぎず、当業者であれば、本発明の要旨を踏襲しつつ、これら要素を別の形態で実現可能であることが理解されるであろう。

本発明の実施形態は、ビデオ機器から生じる信号を処理するのに用いることができる。これらビデオ信号は、ＤＶＤプレーヤ、セット・トップ・ボックスのような再生機器又はコンテンツをエンド・ユーザに送信する前における放送業者が使用する生成装置その他のコンテンツ配信装置で生成されるものでも良い。

本発明の実施形態には、取り込んだビデオ試験シーケンス画像をビデオ基準シーケンス画像に空間的に位置合わせするというシナリオの例に沿って説明されるものがある。空間的位置合わせの測定は、本願の発明者であるケビン・エム・ファーガソンによって開発され、２００７年１２月２１日出願の米国特許出願第１１／９４４０５０号「ビデオの空間的スケール、オフセット及びクロッピング測定の測定装置及び方法」（以下０５０号米国出願と呼ぶ）に記載された方法及びシステムで実施しても良い。その出願内容は、本願で全体が参照されている。０５０号米国出願は、２００６年１１月２２日に出願された米国仮出願番号６０／８６７０８７に関する利益を主張するもので、その出願内容も本願で全体が参照されている。

０５０号米国出願に記載された発明の実施形態によっては、線形及び非線形歪みに影響される取り込んだ試験画像から、基準画像に対する空間的歪みパラメータ（例えば、水平スケール、垂直スケール、オフセット、クロッピングなど）を測定するために、連続する局部的試験及び基準相互相関の画像の線形ハフ変換（linear Hough transform）を用いても良い。典型的な線形及び非線形歪みには、デジタル圧縮及びアナログ伝送による悪い副作用（artifacts）などの歪みが含まれる。

本発明の実施形態は、ここでは空間的な位置決め（registration）及び位置合わせ測定に関連して記載されるが、時間的な位置決めその他のアプリケーションに応用してもよく、マッチング、マッピング、相関、同一性確認（identification）、サーチその他の同様の検出方法が、シフト（例えば、遅延、予測、変換（translation）その他のシフト・パラメータ）及びスケール（例えば、サンプル比、利得、乗数、その他のスケール・パラメータ）のパラメータについて必要となる。加えて、本発明の実施形態は、基準及び試験の信号又はデータ間で生じる回転、変形（transforms）その他の操作において用いても良い。

本発明の実施形態は、ビデオ試験シーケンス画像をビデオ基準シーケンス画像に位置合わせに関連して説明されるが、本発明の実施形態は、ビデオ・シーケンスと関係のない複数画像の位置合わせに応用しても良い。

図１及び図２を関連して、本発明の実施形態を説明する。これらの実施形態では、ビデオ試験シーケンス画像（１つの試験フレームと考えても良い）が、ビデオ基準シーケンス画像（１つの基準フレームと考えても良い）に空間的に位置合わせされる。最初に、画像の比較的大きな特徴を用いて、位置合わせ測定を行っても良い。この初期測定の結果は、後続する位置合わせ測定において、より高解像度の画像に関して用いられる調査（Search：サーチ）範囲を狭めるに用いられる。調査範囲を狭めることによって、もし超精密画像を用いた位置合わせ測定に失敗しても、その測定結果は先の低い精度での画像測定で示された精度はあることを保証できる。

図１に関連して説明される本発明の実施形態では、符号を参照して説明すると、位置合わせ測定調査範囲２に関連する縮小係数６の計算ステップ５がある。実施形態によっては、縮小係数６は、第１方向（例えば、水平方向）に関する第１方向縮小係数と、第２方向（例えば、垂直方向）に関する第２方向縮小係数を有しても良い。別の実施形態では、縮小係数６は、２方向（例えば、水平及び垂直方向）で同じとしても良い。本発明の実施形態では、第１方向の縮小係数は、次の床関数（floor function）を用いた数３に従って定めても良い。

ここで「第１方向縮小係数」は、第１方向における縮小係数を示し、「第１方向調査範囲」は、第１方向における調査範囲を示す。第２方向の縮小係数は、次の数４に従って定めても良い。

ここで「第２方向縮小係数」は、第２方向における縮小係数を示し、「第２方向調査範囲」は、第２方向における調査範囲を示す。

第１方向が水平画像方向に関連し、第２方向が垂直画像方向に関連する本発明の実施形態であれば、水平縮小係数（Ｒｈで示す）と垂直縮小係数（Ｒｖで示す）は、次の数５に従って定められる。ここで、ＳＲＨ及びＳＨＶは、水平及び垂直調査範囲をそれぞれ示す。

本発明の実施形態のいくつかにおいては、縮小係数を決定する際に、縮小係数に関するトータル処理時間を最適化する処理が含まれていても良い。別の実施形態（図示せず）では、縮小係数を予め定めた値に設定しても良い。更に別の実施形態（図示せず）では、縮小係数が他の画像パラメータ又は特性に従って計算されても良い。

図１に示した本発明の実施形態では、一例として、アクティブ基準フレーム１０は、ステップ５で定めた水平縮小係数６及び垂直縮小係数６にそれぞれ従い、水平方向に関してはステップ１２で縮小され、垂直方向に関してはステップ１４で縮小されるとしても良い。アクティブ試験フレームは、定められた水平縮小係数及び垂直縮小係数にそれぞれ従い、水平方向及び垂直方向に関して縮小される。図１に示す本発明の実施形態では、アクティブ試験フレーム２０を、水平縮小係数６及び大雑把な水平スケールによって、２２において、水平方向について縮小させても良い。このとき、大雑把な水平スケールは、０５０米国出願又は周知の他の位置合わせ方法に従って得られた大雑把な位置合わせに従って定められたものである。アクティブ試験フレーム２０は、垂直縮小係数６及び大雑把な垂直スケールによって、２４において、垂直方向に縮小させても良い。このとき、大雑把な垂直スケールは、大雑把な位置合わせに従って定められたものである。縮小試験画像は、大雑把な位置合わせに関連する大雑把なオフセットに従ってシフトさせても良い。別の実施形態（図示せず）では、試験画像は大雑把な位置合わせに従って結果的に形成された画像であり、その試験画像を水平及び垂直縮小係数に従って縮小させても良い。

画像縮小は、ダウン・サンプリングと考えても良く、実施形態としては、０５０米国出願の方法に従って行っても良い。別の実施形態としては、画像縮小のために、他のダウン・サンプリング方法を用いても良い。

１６において、縮小基準画像１５及び縮小試験画像２５を用いて、リファイン（refined：洗練改善された）位置合わせ測定が行われる。本発明の実施形態では、リファイン位置合わせ測定を０５０米国出願に従って１６で行っても良い。本発明の別の実施形態では、リファイン位置合わせ測定が、他の位置合わせ方法に従って１６で行われても良い。調査範囲は、リファイン位置合わせと関連していても良い。本発明の実施形態によっては、画像の１次元方向への調査範囲は、その関連する次元における画像サイズの３０パーセントとしても良い。試験及び基準画像のサイズ縮小によって、大きなサイズの画像の同じパーセント値の調査範囲で行われる測定に比較して、リファイン位置合わせ測定を実行するときの演算速度が向上すると考えられる。

複数の低解像度画像の位置合わせ測定で得られる結果１７には、水平スケール測定値（RHscaleと示す）、垂直スケール測定値（RVscaleと示す）、水平オフセット測定値（RHoffsetと示す）及び垂直オフセット測定値（RVoffsetと示す）が含まれている。この複数低解像度画像の測定は、複数の高解像度画像に関する縮小係数に基づく低精度の高解像度画像の測定に対応するものと考えられる。特に、この位置合わせは、水平方向に±Rh数ピクセル、垂直方向に±Rv数ピクセルの精度内で正しいと考えられる。

続いて、アクティブ試験フレーム２０は、位置合わせ測定結果１７に従って、２６及び２８で縮小される。１８では、リファイン位置合わせ測定が、位置合わせ調整された試験画像２９及びアクティブ基準フレーム１０を用いて行われる。先の縮小係数に対応する狭めた調査範囲を、１８でのリファイン位置合わせ測定に用いても良い。このように１８での位置合わせは、大きな画像に対して行われるが、調査範囲は減少するので、演算速度が向上する。得られる位置合わせ測定の結果１９は、ピクセル・レベルの精度で正確である。

本発明の他の実施形態は、図２を参照して理解されるであろう。これら実施形態では、連続的に高解像度画像及び小さい調査範囲を用いることで、連続する複数のリファイン位置合わせ測定が得られる。図２に示した代表的な本発明の実施形態では、画像サイズに対して、連続する２つの縮小処理が行われる。当業者であれば、入れ子状に階層を追加することで、この方法を拡張できることが理解できるであろう。図２に示した代表的な本発明の実施形態は、本発明の方法及びシステムの概念を描いたもので、本発明がこれに限定されると解釈すべきではない。

図２に関して記載された本発明の実施形態では、位置合わせ測定の調査範囲３２に関連し、初期縮小係数３６の計算３５を設けても良い。実施形態では、初期縮小係数３６には、第１方向（例えば、水平方向）に関する初期第１方向縮小係数及び第２方向（例えば、垂直方向）に関する初期第２方向縮小係数が含まれていても良い。別の実施形態では、初期縮小係数３６は、２つの方向（例えば、水平及び垂直方向）のそれぞれで同じとしても良い。本発明の実施形態では、第１方向に関する初期縮小係数は、次の数６で定めても良い。

ここで「初期第１方向縮小係数」は、第１方向における初期縮小係数を示し、「第１方向調査範囲」は、第１方向における調査範囲を示す。第２方向の初期縮小係数は、次の数７に従って定めても良い。

ここで「初期第２方向縮小係数」は、第２方向における初期縮小係数を示し、「第２方向調査範囲」は、第２方向における調査範囲を示す。

第１方向が水平画像方向に関連し、第２方向が垂直画像方向に関連する本発明の実施形態であれば、初期水平縮小係数（Ｒｈ０で示す）と初期垂直縮小係数（Ｒｖ０で示す）は、次の数８に従って定められる。ここで、ＳＲＨ及びＳＨＶは、水平及び垂直調査範囲をそれぞれ示す。

本発明の実施形態の１つとしては、初期縮小係数を決定するのに、初期縮小係数に関するトータル処理時間を最適化する処理を含めても良い。本発明の他の実施形態（図示せず）では、初期縮小係数を予め定められた値に設定しても良い。更に別の実施形態（図示せず）では、初期縮小係数が他の画像パラメータ又は特性に従って計算されても良い。

図２に示した本発明の実施形態の中には、アクティブ基準フレーム４０は、ステップ３５で定めた初期水平縮小係数３６及び初期垂直縮小係数３６にそれぞれ従い、水平方向に関してはステップ４２で縮小され、垂直方向に関してはステップ４４で縮小されるものもある。アクティブ試験フレームは、定められた初期水平縮小係数及び初期垂直縮小係数にそれぞれ従い、水平方向及び垂直方向に関して縮小される。図２に示す本発明の実施形態では、アクティブ試験フレーム５０を、初期水平縮小係数３６及び大雑把な水平スケールによって、５２において、水平方向について縮小させても良い。このとき、大雑把な水平スケールは、０５０米国出願又は周知の他の位置合わせ方法に従って得られた大雑把な位置合わせに従って定められたものである。アクティブ試験フレーム５０は、初期垂直縮小係数３６及び大雑把な垂直スケールによって、５４において、垂直方向に縮小させても良い。このとき、大雑把な垂直スケールは、大雑把な位置合わせに従って定められたものである。縮小試験画像は、大雑把な位置合わせに関連する大雑把なオフセットに従ってシフトさせても良い。別の実施形態（図示せず）では、試験画像は大雑把な位置合わせに従って結果的に形成された画像であり、その試験画像を初期水平及び垂直縮小係数に従って縮小させても良い。

画像縮小は、ダウン・サンプリングと考えても良く、実施形態としては、０５０米国出願の方法に従って行っても良い。別の実施形態としては、画像縮小のために、他のダウン・サンプリング方法を用いても良い。

ブロック４６では、縮小基準画像４５及び縮小試験画像５５を用いて、リファイン（refined：洗練改善された）位置合わせ測定が行われる。本発明の実施形態では、リファイン位置合わせ測定を０５０米国出願に従って４６で行っても良い。本発明の別の実施形態では、リファイン位置合わせ測定が、他の位置合わせ方法に従って４６で行われても良い。調査範囲は、リファイン位置合わせと関連していても良い。本発明の実施形態によっては、画像の１次元方向への調査範囲は、その関連する次元における画像サイズの３０パーセントとしても良い。試験及び基準画像のサイズ縮小によって、大きなサイズの画像の同じパーセント値の調査範囲で行われる測定に比較して、リファイン位置合わせ測定を実行するときの演算速度が向上すると考えられる。

複数の低解像度画像の位置合わせ測定で得られる結果４７には、第１結果水平スケール測定値（RH0scaleと示す）、第１結果垂直スケール測定値（RV0scaleと示す）、第１結果水平オフセット測定値（RH0offsetと示す）及び第１結果垂直オフセット測定値（RV0offsetと示す）が含まれている。この低解像度画像位置合わせ測定は、複数の高解像度画像に関する縮小係数に基づく低精度の高解像度画像測定に対応するものと考えられる。特に、この位置合わせは、水平方向に±Rh0数ピクセル、垂直方向に±Rv0数ピクセルの精度内で正しいと考えられる。

アクティブ試験フレーム５０は、５６と５８で位置合わせ測定４６の結果４７に従って調整される。アクティブ基準フレーム４０及び調整済試験フレーム５９は、第２水平縮小係数 Rh1及び第２垂直縮小係数Rv1にそれぞれ従って、６２と７２で水平方向に縮小され、６４と７４で垂直方向に縮小される。第２水平縮小係数及び第２垂直縮小係数は、定められた初期水平縮小係数及び定められた初期垂直縮小係数にそれぞれに関連していても良い。本発明の実施形態によっては、第２縮小係数は、初期縮小係数のおおよそ半分としても良い。得られた縮小基準画像６５及び縮小試験画像７５は、水平方向に±Rh0数ピクセルの水平調査範囲と垂直方向に±Rv0数ピクセルの垂直調査範囲を用いて、６６でリファイン位置合わせ測定６７を得るのに用いられる。

複数の低解像度画像の得られる位置合わせ測定結果６７には、第２結果水平スケール測定（RH1scaleと示す）、第２結果垂直スケール測定（RV1scaleと示す）、第２結果水平オフセット測定（RH1offsetと示す）、第２結果垂直オフセット測定（RV1offsetと示す）が含まれても良い。この複数低解像度画像位置合わせ測定は、複数の高解像度画像に関する縮小係数に基づく低精度の高解像度画像の測定に対応するものと考えられる。特に、この位置合わせは、水平方向に±Rh1数ピクセル、垂直方向に±Rv1数ピクセルの精度内で正しいと考えられる。

先に補正された試験画像５９は、位置合わせ測定結果７７に従って、７６と７８で縮小される。６８では、リファイン位置合わせ測定が、位置合わせ調整された試験画像７９及びアクティブ基準フレーム４０を用いて行われる。先の縮小係数に対応する狭めた調査範囲を、６８でのリファイン位置合わせ測定に用いても良い。このように６８での位置合わせは、大きな画像に対して行われるが、調査範囲は減少するので、演算速度が向上する。得られる位置合わせ測定の結果６９は、ピクセル・レベルの精度で正確である。

本発明の別の実施形態では、垂直位置合わせ及び水平位置合わせについて、別々の位置合わせ処理を含めても良い。このタイプの実施形態の例では、垂直位置合わせ処理は第１パスで省略され、水平位置合わせだけが完了までに行われる。そして、第２パスでは、水平位置合わせ処理は行われず、垂直位置合わせだけが完了までに行われる。こうした更なる実施形態を、図３を参照して説明する。

図３に関して記載される本発明の実施形態では、第１方向（Dで示す）に関する位置合わせ測定調査範囲８２（SRで示す）に関連して、縮小係数８６（Rdで示す）を計算する処理８５を含めても良い。実施形態によっては、縮小係数８６は、水平方向又は垂直方向と関係していても良い。本発明の実施形態の一例としては、第１方向における縮小係数は、次の数９で従って定めても良い。

本発明の実施形態の一例では、第１方向の縮小係数を決定において、第１方向の縮小係数に関するトータル処理時間を最適化する処理を含めても良い。本発明の他の実施形態（図示せず）では、第１方向の縮小係数を予め定められた値に設定しても良い。更に別の実施形態（図示せず）では、第１方向の縮小係数が他の画像パラメータ又は特性に従って計算されても良い。

図３に示す本発明の実施形態の一例としては、９２において、アクティブ基準フレーム９０が、８５で決定した方向縮小係数８６に従って、第１方向Dについて縮小しても良い。アクティブ試験フレームは、上述の決定した方向縮小係数に従って、第１方向Dに関して縮小しても良い。図３に示す本発明の実施形態の例としては、アクティブ試験フレーム１００が、１０２において、０５０米国出願又は他の周知の位置合わせ方法に従って得られた大雑把な位置合わせに従って定められた方向縮小係数８６及び大雑把な方向に基づくスケール（Dスケール）によって、第１方向Dに関して縮小される。縮小試験画像は、大雑把な位置合わせに関連する大雑把なオフセットに従ってシフトされても良い。別の実施形態（図示せず）としては、試験画像が大雑把な位置合わせに従って形成された結果の画像として良く、また、その試験画像が方向縮小係数に従って縮小されても良い。

画像縮小は、ダウン・サンプリングと考えても良く、実施形態としては、０５０米国出願の方法に従って行っても良い。別の実施形態としては、画像縮小のために、他のダウン・サンプリング方法を用いても良い。

リファイン位置合わせ測定は、９６において、縮小基準画像９５及び縮小試験画像１０５を用いて行っても良い。本発明の実施形態では、リファイン位置合わせ測定を０５０米国出願に従って９６において行っても良い。本発明の別の実施形態では、リファイン位置合わせ測定が、他の位置合わせ方法に従って９６において行われても良い。調査範囲は、リファイン位置合わせと関連していても良い。本発明の実施形態によっては、画像の１次元方向への調査範囲は、その関連する次元における画像サイズの３０パーセントとしても良い。試験及び基準画像のサイズ縮小によって、大きなサイズの画像の同じパーセント値の調査範囲で行われる測定に比較して、リファイン位置合わせ測定を実行するときの演算速度が向上すると考えられる。

複数の低解像度画像の位置合わせ測定で得られる結果９７には、第１方向スケール測定（RDscaleと示す）、第１方向オフセット測定（RDoffsetと示す）が含まれても良い。この複数低解像度画像の測定は、複数の高解像度画像に関する縮小係数に基づく低精度の高解像度画像の測定に対応するものと考えられる。特に、この位置合わせは、第１方向に±Rd数ピクセルの精度内で正しいと考えられる。

アクティブ試験画像１００は、１０６において、位置合わせ測定結果９７に従って、第１方向に関して縮小しても良い。リファイン位置合わせ測定は、９８において、位置合わせ調整済み試験画像１０９及びアクティブ基準フレーム９０を用いて行っても良い。先の縮小係数に対応して狭めた調査範囲を、９８におけるリファイン位置合わせ測定において用いても良い。このように、９８での位置合わせは、より大きな画像に対して行ってもよいが、調査範囲は縮小されているので、演算速度は向上する。位置合わせ測定で得られる結果９９は、ピクセル・レベルの精度で正確となる。

本発明の実施形態の一例としては、図３に関連して記載した実施形態に従った位置合わせ処理は、第１方向に関して行われて完了する。図３に関連して記載した実施形態に従った位置合わせ処理は、その後、第２方向に関して行われて完了する。実施形態の一例としては、第２パスのアクティブ試験フレームは、第１からのアクティブ試験フレームと同じとしても良い。別の実施形態では、第２パスのアクティブ試験フレームは、第１方向に関して行って完了した位置合わせ測定に従って、第１からのアクティブ試験フレームを調整したものとしても良い。

別々の方向パスを有する本発明の別の実施形態では、図２に示すものに沿いつつ、これを１方向のみの処理に修正し、入れ子状になった複数のリファイン段階で構成しても良い。

本発明の別の実施形態としては、アダプティブ（adaptive：臨機応変に適応する）で連続的なリファイン処理を含めても良い。こうした実施形態では、速度、精度及び堅牢性が、より多くの処理が必要か判断するための各リファイン位置合わせ測定における推定相関係数を用いて、臨機応変にバランスされる。実施形態の一例としては、縮小画像レベルに関連する最大相関が調べられ、もし最大相関値が十分に大きくなければ、調査範囲を減らすことなく次のレベルが測定される。これは、最大相関値がある閾値を超えるか又は解像度がオリジナルの画像解像度に達するまで繰り返し行われる。

上述の明細書で用いた用語と表現は、説明する都合で用いたもので、これらに限定されるものではなく、ここに示し、説明した特徴と等化なものやその一部についての用語や表現を使うことを排除するものではない。本発明の要旨は、特許請求の範囲の記載によって定め、限定されると理解すべきである。

２ 位置合わせ測定調査範囲
６ 縮小係数
１０ アクティブ基準フレーム
１５ 縮小基準画像
１７ 位置合わせ測定結果
１９ 位置合わせ測定結果
２０ アクティブ試験フレーム
２５ 縮小試験画像
３２ 位置合わせ測定調査範囲
３６ 初期縮小係数
４０ アクティブ基準フレーム
４５ 縮小基準画像
４７ 位置合わせ測定結果
５０ アクティブ試験フレーム
５５ 縮小試験画像
５９ 補正試験画像
６５ 縮小基準画像
６７ 位置合わせ測定結果
６９ 位置合わせ測定結果
７５ 縮小試験画像
７７ 位置合わせ測定結果
８２ Ｄ方向位置合わせ測定調査範囲
８６ 縮小係数
９０ アクティブ基準フレーム
９５ 縮小基準画像
９７ 位置合わせ測定結果
９９ 位置合わせ測定結果
１００ アクティブ試験フレーム
１０５ 縮小試験画像
１０９ 位置合わせ調整済み試験画像

Claims (3)

1. ａ）第１方向と関連し、上記第１方向における第１調査範囲に基づく第１縮小係数を定めるステップと、
   ｂ）第２方向と関連し、上記第２方向における第２調査範囲に基づく第２縮小係数を定めるステップと、
   ｃ）上記第１縮小係数及び上記第２縮小係数に従って基準画像を縮尺するステップと、
   ｄ）上記第１縮小係数及び上記第２縮小係数に従って試験画像を縮尺するステップと、
   ｅ）上記縮尺試験画像及び上記縮尺基準画像を用いて、上記試験画像及び上記基準画像間の第１位置合わせ測定値を定めるステップと、
   ｆ）第１位置合わせ測定値に従って上記試験画像を調整するステップと、
   ｇ）上記調整試験画像及び上記基準画像を用いて、上記試験画像及び上記基準画像間の第２位置合わせ測定値を定めるステップと
   を具え、
   上記第１縮小係数が次の数式１に従って計算され、
   

   

   このとき、上記数式１中の「第１調査範囲」は、上記第１調査範囲を意味すると共に、
   上記第２縮小係数が次の数式２に従って計算され、
   

   

   このとき、上記数式２中の「第２調査範囲」は、上記第２調査範囲を意味することを特徴とする試験画像及び基準画像の位置合わせ方法。
2. ａ）第１方向と関連し、上記第１方向における第１調査範囲に基づく第１縮小係数を定めるステップと、
   ｂ）上記第１縮小係数に従って、上記第１方向について基準画像を縮尺するステップと、
   ｃ）上記第１縮小係数に従って、上記第１方向について試験画像を縮尺するステップと、
   ｄ）上記第１方向縮尺試験画像及び上記第１方向縮尺基準画像を用いて、上記試験画像及び上記基準画像間の上記第１方向に関する第１方向第１位置合わせ測定値を定めるステップと、
   ｅ）上記第１方向第１位置合わせ測定値に従って、上記試験画像を調整するステップと、
   ｆ）上記第１方向第１位置合わせ測定値及び上記基準画像に従って調整された上記試験画像を用いて、上記試験画像及び上記基準画像間の上記第１方向に関する第１方向第２位置合わせ測定値を定めるステップと
   を具え、更に
   ｇ）第２方向と関連し、上記第２方向における第２調査範囲に基づく第２縮小係数を定めるステップと、
   ｈ）上記第２縮小係数に従って、上記第２方向について上記基準画像を縮尺するステップと、
   ｉ）上記第２縮小係数に従って、上記第２方向について上記試験画像を縮尺するステップと、
   ｊ）上記第２方向縮尺試験画像及び上記第２方向縮尺基準画像を用いて、上記試験画像及び上記基準画像間の上記第２方向に関する第２方向第１位置合わせ測定値を定めるステップと、
   ｋ）上記第２方向第１位置合わせ測定値に従って、上記試験画像を調整するステップと、
   ｌ）上記第２方向第１位置合わせ測定値及び上記基準画像に従って調整された上記試験画像を用いて、上記試験画像及び上記基準画像間の上記第２方向に関する第２方向第２位置合わせ測定値を定めるステップと
   を具え、
   上記第１縮小係数が次の数式３に従って計算され、
   

   

   このとき、上記数式３中の「第１調査範囲」は、上記第１調査範囲を意味すると共に、
   上記第２縮小係数が次の数式４に従って計算され、
   

   

   このとき、上記数式４中の「第２調査範囲」は、上記第２調査範囲を意味することを特徴とする試験画像及び基準画像の位置合わせ方法。
3. ａ）第１方向と関連し、上記第１方向における第１調査範囲に基づく第１縮小係数を定めるステップと、
   ｂ）第２方向と関連し、上記第２方向における第２調査範囲に基づく第２縮小係数を定めるステップと、
   ｃ）上記第１縮小係数及び上記第２縮小係数に従って基準画像を縮尺し、第１縮尺基準画像を生成するステップと、
   ｄ）上記第１縮小係数及び上記第２縮小係数に従って試験画像を縮尺し、第１縮尺試験画像を生成するステップと、
   ｅ）上記第１縮尺試験画像及び上記第１縮尺基準画像を用いて、上記試験画像及び上記基準画像間の第１位置合わせ測定値を定めるステップと、
   ｆ）第１位置合わせ測定値に従って上記試験画像を調整するステップと、
   ｇ）第１方向と関連する第３縮小係数を定めるステップと、
   ｈ）第２方向と関連する第４縮小係数を定めるステップと、
   ｉ）上記第３縮小係数及び上記第４縮小係数に従って上記基準画像を縮尺し、第２縮尺基準画像を生成するステップと、
   ｊ）上記第３縮小係数及び上記第４縮小係数に従って上記第１位置合わせ測定値で調整された上記試験画像を縮尺し、縮尺第１調整試験画像を生成するステップと、
   ｋ）上記第２縮尺基準画像及び上記縮尺第１調整試験画像を用いて、上記試験画像及び上記基準画像間の第２位置合わせ測定値を定めるステップと、
   ｌ）上記第２位置合わせ測定値に従って上記第１位置合わせ測定値で調整された上記試験画像を調整するステップと、
   ｍ）上記基準画像及び上記第１位置合わせ測定値で調整され、上記第２位置合わせ測定値で調整された上記試験画像を用いて上記試験画像及び上記基準画像間の第３位置合わせ測定値を定めるステップと
   を具え、
   上記第１縮小係数が次の数式５に従って計算され、
   

   

   このとき、上記数式５中の「第１調査範囲」は、上記第１調査範囲を意味すると共に、
   上記第２縮小係数が次の数式６に従って計算され、
   

   

   このとき、上記数式６中の「第２調査範囲」は、上記第２調査範囲を意味することを特徴とする試験画像及び基準画像の位置合わせ方法。

Images