JP5907755B2 - 画像位置合わせ装置及び画像位置合わせ方法 - Google Patents

Description

この発明は、２つの画像の位置合わせを行う画像位置合わせ装置及び画像位置合わせ方法に関するものである。

２つの画像の位置合わせを行う画像位置合わせ装置では、一般的に、２つの画像の濃淡画像を用いて、ブロックマッチング処理を実施することで、２つの画像間の位置ずれ量を算出し、その位置ずれ量を用いて、レジストレーション（画像の位置合わせ）を行う方法を採用している。
近年では、画像のエッジ情報を用いて、マッチング処理を実施することで、２つの画像間の位置ずれ量を算出する方法も提案されている。

以下の特許文献１には、ラプラシアンフィルタを用いて画像のエッジを抽出し、画像のエッジを用いて、テンプレートマッチングを実施して、レジストレーションする方法が記載されている。
また、以下の特許文献２には、画像を小領域に分割して、小領域の分散やエッジ量を求め、その分散やエッジ量を用いて、マッチング処理を実施して、レジストレーションする方法が記載されている。

特開平０８−１６１４７４号公報（段落番号［００４３］から［００５２］、図 ） 特開２００９−２９５０６２号公報（段落番号［００３８］）

従来の画像位置合わせ装置は以上のように構成されているので、濃淡画像を用いて、ブロックマッチング処理を実施する場合、多くのエッジが存在しているブロックでは、良好なマッチング結果が得られるが、エッジが少ないブロックでは、良好なマッチング結果が得られない。このため、エッジが少ないブロックでは、レジストレーションの精度が劣化してしまう課題があった。

この発明は上記のような課題を解決するためになされたもので、エッジの有無にかかわらず、高精度なレジストレーション結果を得ることができる画像位置合わせ装置及び画像位置合わせ方法を得ることを目的とする。

この発明に係る画像位置合わせ装置は、第１の画像及び第２の画像から種類が異なる複数の特徴量を抽出する特徴量抽出手段と、第１の画像及び第２の画像を複数のブロックに分割するブロック分割手段と、特徴量抽出手段により抽出された各々の特徴量を用いて、ブロック分割手段により分割された第１の画像のブロックと第２の画像のブロックの中で、対応関係があるブロック間の位置ずれ量を算出する位置ずれ量算出手段と、位置ずれ量算出手段により算出されたブロック毎の位置ずれ量のうち、算出元である特徴量の種類が同じであるブロック単位の位置ずれ量から画像単位の位置ずれ量をそれぞれ算出し、複数の画像単位の位置ずれ量の中の１つの位置ずれ量を用いて、第１の画像と第２の画像の位置合わせを行う位置合わせ手段と備えたものである。

この発明によれば、第１の画像及び第２の画像から種類が異なる複数の特徴量を抽出する特徴量抽出手段と、特徴量抽出手段により抽出された各々の特徴量を用いて、第１の画像と第２の画像間の位置ずれ量を算出する位置ずれ量算出手段とを設け、位置合わせ手段が、位置ずれ量算出手段により算出された位置ずれ量を用いて、第１の画像と第２の画像の位置合わせを行うように構成したので、エッジの有無にかかわらず、高精度なレジストレーション結果を得ることができる効果がある。

この発明の実施の形態１による画像位置合わせ装置を示す構成図である。 この発明の実施の形態１による画像位置合わせ装置の処理内容（画像位置合わせ方法）を示すフローチャートである。 レベル補正の処理例を示す説明図である。 平坦化の処理例を示す説明図である。 コントラスト補正の処理例を示す説明図である。 ３×３のＳｏｂｅｌフィルタのフィルタ係数例を示す説明図である。 この発明の実施の形態２による画像位置合わせ装置を示す構成図である。

実施の形態１．
図１はこの発明の実施の形態１による画像位置合わせ装置を示す構成図である。
図１において、画像調整処理部１は画像Ａ（第１の画像）を示す画像データと、画像Ｂ（第２の画像）を示す画像データを入力すると、後段の特徴量抽出部２における特徴量抽出処理の容易化を図るための前処理として、画像Ａ及び画像Ｂに対する画像調整処理（例えば、ヒストグラム補正処理、画像の周波数調整処理など）を実施する。なお、画像調整処理部１は画像調整処理手段を構成している。

特徴量抽出部２は画像調整処理部１による調整処理後の画像Ａ及び画像Ｂから種類が異なる複数の特徴量（例えば、エッジ、特徴点（例えば、コーナー点、強度の極大点・極小点、曲線の終点、曲率の極大点、孤立点）など）を抽出する処理を実施する。なお、特徴量抽出部２は特徴量抽出手段を構成している。
ブロック分割部３は画像Ａ及び画像Ｂを複数のブロックに分割する処理を実施する。なお、ブロック分割部３はブロック分割手段を構成している。

位置ずれ量算出部４は特徴量抽出部２により抽出された各々の特徴量を用いて、ブロック分割部３により分割された画像Ａのブロックと画像Ｂのブロックの中で、対応関係があるブロック間の位置ずれ量を算出する処理を実施する。
即ち、位置ずれ量算出部４は画像Ａのブロックに対応する画像Ｂのブロックを画素単位に移動しながら、対応関係があるブロック間の相関値を算出し、その相関値が最高になるブロックの移動位置から、対応関係があるブロック間の位置ずれ量を算出する。
なお、位置ずれ量算出部４は位置ずれ量算出手段を構成している。

レジストレーション演算部５は位置ずれ量算出部４により各々の特徴量を用いて算出されたブロック間の位置ずれ量を用いて、画像Ａと画像Ｂのレジストレーションを実施する。
即ち、レジストレーション演算部５は位置ずれ量算出部４により算出されたブロック毎の位置ずれ量のうち、算出元である特徴量の種類が同じであるブロック単位の位置ずれ量から画像単位の位置ずれ量をそれぞれ算出し、複数の画像単位の位置ずれ量の中の１つの位置ずれ量を用いて、画像Ａと画像Ｂのレジストレーションを実施する。
なお、レジストレーション演算部５は位置合わせ手段を構成している。

図１の例では、画像位置合わせ装置の構成要素である画像調整処理部１、特徴量抽出部２、ブロック分割部３、位置ずれ量算出部４及びレジストレーション演算部５のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像位置合わせ装置がコンピュータで構成されていてもよい。
画像位置合わせ装置がコンピュータで構成されている場合、画像調整処理部１、特徴量抽出部２、ブロック分割部３、位置ずれ量算出部４及びレジストレーション演算部５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による画像位置合わせ装置の処理内容（画像位置合わせ方法）を示すフローチャートである。

次に動作について説明する。
画像調整処理部１は、画像Ａを示す画像データと、画像Ｂを示す画像データとを入力すると、特徴量抽出部２における特徴量抽出処理の容易化を図るための前処理として、画像Ａ及び画像Ｂに対する画像調整処理を実施する（ステップＳＴ１）。
即ち、画像調整処理部１は、画像Ａ及び画像Ｂを構成している各画素の信号レベルのヒストグラムをとり、例えば、画像のレベル補正、平坦化、コントラスト補正や周波数調整などを行う。

ここで、画像のレベル補正は、画像の信号レベルを調整する処理であり、図３はレベル補正の処理例を示す説明図である。
画像のレベル補正は、例えば、画像Ａ（画像Ｂ）を構成している各画素の信号レベルｉの中で、最大の信号レベルがｉ_maxであるとき、最大の信号レベルｉ_maxが、入力画像を構成する画素の信号が取り得る最大値Ｓ_maxに満たない場合（ｉ_max＜Ｓ_max）、画像Ａ（画像Ｂ）を構成している全ての画素の信号レベルｉをＳ_max／ｉ_max倍して、画像Ａ（画像Ｂ）における信号最大値ｉ_maxが、信号が取り得る最大値Ｓ_maxと一致するように調整するものである。
なお、入力画像が８ｂｉｔ画像の場合、入力画像を構成する画素の信号が取り得る最大値Ｓ_maxは２５５である。

画像の平坦化は、振幅のあるヒストグラムを平坦にする処理であり、図４は平坦化の処理例を示す説明図である。
画像の平坦化を行う場合、一般的には、下記の式（１）が適用される。

式（１）において、ｉは画像Ａ（画像Ｂ）を構成している各画素の信号レベルであり、ｈｉｓｔ（ｉ）は信号レベルｉのヒストグラムを求める関数、Ｈは画像Ａ（画像Ｂ）の縦サイズ、Ｗは画像Ａ（画像Ｂ）の横サイズである。

しかし、単純なヒストグラムの平坦化では、画像のレベル分布に偏りがある場合、コントラストが強い画像に変換されてしまうことがある。
そこで、このような現象を避けるために、重み付けを施したヒストグラムの平坦化を行うようにしてもよい。
下記の式（２）は重み付けを施したヒストグラムの平坦化の式を示している。

式（２）において、ＬＵＴ(ｉ）はヒストグラムのレベルに応じた重み付け係数であり、総和が１となるように設定されている。

画像のコントラスト補正は、ルックアップテーブル（ＬＵＴ）を用いて、画像の信号レベルを補正する処理であり、図５はコントラスト補正の処理例を示す説明図である。
画像のコントラスト補正では、単純にコントラストを強めたり、コントラストを弱めたりすることもできるが、次のような処理を行うようにしてもよい。
例えば、画像Ａ（画像Ｂ）のヒストグラムのピーク値を求め、そのピーク値が所定の値（例えば、入力画像を構成する画素の信号が取り得る最大値の半分の値）より小さい場合と、そのピーク値が所定の値より大きい場合とで、異なるレベル伸張を行うようにしてもよい。

画像の周波数調整は、目的に応じて周波数をカットする処理である。
画像の周波数調整は、画像Ａと画像Ｂの解像度が異なる場合、両方の解像度を合わせるために解像度の高い方の画像に対して、低周波カット処理を行うものである。
周波数調整の処理としては、ｎ×ｎのローパスフィルタ処理を行うようにしてもよいし、フーリエ変換（ＦＦＴ）による低周波カット処理を行うようにしてもよい。

特徴量抽出部２は、画像調整処理部１が画像Ａ及び画像Ｂに対する画像調整処理を実施すると、調整処理後の画像Ａ及び画像Ｂから種類が異なる複数の特徴量を抽出する（ステップＳＴ２）。
特徴量の抽出処理としては、例えば、画像のエッジを特徴量として抽出する処理や、画像の特徴点（例えば、コーナー点、強度の極大点・極小点、曲線の終点、曲率の極大点、孤立点など）を特徴量として抽出する処理などが想定される。

ここで、画像Ａ（画像Ｂ）のエッジを特徴量として抽出する処理について説明する。
一般的なエッジ抽出方法として、ｎ×ｎのＳｏｂｅｌフィルタを用いる方法がある。
ｎ×ｎのＳｏｂｅｌフィルタを用いて、エッジを抽出する際の演算式は、下記の式（３）のように表される。

式（３）において、ｆｘ（ｘ，ｙ）は注目画素（ｘ，ｙ）に対する水平方向のフィルタ演算を行う関数を示し、ｆｙ（ｘ，ｙ）は注目画素（ｘ，ｙ）に対する垂直方向のフィルタ演算を行う関数を示している。
また、ｆｘ（ｘ，ｙ）、ｆｙ（ｘ，ｙ）には、画像調整処理部１による調整処理後の信号レベルが代入される。
ｆ’（ｘ，ｙ）は注目画素（ｘ，ｙ）におけるエッジの検出結果を示し、その検出結果が８ビットで表される場合、注目画素（ｘ，ｙ）にエッジがなければ０の値、注目画素（ｘ，ｙ）にエッジがあれば２５５などの値になる。

なお、Ｓｏｂｅｌは、１次微分によるエッジの検出方法であり、その検出結果はエッジの勾配として出力される。
例えば、３×３のＳｏｂｅｌフィルタ場合、水平垂直方向のフィルタ係数は図６のように表される。

ここでは、Ｓｏｂｅｌフィルタを用いて、エッジを抽出する例を示したが、Ｓｏｂｅｌフィルタに限るものではなく、例えば、Ｃａｎｎｙフィルタを用いて、エッジを抽出するようにしてもよい。
Ｃａｎｎｙフィルタを用いる場合、注目画素の８近傍（４方向）に対する勾配が求められ、最も強い勾配を持つ方向にエッジが接続される。このため、抽出されるエッジは、細線化されてノイズが少ないものとなる。
なお、エッジの検出結果は、注目画素がエッジであるか否かを示す２値で表される。

また、Ｌａｐｌａｃｉａｎフィルタを用いて、エッジを抽出するようにしてもよい。
Ｌａｐｌａｃｉａｎフィルタを用いる場合、ｘ−ｙ両方向の二次微分の和が計算されてエッジが抽出される。
Ｌａｐｌａｃｉａｎフィルタを用いて、エッジを抽出する際の演算式は、下記の式（４）のように表される。

式（４）において、δは微分を示す演算記号である。
Ｌａｐｌａｃｉａｎフィルタは、２次微分フィルタであるため細かくエッジを抽出することができる。

なお、エッジの抽出方法は、フィルタ補正によるものに限るものではなく、例えば、画像に対するＦＦＴ処理を実施することで得られるパワー画像の低周波領域に対して、マスクをかけて逆ＦＦＴ処理を実施することでも、エッジを抽出することができる。

次に、画像Ａ（画像Ｂ）の特徴点を特徴量として抽出する処理について説明する。
特徴点の抽出処理の一般的な抽出方法として、コーナー検出方法がある。
コーナー検出方法では、いわゆるコーナー点だけでなく、強度の極大点・極小点、曲線の終点、曲率の極大点、孤立点などを特徴点として検出することができる。
一般的なコーナー検出方法として、「Ｍｏｒａｖｅｃ」と呼ばれるコーナー検出アルゴリズムがあり、その演算式は、下記の式（５）のように表される。

式（５）において、ｆ（ｘ，ｙ）は注目画素（ｘ，ｙ）の信号レベル（例えば、輝度値）に相当し、画像調整処理部１による調整処理後の信号レベルである。
ｆ（ｘ＋ｉ，ｙ＋ｊ）は注目画素（ｘ，ｙ）の周辺画素（ｘ＋ｉ，ｙ＋ｊ）の信号レベルに相当し、画像調整処理部１による調整処理後の信号レベルである。
また、Ｍｏｖａｃは注目画素（ｘ，ｙ）のコーナー点らしさを評価する値である。

ここでは、コーナー検出方法が「Ｍｏｒａｖｅｃ」と呼ばれるコーナー検出アルゴリズムである例を示したが、このコーナー検出アルゴリズムでは、Ｍｏｒａｖｅｃ作用素が８方向に限られる欠点がある。
「ＳＵＺＡＮ」と呼ばれるコーナー検出アルゴリズムは、「Ｍｏｒａｖｅｃ」の欠点が改良されているコーナー検出アルゴリズムであり、「ＳＵＺＡＮ」を用いるようにしてもよい。
ＳＵＺＡＮは、輝度値が不連続に変化する凸領域の曲率が大きい頂点を探索する手法である。
下記の式（６）は、「ＳＵＺＡＮ」と呼ばれるコーナー検出アルゴリズムの演算式を示している。

式（６）において、ｆ（ｘ，ｙ）は注目画素（ｘ，ｙ）の信号レベル（例えば、輝度値）に相当し、画像調整処理部１による調整処理後の信号レベルである。
ｆ’（ｘ’，ｙ’）は注目画素（ｘ，ｙ）の周辺画素（ｘ’，ｙ’）の信号レベルに相当する。
また、Ｍ_x,yは注目画素（ｘ，ｙ）を中心とするある近傍領域であり、ｔは予め設定された閾値である
式（６）では、ある近傍領域内の中心画素と輝度値の差が小さい画素の数を数えており、その極小点を特徴点としている。

「Ｍｏｒａｖｅｃ」や「ＳＵＺＡＮ」の他には、「Ｈａｒｒｉｓ」と呼ばれるコーナー検出アルゴリズムなどがあり、特徴点を抽出する方法であれば、いかなる方法を用いてもよい。
ここでは、特徴量抽出部２が、画像調整処理部１から出力された調整処理後の画像Ａ及び画像Ｂから種類が異なる複数の特徴量を抽出して、種類が異なる複数の特徴量を位置ずれ量算出部４に出力するものを示しているが、画像調整処理部１から出力された調整処理後の画像Ａ及び画像Ｂ自体を特徴量として位置ずれ量算出部４に出力するようにしてもよい。
即ち、画像調整処理部１から出力された調整処理後の画像Ａ及び画像Ｂは、画像の濃淡を表しているので、その濃淡自体が画像の特徴量であると捉え、調整処理後の画像Ａ及び画像Ｂから特に特徴量を抽出する処理を行わず、画像Ａ及び画像Ｂをそのまま位置ずれ量算出部４に出力するようにしてもよい。

ブロック分割部３は、特徴量抽出部２により特徴量が抽出された画像Ａ及び画像ＢをＧ×Ｈのブロックに分割する（ステップＳＴ３）。
位置ずれ量算出部４は、ブロック分割部３が画像Ａ及び画像ＢをＧ×Ｈのブロックに分割すると、特徴量抽出部２により抽出された各々の特徴量を用いて、ブロック分割部３により分割された画像Ａのブロックと画像Ｂのブロックの中で、対応関係があるブロック間の位置ずれ量を算出する（ステップＳＴ４）。
特徴量抽出部２により抽出された特徴量が、例えば、コーナー点とエッジと濃淡値の３種類であれば、コーナー点（特徴量）を用いて、対応関係があるブロック間の位置ずれ量を算出するとともに、エッジ（特徴量）を用いて、対応関係があるブロック間の位置ずれ量を算出する。
また、濃淡値（特徴量）を用いて、対応関係があるブロック間の位置ずれ量を算出する。

以下、位置ずれ量算出部４によるブロック間の位置ずれ量の算出処理を具体的に説明する。
画像Ａ及び画像ＢがＧ×Ｈのブロックに分割された場合、ブロック数はＧ×Ｈ個ずつあり、画像Ａのブロックを（ｇ，ｈ）ブロックＡ、画像Ｂのブロックを（ｇ，ｈ）ブロックＢと表記する。ただし、ｇ＝０，１，・・・，Ｇ−１、ｈ＝０，１，・・・，Ｈ−１である。
この場合、画像Ａと画像Ｂにおいて、対応関係があるブロックは、（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢである。

位置ずれ量算出部４は、画像Ａと画像Ｂにおいて、対応関係があるブロック毎に、ブロック間の位置ずれ量を算出する。
即ち、位置ずれ量算出部４は、最初に、（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢとの相関値を算出する。相関値の算出方法は後述する。
次に、（ｇ，ｈ）ブロックＢを構成している各画素を１画素ずつＸ方向又は水平方向に移動し、（ｇ，ｈ）ブロックＡと移動後の（ｇ，ｈ）ブロックＢとの相関値を算出する。
位置ずれ量算出部４は、（ｇ，ｈ）ブロックＢの画素単位の移動処理と、（ｇ，ｈ）ブロックＡと移動後の（ｇ，ｈ）ブロックＢとの相関値を算出する処理とを繰り返し実施する。
上記の繰り返し処理は、（ｇ，ｈ）ブロックＢの画素単位の移動を、Ｘ軸方向に予め設定された画素分だけ移動するとともに、Ｙ軸方向に予め設定された画素分だけ移動して、相関値の算出処理が完了するまで行われる。
ここでは、（ｇ，ｈ）ブロックＢを画素単位に移動している例を示しているが、（ｇ，ｈ）ブロックＡを画素単位に移動するようにしてもよい。

位置ずれ量算出部４は、上記の繰り返し処理が完了すると、算出した複数の相関値の中で、最も高い相関値を特定し、その相関値が算出された際の（ｇ，ｈ）ブロックＢの移動位置から、（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢの位置ずれ量を算出する。
例えば、最高の相関値が算出された際の（ｇ，ｈ）ブロックＢの移動位置が（ｇ，ｈ）ブロックＢの元の位置から、Ｘ軸方向にｘ１画素だけ移動され、Ｙ軸方向にｙ１画素だけ移動されたものであれば、（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢの位置ずれ量は、（ｘ１，ｙ１）のように算出される。

ここで、（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢとの相関値は、例えば、下記の式（７）で算出される。

式（７）において、Ｉ（ｊ，ｉ）は（ｇ，ｈ）ブロックＡを構成している各画素の特徴量、Ｉバー（電子出願の関係上、式（７）における「Ｉ」の上に付記している“−”は、明細書の文章上には表記することができないので、Ｉバーのように表現している）は（ｇ，ｈ）ブロックＡを構成している全画素の特徴量の平均値である。
Ｔ（ｊ，ｉ）は（ｇ，ｈ）ブロックＢを構成している各画素の特徴量、Ｔバーは（ｇ，ｈ）ブロックＢを構成している全画素の特徴量の平均値である。
また、Ｎは（ｇ，ｈ）ブロックＡ，ＢにおけるＸ軸方向の画素の数、Ｍは（ｇ，ｈ）ブロックＡ，ＢにおけるＹ軸方向の画素の数である。
ＮＣＣは（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢの正規相互相関値である。
なお、正規相互相関値ＮＣＣは、２つの画像の濃淡が異なる場合でも安定して相関値を演算することができるが、２つのブロック間の相関値が求まれば、相関値の算出は、式（７）の演算に限るものではない。

レジストレーション演算部５は、位置ずれ量算出部４が、各々の特徴量を用いて、（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢの位置ずれ量を算出すると、（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢの位置ずれ量を用いて、画像Ａと画像Ｂのレジストレーションを実施する（ステップＳＴ５）。
以下、レジストレーション演算部５による画像Ａと画像Ｂのレジストレーションを具体的に説明する。

レジストレーション演算部５は、位置ずれ量算出部４が、各々の特徴量を用いて、（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢの位置ずれ量を算出すると、算出元である特徴量の種類が同じであるブロック単位の位置ずれ量から画像単位の位置ずれ量をそれぞれ算出する。
特徴量抽出部２により抽出された特徴量が、例えば、コーナー点と濃淡値の２種類であれば、コーナー点（特徴量）を用いて算出された（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢの位置ずれ量から画像単位の位置ずれ量を算出し、濃淡値（特徴量）を用いて算出された（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢの位置ずれ量から画像単位の位置ずれ量を算出する。
画像Ａ及び画像ＢがＧ×Ｈのブロックに分割された場合、ブロック数がＧ×Ｈ個ずつあるので、特徴量の種類毎に、ブロック単位の位置ずれ量（（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢの位置ずれ量）がＧ×Ｈ個算出される。このため、ブロック単位の位置ずれ量から画像単位の位置ずれ量を算出する方法としては、特徴量の種類毎に、Ｇ×Ｈ個のブロック単位の位置ずれ量の平均値や中央値などを、画像単位の位置ずれ量として算出する方法などが考えられる。

レジストレーション演算部５は、特徴量の種類毎に、画像単位の位置ずれ量を算出すると、複数の画像単位の位置ずれ量の中から、１つの位置ずれ量を選択する。１つの位置ずれ量の選択は、画像Ａ，Ｂの特徴に基づいて行うことができる。
例えば、各々の特徴量を用いて算出された相関値を比較し、相関値が高い方の特徴量を用いて算出された位置ずれ量を選択する方法などが考えられる。
具体的には、特徴量抽出部２により抽出された特徴量が、例えば、エッジと濃淡値の２種類であれば、画像Ａ，Ｂに存在しているエッジの数が所定の閾値より多い場合、エッジ（特徴量）を用いて算出された位置ずれ量を選択し、画像Ａ，Ｂに存在しているエッジの数が所定の閾値より少ない場合、濃淡値（特徴量）を用いて算出された位置ずれ量を選択する。
なお、画像Ａ，Ｂに存在しているエッジの数は、例えば、全ブロックにおけるエッジ（特徴量）を示す信号値の総和としてもよい。

レジストレーション演算部５は、複数の画像単位の位置ずれ量の中から、１つの位置ずれ量を選択すると、その位置ずれ量を用いて、アフィン変換の変換係数（例えば、画像を回転や平行移動するための例えば３×３のフィルタの係数）を算出する。位置ずれ量からアフィン変換の変換係数を算出する処理自体は公知の技術であるため詳細な説明を省略する。
レジストレーション演算部５は、アフィン変換の変換係数を算出すると、その変換係数を画像Ｂに乗じることで、画像Ｂの位置を画像Ａの位置に合わせるレジストレーションを実施する。
レジストレーション演算部５は、位置合わせ後の画像Ｂを示す画像データを出力する。

以上で明らかなように、この実施の形態１によれば、画像Ａ及び画像Ｂから種類が異なる複数の特徴量を抽出する特徴量抽出部２と、画像Ａ及び画像Ｂを複数のブロックに分割するブロック分割部３と、特徴量抽出部２により抽出された各々の特徴量を用いて、ブロック分割部３により分割された画像Ａのブロックと画像Ｂのブロックの中で、対応関係があるブロック間の位置ずれ量を算出する位置ずれ量算出部４とを設け、レジストレーション演算部５が、位置ずれ量算出部４により各々の特徴量を用いて算出されたブロック間の位置ずれ量を用いて、画像Ａと画像Ｂの位置合わせを行うように構成したので、エッジの有無にかかわらず、高精度なレジストレーション結果を得ることができる効果を奏する。
即ち、画像Ａ及び画像Ｂから種類が異なる複数の特徴量を抽出して、各々の特徴量を用いて位置ずれ量を算出し、複数の位置ずれ量の中から、適応的に１つの位置ずれ量を選択するようにしているので、画像の特徴に見合う高精度なレジストレーションを実施することができる。

また、この実施の形態１によれば、画像Ａ及び画像Ｂに対する画像調整処理を実施し、調整処理後の画像Ａ及び画像Ｂを特徴量抽出部２に出力する画像調整処理部１を備えたので、特徴量抽出部２における特徴量の抽出が容易になり、高精度に特徴量を抽出することができる効果を奏する

実施の形態２．
上記実施の形態１では、レジストレーション演算部５が、算出元である特徴量の種類が同じであるブロック単位の位置ずれ量から画像単位の位置ずれ量をそれぞれ算出して、複数の画像単位の位置ずれ量の中から、１つの位置ずれ量を選択し、１つの位置ずれ量を用いて、画像Ａと画像Ｂの位置合わせを行うものを示したが、各々の特徴量を用いて算出されたブロック間の位置ずれ量の中から、ブロック単位に１つの位置ずれ量を選択して、その選択したブロック単位の位置ずれ量から画像単位の位置ずれ量を算出し、画像単位の位置ずれ量を用いて、画像Ａと画像Ｂの位置合わせを行うようにしてもよい。

図７はこの発明の実施の形態２による画像位置合わせ装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
レジストレーション演算部６は図１のレジストレーション演算部５と同様に、位置ずれ量算出部４により各々の特徴量を用いて算出されたブロック間の位置ずれ量を用いて、画像Ａと画像Ｂのレジストレーションを実施する。
ただし、レジストレーション演算部６は図１のレジストレーション演算部５と異なり、位置ずれ量算出部４により各々の特徴量を用いて算出されたブロック間の位置ずれ量の中から、ブロック単位に１つの位置ずれ量を選択し、その選択したブロック単位の位置ずれ量から画像単位の位置ずれ量を算出し、画像単位の位置ずれ量を用いて、画像Ａと画像Ｂのレジストレーションを実施する。
なお、レジストレーション演算部６は位置合わせ手段を構成している。

図７の例では、画像位置合わせ装置の構成要素である画像調整処理部１、特徴量抽出部２、ブロック分割部３、位置ずれ量算出部４及びレジストレーション演算部６のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像位置合わせ装置がコンピュータで構成されていてもよい。
画像位置合わせ装置がコンピュータで構成されている場合、画像調整処理部１、特徴量抽出部２、ブロック分割部３、位置ずれ量算出部４及びレジストレーション演算部６の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。

次に動作について説明する。
上記実施の形態１と比べて、レジストレーション演算部６がレジストレーション演算部５の代わりに搭載されている点以外は同じであるため、ここでは、レジストレーション演算部６以外の処理内容は割愛する。

レジストレーション演算部６は、位置ずれ量算出部４が、各々の特徴量を用いて、（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢの位置ずれ量を算出すると、（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢの位置ずれ量を用いて、画像Ａと画像Ｂのレジストレーションを実施する。
以下、レジストレーション演算部６による画像Ａと画像Ｂのレジストレーションを具体的に説明する。

レジストレーション演算部６は、位置ずれ量算出部４が、各々の特徴量を用いて、（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢの位置ずれ量を算出すると、対応するブロック毎に、算出された複数の位置ずれ量の中から、１つの位置ずれ量を選択する。
特徴量抽出部２により抽出された特徴量が、例えば、コーナー点と濃淡値の２種類であれば、コーナー点（特徴量）を用いて算出された（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢの位置ずれ量と、濃淡値（特徴量）を用いて算出された（ｇ，ｈ）ブロックＡと（ｇ，ｈ）ブロックＢの位置ずれ量との中から、１つの位置ずれ量を選択する。

１つの位置ずれ量の選択は、画像Ａ，Ｂの特徴に基づいて行うことができる。
例えば、各々の特徴量を用いて算出された相関値を比較し、相関値が高い方の特徴量を用いて算出された位置ずれ量を選択する方法などが考えられる。
具体的には、特徴量抽出部２により抽出された特徴量が、例えば、エッジと濃淡値の２種類であれば、（ｇ，ｈ）ブロックＡ，Ｂに存在しているエッジの数が所定の閾値より多い場合、エッジ（特徴量）を用いて算出された位置ずれ量を選択し、（ｇ，ｈ）ブロックＡ，Ｂに存在しているエッジの数が所定の閾値より少ない場合、濃淡値（特徴量）を用いて算出された位置ずれ量を選択する。
また、複数の位置ずれ量の中で、最も小さい位置ずれ量を選択するようにしてもよい。
なお、対応するブロック毎に、１つの位置ずれ量を選択する方式の場合、画像Ａ及び画像ＢがＧ×Ｈのブロックに分割されていれば、ブロック数がＧ×Ｈ個ずつあるので、全部でＧ×Ｈ個の位置ずれ量が選択されることになる。

レジストレーション演算部６は、対応するブロック毎に、１つの位置ずれ量を選択すると、Ｇ×Ｈ個のブロック単位の位置ずれ量から画像単位の位置ずれ量を算出する。
ブロック単位の位置ずれ量から画像単位の位置ずれ量を算出する方法としては、Ｇ×Ｈ個の位置ずれ量の平均値や中央値などを、画像単位の位置ずれ量として算出する方法などが考えられる。

レジストレーション演算部６は、画像単位の位置ずれ量を算出すると、図１のレジストレーション演算部５と同様に、その位置ずれ量を用いて、アフィン変換の変換係数を算出する。
レジストレーション演算部６は、アフィン変換の変換係数を算出すると、その変換係数を画像Ｂに乗じることで、画像Ｂの位置を画像Ａの位置に合わせるレジストレーションを実施する。
レジストレーション演算部６は、位置合わせ後の画像Ｂを示す画像データを出力する。

以上で明らかなように、この実施の形態２によれば、位置ずれ量算出部４により各々の特徴量を用いて算出されたブロック間の位置ずれ量の中から、ブロック単位に１つの位置ずれ量を選択し、その選択したブロック単位の位置ずれ量から画像単位の位置ずれ量を算出し、画像単位の位置ずれ量を用いて、画像Ａと画像Ｂのレジストレーションを実施するように構成したので、位置ずれ量がブロック単位に適応的に選択されるようになり、その結果、上記実施の形態１よりも更に、高精度なレジストレーション結果が得られる効果を奏する。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 画像調整処理部（画像調整処理手段）、２ 特徴量抽出部（特徴量抽出手段）、３ ブロック分割部（ブロック分割手段）、４ 位置ずれ量算出部（位置ずれ量算出手段）、５，６ レジストレーション演算部（位置合わせ手段）。

Claims (6)

1. 第１の画像及び第２の画像から種類が異なる複数の特徴量を抽出する特徴量抽出手段と、上記第１の画像及び上記第２の画像を複数のブロックに分割するブロック分割手段と、上記特徴量抽出手段により抽出された各々の特徴量を用いて、上記ブロック分割手段により分割された第１の画像のブロックと第２の画像のブロックの中で、対応関係があるブロック間の位置ずれ量を算出する位置ずれ量算出手段と、上記位置ずれ量算出手段により算出されたブロック毎の位置ずれ量のうち、算出元である特徴量の種類が同じであるブロック単位の位置ずれ量から画像単位の位置ずれ量をそれぞれ算出し、複数の画像単位の位置ずれ量の中の１つの位置ずれ量を用いて、上記第１の画像と上記第２の画像の位置合わせを行う位置合わせ手段と備えた画像位置合わせ装置。
2. 第１の画像及び第２の画像から種類が異なる複数の特徴量を抽出する特徴量抽出手段と、上記第１の画像及び上記第２の画像を複数のブロックに分割するブロック分割手段と、上記特徴量抽出手段により抽出された各々の特徴量を用いて、上記ブロック分割手段により分割された第１の画像のブロックと第２の画像のブロックの中で、対応関係があるブロック間の位置ずれ量を算出する位置ずれ量算出手段と、上記位置ずれ量算出手段により各々の特徴量を用いて算出されたブロック間の位置ずれ量の中から、ブロック単位に１つの位置ずれ量を選択し、その選択したブロック単位の位置ずれ量から画像単位の位置ずれ量を算出し、上記画像単位の位置ずれ量を用いて、上記第１の画像と上記第２の画像の位置合わせを行う位置合わせ手段とを備えた画像位置合わせ装置。
3. 上記位置ずれ量算出手段は、上記第１の画像のブロックに対応する上記第２の画像のブロックを画素単位に移動しながら、対応関係があるブロック間の相関値を算出し、その相関値が最高になるブロックの移動位置から、対応関係があるブロック間の位置ずれ量を算出することを特徴とする請求項１または請求項２記載の画像位置合わせ装置。
4. 上記第１の画像及び上記第２の画像に対する画像調整処理を実施し、調整処理後の第１の画像及び第２の画像を上記特徴量抽出手段に出力する画像調整処理手段を設けたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像位置合わせ装置。
5. 特徴量抽出手段が、第１の画像及び第２の画像から種類が異なる複数の特徴量を抽出する特徴量抽出処理ステップと、ブロック分割手段が、上記第１の画像及び上記第２の画像を複数のブロックに分割するブロック分割処理ステップと、位置ずれ量算出手段が、上記特徴量抽出処理ステップで抽出された各々の特徴量を用いて、上記ブロック分割処理ステップで分割された第１の画像のブロックと第２の画像のブロックの中で、対応関係があるブロック間の位置ずれ量を算出する位置ずれ量算出処理ステップと、位置合わせ手段が、上記位置ずれ量算出処理ステップで算出されたブロック毎の位置ずれ量のうち、算出元である特徴量の種類が同じであるブロック単位の位置ずれ量から画像単位の位置ずれ量をそれぞれ算出し、複数の画像単位の位置ずれ量の中の１つの位置ずれ量を用いて、上記第１の画像と上記第２の画像の位置合わせを行う位置合わせ処理ステップとを備えた画像位置合わせ方法。
6. 特徴量抽出手段が、第１の画像及び第２の画像から種類が異なる複数の特徴量を抽出する特徴量抽出処理ステップと、ブロック分割手段が、上記第１の画像及び上記第２の画像を複数のブロックに分割するブロック分割処理ステップと、位置ずれ量算出手段が、上記特徴量抽出処理ステップで抽出された各々の特徴量を用いて、上記ブロック分割処理ステップで分割された第１の画像のブロックと第２の画像のブロックの中で、対応関係があるブロック間の位置ずれ量を算出する位置ずれ量算出処理ステップと、位置合わせ手段が、上記位置ずれ量算出処理ステップで各々の特徴量を用いて算出されたブロック間の位置ずれ量の中から、ブロック単位に１つの位置ずれ量を選択し、その選択したブロック単位の位置ずれ量から画像単位の位置ずれ量を算出し、上記画像単位の位置ずれ量を用いて、上記第１の画像と上記第２の画像の位置合わせを行う位置合わせ処理ステップとを備えた画像位置合わせ方法。

Images