JP6324097B2 - 画像位置合わせ装置及び画像位置合わせ方法 - Google Patents

Description

この発明は、撮影範囲が近い２枚の画像間の位置ずれを計測して、２枚の画像間の位置合わせを行う画像位置合わせ装置及び画像位置合わせ方法に関するものである。

近年の画像取得用のセンサの発達により、様々な高解像度画像を撮影することが可能になってきている。
画像取得用のセンサとしては、二次元に配列している素子の映像信号を一度に取得して画像を生成するエリアセンサと、一次元に配列している素子を動かしながら、当該素子の映像信号を取得することで画像を生成するラインセンサとがある。一般的には、エリアセンサよりラインセンサの方が高解像度の画像が得られる。

また、画像取得用のセンサにより生成された画像を利用するデータ生成技術も増えてきている。
例えば、データ生成技術としてパンシャープン処理などがあり、パンシャープン処理は、似たような場所を撮影している２枚の画像である高解像度モノクロ画像と低解像度カラー画像を合成して、擬似高解像度カラー画像を生成する処理である（例えば、非特許文献１を参照）。
パンシャープン処理などでは、２枚の画像が撮影されている場所の違いや、２枚の画像間の位置ずれの検知を行う必要があり、２枚の画像間の位置ずれを補償して、２枚の画像間の正確な位置合わせを行わなければ、正確な擬似高解像度カラー画像を生成することができない。

２枚の画像間の位置合わせを行う手法として、２枚の画像間の相関値を使用する方法が知られている。
この方法は、２枚の画像間で位置ずれがなく、正しい位置関係であれば、２枚の画像間の相関値が高くなる可能性が高いので、２枚の画像間の位置をずらしながら相関値を計算し、その相関値が最も高くなる位置が、２枚の画像間で対応が取れている位置であるという考え方に基づくものである。

２枚の画像間の相関値の計算は、一般的に画像全体で行うのではなく、２枚の画像をそれぞれ小さいサイズ（例えば、６４×６４など）の画像（以下、「部分画像」と称する）に分割し、この小さい部分画像単位で行う。
２枚の部分画像間の相関値が最も高くなる位置を特定することで、２枚の部分画像間の位置ずれ量を算出する。
そして、対応関係がある全ての部分画像間の位置ずれ量の算出が完了すると、その位置ずれ量から、画像のアフィン変換に用いるアフィンパラメータ（画像変形パラメータ）を算出し、そのアフィンパラメータを用いて、いずれか一方の画像をアフィン変換することで、２枚の画像間の位置合わせを行うことができる。

２枚の画像間の正確な位置合わせを行うには、部分画像間の位置ずれ量を正確に算出して、正確なアフィンパラメータを算出できていることが前提になるが、２枚の画像の撮影状況によっては、２枚の画像間の正しい位置関係のときに、相関値が最も高くなるとは限らず、２枚の画像間の正しい位置関係のときに相関値が低くなることや、異なる位置関係のときに相関値が偶然高くなることがある。
例えば、２枚の画像内に動く物体（例えば、雲、影、動物など）が含まれている場合には、２枚の画像間の正しい位置関係のときに、相関値が最も高くなるとは限らない。

具体的には、図６に示すような雲を含む画像では、時間の経過に伴って雲の位置が移動したり変形したりするため、２枚の画像間の正しい位置関係のときに、相関値が最も高くなるとは限らない。
また、図７の２枚の画像はほぼ同一の範囲を異なる季節に撮影しているものであるが、撮影時間帯が同じであっても季節によって太陽の位置・高度が異なるため、建物等の影の長さや方向が異なる。このため、２枚の画像間の正しい位置関係のときに、相関値が最も高くなるとは限らない。
また、図８の２枚の画像もほぼ同一の範囲を撮影したものであるが、２枚の画像の撮影時刻に差があるために、１枚目の画像の撮影後に造成が行われて、２枚目の画像には造成された結果が撮影されている。このような場合には、２枚の画像間の相関値が低くなり、２枚の画像間の位置ずれ量を正確に算出することが困難になる。

以下の特許文献１では、２枚の部分画像間の相関値から位置ずれ量を算出し、その位置ずれ量が所定値以上である場合、部分画像内の物体が雲であると判定する技術が開示されている。
ただし、時間の経過に伴って雲の位置が移動したり変形したりすることで、２枚の部分画像間の相関値が変化することは考慮されていない。このため、そのような相関値から算出された位置ずれ量を評価しても、物体が雲であるか否かを正確に判定することはできない。

特開２００９−２９５０６２号公報（段落番号［００１６］から［００１９］、図１）

「パンシャープンの基礎」http://help.arcgis.com/ja/arcgisdesktop/10.0/help/index.html#//009t000000mw000000

従来の画像位置合わせ装置は以上のように構成されているので、２枚の画像が雲や建物等の影などを含む場合には、相関値が最も高くなる位置を特定して、２枚の画像間の位置ずれ量を算出しても、２枚の画像間の正確な位置合わせを行うことができない課題があった。

この発明は上記のような課題を解決するためになされたもので、２枚の画像が雲や影などを含む場合でも、２枚の画像間の正確な位置合わせを行うことができる画像位置合わせ装置及び画像位置合わせ方法を得ることを目的とする。

この発明に係る画像位置合わせ装置は、第１の画像を構成している各ピクセルの濃度値を正規化するとともに、第１の画像と位置合わせを行う第２の画像を構成している各ピクセルの濃度値を正規化する濃度値正規化手段と、濃度値正規化手段により正規化された各ピクセルの濃度値を評価して、第１及び第２の画像を構成している各ピクセルの中で、相関値計算に用いるピクセルを特定する計算対象ピクセル特定手段と、濃度値正規化手段により正規化された各ピクセルの濃度値のうち、計算対象ピクセル特定手段により特定されたピクセルの濃度値を用いて、第１の画像と第２の画像間の位置をずらしながら、第１の画像と第２の画像間の相関値を計算し、その相関値から第１の画像と第２の画像間のずれ量を特定するずれ量特定手段と、ずれ量特定手段により特定されたずれ量にしたがって第１の画像と第２の画像間の位置合わせを行う画像位置合わせ手段と備え、
計算対象ピクセル特定手段が、
第１及び第２の画像を構成している各ピクセルの中で、予め設定された閾値よりも濃度値が低いピクセルである低濃度ピクセルを特定する低濃度ピクセル特定部と、低濃度ピクセル特定部により特定された第１の画像内の低濃度ピクセルと画像上の位置が対応している第２の画像内のピクセルの正規化後の濃度値が正の値であれば、第１の画像内の低濃度ピクセル及び第２の画像内のピクセルを相関値計算に用いるピクセルから除外し、低濃度ピクセル特定部により特定された第２の画像内の低濃度ピクセルと画像上の位置が対応している第１の画像内のピクセルの正規化後の濃度値が正の値であれば、第２の画像内の低濃度ピクセル及び第１の画像内のピクセルを相関値計算に用いるピクセルから除外するピクセル除外部と、第１及び第２の画像を構成している各ピクセルの中で、ピクセル除外部により除外されずに残っているピクセルを相関値計算に用いるピクセルとして特定する計算対象ピクセル特定部とを備えるようにしたものである。

この発明によれば、第１の画像を構成している各ピクセルの濃度値を正規化するとともに、第１の画像と位置合わせを行う第２の画像を構成している各ピクセルの濃度値を正規化する濃度値正規化手段と、濃度値正規化手段により正規化された各ピクセルの濃度値を評価して、第１及び第２の画像を構成している各ピクセルの中で、相関値計算に用いるピクセルを特定する計算対象ピクセル特定手段と、濃度値正規化手段により正規化された各ピクセルの濃度値のうち、計算対象ピクセル特定手段により特定されたピクセルの濃度値を用いて、第１の画像と第２の画像間の位置をずらしながら、第１の画像と第２の画像間の相関値を計算し、その相関値から第１の画像と第２の画像間のずれ量を特定するずれ量特定手段とを設け、画像位置合わせ手段が、ずれ量特定手段により特定されたずれ量にしたがって第１の画像と第２の画像間の位置合わせを行うように構成したので、２枚の画像が雲や影などを含む場合でも、２枚の画像間の正確な位置合わせを行うことができる効果がある。

この発明の実施の形態１による画像位置合わせ装置を示す構成図である。 この発明の実施の形態１による画像位置合わせ装置の処理内容（画像位置合わせ方法）を示すフローチャートである。 この発明の実施の形態１による画像位置合わせ装置の画像マッチング部７を示す構成図である。 この発明の実施の形態２による画像位置合わせ装置の画像マッチング部７を示す構成図である。 この発明の実施の形態３による画像位置合わせ装置の画像マッチング部７を示す構成図である。 雲を含む２枚の画像を示す説明図である。 影を含む２枚の画像を示す説明図である。 造成が行われる前に撮影された画像と造成が行われた後に撮影された画像を示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による画像位置合わせ装置を示す構成図である。
図１において、画像データ格納部１は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、例えば、人工衛星や飛行機などに搭載されているカメラにより撮影された地表面等の画像である基準画像（第１の画像）の画像データを記憶している。
また、画像データ格納部１は、人工衛星や飛行機などに搭載されているカメラにより撮影された地表面等の画像である対象画像（第２の画像）の画像データを記憶している。
ここで、基準画像と対象画像は、同じカメラで異なる時刻に同一の範囲を撮影された画像でもよいし、異なるカメラで同一時刻又は異なる時刻に同一の範囲を撮影された画像でもよい。
例えば、基準画像が高解像度モノクロ画像で、対象画像が低解像度カラー画像であり、高解像度モノクロ画像と低解像度カラー画像を合成して、擬似高解像度カラー画像を生成するパンシャープン処理などを実施するような場合には、基準画像と対象画像は異なるカメラで撮影された画像である。

位置情報格納部２は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、基準画像を撮影しているカメラの３次元位置を示す位置情報と、対象画像を撮影しているカメラの３次元位置を示す位置情報とを記憶している。
方向情報格納部３は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、基準画像を撮影しているカメラの位置から基準画像を構成している各ピクセルへの方向（撮影方向）を示す方向情報と、対象画像を撮影しているカメラの位置から対象画像を構成している各ピクセルへの方向（撮影方向）を示す方向情報とを記憶している。
高度情報格納部４は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、基準画像や対象画像の撮影地点の高度を示す高度情報（例えば、標高の情報を含む地図データ）を記憶している。

情報入力部５は例えば記憶装置に対するインタフェース機器などから構成されており、画像データ格納部１から基準画像及び対象画像の画像データ、位置情報格納部２から位置情報、方向情報格納部３から方向情報及び高度情報格納部４から高度情報を入力して、その画像データ、位置情報、方向情報及び高度情報を視線マッチング部６に出力する処理を実施する。

視線マッチング部６は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、情報入力部５から出力された画像データ、位置情報、方向情報及び高度情報を用いて、基準画像を構成している各ピクセルに対応する地表面の３次元座標を算出するとともに、対象画像を構成している各ピクセルに対応する地表面の３次元座標を算出する処理を実施する。
また、視線マッチング部６は基準画像を構成している各ピクセルに対応する地表面の３次元座標と対象画像を構成している各ピクセルに対応する地表面の３次元座標とが一致する両画像上の対応点を特定する処理を実施する。
さらに、視線マッチング部６は両画像上の対応点を基準にして、対象画像の位置を基準画像の位置に合わせる暫定的な位置合わせ処理（前処理）を実施し、前処理後の基準画像及び対象画像を画像マッチング部７に出力する処理を実施する。なお、視線マッチング部６は前処理手段を構成している。

画像マッチング部７は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、視線マッチング部６から出力された前処理後の基準画像と対象画像間の位置をずらしながら、その基準画像と対象画像間の相関値を計算して、その相関値が最も高くなる位置から基準画像と対象画像間のずれ量を特定し、そのずれ量にしたがって基準画像と対象画像間の位置合わせを実施する。

図１の例では、画像位置合わせ装置の構成要素である画像データ格納部１、位置情報格納部２、方向情報格納部３、高度情報格納部４、情報入力部５、視線マッチング部６及び画像マッチング部７のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像位置合わせ装置がコンピュータで構成されていてもよい。
画像位置合わせ装置をコンピュータで構成する場合、画像データ格納部１、位置情報格納部２、方向情報格納部３及び高度情報格納部４をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、情報入力部５、視線マッチング部６及び画像マッチング部７の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による画像位置合わせ装置の処理内容（画像位置合わせ方法）を示すフローチャートである。

図３はこの発明の実施の形態１による画像位置合わせ装置の画像マッチング部７を示す構成図である。
図３において、濃度値正規化部１１は視線マッチング部６から出力された前処理後の基準画像を構成している各ピクセルの濃度値の平均値が０で、各ピクセルの濃度値の標準偏差が１になるように、各ピクセルの濃度値を正規化する処理を実施する。
また、濃度値正規化部１１は視線マッチング部６から出力された前処理後の対象画像を構成している各ピクセルの濃度値の平均値が０で、各ピクセルの濃度値の標準偏差が１になるように、各ピクセルの濃度値を正規化する処理を実施する。なお、濃度値正規化部１１は濃度値正規化手段を構成している。

低濃度ピクセル特定部１２は視線マッチング部６から出力された前処理後の基準画像を構成している各ピクセルの中で、予め設定された閾値Ｔｈ１より濃度値が低いピクセルである低濃度ピクセルを特定する処理を実施する。
また、低濃度ピクセル特定部１２は視線マッチング部６から出力された前処理後の対象画像を構成している各ピクセルの中で、予め設定された閾値Ｔｈ１より濃度値が低いピクセルである低濃度ピクセルを特定する処理を実施する。

ピクセル除外部１３は低濃度ピクセル特定部１２により特定された基準画像内の低濃度ピクセルと画像上の位置が対応している対象画像内のピクセルを特定し、その対象画像内のピクセルの正規化後の濃度値が正の値であれば、その基準画像内の低濃度ピクセルとその対象画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部１４に指示する処理を実施する。
また、ピクセル除外部１３は低濃度ピクセル特定部１２により特定された対象画像内の低濃度ピクセルと画像上の位置が対応している基準画像内のピクセルを特定し、その基準画像内のピクセルの正規化後の濃度値が正の値であれば、その対象画像内の低濃度ピクセルとその基準画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部１４に指示する処理を実施する。

計算対象ピクセル特定部１４は基準画像及び対象画像を構成している各ピクセルの中で、ピクセル除外部１３により除外が指示されたピクセルを相関値計算に用いるピクセルから除外し、除外せずに残っているピクセルを相関値計算に用いるピクセルとして特定する処理を実施する。
なお、低濃度ピクセル特定部１２、ピクセル除外部１３及び計算対象ピクセル特定部１４から計算対象ピクセル特定手段が構成されている。

画像分割部１５は視線マッチング部６から出力された前処理後の基準画像及び対象画像を複数の部分画像に分割する処理を実施する。
部分画像ずれ量特定部１６は画像分割部１５により分割された基準画像における複数の部分画像と、画像分割部１５により分割された対象画像における複数の部分画像との間の対応関係を特定する処理を実施する。
また、部分画像ずれ量特定部１６は対応関係がある部分画像単位に、２つの部分画像間の相関値を計算する処理を実施する。即ち、２つの部分画像を構成している各ピクセルの正規化後の濃度値（濃度値正規化部１１により正規化された濃度値）のうち、計算対象ピクセル特定部１４により特定されたピクセル（除外されずに残っているピクセル）の濃度値を用いて、２つの部分画像間の位置をずらしながら、２つの部分画像間の相関値を計算する処理を実施する。
さらに、部分画像ずれ量特定部１６は２つの部分画像間の相関値が最も高くなる位置を特定し、相関値が最も高くなる位置から２つの部分画像間のずれ量を特定する処理を実施する。
なお、画像分割部１５及び部分画像ずれ量特定部１６からずれ量特定手段が構成されている。

アフィンパラメータ算出部１７は部分画像ずれ量特定部１６により特定された基準画像における部分画像と対象画像における部分画像間のずれ量から、画像のアフィン変換に用いるアフィンパラメータを算出する処理を実施する。
画像変換部１８はアフィンパラメータ算出部１７により算出されたアフィンパラメータを用いて、視線マッチング部６から出力された前処理後の対象画像をアフィン変換することで、基準画像と対象画像の位置合わせを実施する。
なお、アフィンパラメータ算出部１７及び画像変換部１８から画像位置合わせ手段が構成されている。

次に動作について説明する。
２枚の画像が雲などを含む場合には、上述したように、相関値が最も高くなる位置を特定して、２枚の画像間の位置ずれ量を算出しても、２枚の画像間の正確な位置合わせを行うことができないことがある。
そこで、この実施の形態１では、２枚の画像が雲を含む場合、雲に対応するピクセルを相関値計算に用いるピクセルから除外して、相関値の信頼性を高め、正確な位置ずれ量を算出できるようにしている。
なお、雲に対応するピクセルの濃度値は高くなるので、画像上のピクセルの濃度値を見れば、雲に対応するピクセルの候補を探索することができるが、雲以外の物体に対応するピクセルの濃度値も高くなることがあるので、ピクセルの濃度値だけでは、本当に雲に対応するピクセルであるかは判定することができない。
以下、この実施の形態１の画像位置合わせ装置の処理内容を具体的に説明する。

まず、情報入力部５は、画像データ格納部１から基準画像及び対象画像の画像データを入力して、その基準画像及び対象画像の画像データを視線マッチング部６に出力する。
なお、画像データ格納部１の中に、概ね同一範囲が撮影されている２枚以上の画像の画像データが記憶されている場合には、いずれか２枚の画像の画像データを選択する（例えば、ユーザにより指定された画像の画像データを選択する）。
この実施の形態１では、解像度が高い方の画像を基準画像、解像度が低い方の画像を対象画像とする。

情報入力部５は、基準画像及び対象画像の画像データを視線マッチング部６に出力すると、位置情報格納部２から、基準画像を撮影しているカメラの３次元位置を示す位置情報と、対象画像を撮影しているカメラの３次元位置を示す位置情報とを入力し、それらの位置情報を視線マッチング部６に出力する。
また、情報入力部５は、方向情報格納部３から、基準画像を撮影しているカメラの位置から基準画像を構成している各ピクセルへの方向（撮影方向）を示す方向情報と、対象画像を撮影しているカメラの位置から対象画像を構成している各ピクセルへの方向（撮影方向）を示す方向情報とを入力し、それらの方向情報を視線マッチング部６に出力する。
さらに、情報入力部５は、高度情報格納部４から、基準画像や対象画像の撮影地点（カメラの撮影範囲内の地点）の高度を示す高度情報（例えば、標高の情報を含む地図データ）を入力し、その高度情報を視線マッチング部６に出力する。

視線マッチング部６は、情報入力部５から基準画像及び対象画像の画像データ、位置情報、方向情報及び高度情報を受けると、これらの情報を用いて、基準画像を構成している各ピクセルに対応する地表面の３次元座標を算出するとともに、対象画像を構成している各ピクセルに対応する地表面の３次元座標を算出する（図２のステップＳＴ１）。
例えば、基準画像を構成している複数のピクセルの中で、或るピクセルＰに対応する地表面の３次元座標を算出する場合、基準画像を撮影しているカメラの位置を起点とするベクトル（方向情報が示すピクセルＰへの撮影方向のベクトル）が地表面と交わる点の３次元座標が、算出対象の３次元座標となる。
当該ベクトルが地表面と交わる点は、基準画像を撮影しているカメラの３次元位置と、ピクセルＰへの撮影方向と、ピクセルＰに対応する地表面の高度とを用いて算出することができるため、ピクセルＰに対応する地表面の３次元座標を算出することができる。

同様に、対象画像を構成している複数のピクセルの中で、或るピクセルＱに対応する地表面の３次元座標を算出する場合、対象画像を撮影しているカメラの位置を起点とするベクトル（方向情報が示すピクセルＱへの撮影方向のベクトル）が地表面と交わる点の３次元座標が、算出対象の３次元座標となる。
当該ベクトルが地表面と交わる点は、基準画像を撮影しているカメラの３次元位置と、ピクセルＱへの撮影方向と、ピクセルＱに対応する地表面の高度とを用いて算出することができるため、ピクセルＱに対応する地表面の３次元座標を算出することができる。

視線マッチング部６は、基準画像を構成している各ピクセルに対応する地表面の３次元座標と、対象画像を構成している各ピクセルに対応する地表面の３次元座標とを算出すると、基準画像と対象画像の間で、地表面の３次元座標が一致しているピクセルの組み合わせ（両画像上の対応点）を特定する（ステップＳＴ２）。
視線マッチング部６は、両画像上の対応点を特定すると、両画像上の対応点を基準にして、対象画像の位置を基準画像の位置に合わせる暫定的な位置合わせ処理（前処理）を実施する（ステップＳＴ３）。

暫定的な位置合わせ処理（前処理）としては、基準画像の位置はずらさずに、対象画像の位置を基準画像の位置に合わせた画像（位置合わせ処理後の対象画像）を新たに生成する処理が考えられる。具体的には、以下の通りである。
この実施の形態１では、基準画像が高解像度画像で、対象画像が低解像度画像であるものを想定しているので、基準画像を構成しているピクセルと対応しているピクセル（対応点）が、対象画像を構成しているピクセルの中に存在している場合と、対象画像を構成しているピクセルの中に存在していない場合がある。
そこで、新たに生成する画像を構成するピクセルの濃度値として、基準画像を構成しているピクセルと対応しているピクセルが対象画像内に存在していれば、対象画像内の対応しているピクセルの濃度値に決定する。
一方、基準画像を構成しているピクセルと対応しているピクセルが対象画像内に存在していなければ、対象画像内において、基準画像を構成しているピクセルと対応している点の周辺に存在している複数のピクセル（例えば、基準画像を構成しているピクセルと対応している点の左側に存在しているピクセル、右側に存在しているピクセル、上側に存在しているピクセル、下側に存在しているピクセル）の濃度値の補間値を新たに生成する画像を構成するピクセルの濃度値に決定する。
このようにして、新たに生成した画像の解像度は、基準画像の解像度と一致する。

視線マッチング部６は、基準画像と対象画像の暫定的な位置合わせ処理（前処理）を実施すると、前処理後の基準画像及び対象画像として、位置をずらしていない基準画像と暫定的な位置合わせ処理後の対象画像（新たに生成した画像）を画像マッチング部７に出力する。
なお、位置情報、方向情報及び高度情報の全てに誤差が含まれていなければ、基準画像と暫定的な位置合わせ処理後の対象画像の間には位置ずれがなくなるが、実際には、位置情報、方向情報及び高度情報の中に誤差が含まれているので、基準画像と暫定的な位置合わせ処理後の対象画像の間には位置ずれが生じている。
この実施の形態１では、この位置ずれを補償するために、画像マッチング部７を搭載している。

画像マッチング部７の濃度値正規化部１１は、視線マッチング部６から基準画像と暫定的な位置合わせ処理後の対象画像を受けると、その基準画像を構成している各ピクセルの濃度値の平均値が０で、各ピクセルの濃度値の標準偏差が１になるように、各ピクセルの濃度値を正規化する（ステップＳＴ４）。
また、濃度値正規化部１１は、暫定的な位置合わせ処理後の対象画像を構成している各ピクセルの濃度値の平均値が０で、各ピクセルの濃度値の標準偏差が１になるように、各ピクセルの濃度値を正規化する（ステップＳＴ４）。
ここで、雲に対応するピクセルの濃度値が高くなることは、上述した通りであるが、雲に対応するピクセルの正規化後の濃度値は、基本的に正の値になる。

低濃度ピクセル特定部１２は、視線マッチング部６から基準画像と暫定的な位置合わせ処理後の対象画像を受けると、基準画像の中で雲に対応するピクセルの候補を見つけるため、その基準画像を構成している各ピクセルの中で、予め設定された閾値Ｔｈ１より濃度値が低いピクセルである低濃度ピクセルを特定する（ステップＳＴ５）。
また、低濃度ピクセル特定部１２は、対象画像の中で雲に対応するピクセルの候補を見つけるため、暫定的な位置合わせ処理後の対象画像を構成している各ピクセルの中で、予め設定された閾値Ｔｈ１より濃度値が低いピクセルである低濃度ピクセルを特定する（ステップＳＴ５）。
例えば、１ピクセル当り１２ｂｉｔの濃度値を有する画像である場合、閾値Ｔｈ１としては、Ｔｈ１＝１６などが設定される。

ピクセル除外部１３は、低濃度ピクセル特定部１２が基準画像内の低濃度ピクセルを特定すると、その基準画像内の低濃度ピクセルと画像上の位置が対応している対象画像内のピクセルを特定する。即ち、暫定的な位置合わせ処理後の対象画像を構成している複数のピクセルの中で、その基準画像内の低濃度ピクセルと画像上の位置が対応しているピクセルを特定する。
ピクセル除外部１３は、基準画像内の低濃度ピクセルと画像上の位置が対応している対象画像内のピクセルを特定すると、その対象画像内のピクセルの正規化後の濃度値（濃度値正規化部１１により正規化された濃度値）が正の値であれば（ステップＳＴ６）、その対象画像内のピクセルは雲に対応するピクセルであると判断し、その基準画像内の低濃度ピクセルと、その対象画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部１４に指示する。

また、ピクセル除外部１３は、低濃度ピクセル特定部１２が暫定的な位置合わせ処理後の対象画像内の低濃度ピクセルを特定すると、その対象画像内の低濃度ピクセルと画像上の位置が対応している基準画像内のピクセルを特定する。即ち、基準画像を構成している複数のピクセルの中で、暫定的な位置合わせ処理後の対象画像内の低濃度ピクセルと画像上の位置が対応しているピクセルを特定する。
ピクセル除外部１３は、暫定的な位置合わせ処理後の対象画像内の低濃度ピクセルと画像上の位置が対応している基準画像内のピクセルを特定すると、その基準画像内のピクセルの正規化後の濃度値（濃度値正規化部１１により正規化された濃度値）が正の値であれば（ステップＳＴ６）、その基準画像内のピクセルは雲に対応するピクセルであると判断し、暫定的な位置合わせ処理後の対象画像内の低濃度ピクセルと、その基準画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部１４に指示する。
ここでは、ピクセル除外部１３が相関値計算に用いるピクセルの除外指示を計算対象ピクセル特定部１４に出力している例を示しているが、ピクセル除外部１３が自ら相関値計算に用いるピクセルの除外処理を行うようにしてもよい。

計算対象ピクセル特定部１４は、基準画像を構成している複数のピクセルのうち、ピクセル除外部１３が除外を指示しているピクセルを相関値計算に用いるピクセルから除外する。
また、計算対象ピクセル特定部１４は、暫定的な位置合わせ処理後の対象画像を構成している複数のピクセルのうち、ピクセル除外部１３が除外を指示しているピクセルを相関値計算に用いるピクセルから除外する。
そして、計算対象ピクセル特定部１４は、基準画像及び暫定的な位置合わせ処理後の対象画像を構成しているピクセルの中で、除外せずに残っているピクセルを相関値計算に用いるピクセルとして特定する（ステップＳＴ７）。
ただし、基準画像内の低濃度ピクセルと画像上の位置が対応している対象画像内のピクセルの中に、正規化後の濃度値が正の値であるピクセルが１つもなく、また、対象画像内の低濃度ピクセルと画像上の位置が対応している基準画像内のピクセルの中に、正規化後の濃度値が正の値であるピクセルが１つもなければ、基準画像及び対象画像を構成している全てのピクセルを相関値計算に用いるピクセルとして特定する（ステップＳＴ８）。

画像分割部１５は、視線マッチング部６から基準画像と暫定的な位置合わせ処理後の対象画像を受けると、その基準画像及び対象画像を複数の部分画像に分割する（ステップＳＴ９）。例えば、基準画像と対象画像を６４×６４のサイズの部分画像に分割する。
なお、画像マッチング部７では、後述する画像の位置合わせ処理を部分画像単位に実施する（両画像上で同じ位置に存在している部分画像同士で画像の位置合わせ処理を実施する）。
視線マッチング部６において、暫定的な位置合わせ処理が実施されているため、両画像上で異なる位置に存在している部分画像同士では画像の位置合わせ処理を実施しない。
また、各画像の外周に存在している部分画像についても画像の位置合わせ処理を実施しない。これは、視線マッチング部６による暫定的な位置合わせ処理によって、暫定的な位置合わせ処理後の対象画像内でピクセルが存在しない箇所を含む可能性があるためである。

部分画像ずれ量特定部１６は、画像分割部１５が基準画像及び対象画像を複数の部分画像に分割すると、基準画像における複数の部分画像（以後、「基準部分画像」と称する場合がある）と、暫定的な位置合わせ処理後の対象画像における複数の部分画像（以後、「対象部分画像」と称する場合がある）との間の対応関係を特定する（画像上で同じ位置にある基準部分画像と対象部分画像を特定する）。
部分画像ずれ量特定部１６は、基準部分画像と対象部分画像の対応関係を特定すると、 基準部分画像を構成している複数のピクセルの中で、計算対象ピクセル特定部１４により特定されたピクセル（除外されずに残っているピクセル）の正規化後の濃度値（濃度値正規化部１１により正規化された濃度値）と、その基準部分画像と対応関係がある対象部分画像を構成している複数のピクセルの中で、計算対象ピクセル特定部１４により特定されたピクセル（除外されずに残っているピクセル）の正規化後の濃度値（濃度値正規化部１１により正規化された濃度値）とを用いて、対応関係がある基準部分画像と対象部分画像の位置をずらしながら、対応関係がある基準部分画像と対象部分画像間の相関値を計算する（ステップＳＴ１０）。

具体的には、基準部分画像を構成している複数のピクセル（除外されずに残っているピクセル）と、対象部分画像を構成している複数のピクセル（除外されずに残っているピクセル）との間で、画像上の位置が同じピクセルをそれぞれ特定する。
このとき、基準部分画像を構成しているピクセルの正規化後の濃度値がｄｓ、そのピクセルと画像上の位置が同じ対象部分画像のピクセルの正規化後の濃度値がｄｔであるとすれば、ｄｓ×ｄｔを算出する。
次に、画像上の位置が同じピクセル同士の積ｄｓ×ｄｔの総和Σ（ｄｓ×ｄｔ）を算出し（例えば、除外されずに残っているピクセルの数が５０個であれば、５０個の積ｄｓ×ｄｔの総和を算出する）、その総和Σ（ｄｓ×ｄｔ）を対応関係がある基準部分画像と対象部分画像間の相関値とする。

部分画像ずれ量特定部１６は、対応関係がある２つの部分画像（対応関係がある基準部分画像と対象部分画像）間の位置をずらしながら、２つの部分画像間の相関値を計算すると、２つの部分画像間の相関値が最も高くなる位置を特定し、相関値が最も高くなる位置での２つの部分画像間のずれ量を算出する（ステップＳＴ１１）。
例えば、ｉ番目（ｉ＝１，２，・・・，Ｎ：Ｎは分割数）の基準部分画像と、その基準部分画像と対応関係があるｉ番目（ｉ＝１，２，・・・，Ｎ：Ｎは分割数）の対象部分画像との間の相関値が最も高くなる位置を特定すると、その相関値が最も高くなる位置において、ｉ番目の基準部分画像の中心座標（ｘ（ｉ），ｙ（ｉ））から、ｉ番目の対象部分画像の中心座標（ｘ’（ｉ），ｙ’（ｉ））までのずれ量（ｄｘ（ｉ），ｄｙ（ｉ））を算出する。

アフィンパラメータ算出部１７は、部分画像ずれ量特定部１６が、対応関係がある基準部分画像と対象部分画像間のずれ量（ｄｘ（ｉ），ｄｙ（ｉ））を算出すると、下記の式（１），（２）に示すように、その基準部分画像と対象部分画像間のずれ量（ｄｘ（ｉ），ｄｙ（ｉ））から、画像のアフィン変換に用いるアフィンパラメータとして、アフィン行列Ａを算出する（ステップＳＴ１２）。

画像変換部１８は、アフィンパラメータ算出部１７がアフィン行列Ａを算出すると、そのアフィン行列Ａを用いて、視線マッチング部６から出力された暫定的な位置合わせ処理後の対象画像をアフィン変換することで、基準画像と対象画像の位置合わせを実施する（ステップＳＴ１３）。

以上で明らかなように、この実施の形態１によれば、基準画像を構成している各ピクセルの濃度値を正規化するとともに、その基準画像と位置合わせを行う対象画像を構成している各ピクセルの濃度値を正規化する濃度値正規化部１１と、濃度値正規化部１１により正規化された各ピクセルの濃度値を評価して、基準画像及び対象画像を構成している各ピクセルの中で、相関値計算に用いるピクセルを特定する計算対象ピクセル特定部１４と、濃度値正規化部１１により正規化された各ピクセルの濃度値のうち、計算対象ピクセル特定部１４により特定されたピクセルの濃度値を用いて、基準画像における部分画像と対象画像における部分画像間の位置をずらしながら、基準画像における部分画像と対象画像における部分画像間の相関値を計算し、その相関値が最も高くなる位置から基準画像における部分画像と対象画像における部分画像間のずれ量を特定する部分画像ずれ量特定部１６とを設け、部分画像ずれ量特定部１６により特定されたずれ量にしたがって基準画像と対象画像間の位置合わせを行うように構成したので、２枚の画像が雲を含む場合でも、２枚の画像間の正確な位置合わせを行うことができる効果を奏する。

この実施の形態１では、基準画像及び対象画像における部分画像に含まれている雲の比率に関わらず、基準画像における部分画像と対象画像における部分画像間のずれ量を算出して、基準画像と対象画像間の位置合わせを行うものを示したが、基準画像及び対象画像における部分画像に含まれている雲の比率が高い場合（例えば、雲の比率が５０％以上である場合）、相関値計算に用いるピクセルの数が少なくなり、部分画像ずれ量特定部１６により計算される部分画像間の相関値の信頼性が低下してしまう場合がある。
そこで、アフィンパラメータ算出部１７が、画像のアフィン変換に用いるアフィン行列Ａを算出する際、雲の比率が予め設定された上限値（例えば、５０％）を超えている２つの部分画像間のずれ量については使用しないで、アフィン行列Ａを算出する（雲の比率が高い２つの部分画像間のずれ量を式（２）に代入しないで、アフィン行列Ａを算出する）ようにしてもよい。

また、雲の割合が少ない場合でも、部分画像ずれ量特定部１６により計算される部分画像間の相関値が高くならない場合がある（２つの部分画像間の位置をどのようにずらしても、相関値が高くならない場合がある）。
このような場合、例えば、図８で示すような状況（例えば、２枚の画像の撮影時刻に差があるために、１枚目の画像の撮影後に造成が行われて、２枚目の画像に造成された結果が撮影されているような状況）が考えられるので、部分画像ずれ量特定部１６により算出されたずれ量の信頼性は低いものとなる。
そこで、２つの部分画像間の位置をどのようにずらしても、部分画像ずれ量特定部１６により計算される部分画像間の相関値が高くならない場合、基準画像と対象画像間の位置合わせを不可能と判断して、基準画像と対象画像間の位置合わせを行わない旨を示すメッセージ等を出力するようにしてもよい。

この実施の形態１では、基準画像及び対象画像を複数の部分画像に分割し、対応関係がある２つの部分画像間の相関値にしたがってアフィン行列を算出するものを示したが、基準画像及び対象画像を複数の部分画像に分割する前に、基準画像及び対象画像を縮小して、縮小後の基準画像及び対象画像を複数の部分画像に分割し、対応関係がある２つの部分画像間の相関値したがってアフィン行列を算出するようにしてもよい。
具体的には、以下の通りである。

例えば、視線マッチング部６から出力された基準画像及び対象画像を１／４に縮小し、１／４に縮小した基準画像及び対象画像を複数の部分画像に分割することで、上記と同様の方法で、アフィン行列Ａ_1/4を算出する。
また、視線マッチング部６から出力された基準画像及び対象画像を１／２に縮小し、１／２に縮小した基準画像及び対象画像を複数の部分画像に分割することで、上記と同様の方法で、アフィン行列Ａ_1/2を算出する。
また、視線マッチング部６から出力された基準画像及び対象画像を縮小せずに、複数の部分画像に分割することで、上記と同様の方法で、アフィン行列Ａ_1/1を算出する。
そして、上記のアフィン行列Ａ_1/4とアフィン行列Ａ_1/2とアフィン行列Ａ_1/1との積を最終的なアフィン行列Ａ（＝Ａ_1/4×Ａ_1/2×Ａ_1/1）として算出し、そのアフィン行列Ａを用いて、視線マッチング部６から出力された対象画像をアフィン変換することで、基準画像と対象画像の位置合わせを実施する。
このように、基準画像及び対象画像の縮小率を変えながら複数のアフィン行列を算出して、最終的なアフィン行列Ａを得ることで、基準画像と対象画像の位置合わせ精度を高めることができる。

実施の形態２．
上記実施の形態１では、２枚の画像が雲を含む場合、雲に対応するピクセルを相関値計算に用いるピクセルから除外して、相関値の信頼性を高めるものを示したが、この実施の形態２では、２枚の画像が建物等の影を含む場合、影に対応するピクセルを相関値計算に用いるピクセルから除外して、相関値の信頼性を高めるようにしている。
なお、影に対応するピクセルの濃度値は低くなるので、画像上のピクセルの濃度値を見れば、影に対応するピクセルの候補を探索することができるが、影以外の物体に対応するピクセルの濃度値も低くなることがあるので、ピクセルの濃度値だけでは、本当に影に対応するピクセルであるかは判定することができない。

図４はこの発明の実施の形態２による画像位置合わせ装置の画像マッチング部７を示す構成図であり、図４において、図３と同一符号は同一または相当部分を示すので説明を省略する。
高濃度ピクセル特定部２１は視線マッチング部６から出力された前処理後の基準画像を構成している各ピクセルの中で、予め設定された閾値Ｔｈ２より濃度値が高いピクセルである高濃度ピクセルを特定する処理を実施する。
また、高濃度ピクセル特定部２１は視線マッチング部６から出力された前処理後の対象画像を構成している各ピクセルの中で、予め設定された閾値Ｔｈ２より濃度値が高いピクセルである高濃度ピクセルを特定する処理を実施する。

ピクセル除外部２２は高濃度ピクセル特定部２１により特定された基準画像内の高濃度ピクセルと画像上の位置が対応している対象画像内のピクセルを特定し、その対象画像内のピクセルの正規化後の濃度値が負の値であれば、その基準画像内の高濃度ピクセルとその対象画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部１４に指示する処理を実施する。
また、ピクセル除外部２２は高濃度ピクセル特定部２１により特定された対象画像内の高濃度ピクセルと画像上の位置が対応している基準画像内のピクセルを特定し、その基準画像内のピクセルの正規化後の濃度値が負の値であれば、その対象画像内の高濃度ピクセルとその基準画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部１４に指示する処理を実施する。
なお、高濃度ピクセル特定部２１、ピクセル除外部２２及び計算対象ピクセル特定部１４から計算対象ピクセル特定手段が構成されている。

次に動作について説明する。
ただし、視線マッチング部６の処理内容は、上記実施の形態１と同様であるため、ここでは画像マッチング部７の処理内容だけを説明する。

画像マッチング部７の濃度値正規化部１１は、視線マッチング部６から基準画像と暫定的な位置合わせ処理後の対象画像を受けると、上記実施の形態１と同様に、その基準画像を構成している各ピクセルの濃度値の平均値が０で、各ピクセルの濃度値の標準偏差が１になるように、各ピクセルの濃度値を正規化する。
また、濃度値正規化部１１は、上記実施の形態１と同様に、暫定的な位置合わせ処理後の対象画像を構成している各ピクセルの濃度値の平均値が０で、各ピクセルの濃度値の標準偏差が１になるように、各ピクセルの濃度値を正規化する。
ここで、影に対応するピクセルの濃度値が低くなることは、上述した通りであるが、影に対応するピクセルの正規化後の濃度値は、基本的に負の値になる。

高濃度ピクセル特定部２１は、視線マッチング部６から基準画像と暫定的な位置合わせ処理後の対象画像を受けると、基準画像内で影に対応するピクセルの候補を見つけるため、その基準画像を構成している各ピクセルの中で、予め設定された閾値Ｔｈ２より濃度値が高いピクセルである高濃度ピクセルを特定する。
また、高濃度ピクセル特定部２１は、対象画像内で影に対応するピクセルの候補を見つけるため、暫定的な位置合わせ処理後の対象画像を構成している各ピクセルの中で、予め設定された閾値Ｔｈ２より濃度値が高いピクセルである高濃度ピクセルを特定する。
例えば、１ピクセル当り１２ｂｉｔの濃度値を有する画像である場合、閾値Ｔｈ２としては、Ｔｈ２＝４０８０などが設定される。

ピクセル除外部２２は、高濃度ピクセル特定部２１が基準画像内の高濃度ピクセルを特定すると、その基準画像内の高濃度ピクセルと画像上の位置が対応している対象画像内のピクセルを特定する。即ち、暫定的な位置合わせ処理後の対象画像を構成している複数のピクセルの中で、その基準画像内の高濃度ピクセルと画像上の位置が対応しているピクセルを特定する。
ピクセル除外部２２は、基準画像内の高濃度ピクセルと画像上の位置が対応している対象画像内のピクセルを特定すると、その対象画像内のピクセルの正規化後の濃度値（濃度値正規化部１１により正規化された濃度値）が負の値であれば、その対象画像内のピクセルは影に対応するピクセルであると判断し、その基準画像内の高濃度ピクセルと、その対象画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部１４に指示する。

また、ピクセル除外部２２は、高濃度ピクセル特定部２１が暫定的な位置合わせ処理後の対象画像内の高濃度ピクセルを特定すると、その対象画像内の高濃度ピクセルと画像上の位置が対応している基準画像内のピクセルを特定する。即ち、基準画像を構成している複数のピクセルの中で、暫定的な位置合わせ処理後の対象画像内の高濃度ピクセルと画像上の位置が対応しているピクセルを特定する。
ピクセル除外部２２は、暫定的な位置合わせ処理後の対象画像内の高濃度ピクセルと画像上の位置が対応している基準画像内のピクセルを特定すると、その基準画像内のピクセルの正規化後の濃度値（濃度値正規化部１１により正規化された濃度値）が負の値であれば、その基準画像内のピクセルは影に対応するピクセルであると判断し、暫定的な位置合わせ処理後の対象画像内の高濃度ピクセルと、その基準画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部１４に指示する。
ここでは、ピクセル除外部２２が相関値計算に用いるピクセルの除外指示を計算対象ピクセル特定部１４に出力している例を示しているが、ピクセル除外部２２が自ら相関値計算に用いるピクセルの除外処理を行うようにしてもよい。

計算対象ピクセル特定部１４は、基準画像を構成している複数のピクセルのうち、ピクセル除外部２２が除外を指示しているピクセルを相関値計算に用いるピクセルから除外する。
また、計算対象ピクセル特定部１４は、暫定的な位置合わせ処理後の対象画像を構成している複数のピクセルのうち、ピクセル除外部２２が除外を指示しているピクセルを相関値計算に用いるピクセルから除外する。
そして、計算対象ピクセル特定部１４は、基準画像及び暫定的な位置合わせ処理後の対象画像を構成しているピクセルの中で、除外せずに残っているピクセルを相関値計算に用いるピクセルとして特定する。
ただし、基準画像内の高濃度ピクセルと画像上の位置が対応している対象画像内のピクセルの中に、正規化後の濃度値が負の値であるピクセルが１つもなく、また、対象画像内の高濃度ピクセルと画像上の位置が対応している基準画像内のピクセルの中に、正規化後の濃度値が負の値であるピクセルが１つもなければ、基準画像及び対象画像を構成している全てのピクセルを相関値計算に用いるピクセルとして特定する。

画像分割部１５、部分画像ずれ量特定部１６、アフィンパラメータ算出部１７及び画像変換部１８の処理内容は、上記実施の形態１と同様であるため説明を省略する。
この実施の形態２によれば、２枚の画像が影を含む場合でも、２枚の画像間の正確な位置合わせを行うことができる効果を奏する。

実施の形態３．
この実施の形態３では、２枚の画像が雲及び建物等の影を含む場合、雲に対応するピクセルと、影に対応するピクセルとを相関値計算に用いるピクセルから除外して、相関値の信頼性を高めるようにしている。

図５はこの発明の実施の形態３による画像位置合わせ装置の画像マッチング部７を示す構成図であり、図５において、図３及び図４と同一符号は同一または相当部分を示すので説明を省略する。
計算対象ピクセル特定部３０は基準画像及び対象画像を構成している各ピクセルの中で、ピクセル除外部１３及びピクセル除外部２２により除外が指示されたピクセルを相関値計算に用いるピクセルから除外し、除外せずに残っているピクセルを相関値計算に用いるピクセルとして特定する処理を実施する。
なお、低濃度ピクセル特定部１２、高濃度ピクセル特定部２１、ピクセル除外部１３，２２及び計算対象ピクセル特定部３０から計算対象ピクセル特定手段が構成されている。
また、この実施の形態３では、ピクセル除外部１３が第１のピクセル除外部を構成し、ピクセル除外部２２が第２のピクセル除外部を構成している。

次に動作について説明する。
ただし、視線マッチング部６の処理内容は、上記実施の形態１と同様であるため、ここでは画像マッチング部７の処理内容だけを説明する。

画像マッチング部７の濃度値正規化部１１は、視線マッチング部６から基準画像と暫定的な位置合わせ処理後の対象画像を受けると、上記実施の形態１と同様に、その基準画像を構成している各ピクセルの濃度値の平均値が０で、各ピクセルの濃度値の標準偏差が１になるように、各ピクセルの濃度値を正規化する。
また、濃度値正規化部１１は、上記実施の形態１と同様に、暫定的な位置合わせ処理後の対象画像を構成している各ピクセルの濃度値の平均値が０で、各ピクセルの濃度値の標準偏差が１になるように、各ピクセルの濃度値を正規化する。
ここで、雲に対応するピクセルの濃度値が高くなることは、上述した通りであるが、雲に対応するピクセルの正規化後の濃度値は、基本的に正の値になる。また、影に対応するピクセルの濃度値が低くなることは、上述した通りであるが、影に対応するピクセルの正規化後の濃度値は、基本的に負の値になる。

低濃度ピクセル特定部１２は、視線マッチング部６から基準画像と暫定的な位置合わせ処理後の対象画像を受けると、上記実施の形態１と同様に、基準画像内で雲に対応するピクセルの候補を見つけるため、その基準画像を構成している各ピクセルの中で、予め設定された閾値Ｔｈ１より濃度値が低いピクセルである低濃度ピクセルを特定する。
また、低濃度ピクセル特定部１２は、対象画像内で雲に対応するピクセルの候補を見つけるため、暫定的な位置合わせ処理後の対象画像を構成している各ピクセルの中で、予め設定された閾値Ｔｈ１より濃度値が低いピクセルである低濃度ピクセルを特定する。
例えば、１ピクセル当り１２ｂｉｔの濃度値を有する画像である場合、閾値Ｔｈ１としては、Ｔｈ１＝１６などが設定される。

ピクセル除外部１３は、低濃度ピクセル特定部１２が基準画像内の低濃度ピクセルを特定すると、上記実施の形態１と同様に、その基準画像内の低濃度ピクセルと画像上の位置が対応している対象画像内のピクセルを特定する。即ち、暫定的な位置合わせ処理後の対象画像を構成している複数のピクセルの中で、その基準画像内の低濃度ピクセルと画像上の位置が対応しているピクセルを特定する。
ピクセル除外部１３は、基準画像内の低濃度ピクセルと画像上の位置が対応している対象画像内のピクセルを特定すると、上記実施の形態１と同様に、その対象画像内のピクセルの正規化後の濃度値（濃度値正規化部１１により正規化された濃度値）が正の値であれば、その対象画像内のピクセルは雲に対応するピクセルであると判断し、その基準画像内の低濃度ピクセルと、その対象画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部３０に指示する。

また、ピクセル除外部１３は、低濃度ピクセル特定部１２が暫定的な位置合わせ処理後の対象画像内の低濃度ピクセルを特定すると、上記実施の形態１と同様に、その対象画像内の低濃度ピクセルと画像上の位置が対応している基準画像内のピクセルを特定する。即ち、基準画像を構成している複数のピクセルの中で、暫定的な位置合わせ処理後の対象画像内の低濃度ピクセルと画像上の位置が対応しているピクセルを特定する。
ピクセル除外部１３は、暫定的な位置合わせ処理後の対象画像内の低濃度ピクセルと画像上の位置が対応している基準画像内のピクセルを特定すると、上記実施の形態１と同様に、その基準画像内のピクセルの正規化後の濃度値（濃度値正規化部１１により正規化された濃度値）が正の値であれば、その基準画像内のピクセルは雲に対応するピクセルであると判断し、暫定的な位置合わせ処理後の対象画像内の低濃度ピクセルと、その基準画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部３０に指示する。

高濃度ピクセル特定部２１は、視線マッチング部６から基準画像と暫定的な位置合わせ処理後の対象画像を受けると、上記実施の形態２と同様に、基準画像内で影に対応するピクセルの候補を見つけるため、その基準画像を構成している各ピクセルの中で、予め設定された閾値Ｔｈ２より濃度値が高いピクセルである高濃度ピクセルを特定する。
また、高濃度ピクセル特定部２１は、対象画像内で影に対応するピクセルの候補を見つけるため、暫定的な位置合わせ処理後の対象画像を構成している各ピクセルの中で、予め設定された閾値Ｔｈ２より濃度値が高いピクセルである高濃度ピクセルを特定する。
例えば、１ピクセル当り１２ｂｉｔの濃度値を有する画像である場合、閾値Ｔｈ２としては、Ｔｈ２＝４０８０などが設定される。

ピクセル除外部２２は、高濃度ピクセル特定部２１が基準画像内の高濃度ピクセルを特定すると、上記実施の形態２と同様に、その基準画像内の高濃度ピクセルと画像上の位置が対応している対象画像内のピクセルを特定する。即ち、暫定的な位置合わせ処理後の対象画像を構成している複数のピクセルの中で、その基準画像内の高濃度ピクセルと画像上の位置が対応しているピクセルを特定する。
ピクセル除外部２２は、基準画像内の高濃度ピクセルと画像上の位置が対応している対象画像内のピクセルを特定すると、上記実施の形態２と同様に、その対象画像内のピクセルの正規化後の濃度値（濃度値正規化部１１により正規化された濃度値）が負の値であれば、その対象画像内のピクセルは影に対応するピクセルであると判断し、その基準画像内の高濃度ピクセルと、その対象画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部３０に指示する。

また、ピクセル除外部２２は、高濃度ピクセル特定部２１が暫定的な位置合わせ処理後の対象画像内の高濃度ピクセルを特定すると、上記実施の形態２と同様に、その対象画像内の高濃度ピクセルと画像上の位置が対応している基準画像内のピクセルを特定する。即ち、基準画像を構成している複数のピクセルの中で、暫定的な位置合わせ処理後の対象画像内の高濃度ピクセルと画像上の位置が対応しているピクセルを特定する。
ピクセル除外部２２は、暫定的な位置合わせ処理後の対象画像内の高濃度ピクセルと画像上の位置が対応している基準画像内のピクセルを特定すると、上記実施の形態２と同様に、その基準画像内のピクセルの正規化後の濃度値（濃度値正規化部１１により正規化された濃度値）が負の値であれば、その基準画像内のピクセルは影に対応するピクセルであると判断し、暫定的な位置合わせ処理後の対象画像内の高濃度ピクセルと、その基準画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部３０に指示する。

計算対象ピクセル特定部３０は、基準画像を構成している複数のピクセルのうち、ピクセル除外部１３及びピクセル除外部２２が除外を指示しているピクセルを相関値計算に用いるピクセルから除外する。
また、計算対象ピクセル特定部３０は、暫定的な位置合わせ処理後の対象画像を構成している複数のピクセルのうち、ピクセル除外部１３及びピクセル除外部２２が除外を指示しているピクセルを相関値計算に用いるピクセルから除外する。
そして、計算対象ピクセル特定部３０は、基準画像及び暫定的な位置合わせ処理後の対象画像を構成しているピクセルの中で、除外せずに残っているピクセルを相関値計算に用いるピクセルとして特定する。
ただし、基準画像（対象画像）内の高濃度ピクセルと画像上の位置が対応している対象画像（基準画像）内のピクセルの中に、正規化後の濃度値が負の値であるピクセルが１つもなく、また、基準画像（対象画像）内の低濃度ピクセルと画像上の位置が対応している対象画像（基準画像）内のピクセルの中に、正規化後の濃度値が正の値であるピクセルが１つもなければ、基準画像及び対象画像を構成している全てのピクセルを相関値計算に用いるピクセルとして特定する。

画像分割部１５、部分画像ずれ量特定部１６、アフィンパラメータ算出部１７及び画像変換部１８の処理内容は、上記実施の形態１と同様であるため説明を省略する。
この実施の形態３によれば、２枚の画像が雲と影の双方を含む場合でも、２枚の画像間の正確な位置合わせを行うことができる効果を奏する。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 画像データ格納部、２ 位置情報格納部、３ 方向情報格納部、４ 高度情報格納部、５ 情報入力部、６ 視線マッチング部（前処理手段）、７ 画像マッチング部、１１ 濃度値正規化部（濃度値正規化手段）、１２ 低濃度ピクセル特定部（計算対象ピクセル特定手段）、１３ ピクセル除外部（計算対象ピクセル特定手段）、１４ 計算対象ピクセル特定部（計算対象ピクセル特定手段）、１５ 画像分割部（ずれ量特定手段）、１６ 部分画像ずれ量特定部（ずれ量特定手段）、１７ アフィンパラメータ算出部（画像位置合わせ手段）、１８ 画像変換部（画像位置合わせ手段）、２１ 高濃度ピクセル特定部（計算対象ピクセル特定手段）、２２ ピクセル除外部（計算対象ピクセル特定手段）、３０ 計算対象ピクセル特定部（計算対象ピクセル特定手段）。

Claims (9)

1. 第１の画像を構成している各ピクセルの濃度値を正規化するとともに、前記第１の画像と位置合わせを行う第２の画像を構成している各ピクセルの濃度値を正規化する濃度値正規化手段と、
   前記濃度値正規化手段により正規化された各ピクセルの濃度値を評価して、前記第１及び第２の画像を構成している各ピクセルの中で、相関値計算に用いるピクセルを特定する計算対象ピクセル特定手段と、
   前記濃度値正規化手段により正規化された各ピクセルの濃度値のうち、前記計算対象ピクセル特定手段により特定されたピクセルの濃度値を用いて、前記第１の画像と前記第２の画像間の位置をずらしながら、前記第１の画像と前記第２の画像間の相関値を計算し、前記相関値から前記第１の画像と前記第２の画像間のずれ量を特定するずれ量特定手段と、
   前記ずれ量特定手段により特定されたずれ量にしたがって前記第１の画像と前記第２の画像間の位置合わせを行う画像位置合わせ手段とを備え、
   前記計算対象ピクセル特定手段は、
   前記第１及び第２の画像を構成している各ピクセルの中で、予め設定された閾値よりも濃度値が低いピクセルである低濃度ピクセルを特定する低濃度ピクセル特定部と、
   前記低濃度ピクセル特定部により特定された第１の画像内の低濃度ピクセルと画像上の位置が対応している前記第２の画像内のピクセルの正規化後の濃度値が正の値であれば、前記第１の画像内の低濃度ピクセル及び前記第２の画像内のピクセルを相関値計算に用いるピクセルから除外し、前記低濃度ピクセル特定部により特定された第２の画像内の低濃度ピクセルと画像上の位置が対応している前記第１の画像内のピクセルの正規化後の濃度値が正の値であれば、前記第２の画像内の低濃度ピクセル及び前記第１の画像内のピクセルを相関値計算に用いるピクセルから除外するピクセル除外部と、
   前記第１及び第２の画像を構成している各ピクセルの中で、前記ピクセル除外部により除外されずに残っているピクセルを相関値計算に用いるピクセルとして特定する計算対象ピクセル特定部とを備えていることを特徴とする画像位置合わせ装置。
2. 第１の画像を構成している各ピクセルの濃度値を正規化するとともに、前記第１の画像と位置合わせを行う第２の画像を構成している各ピクセルの濃度値を正規化する濃度値正規化手段と、
   前記濃度値正規化手段により正規化された各ピクセルの濃度値を評価して、前記第１及び第２の画像を構成している各ピクセルの中で、相関値計算に用いるピクセルを特定する計算対象ピクセル特定手段と、
   前記濃度値正規化手段により正規化された各ピクセルの濃度値のうち、前記計算対象ピクセル特定手段により特定されたピクセルの濃度値を用いて、前記第１の画像と前記第２の画像間の位置をずらしながら、前記第１の画像と前記第２の画像間の相関値を計算し、前記相関値から前記第１の画像と前記第２の画像間のずれ量を特定するずれ量特定手段と、
   前記ずれ量特定手段により特定されたずれ量にしたがって前記第１の画像と前記第２の画像間の位置合わせを行う画像位置合わせ手段とを備え、
   前記計算対象ピクセル特定手段は、
   前記第１及び第２の画像を構成している各ピクセルの中で、予め設定された閾値よりも濃度値が高いピクセルである高濃度ピクセルを特定する高濃度ピクセル特定部と、
   前記高濃度ピクセル特定部により特定された第１の画像内の高濃度ピクセルと画像上の位置が対応している前記第２の画像内のピクセルの正規化後の濃度値が負の値であれば、前記第１の画像内の高濃度ピクセル及び前記第２の画像内のピクセルを相関値計算に用いるピクセルから除外し、前記高濃度ピクセル特定部により特定された第２の画像内の高濃度ピクセルと画像上の位置が対応している前記第１の画像内のピクセルの正規化後の濃度値が負の値であれば、前記第２の画像内の高濃度ピクセル及び前記第１の画像内のピクセルを相関値計算に用いるピクセルから除外するピクセル除外部と、
   前記第１及び第２の画像を構成している各ピクセルの中で、前記ピクセル除外部により除外されずに残っているピクセルを相関値計算に用いるピクセルとして特定する計算対象ピクセル特定部とを備えていることを特徴とする画像位置合わせ装置。
3. 第１の画像を構成している各ピクセルの濃度値を正規化するとともに、前記第１の画像と位置合わせを行う第２の画像を構成している各ピクセルの濃度値を正規化する濃度値正規化手段と、
   前記濃度値正規化手段により正規化された各ピクセルの濃度値を評価して、前記第１及び第２の画像を構成している各ピクセルの中で、相関値計算に用いるピクセルを特定する計算対象ピクセル特定手段と、
   前記濃度値正規化手段により正規化された各ピクセルの濃度値のうち、前記計算対象ピクセル特定手段により特定されたピクセルの濃度値を用いて、前記第１の画像と前記第２の画像間の位置をずらしながら、前記第１の画像と前記第２の画像間の相関値を計算し、前記相関値から前記第１の画像と前記第２の画像間のずれ量を特定するずれ量特定手段と、
   前記ずれ量特定手段により特定されたずれ量にしたがって前記第１の画像と前記第２の画像間の位置合わせを行う画像位置合わせ手段とを備え、
   前記計算対象ピクセル特定手段は、
   前記第１及び第２の画像を構成している各ピクセルの中で、予め設定された第１の閾値よりも濃度値が低いピクセルである低濃度ピクセルを特定する低濃度ピクセル特定部と、
   前記第１及び第２の画像を構成している各ピクセルの中で、予め前記第１の閾値よりも大きな値に設定されている第２の閾値よりも濃度値が高いピクセルである高濃度ピクセルを特定する高濃度ピクセル特定部と、
   前記低濃度ピクセル特定部により特定された第１の画像内の低濃度ピクセルと画像上の位置が対応している前記第２の画像内のピクセルの正規化後の濃度値が正の値であれば、前記第１の画像内の低濃度ピクセル及び前記第２の画像内のピクセルを相関値計算に用いるピクセルから除外し、前記低濃度ピクセル特定部により特定された第２の画像内の低濃度ピクセルと画像上の位置が対応している前記第１の画像内のピクセルの正規化後の濃度値が正の値であれば、前記第２の画像内の低濃度ピクセル及び前記第１の画像内のピクセルを相関値計算に用いるピクセルから除外する第１のピクセル除外部と、
   前記高濃度ピクセル特定部により特定された第１の画像内の高濃度ピクセルと画像上の位置が対応している前記第２の画像内のピクセルの正規化後の濃度値が負の値であれば、前記第１の画像内の高濃度ピクセル及び前記正規化後の濃度値が負の値である前記第２の画像内のピクセルを相関値計算に用いるピクセルから除外し、前記高濃度ピクセル特定部により特定された第２の画像内の高濃度ピクセルと画像上の位置が対応している前記第１の画像内のピクセルの正規化後の濃度値が負の値であれば、前記第２の画像内の高濃度ピクセル及び前記正規化後の濃度値が負の値である前記第１の画像内のピクセルを相関値計算に用いるピクセルから除外する第２のピクセル除外部と、
   前記第１及び第２の画像を構成している各ピクセルの中で、前記第１及び第２のピクセル除外部により除外されずに残っているピクセルを相関値計算に用いるピクセルとして特定する計算対象ピクセル特定部とを備えていることを特徴とする画像位置合わせ装置。
4. 前記第１の画像を構成している各ピクセルに対応する地表面の３次元座標と、前記第２の画像を構成している各ピクセルに対応する地表面の３次元座標とが一致する両画像上の対応点を特定し、前記対応点を基準にして前記第１の画像と前記第２の画像間の暫定的な位置合わせを行う前処理を実施し、前処理後の第１及び第２の画像を前記濃度値正規化手段、前記計算対象ピクセル特定手段、前記ずれ量特定手段及び前記画像位置合わせ手段に出力する前処理手段を備えたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像位置合わせ装置。
5. 前記ずれ量特定手段は、
   前記前処理手段による前処理後の第１及び第２の画像を複数の部分画像に分割する画像分割部と、
   前記濃度値正規化手段により正規化された各ピクセルの濃度値のうち、前記計算対象ピクセル特定手段により特定されたピクセルの濃度値を用いて、前記画像分割部により分割された第１の画像における部分画像と前記第２の画像における部分画像間の位置をずらしながら、前記第１の画像における部分画像と前記第２の画像における部分画像間の相関値を部分画像単位に計算し、前記相関値が最も高くなる位置から前記第１の画像における部分画像と前記第２の画像における部分画像間のずれ量を部分画像単位に特定する部分画像ずれ量特定部とを備えていることを特徴とする請求項４記載の画像位置合わせ装置。
6. 前記画像位置合わせ手段は、
   前記部分画像ずれ量特定部により特定された第１の画像における部分画像と前記第２の画像における部分画像間のずれ量から、画像のアフィン変換に用いるアフィンパラメータを算出するアフィンパラメータ算出部と、
   前記アフィンパラメータ算出部により算出されたアフィンパラメータを用いて、前記第２の画像をアフィン変換することで、前記第１の画像と前記第２の画像間の位置合わせを行う画像変換部とを備えていることを特徴とする請求項５記載の画像位置合わせ装置。
7. 濃度値正規化手段が、第１の画像を構成している各ピクセルの濃度値を正規化するとともに、前記第１の画像と位置合わせを行う第２の画像を構成している各ピクセルの濃度値を正規化する濃度値正規化処理ステップと、
   計算対象ピクセル特定手段が、前記濃度値正規化処理ステップで正規化された各ピクセルの濃度値を評価して、前記第１及び第２の画像を構成している各ピクセルの中で、相関値計算に用いるピクセルを特定する計算対象ピクセル特定処理ステップと、
   ずれ量特定手段が、前記濃度値正規化処理ステップで正規化された各ピクセルの濃度値のうち、前記計算対象ピクセル特定処理ステップで特定されたピクセルの濃度値を用いて、前記第１の画像と前記第２の画像間の位置をずらしながら、前記第１の画像と前記第２の画像間の相関値を計算し、前記相関値から前記第１の画像と前記第２の画像間のずれ量を特定するずれ量特定処理ステップと、
   画像位置合わせ手段が、前記ずれ量特定処理ステップで特定されたずれ量にしたがって前記第１の画像と前記第２の画像間の位置合わせを行う画像位置合わせ処理ステップとを備え、
   前記計算対象ピクセル特定処理ステップは、
   前記第１及び第２の画像を構成している各ピクセルの中で、予め設定された閾値よりも濃度値が低いピクセルである低濃度ピクセルを特定し、
   前記特定した第１の画像内の低濃度ピクセルと画像上の位置が対応している前記第２の画像内のピクセルの正規化後の濃度値が正の値であれば、前記第１の画像内の低濃度ピクセル及び前記第２の画像内のピクセルを相関値計算に用いるピクセルから除外し、前記特定した第２の画像内の低濃度ピクセルと画像上の位置が対応している前記第１の画像内のピクセルの正規化後の濃度値が正の値であれば、前記第２の画像内の低濃度ピクセル及び前記第１の画像内のピクセルを相関値計算に用いるピクセルから除外し、
   前記第１及び第２の画像を構成している各ピクセルの中で、除外せずに残っているピクセルを相関値計算に用いるピクセルとして特定することを特徴とする画像位置合わせ方法。
8. 濃度値正規化手段が、第１の画像を構成している各ピクセルの濃度値を正規化するとともに、前記第１の画像と位置合わせを行う第２の画像を構成している各ピクセルの濃度値を正規化する濃度値正規化処理ステップと、
   計算対象ピクセル特定手段が、前記濃度値正規化処理ステップで正規化された各ピクセルの濃度値を評価して、前記第１及び第２の画像を構成している各ピクセルの中で、相関値計算に用いるピクセルを特定する計算対象ピクセル特定処理ステップと、
   ずれ量特定手段が、前記濃度値正規化処理ステップで正規化された各ピクセルの濃度値のうち、前記計算対象ピクセル特定処理ステップで特定されたピクセルの濃度値を用いて、前記第１の画像と前記第２の画像間の位置をずらしながら、前記第１の画像と前記第２の画像間の相関値を計算し、前記相関値から前記第１の画像と前記第２の画像間のずれ量を特定するずれ量特定処理ステップと、
   画像位置合わせ手段が、前記ずれ量特定処理ステップで特定されたずれ量にしたがって前記第１の画像と前記第２の画像間の位置合わせを行う画像位置合わせ処理ステップとを備え、
   前記計算対象ピクセル特定処理ステップは、
   前記第１及び第２の画像を構成している各ピクセルの中で、予め設定された閾値よりも濃度値が高いピクセルである高濃度ピクセルを特定し、
   前記特定した第１の画像内の高濃度ピクセルと画像上の位置が対応している前記第２の画像内のピクセルの正規化後の濃度値が負の値であれば、前記第１の画像内の高濃度ピクセル及び前記第２の画像内のピクセルを相関値計算に用いるピクセルから除外し、前記特定した第２の画像内の高濃度ピクセルと画像上の位置が対応している前記第１の画像内のピクセルの正規化後の濃度値が負の値であれば、前記第２の画像内の高濃度ピクセル及び前記第１の画像内のピクセルを相関値計算に用いるピクセルから除外し、
   前記第１及び第２の画像を構成している各ピクセルの中で、除外せずに残っているピクセルを相関値計算に用いるピクセルとして特定することを特徴とする画像位置合わせ方法。
9. 濃度値正規化手段が、第１の画像を構成している各ピクセルの濃度値を正規化するとともに、前記第１の画像と位置合わせを行う第２の画像を構成している各ピクセルの濃度値を正規化する濃度値正規化処理ステップと、
   計算対象ピクセル特定手段が、前記濃度値正規化処理ステップで正規化された各ピクセルの濃度値を評価して、前記第１及び第２の画像を構成している各ピクセルの中で、相関値計算に用いるピクセルを特定する計算対象ピクセル特定処理ステップと、
   ずれ量特定手段が、前記濃度値正規化処理ステップで正規化された各ピクセルの濃度値のうち、前記計算対象ピクセル特定処理ステップで特定されたピクセルの濃度値を用いて、前記第１の画像と前記第２の画像間の位置をずらしながら、前記第１の画像と前記第２の画像間の相関値を計算し、前記相関値から前記第１の画像と前記第２の画像間のずれ量を特定するずれ量特定処理ステップと、
   画像位置合わせ手段が、前記ずれ量特定処理ステップで特定されたずれ量にしたがって前記第１の画像と前記第２の画像間の位置合わせを行う画像位置合わせ処理ステップとを備え、
   前記計算対象ピクセル特定処理ステップは、
   前記第１及び第２の画像を構成している各ピクセルの中で、予め設定された第１の閾値よりも濃度値が低いピクセルである低濃度ピクセルを特定し、
   前記第１及び第２の画像を構成している各ピクセルの中で、予め前記第１の閾値よりも大きな値に設定されている第２の閾値よりも濃度値が高いピクセルである高濃度ピクセルを特定し、
   前記特定した第１の画像内の低濃度ピクセルと画像上の位置が対応している前記第２の画像内のピクセルの正規化後の濃度値が正の値であれば、前記第１の画像内の低濃度ピクセル及び前記第２の画像内のピクセルを相関値計算に用いるピクセルから除外し、前記特定した第２の画像内の低濃度ピクセルと画像上の位置が対応している前記第１の画像内のピクセルの正規化後の濃度値が正の値であれば、前記第２の画像内の低濃度ピクセル及び前記第１の画像内のピクセルを相関値計算に用いるピクセルから除外し、
   前記特定した第１の画像内の高濃度ピクセルと画像上の位置が対応している前記第２の画像内のピクセルの正規化後の濃度値が負の値であれば、前記第１の画像内の高濃度ピクセル及び前記正規化後の濃度値が負の値である前記第２の画像内のピクセルを相関値計算に用いるピクセルから除外し、前記特定した第２の画像内の高濃度ピクセルと画像上の位置が対応している前記第１の画像内のピクセルの正規化後の濃度値が負の値であれば、前記第２の画像内の高濃度ピクセル及び前記正規化後の濃度値が負の値である前記第１の画像内のピクセルを相関値計算に用いるピクセルから除外し、
   前記第１及び第２の画像を構成している各ピクセルの中で、除外せずに残っているピクセルを相関値計算に用いるピクセルとして特定することを特徴とする画像位置合わせ方法。

Images