JP4560023B2

JP4560023B2 - 画像マッチング装置、画像マッチングプログラム及び画像マッチング方法

Info

Publication number: JP4560023B2
Application number: JP2006249330A
Authority: JP
Inventors: 若路橋本
Original assignee: Mitsubishi Space Software Co Ltd
Current assignee: Mitsubishi Space Software Co Ltd
Priority date: 2006-09-14
Filing date: 2006-09-14
Publication date: 2010-10-13
Anticipated expiration: 2026-09-14
Also published as: JP2008071127A

Description

本発明は、例えば、複数の画像間の画素位置の対応関係を求める画像マッチング処理に関するものである。

従来、デジタル画像のテンプレートマッチング手法には、ピラミッド構造化を用いたローカルエリアマッチングがある。ピラミッド構造化とは、初めは粗い解像度でマッチングを行い、順次解像度を高くしてマッチングを繰り返す手法であり、ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ法、粗密探索法ともいう。また、ローカルエリアマッチングとは、画像を分割して生成した小領域画像毎にマッチングを行う手法である。ピラミッド構造化を用いたローカルエリアマッチングでは、低解像度から高解像度に解像度を徐々に上げながら、分割された小領域毎にマッチングを行う。また、ピラミッド構造化を用いたローカルエリアマッチングでは、各解像度におけるマッチング探索初期位置に、前段階の最適マッチング位置を使用し、前段階のマッチング結果に基づき探索範囲を限定する。ピラミッド構造化を用いたローカルエリアマッチングは、低解像度画像によるマッチング結果に基づき探索範囲を限定することで、短時間にマッチング結果を得ることができ、最終的に得られるマッチング結果は高解像度画像でマッチングした結果であるためマッチング精度が高い。
特開２００５−３０８５５３号公報特開平１０−２１３８９号公報特開２００３−１０９００３号公報特開２００１−１４８０１４号公報特開平６−２７４５９４号公報

従来のデジタル画像のマッチング手法では、Ｂ／Ｈ（Ｂａｓｅ−Ｈｅｉｇｈｔ）比の大きいリモートセンシング画像、顔識別システムや異なる時期に撮影された胸部Ｘ線画像等での入力された画像間の幾何学的歪みが大きい場合、マッチング精度が低くなるという課題がある。
本発明は、例えば、入力された画像間の幾何学的歪みが大きい場合であっても、高い精度のマッチングを行うことを目的とする。

本発明に係る画像マッチング装置は、例えば、第１画像と第２画像とを入力して記憶装置に記憶する画像入力部と、
上記画像入力部が入力した第１画像を処理装置により複数の画像に分割して複数の小領域画像を生成する画像分割部と、
上記画像分割部が生成した複数の小領域画像の各小領域画像に対応する対応画像を上記第２画像から検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を処理装置により取得する対応画像検索部と、
上記対応画像検索部が取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第１画像を幾何変換して新たな第１画像を生成して記憶装置に記憶する画像変換部とを備え、
上記画像入力部は、上記画像変換部が生成した新たな第１画像を第１画像として新たに入力し、
上記画像分割部は、上記画像入力部が新たに入力した第１画像を複数の画像に分割して複数の小領域画像を新たに生成し、
上記対応画像検索部は、上記画像分割部が新たに生成した複数の小領域画像の各小領域画像に対応する対応画像を上記第２画像から新たに検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を新たに取得する
ことを特徴とする。

上記画像変換部は、上記対応画像検索部が取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、小領域分割法により上記第１画像を任意変形して新たな第１画像を生成する
ことを特徴とする。

上記画像変換部は、上記対応画像検索部が取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、最小２乗法により上記第１画像と上記第２画像の画像座標値の関係を近似して、上記第１画像を任意変形して新たな第１画像を生成する
ことを特徴とする。

上記画像マッチング装置は、さらに、
上記画像入力部が入力した第１画像と第２画像とを相似縮小して縮小画像を生成して記憶装置に記憶する縮小画像生成部を備え、
上記画像分割部は、上記縮小画像生成部が生成した第１画像の縮小画像を複数の画像に分割して複数の小領域画像を生成し、
上記対応画像検索部は、上記画像分割部が生成した複数の小領域画像の各小領域画像に対応する対応画像を上記縮小画像生成部が生成した第２画像の縮小画像から検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を取得し、
上記縮小画像生成部は、上記画像入力部が新たに入力した第１画像と第２画像とを上記縮小画像よりも高解像度の画像に相似縮小して縮小画像を新たに生成し、
上記画像分割部は、上記縮小画像生成部が新たに生成した第１画像の縮小画像を複数の画像に分割して複数の小領域画像を新たに生成し、
上記対応画像検索部は、上記画像分割部が新たに生成した複数の小領域画像の各小領域画像に対応する対応画像を上記縮小画像生成部が新たに生成した第２画像の縮小画像から検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を新たに取得する
ことを特徴とする。

上記画像マッチング装置は、さらに、
上記画像入力部と上記画像分割部と上記対応画像検索部と上記画像変換部とに処理を所定の回数実行させるマッチング処理制御部を備え、
上記画像入力部は、所定の回数目に上記画像変換部により生成された新たな第１画像を第１画像として新たに入力し、
上記画像分割部は、上記画像入力部が新たに入力した第１画像を複数の画像に分割して複数の小領域画像を新たに生成し、
上記対応画像検索部は、上記画像分割部が新たに生成した複数の小領域画像の各小領域画像に対応する対応画像を上記第２画像から新たに検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を新たに取得し、
上記画像マッチング装置は、さらに、
所定の回数目に生成された新たな第１画像に基づき取得された上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、初めに上記画像入力部が入力した第１画像の各画素の画像座標値と上記第２画像の画像座標値との対応関係情報をマッチング結果として出力するマッチング結果出力部と
を備えることを特徴とする。

上記画像入力部は、第１画像と複数の第２画像とを入力し、
上記対応画像検索部は、上記画像分割部が生成した複数の小領域画像の各小領域画像に対応する対応画像を上記複数の第２画像の各第２画像から検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記各第２画像の画像座標値を取得し、
上記画像変換部は、上記複数の第２画像の各第２画像について、上記対応画像検索部が取得した上記第１画像の各画素の画像座標値に対応する当該第２画像の画像座標値を用いて、上記第１画像を幾何変換して上記第２画像に対応する新たな第１画像を生成し、
上記画像入力部は、上記画像変換部が生成した複数の新たな第１画像を入力し、
上記画像分割部は、上記画像入力部が入力した複数の新たな第１画像の各新たな第１画像を複数の画像に分割して複数の新たな小領域画像を生成し、
上記対応画像検索部は、上記複数の新たな第１画像の各第１画像について、上記画像分割部が生成した複数の新たな小領域画像の各新たな小領域画像に対応する新たな対応画像を当該新たな第１画像に対応する第２画像から検索して、上記各新たな小領域画像の各画素の上記新たな第１画像における画像座標値に対応する上記第２画像の画像座標値を取得する
ことを特徴とする。

また、本発明に係る画像マッチング装置は、例えば、第１画像と第２画像とを入力して記憶装置に記憶する画像入力部と、
上記画像入力部が入力した第１画像を処理装置により複数の画像に分割して複数の小領域画像を生成する画像分割部と、
上記画像分割部が生成した複数の小領域画像の各小領域画像に対応する対応画像を上記第２画像から検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を処理装置により取得する対応画像検索部と、
上記対応画像検索部が取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第２画像を幾何変換して新たな第２画像を生成して記憶装置に記憶する画像変換部とを備え、
上記画像入力部は、上記画像変換部が生成した新たな第２画像を第２画像として新たに入力し、
上記対応画像検索部は、上記画像分割部が生成した複数の小領域画像の各小領域画像に対応する対応画像を上記画像入力部が新たに入力した第２画像から新たに検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を新たに取得する
ことを特徴とする。

上記画像変換部は、上記対応画像検索部が取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第１画像の各画素の画像座標に対応する第２画像の画素値を内挿によって求めて、上記第２画像を任意変形して新たな第２画像を生成する
ことを特徴とする。

さらに、本発明に係る画像マッチング装置は、例えば、第１画像と第２画像とを入力して記憶装置に記憶する画像入力部と、
上記画像入力部が入力した第１画像の各画素の画像座標値に対応する上記第２画像の画像座標値を処理装置により検索して取得する対応画像検索部と、
上記対応画像検索部が取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第１画像を幾何変換して新たな第１画像を生成して記憶装置に記憶する画像変換部とを備え、
上記画像入力部は、上記画像変換部が生成した新たな第１画像を第１画像として新たに入力し、
上記対応画像検索部は、上記画像入力部が新たに入力した第１画像の各画素の画像座標値に対応する上記第２画像の画像座標値を新たに検索して取得する
ことを特徴とする。

また、さらに、本発明に係る画像マッチング装置は、例えば、第１画像と第２画像とを入力して記憶装置に記憶する画像入力部と、
上記画像入力部が入力した第１画像の各画素の画像座標値に対応する上記第２画像の画像座標値を処理装置により検索して取得する対応画像検索部と、
上記対応画像検索部が取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第２画像を幾何変換して新たな第２画像を生成して記憶装置に記憶する画像変換部とを備え、
上記画像入力部は、上記画像変換部が生成した新たな第２画像を第２画像として新たに入力し、
上記対応画像検索部は、上記第１画像の各画素の画像座標値に対応する上記画像入力部が新たに入力した第２画像の画像座標値を新たに検索して取得する
ことを特徴とする。

本発明に係る画像マッチングプログラムは、例えば、第１画像と第２画像とを入力して記憶装置に記憶する画像入力処理と、
上記画像入力処理で入力した第１画像を処理装置により複数の画像に分割して複数の小領域画像を生成する画像分割処理と、
上記画像分割処理で生成した複数の小領域画像の各小領域画像に対応する対応画像を上記第２画像から検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を処理装置により取得する対応画像検索処理と、
上記対応画像検索処理で取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第１画像を幾何変換して新たな第１画像を生成して記憶装置に記憶する画像変換処理とをコンピュータに実行させ、
上記画像入力処理は、上記画像変換処理で生成した新たな第１画像を第１画像として新たに入力し、
上記画像分割処理は、上記画像入力処理で新たに入力した第１画像を複数の画像に分割して複数の小領域画像を新たに生成し、
上記対応画像検索処理は、上記画像分割処理で新たに生成した複数の小領域画像の各小領域画像に対応する対応画像を上記第２画像から新たに検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を新たに取得する
ことを特徴とする。

上記画像変換処理は、上記対応画像検索処理で取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、小領域分割法により上記第１画像を任意変形して新たな第１画像を生成する
ことを特徴とする。

上記画像変換処理は、上記対応画像検索処理で取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、最小２乗法により上記第１画像と上記第２画像の画像座標値の関係を近似して、上記第１画像を任意変形して新たな第１画像を生成する
ことを特徴とする。

上記画像マッチングプログラムは、さらに、
上記画像入力処理で入力した第１画像と第２画像とを相似縮小して縮小画像を生成して記憶装置に記憶する縮小画像生成処理をコンピュータに実行させ、
上記画像分割処理は、上記縮小画像生成処理で生成した第１画像の縮小画像を複数の画像に分割して複数の小領域画像を生成し、
上記対応画像検索処理は、上記画像分割処理で生成した複数の小領域画像の各小領域画像に対応する対応画像を上記縮小画像生成処理で生成した第２画像の縮小画像から検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を取得し、
上記縮小画像生成処理は、上記画像入力処理で新たに入力した第１画像と第２画像とを上記縮小画像よりも高解像度の画像に相似縮小して縮小画像を新たに生成し、
上記画像分割処理は、上記縮小画像生成処理で新たに生成した第１画像の縮小画像を複数の画像に分割して複数の小領域画像を新たに生成し、
上記対応画像検索処理は、上記画像分割処理で新たに生成した複数の小領域画像の各小領域画像に対応する対応画像を上記縮小画像生成処理で新たに生成した第２画像の縮小画像から検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を新たに取得する
ことを特徴とする。

上記画像マッチングプログラムは、さらに、
上記画像入力処理と上記画像分割処理と上記対応画像検索処理と上記画像変換処理とに処理を所定の回数実行させるマッチング処理制御処理をコンピュータに実行させ、
上記画像入力処理は、所定の回数目に上記画像変換処理により生成された新たな第１画像を第１画像として新たに入力し、
上記画像分割処理は、上記画像入力処理で新たに入力した第１画像を複数の画像に分割して複数の小領域画像を新たに生成し、
上記対応画像検索処理は、上記画像分割処理で新たに生成した複数の小領域画像の各小領域画像に対応する対応画像を上記第２画像から新たに検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を新たに取得し、
上記画像マッチングプログラムは、さらに、
所定の回数目に生成された新たな第１画像に基づき取得された上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、初めに上記画像入力処理で入力した第１画像の各画素の画像座標値と上記第２画像の画像座標値との対応関係情報をマッチング結果として出力するマッチング結果出力処理と
をコンピュータに実行させることを特徴とする。

上記画像入力処理は、第１画像と複数の第２画像とを入力し、
上記対応画像検索処理は、上記画像分割処理で生成した複数の小領域画像の各小領域画像に対応する対応画像を上記複数の第２画像の各第２画像から検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記複数の第２画像の各第２画像の画像座標値を取得し、
上記画像変換処理は、上記複数の第２画像の各第２画像について、上記対応画像検索部が取得した上記第１画像の各画素の画像座標値に対応する当該第２画像の画像座標値を用いて、上記第１画像を幾何変換して上記第２画像に対応する新たな第１画像を生成し、
上記画像入力処理は、上記画像変換処理で生成した複数の新たな第１画像を入力し、
上記画像分割処理は、上記画像入力処理で入力した複数の新たな第１画像の各新たな第１画像を複数の画像に分割して複数の新たな小領域画像を生成し、
上記対応画像検索処理は、上記複数の新たな第１画像の各第１画像について、上記画像分割処理で生成した複数の新たな小領域画像の各新たな小領域画像に対応する新たな対応画像を当該新たな第１画像に対応する第２画像から検索して、上記各新たな小領域画像の各画素の上記新たな第１画像における画像座標値に対応する上記第２画像の画像座標値を取得する
ことを特徴とする。

また、本発明に係る画像マッチングプログラムは、例えば、第１画像と第２画像とを入力して記憶装置に記憶する画像入力処理と、
上記画像入力処理で入力した第１画像を処理装置により複数の画像に分割して複数の小領域画像を生成する画像分割処理と、
上記画像分割処理で生成した複数の小領域画像の各小領域画像に対応する対応画像を上記第２画像から検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を処理装置により取得する対応画像検索処理と、
上記対応画像検索処理で取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第２画像を幾何変換して新たな第２画像を生成して記憶装置に記憶する画像変換処理とをコンピュータに実行させ、
上記画像入力処理は、上記画像変換処理で生成した新たな第２画像を第２画像として新たに入力し、
上記対応画像検索処理は、画像分割処理で生成した複数の小領域画像の各小領域画像に対応する対応画像を上記画像入力処理で新たに入力した第２画像から新たに検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を新たに取得する
ことを特徴とする。

上記画像変換処理は、上記対応画像検索処理が取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第１画像の各画素の画像座標に対応する第２画像の画素値を内挿によって求めて、上記第２画像を任意変形して新たな第２画像を生成する
ことを特徴とする。

さらに、本発明に係る画像マッチングプログラムは、例えば、第１画像と第２画像とを入力して記憶装置に記憶する画像入力処理と、
上記画像入力処理で入力した第１画像の各画素の画像座標値に対応する上記第２画像の画像座標値を処理装置により検索して取得する対応画像検索処理と、
上記対応画像検索処理で取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第１画像を幾何変換して新たな第１画像を生成して記憶装置に記憶する画像変換処理とをコンピュータに実行させ、
上記画像入力処理は、上記画像変換処理で生成した新たな第１画像を第１画像として新たに入力し、
上記対応画像検索処理は、上記画像入力処理で新たに入力した第１画像の各画素の画像座標値に対応する上記第２画像の画像座標値を新たに検索して取得する
ことを特徴とする。

また、さらに、本発明に係る画像マッチングプログラムは、例えば、第１画像と第２画像とを入力して記憶装置に記憶する画像入力処理と、
上記画像入力処理で入力した第１画像の各画素の画像座標値に対応する上記第２画像の画像座標値を処理装置により検索して取得する対応画像検索処理と、
上記対応画像検索処理で取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第２画像を幾何変換して新たな第２画像を生成して記憶装置に記憶する画像変換処理とをコンピュータに実行させ、
上記画像入力処理は、上記画像変換処理で生成した新たな第２画像を第２画像として新たに入力し、
上記対応画像検索処理は、上記第１画像の各画素の画像座標値に対応する上記画像入力処理で新たに入力した第２画像の画像座標値を新たに検索して取得する
ことを特徴とする。

本発明に係る画像マッチング方法は、例えば、入力装置が第１画像と第２画像とを入力する画像入力ステップと、
処理装置が、上記画像入力ステップで入力した第１画像を複数の画像に分割して複数の小領域画像を生成する画像分割ステップと、
処理装置が、上記画像分割ステップで生成した複数の小領域画像の各小領域画像に対応する対応画像を上記第２画像から検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を取得する対応画像検索ステップと、
処理装置が、上記対応画像検索ステップで取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第１画像を幾何変換して新たな第１画像を生成する画像変換ステップとを備え、
上記画像入力ステップでは、入力装置が、上記画像変換ステップで生成した新たな第１画像を第１画像として新たに入力し、
上記画像分割ステップでは、処理装置が、上記画像入力ステップで新たに入力した第１画像を複数の画像に分割して複数の小領域画像を新たに生成し、
上記対応画像検索ステップでは、処理装置が、上記画像分割ステップで新たに生成した複数の小領域画像の各小領域画像に対応する対応画像を上記第２画像から新たに検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を新たに取得する
ことを特徴とする。

また、本発明に係る画像マッチング方法は、例えば、入力装置が第１画像と第２画像とを入力する画像入力ステップと、
処理装置が、上記画像入力ステップで入力した第１画像を複数の画像に分割して複数の小領域画像を生成する画像分割ステップと、
処理装置が、上記画像分割ステップで生成した複数の小領域画像の各小領域画像に対応する対応画像を上記第２画像から検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を取得する対応画像検索ステップと、
処理装置が、上記対応画像検索ステップで取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第２画像を幾何変換して新たな第２画像を生成する画像変換ステップとを備え、
上記画像入力ステップでは、入力装置が、上記画像変換ステップで生成した新たな第２画像を第２画像として新たに入力し、
上記対応画像検索ステップでは、処理装置が、画像分割ステップで生成した複数の小領域画像の各小領域画像に対応する対応画像を上記画像入力ステップで新たに入力した第２画像から新たに検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を新たに取得する
ことを特徴とする。

本発明に係る画像マッチング装置、画像マッチングプログラム及び画像マッチング方法は、第１画像と第２画像とをマッチングして得た対応画像に基づき、第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて第１画像あるいは第２画像を幾何変換し、幾何変換した画像をもう一方の画像と改めてマッチングしている。上記変換により、マッチングする画像間の幾何学的歪みが小さくなる。したがって、入力された画像間の幾何学的歪みが大きい場合であっても、高い精度のマッチングを行うことができる。

図１は、実施の形態における画像マッチング装置１００の外観の一例を示す図である。
図１において、画像マッチング装置１００は、サーバ９１０、ＬＣＤ（液晶）９０１、キーボード９０２（Ｋｅｙ・Ｂｏａｒｄ：Ｋ／Ｂ）、マウス９０３、ＦＤＤ９０４（Ｆｌｅｘｉｂｌｅ・Ｄｉｓｋ・Ｄｒｉｖｅ）などのハードウェア資源を備え、これらはケーブルや信号線で接続されている。
サーバ９１０は、コンピュータであり、ローカルエリアネットワーク９４２（ＬＡＮ）、ゲートウェイ９４１を介してインターネット９４０に接続されている。

図２は、実施の形態における画像マッチング装置１００のハードウェア資源の一例を示す図である。
図２において、画像マッチング装置１００は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、通信ボード９１５、ＬＣＤ９０１、キーボード９０２、マウス９０３、ＦＤＤ９０４、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。

ＬＣＤ９０１は、表示装置９８６の一例である。
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、ＦＤＤ９０４、ＣＤＤ９０５、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置９８４の一例である。
通信ボード９１５、キーボード９０２、ＦＤＤ９０４などは、入力装置９８２の一例である。また、通信ボード９１５は、通信装置９８８の一例である。

通信ボード９１５は、ＬＡＮ９４２等に接続されている。通信ボード９１５は、ＬＡＮ９４２に限らず、インターネット９４０、ＩＳＤＮ等のＷＡＮ（ワイドエリアネットワーク）などに接続されていても構わない。インターネット９４０或いはＩＳＤＮ等のＷＡＮに接続されている場合、ゲートウェイ９４１は不用となる。
磁気ディスク装置９２０又はＲＯＭ９１３などには、オペレーティングシステム９２１（ＯＳ）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、オペレーティングシステム９２１、ウィンドウシステム９２２により実行される。

上記プログラム群９２３には、以下に述べる実施の形態の説明において「画像マッチング部１１０」、「標高計算部１５０」として説明する機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
ファイル群９２４には、以下に述べる実施の形態の説明において、「小領域画像」、「対応画像」、「新たな第１画像」、「縮小画像」、「所定の回数」、「マッチング結果」等として説明する情報やデータや信号値や変数値やパラメータが、「ファイル」や「データベース」の各項目として記憶されている。「ファイル」や「データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリになどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵ９１１の動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のＣＰＵ９１１の動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、以下に述べる実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、ＦＤＤ９０４のフレキシブルディスク、コンパクトディスク、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｋ）等の記録媒体に記録される。また、データや信号は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。

また、以下に述べる実施の形態の説明において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「〜手段」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、以下に述べる「〜部」としてコンピュータを機能させるものである。あるいは、以下に述べる「〜部」の手順や方法をコンピュータに実行させるものである。
また、以下「〜処理」として説明するものは「〜ステップ」と読み替えできるものとする。

実施の形態１．
実施の形態１では、マッチング処理について説明する。

まず、図３に基づき画像マッチング装置１００の処理の概要について説明する。
画像マッチング装置１００は、第１画像の各画素に対応する第２画像の画像座標値を探すことを目的とする。通常、第１画像と第２画像とは、同じ対象を異なる角度から撮影した画像等、対応する画素を有するものである。しかし、これに限られるわけではない。また、画像マッチング装置１００によれば幾何学的歪みが大きい画像のマッチングを行う場合に精度を高めることができるが、幾何学的歪みは、例えば、同じ対象を撮影した角度に開きがあるものほど一般に大きくなる。

マッチングステップ１では、画像マッチング装置１００は、第１画像と第２画像とを相似縮小しそれぞれの低解像度の縮小画像を生成してマッチング処理を行う。画像マッチング装置１００は、相似縮小した第１画像を複数に分割して小領域画像を生成し、各小領域画像について相似縮小した第２画像とテンプレートマッチングを行う。分割された複数の小領域画像は、互いに隣接していても、あるいは互いに重複していても構わない。そして、各小領域画像に対応する対応画像を第２画像から取得する。テンプレートマッチングとは、テンプレート画像（ここでは第１画像の各小領域画像）と最もよく合う部分をマッチング対象画像（ここでは第２画像）から探す手法である。小領域画像に対応する対応画像を第２画像から取得することにより、小領域画像の各画素の上記第１画像における画像座標値に対応する第２画像の画像座標値を取得することができる。つまり、すべての小領域画像に対して第２画像から対象画像を取得することで、第１画像の各画素に対応する第２画像の画像座標値を得ることができる。ここで、相似縮小した第１画像と元の第１画像の画像座標の対応関係、及び相似縮小した第２画像と元の第２画像の画像座標の対応関係を用いて、相似縮小してマッチングに供した画像同士のマッチング結果から、元の第１画像の画像座標と元の第２画像の画像座標の関係を得る。但し、ここで得られた第１画像の各画素に対応する第２画像の画像座標値には誤差が含まれている可能性がある。一般に、第１画像と第２画像との幾何学的歪みが大きいほど、この誤差は大きくなる。
次に、マッチングステップ２では、画像マッチング装置１００は、マッチングステップ１で得た第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、第１画像の形状を第２画像の形状に近づくように幾何変換（任意変形、ラバーシーティング）する。幾何変換された第１画像は、幾何変換前の第１画像と比べ、第２画像との幾何学的歪みが小さくなる。そして、画像マッチング装置１００は、幾何変換した第１画像と第２画像とについてマッチングステップ１で生成した縮小画像よりも高解像度の縮小画像を生成してマッチング処理を行う。マッチング処理はマッチングステップ１と同様に、第１画像の小領域画像を生成してテンプレートマッチングを行う。第１画像と第２画像との幾何学的歪みが小さくなっているため、マッチングステップ２で得られた第１画像の各画素に対応する第２画像の画像座標値に含まれる誤差は、マッチングステップ１での誤差よりも小さくなる。ここで、マッチングステップ１と同様に、幾何変換及び相似縮小した第１画像と元の第１画像の画像座標の対応関係、及び相似縮小した第２画像と元の第２画像の画像座標の対応関係を用いて、幾何変換及び、あるいは相似縮小してマッチングに供した画像同士のマッチング結果から、元の第１画像の画像座標と元の第２画像の画像座標の関係を得る。
そして、マッチングステップ３では、画像マッチング装置１００は、マッチングステップ２と同様に、第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、第１画像の形状を第２画像の形状に近づくように幾何変換する。そして、マッチングステップ３では第１画像と第２画像とを縮小することなく、幾何変換した第１画像の小領域画像を生成してテンプレートマッチングを行う。マッチングステップ３で得られた第１画像の各画素に対応する第２画像の画像座標値に含まれる誤差は、マッチングステップ２での誤差よりも小さくなる。ここでも、マッチングステップ２と同様にして、元の第１画像の画像座標と元の第２画像の画像座標の関係を得る。

各マッチングステップで得た第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、第１画像の形状を第２画像の形状に近づくように幾何変換することにより、第１画像と第２画像との間の幾何学的歪みが大きくマッチング精度が悪い場合であっても、徐々にマッチング精度が改善される。つまり、画像マッチング装置１００は、第１画像と第２画像とのマッチングを繰り返しながら、徐々に第１画像の画像座標値を第２画像の画像座標値に近づけることを特徴とする。これにより、徐々に第１画像と第２画像との間の幾何学的歪みが小さくなり、マッチング精度が改善される。

図３の例では、マッチングステップ１〜３までであったが、マッチングステップは２回でも、または３回より多くても構わない。また、図３の例では、テンプレート画像として使用した第１画像を第２画像に近づくように幾何変換したが、マッチング対象である第２画像を第１画像に近づくように幾何変換しても構わない。

次に、図４に基づき実施の形態１に係る画像マッチング装置１００の機能について説明する。図４は、実施の形態１に係る画像マッチング装置１００の機能を示す機能ブロック図である。
画像マッチング装置１００は、画像マッチング部１１０、処理装置９８０、入力装置９８２、記憶装置９８４、表示装置９８６、通信装置９８８を備える。画像マッチング部１１０は、例えば、ソフトウェアやプログラム等であり、この場合記憶装置９８４に記憶され処理装置９８０により実行される。画像マッチング部１１０は、マッチング処理部１２０、マッチング処理制御部１４０、マッチング結果出力部１４２を備える。マッチング処理部１２０は、図３に基づき説明した画像のマッチング処理を行う。マッチング処理部１２０は、画像入力部１２２、縮小画像生成部１２４、画像分割部１２６、対応画像検索部１２８、画像変換部１３０を備え、図３に基づき説明したマッチングステップを複数回実行する。画像入力部１２２、縮小画像生成部１２４、画像分割部１２６、対応画像検索部１２８、画像変換部１３０の機能については後述する。マッチング処理制御部１４０は、マッチング処理部１２０がマッチングステップを繰り返す動作を制御する。マッチング結果出力部１４２は、マッチング処理の結果を出力する。マッチング処理の結果とは、例えば、テンプレート画像の各画素に対応するマッチング対象画像の画像座標値である。

次に、図５に基づき実施の形態１に係る画像マッチング装置１００の動作について説明する。図５は、実施の形態１に係る画像マッチング装置１００の動作を示すフローチャートである。
まず、画像入力処理１（Ｓ１１０）では、画像入力部１２２は、第１画像と第２画像とを入力して記憶装置９８４に記憶する。ここで、第１画像はテンプレート画像、第２画像はマッチング対象画像であるとする。
次に、縮小画像生成処理１（Ｓ１２０）では、縮小画像生成部１２４は、画像入力部１２２が入力した第１画像と第２画像とを相似縮小してそれぞれの縮小画像を生成して記憶装置９８４に記憶する。第１画像と第２画像とを相似縮小して生成した縮小画像とは、第１画像と第２画像とのそれぞれよりも低解像度の画像である。
次に、画像分割処理１（Ｓ１３０）では、画像分割部１２６は、縮小画像生成部１２４が生成した第１画像の縮小画像を複数の画像に分割して複数の小領域画像を処理装置９８０により生成する。
次に、対応画像検索処理１（Ｓ１４０）では、対応画像検索部１２８は、画像分割部１２６が生成した複数の小領域画像の各小領域画像に対応する対応画像を縮小画像生成処理１（Ｓ１２０）で縮小画像生成部１２４が相似縮小した第２画像から処理装置９８０により検索する。そして、対応画像検索部１２８は、各小領域画像の各画素の第１画像における画像座標値に対応する第２画像の画像座標値を処理装置９８０により取得する。ここで、対応画像検索部１２８が全ての小領域画像に対応する対応画像を得ることで、第１画像の各画素に対応する第２画像の画像座標値を得ることができる。しかし、この結果は対応画像検索部１２８が実行したマッチング（検索）の結果得られたものであり、このマッチングには誤差がある。したがって、この結果にも誤差が含まれている。
ここで、対応画像検索部１２８は、小領域画像と相互相関係数が最大になる部分を第２画像から検索する方法により、対象画像を検索することができる。これに限られるわけではなく、対応画像検索部１２８は、その他の相関係数やＳＳＤＡ（ＳｅｑｕｅｎｔｉａｌＳｉｍｉｌａｒｉｔｙＤｅｔｅｃｔｉｏｎＡｌｇｏｒｉｔｈｍ）法、あるいは最小２乗マッチング等を用いたテンプレートマッチングを用いるとしても構わない。また、マッチングは整数画像座標のマッチングに限らず、サブピクセルのマッチングを行ってもよい。

次に、画像変換処理（Ｓ１５０）では、画像変換部１３０は、対応画像検索部１２８が取得した第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、第１画像を幾何変換して新たな第１画像を生成して記憶装置９８４に記憶する。ここで、画像変換部１３０は、例えば、対応画像検索部１２８が取得した第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、例えば小領域分割法により第１画像を任意変形して新たな第１画像を生成する。これには、まず、第２画像の各画素が存在する整数画像座標から第１画像の画像座標への座標変換式を求める。この際、座標変換式を低次の近似式で表現しても十分な精度を確保できるように第１画像を分割する。分割された領域は、画像分割部１２６による分割とは関係なく分割された領域であり、第１画像の全領域を埋め尽くすように設定する。分割された領域に含まれる画素の数は、座標変換式の係数を求めるために最低限必要となる数以上である必要がある。座標変換式の算出については、例えば、分割した各画像から座標変換式を算出するための代表点を分割された領域の中から選択し、代表点に対応する画像座標を第２画像から対応画像に基づき検索する。ここで代表点とは、分割された領域の一部の点であっても、全ての点であっても構わない。そして、この代表点とその対応点の位置関係に基づいて、例えば、最小２乗法等により座標変換式を算出する。そして、算出した座標変換式に基づき、第２画像の整数画像座標に対応する第１画像の（実数）画像座標の画素値を、周囲の第１画像の画素値から内挿して求め、これを全ての分割された領域で行うことにより、第１画像を幾何変換する。すなわち、画像変換部１３０は、対応画像検索部１２８が取得した第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、最小２乗法により第１画像と第２画像の画像座標値の関係を求めて、第１画像を任意変形して新たな第１画像を生成する。これに限らず、第１画像の各画素の画像座標値を第２画像の画像座標値へ近づくように変換する手法であればどのような手法であっても構わない。また第２画像を第１画像に近づくように幾何変換しても構わない。ここで、第２画像を第１画像に近づくように幾何変換する場合には、上述した小領域分割法や最小２乗法等による座標変換式の算出処理は必要ない。つまり、この場合、第１画像の整数画像座標に対応する第２画像の（実数）画像座標の画素値を、周囲の第２画像の画素値から内挿して求めることで、第２画像を幾何変換することができる。したがって、第２画像を幾何変換する場合、上述した小領域分割法や最小２乗法等による座標変換式の算出処理が必要ないため、第１画像を幾何変換する場合と比べ処理速度が速く、近似を用いないため幾何変換の精度も高い。

次に、画像入力処理２（Ｓ１１１）では、画像入力部１２２は、画像変換部１３０が対応画像に基づいて生成した新たな第１画像を第１画像として新たに入力する。
次に、縮小画像生成処理２（Ｓ１２１）では、縮小画像生成部１２４は、画像入力処理２（Ｓ１１１）で画像入力部１２２が新たに入力した第１画像と画像入力処理１（Ｓ１１０）で画像入力部１２２が入力した第２画像とをそれぞれ縮小画像生成処理１（Ｓ１２０）で縮小画像生成部１２４が生成した縮小画像よりも高解像度の画像に相似縮小して縮小画像を新たに生成する。
次に、画像分割処理２（Ｓ１３１）では、画像分割部１２６は、縮小画像生成部１２４が新たに生成した第１画像の縮小画像を複数の画像に分割して複数の小領域画像を新たに生成する。
次に、対応画像検索処理２（Ｓ１４１）では、対応画像検索部１２８は、画像分割部１２６が新たに生成した複数の小領域画像の各小領域画像に対応する対応画像を縮小画像生成処理２（Ｓ１２１）で縮小画像生成部１２４が相似縮小した第２画像から新たに検索する。そして、対応画像検索部１２８は、各小領域画像の各画素の第１画像における画像座標値に対応する第２画像の画像座標値を処理装置９８０により新たに取得する。

ここで、画像変換処理（Ｓ１５０）から対応画像検索処理２（Ｓ１４１）までをループ処理と呼ぶ。
マッチング制御処理（Ｓ１６０）では、マッチング処理制御部１６０は、画像入力部１２２と縮小画像生成部１２４と画像分割部１２６と対応画像検索部１２８と画像変換部１３０とにループ処理を所定の回数実行させる。つまり、マッチング処理制御部１６０は、ループ処理を所定の回数実行していないと判定した場合（Ｓ１６０でＮＯ）、改めて画像変換処理（Ｓ１５０）から処理を実行させる。ここで、所定の回数とは、１以上の任意の回数であり、予め何回マッチング処理を実行すれば目的のマッチング精度になるか測定するなどして決定する。所定の回数マッチング処理を実行したとマッチング処理制御部１６０が判定した場合（Ｓ１６０でＹＥＳ）、マッチング結果出力処理（Ｓ１７０）へ進む。

マッチング結果出力処理（Ｓ１７０）では、マッチング結果出力部１４２は、所定の回数目に生成された新たな第１画像に基づき生成された複数の小領域画像の各小領域画像に対応する対応画像から得られる画像入力処理１（Ｓ１１０）で画像入力部１２２が入力した第１画像の各画素の画像座標値と第２画像の画像座標値との対応関係情報をマッチング結果として出力する。つまり、画像入力処理１（Ｓ１１０）で画像入力部１２２が入力した第１画像の各画素の画像座標値と第２画像の画像座標値との対応関係情報をマッチング結果として出力する。

ここで、縮小画像生成処理１（Ｓ１２０）と縮小画像生成処理２（Ｓ１２１）とは、いわゆるオプションであり、実行しないとしても構わない。この場合、画像分割処理１（Ｓ１３０）では、画像分割部１２６は、画像入力部１２２が入力した第１画像を複数の画像に分割して複数の小領域画像を新たに生成する。また、画像分割処理２（Ｓ１３１）では、画像分割部１２６は、画像入力部１２２が新たに入力した第１画像を複数の画像に分割して複数の小領域画像を新たに生成する。

また、画像分割処理１（Ｓ１３０）と画像分割処理２（Ｓ１３１）とも、いわゆるオプションであり、実行しないとしても構わない。この場合、対応画像検索処理１（Ｓ１４０）では、対応画像検索部１２８は、画像入力部１２２が入力した第１画像の各画素の画像座標に対応する第２画像の画像座標を処理装置９８０により検索する。ここで、対応する画像座標は、整数値に限られず、小数値であっても構わない。そして、対応画像検索部１２８は、第１画像の各画素の画像座標値に対応する第２画像の画像座標値を処理装置９８０により取得する。また、画像変換処理（Ｓ１５０）では、画像変換部１３０は、対応画像検索部１２８が取得した第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、第１画像を幾何変換して新たな第１画像を生成して記憶装置９８４に記憶する。ただし、この場合、画像分割は行われていないので、第１画像の幾何変換は、第２画像の画像座標上での、平行移動のみとなる。さらに、画像入力処理２（Ｓ１１１）画像入力部１２２は、画像変換部１３０が生成した新たな第１画像を第１画像として新たに入力し、対応画像検索処理２（Ｓ１４１）では、対応画像検索部１２８は、画像入力部１２２が新たに入力した第１画像の各画素に対応する対応画素を第２画像から新たに検索して、第１画像の各画素の画像座標値に対応する第２画像の画像座標値を新たに取得する。

さらに、画像入力処理１（Ｓ１１０）で画像入力部１２２は、第１画像と複数の第２画像とを入力しても構わない。この場合のマッチング処理の概要を図６に基づき説明する。図６では、第２画像を画像Ａ、画像Ｂ、画像Ｃの３つ入力している。
マッチングステップ１では、画像マッチング装置１００は、第１画像と３つの第２画像それぞれを相似縮小し低解像度の縮小画像を生成する。そして、第１画像と３つの第２画像それぞれとをマッチングする。マッチングの方法については上述した通りである。そして、第１画像の各小領域画像に対応する対応画像を３つの第２画像それぞれから取得する。つまり、小領域画像毎に画像Ａに対応する対応画像Ａ、画像Ｂに対応する対応画像Ｂ、画像Ｃに対応する対応画像Ｃを取得する。対応画像Ａ、対応画像Ｂ、対応画像Ｃを取得することにより、各小領域画像の各画素の元の第１画像における画像座標値に対応する元の画像Ａ、画像Ｂ、画像Ｃそれぞれの画像座標値を取得する。
マッチングステップ２では、画像マッチング装置１００は、３つの第２画像それぞれについて、マッチングステップ１で得た第１画像の各画素の画像座標値に対応する各第２画像の画像座標値を用いて、第１画像の形状を各第２画像の形状に近づくように幾何変換する。つまり、対応画像Ａを取得することで得た第１画像の各画素の画像座標値に対応する画像Ａの画像座標値を用いて、第１画像を幾何変換して第１画像Ａを生成し、対応画像Ｂを取得することで得た第１画像の各画素の画像座標値に対応する画像Ｂの画像座標値を用いて、第１画像を幾何変換して第１画像Ｂを生成し、対応画像Ｃを取得することで得た第１画像の各画素の画像座標値に対応する画像Ｃの画像座標値を用いて、第１画像を幾何変換して第１画像Ｃを生成する。そして、画像マッチング装置１００は、幾何変換した３つの第１画像と対応する３つの第２画像とについてマッチングステップ１で生成した縮小画像よりも高解像度の縮小画像を生成してマッチング処理を行う。つまり、対応画像Ａに基づき幾何変換した第１画像Ａと画像Ａとをマッチングし、対応画像Ｂに基づき幾何変換した第１画像Ｂと画像Ｂとをマッチングし、対応画像Ｃに基づき幾何変換した第１画像Ｃと画像Ｃとをマッチングする。
そして、マッチングステップ３では、画像マッチング装置１００は、マッチングステップ２で取得した第１画像の各画素の画像座標値に対応する画像Ａの画像座標値を用いて、第１画像を幾何変換する。同様に、さらにマッチングステップ２で取得した第１画像の各画素の画像座標値に対応する画像Ｂの画像座標値を用いて、第１画像を幾何変換し、さらにマッチングステップ２で取得した第１画像の各画素の画像座標値に対応する画像Ｃの画像座標値を用いて、第１画像を幾何変換する。そして、マッチングステップ３では第１画像と第２画像とを縮小することなくマッチング処理を行う。
つまり、縮小画像生成処理１（Ｓ１２０）では、縮小画像生成部１２４は、第１画像と複数の第２画像それぞれとを相似縮小してそれぞれの縮小画像を生成する。画像分割処理１（Ｓ１３０）では、画像分割部１２６は、第２画像が１つの場合と同様に第１画像について処理を行う。そして、対応画像検索処理１（Ｓ１４０）では、画像分割部１２６が生成した複数の小領域画像の各小領域画像に対応する対応画像を複数の第２画像の各第２画像から検索する。そして、対応画像検索部１２８は、各小領域画像の各画素の第１画像における画像座標値に対応する各第２画像の画像座標値を取得する。画像変換処理（Ｓ１５０）では、画像変換部１３０は、複数の第２画像の各第２画像について、対応画像検索部１２８が取得した上記第１画像の各画素の画像座標値に対応する当該第２画像の画像座標値を用いて、第１画像を幾何変換して当該第２画像に対応する新たな第１画像を生成する。つまり、画像入力部１２２が入力した複数の第２画像の各第２画像に対して、新たな第１画像を生成する。そして、画像入力処理２（Ｓ１１１）では、画像入力部１２２は、画像変換部１３０が対応画像に基づいて生成した複数の新たな第１画像を入力する。また、縮小画像生成処理２（Ｓ１２１）では、縮小画像生成部１２４は、画像入力部１２２が入力した複数の新たな第１画像と複数の第２画像とを相似縮小してそれぞれの縮小画像を生成する。また、画像分割処理２（Ｓ１３１）では、画像分割部１２６は、画像入力部１２２が入力した複数の新たな第１画像の各新たな第１画像を複数の画像に分割して複数の新たな小領域画像を生成する。そして、対応画像検索処理２（Ｓ１４１）では、対応画像検索部１２８は、複数の新たな第１画像の各第１画像について、画像分割部１２６が生成した複数の新たな小領域画像の各新たな小領域画像に対応する新たな対応画像を各新たな第１画像に対応する第２画像から検索する。そして、元の第１画像と複数の新たな第１画像の画像座標の関係、及び元の第２画像と各新たな第１画像に対応する当該第２画像との画像座標の関係を用いて、元の第１画像の各画素の画像座標値に対応する、元の複数の各第２画像の画像座標値を取得する。

また、さらに、画像分割処理１（Ｓ１３０）と画像分割処理２（Ｓ１３１）とで、画像分割部１２６が縮小画像をいくつの画像に分割するかがマッチング精度に影響する。そこで、分割サイズを変更しながら画像入力処理１（Ｓ１１０）からマッチング結果出力処理（Ｓ１７０）までをループさせ、複数回繰り返しても構わない。この場合、最終的な出力は、マッチング結果出力処理（Ｓ１７０）でマッチング結果出力部１４２が出力した結果の中間値としても構わない。

次に、実施の形態１に係るマッチング処理の一例について説明する。

図７は、マッチング処理の各段階の画像の一例である。
第１段階は、縮小画像生成処理１（Ｓ１２０）で縮小画像生成部１２４が、画像入力部１２２が入力した第１画像と第２画像とを相似縮小して生成したそれぞれの縮小画像を示す。また第１段階は、解像度を入力画像の１／８まで縮小した画像である。
第２段階は、１回目の縮小画像生成処理２（Ｓ１２１）で、縮小画像生成部１２４が、画像変換部１３０が第１画像の画素の画像座標値を第２画像の画像座標値へ近づくように変換した画像座標値を用いて生成した新たな第１画像と第２画像とを相似縮小して生成したそれぞれの縮小画像を示す。また第２段階は、解像度を入力画像の１／４まで縮小した画像である。
第３段階は、２回目の縮小画像生成処理２（Ｓ１２１）で、縮小画像生成部１２４が、画像変換部１３０が第１画像の画素の画像座標値を第２画像の画像座標値へ近づくようにさらに変換した画像座標値を用いて生成した新たな第１画像と第２画像とを相似縮小して生成したそれぞれの縮小画像を示す。また第３段階は、解像度を入力画像の１／２まで縮小した画像である。
第４段階は、画像変換部１３０が第１画像の画素の画像座標値を第２画像の画像座標値へ近づくようにさらに変換した画像座標値を用いて生成した新たな第１画像と第２画像とである。また第４段階は、縮小せず、解像度を入力画像のままとした画像である。
第５段階は、同様に、画像変換部１３０が第１画像の画素の画像座標値を第２画像の画像座標値へ近づくようにさらに変換した画像座標値を用いて生成した新たな第１画像と第２画像とである。また第５段階も第４段階と同様、縮小せず、解像度を入力画像のままとした画像である。
図７に示すように、画像変換部１３０が出力した新たな第１画像の形状は第２画像の形状に近づいている。つまり、２つの画像の間にある幾何学的歪みが減少している。

したがって、実施の形態１に係る画像マッチング装置１００によれば、２つの画像の間にある幾何学的歪みに起因する画像のマッチングの精度低下を防止することができる。
つまり、実施の形態１に係る画像マッチング装置１００は、従来の手法同様の高解像度化と低解像度マッチング結果による探索範囲の限定に加えて、画像形状の適正化によってもマッチング精度の向上効果が得られる。このため、各ステップで高解像度化を行わず、同じ解像度でマッチングを繰り返しても、マッチング精度が有意に向上する。すなわち、実施の形態１に係る画像マッチング装置１００は、画像間の幾何学的歪みをラバーシーティングにより修正するため、画像間の幾何学的歪みはマッチング精度の限界を規定する要因とはならない。

実施の形態２．
実施の形態２では、マッチング処理の結果の使用例として観測地点の標高を計算する例について説明する。

図８は、観測地点の標高を計算する場合の画像取得の一例を示す図である。図８に示すように、複数の位置から同じ地点の画像を取得する。つまり、衛星２００Ａと衛星２００Ｂと衛星２００Ｃとはそれぞれ、山２１０の頂上の画像を取得する。取得された複数の画像は、それぞれ映り方は違うが同じ山２１０の頂上を示した画像である。

そこで、実施の形態１で説明した方法により、各画像のマッチングを行う。例えば、衛星２００Ａが取得した画像を第１画像、衛星２００Ｂが取得した画像を第２画像とする。そして、衛星２００Ａが取得した画像の各画素の画像座標と衛星２００Ｂが取得した画像の画像座標との対応関係情報を得る。
ここで、衛星２００Ａが取得した画像の山２１０の頂上を示す画素の画像座標（対応点）を選択する。また、選択した画素に対応する衛星２００Ｂが取得した画像の画像座標（対応点）を選択する。２つの対応点に基づき、共線条件に従って２つの視線ベクトル（投影中心と対応点を通るベクトル）を計算する。これらの画像座標が整数とならない場合は、周囲の画素（整数画像座標）の視線ベクトルから、内挿して当該する視線ベクトルを計算する。そして、計算した２つの視線ベクトルの交点の座標を求める。ここで、衛星２００Ａと衛星２００Ｂとから山２１０の存在する星の中心までの距離と、衛星２００Ａと衛星２００Ｂの位置は知ることができる。したがって、これらの情報から山２１０の頂上の標高を求めることができる。あるいはマッチングの結果から逆に衛星位置を決定することもできる。ここで、画像のマッチング処理には誤差が存在する可能性があるため、２つの視線ベクトルの交点は得られない可能性がある。そこで、例えば二乗平均を計算することにより、それぞれのベクトルにおける最も近い点間の中点を交点として扱う。

しかし、画像のマッチング処理には誤差が存在する可能性がある。そのため、計算した２つの視線ベクトルの交点の座標にも誤差がある可能性がある。そこで、衛星２００Ａが取得した画像と衛星２００Ｂが取得した画像だけでなく、衛星２００Ｃが取得した画像を使用して精度を高めることができる。つまり、例えば、衛星２００Ａが取得した画像を第１画像、衛星２００Ｂが取得した画像と衛星２００Ｃが取得した画像とを第２画像とする。そして、衛星２００Ａが取得した画像の各画素の画像座標と衛星２００Ｂが取得した画像の画像座標との対応関係情報と、衛星２００Ａが取得した画像の各画素の画像座標と衛星２００Ｃが取得した画像の画像座標との対応関係情報を得る。衛星２００Ａが取得した画像の山２１０の頂上を示す画像座標を選択し、選択した画像座標に対応する衛星２００Ｂが取得した画像の画像座標と衛星２００Ｃが取得した画像の画像座標とを選択する。次に、これらから３つの視線ベクトルを計算する。そして、計算した３つの視線ベクトルの交点の座標を得る。ここで、上述したように、画像のマッチング処理には誤差が存在する可能性があるため、３つの視線ベクトルの交点は得られない可能性がある。そこで、上記と同様に例えば二乗平均を計算することにより、それぞれのベクトルにおける最も近い点間の中点を計算し、その中点の座標を求める。この座標の標高を計算することで、２つの画像を用いた場合よりも標高の計算精度を高めることができる。

図９は、実施の形態２に係る画像マッチング装置１００の機能を示す機能ブロック図である。実施の形態２に係る画像マッチング装置１００は、図４に示す実施の形態１に係る画像マッチング装置１００の機能に加え、標高計算部１５０を備える。標高計算部１５０は、上述したように、マッチング結果出力部１４２が出力したマッチング結果に基づき、画像入力部１２２が入力した画像の点の標高を計算する。
図１０は、実施の形態２に係る画像マッチング装置１００の動作を示すフローチャートである。実施の形態２に係る画像マッチング装置１００は、図５に示す実施の形態１に係る画像マッチング装置１００の処理に加え、マッチング結果出力処理（Ｓ１７０）の次に標高計算処理（Ｓ１８０）を実行する。標高計算処理（Ｓ１８０）では、標高計算部１５０は、マッチング結果出力部１４２が出力したマッチング結果に基づき、画像入力部１２２が入力した画像の点の標高を計算する。

実施の形態２に係る画像マッチング装置１００によれば、観測地点の標高を計算することができる。

実施の形態における画像マッチング装置１００の外観の一例を示す図。実施の形態における画像マッチング装置１００のハードウェア資源の一例を示す図。画像マッチング装置１００の処理の概要を示す図。実施の形態１に係る画像マッチング装置１００の機能を示す機能ブロック図。実施の形態１に係る画像マッチング装置１００の動作を示すフローチャート。第２画像を複数入力した場合の画像マッチング装置１００の処理の概要を示す図。マッチング処理の各段階の画像の一例。観測地点の標高を計算する場合の画像取得の一例を示す図。実施の形態２に係る画像マッチング装置１００の機能を示す機能ブロック図。実施の形態２に係る画像マッチング装置１００の動作を示すフローチャート。

符号の説明

１００画像マッチング装置、１１０画像マッチング部、１２０マッチング処理部、１２２画像入力部、１２４縮小画像生成部、１２６画像分割部、１２８対応画像検索部、１３０画像変換部、１４０マッチング処理制御部、１４２マッチング結果出力部、９０１ＬＣＤ、９０２Ｋ／Ｂ、９０３マウス、９０４ＦＤＤ、９１０サーバ、９１１ＣＰＵ、９１２バス、９１３ＲＯＭ、９１４ＲＡＭ、９１５通信ボード、９２０磁気ディスク装置、９２１ＯＳ、９２２ウィンドウシステム、９２３プログラム群、９２４ファイル群、９４０インターネット、９４１ゲートウェイ、９４２ＬＡＮ、９８０処理装置、９８２入力装置、９８４記憶装置、９８６表示装置、９８８通信装置。

Claims

第１画像と第２画像とを入力して記憶装置に記憶する画像入力部と、
上記画像入力部が入力した第１画像の一部の領域の画像である複数の小領域画像を処理装置により生成する画像分割部と、
上記画像分割部が生成した複数の小領域画像の各小領域画像に対応する対応画像を上記第２画像から検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を処理装置により取得する対応画像検索部と、
上記対応画像検索部が取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第２画像を幾何変換して新たな第２画像を生成して記憶装置に記憶する画像変換部とを備え、
上記画像入力部は、上記画像変換部が生成した新たな第２画像を第２画像として新たに入力し、
上記対応画像検索部は、上記画像分割部が生成した複数の小領域画像の各小領域画像に対応する対応画像を上記画像入力部が新たに入力した第２画像から新たに検索して、上記
各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を新たに取得する
ことを特徴とする画像マッチング装置。
上記画像変換部は、上記対応画像検索部が取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第１画像の各画素の画像座標に対応する第２画像の画素値を内挿によって求めて、上記第２画像を任意変形して新たな第２画像を生成する
ことを特徴とする請求項１記載の画像マッチング装置。
第１画像と第２画像とを入力して記憶装置に記憶する画像入力部と、
上記画像入力部が入力した第１画像の各画素の画像座標値に対応する上記第２画像の画像座標値を処理装置により検索して取得する対応画像検索部と、
上記対応画像検索部が取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第２画像を幾何変換して新たな第２画像を生成して記憶装置に記憶する画像変換部とを備え、
上記画像入力部は、上記画像変換部が生成した新たな第２画像を第２画像として新たに入力し、
上記対応画像検索部は、上記第１画像の各画素の画像座標値に対応する上記画像入力部が新たに入力した第２画像の画像座標値を新たに検索して取得する
ことを特徴とする画像マッチング装置。
第１画像と第２画像とを入力して記憶装置に記憶する画像入力処理と、
上記画像入力処理で入力した第１画像の一部の領域の画像である複数の小領域画像を処理装置により生成する画像分割処理と、
上記画像分割処理で生成した複数の小領域画像の各小領域画像に対応する対応画像を上記第２画像から検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を処理装置により取得する対応画像検索処理と、
上記対応画像検索処理で取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第２画像を幾何変換して新たな第２画像を生成して記憶装置に記憶する画像変換処理とをコンピュータに実行させ、
上記画像入力処理は、上記画像変換処理で生成した新たな第２画像を第２画像として新たに入力し、
上記対応画像検索処理は、画像分割処理で生成した複数の小領域画像の各小領域画像に対応する対応画像を上記画像入力処理で新たに入力した第２画像から新たに検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を新たに取得する
ことを特徴とする画像マッチングプログラム。
上記画像変換処理は、上記対応画像検索処理が取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第１画像の各画素の画像座標に対応する第２画像の画素値を内挿によって求めて、上記第２画像を任意変形して新たな第２画像を生成する
ことを特徴とする請求項４記載の画像マッチングプログラム。
第１画像と第２画像とを入力して記憶装置に記憶する画像入力処理と、
上記画像入力処理で入力した第１画像の各画素の画像座標値に対応する上記第２画像の画像座標値を処理装置により検索して取得する対応画像検索処理と、
上記対応画像検索処理で取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第２画像を幾何変換して新たな第２画像を生成して記憶装置に記憶する画像変換処理とをコンピュータに実行させ、
上記画像入力処理は、上記画像変換処理で生成した新たな第２画像を第２画像として新たに入力し、
上記対応画像検索処理は、上記第１画像の各画素の画像座標値に対応する上記画像入力処理で新たに入力した第２画像の画像座標値を新たに検索して取得する
ことを特徴とする画像マッチングプログラム。
入力装置が第１画像と第２画像とを入力する画像入力ステップと、
処理装置が、上記画像入力ステップで入力した第１画像の一部の領域の画像である複数の小領域画像を生成する画像分割ステップと、
処理装置が、上記画像分割ステップで生成した複数の小領域画像の各小領域画像に対応する対応画像を上記第２画像から検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を取得する対応画像検索ステップと、
処理装置が、上記対応画像検索ステップで取得した上記第１画像の各画素の画像座標値に対応する第２画像の画像座標値を用いて、上記第２画像を幾何変換して新たな第２画像を生成する画像変換ステップとを備え、
上記画像入力ステップでは、入力装置が、上記画像変換ステップで生成した新たな第２画像を第２画像として新たに入力し、
上記対応画像検索ステップでは、処理装置が、画像分割ステップで生成した複数の小領
域画像の各小領域画像に対応する対応画像を上記画像入力ステップで新たに入力した第２画像から新たに検索して、上記各小領域画像の各画素の上記第１画像における画像座標値に対応する上記第２画像の画像座標値を新たに取得する
ことを特徴とする画像マッチング方法。