JPH11283032A

JPH11283032A - 画像処理装置

Info

Publication number: JPH11283032A
Application number: JP10084373A
Authority: JP
Inventors: Kazunori Nakano; 和典中野; Junichi Taguchi; 順一田口; Yasue Nomoto; 野本　　安栄
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1998-03-30
Filing date: 1998-03-30
Publication date: 1999-10-15

Abstract

(57)【要約】【課題】作業員の負荷を軽減しながらも二つの画像中に
おいて対応する点を精度良く探索する。【解決手段】対応点候補選択処理１１０にて、作業者よ
り、二つの画像中の対応点の位置をおおまかに示す対応
点候補を受け付け、その後に、対応点探索処理１１１に
て、テンプレートマッチングにより、受け付けた対応点
候補近傍を探索し、対応点の正確な位置を計算する。【効果】作業者が、特徴的なパターンのおおまかな中心
付近を対応点候補として選択することにより、自身と同
パターンに対してのみ高い整合度を示す特徴的パターン
を対象とするテンプレートマッチングが行われ、高精度
に対応点が効率良く求められる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の画像を組み
合わせて地図を作成する際などに用いられる、複数の画
像中の同一の対象を表す点を対応点として探索する画像
マッチングの技術に関するものである。

【０００２】

【従来の技術】複数の画像中の同一の対象を表す点を対
応点として探索する画像マッチングの技術としては、
「画像解析ハンドブック」（東京大学出版会、平成３年
１月発行、高木幹雄、下田陽久監修）の707頁から744頁
に記載されている、電子計算機に、最も画像の内容が整
合する異なる画像中の点を対応点として求めさせる自動
マッチングの技術が知られている。このような、自動マ
ッチングの技術は、画像の画素値に着目して最も画像の
内容が整合する点を探索するテンプレートマッチング
と、画像が表す構造に着目して最も画像の内容が整合す
る点を探索する構造マッチングに大きく分類されるま
た、「地理情報の処理」（山海堂、平成８年９月発行、
秋山実著）の50頁から86頁に記載されている人作業によ
って手動で画像マッチングを行う手動マッチングの技術
が知られている。

【０００３】

【発明が解決しようとする課題】前記自動マッチングの
技術によれば、複数の画像中の同一の対象を表す点を認
識し対応点を探索する場合、手動マッチングと比較し
て、間違った対応点を探索してしまうことが多い。

【０００４】例えば、複数の画像に同一のビルディング
の画像が含まれている場合でも、ビルディングの側面の
画像が一方の画像にのみ含まれているような場合には、
正しく対応点を探索できないことがある。

【０００５】一方、手動マッチングの技術よれば、人間
のもつ複雑で高度な判断によって対応点を探索するた
め、より正しく対応点を探索することができるが、人間
が複数の画像を目視しながら、一点一点の対応点を正確
に求める必要があるため、作業員の負荷が大きい。

【０００６】そこで、本発明は、作業員の負荷を軽減し
ながらも、精度良く対応点を探索することのできる画像
処理装置を提供することを課題とする。

【０００７】

【課題を解決するための手段】前記課題達成のために本
発明は、同一対象を表す画像部分を含む複数の画像間の
相対位置関係を算出する画像処理装置であって、表示装
置と、前記表示装置に、前記複数の画像を表示する手段
と、前記表示装置に表示した前記複数の画像上の座標の
指定を受け付ける選択手段と、各画像について指定され
た座標近傍の画像の内容が、相互に最も整合する相対位
置関係を探索する探索手段とを有することを特徴とする
画像処理装置を提供する。

【０００８】このような画像処理装置によれば、作業者
が、複数の画像に共通に含まれる特徴的なパターンのお
おまかな中心付近の座標を指定するだけで、自身と同じ
パターンのみ高い整合度を示す特徴的なパターンを含む
部分が最も整合する相対位置関係、すなわち、高精度な
相対位置関係が求められる。

【０００９】

【発明の実施の形態】以下、本発明に係る画像処理装置
の実施形態について説明する。

【００１０】まず、第１の実施形態について、複数の画
像をつなぎ合せて１枚の大きな画像を作成するモザイキ
ングへの適用を例にとり説明する。

【００１１】図１に、本第１実施形態に係る画像処理装
置のハードウエア構成を示す。

【００１２】図示するように、本画像処理装置のハード
ウエアとしては、ＣＰＵ１０、主記憶１１、キーボード
などの入力措置１２、マウスなどのポインティングデバ
イス１３、表示装置１４、ハードディスクドライブなど
の外部記憶装置１５、イメージスキャナなどの画像入力
装置１６を備えている。また、このような画像処理装置
のハードウエアとしては、一般的な電子計算機のハード
ウエアを用いることができる。

【００１３】ＣＰＵ１０は、外部記憶装置１５に予め格
納されたプログラムを主記憶１１にロードして実効する
ことにより、画像処理装置上に、プログラムに記述され
たモザイキング処理を行うプロセスを具現化する。

【００１４】このモザイキング処理は、図２に示すよう
に、マッチング処理２１０とモザイク処理２１１よりな
る。

【００１５】マッチング処理２１０では、画像Ｌ２０１
および画像Ｒ２０２を入力し、各画像の対応関係を表す
対応点情報２０３を作成する。モザイク処理２１１は、
対応点情報２０３に従って、両画像の縮尺や向きが一致
するような幾何変換を画像Ｌと画像Ｒの少なくとも一方
に施した後、対応点情報２０３が示す、画像Lの対応点
座標と、これと組となっている画像Ｒの対応点座標が一
致するように入力の画像Ｌおよび画像Ｒを合成して１枚
のモザイク画像２０４を生成する。

【００１６】このような、モザイキング処理のようすを
説明する。

【００１７】たとえば、マッチング処理２１０では、図
３に示す部分的な画像の重なりがある画像Ｌ２０１と画
像Ｒ２０２を入力し、図４に示すようにな各入力画像の
同一対象を表している点（対応点）の座標（対応点座
標）の組のリストを対応点情報２０３として生成する。
モザイク処理２２０では、対応点情報２１０で示された
各組の画像Ｌ２０１の対応点座標と画像Ｒ２０２の対応
点座標が一致するように、画像の幾何変換と合成を行い
図５に示すモザイク画像を生成する。

【００１８】ここで、モザイク処理２１１は、従来の技
術を適用してに行うことができる。たとえば、「画像解
析ハンドブック」（東京大学出版会、平成３年１月発
行、高木幹雄、下田陽久監修）の462頁から467頁に記載
された技術を適用することができる。具体的には、モザ
イク処理２１１では、各組の画像Ｌ２０１の対応点座標
と画像Ｒ２０２の対応点座標が一致するように少なくと
も一方の画像の座標系を変換する幾何変換と、画像Ｌ２
０１と画像Ｒ２０２の画像濃度が整合するようにする濃
度合わせと、画像Ｌ２０１と画像Ｒ２０２をどの切り口
で組み合わせるか（どこまで画像Ｌを用い、どこまで画
像Ｒを用いるかを）を組み合わせ画像の連続性を考慮し
て決定する接合点探索と、両画像の合わせ目において濃
度に不連続が生じないように合わせ目周辺の画像を平滑
化する平滑化処理などを行う。

【００１９】以下、マッチング処理２１０の詳細につい
て説明する。

【００２０】図６に示すように、マッチング処理２１０
は、対応点候補選択処理１１０および対応点探索処理１
１１よりなる。

【００２１】まず、対応点候補選択処理１１０について
説明する。

【００２２】この処理では、第１ステップとして、たと
えば、画像入力装置１６から取り込み外部記憶装置１５
に記憶しておいた画像Ｌ２０１および画像Ｒ２０２を読
み出し、図７に示す表示装置１４のウインドウ６０１上
に表示する。

【００２３】そして、作業者が、表示した両画像に共通
に含まれる、特徴的なパターンを有する対象の画像領域
を、表示した両画像中より目視により選択し、その対象
の画像領域の中心付近の両画像中の位置を一組の対応点
候補（画像Ｌ上の対応点候補と、これと組となる画像Ｒ
上の対応点候補）として、マウスなどのポインティング
デバイス１３で操作されるポインタ６０３で指示する
と、対応点候補選択処理１１０、第２ステップとして、
画像Ｌ２０１および画像Ｒ２０２上でポインタ６０３で
指示された一組の対応点候補の座標を一組の対応点候補
座標として受け付ける。そして、受け付けた一組の対応
点候補座標を、対応点候補表１０３に加え表示する。図
では、対応点候補表１０３の各行に、一組の対応点候補
座標が表示されている。

【００２４】以上の第２ステップを、作業者が対応点候
補選択処理１１０の終了を指示するまで繰り返す。

【００２５】一方、拡大６０４および拡大６０５の領域
には、対応点候補表１０３上で作業者より選択された一
組の対応点候補座標の周辺の領域の画像を拡大して、各
対応点候補座標の位置を示すマークと共に表示する。そ
して、拡大して表示した画像より、作業者が、誤った位
置を対応点候補として入力したと判断し、対応点候補表
１０３上で一つの対応点候補座標を選択し、再度ポイン
タ６０３で画像中の位置を対応点候補を指示した場合に
は、対応点候補選択処理１１０は第２ステップの処理に
戻り、新たに指示された対応点候補の座標に、選択され
た対応点候補表１０３中の対応点候補座標を更新する。

【００２６】作業者が対応点候補選択処理１１０の終了
を指示すると、対応点候補選択処理１１０は、対応点候
補表１０３の対応点候補座標の各組と、画像Ｌ２０１、
画像Ｒ２０２を対応点探索処理１１１に渡し、処理を終
了する。

【００２７】以上の対応点候補選択処理１１０によっ
て、画像上の特徴付近の対応点の大まかな座標が対応点
候補として定まったことになる。

【００２８】次に、対応点探索処理１１１の詳細につい
て説明する。

【００２９】対応点探索処理１１１の処理手順を、図８
に示す。

【００３０】この処理では、対応点候補座標１０３と画
像Ｌ２０１および画像Ｒ２０２から、対応点２０３を算
出する。

【００３１】まず、ステップ７０１で画像Ｌ２０１、画
像Ｒ２０２および対応点候補座標の各組１０３を入力す
る。

【００３２】そして、一組の対応点候補を選択し、選択
した一組の対応点候補についてステップ７０２から７０
４の処理を行う。

【００３３】ステップ７０２では、画像Ｌ２０１から、
テンプレートマッチングに必要なテンプレート画像を作
成する。テンプレート画像８１１は、図９に示すよう
に、画像Ｌ２０１から切り出した対応点候補座標８０１
を中心としたｍｘｍ（ｍは定数）の大きさの領域の画像
である。

【００３４】次に、ステップ７０３において、画像Ｒ２
０２中の、テンプレートマッチングに必要なサーチエリ
アを決定する。サーチエリア８１２は、図９に示すよう
に、画像Ｒ２０２から切り出した対応点候補座標８０２
を中心としたｎｘｎ（ｎは定数、ｍ＞ｎ）の大きさの領
域である。

【００３５】そして、ステップ７０４において、ステッ
プ７０２およびステップ７０３にて作成されたテンプレ
ート画像８１１およびサーチエリア８１２を用いてテン
プレートマッチングを行う。

【００３６】このテンプレートマッチングは従来の技術
を適用して行うことができる。たとえば、「画像解析ハ
ンドブック」の707頁から712頁（東京大学出版会、平成
３年１月発行高木幹雄、下田陽久監修）に記載された
技術を適用して行うことができる。具体的には、たとえ
ば、テンプレート画像をサーチエリア上で少しづつ動か
しながら、重なる画像の差分の和を求め、差分が最も小
さくなったときにテンプレート画像が重なっていたサー
チエリア上の領域を、テンプレート画像に最も整合する
サーチエリア上の領域とする。

【００３７】このテンプレートマッチングにより、テン
プレート画像に最も整合するサーチエリア内の、テンプ
レート画像と同じ大きさの領域が得られる。そこで、こ
の領域中の、テンプレート画像中の対応点候補座標８０
１に対応する座標（得られた領域にテンプレート画像を
最も整合するように重ねた時に、テンプレート画像中の
対応点候補座標８０１に重なる領域内の座標）を、画像
Ｒ２０２の対応点座標とする。また、画像Ｌ２０１につ
いては、画像Ｌ２０１上の対応点候補座標８０１を、画
像Ｌ２０１の対応点座標とする。そして、両対応点座標
を一組の対応点座標として記憶する。

【００３８】ここで、テンプレート画像８１１およびサ
ーチエリア８１２には、対応点候補処理１１０にて作業
者が選択した対象の特徴的なパターンが部分的あるいは
全体的に存在する。このため、本実施形態に係るテンプ
レートマッチングでは、テンプレート画像に最も整合す
るサーチエリア内の領域を高精度に求めることができ、
したがって精度良く対応点座標を求めることができる。

【００３９】対応点探索処理１１１は、以上のステップ
７０２からステップ７０４の処理を、全ての対応候補点
座標の組について行い、終了したならば、ステップ７０
６において、それまでに求められ記憶されている各組の
対応点座標２０３を読み出し、図４に示したリストを対
応点情報２０３として、モザイク処理２１１に、画像
Ｌ、画像Ｒと共に渡す。なお、図４の、対応点情報２０
３では、リストの各行に一組の対応点座標が記述されて
いる。

【００４０】以上、本発明の第１の実施形態について説
明した。

【００４１】このように、本第１実施形態によれば、対
応点候補選択処理にて、作業者より、対応点の位置をお
おまかに示す対応点候補を受け付け、その後に、対応点
探索処理にて、受け付けた対応点候補近傍において、テ
ンプレートマッチングにより対応点の正確な位置を計算
する。このため、作業者が、特徴的なパターンのおおま
かな中心付近を対応点候補として選択すれば、一方の画
像より切り出した、自身と同パターンに対してのみ高い
整合度を示す特徴的なパターンを含むテンプレートによ
るテンプレートマッチングが行われ、精度良く対応点が
求められる。また、さらに、他方の画像の作業者が指定
した対応点候補周辺、すなわち、テンプレートに含めた
特徴的なパターンを含む範囲であると推定されるエリア
のみをサーチエリアとすることにより、不要な処理を排
除し、効率的に処理を行うことができるようになる。ま
た、作業者は、特徴的なパターンのおおまかな中心付近
を対応点候補として選択するだけで良いので、その負荷
は、手動マッチングに比べ大幅に軽減される。

【００４２】以下、本発明の第２実施形態について説明
する。

【００４３】本第２実施形態は、図１０に示すように、
画像Ｌ９０１および画像Ｒ９０２が、部分的な画像の重
なりがあるが、互いに縮尺および軸が異なる場合にも適
用できるように、前記第１実施形態における対応点探索
処理１１１を以下のように修正したものである。

【００４４】したがって、本第１実施形態における図１
の画像処理装置のハードウエア構成や、図２のモザイキ
ング処理の全体構成や、前述したモザイク処理２１１の
内容や、前述したマッチング処理２１０における対応点
候補選択処理１１０の内容は、本第２実施形態に係る画
像処理装置にも共通するものである。

【００４５】以下、本第２実施形態に係る対応点探索処
理１１１について説明する。

【００４６】第２実施形態に係る対応点探索処理１１１
の処理手順を図１１に示す。

【００４７】図示するように、対応点探索処理１１１で
は、まず、ステップ１００１で画像Ｌ９０１、画像Ｒ９
０２および、対応点候補選択処理１１０で求められた対
応点候補座標の各組１０３を入力する。

【００４８】そして、ステップ１００２において、画像
Ｒを、画像Lと同じ縮尺向きの画像Ｒ’に幾何変換する
ために用いる幾何変換式の幾何変換係数を算出する。図
１２に変換前の画像Ｒ９０２および変換後の画像Ｒ’１
１３３を示す。なお、以下では、画像Ｒ’１１３３は、
画像Ｌ９０１と同じ座標系で表されるものとする。

【００４９】たとえば、幾何変換として擬似アフィン変
換（共一次変換ともいう）を用いる場合、その擬似アフ
ィン変換式は、数１に示すようになる。

【００５０】

【数１】

【００５１】ここで、a,b,c,d,e,f,g,h：幾何変換係
数、 (xl,yl)：画像Ｌ（画像Ｒ’）の点、 (xr,yr)：画像Ｒの点。

【００５２】数１は、画像Ｌ９０１もしくは画像Ｒ’１
１３３の座標を画像Ｒ９０２上の座標に変換する式とな
っている。

【００５３】ここで、数１の幾何変換係数(a,b,c,d,e,
f,g,h)としては、最小２乗法を用いて求めた数２の両辺
の２乗誤差を最小とする解(a,b,c,d,e,f,g,h)を用い
る。

【００５４】

【数２】

【００５５】ここで、〔..〕：行列、 (xl1,yl1),..,(xli,yli)：画像Ｌの対応点候補（ｉ
個）、 (xr1,yr1),..,(xri,yri)：画像Ｒの対応点候補（ｉ
個）。

【００５６】なお、最小２乗法については、「たれでも
わかる数値解析入門」（近代科学社、平成７年１２月発
行新濃清志、船田哲夫共薯）の49頁から56頁などに詳
しい。

【００５７】さて、このように幾何変換係数は各画像の
対応点候補の位置から推定される。このため、各組の対
応点候補座標に含まれてる位置誤差（両対応点候補座標
が示す対象のずれ）に比例して、幾何変換係数の数値に
誤差が生じる。そこで、以下に説明するように、本対応
点探索処理１１０では、繰り返しループ実行する手順を
踏むことにより、幾何変換係数の誤差を小さくしてゆ
き、精度よく対応点を求める。

【００５８】さて、ステップ１００２にて幾何変換係数
が算出されたならば、図１１に示すように画像Ｒ９０２
を幾何変換した画像Ｒ’１１３３を作成する。作成手順
は以下の通りである。

【００５９】まず、画像Ｒ’上の各画素の座標(xl,yl)
を順次選択し、数１の変換式にて幾何変換して、画像Ｒ
上の浮動小数点タイプで表現した座標(xr,yr)を算出す
る。そして、画像Ｒ上の浮動小数点タイプで表現した座
標(xr,yr)近傍の、４ｘ４画素値をキュービックコンボ
リューション法により補間して座標(xr,yr)の画素値を
算出し、これを、画像Ｒ’の座標(xl,yl)の画素値とす
る。

【００６０】なお、キュービックコンボリューション法
については、「画像解析ハンドブック」（東京大学出版
会、平成３年１月発行高木幹雄、下田陽久監修）の443
頁から444頁などに詳しい。ただし、補間法としては、
他の補完法を用いてもよい。

【００６１】そして、対応点候補座標１１０１の各組に
ついて、ステップ１００４からステップ１００６の処理
を行う。

【００６２】ステップ１００４において、前記第１実施
形態のステップ７０２と同様に、画像Ｌ９０１からテン
プレート画像を作成する。図１２に示すようにテンプレ
ート画像１１１１は、画像Ｌ９０１からから切り出した
対応点候補座標１１０１を中心としたｍｘｍ（ｍは定
数）近傍の画像である。

【００６３】また、ステップ１００５において、前記第
１実施形態のステップ７０３と同様に、画像Ｒ’１１３
３におけるサーチエリアを決定する。図１２に示すよう
にサーチエリア１１１２は、画像Ｒ’１１３３から切り
出した、対応点候補座標を中心としたｎｘｎ（ｎは定
数、ｍ＞ｎ）近傍の画像である。なお、画像Ｒ’１１３
３上の対応点候補座標は、数１の変換式によって、画像
Ｒ９０２上の対応点候補座標１１０２に変換される座標
である。

【００６４】そして、ステップ１００６において、前記
第１実施形態のステップ７０４と同様に、ステップ１０
０４およびステップ１００５にて作成されたテンプレー
ト画像１１１１およびサーチエリア１１１２を用いてテ
ンプレートマッチングを行い、画像Ｌと画像Ｒ’の対応
点座標の組を求める。

【００６５】そして、全ての対応点候補座標の組につい
て、ステップ１００４から１００６の処理が終了したな
らば（ステップ１００７）、ステップ１００８におい
て、画像Ｒ’１１３３上に求められた対応点座標１１０
３を、数１の変換式で幾何変換して、画像Ｒ９０２上の
座標を求め、これを画像Ｒの対応点座標１１０４とし、
画像Ｒ’１１３３上に求められた対応点座標１１０３と
組の画像Ｌの対応点座標と組で記憶する。結果、全ての
対応点候補座標の組に対して求まった、画像Ｒの対応点
座標１１０４と画像Ｌの対応点座標の組が記憶される。
この際、もし、既に、画像Ｒの対応点座標１１０４と画
像Ｌの対応点座標の組が記憶されている場合には、これ
を今回求まった組に更新する。

【００６６】次に、ステップ１００９において、ループ
終了条件を設定し、その条件に一致した場合ステップ１
０１１に進み、不一致の場合、ステップ１０１０を実行
し、ステップ１００２からステップ１００８を繰り返
す。

【００６７】ループ終了条件は以下の通りである。

【００６８】条件１ δ ＞距離（（ループ前の画像Ｒ上の対応点の座標）
−（ループ後の画像Ｒ上の対応点の座標））ただし、ループ後の画像Ｒ上の対応点の座標とは今回実
行したステップ１００８で求まった画像Ｒ上の対応点の
座標であり、ループ前の画像Ｒ上の対応点の座標とは前
回実行したステップ１００８で求まった画像Ｒ上の対応
点の座標である。

【００６９】また、第１回目の条件判定時はループ前の
画像Ｒ上の対応点の位置が存在しないので無条件に条件
１が満たされなかったものと見なす。

【００７０】条件２ α ＜ループ回数ただし、ループ回数とは、ステップ１００８の実行回数
に等しい。

【００７１】ここで、δ、αは定数である。

【００７２】さて、このような２つの条件のうち、１つ
が満たされた場合には、ループを終了し、ステップ１０
１１に進む。

【００７３】一方、２つの条件の双方が満たされなかっ
た場合、ステップ１０１０において、画像Ｒ９０２上の
対応点候補座標を、その対応点候補座標に対してステッ
プ１００８で求まった画像Ｒ９０２上の対応点座標１１
０４で、画像Ｒ９０２上の対応点候補座標を置き換え、
ステップ１００２からの処理を再度行う。

【００７４】最後にステップ１１０１では、最終的に記
憶されている各組の対応点座標２０３を読み出し、図４
に示したリストを対応点情報２０３として、モザイク処
理２１１に、画像Ｌ、画像Ｒと共に渡す。

【００７５】以上、本発明の第２実施形態によれば、モ
ザイキング処理対象の複数の画像に、部分的な画像の重
なりがあるが、互いに縮尺および軸が異なる場合にも、
前記第１実施形態と同様に、作業者の負荷を軽減しつ
つ、精度良く対応点を探索することができる。特に、図
１１に示した処理によれば、得られた対応点の解が収束
するまで、対応候補点を得られた対応点に更新しながら
処理を繰り返すので、充分に精度の良い対応点が求まる
ことが機体できる。

【００７６】なお、前記第２実施形態において、対応点
検索処理１１１から画像Ｒ’を、モザイク処理２１１に
渡し、モザイク処理２１１においてこの画像Ｒ’をモザ
イク画像の生成に利用すようにしてもよい。

【００７７】また、以上の第１実施形態、第２実施形態
において説明した各処理を記述したプログラムは、ＣＤ
−ＲＯＭなどのリムーバルな記憶媒体に格納して画像処
理装置に供給するようにしてもよい。この場合には、外
部記憶装置１５としてＣＤ−ＲＯＭドライバなどのリム
ーバルな記憶媒体のドライバ装置を備え、これを介し
て、リムーバルな記憶媒体に記憶されたプログラムを、
直接、もしくは、ハードディスクドライブなどの他の外
部記憶装置に一旦格納した後、主記憶１１にロードし、
ＣＰＵ１０において実行するようにすればよい。

【００７８】

【発明の効果】以上のように、本発明は、作業員の負荷
を軽減しながらも、精度良く対応点を探索することので
きる画像処理装置を提供することができる。

【図面の簡単な説明】

【図１】本発明の実施形態に係る画像処理装置のハード
ウエア構成を示すブロック図である。

【図２】本発明の実施形態に係るモザイキング処理の構
成を示すブロック図である。

【図３】入力画像の例を示す図である。

【図４】本発明の実施形態で用いる対応点情報を示す図
である。

【図５】モザイク画像の例を示す図である。

【図６】本発明の実施形態に係るマッチング処理の構成
を示すブロック図である。

【図７】本発明の実施形態に係る対応点候補選択処理で
用いるウインドウを示す図である。

【図８】本発明の第１実施形態に係る対応点探索処理の
手順を示すフローチャートである。

【図９】本発明の第１実施形態に係る対応点探索処理の
ようすを示す図である。

【図１０】入力画像の例を示す図である。

【図１１】本発明の第２実施形態に係る対応点探索処理
の手順を示すフローチャートである。

【図１２】本発明の第２実施形態に係る対応点探索処理
のようすを示す図である。

【符号の説明】

１０・・・ＣＰＵ１１・・・主記憶１２・・・入力措置１３・・・ポインティングデバイス１４・・・表示装置１５・・・外部記憶装置１６・・・画像入力装置１１０・・・対応点候補選択処理１１１・・・対応点探索処理１０３・・・対応点候補２１０・・・マッチング処理２１１・・・モザイク処理

Claims

【特許請求の範囲】

【請求項１】同一対象を表す画像部分を含む複数の画像
間の相対位置関係を算出する画像処理装置であって、表示装置と、前記表示装置に、前記複数の画像を表示する手段と、前記表示装置に表示した前記複数の画像上の座標の指定
を受け付ける選択手段と、各画像について指定された座標近傍の画像の内容が、相
互に最も整合する相対位置関係を探索する探索手段とを
有することを特徴とする画像処理装置。
【請求項２】請求項１記載の画像処理装置であって、前記探索手段は、一つの画像について指定された座標近
傍の領域の画像をテンプレートとし、他の画像について
指定された座標周辺の領域の画像をサーチエリアとする
テンプレートマッチングによって、前記相対位置関係を
探索することを特徴とする画像処理装置。
【請求項３】請求項１または２記載の画像処理装置であ
って、前記選択手段は、前記表示装置に表示した前記複数の画
像上の座標の指定を、前記表示装置に表示した前記複数
の画像各々について一つずつの座標よりなる座標組とし
て受け付け、前記探索手段は、受け付けた各座標組について、当該座
標組中の座標近傍の画像の内容が、相互に最も整合する
相対位置関係を探索し、当該座標組の内の一つの画像に
ついて指定された座標と、当該座標と探索した相対位置
関係にある他の画像中の座標の組を求め、各座標組につ
いて求めた座標の組を、前記複数の画像の相対位置関係
を表す情報とすることを特徴とする画像処理装置。
【請求項４】同一対象を表す画像を含む複数の画像間の
相対位置関係を算出する画像処理装置であって、表示装置と、前記表示装置に、前記複数の画像を表示する手段と、前記表示装置に表示した前記複数の画像各々について一
つずつの座標よりなる座標組の指定を、複数組受け付け
る選択手段と、前記複数組の座標組に基づいて、同座標組に含まれる各
座標を近似的に一致させる幾何変換を求め、求めた幾何
変換と前記複数の画像とより、同座標組に含まれる各座
標が近似的に一致した複数の画像を生成し、前記座標組
のそれぞれについて、生成した複数の画像中の当該座標
組の座標に対応する座標が重なる相対位置関係を中心
に、生成した複数の画像の内容が整合する相対位置関係
を探索し、探索した相対位置関係と前記幾何変換により
定まる相対位置関係を求める探索処理を行う探索手段と
を有することを特徴とする画像処理装置。
【請求項５】請求項４記載の画像処理装置であって、前記探索手段は、前記座標組のそれぞれについて、生成
した一つの画像の当該座標組の座標に対応する座標近傍
の領域の画像をテンプレートとし、生成した他の画像の
当該座標組の座標に対応する座標周辺の領域の画像をサ
ーチエリアとするテンプレートマッチングによって、前
記相対位置関係の探索を行い、探索した相対位置関係と
前記幾何変換により定まる相対位置関係を求めることを
特徴とする画像処理装置。
【請求項６】請求項４または５記載の画像処理装置であ
って、前記探索手段は、前記探索処理を、前記各座標組の座標
を、当該座標組の座標間の相対位置関係が、最後に行っ
た探索処理で求めた前記複数の画像の相対位置関係を満
足するように更新しながら、所定の条件が満足されるま
で、繰り返し行うことを特徴とする画像処理装置。
【請求項７】請求項１または２記載の画像処理装置であ
って、前記探索手段は、各座標組について、当該座標組の内の
一つの画像の座標と、当該座標と探索した相対位置関係
と前記幾何変換により定まる相対位置関係にある他の画
像中の座標の組を求め、各座標組について求めた座標の
組を、前記複数の画像の相対位置関係を表す情報とする
ことを特徴とする画像処理装置。
【請求項８】同一対象を表す画像部分を含む複数の画像
間の相対位置関係を算出する画像処理装置であって、表示装置と、前記表示装置に、前記複数の画像を表示する手段と、前記表示装置に表示した前記複数の画像上の座標の指定
を受け付ける選択手段と、各画像について指定された座標近傍の画像の内容が、相
互に最も整合する相対位置関係を探索する探索手段と、探索手段が探索した相対位置関係にに基づいて前記複数
の画像を合成した、一つの画像を生成するモザイク手段
とを有することを特徴とする画像処理装置。
【請求項９】電子計算機に読み取られ実行されるプログ
ラムを記憶した記憶媒体であって、前記プログラムは、複数の画像を表示するステップと、表示した記複数の画像上の座標の指定を受け付けるステ
ップと、各画像について指定された座標座標近傍の画像の内容
が、相互に最も整合する相対位置関係を探索するステッ
プとを、前記電子計算機に実行させることを特徴とする記憶媒
体。
【請求項１０】電子計算機を用いて、同一対象を表す画
像部分を含む複数の画像間の相対位置関係を算出する画
像処理方法であって、前記電子計算機が、前記複数の画像を表示するステップ
と、前記電子計算機に、表示された前記複数の画像に共通に
含まれる特徴的なパターン部分の中心付近の、前記複数
の画像上の位置の座標の指定を入力するステップと、前記電子計算機が、前記座標の指定を受け付けるステッ
プと、前記電子計算機が、各画像について入力を受け付けた指
定された座標近傍の画像の内容が、相互に最も整合する
相対位置関係を探索するステップとを有することを特徴
とする画像処理方法。