JPH1186003A - 位置合わせ装置及び位置合わせプログラムを記録したコンピュータが読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 回転を含む画像間の位置関係を高速かつ高精
度に求める位置合わせ装置を提供する。 【解決手段】 ブロック選択手段により誤ったブロック
マッチング処理結果を与える可能性が高いブロックを排
除する。さらにマッチング結果分類手段によりブロック
マッチング処理結果を、同じ位置補正パラメータを生じ
ると考えられるグループに分類し、各グループ毎に位置
補正パラメータ計算手段によりパラメータを求める。ま
た、得られた複数の位置補正パラメータの中から原画像
を参照して最適パラメータ決定手段により最適パラメー
タを決定するため、計算量が少なくかつ精度の高い位置
合わせが可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、特に広範囲な画像
をコンピュータに入力するために、部分画像の特性から
部分画像間の位置関係を自動で求める位置合わせ装置及
び位置合わせプログラムを記録したコンピュータが読み
取り可能な記録媒体に関するものである。

【０００２】

【従来の技術】従来、画像をコンピュータに入力するた
めに、一般的には電子カメラやスキャナが利用されこと
が多い。

【０００３】しかしながら、電子カメラやスキャナのい
ずれにおいても画角や読み取り範囲が限られているた
め、広い領域に渡る対象を一度に読み取ることが不可能
な場合がある。このような場合には、複数に分割して取
得した対象の画像を一枚に再構成する処理が必要とな
る。このような目的を果たすものとして、コンピュータ
により画像の特徴から自動で位置合わせを適用する処理
を行う位置合わせ装置が従来技術として知られている。

【０００４】この従来の位置合わせ装置は、残差や相互
相関係数の指標を利用して、すべてのパラメータ候補か
ら形成されるパラメータ空間内の逐次探索によりパラメ
ータを求める場合が多く見られた。これらの手法は「共
立出版、ｂｉｔ別冊『コンピュータ・サイエンス』，エ
ーシーエム・コンピューティング・サーベイズ’９２、
７７〜１１９頁」に記述されているので詳細は割愛する
が、含まれる変動の種類が多くなると指数的に計算量が
増大するという問題があった。この計算量の問題を回避
するものとして、例えば「特開平７−２６４４８３、
『放射線画像の位置合せ方法』」が提案されている。こ
の提案では、まず、基準となる特徴点を画像から抽出し
特徴点周辺の画像をブロックとみなす。そして、各ブロ
ックに対して平行移動量を求める処理（ブロックマッチ
ング処理）のみを適用し、その結果を最小二乗法で統合
し、平行移動量、回転量、拡大／縮小量を含むパラメー
タを一括して求める手法が説明されている。この手法で
は、パラメータ空間は平行移動量のみで構成されるため
計算量の指数的な増大を防ぐことが可能となる。また、
「特開平８−１４５６２８、『対象物位置特定方法』」
においては、複数のテンプレートにブロックマッチング
処理を適用した結果から、すべての組合せについて平行
移動量、回転量を含むパラメータを求め、その中で最小
の二乗誤差を与えるパラメータを位置合せ結果とする方
法が説明されている。

【０００５】

【発明が解決しようとする課題】しかしながら、「特開
平７−２６４４８３、『放射線画像の位置合せ方法』」
をはじめとする従来のブロック分割による位置合わせ手
法では、パラメータ空間は平行移動量のみで構成される
ため計算量の指数的な増大を防ぐことが可能となるもの
の、得られるパラメータが誤った平行移動量を与えるブ
ロックの影響を受ける可能性があり、得られるパラメー
タの精度が低くなるという問題があった。

【０００６】また、「特開平８−１４５６２８、『対象
物位置特定方法』」による位置合せ手法では、すべての
ブロックの組み合わせ毎に得られたパラメータの中か
ら、二乗誤差を最小にするパラメータを求めることで、
誤った平行移動量を与えるブロックの影響を回避するこ
とを試みているが、ブロックマッチング処理結果のみに
基づいて最適パラメータを決定しているため、複数のブ
ロックが同じような誤った平行移動量を与える場合には
必ずしも正しい結果を与えるとは言えなかった。

【０００７】本発明は上記課題を解決するべくなされた
ものであり、回転を含む画像間の位置関係を高速かつ高
精度に求める位置合わせ装置を提供することを目的とす
る。

【０００８】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明における位置合わせ装置においては、回転
を含む画像間の位置関係をブロックマッチング処理結果
を統合して求める際に、誤ったブロックマッチング処理
結果をもたらす可能性が高いブロックを排除するブロッ
ク選択手段と、得られたブロックマッチング処理結果を
分類するマッチング結果分類手段と、分類されたグルー
プ毎に対象画像の位置補正量をあらわすパラメータを求
める位置補正パラメータ計算手段と、得られた複数の位
置補正パラメータの中から、原画像を参照して最良の結
果を与える位置補正パラメータを決定する最適位置補正
パラメータ決定手段を備えるように構成する。

【０００９】よって、本発明における位置合わせ装置で
は、ブロック選択手段により誤ったブロックマッチング
処理結果を与える可能性が高いブロックを排除するた
め、ブロックマッチング処理によって得られる各ブロッ
クの位置合わせ結果の精度が向上する。さらにマッチン
グ結果分類手段によりブロックマッチング処理結果を、
同じ位置補正パラメータを生じると考えられるグループ
に分類し、各グループ毎に位置補正パラメータ計算手段
によりパラメータを求めることで得られる位置補正パラ
メータの精度を向上させる。また、得られた複数の位置
補正パラメータの中から原画像を参照して最適パラメー
タ決定手段により最適パラメータを決定するため、計算
量が少なくかつ精度の高い位置合わせが可能となる。

【００１０】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００１１】図１は本発明における位置合わせ装置４０
０の構成の例を示すブロック図である。

【００１２】図１において、位置合わせ装置４００は、
位置合わせの基準となる基準画像をブロックに分割し、
分割した各ブロックの属性情報および位置合わせ適用時
の位置パラメータ候補を求めてブロック属性メモリ４０
７に格納するブロック分割手段４０１と、ブロック属性
メモリ４０７内の属性情報と画像メモリ１０８内の画像
情報からブロックの特性値を求め、位置合わせを適用し
た場合に誤った結果を生じる可能性が少ないと判断され
るブロックのみを選択するブロック選択手段４０２と、
ブロック選択手段４０２により選択された各ブロックに
おいて画像メモリ１０８内の基準画像と位置合わせを適
用する対象画像の情報を参照して位置合わせを適用する
ブロックマッチング手段４０３と、ブロックマッチング
手段４０３により得られた各ブロックの位置合わせ結果
から、同じ位置補正パラメータから生じたとみなされる
ブロックを同じグループに分類するマッチング結果分類
手段４０４と、マッチング結果分類手段４０４により分
類されたグループ毎に位置補正パラメータを求め位置パ
ラメータメモリ４０８に格納する位置補正パラメータ計
算手段４０５と、位置パラメータ計算手段４０５により
計算され位置パラメータメモリ４０８に格納されている
グループ毎の位置補正パラメータから、基準画像と対象
画像が最もよい重なり状態になる位置補正パラメータを
選択する最適位置補正パラメータ決定手段４０６と、各
ブロックの属性情報およびマッチングに使用する位置パ
ラメータ候補を格納するブロック属性メモリ４０７と、
対象画像の位置パラメータの候補および各グループ毎に
求めた位置補正パラメータを格納する位置パラメータメ
モリ４０８と、位置合わせの基準となる基準画像、位置
合わせを適用する対象画像などの部分画像をはじめとす
る各画像を格納する画像メモリ１０８と、から構成され
る。

【００１３】次に、本発明の動作の概略を説明する。

【００１４】本発明における位置合わせ装置４００にお
いては、まず、画像メモリ１０８内の位置合わせの基準
となる基準画像が、ブロック分割手段４０１によりブロ
ックに分割される。分割された各ブロックの位置などの
属性情報は、位置合わせの適用範囲を示す位置パラメー
タ候補群と共にブロック属性メモリ４０７に格納され
る。ブロック属性メモリ４０７内の属性情報に基づい
て、ブロック選択手段４０２により、ブロックマッチン
グ処理を適用した場合に誤った結果を生成する可能性を
評価する特性値が各ブロック毎に計算され、誤った結果
を生成する可能性の低いブロックのみが選択される。ブ
ロック選択手段４０２により選択されたブロックには、
ブロックマッチング手段４０３により平行移動に基づく
位置合わせ処理が適用されブロック毎に基準画像と対象
画像が対応する点が決定されてブロック属性メモリ４０
７に格納される。マッチング結果分類手段４０４は各ブ
ロック毎の位置合わせ処理結果を、同じ位置補正パラメ
ータに基づくものか否かを基準にグループに分類する。
位置補正パラメータ計算手段４０５は、マッチング結果
分類手段４０４により分類されたグループ毎に回転量を
含む位置補正パラメータを計算する。得られたグループ
毎の回転量を含む位置補正パラメータの中から、基準画
像と対象画像が最も良好に重なる位置補正パラメータ
を、基準画像と部分画像を参照して最適位置補正パラメ
ータ決定手段４０６により求める。

【００１５】

【実施例】次に、本発明の具体的な実施例について図面
を参照しながら詳細に説明する。

【００１６】本発明の位置合わせ装置４００の処理の流
れの一例を記した図２を用いて説明を行い、同時に図１
に示した本発明の各構成についても説明を行う。

【００１７】以下の説明では位置合わせの基準となる画
像を基準画像４５１、位置合わせ処理の対象となる画像
を対象画像４５２と呼ぶ。対象画像４５２の基準画像座
標系４５０における初期位置、取り得る位置補正パラメ
ータ候補の集合、および画像属性は予め位置パラメータ
メモリ４０８に格納されているものとする。これらは通
信手段により外部から読み込むように構成することも可
能である。この構成については、本出願人が以前に出願
した特開平９−２１８９４１号公報「画像入力装置」に
詳細が記載されているので、説明を省略する。対象画像
４５２の初期位置は図３のように基準画像の中心を原点
とする基準画像座標系４５０において、 （Ｘ，Ｙ，θ） （式１） とする。この時、対象画像座標系４６０における位置
（ｍ，ｎ）に対応する基準画像座標系４５０における位
置（Ｍ，Ｎ）は、同次表現を用いて

【００１８】

【数１】

【００１９】と表現できる。

【００２０】なお、画像間には回転、平行移動による変
動のみが含まれており、拡大・縮小やスキューなどは含
まれていないものとする。また、画像の大きさは基準画
像４５１、対象画像４５２とも（Ｓｘ，Ｓｙ）とする
が、これらは説明を簡単にするために設定するものであ
り、本発明における位置合わせ装置の適用範囲をこれに
限定するものではない。対象画像４５２の位置が本実施
例とは異なる方式で表現される場合や拡大・縮小等のよ
り複雑な変動を含む場合、基準画像４５１、対象画像４
５２の大きさが異なる場合などにも適用可能である。

【００２１】位置合わせ装置４００は、まず、ブロック
分割手段４０１により、基準画像４５１を一定の大きさ
（Ｂｘ，Ｂｙ）のブロックに分割し、各ブロックの情報
をブロック属性メモリ４０７に記憶する。ブロックの大
きさは画像の内容や大きさにより決定されるものである
が、通常３２０×２４０画素程度の画像であれば１６×
１６または８×８程度の大きさで十分である。各ブロッ
クには１から順に重複なく番号がつけられており、ｉ番
目（１≦ｉ≦Ｎ）のブロックをブロックｉと呼ぶことに
する。これは説明の都合上設定するものであり、各ブロ
ックを指定できるものであればどのようなものでもよ
い。ブロックｉの情報はブロックの中心位置４５４（ｘ
ｉ，ｙｉ）、ブロックマッチング処理を適用するか否か
を示すフラグＦｉ、マッチング結果分類手段４０４によ
る分類結果を示すグループ番号Ｇｉから構成される。Ｆ
ｉが０の時はブロックｉにブロックマッチング処理は適
用されない。グループ番号Ｇｉは、グループを識別でき
るものであればどのようなものでもよく、マッチング適
用フラグＦｉと兼用することも可能である。この場合
は、ブロックマッチング処理を適用しない場合は０を、
ブロックマッチング処理を適用し、グループに分類され
た場合はそのグループ番号を与えるように構成すればよ
い。また、これら以外にブロックの特性を示す情報を追
加することも可能である。同時に、ブロック分割手段４
０１は位置パラメータメモリ４０８に格納されている位
置パラメータ候補群から、ブロックｉが取り得る位置パ
ラメータ候補を設定し、ブロック属性メモリ４０７に格
納する。すべてのブロックが同じ位置パラメータ候補を
持つように構成することも可能である。

【００２２】次に位置合わせ装置４００は、ブロックマ
ッチング処理を適用するブロックをブロック選択手段４
０２により選択する。これはブロックｉが、基準画像４
５１と対象画像４５２の初期位置における重複部に含ま
れ、かつ、ブロックマッチング処理を適用した際に誤っ
た結果を導く可能性が低い場合に、ブロックマッチング
適用フラグＦｉの値を１にすることで実施する。前者
は、基準画像４５１と対象画像４５２の初期の位置関係
から、後者は基準画像４５１からブロックマッチング処
理の結果と関連の深い特性値から、それぞれ判断可能で
ある。

【００２３】まず、ブロックが基準画像４５１と対象画
像４５２の初期位置における重複部に含まれるか否かを
判断するための方法を説明する。

【００２４】基準画像座標系４５０における位置（ａ，
ｂ）を対象画像座標系４６０において表現した位置
（ａ’，ｂ’）は、 ａ’＝（ａ−Ｘ）×ｃｏｓ(−θ)−（ｂ−ｙ）×ｓｉｎ(−θ) （式３−１ ） ｂ’＝（ａ−Ｘ）×ｓｉｎ(−θ)＋（ｂ−ｙ）×ｃｏｓ(−θ) （式３−２ ） により求められる。ブロックｉの４隅の基準画像座標系
４５０における位置は、 左上（ｘｉ−Ｂｘ÷２，ｙｉ−Ｂｙ÷２） （式４−１） 左下（ｘｉ−Ｂｘ÷２，ｙｉ＋Ｂｙ÷２） （式４−２） 右下（ｘｉ＋Ｂｘ÷２，ｙｉ＋Ｂｙ÷２） （式４−３） 右上（ｘｉ＋Ｂｘ÷２，ｙｉ−Ｂｙ÷２） （式４−４） として求められる。この４隅の位置を式３により対象画
像座標系４６０において表現した結果が、いずれも対象
画像４５２上にある場合はブロックｉは重複部に完全に
含まれていると考えることができる。ここでは、基準画
像４５１、対象画像４５２とも矩形であるものとして説
明したが、マスク画像を利用したより複雑な形状の画像
に対しても適用可能であり、この場合はブロックｉの４
隅の座標の対象画像座標系４６０における位置が対象画
像４５２上にあるか否かをマスク画像を参照して判断す
るように構成すればよい。

【００２５】次に、ブロックマッチング処理を適用した
際に誤った結果を導く可能性の判断手法について説明す
る。

【００２６】本実施例においてはブロックｉの分散を基
準画像４５１を参照して求め、分散があらかじめ設定し
た閾値以下の場合はブロックｉにブロックマッチング処
理を適用しても誤った結果を導くものと判断する。図４
はブロックとその濃度分布の例を示したものであり、ブ
ロックＢ４６２では画素値が一定の値に集中し、マッチ
ングに有効な画素が少ないことがわかる。このようなブ
ロックにマッチングを適用しても良い結果は得られない
ため、ブロック選択手段４０２はこのような画素を濃度
分布の分散から判断し、選択対象から外す。なお、分散
以外にも様々な特性値を利用することが可能である。２
値画像ではブロック内に含まれる黒画素の割合を利用可
能である。また「吉田他『動画像の動きベクトルに対す
る信頼度関数とその応用』，電子情報通信学会論文誌D-
II，Vol.J80-D-II，No.5，pp.1192-1201，1997」で提案
されているような、より複雑な特性値を利用することも
可能である。図５はブロック選択の例を示した図であ
り、斜線の引かれていないブロックが選択されたブロッ
クであることを示している。

【００２７】なお、上記の説明では、基準画像４５１と
対象画像４５２の初期位置における重複部に含まれ、ブ
ロックマッチング処理を適用した際に誤った結果を導く
可能性が低いブロックすべてを選択するものとしたが、
必ずしも条件を満たすブロック全てを選択する必要はな
い。分散などブロックの特性値が高い順に、あらかじめ
決められた数のブロックのみを選択するように構成する
ことも可能である。この時は、ブロックマッチング処理
を実施するブロック数を限定できるため、位置合わせ処
理に要する処理量をさらに削減可能となる。

【００２８】ブロック選択手段４０２により選択された
ブロックの数が２個以上の場合、ステップＦ０４〜０７
により選択されたブロックにブロックマッチング処理が
適用され、対象画像４５２の位置補正パラメータが決定
される（ステップＦ０３）。選択されたブロックの数が
２未満の場合は、回転を含めたパラメータをブロックマ
ッチング処理から決定することはできないため、処理を
終了する。この時、単純に終了するのではなく、すべて
の位置パラメータ候補から形成されるパラメータ空間内
の逐次探索により求める手法など、従来技術を用いて位
置補正パラメータを求めるように構成することも可能で
ある。このような構成では、本発明による位置合わせ装
置を適用できない場合にのみパラメータ空間内の逐次探
索を行うため、複数の画像間に位置合わせを適用する場
合など位置合わせ処理を複数回行う時には、従来のパラ
メータ空間内の全探索を単純に適用する場合よりも処理
効率を向上できるという効果がある。

【００２９】選択されたブロックにはブロックマッチン
グ手段４０３によりブロックマッチング処理が適用され
る（ステップＦ０４）。

【００３０】図６はブロックマッチング処理を説明する
ための図である。

【００３１】ブロックマッチング処理はブロックｉ４５
３に対応する対象画像４５２上の位置を求めるために、
ブロック分割手段４０１が求めた位置パラメータ候補群
を格納したブロック属性メモリ４０７を参照することに
より、マッチングに利用する対象画像４５２の平行移動
量成分を求め、ブロックｉ４５３の移動範囲である探索
範囲４５６を設定する。ブロックｉ４５３の中心位置４
５４を探索範囲４５６内で移動させて、各位置における
ブロックｉ４５３と対象画像４５２の重なり具合を類似
測度により評価し、最も高い類似測度を与える位置を求
める。この位置がブロックｉ４５３と対象画像４５２と
が最も類似性が高い位置とみなされる。これはテンプレ
ートマッチングとして利用される基本的な画像処理であ
り、「共立出版、ｂｉｔ別冊 『コンピュータ・サイエ
ンス』,エーシーエム・コンピューティング・サーベイ
ズ’９２、７７〜１１９頁」、「昭晃堂、『画像処理ハ
ンドブック』、３０３〜３０５頁」、「東京大学出版
会、『画像解析ハンドブック』、７０７〜７４６頁」に
詳しく紹介されているため詳細は割愛する。なお、マス
ク画像を利用した複雑な形状を持つ画像や回転した画像
との位置合わせでは、辺縁部においてブロックｉ４５３
に対応する対象画像４５２の形状が矩形とならない場合
があるが、このような場合においても発明者が先に提案
した「特願平９−５６０６０、『画像の位置合わせ方
法』」による位置合わせ方法を適用することで、高速に
ブロックマッチング処理を実施可能となる。

【００３２】以下、ステップＦ０４におけるブロックマ
ッチング処理の結果、位置４５４（ｘｉ，ｙｉ）にある
ブロックｉ４５３と、対象画像４５２上の点４５５（ｘ
ｉ，ｙｉ）が対応するものとする。

【００３３】本発明における位置合わせ装置では、ブロ
ック選択手段４０２によりブロックマッチング処理を適
用した際に、誤った結果を導く可能性が高いブロックを
排除しているが、選択されたブロックにブロックマッチ
ング処理に適用した場合において、画像の特性から実際
の画像変動とは異なるマッチング結果や、誤差の影響に
より誤ったマッチング結果を与える場合がある。このよ
うな影響を排除するために、ブロックマッチング処理に
より得られた結果を分類し、同じ位置補正パラメータを
生成する可能性が高いもの同士を同じグループにまとめ
（ステップＦ０５）、各グループ毎に位置補正パラメー
タを求める（ステップＦ０６）ように構成されている。

【００３４】図７（ａ）は、ブロックを分類する手法を
説明するための図であり、ブロックｉとブロックｊの関
係を示している。

【００３５】ブロックｉ，ｊの位置をそれぞれ（ｘｉ，
ｙｉ）、（ｘｊ，ｙｊ）、ブロックｉ、ｊに対応する対
象画像４５２上の点の位置をそれぞれ（Ｘｉ，Ｙｉ）、
（Ｘｊ，Ｙｊ）、ブロックｉからブロックｊへのベクト
ルを（ｄｘ，ｄｙ）、ブロックｉに対応する対象画像４
５２上の点からブロックｊに対応する対象画像４５２上
の点へのベクトルを（ｄＸ，ｄＹ）とする。対象画像４
５２を、基準画像４５１と最も良く重なる位置に移動す
る位置補正パラメータは、回転量θ’、平行移動量
（Ｘ’，Ｙ’）により、同次表現を用いて、

【００３６】

【数２】

【００３７】と書ける。

【００３８】ブロックｉおよびブロックｊとそのマッチ
ング結果が式５に従う場合、ブロックｉに対応する対象
画像４５２上の点の位置をブロックｉへ移動する変換
は、

【００３９】

【数３】

【００４０】ブロックｊに対応する対象画像４５２上の
点の位置をブロックｊへ移動する変換は、

【００４１】

【数４】

【００４２】となり、両者の差（ｄｘ，ｄｙ）は

【００４３】

【数５】

【００４４】となる。上記式８より、ブロックｉ、ｊに
同じ変換を適用した場合にはｘ方向、ｙ方向それぞれの
差を軸とする平面上において（ｄｘ，ｄｙ）、（ｄＸ，
ｄＹ）は、図７（ｂ）のように、同一円周上の回転量
θ’だけ離れた位置に存在することがわかる。回転量
θ’の取り得る範囲および許容する距離の誤差を限定可
能な場合は、（ｄｘ，ｄｙ）に対する（ｄＸ，ｄＹ）の
存在範囲も限定可能となる。そこで、ブロックマッチン
グ処理結果より得られる（ｄＸ，ｄＹ）がこの存在範囲
内に含まれるかどうかで、ブロックｉ、ｊにブロックマ
ッチング処理を適用した結果が同じ変換に基づくものか
どうかを判断する。

【００４５】回転量θ’の存在範囲は、位置パラメータ
メモリ４０８内の位置補正パラメータ候補において与え
られる。ここではθ’は０を中心とする、 −Δθ≦θ’≦Δθ （Δθ≧０） （式９） の範囲にあるものとする。また、（ｄｘ，ｄｙ）、（ｄ
Ｘ，ｄＹ）と原点との距離の差ｄの許容範囲を、 −Δｒ≦ｄ≦Δｒ （Δｒ≧０） （式１０） とする。これらは説明のために設定するものであり、本
発明における位置合わせ装置を適用する対象によって決
定されるものである。

【００４６】この時、（ｄｘ，ｄｙ）と（ｄＸ，ｄＹ）
のなす角度ｄθおよび距離の差ｄｒは、それぞれ、

【００４７】

【数６】

【００４８】となる。ｄθ、ｄｒが、それぞれ、 −Δθ≦ｄθ≦Δθ （Δθ≧０） （式１２） −Δｒ≦ｄｒ≦Δｒ （Δｒ≧０） （式１３） を満たせば、ブロックｉ、ｊにブロックマッチング処理
を適用して得られた結果が同一の位置補正パラメータに
よるものと考え、両者を同一のグループに存在するもの
とみなす。

【００４９】この操作を２つのブロックを選択するすべ
ての組合せについて適用することで全体はグループ化さ
れ、同じグループに属するブロックにはブロック属性メ
モリ４０７内のブロック属性情報のグループ番号Ｇｉに
同じ値が与えられる。これにより、ブロックマッチング
処理結果は同一の位置補正パラメータを与えるグループ
に分類される。この過程において、どのグループにも所
属しないブロックは他のブロックとは明らかに異なった
ブロックマッチング処理結果であり、画像の特性から実
際の画像変動とは異なるマッチング結果や、誤差の影響
により誤ったマッチング結果を生じていると考えられ
る。このようなブロックを排除し、全体を同一の位置補
正パラメータを与えるグループに分類することで得られ
る位置補正パラメータの精度を高めているのである。図
８は、マッチング結果分類手段４０４による分類の例を
示したものであり、各ブロックのブロックマッチング処
理結果（図８（ａ））が、二つのグループと排除された
ブロックに分類されている（図８（ｂ））。

【００５０】なお、上記の説明では、ブロックｉとｊの
類似性をｄθ、ｄｒが一定の範囲内に存在するか否かの
２段階で判断しているが、

【００５１】

【数７】

【００５２】のような評価関数を用いて判断することも
可能である。評価関数が設定された閾値を上回る場合
に、ブロックｉとｊのブロックマッチング処理結果が同
一の位置補正パラメータより生成されたと考えるのであ
る。評価関数および閾値をどのように設定するかは画像
の特性を考慮して決定される必要があるが、上記の２段
階の評価と比較して、存在範囲の境界付近に存在するブ
ロックに対する判断を柔軟に行えるという特徴がある。

【００５３】このようにして得られた各グループから、
位置補正パラメータ計算手段４０５は、最小二乗法を用
いて対象画像４５２の位置を補正する位置補正パラメー
タを求める（ステップＦ０６）。

【００５４】すなわち、対象画像４５２の位置補正パラ
メータが上記式５により表現されている場合、θ’、
ｘ’、ｙ’は、ブロックｉ４５３に対応する対象画像４
５２上の位置４５５（Ｘｉ，Ｙｉ）に対して位置補正パ
ラメータを適用した値とブロックｉ４５３の位置４５４
（ｘｉ，ｙｉ）との差、

【００５５】

【数８】

【００５６】の大きさの二乗を、同じグループに属する
ブロックについて加算した値を最小にする、すなわち、

【００５７】

【数９】

【００５８】を満たすθ’、ｘ’、ｙ’として求められ
る。これは、

【００５９】

【数１０】

【００６０】の連立方程式を解くことで求められ、

【００６１】

【数１１】

【００６２】となる。ただし、Σは同じグループに含ま
れるすべてのブロックについての和を示しており、同じ
グループに含まれるブロックの数をＫとしている。

【００６３】このようにして得られた位置補正パラメー
タは、位置パラメータメモリ４０８に格納される。この
位置補正パラメータは、対象画像４５２の基準画像座標
系４５０における初期位置からの変換を示しており、式
５による初期位置の同次表現に対して、

【００６４】

【数１２】

【００６５】と掛け合わせることで、基準画像座標系４
５０における対象画像４５２のあらたな位置を求められ
る。

【００６６】上記ステップＦ０５〜Ｆ０６により、位置
パラメータメモリ４０８に格納された複数の位置補正パ
ラメータから、最適位置補正パラメータ決定手段４０６
により、対象画像４５２を基準画像４５１と最も良好に
重ねあわせる位置補正パラメータが決定される（ステッ
プＦ０７）。すなわち、位置補正パラメータを対象画像
４５２の初期位置に順に適用して対象画像４５２を移動
した場合の基準画像４５１と対象画像４５２の重複部の
類似性を評価し、最も良い類似性を与えた位置補正パラ
メータを最適な位置補正パラメータとするのである。こ
れは、位置パラメータメモリ４０８内の複数の位置補正
パラメータをパラメータ候補群とする逐次探索による位
置合わせ処理であり、従来の位置合わせ方法を利用可能
である。当然のことながら、本出願人が本発明の出願前
に出願した「特願平９−５６０６０、『画像の位置合わ
せ方法』」による位置合わせ方法を適用することも可能
である。

【００６７】このようにして、最適位置補正パラメータ
決定手段４０６により決定された位置補正パラメータ
が、対象画像４５２を、基準画像４５１と最も良く重ね
合せる位置への変換を示しており、基準画像４５１に対
する対象画像４５２の位置合わせ処理結果として与えら
れる。

【００６８】以上説明したように、本発明における位置
合わせ装置では、平行移動を対象としたブロックマッチ
ング処理結果から、対象画像４５２の基準画像４５１に
対する最良の重ね合わせ位置を求める位置合わせ装置
を、ブロック選択手段４０２によりブロックマッチング
処理を適用した場合に正しい結果を生成する可能性が高
いブロックのみを選択し、選択されたブロックへのブロ
ックマッチング処理適用結果を分類してグループ化する
ことで、誤った結果を得る可能性が高いブロックを排除
し、位置補正パラメータ計算手段４０５によりグループ
毎に得られる回転を含む位置補正パラメータの精度を向
上させ、かつ、グループ毎に得られる位置補正パラメー
タの中から、最適位置補正パラメータ決定手段４０６に
より基準画像４５１と対象画像４５２が最も良好に重な
る位置補正パラメータを決定する。このような構成によ
り、対象画像４５２の基準画像４５１に対する最良の重
ね合わせ位置を、高速かつ高精度に求めることが可能に
なる。

【００６９】なお、上記の説明においては、ブロックの
形状はすべて同じ大きさであり、基準画像４５１を機械
的に分割することで生成していたが、位置合わせの手が
かりを与える特徴として利用可能なエッジ等をまず抽出
し、その特徴点近傍にブロックを設定するように構成す
ることも可能である。このような構成は、ブロック分割
手段４０１におけるブロック分割処理と、ブロック選択
手段４０２における正しいブロックマッチング処理を適
用した場合に正しい結果を生成する可能性が高いブロッ
クのみを選択する処理を同時に行っているとみなせる。
このような構成においても、ブロックマッチング処理適
用結果を分類してグループ化することで誤った結果を得
た可能性が高いブロックを排除し、位置補正パラメータ
計算手段４０５によりグループ毎に得られる回転を含む
位置補正パラメータの精度を向上させ、かつ、グループ
毎に得られる位置補正パラメータの中から、最適位置補
正パラメータ決定手段４０６により基最適位置補正パラ
メータ決定手段４０６により基準画像４５１と対象画像
４５２が最も良好に重なる位置補正パラメータが決定さ
れるため、本発明の、対象画像４５２の基準画像４５１
に対する最良の重ね合わせ位置を、高速かつ高精度に求
めることが可能になるという効果は失われない。

【００７０】本発明における画像位置調整方法および位
置合わせ装置は、コンピュータ上にて画像を取り扱う装
置を構成する際に必要となる基本的な処理装置の一つで
あるため、各種の画像処理分野に適用できる。

【００７１】以下、その例を示す。

【００７２】図９は、本発明の位置合わせ装置を利用し
た合成画像生成装置１００の構成例を示す図である。

【００７３】図９において、合成画像生成装置１００
は、画像の位置調整を行う画像位置調整装置３００と、
本発明における位置合わせ装置４００を用いて構成され
る位置補正手段２００と、部分画像を格納する画像メモ
リ１０８と、画像メモリ１０８に格納されている部分画
像の、合成画像座標系における位置および大きさなどの
属性情報を保持する画像属性メモリ１０９と、ユーザか
らの画像選択指示を画像位置調整装置３００に伝える画
像選択ボタン３１２と、位置調整の対象となる画像の指
定、選択された画像の移動量および方向を決定するため
に画像位置調整装置３００にて利用されるポインティン
グ手段３１３と、ユーザが表示画像の内容を切り替える
ように画像位置調整装置３００に伝えるための表示切替
ボタン３１４と、画像位置調整装置３００の出力結果を
表示する表示手段６０１と、画像メモリ１０８内の部分
画像を、画像属性メモリ１０９内の情報に従って合成す
る画像合成手段１０７と、外部から部分画像を画像メモ
リ１０８に、部分画像の属性情報を画像属性メモリ１０
９にそれぞれ読み込むと共に、画像合成手段１０７によ
り得られた合成画像を外部装置に伝える通信手段６００
と、から構成される。

【００７４】図１０は、本画像合成装置１００における
位置補正手段２００の構成の例を示す図である。

【００７５】図１０において、位置補正手段２００は、
本発明における位置合わせ装置４００と、基準画像と対
象画像とを選択して位置合わせ装置４００に伝える位置
合わせ画像選択手段２０１と、対象画像の基準画像から
見た位置を求め位置合わせ装置４００に伝えるととも
に、位置合わせ装置４００の出力結果から対象画像の位
置合わせ後の位置を求める位置パラメータ変換手段２０
２と、から構成される。

【００７６】合成画像生成装置１００では、まず、ユー
ザは通信手段６００により外部から部分画像およびその
属性情報を画像メモリ１０８および画像属性メモリ１０
９に読み込む。部分画像には、読み込まれた順番に撮像
番号が付加されているものとする。これは各部分画像を
識別するために利用されるものであればどのような手段
でもかまわない。読み込んだ部分画像は画像位置調整装
置３００により表示手段６０１に表示される。ユーザは
表示手段６０１に表示された部分画像の位置関係が正し
くなるように、画像位置調整装置３００により画像位置
を調整する。手動による画像位置調整が終了した後、位
置合わせ画像選択手段２０１により対象画像ｉが、また
対象画像に応じた基準画像ｊが選択され、位置パラメー
タ変換手段２０２により対象画像ｉの位置が基準画像座
標系に変換され、位置合わせ装置４００に伝えられる。
位置合わせ装置４００は、与えられた情報に基づいて位
置合わせを実行し、基準画像ｊと対象画像ｉを最も良く
重ねあわせる位置への、対象画像ｉの位置を補正する位
置補正パラメータが戻され、位置パラメータ変換手段２
０２は、この位置補正パラメータを利用して対象画像ｉ
の新たな基準画像画像座標系における位置を求め、得ら
れた位置を合成画像座標系に改めて変換して画像属性メ
モリ１０９内の対象画像ｉの位置を更新する。

【００７７】位置合わせ画像選択手段２０１における基
準画像ｊの選択方法としては、対象画像の直前の撮像番
号ｉ−１を持つ部分画像を基準画像とする方法、対象画
像との重複部の面積が最も大きい部分画像を基準画像と
する方法などがある。位置補正手段２００によるすべて
の部分画像の位置補正処理が終了した後、画像合成手段
１０７により、画像メモリ１０８内の画像が、画像属性
メモリ１０９内の属性情報に従って合成され、画像メモ
リ１０８に格納される。生成された合成画像は通信手段
６００により外部装置に送られる。

【００７８】以上のように、本発明における位置合わせ
装置４００を利用した合成画像生成装置１００において
は、位置合わせ装置４００により精密な位置合わせが実
行されるため、ユーザは厳密に画像間の位置調整を行う
必要はなく、画像の特徴量を参照しながら大まかに位置
を合わせるだけで良い。そのため、容易かつ高速に高精
度の位置合わせを実行可能となる。

【００７９】また、本出願人は先の特許出願（特願平８
−２６３５０号；特開平９−２１８９４１号公報）にお
いて、撮像手段により撮像した対象の部分画像を撮像手
段の移動によって複数取得し、得られた部分画像群から
画像合成処理により合成画像を生成する画像入力装置を
提案したが、本発明の位置合わせ装置は、このような装
置における、ユーザによる画像位置調整や画像の位置合
わせ装置としても勿論利用可能である。

【００８０】また、本発明の位置合わせ装置を、一般に
市販されているパーソナルコンピュータ等のコンピュー
タによって実現するためには、例えば、図１の位置合わ
せ装置４００の機能をコンピュータが解釈可能なプログ
ラムによって作成し、この作成したプログラムを記録媒
体に記録し、本発明の機能を実現したいコンピュータに
このプログラムを記録した記録媒体を読み込ませばよ
い。

【００８１】

【発明の効果】本発明による第１の効果は、本発明にお
ける位置合わせ装置では、平行移動および回転量を含む
画像間の変動を、高精度に求められることである。これ
は、誤ったブロックマッチング処理結果を与える可能性
が高いブロックを排除し、かつ、ブロックマッチング処
理結果を同じ位置パラメータから生じたと考えられる組
に分類して、各組毎に求めたパラメータから最適パラメ
ータを決定するように構成したことによる効果である。

【００８２】本発明による第２の効果は、本発明におけ
る位置合わせ装置では、平行移動および回転量を含む画
像間の変動を、高速に求められることである。これは、
正しいブロックマッチング処理結果を与える可能性が高
いブロックのみにブロックマッチング処理を適用するよ
うに構成したことによる効果である。

【図面の簡単な説明】

【図１】本発明による位置合わせ装置の構成例を説明す
るための図である。

【図２】本発明における位置合わせ装置の実施例におけ
る、処理の流れを説明するための図である。

【図３】本発明における位置合わせ装置の実施例におけ
る、用語を説明するための図である。

【図４】本発明における位置合わせ装置の実施例におけ
る、ブロック選択手段における処理を説明するための図
である。

【図５】本発明における位置合わせ装置の実施例におけ
る、ブロック選択手段における処理を説明するための図
である。

【図６】本発明における位置合わせ装置の実施例におけ
る、ブロックマッチング手段における処理を説明するた
めの図である。

【図７】本発明における位置合わせ装置の実施例におけ
る、ブロック分類手段における処理を説明するための図
である。

【図８】本発明における位置合わせ装置の実施例におけ
る、ブロック分類手段における処理を説明するための図
である。

【図９】本発明における画像位置調整装置および位置合
わせ装置を用いた合成画像生成装置の、構成の例を説明
するための図である。

【図１０】本発明における画像位置調整装置および位置
合わせ装置を用いた合成画像生成装置の構成要素である
位置補正装置の、構成の例を説明するための図である。

【符号の説明】 ４００ 位置合わせ装置 ４０１ ブロック分割手段 ４０２ ブロック選択手段 ４０３ ブロックマッチング手段 ４０４ マッチング結果分類手段 ４０５ 位置補正パラメータ計算手段 ４０６ 最適位置補正パラメータ決定手段 ４０７ ブロック属性メモリ ４０８ 位置パラメータメモリ ４５０ 基準画像座標系 ４５１ 基準画像 ４５２ 対象画像 ４５３ ブロックｉ ４５４ ブロックｉの中心 ４５５ ブロックｉの対応点 ４５６ 探索範囲 ４６０ 対象画像座標系 ４６１ ブロックＡ ４６２ ブロックＢ

Claims (6)

【特許請求の範囲】
1. 【請求項１】基準画像と対象画像との位置関係を、ブロ
   ックマッチング処理を行うことによって求め、前記基準
   画像と前記対象画像との位置合わせを行う位置合わせ装
   置であって、 各ブロック毎のブロックマッチング処理の結果から、同
   様の位置補正パラメータを生じると考えられるブロック
   を同じグループに分類するマッチング結果分類手段と、 前記マッチング結果分類手段によって分類されたグルー
   プ毎に前記対象画像の位置補正パラメータを求める位置
   補正パラメータ計算手段と、 得られた複数の位置補正パラメータの中から、前記基準
   画像と前記対象画像を参照して最良の結果を与える位置
   補正パラメータを決定する最適位置補正パラメータ決定
   手段と、 を少なくとも備えたことを特徴とする位置合わせ装置。
2. 【請求項２】請求項１に記載の位置合わせ装置であっ
   て、 位置合わせを行った時に誤った結果を生じる可能性が少
   ないブロックを選択するブロック選択手段と、をさらに
   備え、 前記ブロック選択手段で選択されたブロックのみを用い
   てブロックマッチング処理を行うことを特徴とする位置
   合わせ装置。
3. 【請求項３】画像メモリに蓄積されている基準画像と対
   象画像との位置関係を求め、前記基準画像と前記対象画
   像との位置合わせを行う位置合わせ装置であって、 前記基準画像を複数のブロックに分割し、各ブロックの
   属性情報を第１のメモリに格納させるブロック分割手段
   と、 前記第１のメモリに格納された前記各ブロックの属性情
   報と前記画像メモリとを参照することにより、前記各ブ
   ロックの特性値を求め、位置合わせを行った時に誤った
   結果を生じる可能性が少ないブロックを選択するブロッ
   ク選択手段と、 前記ブロック選択手段で選択されたブロックに対して、
   平行移動に基づく位置合わせ処理を行い、前記選択され
   たブロック毎に前記基準画像と前記対象画像とに対応す
   る点を決定し、この結果を前記第１のメモリに記憶させ
   るブロックマッチング手段と、 前記ブロックマッチング手段により得られた各ブロック
   の位置合わせ結果から、同様の位置補正パラメータを生
   じると思われるブロックを同じグループに分類するマッ
   チング結果分類手段と、 前記マッチング結果分類手段により分類されたグループ
   毎に前記対象画像の位置補正パラメータを求め、第２の
   メモリに格納する位置補正パラメータ計算手段と、 前記第２のメモリに格納されているグループ毎の位置補
   正パラメータから、前記基準画像と前記対象画像が最も
   よい重なり状態になる位置補正パラメータを選択する最
   適位置補正パラメータ決定手段と、 を有することを特徴とする位置合わせ装置。
4. 【請求項４】前記最適位置補正パラメータ決定手段が、
   前記基準画像と前記対象画像とを参照することにより、
   位置補正パラメータを選択することを特徴とする請求項
   ３に記載の位置合わせ装置。
5. 【請求項５】基準画像と対象画像との位置関係を、ブロ
   ックマッチング処理を行うことよによって求め、前記基
   準画像と前記対象画像との位置合わせを行う位置合わせ
   プログラムを記録したコンピュータが読み取り可能な記
   録媒体であって、 各ブロック毎のブロックマッチング処理の結果から、同
   様の位置補正パラメータを生じると思われるブロックを
   同じグループに分類するマッチング結果分類機能と、 前記マッチング結果分類手段によって分類されたグルー
   プ毎に前記対象画像の位置補正パラメータを求める位置
   補正パラメータ計算機能と、 得られた複数の位置補正パラメータの中から、前記基準
   画像と前記対象画像を参照して最良の結果を与える位置
   補正パラメータを決定する最適位置補正パラメータ決定
   機能と、 を少なくとも備えたことを特徴とする位置合わせプログ
   ラムを記録したコンピュータが読み取り可能な記録媒
   体。
6. 【請求項６】コンピュータが備える画像メモリに蓄積さ
   れている基準画像と対象画像との位置関係を求め、前記
   基準画像と前記対象画像との位置合わせを行う位置合わ
   せプログラムを記録したコンピュータが読み取り可能な
   記録媒体であって、 前記基準画像を複数のブロックに分割し、各ブロックの
   属性情報をコンピュータに備える第１のメモリに格納さ
   せるブロック分割機能と、 前記第１のメモリに格納された前記各ブロックの属性情
   報と前記画像メモリとを参照することにより、前記各ブ
   ロックの特性値を求め、位置合わせを行った時に誤った
   結果を生じる可能性が少ないブロックを選択するブロッ
   ク選択機能と、 前記ブロック選択手段で選択されたブロックに対して、
   平行移動に基づく位置合わせ処理を行い、前記選択され
   たブロック毎に前記基準画像と前記対象画像とに対応す
   る点を決定し、この結果を前記第１のメモリに記憶させ
   るブロックマッチング機能と、 前記ブロックマッチング手段により得られた各ブロック
   の位置合わせ結果から、同様の位置補正パラメータを生
   じると思われるブロックを同じグループに分類するマッ
   チング結果分類機能と、 前記マッチング結果分類手段により分類されたグループ
   毎に前記対象画像の位置補正パラメータを求め、コンピ
   ュータに備える第２のメモリに格納する位置補正パラメ
   ータ計算機能と、 前記第２のメモリに格納されているグループ毎の位置補
   正パラメータから、前記基準画像と前記対象画像が最も
   よい重なり状態になる位置補正パラメータを選択する最
   適位置補正パラメータ決定機能と、 を有することを特徴とする位置合わせプログラムを記録
   したコンピュータが読み取り可能な記録媒体。