JPS5886659A - 画像の位置合せ装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 発明の技術分野 本発明は２枚の画像間の位置すれを簡易に補正すること
のできる実用性の高い画奪の位置合せ装置に関する。

発明の技術的背景 時期を隔てて撮像入力された２枚の画像、例えば衛生画
像や一用画像を合成する場合等、その画像間の位置丁れ
を補正−すべく位置合せを行うことが必要である。ビの
位置合せは、両画像間の回転・平行移動・拡大・縮小等
の一次の関数で表わされる場合には、比較的簡単な信号
処理、例えば−次座標変換等によって実施できる。

然し乍ら上記２枚の画像間の位置ずれ紘一般に非線形で
あり、その位置ずれ補正関数は２次以上の高次の関数と
して示されることが多い、即ち、２枚の画像Ａ、Ｈの各
座標（ｘｌ　　ｌ）’１　　）（ｘｔｅｙｔ）が非線形
座標変換Ｔによって重ね合せられ、こむに位置合せがな
されるとすると、 Ｔ：（ｘｔｅｙｔ）→（ｘ＠　ｅ　Ｆｍ　）として示さ
れ、Ｔは非線形であることから”Ｍ　　＝”ｘ　　（１
：ｔ　　　ＩＦＩ　　）ｙ雪＝Ｔ、（五亀う１１） として、前記補正関数は近似的に２変数２次の多項式と
して示すことができる。従って、この多項式に従って一
方の画像を座標変換すれはその変換画像を他方の画像に
重ね合せることが可能となる。

背景技術の問題点 ところが上記非線形な補正関数を求めることは、一般的
に非常に困難である。即ち、通常２枚の画像間の対応点
をオペレータによって画面全体に亘りて複数個所指定し
、その相関を計算して上記補正関数を求めている。また
この計算を各対応点の相関に従って行うので計算時間が
非常に多く費やされ、実用化の点で問題があった。この
為、従来よ）種々の位置合せ計算処理回路が提唱されて
いるが、その計算の基礎となる位置合せ補正関数、即ち
変換関数自体を適切に与えることが非常に困難であった
。

発明の目的 本発明はこのような事情を考直してなされ丸もので、そ
の目的とすると仁ろ祉、２枚の画像間の非線形な座標変
換関数をオペレータの判断の介入を招くことなく求め、
この求められた座標変換関数に従って一方の画像の座標
変換を行って他方の画像に重ね合せるようにした実用性
の高い画像の位置合せ装置′を提供することにある。

発明の概要 本発明の概要は、２枚の画像間の非線形な位置すれか、
局所的には線形な位置ずれとして近似できることに着目
して２枚の画像をそれぞれ被数の部分領域に分割１、こ
れらの各部分領域毎にその位置ずれ量を求め、これらの
位置ずれ量から前記２枚の画像間の非線形な位置ずれに
対する補正関数を求め九のち、この補正関数に従って上
記画像の座標変換による位置合せを行うようにしたもの
である。

従って本発明によれは分割され九各部分領域毎にずれ量
が求められ、このずれ量から計算される補正関数に従っ
てその位置ずれ補正を行うので、全体的に非線形な位置
ずれを生じ九画曹であっても簡単に且つ正確に位置合せ
を行うことが可能となる。しかも上記部分領域における
補正関数を一次式として与えることが可能なので簡易に
位置合せの為の座標変換計算を実行することができる。

故にオペレータによる判断を介在することなしに極めて
効果的に、且つ高速度に画像の位置合せを行うことがで
き、その実用的利点は多大である。

発明の実施例 以下、本発明に係る画像の位置合せ装置の実施例につき
説明する。

今、非線形座標変換によりて重ね合せられる２枚の画像
につき考えてみると、両画像の座標の位置ずれは、局所
的にはそれぞれ線形的に近似して捕えることができる。

今、一方のｍｓの座標（Ｘ・　、ｙ・　）の周シに変換
関数を展開するものとすると、その座標は ｚ　ｗ　ｚ・＋４１％　　　Ｆ＝Ｆ・＋ａｙとして示さ
れ、定数Ｘ・　、ｙ・と変数Δ菫、Δｙとを分ければ ”ｌ　””！（ＸＩ　ＩＦＩ　） ”ＴｘｃＸｏ　＋ΔＫ　　＋　　３’Ｏ＋Δｙ）ｙ嘗”
”　Ｔ７（ｘｉ　Ｉ　Ｆｌ　） ＝”ｙ（！ｏ＋ΔＸ　　ｔ　　７８＋Δｙ）として、そ
れぞれ近似することができる。一方、１枚の画像がＭＸ
Ｎ画素から構成され、分割された部分領域がそれぞれｍ
Ｘｎ１ｉ素として与えられ、Ｎ方向にに番目、Ｎ方向に
ｔｉ１目の部分領域を＜ｋ、ｔ＞とじて示すものとする
。このとき、部分領域＜ｋ、ｚ）で重ね合せられる２枚
の画像をｆ（ｘ、ｙ）’（ｘ、ア）とし、その位置ずれ
量が（Δｘ、、Δｙ）で示されるとすると、これらの間
に次の関係が成立する。即ち、上記２つの画像をフーリ
エ変換したものを、Ｆ、Ｇ、そしてその変数なＵ、マで
示すと Ｆ（ｕ　、ｖ）”’　Ｇ（ｕ　、ｖ　）＠ＸＤ　Ｑ（ｕ
ｊｘ＋ｖｊｙ）’１として示される。従って先のずれ量
（ΔＸ、Δｙ）はａｌを角度を求める関数として として示すことができる。しかして、この計算紘、例え
ば−次元のＤＦＴ　（Ｄｉｓｅｒ＠ｔ＠Ｆｏｕｒｌ＊ｒ
７ｙａｍｓｆ＠ｒｍ　）回路、−次元加算器、および角
度計算回路を用いれば実行できる。そζで今、前記フー
リエ変換された一方の画像Ｆ（ｕ、マ）がＦ（＋ｍ　、
　ｖ）　−／／ｆ（ｘ　、ｙ）ａｍｐ　ｊ　（ｕｘ＋ｖ
ｙ）ｄｉ　ｄｙで定義されるとすると、Ｆ（ｕ、。）、
Ｆ（。、ｖ）はそれぞれ次のように示すことができる。

Ｆ　（ｕ　、　ｏ　）：／＠ｘｐ　Ｄ　ｕｘ　ａｘ　（
／ｆ（ｚ　、ｙ　）ｄ７　）３Ｆ　（ｏ　、　ｖ　）　
”／＠ＸＰ［ｊ　ＹＦ　ｄｙ（／ｆ（ｘ、ｙ）ｄｘ）３
従って、上記Ｆ（ｕ、・）を求める場合には上式から明
らかなように画像のｙ方向の和を求めてその結果である
Ｘの関数を、その積分核−一（Ｊ　ｕｓ）で−次元フー
リエ変換すればよい。尚、これからずれ量ΔＸを求める
に［、ＤＦＴの全ても用いることなく、ｕｏ（４０）な
る少なくとも１点についてのみ計算すればよい。また同
様にしてＦ（ｏ、ｖ）−Ｇ（ｕ、ｏ）ｅＧ（・、マ）も
求めることができるから、このような処理によって、各
部分領域におけるずれ量（ΔＸ、Δ１）をそれぞれ求め
ることが可能となる。　　゛ （ΔＸ（ｋ）　＝Δｙ（ｋ）；　ｋ＝１．２．３−Ｋ）
を順次求める。このとき、前記２枚の画像が分割され九
各部分領域＜ｋ＊　ｔ＞においてそれぞれ重なる。と云
うことは、各部分領域でｘＨ−Ｘ　＃　ＸＩ　＝！＋Ｊ
　！細 Ｆｌ　＝Ｆ　ｅ　Ｆｍ　＝’ｊ＋ΔＦｋｌｋ：１，２．
３・・・Ｋ なる関係を温圧すことを意味する。また、２枚の画像間
の位置ずれを補正する座標変換関数Ｔは、近時的に多項
式で表わせるから、麺えは（（ｘｓａａ　ａ　ｙｎｃｗ
　）　＋　［ｘ寞６．１　ｔ　ｙｓ　ｈ）：　ｋ＝１＋
２．−Ｋ）を基にして最小自乗法等の処理を行えは、上
記変換１１１ｋＴの多項式の係数をそれぞれ求めること
ができる。かくしてここに１２枚の画像の位置合せを行
うべき変換関数Ｔを与えることが可能となる。

従って、このようにして求められた変換関数Ｔに従って
、一方の１侭の画業（ｘｓ　　１７１　　）に対する重
ね合せの＃ｉ索（ＸＨｅ　ｙｎ　）をそれぞれ計算すれ
ば、ζζに一方のｍｓを他方の画像に１ね合せることが
、つまシ両画像の位置合せを行うことが可能となる。尚
、この重ね合せ処理については、２次以上の多項式で表
わされる１正関数Ｔを直接計算することが困難であシ、
計算効率か悪いことから、−例えは画像を小領域に分割
し、各小領域毎に上記補正関数Ｔを一次近似し、この−
次近似式を用いて座標変換計算を実行するようにすれば
よい、このようにすれば、座標変換処理を一次元的につ
まり線形処理によって高速度に実行することが可能とな
り、処理効率の向上を図ることができる。尚、重ね合せ
がなされる他方のａｉｌｌが正規化されているものとす
れば、上記した位置合せ処理によって前記一方の画像の
非線形な幾何歪を補正したことになると云う効果が奏せ
られる。

さて、第１図社上記し九計算処理を実行する本発明実施
例装置の概略構成図である。

画像メモリＩＦｉ、ＭＸＮ画素からなる２秋の重ね合す
べき画像のデータをそれぞれ記憶している。この画像メ
モリ１に格納された２枚の画像の重ね合せ処理を制御す
る制御装置２は、上記各画像の大きさの情報や各画像を
分割して設定される部分領域の大きさ情報等を入力し、
これらの情報に従って画像メモリ１の画像を、例えばｎ
＋Ｘｍ画素からなる部分領域に分割している。そして、
これらの各分割領域に対して、それぞれ次のような処理
制御を与えている。

先ず制御装置２は、重ね合すべき一方の画像の分割され
た部分領域の各中会座標Ｘ＠（転）、ｙｌ（財）をレジ
スタ３　ａ　ｅ　Ｊ　ｂ　Ｏｋ番目のアドレス位置にそ
れぞれセットする。これらのレジスタＪａ　＊　Ｊｂ上
記アドレス位置には（１，２，〜、Ｋ）なる値をとる。

つまシ、各部分領域の中心座標ＸｏＱｄ＋ｙ＠（転）は
レジスタＪａ、ｊｂにおける部分領域対応アドレスにそ
れぞれセットされる。

一方、Ｙ方向和レジスタ４ａおよびＸ方向和レジスタ４
ｂには、画像メモリ１から読出された画像データのうち
、処理対象とする部分領域のデータがそれぞれセットさ
れる。つｔｂ、レジスタ４−にはＸ方向に直交するＹ方
向勤個の画像データがセットされ、またレジスタ４ｂに
はＸ方向ｍ個の画像データがセットされる。しかしてＤ
ＰＴ（ＩＩＩ散的７−リエ変換）計算回路５ｍ、！ｊｂ
はこれらの画像データを得てそめ７−リエ変換値を計算
しておシ、その結果の０番目でない値、っまシ’（ｕｓ
　、ｏ）　＋Ｆ（ｏ、Ｖ＠　）をＸ方向移動計算回路６
ａおよびＹ方向移動計算回路６ｂにそれぞれセットして
いる。

次に前記制御装置２は、重ね合されるべき他方の画像デ
ータを読出して、その部分領域データを前記ｙ−ｘ方向
和レゾしタ４１・４ｂにそれぞれセットする。そして、
これらのデータに対する７−リエ変換値を前記ＤＦＴ計
算回路５ｍ＋６ｂにてそれぞれ求め、その結果の０番目
でない値であるＧ（ｕ、、。）、Ｇ（。、Ｖ、）をＸ方
向移動計算回路６ａおよびＹ方向移°動計算回路６ｂに
それぞれセットしている。これらの各計算回路１ｍ、４
ｆｂでは、前記Ｆ（＠、、１））ｅＧ（ＩＩｓ　ｔｏ）
およびｗ６なるデータを用いて前述し要式で示されるよ
うにＸ方向移動量（ずれ量）ノＸＱｄを計算すると共に
、Ｆ　（Ｏ，マ・）　＊　’　（ｏ　＋マ。）およびマ
・なるデータからＹ方向移動量（ずれ量）Δｙ（転）を
計算している。

これらの計算された各方向のずれ量ΔＸ（転）、Δｙ６
６は島前記レジスタＪａ　＊　１１ｂの部分領域対応ア
ドレスに加算入力される。従ってレジスタＪ　ａ　＃　
Ｊ　ｂのに＠目のアドレスにはｘ（１（転）＋ｊＸ（転
）、ｙｌ（転）十ノＦｅｄなるデータがセットされるこ
とになる。そして、このような処理Ｆｉ２枚の画面の分
割された複数の部分領域の全てに亘って繰返し実行され
る。これによって、レジスタＪａ　＊　ｊｂには （Ｘ＠（！ｄ＋〕ｘＯ，３：　　ｋ＝１　、２−　　Ｋ
　　）（１・（転）十Δｙ（転）：に＝１．２・・・Ｋ
）なるデータがそれぞれ得られる。

これらのデータを基にして最小自乗法計算回路１では最
小自乗法演算によって上記データ値を得る補正関数Ｔの
多項式の係数をそれぞれ得、これを座標変換係数レジス
タ８にセットして補正関数Ｔを完成させている。以後こ
の補正−数Ｔに従って一方の画像の画素（ｘ＠　　＋　
ｙｌ　）に対する変換座標（１２１Ｆｍ）を画素毎に計
算し、画像の座標変換を行うことＫよって両画像の位置
合せが行われることになる。

ところで、前記Ｙ、Ｘ方゛向和レゾしタ４ｍ、４ｂは例
えば第２図に示すように簡易に構成される。

即ち、画像メモリ１から読出された１画素のデータを先
ず画像レジスタ１１にセットする。また循環形ｍ　（、
、）点の演算バッファレジスタ１２は予め０にクリアし
ておく。そして、この演算パ、ファレジスタ１２のデー
タと前記画像レジスタ１１にセットされたデータとの部
分和を加算器１３にて求め、この部分和を前記演算バッ
ファレジスタ７．７に戻して格納する。しかるのち、画
像レジスタ１１に次の画像データが格納されたとき、演
算バッファレジスタ１２を１回循環させて同様な部分和
処理を実行する。これをｍ（一点の画素データに亘っ□
て繰返し行わせる。これによって、演算パ、７アレジス
タ１２の各アドレス位置にはそれぞれの方向和データが
得られることになる。

以上のように本装置によれば、２枚の画像の分割された
部分領域の各ずれ量から簡易に、しかも精度・よく、そ
の位置合せ補正関数Ｔを求めることができる。従って従
来のようにオイレータの判断を介在させて近似的な補正
関数を与えると云うような煩られしさが全くない。しか
も、補正−数Ｔを精度良く求めることができるので位置
合せの信頼性も高い、従って、各種の画像処理を実行す
る前の画像前処理として絶大なる効果を奏し、実用的利
点も多大である。

尚、本発明は上述し九実施例に限定されるものではない
０例えば重ね合せがなされる他方の画像が予め知られた
正規化され丸ものである場合には、上述した画像の位置
合せによってその画曹の幾何歪補正を行うこと瀘できる
。従って、非線形な幾何歪を含む衛星スキャナ画像等の
前処理として多大な効果を奏する。また前記ＤＦ’Ｔ計
算を必ずしも行〜う必要はなく、少なくとも１点のフー
リ・工級数変換値を求めればよい、またＤＦＴ計算によ
って複数点の移動量ノＸ、ノｙを求め、その平均値をレ
ジスタにセットするようにして精度の向上を図ることも
できる。更には可変長の演算パ、ファレジスタを用いて
方向和レジスタを構成することに′よシ、装置構成の簡
略化を図ることも可能である。以上要するに本発明は、
その要旨を逸脱しない範囲で値々変形して実施すること
ができる。

発明の効果 以上詳述したように本発明によれば２枚の画偉関の非線
形な位置ずれを、その分割され九部分領域の位置ずれ量
に基づいて求められた補正関数Ｔに従って簡易に補正し
、上記両画像の精度の高い位置合せを可能とする。しか
も、簡易にして効率良く上記位置合せ処理を実行できる
等、実用上絶大なる効果を奏する。

【図面の簡単な説明】

第１図は本発明の一実施例領置の要部を示す概略構成図
、第２図は同実施例における方向和レジスタので構成例
を示す図である。 １・・・画像メモリ、２・・・制御装置、３ａ・３ｂ・
・・レジスタ、４ｍ、４ｂ・・・ｘ、Ｙ方向和レジスタ
、６　ａ　＋　５　ｂ・・・ＤＦＴ計算回路、６ｍ、６
ｂ−Ｘ、Ｙ方向移動計算回路、７・・・最小自乗法計算
回路、８・・座標変換係数レジスタ。 出願人代理人　弁理土鈴　江　武　彦 第１図 第２図

Claims (1)

【特許請求の範囲】
1. ２枚の画像をそれぞれ複数の部分領域に分割する手段と
   、上記２枚の画像間の対応する部分領域における位置ず
   れ量をそれぞれ求める手段と、上記部分領域毎に求めら
   れた位置すれ量から前記２枚の画像間の非線形な位置ず
   れに対する補正関数を求める手段と、この補正関数に従
   って前記一方の画像の他方の画像に対する位置補正され
   た画像座標をそれぞれ計算する手段とを具備したことを
   ４！黴とする画像の位−合ゼ装置・