JPH11345315A - 画像位置合わせ方法、画像位置合わせ装置及び記録媒体 - Google Patents

画像位置合わせ方法、画像位置合わせ装置及び記録媒体

Info

Publication number
JPH11345315A
JPH11345315A JP10151505A JP15150598A JPH11345315A JP H11345315 A JPH11345315 A JP H11345315A JP 10151505 A JP10151505 A JP 10151505A JP 15150598 A JP15150598 A JP 15150598A JP H11345315 A JPH11345315 A JP H11345315A
Authority
JP
Japan
Prior art keywords
image
pixel
edge
vertical
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10151505A
Other languages
English (en)
Other versions
JP2897772B1 (ja
Inventor
Hisashi Shiba
尚志 斯波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP10151505A priority Critical patent/JP2897772B1/ja
Priority to DE19924077A priority patent/DE19924077A1/de
Priority to US09/320,453 priority patent/US6434279B1/en
Application granted granted Critical
Publication of JP2897772B1 publication Critical patent/JP2897772B1/ja
Priority to KR1019990020018A priority patent/KR100305419B1/ko
Publication of JPH11345315A publication Critical patent/JPH11345315A/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 画像が撮像装置の特性やノイズなどの影響で
変形を受けていても精度が低下しない、サブピクセル精
度の位置合わせ手法の提供する。 【解決手段】 フィッティング範囲設定手段103にお
いて、入力画像の微分値の大きな画素の連なりをフィッ
テイング範囲と設定し、関数フィッティング手段104
において、各フィッティング範囲に対し、単峰性の関数
をフィッティングしエッジ位置をサブピクセル精度で求
める。次に、ピクセル精度位置合わせ手段106におい
て位置合わせを行う。対応候補曲線生成手段108にお
いて、ある一方の画像上のエッジ点に対して、他方の画
像上の対応する複数のエッジ点を曲線で結び対応候補曲
線とする。位置ずれ算出手段109において、全ての対
応候補曲線が交差する点もしくは最も密集する点を求
め、その座標を一方の画像からもう一方の画像に対する
サブピクセル精度の変位とみなす。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】複数のデジタル画像をサブピ
クセル精度(画素の大きさより細かい精度)で位置合わ
せする方法及び装置に関する。
【0002】
【従来の技術】デジタル画像に対する画像処理を行う際
に、画素(ピクセル)の大きさより細かい精度(サブピ
クセル精度)で複数のデジタル画像を位置合わせしたい
ことがある。従来、複数の画像をサブピクセル精度で位
置合わせする手法として、大きく分けて3種類の手法が
ある。第1に、V.N.ドボルチェンコの手法(V. N.D
vorchenko: "Bounds on (deterministic) correlation
functions with applications to registration", IEEE
Trans. Pattern. Anal. Mach. Intell., Vol.PAMI-5,
No.2, pp.206-213, 1983)に代表される、画像間の相互
相関関数に対して曲面フィッティングを行い、相互相関
関数の極大値点の座標を、サブピクセル精度で求める相
関関数補間法である。第2に、J.A.パーカーらの手
法(J. A. Parker, R. V. Kenyon, and D. E. Droxel:
"Comparison of interpolating methods for image re
sampling", IEEE Trans. Med. Imaging, Vol. MI-2, N
o.1,pp.31-39, 1983)に代表される、比較する各画像に
おいて、一方の画像について、画素間の濃淡値を補間し
て求め、画像を1/N画素単位でシフトさせ、もう一方
のシフトしていない画像とでテンプレートマッチングを
行い、最もマッチする座標を求めることにより位置ずれ
を1/N画素の精度で求める濃淡値補間法である。第3
に、T.S.フアンの手法(T. S. Huang: "Image Sequ
ence Analysis", p.303, Springer-Verlag, 1981)に代
表される手法で、一方の画像(画像A)はもう一方の画
像(画像B)からX方向に微小距離Dx、Y方向に微小
距離Dyずれたものと考え、画像Bの濃淡値をDxとDy
についてテーラー(Taylor)展開し、画像Aと画像Bの濃
淡値の差からDxとDyについての1次の連立方程式を求
め、この方程式を解くことによりDx,Dyを求める差分
法である。ここでこの差分法について詳しく説明する。
比較する画像の濃淡値がそれぞれ、f(x,y),g(x,
y)と表され、g(x,y)はf(x,y)が(Dx,Dy)だけ変
位したものだとすると、g(x,y)=f(x−Dx,y-D
y)と表すことができる。(Dx,Dy)が微小ならば、f
(x,y)とg(x,y)の差I(x,y)は、
【0003】
【数1】 と表される。I(x,y)の値とf(x,y)の偏微分の値を
様々な座標で求め、式(1)から様々な座標における(Dx,
Dy)についての連立方程式を立て、その連立方程式を解
くことにより、両方の画像間の相対的な位置のずれの量
である(Dx,Dy)が得られる。
【0004】なお濃淡値補間法と差分法は、表現方法こ
そ違うものの、相互相関関数が極大を取る点を探す相関
関数補間法と原理的に同等である。
【0005】
【発明が解決しようとする課題】しかしながら、上述し
た従来の手法は、位置合わせの対象となる画像はどれも
全く同等の画像であって、互いの相対位置のみがずれた
ことを暗黙の前提条件としている。そのため画像に変形
やノイズが加わった場合、その前提条件が崩れ、位置ず
れ量を正しく求められない可能性がある。以下、いくつ
か実例を挙げて、従来の手法では位置ずれ量を正しく求
めることができないことがあることを説明する。
【0006】図10(a)は、エッジの斜面部分の濃淡値
変化が比較的緩やかな入力画像の一例を示しており、図
10(b)は、エッジの斜面部分の濃淡値変化が比較的急
な入力画像の一例を示している。このような2つの入力
画像を位置合わせして重ね合わせた結果が図10(c)に
示されている。図10(a)と図10(b)に示すように、画
像中にエッジが1つしかなく、撮像装置の光学的な特性
などが原因で入力画像間でエッジプロファイルが異なる
場合、上記の従来の手法を用いた場合には、図10(c)
に示すように、重なり合わない部分の面積が最小になる
ように重なり合うので、必ずしも1次微分の極大値点で
定義されるエッジ同士が重なり合うわけではない。した
がって、位置ずれ量を正しく求められないことがある。
【0007】図11(a)は、コーナーに丸みがある、つ
まりコーナー部分の曲率が比較的小さい入力画像の一例
を示し、図11(b)は、コーナーに丸みがない、つまり
コーナー部分の曲率が比較的大きい入力画像の一例を示
している。このような2つの入力画像を直線エッジ部分
が一致するように位置合わせして重ね合わせた結果を図
11(c)に示し、また、互いに重なり合わない部分の面
積が最小になるように重ね合わせた結果を図11(d)に
示す。このようにパターンのコーナーの形状が異なる場
合、従来の手法では、重なり合わない部分の面積が最小
になるように重なり合うため、図11(c)のようにエッ
ジ同士が重なるのではなく、図11(d)のようにずれて
重なり合うことがある。
【0008】図12(a)は、パターン上にテクスチャー
がある入力画像の一例を示し、図12(b)も、パターン
上にテクスチャーがある入力画像の一例を示している。
もっとも、図12(b)の入力画像は、図12(a)の入力画
像と比較して、テクスチャーがややエッジ寄りに位置し
ている。このような2つの入力画像をエッジ部分が一致
するように重ね合わせた結果を図12(c)に示す、パタ
ーン上のテクスチャーが一致するように重ね合わせた結
果を図12(d)に示す。図12(a),(b)のように、撮像装
置の各検出素子間の感度のばらつきや、各走査線のスタ
ートタイミングずれによるビデオジッターなどが原因
で、パターン上に微妙な濃淡値の凹凸であるテクスチャ
ーが存在する場合、図12(c)のようにエッジ同士が重
なり合うのではなく、図12(d)のようにエッジ同士が
微妙にずれて重なりあう可能性がある。
【0009】図13(a)は、パターン上に微小な周期的
ノイズによるテクスチャーがある入力画像の一例を示
し、図13(b)は、パターン上に微小な周期的ノイズに
よるテクスチャーがあるが、図13(a)の入力画像に比
較して周期的ノイズの位相がややエッジ寄りにずれてい
る入力画像の一例を示している。このような2つの入力
画像をエッジ部分が一致するように重ね合わせた結果を
図13(c)に示し、パターン上の微小な周期的ノイズに
よるテクスチャーが一致するように重ね合わせた結果を
図13(d)に示す。図13(a),(b)に示すように、比較す
る画像のどちらにも同等の周波数と振幅を持つ周期的な
ノイズがあり、そのノイズの位相が画像間で微妙にずれ
ている場合、図13(c)で示すように、エッジ同士は一
致して重なり合うが周期的ノイズ同士は一致して重なり
合わないように画像を重ね合わせたときの不一致部分の
面積よりも、図13(d)で示すように、エッジ同士は一
致して重なり合わないが周期的ノイズは一致して重なり
合うように画像を重ね合わせたときの不一致部分の面積
の方が小さいことが起こる場合がある。このとき、上述
の従来の手法を用いて位置合わせをすると、図13(d)
のようになってしまい、正確な位置合わせができなかっ
たことになる。また、目で見て周期的ノイズがあるかど
うかが分からないほどノイズの1つの山が小さい場合で
あっても、そのような山がたくさんあると、不一致部分
の面積が累積され、位置合わせを誤る可能性がある。こ
のような周期的なノイズの例として、インターレース
(飛び越し走査)ビデオ画像でしばしば見られる、走査
線間の濃淡値の非一様性に伴う横縞などが挙げられる。
【0010】本発明の目的は、位置合わせの対象となる
画像が撮像装置の特性やノイズなどの影響で変形を受け
ている場合であっても、精度よく位置合わせを行うこと
ができる画像位置合わせ方法及び装置を提供することに
ある。
【0011】
【課題を解決するための手段】本発明の画像位置合わせ
方法は、入力された第1の画像及び第2の画像の間の相
対的な位置ずれを検出する画像位置合わせ方法であっ
て、各画像ごとに、当該画像に対して縦方向及び横方向
に微分を施し、縦微分値の絶対値を画素値として持つ縦
微分画像と横微値の絶対値を画素値として持つ横微分画
像を生成し、縦微分画像と横微分画像から全微分画像を
生成し、縦微分画像について縦方向に画素値を走査する
ことによって縦方向フィッティング範囲を求め、横微分
画像について横方向に画素値を走査することによって横
方向フィッティング範囲を求め、縦微分画像上の縦フィ
ッティング範囲ごとに、単峰性の関数を縦方向にフィッ
ティングし、その極大値点の座標を1画素未満の精度で
あるサブピクセル精度とピクセル精度に分離して求めて
それぞれサブピクセル精度縦方向エッジ位置及びピクセ
ル精度縦方向エッジ位置とし、ピクセル精度縦方向エッ
ジ位置に対応する画素をエッジ画素としてこのエッジ画
素の画素値としてサブピクセル精度縦方向エッジ位置を
持つ縦方向エッジ位置画像を生成し、横微分画像上の横
フィッティング範囲ごとに、単峰性の関数を横方向にフ
ィッティングし、その極大値点の座標を1画素未満の精
度であるサブピクセル精度とピクセル精度に分離して求
めてそれぞれサブピクセル精度横方向エッジ位置及びピ
クセル精度横方向エッジ位置とし、ピクセル精度横方向
エッジ位置に対応する画素をエッジ画素としてこのエッ
ジ画素の画素値としてサブピクセル精度横方向エッジ位
置を持つ横方向エッジ位置画像を生成し、縦微分画像と
横微分画像と全微分画像と縦方向エッジ位置画像と横方
向エッジ位置画像を予め与えられた大きさに分割した画
像にそれぞれ対応する分割縦微分画像と分割横微分画像
と分割全微分画像と分割縦方向エッジ位置画像と分割横
方向エッジ位置画像を生成し、分割全微分画像ごとに、
テンプレートマッチングにより、第1の画像の分割全微
分画像を第2の画像の分割全微分画像に対して1画素の
精度での位置合わせを行い、この位置合わせ結果に従
い、第1の画像の分割縦微分画像、分割横微分画像、分
割縦方向エッジ位置画像及び分割横方向エッジ位置画像
を、第2の画像の分割縦微分画像、分割横微分画像、分
割縦方向エッジ位置画像及び分割横方向エッジ位置画像
に対して1画素の精度で位置合わせし、1画素の精度で
の位置合わせでの結果に従って第1の画像の分割縦方向
エッジ位置画像を第2の画像の分割縦方向エッジ位置画
像に重ね合わせたときに、第1の分割縦方向エッジ位置
画像上の各エッジ画素の位置にくる第2の画像の分割縦
方向エッジ位置画像の画素を基準エッジ画素とし、サブ
ピクセル精度縦方向エッジ位置を用いてエッジ画素間の
距離を求めて距離に基づいて基準エッジ画素に対応する
対応候補エッジ画素群を求め、対応候補エッジ画素群に
算出を繰り返して分割縦方向エッジ位置画像上の全ての
エッジ画素に対して対応候補エッジ画素群を求め、1画
素の精度での位置合わせの結果に従って第1の画像の分
割横方向エッジ位置画像を第2の画像の分割横方向エッ
ジ位置画像に重ね合わせたときに、第1の分割横方向エ
ッジ位置画像上の各エッジ画素の位置にくる第2の画像
の分割横方向エッジ位置画像の画素を基準エッジ画素と
し、サブピクセル精度横方向エッジ位置を用いてエッジ
画素間の距離を求めて距離に基づいて基準エッジ画素に
対応する対応候補エッジ画素群を求め、対応候補エッジ
画素群に算出を繰り返して分割横方向エッジ位置画像上
の全てのエッジ画素に対して対応候補エッジ画素群を求
め、対応候補エッジ画素群の各エッジ画素のサブピクセ
ル精度エッジ位置を予め与えられた関数形で記述される
曲線でフィッティングしそれを対応候補曲線とし、基準
エッジ画素のサブピクセル精度エッジ位置が原点になる
ように座標変換し、その座標系における対応候補曲線を
相対対応候補曲線として、分割縦方向エッジ位置画像及
び分割横方向エッジ位置画像上の全てのエッジ画素に対
して相対対応候補曲線を求め、第1の画像の全てのエッ
ジ画素について、各々に対応する第2の画像の相対対応
候補曲線を1つの平面にプロットし、全ての相対対応候
補曲線が交差する点もしくは全ての相対対応候補曲線が
最も密集する点をサブピクセル精度で求め、これを対応
候補交点とし、プロットした平面の座標系の原点から対
応候補交点へと結ぶベクトルである変位ベクトルを算出
する。
【0012】本発明の画像位置合わせ装置は、入力され
た第1の画像及び第2の画像の間の相対的な位置ずれを
検出する画像位置合わせ方法であって、各画像ごとに、
当該画像に対して縦方向及び横方向に微分を施し、縦微
分値の絶対値を画素値として持つ縦微分画像と横微値の
絶対値を画素値として持つ横微分画像を生成し、縦微分
画像と横微分画像から全微分画像を生成する画像微分手
段と、縦微分画像について縦方向に画素値を走査するこ
とによって縦方向フィッティング範囲を求め、横微分画
像について横方向に画素値を走査することによって横方
向フィッティング範囲を求めるフィッティング範囲設定
手段と、縦微分画像上の縦フィッティング範囲ごとに、
単峰性の関数を縦方向にフィッティングし、その極大値
点の座標を1画素未満の精度であるサブピクセル精度と
ピクセル精度に分離して求めてそれぞれサブピクセル精
度縦方向エッジ位置及びピクセル精度縦方向エッジ位置
とし、ピクセル精度縦方向エッジ位置に対応する画素を
エッジ画素としてこのエッジ画素の画素値としてサブピ
クセル精度縦方向エッジ位置を持つ縦方向エッジ位置画
像を生成し、横微分画像上の横フィッティング範囲ごと
に、単峰性の関数を横方向にフィッティングし、その極
大値点の座標を1画素未満の精度であるサブピクセル精
度とピクセル精度に分離して求めてそれぞれサブピクセ
ル精度横方向エッジ位置及びピクセル精度横方向エッジ
位置とし、ピクセル精度横方向エッジ位置に対応する画
素をエッジ画素としてこのエッジ画素の画素値としてサ
ブピクセル精度横方向エッジ位置を持つ横方向エッジ位
置画像を生成する関数フィッティング手段と、縦微分画
像と横微分画像と全微分画像と縦方向エッジ位置画像と
横方向エッジ位置画像を予め与えられた大きさに分割し
た画像にそれぞれ対応する分割縦微分画像と分割横微分
画像と分割全微分画像と分割縦方向エッジ位置画像と分
割横方向エッジ位置画像を生成する画像分割手段と、分
割全微分画像ごとに、テンプレートマッチングにより、
第1の画像の分割全微分画像を第2の画像の分割全微分
画像に対して1画素の精度での位置合わせを行い、この
位置合わせ結果に従い、第1の画像の分割縦微分画像、
分割横微分画像、分割縦方向エッジ位置画像及び分割横
方向エッジ位置画像を、第2の画像の分割縦微分画像、
分割横微分画像、分割縦方向エッジ位置画像及び分割横
方向エッジ位置画像に対して1画素の精度で位置合わせ
を行うピクセル精度位置合わせ手段と、ピクセル精度位
置合わせ手段での位置合わせの結果に従って第1の画像
の分割縦方向エッジ位置画像を第2の画像の分割縦方向
エッジ位置画像に重ね合わせたときに、第1の分割縦方
向エッジ位置画像上の各エッジ画素の位置にくる第2の
画像の分割縦方向エッジ位置画像の画素を基準エッジ画
素とし、サブピクセル精度縦方向エッジ位置を用いてエ
ッジ画素間の距離を求めて距離に基づいて基準エッジ画
素に対応する対応候補エッジ画素群を求め、対応候補エ
ッジ画素群に算出を繰り返して分割縦方向エッジ位置画
像上の全てのエッジ画素に対して対応候補エッジ画素群
を求め、さらに、ピクセル精度位置合わせ手段での位置
合わせの結果に従って第1の画像の分割横方向エッジ位
置画像を第2の画像の分割横方向エッジ位置画像に重ね
合わせたときに、第1の分割横方向エッジ位置画像上の
各エッジ画素の位置にくる第2の画像の分割横方向エッ
ジ位置画像の画素を基準エッジ画素とし、サブピクセル
精度横方向エッジ位置を用いてエッジ画素間の距離を求
めて距離に基づいて基準エッジ画素に対応する対応候補
エッジ画素群を求め、対応候補エッジ画素群に算出を繰
り返して分割横方向エッジ位置画像上の全てのエッジ画
素に対して対応候補エッジ画素群を求めるエッジ対応づ
け手段と、対応候補エッジ画素群の各エッジ画素のサブ
ピクセル精度エッジ位置を予め与えられた関数形で記述
される曲線でフィッティングしそれを対応候補曲線と
し、基準エッジ画素のサブピクセル精度エッジ位置が原
点になるように座標変換し、その座標系における対応候
補曲線を相対対応候補曲線として、分割縦方向エッジ位
置画像及び分割横方向エッジ位置画像上の全てのエッジ
画素に対して相対対応候補曲線を求める対応候補曲線生
成手段と、第1の画像の全てのエッジ画素について、各
々に対応する第2の画像の相対対応候補曲線を1つの平
面にプロットし、全ての相対対応候補曲線が交差する点
もしくは全ての対応候補曲線が最も密集する点をサブピ
クセル精度で求め、これを対応候補交点とし、プロット
した平面の座標系の原点から対応候補交点へと結ぶベク
トルである変位ベクトルを算出する位置ずれ算出手段
と、を有する。
【0013】本発明では、画像間のエッジプロファイル
の違いや微妙なテクスチャーなどに左右されにくい、画
像上パターンのエッジ位置を、関数フィッティングによ
りサブピクセル精度で求め、このエッジ位置に基づい
て、位置合わせする画像間において対応するエッジ間の
距離をサブピクセル精度で求めることにより、画像間の
位置ずれをサブピクセル精度で求める。また、強度が小
さいエッジを排除するようにしきい値を設定できるよう
にすることにより、ノイズの影響を受けにくくしてい
る。
【0014】
【発明の実施の形態】次に、本発明の好ましい実施の形
態について、図面を参照して説明する。
【0015】《第1の実施形態》図1は本発明の第1の
実施形態の画像位置合わせ装置の構成を示すブロック図
である。
【0016】この画像位置合わせ装置100は、画像入
力手段101に入力した2つのディジタル画像(以下、
画像A及び画像Bとする)の位置合わせを行って位置ず
れ量を算出するものであり、画像A及び画像Bについて
それらの縦微分画像、横微分画像及び全微分画像を生成
する画像微分手段102と、縦微分画像及び横微分画像
からそれぞれ縦方向フィッティング範囲及び横方向フィ
ッティング範囲を求めるフィッティング範囲設定手段1
03と、縦方向フィッティング範囲に基づき単峰性関数
による関数フィッティングを行って縦微分画像から縦方
向エッジ位置画像を作成し、横方向フィッティング範囲
に基づき単峰性関数による関数フィッティングを行って
横微分画像から横方向エッジ位置画像を作成する関数フ
ィッティング手段104と、縦微分画像と横微分画像と
全微分画像と縦方向エッジ位置画像と横方向エッジ位置
画像を予め与えられた大きさに分割し、分割縦微分画像
と分割横微分画像と分割全微分画像と分割縦方向エッジ
位置画像と分割横方向エッジ位置画像を生成する画像分
割手段105と、分割全微分画像ごとにテンプレートマ
ッチングによって画像Aと画像Bとの画素(ピクセル)
サイズ程度の精度での位置合わせ行うピクセル精度位置
合わせ手段106と、画素サイズ程度の精度での位置合
わせによる結果を利用し、各エッジ位置画像につき、画
像Aでのエッジ画素と画像Bでのエッジ画素との対応づ
けを行って対応候補エッジ画素群を求めるエッジ対応づ
け手段107と、対応候補エッジ画素群の各エッジ画素
の位置を予め与えられた関数形で記述される曲線でフィ
ッティングして対応候補曲線とし、座標変換を行って相
対対応候補曲線とする対応候補曲線生成手段108と、
全ての相対対応候補曲線が1点に交差する点もしくは相
対対応候補曲線が最も密集する点をサブピクセル精度で
の求めてこれを対応候補交点とし、画像Aと画像Bの位
置ずれ量を算出する位置ずれ算出手段109と、から構
成されている。以下、各構成要素について詳しく説明す
る。
【0017】画像微分手段102は、画像Aと画像Bの
各々に対して平行にもしくは順に縦方向及び横方向に微
分を施し、縦微分値の絶対値を画素値として持つ縦微分
画像と横微値の絶対値を画素値として持つ横微分画像を
生成し、該縦微分画像と横微分画像から全微分画像を生
成する。
【0018】フィッティング範囲設定手段103は、各
画像(画像A及び画像B)ごとの縦微分画像について縦
方向に画素値を走査し、予め与えられたしきい値を越え
る画素をエッジ候補点とし、同一走査線上の任意のエッ
ジ候補点2つについて距離が予め与えられた制限範囲内
にあるエッジ候補点同士には同一ラベルを与え、制限範
囲を超える場合には別のラベルを与え、縦方向の走査線
上の全てのエッジ候補点に対してラベル付けをし、所属
するエッジ候補点の数があらかじめ与えられたしきい値
より多いラベルに所属するエッジ候補点の集合を縦方向
フィッティング範囲とし、縦微分画像上の縦方向の全て
の走査線に対して同様な操作を実行して縦方向フィッテ
ィング範囲を求める。ここで縦方向の走査線とは、画素
の位置を2次元xy座標で表わしたときに、同じx座標
値を有する画素の集合のことである。フィッティング範
囲設定手段103は、各画像ごとの横微分画像について
は同様に横方向に画素値を走査して横方向フィッティン
グ範囲を求める。横方向の走査線とは、画素の位置を2
次元xy座標で表わしたときに、同じy座標値を有する
画素の集合のことである。
【0019】関数フィッティング手段104は、画像A
と画像Bのそれぞれについて、縦微分画像上の縦方向フ
ィッティング範囲ごとに、予め与えられた単峰性の関数
(上に凸で極大値点が一つしかない関数)で縦方向にフ
ィッティングし、その極大値点の座標を1画素未満の精
度すなわちサブピクセル精度とピクセル精度に分離して
求め、それぞれサブピクセル精度縦方向エッジ位置及び
ピクセル精度縦方向エッジ位置とする。縦方向フィッテ
ィング範囲の横方向座標(x座標)を横方向座標とする
とともにピクセル精度縦方向エッジ位置を縦方向座標と
する画素をエッジ画素とする。さらに、このエッジ画素
の画素値として、サブピクセル精度縦方向エッジ位置を
持つ縦方向エッジ位置画像を生成する。関数フィッティ
ング手段104は、横微分画像についても同様にサブピ
クセル精度横方向エッジ位置とピクセル精度横方向エッ
ジを求めて、横方向エッジ位置画像を生成する。
【0020】画像分割手段105とは、画像Aと画像B
のそれぞれについて、上述したように得られた縦微分画
像と横微分画像と全微分画像と縦方向エッジ位置画像と
横方向エッジ位置画像とを予め与えられた大きさに分割
することによって、分割縦微分画像と分割横微分画像と
分割全微分画像と分割縦方向エッジ位置画像と分割横方
向エッジ位置画像を生成する。
【0021】ピクセル精度位置合わせ手段106は、分
割全微分画像ごとに、テンプレートマッチングにより、
画像Aの分割全微分画像を画像Bの分割全微分画像に対
して1画素の精度すなわちピクセル精度の位置合わせを
行い、この位置合わせ結果に従い、画像Aの分割縦微分
画像、分割横微分画像、分割縦方向エッジ位置画像及び
分割横方向エッジ位置画像を、画像Bの分割縦微分画
像、分割横微分画像、分割縦方向エッジ位置画像、分割
横方向エッジ位置画像に対してピクセル精度で位置合わ
せを行う。
【0022】エッジ対応づけ手段107は、ピクセル精
度位置合わせ手段106でのピクセル精度の位置合わせ
の結果に従って、画像Aの分割縦方向エッジ位置画像を
画像Bの分割縦方向エッジ位置画像に重ね合わせた時
に、画像Aの分割縦方向エッジ位置画像上の各エッジ画
素Cの位置に来る画像Bの分割縦方向エッジ位置画像の
画素を基準エッジ画素C’とし、サブピクセル精度エッ
ジ位置を用いてエッジ画素間の距離を求め、基準エッジ
画素C’から予め与えられた範囲内で最も距離の近い画
像Bの分割縦方向エッジ位置画像のエッジ画素をエッジ
画素Cの第1の対応候補画素とし、画像Bの分割縦方向
エッジ位置画像上でこの第1の対応候補画素から予め与
えられた範囲内で距離が近いエッジ画素をエッジ画素C
の対応候補エッジ画素群Dとし、分割縦方向エッジ位置
画像上の全てのエッジ画素に対して対応候補エッジ画素
群を求める。エッジ対応づけ手段107は、同様に分割
横方向エッジ位置画像上の全エッジ画素についても分割
横方向エッジ位置画像から対応候補エッジ画素群を求め
る。
【0023】対応候補曲線生成手段108は、対応候補
エッジ画素群Dの各エッジ画素のサブピクセル精度エッ
ジ位置を予め与えられた関数形で記述される曲線でフィ
ッティングしそれを対応候補曲線とし、基準エッジ画素
C’のサブピクセル精度エッジ位置が原点になるように
座標変換し、その座標系におけるこの対応候補曲線を相
対対応候補曲線として、分割縦方向エッジ位置画像及び
分割横方向エッジ位置画像上の全てのエッジ画素に対し
て相対対応候補曲線を求める。
【0024】位置ずれ算出手段109は、画像Aの全て
のエッジ画素について、各々に対応する画像Bの相対対
応候補曲線を1つの平面にプロットし、全ての相対対応
候補曲線が交差する点もしくは、全ての対応候補曲線が
最も密集する点をサブピクセル精度で求め、これを対応
候補交点とし、プロットした平面の座標系の原点から対
応候補交点へと結ぶベクトルである変位ベクトルを算出
する。この変位ベクトルが、画像Aと画像Bとの間の相
対的な位置ずれ量を表わす。
【0025】次に、この画像位置合わせ装置100の動
作について説明する。
【0026】まず、画像微分手段102が、外部の画像
入力手段101から入力された2枚のデジタル画像(画
像A及び画像B)のそれぞれに対して、例えばソーベル
フィルタを適用することにより縦方向及び横方向に微分
を施し、縦微分の微分値の絶対値を画素値として持つ縦
微分画像及び横微分の微分値の絶対値を画素値として持
つ横微分画像を生成する。その後、画像微分手段102
は、縦微分画像と横微分画像から、例えば両画像の画素
値の2乗和の平方根を計算し、その結果を画素値とする
全微分画像を生成する。
【0027】続いて、フィッティング範囲設定手段10
3に制御が移り、フィッティング範囲設定手段103
は、まず、画像A及び画像Bのそれぞれの縦微分画像に
ついては縦方向に画素値を走査し、画素値が予め与えら
れたしきい値を越える画素をエッジ候補画素とする。次
に、縦方向の同一走査線上にある全てのエッジ候補画素
についてラベル付けを行う。2つのエッジ候補画素につ
いて、互いの距離があらかじめ与えられた制限範囲内に
あるエッジ候補画素同士に対しては同一のラベルを与
え、同一のラベルが与えられた1群のエッジ候補画素の
中のどのエッジ候補画素からの距離も制限範囲を超える
エッジ候補画素に対しては別のラベルを与える。その後
ラベル毎に同一のラベルに所属するエッジ候補画素の数
を数える。そのエッジ候補画素の数があらかじめ与えら
れたしきい値より大きいラベルについて、そのラベルに
所属するエッジ候補画素の集合を縦方向フィッティング
範囲とする。フィッティング範囲設定手段103は、以
上に述べた操作を縦微分画像上の縦方向の全ての走査線
に対して実行して縦方向フィッティング範囲を求める。
横微分画像については、横方向に画素値を走査し、縦微
分画像の場合と同等な操作をして横方向フィッティング
範囲を求める。もちろん、縦方向フィッティング範囲を
求める前に横方向フィッティング範囲を求めるようにし
てもよい。
【0028】例えば図2(a)に示すような入力画像に対
しては、後述する画像分割までを行ったとすると、図2
(b)のような分割横微分画像が得られる。この分割横微
分画像の横方向の画素値変化は、図2(c)のようになっ
ており、外部から与えられたしきい値より画素値が大き
い画素の連続を横方向フィッティング範囲とする。分割
縦微分画像に対しても同様にして縦方向フィッティング
範囲が求められる。
【0029】続いて、関数フィッティング手段104
が、縦微分画像については縦フィッティング範囲ごと
に、予め与えられた単峰性の関数(上に凸で極大値点が
一つしかない関数)を縦方向に例えば最小二乗法により
フィッティングし(図2(d)参照)、その極大値点の座
標を1画素未満の精度すなわちサブピクセル精度で求め
サブピクセル精度縦方向エッジ位置とする。サブピクセ
ル精度縦方向エッジ位置の小数点第1位以下を四捨五入
したものをピクセル精度縦方向エッジ位置とする。次
に、関数フィッティング手段104は、縦横のサイズが
入力画像と同等の大きさの画像を生成し、縦方向エッジ
位置画像とする。ある縦方向フィッティング範囲につい
て、その横方向の座標をx1、その縦方向フィッティン
グ範囲で求まったピクセル精度縦方向エッジ位置をy1
とした場合、縦方向エッジ位置画像上の(x1,y1)の画
素を、エッジを構成する画素であるエッジ画素とし、そ
の画素値をその縦方向フィッティング範囲で求まったサ
ブピクセル精度縦方向エッジ位置とする。関数フィッテ
ィング手段104は、横微分画像に対しても、縦微分画
像の場合と同様にしてサブピクセル精度横方向エッジ位
置とピクセル精度横方向エッジ位置を求め、横方向エッ
ジ位置画像を生成する。この結果、縦方向エッジ位置画
像と横方向エッジ位置画像は、例えばそれぞれ図9(a),
(b)のようになる。
【0030】なお、フィッティングの方法としては、最
小二乗法の他に、画像のモーメントをフィッティングす
る関数で求めておき、これと計測された画像のモーメン
トを比較することにより、フィッティングする関数を求
める方法を用いることができる。例えば、I(x)を画像
の横方向の濃淡値変化、xを横方向座標、Axを横方向
フィッティング範囲とすると、n次の横方向のモーメン
トMnは、
【0031】
【数2】 と定義される。J(y)を画像の縦方向の濃淡値変化、y
を横方向座標、Ayを横方向フィッティング範囲とする
と、n次の縦方向のモーメントLnは
【0032】
【数3】 と定義される。
【0033】例えばフィッティングする関数が、
【0034】
【数4】 で定義されるガウシアン(ガウス(Gauss)型分布関数)
の場合、フィッティングするとは、この式中におけるパ
ラメータA,m,σを求めることである。上の式で示され
るガウシアンの0次モーメントすなわち面積S、1次モ
ーメントすなわち重心G、及び2次モーメントTは、そ
れぞれ、
【0035】
【数5】 となる。横微分画像の画素値から求まるモーメントS,
G,Tを上の式に代入することによりガウシアンのパラ
メータA,m,σが得られる。縦微分画像についても同様
にしてガウシアンをフィッティングできる。
【0036】画像が互いに歪んでいてもそれをある程度
細かく分割すると、分割された各々の画像においては歪
みの影響を無視できることから、次に、画像分割手段1
05により、縦微分画像と横微分画像と全微分画像を予
め与えられた大きさに分割し、分割縦微分画像と分割横
微分画像と分割全微分画像を生成する。ただし画像の分
割は、画像の微分、関数フィッティングとは独立に実行
できるので、画像分割手段105を画像入力手段101
と画像微分手段102の間に配置してもよいし、画像微
分手段102とフィッティング範囲設定手段103の間
に配置してもよいし、フィッティング範囲設定手段10
3と関数フィッティング手段104の間に配置してもよ
い。
【0037】画像の分割及び関数フィッティングが終了
したら、ピクセル精度位置合わせ手段106が、分割全
微分画像ごとに、テンプレートマッチングにより、複数
の入力画像(画像A及び画像B)に対して画素間の対応
づけをとり、それを元に画像Aと画像Bの位置ずれを1
画素の精度すなわちピクセル精度で求める。
【0038】続いて、エッジ対応づけ手段107が、ピ
クセル精度位置合わせ手段106の結果に従って、画像
Aの分割縦方向エッジ位置画像Avを画像Bの縦方向エ
ッジ位置画像Bvに重ね合わせる。そして分割縦方向エ
ッジ位置画像Av上のエッジ画素の内の1つエッジ画素
Cに注目し、分割縦方向エッジ位置画像Bvにおいて、
エッジ画素Cの位置に来る画素を基準エッジ画素C’と
する。分割縦方向エッジ位置画像Bv上、基準エッジ画
素C’から予め与えられた範囲内で最も距離の近いエッ
ジ画素をエッジ画素Cの第1の対応候補画素とする。分
割縦方向エッジ位置画像Bv上、この第1の対応候補画
素から予め与えられた範囲内で距離が近い順に2つのエ
ッジ画素を選び出し、これら2つのエッジ画素を第2の
対応候補画素とする。これら第2の対応候補画素の各々
について、予め与えられた範囲内にあり、第1の対応候
補画素でも第2の対応候補画素でもないエッジ画素の
内、最も距離が近いエッジ画素を第3の対応候補画素と
する。同様な操作を予めあらかじめ与えられた回数N回
だけ繰り返して第Nの対応候補画素まで求め、これら第
1の対応候補画素から第Nの対応候補画素までの2×
(N−1)+1個のエッジ画素をエッジ画素Cの対応候
補エッジ画素群とし、これを対応候補エッジ画素群Dと
する。同様の手続により、分割縦方向エッジ位置画像上
の全てのエッジ画素に対して、対応候補エッジ画素群を
求め、分割横方向エッジ位置画像上の全エッジ画素につ
いても分割縦方向エッジ位置画像の場合と同様にして対
応候補エッジ画素群を求める。例えば、画像Aの分割縦
微分画像が図4(a)のようになっているとする(ここで
は黒い線で表わす)。画像Bの分割縦微分画像は図4
(b)のようになっているとする(ここでは灰色の線で表
わす)。ピクセル精度位置合わせ手段106で得られた
位置ずれに従って、画像Aの分割縦方向エッジ位置画像
Avと画像Bの分割縦方向エッジ位置画像Bvとを重ね合
わせると図4(c)のようになる。図4(d)は図4(c)の一
部を拡大して示したものである。エッジ画素Cの対応候
補エッジ画素群Dは図4(e)のようになる。
【0039】次に、対応候補曲線生成手段108が、対
応候補エッジ画素群Dを予め与えられた関数形で記述さ
れる曲線で例えば最小二乗法を用いてフィッティング
し、それを対応候補曲線Eとし、分割縦微分画像及び分
割横微分画像におけるすべてのエッジ画素について対応
候補曲線を求める。分割縦方向エッジ位置画像の場合、
各エッジ画素の縦方向のサブピクセル精度位置はそのエ
ッジ画素の画素値であるサブピクセル精度エッジ位置で
ある。エッジ画素の横方向のサブピクセル精度位置は例
えば画素の横方向の中心とする。分割横方向エッジ位置
画像の場合は、サブピクセル精度横方向エッジ位置をエ
ッジ画素の横方向のサブピクセル精度位置とし、例えば
縦方向の画素の中心を縦方向のサブピクセル精度位置と
する。この定義に従うと、例えば、図4(e)で示される
対応候補エッジ画素群に対する対応候補曲線は図4(f)
のようになる。曲線のフィッティングについては、関数
フィッティング手段106に関して上述したように、モ
ーメントを用いてもよい。
【0040】そして、図4(g)に示すように、基準エッ
ジ画素C’のサブピクセル精度位置が原点になるように
座標変換し、その座標系におけるこの対応候補曲線Eを
相対対応曲線E’とする。同様にして分割縦方向エッジ
位置画像及び分割横方向エッジ位置画像上の全てのエッ
ジ画素に対して相対対応候補曲線を求める。次に、位置
ずれ算出手段109が、画像Aの分割縦方向エッジ位置
画像Av及び分割横方向エッジ位置画像Ah上の全てのエ
ッジ画素について、各々に対応する(画像Bの)分割縦
方向エッジ位置画像Bv及び分割横方向エッジ位置画像
Bh上の相対対応候補曲線を全て1つのxy座標系にプ
ロットし、全ての相対対応候補曲線が交差する点もしく
は、全ての対応候補曲線が最も密集する点をサブピクセ
ル精度で求め、これを対応候補交点とする。xy座標系
の原点からこの対応候補交点へと結ぶベクトルを変位ベ
クトルとし、画像Aをこの変位ベクトルの示す方向に、
この変位ベクトルの示す距離だけ平行移動させることに
より画像Bとぴたりと重なり合うとみなす。
【0041】全てのエッジ画素について相対対応候補曲
線を求めると膨大な数の相対対応候補曲線が得られる。
図5(a)で示すように全ての対応候補曲線が一点で交わ
っている場合は、その交点と座標系の原点を結ぶベクト
ルである変位ベクトルが、一方の入力画像の他方の入力
画像に対する変位ということになる。
【0042】ただし実際の画像では、ノイズなどの影響
で、図5(b)に示すように、対応候補曲線が1点で結ば
れない場合がある。そのときは、全ての対応候補曲線が
最も密集する点と座標系の原点を結ぶベクトルを変位ベ
クトルとする。全ての対応候補曲線が最も密集する点を
求めるためには、大きくわけて2つの方法がある。
【0043】1つの方法は、図5(c)に示すように、座
標系をある数でメッシュに分割して、通る対応候補曲線
の数が最も多いメッシュと座標系の原点を結ぶベクトル
を変位ベクトルとみなす方法である。ただしこの方法で
は、変位ベクトルの精度がメッシュの粗さで決まる。
【0044】もう一つの方法は、どの対応候補曲線から
も近い点を数学的に求める方法である。この方法は非常
に煩雑であるので、最も単純な場合である、対応候補曲
線が1次の曲線、つまり直線の場合を例にとって以下に
説明し、その後でより一般的な関数の場合に拡張する。
なお、全ての対応候補曲線が一点で交差する場合も以下
に述べる方法で、交点の座標を求めることができる。
【0045】N本の対応候補曲線(この場合は直線)が
あるとする。各々の直線はaix+biy+ci=0,(i
=1,2,…,N)と表されるとする。ある点(x1,y1)と
直線aix+biy+ci=0との距離Lの2乗は、
【0046】
【数6】 となる。どの直線からも近い点を求めるということは、
【0047】
【数7】 を最小にする(x',y')を求めることと考えられる。こ
こでwiは重み係数で、あらかじめ外部から与えるか、
エッジの強度から求める。あらかじめ外部から与える場
合、例えば全てのwiについてwi=1としてもよい。エ
ッジの強度から求める場合は、例えば、ある対応候補曲
線iにおいて、対応候補エッジ画素群各々についてフィ
ッティングした単峰性関数の極大値を求め、その平均値
をその対応候補曲線iについての重みwiとすることが
考えられる。さて、f(x',y')を最小にする(x',y')
であるが、
【0048】
【数8】 という条件を用いて求める。この式から x'=(SABBC−SACBB)/(SAABB−SAB 2), y'=(SAABC−SABAC)/(SAABB−SAB 2) が得られる。ここで
【0049】
【数9】 である。ただし(SAABB−SAB 2)=0のときは解は
存在しない。こうして求まった(x',y')がどの直線か
らも近い点の座標ということになる。原点とこうして求
められた(x',y)を結ぶベクトルを一方の画像がもう一
方の画像に対してどれだけ位置ずれをしているかを示す
変位ベクトルとみなす。
【0050】次に、対応候補曲線としてy=gi(x),
(i=1,2,…,N)で記述される任意の曲線がN個得
られた場合を考える。点(x1,y1)が与えられたとし
て、この点と曲線y=gi(x)との距離は、 M(x)={gi(x)−y12+(x−x12 を最小にするx=xi,0から、 K={gi(xi,0)−y12+(xi,0−x12 として得ることができる。一方、 M(x)={gi(x)−y12+(x−x12 を最小にするxであるxi,0は、方程式dM(x)/dx
=0から、解析的または数値計算的に求めることができ
る。こうして全ての対応候補曲線についてxi,0,(i=
1,2,…,N)を求める。どの対応候補曲線からも近い
点を求めるということは、
【0051】
【数10】 を最小にする(x1,y1)を求めることと考えられる。こ
こでwiは重み係数であって、予め外部から与えるか、
エッジの強度から求める。wiについては、前述の対応
候補曲線が直線の場合と同等の方法で与えることができ
る。P(x1,y1)を最小にする(x1,y1)は、
【0052】
【数11】 から得られる(x1,y1)についての連立方程式を解くこ
とによって解析的または数値計算的に求めることができ
る。原点とこうして求められた(x1,y1)を結ぶベクト
ルを一方の画像が他方の画像に対してどれだけ位置ずれ
をしているかを示す変位ベクトルとみなす。
【0053】上記の2つの方法を組み合わせた方法も考
えられる。まず相対対応候補曲線がプロットされた座標
系を粗いメッシュで分割し、最も相対対応候補曲線が多
く通るメッシュを求め、このメッシュをメッシュMとす
る。次に、このメッシュMを通る相対対応候補曲線のみ
について、どの対応候補曲線からも近い点を数学的に求
める、というものである。あらかじめメッシュMを通る
か通らないかで相対対応候補曲線を絞り込むことによ
り、ノイズなどが原因で対応候補交点から比較的遠くに
位置する相対対応曲線からの影響を取り除くことがで
き、対応候補交点の精度を高くすることができる。
【0054】この他、各々の相対対応候補曲線に対し
て、その法線方向に例えばガウシアンなどの濃淡値分布
を与え、これら濃淡値分布を持った相対対応候補曲線を
xy座標系にプロットする際に、濃淡値をどんどん足し
込んでいき、最終的に最も濃淡値が大きくなる点の座標
をサブピクセル精度で求め、対応候補交点とする方法も
考えられる。
【0055】《第2の実施形態》図6は、本発明の第2
の実施形態の画像位置合わせ装置の構成を示すブロック
図である。この画像位置合わせ装置200は、図1に示
す画像位置合わせ装置100において、エッジ対応づけ
手段107と対応候補曲線生成手段108の代わりに、
エッジ成分算出手段207、ずれベクトル算出手段20
8及び変位推定直線生成手段209を設けた構成のもの
である。すなわちこの画像位置合わせ装置200は、エ
ッジ画素間に対応関係があるかないかを判定するエッジ
成分算出手段207と、縦方向ずれベクトル及び横方向
ずれベクトルを算出するずれベクトル算出手段108と
をピクセル精度位置合わせ手段106の出力側に配置す
るとともに、エッジ画素間の対応関係の有無と縦方向ず
れベクトル及び横方向ずれベクトルとに基づいて変位推
定直線を生成する変位推定直線生成手段209を設けた
ものである。
【0056】エッジ成分算出手段207は、具体的に
は、画像Aの分割縦方向エッジ位置画像と分割横方向エ
ッジ位置画像とを重ね合わせ、分割縦方向エッジ位置画
像上のエッジ画素Gに対して、分割横方向エッジ位置画
像上で最も座標が近いエッジ画素Hを検出し、互いの距
離が予め与えられた範囲内にあるならば、対応関係があ
り各々を同一エッジの別々の方向の成分であると見な
し、互いの距離が予め与えられた範囲内にないならば、
対応関係はなく他方向の成分なしとみなす。エッジ成分
算出手段は、分割縦微分画像及び分割横微分画像上の全
てのエッジ画素について、対応関係があるかないかを判
定する。
【0057】ずれベクトル算出手段208は、ピクセル
精度位置合わせ手段106での位置合わせの結果に基づ
き、画像Aの縦方向エッジ位置画像及び横方向エッジ位
置画像を画像Bの縦方向エッジ位置画像及び横方向エッ
ジ位置画像に対して平行移動させて重ね合わせた時に、
画像Aの分割縦方向エッジ位置画像上のエッジ画素Jの
上下方向に最も距離の近いエッジ画素Kを入力画像Bの
分割縦方向エッジ位置画像上で検出し、エッジ画素Jと
エッジ画素Kの距離が予め与えられたしきい値より小さ
いならば、エッジ画素Jのサブピクセル精度エッジ位置
からエッジ画素Kのサブピクセル精度エッジ位置に伸ば
したベクトルを、画像間の縦方向位置ずれベクトルLと
する。ずれベクトル算出手段208は、この操作を繰り
返すことにより、画像Aの縦方向エッジ位置画像上の全
てのエッジ画素に対して縦方向位置ずれベクトルを求め
る。また、ずれベクトル算出手段208は、分割横方向
エッジ位置画像については、画像Aの分割横方向エッジ
位置画像上の縦エッジ画素Pの左右方向に最も距離の近
いエッジ画素Qを画像Bの分割横方向エッジ位置画像上
で探し、エッジ画素Pとエッジ画素Qの距離が予め与え
られたしきい値より小さいならば、エッジ画素Pのサブ
ピクセル精度エッジ位置からエッジ画素Qのサブピクセ
ル精度エッジ位置に伸ばしたベクトルを、画像間の横方
向位置ずれベクトルRとし、画像Aの横方向エッジ位置
画像上の全てのエッジ画素に対して横方向位置ずれベク
トルを求める。
【0058】変位推定直線生成手段209は、エッジ成
分算出手段207において縦エッジ位置画像上のエッジ
画素Jと横エッジ位置画像上のエッジ画素Pの間に対応
関係があるとみなされた場合、その縦方向位置ずれベク
トルLとその横方向位置ずれベクトルR各々の基点を座
標の原点に置くようにしてプロットし、各ベクトルの先
端を通る直線を変位推定直線とする。また、変位推定直
線生成手段209は、横エッジ画素Jと縦エッジ画素P
に対応関係がないとみなされた場合、縦方向位置ずれベ
クトルLの基点を座標の原点に置くようにプロットし、
縦方向位置ずれベクトルLの先端を通り横方向の座標軸
であるx軸に平行な直線を変位推定直線とし、同時に横
方向位置ずれベクトルRの基点を座標の原点に置くよう
にプロットし、横方向位置ずれベクトルRの先端を通り
縦方向の座標軸であるy軸に平行な直線を変位推定直線
とする。変位推定直線生成手段209は、このようにし
て、分割縦微分画像及び分割横微分画像におけるすべて
のエッジ画素について変位推定直線を求める。
【0059】また、この画像位置合わせ装置200で
は、位置ずれ算出手段109は、画像Aの分割縦方向エ
ッジ位置画像及び分割横方向エッジ位置画像上の全ての
エッジ画素について、各々に対応する画像Bの分割縦方
向エッジ位置画像及び分割横方向エッジ位置画像上の変
位推定直線を全て1つの平面にプロットし、全ての変位
推定直線が交差する点もしくは、全ての変位推定直線が
最も密集する点をサブピクセル精度で求め、これを対応
候補交点とし、座標の原点からその対応候補交点へと結
ぶ変位ベクトルを算出する。
【0060】次に、この画像位置合わせ装置200の動
作について説明する。
【0061】第1の実施形態の場合と同様にして、ま
ず、画像A及び画像Bの入力からピクセル精度位置合わ
せ手段106によるピクセル精度での位置合わせまでを
実行する。
【0062】次に、エッジ成分算出手段207に処理が
移り、画像Aに対する分割縦方向エッジ位置画像上のエ
ッジ画素を横エッジ成分画素とし、分割横方向エッジ位
置画像上のエッジ画素を縦エッジ成分画素とする。画像
Aの分割縦方向エッジ位置画像Avと同じ画像Aの分割
横方向エッジ位置画像Ahを重ね合わせ、分割縦方向エ
ッジ位置画像上の横エッジ成分画素を横エッジ成分画素
Gとする。この横エッジ成分画素Gに対して、分割横方
向エッジ位置画像上最も座標が近い縦エッジ成分画素を
見つけ出し、これを縦エッジ成分画素Hとする。横エッ
ジ成分画素Gと縦エッジ成分画素Hの距離が予め与えら
れた範囲内にあるならば、横エッジ成分画素Gと縦エッ
ジ成分画素Hをそれぞれ、入力画像A上の同一エッジの
横エッジ成分及び縦エッジ成分であるとみなし、縦エッ
ジ成分画素Hは横エッジ成分画素Gに対応しているとす
る。分割縦方向エッジ位置画像Av上の横エッジ成分画
素全てに対し同様な処理を行って、分割横方向エッジ位
置画像Ah上に対応する縦エッジ成分画素を求める。分
割横方向エッジ位置画像Ah上に対応する縦エッジ成分
画素がない場合は、その分割縦方向エッジ画像Av上の
横エッジ成分画素を純横エッジ画素とする。次に、分割
横方向エッジ位置画像Ahを基準にし、分割横方向エッ
ジ位置画像Ah上の縦エッジ成分画素の内、分割縦方向
エッジ位置画像Av上に対応する横エッジ成分画素がな
い場合には、その縦エッジ成分画素を純縦エッジとす
る。
【0063】上述したエッジ成分算出手段207での処
理と独立して、ずれベクトル算出手段208での処理が
行われる。ずれベクトル算出手段208は、ピクセル精
度位置合わせ手段107での位置合わせの結果に基づ
き、画像Aの縦方向エッジ位置画像Av及び横方向エッ
ジ位置画像Ahを画像Bの縦方向エッジ位置画像Bv及び
横方向エッジ位置画像Bhに対して平行移動させて重ね
合わせる。分割縦方向エッジ位置画像Av上の横エッジ
成分画素を横エッジ成分画素Jとし、入力分割縦方向エ
ッジ位置画像Bv上、横エッジ成分画素Jの上下方向に
最も距離の近い横エッジ成分画素を探し、見つかった横
エッジ成分画素を横エッジ成分画素Kとする。横エッジ
成分画素Jと横エッジ成分画素Kの距離が予め与えられ
たしきい値より小さいならば、これらの横エッジ成分画
素は互いに対応するとみなす。横エッジ成分画素Jの縦
方向サブピクセルエッジ位置から横エッジ成分画素Kの
縦方向サブピクセル精度エッジ位置に伸ばしたベクトル
を、画像間の縦方向位置ずれベクトルとみなし、これを
縦方向位置ずれベクトルLとする。ずれベクトル算出手
段208は、この処理を繰り返すことにより、縦方向エ
ッジ位置画像Av上の全ての横エッジ成分画素に対して
縦方向位置ずれベクトルを求める。分割横方向エッジ位
置画像については、ずれベクトル算出手段208は、入
力分割横方向エッジ位置画像Ah上の縦エッジ成分画素
を縦エッジ成分画素Pとし、分割横方向エッジ位置画像
Bh上、縦エッジ成分画素Pの上下方向に最も距離の近
い縦エッジ成分画素を探し、見つかった縦エッジ成分画
素を縦エッジ成分画素Qとする。縦エッジ成分画素Pと
縦エッジ成分画素Qの距離が予め与えられたしきい値よ
り小さいならば、これらの縦エッジ成分画素は対応する
とみなし、縦エッジ成分画素Pの横方向サブピクセル精
度エッジ位置から縦エッジ成分画素Qの横方向サブピク
セル精度エッジ位置に伸ばしたベクトルを、画像間の横
方向位置ずれベクトルとみなし、これを横方向位置ずれ
ベクトルRとする。この処理を繰り返し、横方向エッジ
位置画像Ah上の全ての縦エッジ成分画素に対して横方
向位置ずれベクトルを求める。
【0064】例えば、画像Aの分割縦微分画像が図7
(a)に示すようなものであり、画像Bの分割縦微分画像
が図7(b)に示すようなものの場合、そのエッジの部分
を拡大すると図7(c)のようになっており、画像Aのエ
ッジ画素の縦方向サブピクセル精度エッジ位置から上下
方向に画像Bのエッジ画素の縦方向サブピクセル精度エ
ッジ位置に伸ばしたベクトルを縦方向位置ずれベクトル
とする。分割横微分画像について、今拡大して見た分割
縦微分画像と同一の領域を見てみると、図7(d)のよう
になっており、画像Aのエッジ画素から左右方向に画像
Bのエッジ画素に伸ばしたベクトルを横方向位置ずれベ
クトルとする。
【0065】以上のようにしてエッジ画素間の対応関係
の有無の判定と、縦方向位置ずれベクトル及び横方向位
置ずれベクトルの算出が終了したら、変位推定直線生成
手段209が変位推定直線を生成する。すなわち変位推
定直線生成手段209では、入力画像Aの縦エッジ位置
画像Av上の横エッジ画素Jと横エッジ位置画像上の縦
エッジ画素Pに対応関係がある場合、縦方向位置ずれベ
クトルLと横方向位置ずれベクトルR各々の基点を座標
の原点に置くようにしてプロットし、各ベクトルの先端
を通る直線を変位推定直線とする。
【0066】一方、横エッジ画素Jと縦エッジ画素Pに
対応関係がない場合、縦方向位置ずれベクトルLの基点
を座標の原点に置くようにプロットし、縦方向位置ずれ
ベクトルLの先端を通り横方向の座標軸であるx軸に平
行な直線を変位推定直線とする。このとき同時に横方向
位置ずれベクトルRの基点を座標の原点に置くようにプ
ロットし、横方向位置ずれベクトルRの先端を通り縦方
向の座標軸であるy軸に平行な直線を変位推定直線とす
る。変位推定直線生成手段209は、座標系の原点から
これら変位推定曲線上の任意の点へ伸ばしたベクトルを
変位候補ベクトルとし、この変位候補ベクトルの中に真
の画像間の変位を示すベクトルが含まれているとみな
す。このようにして分割縦微分画像及び分割横微分画像
におけるすべてのエッジ画素について変位推定直線を求
める。
【0067】例えば、縦方向位置ずれベクトルが図7
(c)に示すようなものであり、横方向位置ずれベクトル
が図7(d)に示すように得られている場合、変位推定直
線は、図7(e)に示すようになる。ただし純然たる横エ
ッジについては、縦方向の位置ずれベクトルのみから、
そのベクトルの基点を原点においたときのベクトルの先
端を通るx軸に平行な直線を変位推定直線とする。ま
た、純然たる縦エッジについては、横方向の位置ずれベ
クトルのみから、そのベクトルの基点を原点においたと
きのベクトルの先端を通るy軸に平行な直線を変位推定
直線とする。
【0068】続いて、位置ずれ算出手段109におい
て、変位推定直線について、全ての変位推定直線が交差
する点もしくは、全ての変位推定直線が最も密集する点
を求め、これを座標系の原点と結び真の画像間のサブピ
クセル精度の変位ベクトルとする。この処理は、図1に
示す画像位置合わせ装置100における全ての対応候補
直線が交差する点もしくは全ての対応候補直線が最も密
集する点を求める処理において、対応候補直線を変位推
定直線と読み替えた処理であって、結局、変位ベクトル
は画像位置合わせ装置100における手順と同様にして
求められることになる。
【0069】《第3の実施形態》図8は、本発明の第3
の実施形態の画像位置合わせ装置の構成を示すブロック
図である。この画像位置合わせ装置300は、図1に示
す画像位置合わせ装置100において、関数フィッティ
ング手段104を合成単峰性関数フィッティング手段3
04で置き換えるとともに、各々の関数形を決定するパ
ラメータが異なる、あらかじめ与えられた数の単峰性の
関数を足しあわせた関数を合成単峰性関数として記憶す
る合成単峰性関数記憶手段303を備えた構成のもので
ある。合成単峰性関数フィッティング手段304は、縦
微分画像については、縦方向の各走査線上の縦フィッテ
ィング範囲ごとに、合成単峰性関数を縦方向にフィッテ
ィングし、合成単峰性関数を構成する各単峰性の関数の
極大値点の座標を1画素未満の精度すなわちサブピクセ
ル精度とピクセル精度に分離して求め、これらをサブピ
クセル精度縦方向エッジ位置及びピクセル精度縦方向エ
ッジ位置とするとともに、横方向の座標が縦方向フィッ
テイング範囲の横方向座標に等しくかつ縦方向の座標が
ピクセル精度エッジに等しい画素をそれぞれエッジ画素
とし、各々のエッジ画素の画素値をサブピクセル精度縦
方向エッジ位置の値とした、縦方向エッジ位置画像を生
成するものである。この合成単峰性関数フィッティング
手段304は、横微分画像についても、同様に、サブピ
クセル精度横方向エッジ位置とピクセル精度横方向エッ
ジ位置を求めて、サブピクセル精度横方向エッジ位置画
像を生成する。
【0070】次に、この画像位置合わせ装置300の動
作について説明する。
【0071】合成単峰性関数記憶手段303には、各々
の関数形を決定するパラメータが異なる予め与えられた
数の単峰性の関数を足し合わせた関数を合成単峰性関数
として、予め記憶しておく。例えば足し合わせる関数を
ガウシアンとした場合、各々のガウシアンの分散σとピ
ーク強度αが異なっている。
【0072】画像A及び画像Bの入力からフィッティン
グ範囲の決定までを図1に示す画像位置合わせ装置の場
合と同様に行った後、合成単峰性関数フィッティング手
段304に処理が移る。合成単峰性関数フィッティング
手段304は、縦微分画像については、縦方向の各走査
線上の縦フィッティング範囲ごとに、合成単峰性関数を
縦方向にフィッティングし、合成単峰性関数を構成する
各単峰性の関数の極大値点の座標を1画素未満の精度す
なわちサブピクセル精度で求める。これら求まったエッ
ジ位置をサブピクセル精度縦方向エッジ位置とし、該サ
ブピクセル精度縦方向エッジ位置の小数点以下を四捨五
入したものをピクセル精度縦方向エッジ位置とする。次
に画像の縦横の大きさが入力画像と等しい画像を生成し
これを縦方向エッジ位置画像とする。この縦方向エッジ
位置画像上において、横方向の座標すなわちx座標が縦
方向フィッテイング範囲のx座標であって、かつ縦方向
の座標すなわちy座標がピクセル精度縦方向エッジ位置
である画素を、エッジを構成する要素であるエッジ画素
とみなし、このエッジ画素の画素値をサブピクセル精度
縦方向エッジ位置とする。合成単峰性関数フィッティン
グ手段304は、同様に、横微分画像については、横方
向の各走査線上の横フィッティング範囲ごとに、合成単
峰性関数を横方向にフィッティングし、縦微分画像の場
合と同様にしてサブピクセル精度横方向エッジ位置とピ
クセル精度横方向エッジ位置を求め、サブピクセル精度
横方向エッジ位置画像を生成する。
【0073】このようにして合成単峰性関数フィッティ
ング手段304により、サブピクセル精度縦方向エッジ
位置、ピクセル精度縦方向エッジ位置、サブピクセル精
度横方向エッジ位置及びピクセル精度横方向エッジ位置
を求め、サブピクセル精度縦方向エッジ位置画像および
サブピクセル精度横方向エッジ位置画像を生成したら、
以降は、図1に示す画像位置合わせ装置100の場合と
同様に、画像分割手段105以降の処理を行えばよい。
また、図1に示す画像位置合わせ装置100でなく、図
2に示す画像位置合わせ装置200の場合と同様の処理
を行ってもよい。
【0074】以上、本発明の好ましい実施形態について
説明したが、各実施形態の画像位置合わせ装置は、それ
を実現するための計算機プログラムを、スーパーコンピ
ュータやエンジニアリングワークステーション(EW
S)などの計算機に読み込ませ、そのプログラムを実行
させることによっても実現できる。図9は、上述の各実
施形態の画像位置合わせ装置をソフトウェアにより実現
するための計算機の構成を示すブロック図である。
【0075】この計算機は、中央処理装置(CPU)2
1と、プログラムやデータを格納するためのハードディ
スク装置22と、主メモリ23と、キーボードやマウス
などの入力装置24と、CRTなどの表示装置25と、
磁気テープやCD−ROM等の記録媒体27を読み取る
読み取り装置26とから構成されている。ハードディス
ク装置22、主メモリ23、入力装置24、表示装置2
5及び読み取り装置26は、いずれも中央処理装置21
に接続している。この計算機では、画像位置合わせ装置
としてこの計算機を機能させるためのプログラムを格納
した記録媒体27を読み取り装置26に装着し、記録媒
体27からプログラムを読み出してハードディスク装置
22に格納し、ハードディスク装置22に格納されたプ
ログラムを中央処理装置21が実行することにより、上
述した画像位置合わせの処理が実行される。位置合わせ
の対象となる入力画像(画像A及び画像B)は、予め、
画像ファイルとして、ハードディスク装置22に格納し
ておけばよい。
【0076】
【発明の効果】以上説明したように本発明は、画像間の
エッジプロファイルの違いや、微妙なテクスチャーに左
右されにくい、画像上パターンのエッジ位置を関数フィ
ッティングによりサブピクセル精度で求め、このエッジ
位置に基づいて、位置合わせする画像間において対応す
るエッジ間の距離をサブピクセル精度で求めることによ
り、画像間の位置ずれをサブピクセル精度で求めること
ができるという効果がある。これにより、位置合わせを
する画像同士が、変形やノイズにより異なることがあっ
ても、サブピクセル精度で位置合わせをすることができ
る。とくに画像上に細かい模様状(テクスチャー状)の
ノイズがある場合、従来手法に比べ位置合わせの精度が
低下しにくくなる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態の画像位置合わせ装置
の構成を示すブロック図である。
【図2】(a)は入力画像の一例を示す図、(b)は図2(a)
で示した入力画像の分割横微分画像の一例を示す図、
(c)は分割横微分画像におけるエッジ部分の横方向の濃
淡値変化の一例を示す図、(d)は分割横微分画像におけ
るエッジを横方向に単峰性関数でフィッティングした一
例を示す図である。
【図3】(a)は縦方向エッジ位置画像の一例を示す図、
(b)は横方向エッジ位置画像の一例を示す図である。
【図4】(a)は、複数ある入力画像のうちの入力画像1
についての分割縦微分画像の一例を示す図、(b)は複数
ある入力画像のうちの入力画像2についての分割縦微分
画像の一例を示す図、(c)は図4(a)で示す入力画像と図
4(b)で示す入力画像をピクセル精度で重ね合わせた一
例を示す図、(d)は、図4(c)の横エッジの一部を拡大し
た図であって、入力画像1上のあるエッジ画素Cとその
近傍及び対応する入力画像2上のエッジ画素Dを示す
図、(e)は、図4(d)で示すエッジ画素Cについて、対応
するエッジ画素D及びDに隣接するエッジ画素から構成
される対応候補エッジ画素群の一例を示す図、(f)は、
図4(e)で示すエッジ画素Cの対応候補エッジ画素群に
対してある曲線をフィッティングして得られた対応候補
曲線の一例を示す図、(g)は対応候補曲線を座標変換し
て得られる相対対応候補曲線を示す図である。
【図5】(a)は、座標の原点と全ての対応候補曲線が交
差する点を結ぶベクトルを変位ベクトルとして、あるエ
ッジ画素に対して得られた複数の対応候補曲線の一例を
示す図、(b)は、全ての対応候補曲線が一点で交わると
いうことがない場合における、あるエッジ画素に対して
得られた複数の対応候補曲線の一例を示す図、(c)は、
座標の原点と対応候補曲線が最も多く通るメッシュとを
結ぶベクトルを変位ベクトルとして、図5(b)に示され
る対応候補曲線が記述されている座標系を、メッシュで
区切った一例を示す図である。
【図6】本発明の第2の実施形態の画像位置合わせ装置
の構成を示すブロック図である。
【図7】(a)は入力画像の一例である画像Aを示す図、
(b)は入力画像の一例である画像Bを示す図、(c)は、画
像Aの分割縦微分画像上のあるエッジ画素の中心から、
それに対応する画像Bの分割縦微分画像上のエッジ画素
の中心に引いたベクトルを縦方向変位ベクトルとして、
画像Aの分割縦微分画像と画像Bの分割縦微分画像を重
ね合わせ、あるエッジの周囲を拡大した図、(d)は、画
像Aの分割横微分画像上のあるエッジ画素の中心から、
それに対応する画像Bの分割横微分画像上のエッジ画素
の中心に引いたベクトルを横方向変位ベクトルとして、
画像Aの分割横微分画像と画像Bの分割横微分画像を重
ね合わせ、あるエッジの周囲を拡大した図、(e)は変位
推定直線を説明する図である。
【図8】本発明の第3の実施形態の画像位置合わせ装置
の構成を示すブロック図である。
【図9】画像位置合わせ装置を実現するための計算機シ
ステムの一例を示すブロック図である。
【図10】(a)はエッジの斜面部分の濃淡値変化が比較
的緩やかな入力画像の一例を示す図、(b)はエッジの斜
面部分の濃淡値変化が比較的急な入力画像の一例を示す
図、(c)は、図10(a)で示した入力画像と図10(b)で
示した入力画像を位置合わせして重ね合わせた結果を示
す図である。
【図11】(a)はコーナーに丸みがある(コーナー部分
の曲率が比較的小さい)入力画像の一例を示す図、(b)
はコーナーに丸みがない(コーナー部分の曲率が比較的
大きい)入力画像の一例を示す図、(c)は、図11(a)で
示した入力画像と図11(b)で示した入力画像につい
て、直線エッジ部分が一致するように重ね合わせた結果
を示す図、(d)は、図11(a)で示した入力画像と図11
(b)で示した入力画像について、互いに重なり合わない
部分の面積が最小になるように重ね合わせた結果を示す
図である。
【図12】(a)は、パターン上にテクスチャーがある入
力画像の一例を示す図、(b)は、図12(a)の入力画像と
比較してテクスチャーがややエッジ寄りにあるような、
パターン上にテクスチャーがある入力画像の一例を示す
図、(c)は、図12(a)で示した入力画像と図12で示し
た入力画像について、エッジ部分が一致するように重ね
合わせた結果を示す図、(d)は、図12(a)で示した入力
画像と図12(b)で示した入力画像について、パターン
上のテクスチャーが一致するように重ね合わせた結果を
示す図である。
【図13】(a)は、パターン上に微小な周期的ノイズに
よるテクスチャーがある入力画像の一例を示す図、(b)
は、図13(a)の入力画像に比較して周期的ノイズの位
相がややエッジ寄りにずれてような、パターン上に微小
な周期的ノイズによるテクスチャーがある入力画像の一
例を示す図、(c)は、図13(a)で示した入力画像と図1
3(b)で示した入力画像について、エッジ部分が一致す
るように重ね合わせた結果を示す図、(d)は、図13(a)
で示した入力画像と図12(b)で示した入力画像につい
て、パターン上の微小な周期的ノイズによるテクスチャ
ーが一致するように重ね合わせた結果を示す図である。
【符号の説明】
100,200,300 画像位置合わせ装置 101 画像入力手段 102 画像微分手段 103 フィッティング範囲設定手段 104 関数フィッティング手段 105 画像分割手段 106 ピクセル精度位置合わせ手段 107 エッジ対応づけ手段 108 対応候補曲線生成手段 109 位置ずれ算出手段 207 エッジ成分算出手段 208 ずれベクトル算出手段 209 変位推定直線生成手段 303 合成単峰性関数記憶手段 304 合成単峰性関数フィティング手段

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 入力された第1の画像及び第2の画像の
    間の相対的な位置ずれを検出する画像位置合わせ方法で
    あって、 前記各画像ごとに、当該画像に対して縦方向及び横方向
    に微分を施し、縦微分値の絶対値を画素値として持つ縦
    微分画像と横微値の絶対値を画素値として持つ横微分画
    像を生成し、 前記縦微分画像と前記横微分画像から全微分画像を生成
    し、 前記縦微分画像について縦方向に画素値を走査すること
    によって縦方向フィッティング範囲を求め、 前記横微分画像について横方向に画素値を走査すること
    によって横方向フィッティング範囲を求め、 前記縦微分画像上の前記縦フィッティング範囲ごとに、
    単峰性の関数を縦方向にフィッティングし、その極大値
    点の座標を1画素未満の精度であるサブピクセル精度と
    ピクセル精度に分離して求めてそれぞれサブピクセル精
    度縦方向エッジ位置及びピクセル精度縦方向エッジ位置
    とし、前記ピクセル精度縦方向エッジ位置に対応する画
    素をエッジ画素としてこのエッジ画素の画素値として前
    記サブピクセル精度縦方向エッジ位置を持つ縦方向エッ
    ジ位置画像を生成し、 前記横微分画像上の前記横フィッティング範囲ごとに、
    単峰性の関数を横方向にフィッティングし、その極大値
    点の座標を1画素未満の精度であるサブピクセル精度と
    ピクセル精度に分離して求めてそれぞれサブピクセル精
    度横方向エッジ位置及びピクセル精度横方向エッジ位置
    とし、前記ピクセル精度横方向エッジ位置に対応する画
    素をエッジ画素としてこのエッジ画素の画素値として前
    記サブピクセル精度横方向エッジ位置を持つ横方向エッ
    ジ位置画像を生成し、 前記縦微分画像と前記横微分画像と前記全微分画像と前
    記縦方向エッジ位置画像と前記横方向エッジ位置画像を
    予め与えられた大きさに分割した画像にそれぞれ対応す
    る分割縦微分画像と分割横微分画像と分割全微分画像と
    分割縦方向エッジ位置画像と分割横方向エッジ位置画像
    を生成し、 前記分割全微分画像ごとに、テンプレートマッチングに
    より、前記第1の画像の分割全微分画像を前記第2の画
    像の分割全微分画像に対して1画素の精度での位置合わ
    せを行い、この位置合わせ結果に従い、前記第1の画像
    の分割縦微分画像、分割横微分画像、分割縦方向エッジ
    位置画像及び分割横方向エッジ位置画像を、前記第2の
    画像の分割縦微分画像、分割横微分画像、分割縦方向エ
    ッジ位置画像及び分割横方向エッジ位置画像に対して1
    画素の精度で位置合わせし、 前記1画素の精度での位置合わせでの結果に従って前記
    第1の画像の分割縦方向エッジ位置画像を前記第2の画
    像の分割縦方向エッジ位置画像に重ね合わせたときに、
    前記第1の分割縦方向エッジ位置画像上の各エッジ画素
    の位置にくる前記第2の画像の分割縦方向エッジ位置画
    像の画素を基準エッジ画素とし、前記サブピクセル精度
    縦方向エッジ位置を用いてエッジ画素間の距離を求めて
    前記距離に基づいて前記基準エッジ画素に対応する対応
    候補エッジ画素群を求め、前記対応候補エッジ画素群に
    算出を繰り返して前記分割縦方向エッジ位置画像上の全
    てのエッジ画素に対して前記対応候補エッジ画素群を求
    め、 前記1画素の精度での位置合わせの結果に従って前記第
    1の画像の分割横方向エッジ位置画像を前記第2の画像
    の分割横方向エッジ位置画像に重ね合わせたときに、前
    記第1の分割横方向エッジ位置画像上の各エッジ画素の
    位置にくる前記第2の画像の分割横方向エッジ位置画像
    の画素を基準エッジ画素とし、前記サブピクセル精度横
    方向エッジ位置を用いてエッジ画素間の距離を求めて前
    記距離に基づいて前記基準エッジ画素に対応する対応候
    補エッジ画素群を求め、前記対応候補エッジ画素群に算
    出を繰り返して前記分割横方向エッジ位置画像上の全て
    のエッジ画素に対して前記対応候補エッジ画素群を求
    め、 前記対応候補エッジ画素群の各エッジ画素のサブピクセ
    ル精度エッジ位置を予め与えられた関数形で記述される
    曲線でフィッティングしそれを対応候補曲線とし、前記
    基準エッジ画素のサブピクセル精度エッジ位置が原点に
    なるように座標変換し、その座標系における前記対応候
    補曲線を相対対応候補曲線として、前記分割縦方向エッ
    ジ位置画像及び前記分割横方向エッジ位置画像上の全て
    のエッジ画素に対して相対対応候補曲線を求め、 前記第1の画像の全てのエッジ画素について、各々に対
    応する前記第2の画像の相対対応候補曲線を1つの平面
    にプロットし、全ての相対対応候補曲線が交差する点も
    しくは全ての相対対応候補曲線が最も密集する点をサブ
    ピクセル精度で求め、これを対応候補交点とし、プロッ
    トした平面の座標系の原点から前記対応候補交点へと結
    ぶベクトルである変位ベクトルを算出する、画像位置合
    わせ方法。
  2. 【請求項2】 入力された第1の画像及び第2の画像の
    間の相対的な位置ずれを検出する画像位置合わせ方法で
    あって、 前記各画像ごとに、当該画像に対して縦方向及び横方向
    に微分を施し、縦微分値の絶対値を画素値として持つ縦
    微分画像と横微値の絶対値を画素値として持つ横微分画
    像を生成し、 前記縦微分画像と前記横微分画像から全微分画像を生成
    し、 前記縦微分画像について縦方向に画素値を走査すること
    によって縦方向フィッティング範囲を求め、 前記横微分画像について横方向に画素値を走査すること
    によって横方向フィッティング範囲を求め、 前記縦微分画像上の前記縦フィッティング範囲ごとに、
    単峰性の関数を縦方向にフィッティングし、その極大値
    点の座標を1画素未満の精度であるサブピクセル精度と
    ピクセル精度に分離して求めてそれぞれサブピクセル精
    度縦方向エッジ位置及びピクセル精度縦方向エッジ位置
    とし、前記ピクセル精度縦方向エッジ位置に対応する画
    素をエッジ画素としてこのエッジ画素の画素値として前
    記サブピクセル精度縦方向エッジ位置を持つ縦方向エッ
    ジ位置画像を生成し、 前記横微分画像上の前記横フィッティング範囲ごとに、
    単峰性の関数を横方向にフィッティングし、その極大値
    点の座標を1画素未満の精度であるサブピクセル精度と
    ピクセル精度に分離して求めてそれぞれサブピクセル精
    度横方向エッジ位置及びピクセル精度横方向エッジ位置
    とし、前記ピクセル精度横方向エッジ位置に対応する画
    素をエッジ画素としてこのエッジ画素の画素値として前
    記サブピクセル精度横方向エッジ位置を持つ横方向エッ
    ジ位置画像を生成し、 前記縦微分画像と前記横微分画像と前記全微分画像と前
    記縦方向エッジ位置画像と前記横方向エッジ位置画像を
    予め与えられた大きさに分割した画像にそれぞれ対応す
    る分割縦微分画像と分割横微分画像と分割全微分画像と
    分割縦方向エッジ位置画像と分割横方向エッジ位置画像
    を生成し、 前記分割全微分画像ごとに、テンプレートマッチングに
    より、前記第1の画像の分割全微分画像を前記第2の画
    像の分割全微分画像に対して1画素の精度での位置合わ
    せを行い、この位置合わせ結果に従い、前記第1の画像
    の分割縦微分画像、分割横微分画像、分割縦方向エッジ
    位置画像及び分割横方向エッジ位置画像を、前記第2の
    画像の分割縦微分画像、分割横微分画像、分割縦方向エ
    ッジ位置画像及び分割横方向エッジ位置画像に対して1
    画素の精度で位置合わせを行い、 前記第1の画像の分割縦方向エッジ位置画像と分割横方
    向エッジ位置画像を重ね合わせ、分割縦方向エッジ位置
    画像上のエッジ画素に対して分割横方向エッジ位置画像
    上最も座標が近いエッジ画素を検出して相互の距離を算
    出することによりエッジ画素間の対応関係の有無を判定
    し、 前記1画素の精度での位置合わせの結果に基づいて前記
    第1の画像の縦方向エッジ位置画像及び横方向エッジ位
    置画像を前記第2の画像の縦方向エッジ位置画像及び横
    方向エッジ位置画像に対して平行移動させて重ね合わせ
    た時に、第1の画像の分割縦方向エッジ位置画像上のエ
    ッジ画素の上下方向に最も距離の近いエッジ画素を前記
    第2の画像の分割縦方向エッジ位置画像上で検出して両
    方のエッジ画素間の距離が予め与えられたしきい値より
    小さいときに前記両方のエッジ画素のサブピクセル精度
    エッジ位置を結ぶベクトルを縦方向位置ずれベクトルと
    し、前記第1の画像の縦方向エッジ位置画像上の全ての
    エッジ画素に対して前記縦方向位置ずれベクトルを求
    め、さらに、第1の画像の分割横方向エッジ位置画像上
    のエッジ画素の左右方向に最も距離の近いエッジ画素を
    前記第2の画像の分割横方向エッジ位置画像上で検出し
    て両方のエッジ画素間の距離が予め与えられたしきい値
    より小さいときに前記両方のエッジ画素のサブピクセル
    精度エッジ位置を結ぶベクトルを横方向位置ずれベクト
    ルとし、前記第1の画像の横方向エッジ位置画像上の全
    てのエッジ画素に対して前記横方向位置ずれベクトルを
    求め、 前記縦方向エッジ位置画像上のエッジ画素と前記横方向
    エッジ位置画像上のエッジ画素の間に対応関係があると
    みなされた場合、前記縦方向位置ずれベクトルと前記横
    方向位置ずれベクトルの各々の基点を座標の原点に置く
    ようにしてプロットし、前記各ベクトルの先端を通る直
    線を変位推定直線とし、前記縦方向エッジ位置画像上の
    エッジ画素と前記横方向エッジ位置画像上のエッジ画素
    の間に対応関係がないとみなされた場合、前記縦方向位
    置ずれベクトルの基点を座標の原点に置くようにプロッ
    トし、前記縦方向位置ずれベクトルの先端を通り横方向
    の座標軸に平行な直線を変位推定直線とし、同時に前記
    横方向位置ずれベクトルの基点を座標の原点に置くよう
    にプロットし、前記横方向位置ずれベクトルの先端を通
    り縦方向の座標軸に平行な直線を変位推定直線とし、前
    記分割縦微分画像及び前記分割横微分画像におけるすべ
    てのエッジ画素について変位推定直線を求め、 前記第1の画像の全てのエッジ画素について、各々に対
    応する前記第2の画像の変位推定直線を1つの平面にプ
    ロットし、全ての前記変位推定直線が交差する点もしく
    は全ての変位推定直線が最も密集する点をサブピクセル
    精度で求め、これを対応候補交点とし、プロットした平
    面の座標系の原点から前記対応候補交点へと結ぶベクト
    ルである変位ベクトルを算出する、画像位置合わせ方
    法。
  3. 【請求項3】 入力された第1の画像及び第2の画像の
    間の相対的な位置ずれを検出する画像位置合わせ方法で
    あって、 前記各画像ごとに、当該画像に対して縦方向及び横方向
    に微分を施し、縦微分値の絶対値を画素値として持つ縦
    微分画像と横微値の絶対値を画素値として持つ横微分画
    像を生成し、 前記縦微分画像と前記横微分画像から全微分画像を生成
    し、 前記縦微分画像について縦方向に画素値を走査すること
    によって縦方向フィッティング範囲を求め、 前記横微分画像について横方向に画素値を走査すること
    によって横方向フィッティング範囲を求め、 各々の関数形を決定するパラメータが異なる予め与えら
    れた単峰性の関数を足し合わせた関数を合成単峰性関数
    とし、前記縦微分画像上の前記縦フィッティング範囲ご
    とに、前記合成単峰性関数を縦方向にフィッティング
    し、前記合成単峰性関数を構成する各単峰性の関数の極
    大値点の座標を1画素未満の精度であるサブピクセル精
    度とピクセル精度に分離して求めてそれぞれサブピクセ
    ル精度縦方向エッジ位置及びピクセル精度縦方向エッジ
    位置とし、前記ピクセル精度縦方向エッジ位置に対応す
    る画素をエッジ画素としてこのエッジ画素の画素値とし
    て前記サブピクセル精度縦方向エッジ位置を持つ縦方向
    エッジ位置画像を生成し、 前記横微分画像上の前記横フィッティング範囲ごとに、
    前記合成単峰性関数を横方向にフィッティングし、前記
    合成単峰性関数を構成する各単峰性の関数の極大値点の
    座標を1画素未満の精度であるサブピクセル精度とピク
    セル精度に分離して求めてそれぞれサブピクセル精度横
    方向エッジ位置及びピクセル精度横方向エッジ位置と
    し、前記ピクセル精度横方向エッジ位置に対応する画素
    をエッジ画素としてこのエッジ画素の画素値として前記
    サブピクセル精度横方向エッジ位置を持つ横方向エッジ
    位置画像を生成し、 前記縦微分画像と前記横微分画像と前記全微分画像と前
    記縦方向エッジ位置画像と前記横方向エッジ位置画像を
    予め与えられた大きさに分割した画像にそれぞれ対応す
    る分割縦微分画像と分割横微分画像と分割全微分画像と
    分割縦方向エッジ位置画像と分割横方向エッジ位置画像
    を生成し、 前記分割全微分画像ごとに、テンプレートマッチングに
    より、前記第1の画像の分割全微分画像を前記第2の画
    像の分割全微分画像に対して1画素の精度での位置合わ
    せを行い、この位置合わせ結果に従い、前記第1の画像
    の分割縦微分画像、分割横微分画像、分割縦方向エッジ
    位置画像及び分割横方向エッジ位置画像を、前記第2の
    画像の分割縦微分画像、分割横微分画像、分割縦方向エ
    ッジ位置画像及び分割横方向エッジ位置画像に対して1
    画素の精度で位置合わせを行い、 前記1画素の精度での位置合わせの結果に従って前記第
    1の画像の分割縦方向エッジ位置画像を前記第2の画像
    の分割縦方向エッジ位置画像に重ね合わせたときに、前
    記第1の分割縦方向エッジ位置画像上の各エッジ画素の
    位置にくる前記第2の画像の分割縦方向エッジ位置画像
    の画素を基準エッジ画素とし、前記サブピクセル精度縦
    方向エッジ位置を用いてエッジ画素間の距離を求めて前
    記距離に基づいて前記基準エッジ画素に対応する対応候
    補エッジ画素群を求め、前記対応候補エッジ画素群に算
    出を繰り返して前記分割縦方向エッジ位置画像上の全て
    のエッジ画素に対して前記対応候補エッジ画素群を求
    め、 前記1画素の精度での位置合わせの結果に従って前記第
    1の画像の分割横方向エッジ位置画像を前記第2の画像
    の分割横方向エッジ位置画像に重ね合わせたときに、前
    記第1の分割横方向エッジ位置画像上の各エッジ画素の
    位置にくる前記第2の画像の分割横方向エッジ位置画像
    の画素を基準エッジ画素とし、前記サブピクセル精度横
    方向エッジ位置を用いてエッジ画素間の距離を求めて前
    記距離に基づいて前記基準エッジ画素に対応する対応候
    補エッジ画素群を求め、前記対応候補エッジ画素群に算
    出を繰り返して前記分割横方向エッジ位置画像上の全て
    のエッジ画素に対して前記対応候補エッジ画素群を求
    め、 前記対応候補エッジ画素群の各エッジ画素のサブピクセ
    ル精度エッジ位置を予め与えられた関数形で記述される
    曲線でフィッティングしそれを対応候補曲線とし、前記
    基準エッジ画素のサブピクセル精度エッジ位置が原点に
    なるように座標変換し、その座標系における前記対応候
    補曲線を相対対応候補曲線として、前記分割縦方向エッ
    ジ位置画像及び前記分割横方向エッジ位置画像上の全て
    のエッジ画素に対して相対対応候補曲線を求め、 前記第1の画像の全てのエッジ画素について、各々に対
    応する前記第2の画像の相対対応候補曲線を1つの平面
    にプロットし、全ての相対対応候補曲線が交差する点も
    しくは全ての相対対応候補曲線が最も密集する点をサブ
    ピクセル精度で求め、これを対応候補交点とし、プロッ
    トした平面の座標系の原点から前記対応候補交点へと結
    ぶベクトルである変位ベクトルを算出する、画像位置合
    わせ方法。
  4. 【請求項4】 入力された第1の画像及び第2の画像の
    間の相対的な位置ずれを検出する画像位置合わせ装置で
    あって、 前記各画像ごとに、当該画像に対して縦方向及び横方向
    に微分を施し、縦微分値の絶対値を画素値として持つ縦
    微分画像と横微値の絶対値を画素値として持つ横微分画
    像を生成し、前記縦微分画像と前記横微分画像から全微
    分画像を生成する画像微分手段と、 前記縦微分画像について縦方向に画素値を走査すること
    によって縦方向フィッティング範囲を求め、前記横微分
    画像について横方向に画素値を走査することによって横
    方向フィッティング範囲を求めるフィッティング範囲設
    定手段と、 前記縦微分画像上の前記縦フィッティング範囲ごとに、
    単峰性の関数を縦方向にフィッティングし、その極大値
    点の座標を1画素未満の精度であるサブピクセル精度と
    ピクセル精度に分離して求めてそれぞれサブピクセル精
    度縦方向エッジ位置及びピクセル精度縦方向エッジ位置
    とし、前記ピクセル精度縦方向エッジ位置に対応する画
    素をエッジ画素としてこのエッジ画素の画素値として前
    記サブピクセル精度縦方向エッジ位置を持つ縦方向エッ
    ジ位置画像を生成し、前記横微分画像上の前記横フィッ
    ティング範囲ごとに、単峰性の関数を横方向にフィッテ
    ィングし、その極大値点の座標を1画素未満の精度であ
    るサブピクセル精度とピクセル精度に分離して求めてそ
    れぞれサブピクセル精度横方向エッジ位置及びピクセル
    精度横方向エッジ位置とし、前記ピクセル精度横方向エ
    ッジ位置に対応する画素をエッジ画素としてこのエッジ
    画素の画素値として前記サブピクセル精度横方向エッジ
    位置を持つ横方向エッジ位置画像を生成する関数フィッ
    ティング手段と、 前記縦微分画像と前記横微分画像と前記全微分画像と前
    記縦方向エッジ位置画像と前記横方向エッジ位置画像を
    予め与えられた大きさに分割した画像にそれぞれ対応す
    る分割縦微分画像と分割横微分画像と分割全微分画像と
    分割縦方向エッジ位置画像と分割横方向エッジ位置画像
    を生成する画像分割手段と、 前記分割全微分画像ごとに、テンプレートマッチングに
    より、前記第1の画像の分割全微分画像を前記第2の画
    像の分割全微分画像に対して1画素の精度での位置合わ
    せを行い、この位置合わせ結果に従い、前記第1の画像
    の分割縦微分画像、分割横微分画像、分割縦方向エッジ
    位置画像及び分割横方向エッジ位置画像を、前記第2の
    画像の分割縦微分画像、分割横微分画像、分割縦方向エ
    ッジ位置画像及び分割横方向エッジ位置画像に対して1
    画素の精度で位置合わせを行うピクセル精度位置合わせ
    手段と、 前記ピクセル精度位置合わせ手段での位置合わせの結果
    に従って前記第1の画像の分割縦方向エッジ位置画像を
    前記第2の画像の分割縦方向エッジ位置画像に重ね合わ
    せたときに、前記第1の分割縦方向エッジ位置画像上の
    各エッジ画素の位置にくる前記第2の画像の分割縦方向
    エッジ位置画像の画素を基準エッジ画素とし、前記サブ
    ピクセル精度縦方向エッジ位置を用いてエッジ画素間の
    距離を求めて前記距離に基づいて前記基準エッジ画素に
    対応する対応候補エッジ画素群を求め、前記対応候補エ
    ッジ画素群に算出を繰り返して前記分割縦方向エッジ位
    置画像上の全てのエッジ画素に対して前記対応候補エッ
    ジ画素群を求め、さらに、前記ピクセル精度位置合わせ
    手段での位置合わせの結果に従って前記第1の画像の分
    割横方向エッジ位置画像を前記第2の画像の分割横方向
    エッジ位置画像に重ね合わせたときに、前記第1の分割
    横方向エッジ位置画像上の各エッジ画素の位置にくる前
    記第2の画像の分割横方向エッジ位置画像の画素を基準
    エッジ画素とし、前記サブピクセル精度横方向エッジ位
    置を用いてエッジ画素間の距離を求めて前記距離に基づ
    いて前記基準エッジ画素に対応する対応候補エッジ画素
    群を求め、前記対応候補エッジ画素群に算出を繰り返し
    て前記分割横方向エッジ位置画像上の全てのエッジ画素
    に対して前記対応候補エッジ画素群を求めるエッジ対応
    づけ手段と、 前記対応候補エッジ画素群の各エッジ画素のサブピクセ
    ル精度エッジ位置を予め与えられた関数形で記述される
    曲線でフィッティングしそれを対応候補曲線とし、前記
    基準エッジ画素のサブピクセル精度エッジ位置が原点に
    なるように座標変換し、その座標系における前記対応候
    補曲線を相対対応候補曲線として、前記分割縦方向エッ
    ジ位置画像及び前記分割横方向エッジ位置画像上の全て
    のエッジ画素に対して相対対応候補曲線を求める対応候
    補曲線生成手段と、 前記第1の画像の全てのエッジ画素について、各々に対
    応する前記第2の画像の相対対応候補曲線を1つの平面
    にプロットし、全ての相対対応候補曲線が交差する点も
    しくは全ての対応候補曲線が最も密集する点をサブピク
    セル精度で求め、これを対応候補交点とし、プロットし
    た平面の座標系の原点から前記対応候補交点へと結ぶベ
    クトルである変位ベクトルを算出する位置ずれ算出手段
    と、を有する画像位置合わせ装置。
  5. 【請求項5】 入力された第1の画像及び第2の画像の
    間の相対的な位置ずれを検出する画像位置合わせ装置で
    あって、 前記各画像ごとに、当該画像に対して縦方向及び横方向
    に微分を施し、縦微分値の絶対値を画素値として持つ縦
    微分画像と横微値の絶対値を画素値として持つ横微分画
    像を生成し、前記縦微分画像と前記横微分画像から全微
    分画像を生成する画像微分手段と、 前記縦微分画像について縦方向に画素値を走査すること
    によって縦方向フィッティング範囲を求め、前記横微分
    画像について横方向に画素値を走査することによって横
    方向フィッティング範囲を求めるフィッティング範囲設
    定手段と、 前記縦微分画像上の前記縦フィッティング範囲ごとに、
    単峰性の関数を縦方向にフィッティングし、その極大値
    点の座標を1画素未満の精度であるサブピクセル精度と
    ピクセル精度に分離して求めてそれぞれサブピクセル精
    度縦方向エッジ位置及びピクセル精度縦方向エッジ位置
    とし、前記ピクセル精度縦方向エッジ位置に対応する画
    素をエッジ画素としてこのエッジ画素の画素値として前
    記サブピクセル精度縦方向エッジ位置を持つ縦方向エッ
    ジ位置画像を生成し、前記横微分画像上の前記横フィッ
    ティング範囲ごとに、単峰性の関数を横方向にフィッテ
    ィングし、その極大値点の座標を1画素未満の精度であ
    るサブピクセル精度とピクセル精度に分離して求めてそ
    れぞれサブピクセル精度横方向エッジ位置及びピクセル
    精度横方向エッジ位置とし、前記ピクセル精度横方向エ
    ッジ位置に対応する画素をエッジ画素としてこのエッジ
    画素の画素値として前記サブピクセル精度横方向エッジ
    位置を持つ横方向エッジ位置画像を生成する関数フィッ
    ティング手段と、 前記縦微分画像と前記横微分画像と前記全微分画像と前
    記縦方向エッジ位置画像と前記横方向エッジ位置画像を
    予め与えられた大きさに分割した画像にそれぞれ対応す
    る分割縦微分画像と分割横微分画像と分割全微分画像と
    分割縦方向エッジ位置画像と分割横方向エッジ位置画像
    を生成する画像分割手段と、 前記分割全微分画像ごとに、テンプレートマッチングに
    より、前記第1の画像の分割全微分画像を前記第2の画
    像の分割全微分画像に対して1画素の精度での位置合わ
    せを行い、この位置合わせ結果に従い、前記第1の画像
    の分割縦微分画像、分割横微分画像、分割縦方向エッジ
    位置画像及び分割横方向エッジ位置画像を、前記第2の
    画像の分割縦微分画像、分割横微分画像、分割縦方向エ
    ッジ位置画像及び分割横方向エッジ位置画像に対して1
    画素の精度で位置合わせを行うピクセル精度位置合わせ
    手段と、 前記第1の画像の分割縦方向エッジ位置画像と分割横方
    向エッジ位置画像を重ね合わせ、分割縦方向エッジ位置
    画像上のエッジ画素に対して分割横方向エッジ位置画像
    上最も座標が近いエッジ画素を検出して相互の距離を算
    出することによりエッジ画素間の対応関係の有無を判定
    するエッジ成分算出手段と、 前記ピクセル精度位置合わせ手段での位置合わせの結果
    に基づいて前記第1の画像の縦方向エッジ位置画像及び
    横方向エッジ位置画像を前記第2の画像の縦方向エッジ
    位置画像及び横方向エッジ位置画像に対して平行移動さ
    せて重ね合わせた時に、第1の画像の分割縦方向エッジ
    位置画像上のエッジ画素の上下方向に最も距離の近いエ
    ッジ画素を前記第2の画像の分割縦方向エッジ位置画像
    上で検出して両方のエッジ画素間の距離が予め与えられ
    たしきい値より小さいときに前記両方のエッジ画素のサ
    ブピクセル精度エッジ位置を結ぶベクトルを縦方向位置
    ずれベクトルとし、前記第1の画像の縦方向エッジ位置
    画像上の全てのエッジ画素に対して前記縦方向位置ずれ
    ベクトルを求め、さらに、第1の画像の分割横方向エッ
    ジ位置画像上のエッジ画素の左右方向に最も距離の近い
    エッジ画素を前記第2の画像の分割横方向エッジ位置画
    像上で検出して両方のエッジ画素間の距離が予め与えら
    れたしきい値より小さいときに前記両方のエッジ画素の
    サブピクセル精度エッジ位置を結ぶベクトルを横方向位
    置ずれベクトルとし、前記第1の画像の横方向エッジ位
    置画像上の全てのエッジ画素に対して前記横方向位置ず
    れベクトルを求めるずれベクトル算出手段と、 前記エッジ成分算出手段において前記縦方向エッジ位置
    画像上のエッジ画素と前記横方向エッジ位置画像上のエ
    ッジ画素の間に対応関係があるとみなされた場合、前記
    縦方向位置ずれベクトルと前記横方向位置ずれベクトル
    の各々の基点を座標の原点に置くようにしてプロット
    し、前記各ベクトルの先端を通る直線を変位推定直線と
    し、前記エッジ成分算出手段において前記縦方向エッジ
    位置画像上のエッジ画素と前記横方向エッジ位置画像上
    のエッジ画素の間に対応関係がないとみなされた場合、
    前記縦方向位置ずれベクトルの基点を座標の原点に置く
    ようにプロットし、前記縦方向位置ずれベクトルの先端
    を通り横方向の座標軸に平行な直線を変位推定直線と
    し、同時に前記横方向位置ずれベクトルの基点を座標の
    原点に置くようにプロットし、前記横方向位置ずれベク
    トルの先端を通り縦方向の座標軸に平行な直線を変位推
    定直線とし、前記分割縦微分画像及び前記分割横微分画
    像におけるすべてのエッジ画素について変位推定直線を
    求める変位推定直線生成手段と、 前記第1の画像の全てのエッジ画素について、各々に対
    応する前記第2の画像の変位推定直線を1つの平面にプ
    ロットし、全ての前記変位推定直線が交差する点もしく
    は全ての変位推定直線が最も密集する点をサブピクセル
    精度で求め、これを対応候補交点とし、プロットした平
    面の座標系の原点から前記対応候補交点へと結ぶベクト
    ルである変位ベクトルを算出する位置ずれ算出手段と、
    を有する画像位置合わせ装置。
  6. 【請求項6】 入力された第1の画像及び第2の画像の
    間の相対的な位置ずれを検出する画像位置合わせ装置で
    あって、 前記各画像ごとに、当該入力画像に対して縦方向及び横
    方向に微分を施し、縦微分値の絶対値を画素値として持
    つ縦微分画像と横微値の絶対値を画素値として持つ横微
    分画像を生成し、前記縦微分画像と前記横微分画像から
    全微分画像を生成する画像微分手段と、 前記縦微分画像について縦方向に画素値を走査すること
    によって縦方向フィッティング範囲を求め、前記横微分
    画像について横方向に画素値を走査することによって横
    方向フィッティング範囲を求めるフィッティング範囲設
    定手段と、 各々の関数形を決定するパラメータが異なる予め与えら
    れた単峰性の関数を足し合わせた関数を合成単峰性関数
    とし、前記合成単峰性関数を記憶する合成単峰性関数手
    段と、 前記縦微分画像上の前記縦フィッティング範囲ごとに、
    前記合成単峰性関数を縦方向にフィッティングし、前記
    合成単峰性関数を構成する各単峰性の関数の極大値点の
    座標を1画素未満の精度であるサブピクセル精度とピク
    セル精度に分離して求めてそれぞれサブピクセル精度縦
    方向エッジ位置及びピクセル精度縦方向エッジ位置と
    し、前記ピクセル精度縦方向エッジ位置に対応する画素
    をエッジ画素としてこのエッジ画素の画素値として前記
    サブピクセル精度縦方向エッジ位置を持つ縦方向エッジ
    位置画像を生成し、前記横微分画像上の前記横フィッテ
    ィング範囲ごとに、前記合成単峰性関数を横方向にフィ
    ッティングし、前記合成単峰性関数を構成する各単峰性
    の関数の極大値点の座標を1画素未満の精度であるサブ
    ピクセル精度とピクセル精度に分離して求めてそれぞれ
    サブピクセル精度横方向エッジ位置及びピクセル精度横
    方向エッジ位置とし、前記ピクセル精度横方向エッジ位
    置に対応する画素をエッジ画素としてこのエッジ画素の
    画素値として前記サブピクセル精度横方向エッジ位置を
    持つ横方向エッジ位置画像を生成する合成単峰性関数フ
    ィッティング手段と、 前記縦微分画像と前記横微分画像と前記全微分画像と前
    記縦方向エッジ位置画像と前記横方向エッジ位置画像を
    予め与えられた大きさに分割した画像にそれぞれ対応す
    る分割縦微分画像と分割横微分画像と分割全微分画像と
    分割縦方向エッジ位置画像と分割横方向エッジ位置画像
    を生成する画像分割手段と、 前記分割全微分画像ごとに、テンプレートマッチングに
    より、前記第1の画像の分割全微分画像を前記第2の画
    像の分割全微分画像に対して1画素の精度での位置合わ
    せを行い、この位置合わせ結果に従い、前記第1の画像
    の分割縦微分画像、分割横微分画像、分割縦方向エッジ
    位置画像及び分割横方向エッジ位置画像を、前記第2の
    画像の分割縦微分画像、分割横微分画像、分割縦方向エ
    ッジ位置画像及び分割横方向エッジ位置画像に対して1
    画素の精度で位置合わせを行うピクセル精度位置合わせ
    手段と、 前記ピクセル精度位置合わせ手段での位置合わせの結果
    に従って前記第1の画像の分割縦方向エッジ位置画像を
    前記第2の画像の分割縦方向エッジ位置画像に重ね合わ
    せたときに、前記第1の分割縦方向エッジ位置画像上の
    各エッジ画素の位置にくる前記第2の画像の分割縦方向
    エッジ位置画像の画素を基準エッジ画素とし、前記サブ
    ピクセル精度縦方向エッジ位置を用いてエッジ画素間の
    距離を求めて前記距離に基づいて前記基準エッジ画素に
    対応する対応候補エッジ画素群を求め、前記対応候補エ
    ッジ画素群に算出を繰り返して前記分割縦方向エッジ位
    置画像上の全てのエッジ画素に対して前記対応候補エッ
    ジ画素群を求め、さらに、前記ピクセル精度位置合わせ
    手段での位置合わせの結果に従って前記第1の画像の分
    割横方向エッジ位置画像を前記第2の画像の分割横方向
    エッジ位置画像に重ね合わせたときに、前記第1の分割
    横方向エッジ位置画像上の各エッジ画素の位置にくる前
    記第2の画像の分割横方向エッジ位置画像の画素を基準
    エッジ画素とし、前記サブピクセル精度横方向エッジ位
    置を用いてエッジ画素間の距離を求めて前記距離に基づ
    いて前記基準エッジ画素に対応する対応候補エッジ画素
    群を求め、前記対応候補エッジ画素群に算出を繰り返し
    て前記分割横方向エッジ位置画像上の全てのエッジ画素
    に対して前記対応候補エッジ画素群を求めるエッジ対応
    づけ手段と、 前記対応候補エッジ画素群の各エッジ画素のサブピクセ
    ル精度エッジ位置を予め与えられた関数形で記述される
    曲線でフィッティングしそれを対応候補曲線とし、前記
    基準エッジ画素のサブピクセル精度エッジ位置が原点に
    なるように座標変換し、その座標系における前記対応候
    補曲線を相対対応候補曲線として、前記分割縦方向エッ
    ジ位置画像及び前記分割横方向エッジ位置画像上の全て
    のエッジ画素に対して相対対応候補曲線を求める対応候
    補曲線生成手段と、 前記第1の画像の全てのエッジ画素について、各々に対
    応する前記第2の画像の相対対応候補曲線を1つの平面
    にプロットし、全ての相対対応候補曲線が交差する点も
    しくは全ての対応候補曲線が最も密集する点をサブピク
    セル精度で求め、これを対応候補交点とし、プロットし
    た平面の座標系の原点から前記対応候補交点へと結ぶベ
    クトルである変位ベクトルを算出する位置ずれ算出手段
    と、を有する画像位置合わせ方法。
  7. 【請求項7】 計算機が読み取り可能な記録媒体であっ
    て、 第1の画像及び第2の画像のそれぞれごとに、当該画像
    に対して縦方向及び横方向に微分を施し、縦微分値の絶
    対値を画素値として持つ縦微分画像と横微値の絶対値を
    画素値として持つ横微分画像を生成し、前記縦微分画像
    と前記横微分画像から全微分画像を生成する機能と、 前記縦微分画像について縦方向に画素値を走査すること
    によって縦方向フィッティング範囲を求め、前記横微分
    画像について横方向に画素値を走査することによって横
    方向フィッティング範囲を求める機能と、 前記縦微分画像上の前記縦フィッティング範囲ごとに、
    単峰性の関数を縦方向にフィッティングし、その極大値
    点の座標を1画素未満の精度であるサブピクセル精度と
    ピクセル精度に分離して求めてそれぞれサブピクセル精
    度縦方向エッジ位置及びピクセル精度縦方向エッジ位置
    とし、前記ピクセル精度縦方向エッジ位置に対応する画
    素をエッジ画素としてこのエッジ画素の画素値として前
    記サブピクセル精度縦方向エッジ位置を持つ縦方向エッ
    ジ位置画像を生成し、前記横微分画像上の前記横フィッ
    ティング範囲ごとに、単峰性の関数を横方向にフィッテ
    ィングし、その極大値点の座標を1画素未満の精度であ
    るサブピクセル精度とピクセル精度に分離して求めてそ
    れぞれサブピクセル精度横方向エッジ位置及びピクセル
    精度横方向エッジ位置とし、前記ピクセル精度横方向エ
    ッジ位置に対応する画素をエッジ画素としてこのエッジ
    画素の画素値として前記サブピクセル精度横方向エッジ
    位置を持つ横方向エッジ位置画像を生成する機能と、 前記縦微分画像と前記横微分画像と前記全微分画像と前
    記縦方向エッジ位置画像と前記横方向エッジ位置画像を
    予め与えられた大きさに分割した画像にそれぞれ対応す
    る分割縦微分画像と分割横微分画像と分割全微分画像と
    分割縦方向エッジ位置画像と分割横方向エッジ位置画像
    を生成する機能と、 前記分割全微分画像ごとに、テンプレートマッチングに
    より、前記第1の画像の分割全微分画像を前記第2の画
    像の分割全微分画像に対して1画素の精度での位置合わ
    せを行い、この位置合わせ結果に従い、前記第1の画像
    の分割縦微分画像、分割横微分画像、分割縦方向エッジ
    位置画像及び分割横方向エッジ位置画像を、前記第2の
    画像の分割縦微分画像、分割横微分画像、分割縦方向エ
    ッジ位置画像及び分割横方向エッジ位置画像に対して1
    画素の精度で位置合わせを行う機能と、 前記1画素の精度での位置合わせの結果に従って前記第
    1の画像の分割縦方向エッジ位置画像を前記第2の画像
    の分割縦方向エッジ位置画像に重ね合わせたときに、前
    記第1の分割縦方向エッジ位置画像上の各エッジ画素の
    位置にくる前記第2の画像の分割縦方向エッジ位置画像
    の画素を基準エッジ画素とし、前記サブピクセル精度縦
    方向エッジ位置を用いてエッジ画素間の距離を求めて前
    記距離に基づいて前記基準エッジ画素に対応する対応候
    補エッジ画素群を求め、前記対応候補エッジ画素群に算
    出を繰り返して前記分割縦方向エッジ位置画像上の全て
    のエッジ画素に対して前記対応候補エッジ画素群を求
    め、さらに、前記1画素の精度での位置合わせの結果に
    従って前記第1の画像の分割横方向エッジ位置画像を前
    記第2の画像の分割横方向エッジ位置画像に重ね合わせ
    たときに、前記第1の分割横方向エッジ位置画像上の各
    エッジ画素の位置にくる前記第2の画像の分割横方向エ
    ッジ位置画像の画素を基準エッジ画素とし、前記サブピ
    クセル精度横方向エッジ位置を用いてエッジ画素間の距
    離を求めて前記距離に基づいて前記基準エッジ画素に対
    応する対応候補エッジ画素群を求め、前記対応候補エッ
    ジ画素群に算出を繰り返して前記分割横方向エッジ位置
    画像上の全てのエッジ画素に対して前記対応候補エッジ
    画素群を求める機能と、 前記対応候補エッジ画素群の各エッジ画素のサブピクセ
    ル精度エッジ位置を予め与えられた関数形で記述される
    曲線でフィッティングしそれを対応候補曲線とし、前記
    基準エッジ画素のサブピクセル精度エッジ位置が原点に
    なるように座標変換し、その座標系における前記対応候
    補曲線を相対対応候補曲線として、前記分割縦方向エッ
    ジ位置画像及び前記分割横方向エッジ位置画像上の全て
    のエッジ画素に対して相対対応候補曲線を求める機能
    と、 前記第1の画像の全てのエッジ画素について、各々に対
    応する前記第2の画像の相対対応候補曲線を1つの平面
    にプロットし、全ての相対対応候補曲線が交差する点も
    しくは全ての対応候補曲線が最も密集する点をサブピク
    セル精度で求め、これを対応候補交点とし、プロットし
    た平面の座標系の原点から前記対応候補交点へと結ぶベ
    クトルである変位ベクトルを算出する機能と、を実現す
    るためのプログラムを格納した記録媒体。
JP10151505A 1998-01-06 1998-06-01 画像位置合わせ方法、画像位置合わせ装置及び記録媒体 Expired - Fee Related JP2897772B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP10151505A JP2897772B1 (ja) 1998-06-01 1998-06-01 画像位置合わせ方法、画像位置合わせ装置及び記録媒体
DE19924077A DE19924077A1 (de) 1998-06-01 1999-05-26 Bildregistrierungs-Verfahren, Bildregistrierungs-Vorrichtung und Aufzeichnungsmedium
US09/320,453 US6434279B1 (en) 1998-01-06 1999-05-27 Image registration method, image registration apparatus and recording medium
KR1019990020018A KR100305419B1 (ko) 1998-06-01 1999-06-01 영상 위치맞춤 방법, 영상 위치맞춤 장치 및 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10151505A JP2897772B1 (ja) 1998-06-01 1998-06-01 画像位置合わせ方法、画像位置合わせ装置及び記録媒体

Publications (2)

Publication Number Publication Date
JP2897772B1 JP2897772B1 (ja) 1999-05-31
JPH11345315A true JPH11345315A (ja) 1999-12-14

Family

ID=15519985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10151505A Expired - Fee Related JP2897772B1 (ja) 1998-01-06 1998-06-01 画像位置合わせ方法、画像位置合わせ装置及び記録媒体

Country Status (4)

Country Link
US (1) US6434279B1 (ja)
JP (1) JP2897772B1 (ja)
KR (1) KR100305419B1 (ja)
DE (1) DE19924077A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005354201A (ja) * 2004-06-08 2005-12-22 Canon Inc 画像処理装置及び画像処理方法
JP2006294003A (ja) * 2005-03-15 2006-10-26 Omron Corp 画像処理方法およびその方法を用いた3次元計測方法ならびに画像処理装置
JP2013175023A (ja) * 2012-02-24 2013-09-05 Mitsubishi Electric Corp 画像位置合わせ装置及び画像位置合わせ方法
US8577500B2 (en) 2011-02-10 2013-11-05 Seiko Epson Corporation Robot apparatus, position detecting device, position detecting program, and position detecting method
JP2016050794A (ja) * 2014-08-29 2016-04-11 株式会社Screenホールディングス エッジ位置検出装置およびエッジ位置検出方法
JP2020112514A (ja) * 2019-01-16 2020-07-27 株式会社トヨタプロダクションエンジニアリング 応力発光計測装置及び応力発光計測方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714679B1 (en) * 1998-02-05 2004-03-30 Cognex Corporation Boundary analyzer
US7049872B2 (en) * 2002-10-08 2006-05-23 Impinj, Inc. Use of analog-valued floating-gate transistors to match the electrical characteristics of interleaved and pipelined circuits
JP2005197792A (ja) * 2003-12-26 2005-07-21 Canon Inc 画像処理方法、画像処理装置、プログラム、記憶媒体及び画像処理システム
WO2005120352A1 (en) * 2004-06-08 2005-12-22 Canon Kabushiki Kaisha Image processing device and method which use two images
DE102005044502B8 (de) * 2005-09-16 2010-01-28 Suss Microtec Test Systems Gmbh Verfahren zur Inspektion einer Vielzahl sich wiederholender Strukturen
US7894109B2 (en) * 2006-08-01 2011-02-22 Xerox Corporation System and method for characterizing spatial variance of color separation misregistration
US8274717B2 (en) 2006-08-01 2012-09-25 Xerox Corporation System and method for characterizing color separation misregistration
US8270049B2 (en) 2006-08-01 2012-09-18 Xerox Corporation System and method for high resolution characterization of spatial variance of color separation misregistration
US7826095B2 (en) * 2007-01-16 2010-11-02 Xerox Corporation System and method for estimating color separation misregistration utilizing frequency-shifted halftone patterns that form a moiré pattern
US8228559B2 (en) 2007-05-21 2012-07-24 Xerox Corporation System and method for characterizing color separation misregistration utilizing a broadband multi-channel scanning module
US7630672B2 (en) * 2007-05-21 2009-12-08 Xerox Corporation System and method for determining and correcting color separation registration errors in a multi-color printing system
JP5142836B2 (ja) * 2007-07-02 2013-02-13 オセ−テクノロジーズ ビーブイ 走査画像要素位置合わせ方法
JP4627782B2 (ja) * 2008-03-05 2011-02-09 株式会社日立ハイテクノロジーズ エッジ検出方法、及び荷電粒子線装置
DE102008045278A1 (de) * 2008-09-01 2010-03-25 Siemens Aktiengesellschaft Verfahren zum Kombinieren von Bildern und Magnetresonanzgerät
JP5691547B2 (ja) * 2010-08-20 2015-04-01 富士ゼロックス株式会社 画像の変更箇所抽出装置、画像の変更箇所表示装置及びプログラム
JP5653184B2 (ja) 2010-11-11 2015-01-14 三菱電機株式会社 画像処理装置及び方法
US8861890B2 (en) 2010-11-24 2014-10-14 Douglas Alan Lefler System and method for assembling and displaying individual images as a continuous image
JP5457606B2 (ja) * 2011-04-07 2014-04-02 富士フイルム株式会社 画像処理方法及び装置
KR20140067972A (ko) * 2011-09-28 2014-06-05 텔레시스템즈 가부시키가이샤 화상처리장치 및 화상처리방법
KR102070427B1 (ko) 2012-08-08 2020-01-28 삼성전자주식회사 종양의 위치를 추적하는 방법 및 장치
CN107784623B (zh) * 2016-08-31 2023-04-14 通用电气公司 X射线成像设备的图像处理方法及装置
CN106651828B (zh) * 2016-09-21 2020-05-26 哈尔滨工业大学 一种工业小尺度运动模糊成像条件下的产品尺寸亚像素测量方法
CN117495859B (zh) * 2024-01-02 2024-03-26 常州星宇车灯股份有限公司 接插件到位检测方法、装置、设备及其介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005354201A (ja) * 2004-06-08 2005-12-22 Canon Inc 画像処理装置及び画像処理方法
JP4708740B2 (ja) * 2004-06-08 2011-06-22 キヤノン株式会社 画像処理装置及び画像処理方法
JP2006294003A (ja) * 2005-03-15 2006-10-26 Omron Corp 画像処理方法およびその方法を用いた3次元計測方法ならびに画像処理装置
JP4687518B2 (ja) * 2005-03-15 2011-05-25 オムロン株式会社 画像処理方法およびその方法を用いた3次元計測方法ならびに画像処理装置
US8577500B2 (en) 2011-02-10 2013-11-05 Seiko Epson Corporation Robot apparatus, position detecting device, position detecting program, and position detecting method
JP2013175023A (ja) * 2012-02-24 2013-09-05 Mitsubishi Electric Corp 画像位置合わせ装置及び画像位置合わせ方法
JP2016050794A (ja) * 2014-08-29 2016-04-11 株式会社Screenホールディングス エッジ位置検出装置およびエッジ位置検出方法
JP2020112514A (ja) * 2019-01-16 2020-07-27 株式会社トヨタプロダクションエンジニアリング 応力発光計測装置及び応力発光計測方法

Also Published As

Publication number Publication date
US6434279B1 (en) 2002-08-13
JP2897772B1 (ja) 1999-05-31
KR100305419B1 (ko) 2001-09-29
KR20000005806A (ko) 2000-01-25
DE19924077A1 (de) 2000-02-10

Similar Documents

Publication Publication Date Title
JP2897772B1 (ja) 画像位置合わせ方法、画像位置合わせ装置及び記録媒体
EP2916535B1 (en) Image processing device, image processing method, and program
JP3387499B2 (ja) 輪郭線分の局所領域における方位決定方法および線分と角の決定方法
US20040022451A1 (en) Image distortion correcting method and apparatus, and storage medium
US20060221417A1 (en) Image processing method, three-dimensional position measuring method and image processing apparatus
US8340433B2 (en) Image processing apparatus, electronic medium, and image processing method
EP1092206A1 (en) Method of accurately locating the fractional position of a template match point
JP2009020613A (ja) 画像処理プログラム、画像処理方法及び画像処理装置
WO2012029662A1 (ja) 画像処理方法および画像処理装置
US20030031385A1 (en) Method and apparatus for sub-pixel edge detection
US20070154069A1 (en) Displacement estimation device and method for the same
WO2013114675A1 (ja) 画像処理装置、歪補正マップ作成装置、および半導体計測装置
EP2536123A1 (en) Image processing method and image processing apparatus
CN111462246A (zh) 一种结构光测量系统的设备标定方法
JP2003216931A (ja) 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置
Dowson et al. Estimating the joint statistics of images using nonparametric windows with application to registration using mutual information
JP5945823B2 (ja) 画像処理方法および画像処理装置
JP2009146150A (ja) 特徴位置検出方法及び特徴位置検出装置
JP2001109879A (ja) 画像処理装置および方法、並びに媒体
US9280807B2 (en) Degradation restoration system, degradation restoration method and program
JPH06160047A (ja) パターンマッチング方法
JP4258340B2 (ja) パンタグラフ検出装置
JP2000207557A (ja) 位置ずれ量計測方法
CN117496499B (zh) 3d结构光成像中虚假深度边缘的识别和补偿方法、系统
CN108364013A (zh) 基于邻域高斯微分分布的图像关键点特征描述符提取方法、系统

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees