JPH09198503A - 画像処理方法及び装置 - Google Patents

画像処理方法及び装置

Info

Publication number
JPH09198503A
JPH09198503A JP8022984A JP2298496A JPH09198503A JP H09198503 A JPH09198503 A JP H09198503A JP 8022984 A JP8022984 A JP 8022984A JP 2298496 A JP2298496 A JP 2298496A JP H09198503 A JPH09198503 A JP H09198503A
Authority
JP
Japan
Prior art keywords
image
point
designated
transformation
searched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8022984A
Other languages
English (en)
Inventor
Hiroyuki Urushiya
裕之 漆家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP8022984A priority Critical patent/JPH09198503A/ja
Publication of JPH09198503A publication Critical patent/JPH09198503A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 作業者の負担を軽減しつつ、作業者の熟練度
に左右されない精度の高い画像位置合わせを行うことが
困難である。 【解決手段】 基準画像Ik中に特徴点Ikaが指定され
ると(ステップS302)、近隣画像Ik-1が特定され
(ステップS303)、次にテンプレート画像TIk
が設定されると(ステップS304)、設定されたウィ
ンドウ領域(ステップS305)において対応点Ik-1
aがマッチング法により探索される(ステップS30
6)。以降、全画像についてこの処理が順次行われ(ス
テップS307,ステップS308)、求められた対応
点同士の誤差が最小となるように画像が幾何学的に変換
される(ステップS309)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数の画像を連続
表示するために、ディジタル画像処理により画像位置合
わせを行う画像処理方法及び装置に関するものである。
【0002】
【従来の技術】従来より、時系列的に得られた複数の画
像を連続表示する際に、各画像間の位置ずれが障害とな
るため、これを修正するためにいわゆる画像位置合わせ
を行う必要がある。
【0003】画像位置合わせは、各画像間に互いに対応
する対応点を各々設定し、設定された対応点を手掛かり
に各画像を幾何学的に変換することにより行われる。画
像位置合わせの精度は、対応点の設定結果に左右され
る。
【0004】対応点の設定は、表示しようとする画像の
全てについて行う必要があり、一般に、作業者が自己の
経験に基づき最も画像位置合わせの容易な点(例えば分
岐点等の特徴的な点)を指定することにより行われる。
対応点の設定手順としては、まず基準となる画像に基準
点を指定し、次にこの基準点に対応する対応点を、他の
画像上で設定する。その際、例えばマウス等のポインテ
ィングデバイスを用いて対応点を設定する。
【0005】
【発明が解決しようとする課題】しかしながら、画像位
置合わせの精度は、各画像について設定される対応点の
数が多い程向上するので、多くの画像について高精度の
画像位置合わせを行うにためには、より多くの対応点の
設定作業が必要となり、作業者の負担が増大するという
問題があった。
【0006】また、作業者の経験に基づく対応点の設定
では、設定結果が作業者の熟練度に大きく左右され、画
像位置合わせを常に精度良く行うことが困難であるとい
う問題があった。
【0007】本発明は上記従来技術の問題を解決するた
めになされたものであり、その目的は、作業者の負担を
軽減できると共に、作業者の熟練度に左右されない精度
の高い画像位置合わせを行うことができる画像処理方法
及び装置を提供することにある。
【0008】
【課題を解決するための手段】上記目的を達成するため
に本発明の請求項1の画像処理方法は、基準画像と該基
準画像に対して時間差をおいて得られた他の画像とを連
続表示するために前記基準画像と前記他の画像との位置
合わせを行う画像処理方法において、前記基準画像上に
基準点を指定し、該指定された基準点に対応する前記他
の画像上の対応点を該指定された基準点の座標より探索
範囲を定めてマッチング法により探索し、前記指定され
た基準点と前記探索された対応点との位置の誤差が最小
となるように前記基準画像及び前記他の画像の少なくと
も一方を幾何学的に変換することを特徴とする。
【0009】また、同じ目的を達成するために本発明の
請求項2の画像処理装置は、基準画像と該基準画像に対
して時間差をおいて得られた他の画像とを連続表示する
ために前記基準画像と前記他の画像との位置合わせを行
う画像処理装置において、前記基準画像上に基準点を指
定する基準点指定手段と、該指定された基準点に対応す
る前記他の画像上の対応点を該指定された基準点の座標
より探索範囲を定めてマッチング法により探索する対応
点探索手段と、前記指定された基準点と前記探索された
対応点との位置の誤差が最小となるように前記基準画像
及び前記他の画像の少なくとも一方を幾何学的に変換す
る幾何学的変換手段とを備えたことを特徴とする。
【0010】同じ目的を達成するために本発明の請求項
3の画像処理装置は、上記請求項2の構成において、前
記対応点探索手段は、前記基準画像に対して前記時間差
が最も小さい画像について前記対応点の探索を行うと共
に、該対応点の探索が行われた画像を次回の対応点の探
索の基準画像として更新することを特徴とする。
【0011】同じ目的を達成するために本発明の請求項
4の画像処理装置は、上記請求項2または3の構成にお
いて、前記マッチング法は、相関法及び残差逐次検定法
のいずれか一方であることを特徴とする。
【0012】同じ目的を達成するために本発明の請求項
5の画像処理装置は、上記請求項2、3、または4の構
成において、幾何学的変換手段による変換は、アフィン
変換、疑似アフィン変換、二次射影変換及び高次多項式
変換の少なくとも一つであることを特徴とする。
【0013】
【発明の実施の形態】以下、本発明の一実施の形態を図
面を参照して説明する。
【0014】図1は、本発明の一実施の形態に係る画像
処理装置の構成を示すブロック図である。同図中、3は
コンピュータで、該コンピュータ3には、画像入力部
1、ネットワークインタフェース2、メモリ4、ディス
プレイ5、プリンタ6、入力デバイス7が接続され、こ
れらの要素はコンピュータ3により制御される。
【0015】複数の画像は、画像入力部1により互いに
時間差をおいて時系列的に得られるほか、ネットワーク
からもネットワークインタフェース2を通じて得ること
ができる。その得られた複数の画像に係る情報はメモリ
4に記憶される。
【0016】入力デバイス7は、マウスまたはキーボー
ド等により構成され、画像位置合わせの前処理としての
基準点の指定に用いられる。
【0017】メモリ4に記憶された画像情報は、ディス
プレイ5により画像として表示されるほか、プリンタ6
により記録紙に画像として出力される。
【0018】図2は、本実施の形態において画像位置合
わせの対象となる複数の画像を概念的に示す図である。
【0019】各画像は互いに時間差をおいて得られてお
り、各画像に係る情報には、メモリ4に記憶される際
に、得られた時点の時間情報が各々付加される。
【0020】同図において、得られた画像は、左からI
1,I2…In-1,Inというように表現され、全画像数は
nである。
【0021】各画像情報に付加される時間情報は、、画
像I1,I2…In-1,Inについて各々時間t1,t2…t
n-1,tnというように表現される。
【0022】以下に、本実施の形態における画像処理装
置の画像位置合わせ処理を図3及び図4を用いて説明す
る。
【0023】図3は、画像位置合わせ処理の制御手順を
示すフローチャートである。この図3のフローチャート
を実行するためのプログラムはROM(読み出し専用メ
モリ)等からなる記憶部(不図示)に記憶され、コンピ
ュータ3によって実行される。本処理は対応点探索処理
(ステップS301〜S308)と幾何学的変換処理
(ステップS309)から成る。
【0024】また、図4は、対応点探索処理を説明する
ための図である。
【0025】まず、図3のフローチャートのステップS
301では、複数の画像の中から基準となる画像が一つ
選択される。その際、コンピュータ3により基準画像を
一意的に選択するようにしてもよく(例えば画像I1
画像In,または画像I1と画像Inとの中間の画像
n/2)、あるいは、ディスプレイ5に全画像を順次表
示させて、作業者が選択するようにしてもよい。
【0026】ここで選択される画像は、なるべく撮像対
象物を明瞭に捉えている画像とすることが、より高精度
な処理結果を得る上で望ましい。ただし、ここでは図4
の左側に示す画像Ikが選択されたものとする。
【0027】次に、ステップS302では、今回の基準
画像Ik上に対応点探索の基準となる特徴点が指定され
る。
【0028】この特徴点は、コンピュータ3により自動
的に指定するようにしてもよい。その場合には、例えば
判別分析2値化法により2値化して細線化等を行って分
岐点を抽出し、この分岐点を特徴点とするようにしても
よい。
【0029】または、ディスプレイ5上に基準画像Ik
を表示させ、作業者が直接特徴点を指定するようにして
もよい。この場合には、後の対応点探索がやり易いよう
に、画像中の特徴ある部分において指定することが望ま
しい。
【0030】指定される特徴点は、一つに限らず、多数
指定されるようにしてもよい。ここでは、図4に示すよ
うに、画像Ik中に特徴点Ika,Ikb,Ikcの三つが
指定されたものとする。
【0031】次に、ステップS303では、複数の画像
の中から近隣画像が一つ特定される。
【0032】近隣画像としては、原則として、今回の基
準画像Ikに対して得られた時点の最も近い画像が特定
される。具体的には、基準画像Ikの直前に得られた画
像Ik-1または基準画像Ikの直後に得られた画像Ik+1
のいずれかが今回の近隣画像として特定され、これはメ
モリ4に記憶された時間情報t1〜tnに基づいてコンピ
ュータ3により判断される。
【0033】ここでは、図4の右側に示すように、近隣
画像Ik-1が今回特定されたものとする。
【0034】次に、ステップS304では、基準画像I
k中に、テンプレート画像がコンピュータ3により設定
される。
【0035】テンプレート画像は、各特徴点Ika,Ik
b,Ikcを中心に適当な大きさの矩形領域が切り出さ
れることにより設定される。
【0036】ここでは、図4に示すように、特徴点Ik
a,Ikb,Ikcについて、テンプレート画像TI
ka,TIkb,TIkcが設定されたものとする。
【0037】次に、ステップS305では、近隣画像I
k-1中に、ウィンドウ領域がコンピュータ3により設定
される。
【0038】ウィンドウ領域は、基準画像Ikにおける
各特徴点Ika,Ikb,Ikcの座標と同一の座標を有
する点を近隣画像Ik-1中に求め、その点を中心に各テ
ンプレート画像TIka,TIkb,TIkcよりも広い
範囲として適当に設定される。
【0039】ここでは、図4の右側に示すように、テン
プレート画像TIka,TIkb,TIkcに対して、ウ
ィンドウ領域SIk-1a,SIk-1b,SIk-1cが設定
されたものとする。
【0040】次に、ステップS306では、各特徴点I
ka,Ikb,Ikcに対応する近隣画像Ik-1中の特徴点
が、対応点としてマッチング法により求められる。
【0041】具体的には、各ウィンドウ領域SI
k-1a,SIk-1b,SIk-1c内で、各テンプレート画
像TIka,TIkb,TIkcを動かしながら、最もマ
ッチングする位置を探すような処理がコンピュータ3に
よりなされることにより、対応点が探索される。
【0042】マッチング法には、相関法やSSDA法
(残差逐次検定法)等があるが、いずれの手法を採用し
てもよい。
【0043】ここでは、図4に示すように、対応点I
k-1a,Ik-1b,Ik-1cが探索されたものとする。
【0044】次に、ステップS307では、基準画像の
更新処理がコンピュータ3により行われる。すなわち、
今回の基準画像は画像Ikであったが、次回の基準画像
は画像Ik-1とされる。
【0045】次に、ステップS308では、複数の画像
全てについて対応点の探索が完了したか否かがコンピュ
ータ3により判別され、未だ完了していないときは、上
記ステップS303へ戻る。
【0046】上記ステップS303へ戻った後の処理
は、基準画像が画像Ik-1で、近隣画像はIk-2という組
合せにて行われることになる。
【0047】上記ステップS303〜S307の処理
は、基準画像が画像I2で近隣画像が画像I1という組合
せの処理が終了するまで順次行われた後、今度は、基準
画像が画像Ikで近隣画像が画像Ik+1という組合せの処
理が行われる。そして、それ以降は基準画像が画像I
n-1で近隣画像が画像Inという組合せの処理が終了する
まで順次行われる。
【0048】このようにして複数の画像全てについて対
応点探索が行われると、ステップS308の判別結果が
肯定(YES)となり、ステップS309で幾何学的変
換が行われ、本処理が終了する。
【0049】ここでいう幾何学的変換は、求められた対
応点同士が一致または誤差が最小となるように、画像同
士の位置合わせを行うことであり、コンピュータ3によ
り処理される。
【0050】幾何学的変換としては、アフィン変換、擬
似アフィン変換、二次射影変換、高次多項式変換等があ
り、いずれか一つの手法によるほか、これらの任意の組
合わせにより処理するようにしてもよい。また、設定す
る特徴点の数は用いる幾何学的変換の手法に応じて最適
な数に設定することが望ましい。
【0051】特に特徴点の数を小さく設定する場合に
は、簡易な幾何学的変換手法を用いるようにしてもよ
い。例えば、アフィン変換を用い、座標移動のみによる
変換、座標移動及び回転移動のみによる変換、または座
標移動、回転移動及び変倍のみによる変換により、簡易
に変換を行うようにしてもよい。
【0052】なお、幾何学的変換は、二つの画像間でい
ずれか一方または双方を画像変換処理することにより行
うようにしてもよいが、これに限るものでなく、例えば
基準となる画像を一つ決め、この画像に対して他の画像
を幾何学的に変換するようにしてもよい。
【0053】このようにして、複数の画像全体に亘って
幾何学的変換が行われることにより、画像位置合わせが
なされる。
【0054】上述したように、本実施の形態に係る画像
処理装置では、作業者は、各画像についての対応点をす
る必要がなく、最初の基準画像一つについてのみ特徴点
を設定すれば済むので、作業者の手間が大幅に省け、負
担が軽減される。
【0055】また、各画像についての対応点の設定にマ
ッチング法が用いられるので、作業者の熟練度に左右さ
れない、より精度の高い対応点の設定結果を安定的に得
ることができる。
【0056】さらに、対応点設定結果の精度向上に伴
い、幾何学的変換による画像位置合わせの処理精度も向
上させることができ、より好ましい画像連続表示結果を
得ることができる。
【0057】
【発明の効果】以上説明したように、本発明の請求項1
に係る画像処理方法または本発明の請求項2に係る画像
処理装置によれば、基準画像上に基準点が指定され、前
記基準画像に対して時間差をおいて得られた他の画像上
の前記指定された基準点に対応する対応点が該指定され
た基準点の座標より探索範囲を定めてマッチング法によ
り探索され、該指定された基準点と前記探索された対応
点との位置の誤差が最小となるように前記基準画像及び
前記他の画像の少なくとも一方が幾何学的に変換される
ので、作業者の負担を軽減できると共に、作業者の熟練
度に左右されない精度の高い画像位置合わせを行うこと
ができる。
【0058】また、本発明の請求項3に係る画像処理装
置によれば、前記基準画像に対して前記時間差が最も小
さい画像について前記対応点の探索が行われると共に、
該対応点の探索が行われた画像が次回の対応点の探索の
基準画像として更新されるので、より精度の高い対応点
の探索ができる。
【0059】本発明の請求項4に係る画像処理装置によ
れば、相関法及び残差逐次検定法のいずれか一方により
前記対応点が探索されるので、より精度の高い対応点の
探索ができる。
【0060】本発明の請求項5に係る画像処理装置によ
れば、前記基準画像及び前記他の画像の少なくとも一方
がアフィン変換、疑似アフィン変換、二次射影変換及び
高次多項式変換の少なくとも一つにより変換されるの
で、より精度の高い画像位置合わせができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態に係る画像処理装置の構
成を示すブロック図である。
【図2】同画像処理装置における画像位置合わせ処理の
対象となる複数の画像の概念図である。
【図3】同画像処理装置における画像位置合わせ処理の
フローチャートである。
【図4】同画像処理装置における対応点探索処理を説明
するための図である。
【符号の説明】
1 画像入力部 2 ネットワークインタフェース 3 コンピュータ 4 メモリ 5 ディスプレイ 7 入力デバイス

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 基準画像と該基準画像に対して時間差を
    おいて得られた他の画像とを連続表示するために前記基
    準画像と前記他の画像との位置合わせを行う画像処理方
    法において、前記基準画像上に基準点を指定し、該指定
    された基準点に対応する前記他の画像上の対応点を該指
    定された基準点の座標より探索範囲を定めてマッチング
    法により探索し、前記指定された基準点と前記探索され
    た対応点との位置の誤差が最小となるように前記基準画
    像及び前記他の画像の少なくとも一方を幾何学的に変換
    することを特徴とする画像処理方法。
  2. 【請求項2】 基準画像と該基準画像に対して時間差を
    おいて得られた他の画像とを連続表示するために前記基
    準画像と前記他の画像との位置合わせを行う画像処理装
    置において、前記基準画像上に基準点を指定する基準点
    指定手段と、該基準点指定手段により指定された基準点
    に対応する前記他の画像上の対応点を該指定された基準
    点の座標より探索範囲を定めてマッチング法により探索
    する対応点探索手段と、前記基準点指定手段により指定
    された基準点と前記対応点探索手段により探索された対
    応点との位置の誤差が最小となるように前記基準画像及
    び前記他の画像の少なくとも一方を幾何学的に変換する
    幾何学的変換手段とを備えたことを特徴とする画像処理
    装置。
  3. 【請求項3】 前記対応点探索手段は、前記基準画像に
    対して前記時間差が最も小さい画像について前記対応点
    の探索を行うと共に、該対応点の探索が行われた画像を
    次回の対応点の探索の基準画像として更新することを特
    徴とする請求項2記載の画像処理装置。
  4. 【請求項4】 前記マッチング法は、相関法及び残差逐
    次検定法のいずれか一方であることを特徴とする請求項
    2または3記載の画像処理装置。
  5. 【請求項5】 前記幾何学的変換手段による変換は、ア
    フィン変換、疑似アフィン変換、二次射影変換及び高次
    多項式変換の少なくとも1つであることを特徴とする請
    求項2、3、または4に記載の画像処理装置。
JP8022984A 1996-01-17 1996-01-17 画像処理方法及び装置 Pending JPH09198503A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8022984A JPH09198503A (ja) 1996-01-17 1996-01-17 画像処理方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8022984A JPH09198503A (ja) 1996-01-17 1996-01-17 画像処理方法及び装置

Publications (1)

Publication Number Publication Date
JPH09198503A true JPH09198503A (ja) 1997-07-31

Family

ID=12097819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8022984A Pending JPH09198503A (ja) 1996-01-17 1996-01-17 画像処理方法及び装置

Country Status (1)

Country Link
JP (1) JPH09198503A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010086267A (ja) * 2008-09-30 2010-04-15 Mazda Motor Corp 車両用画像処理装置
US8259998B2 (en) 2008-09-30 2012-09-04 Mazda Motor Corporation Image processing device for vehicle
US11975529B2 (en) 2020-03-26 2024-05-07 Canon Kabushiki Kaisha Verification apparatus, control method therefor, and non-transitory computer-readable storage medium that perform verification for a first region by a first algorithm and for a second region by a second algorithm

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010086267A (ja) * 2008-09-30 2010-04-15 Mazda Motor Corp 車両用画像処理装置
JP4655242B2 (ja) * 2008-09-30 2011-03-23 マツダ株式会社 車両用画像処理装置
US8259998B2 (en) 2008-09-30 2012-09-04 Mazda Motor Corporation Image processing device for vehicle
US11975529B2 (en) 2020-03-26 2024-05-07 Canon Kabushiki Kaisha Verification apparatus, control method therefor, and non-transitory computer-readable storage medium that perform verification for a first region by a first algorithm and for a second region by a second algorithm

Similar Documents

Publication Publication Date Title
US6094507A (en) Figure location detecting system
JPH03231247A (ja) 画像輪郭データの作成方法
KR950703773A (ko) 화상 일치 검출장치 및 화상 일치 검출방법(Device and method for detecting image matching)
JPH0792650A (ja) 切り抜き画像の輪郭線探索方法及び装置
US6442292B1 (en) Measuring apparatus
JPH05181411A (ja) 地図情報照合更新方式
US6178264B1 (en) Image cutout method and apparatus
JPH09198503A (ja) 画像処理方法及び装置
JPH06290264A (ja) 画像データの自動歪み補正システム
JP3794199B2 (ja) 画像のマッチング方法
JPH09119982A (ja) 飛しょう体誘導装置
JPH04306778A (ja) 指紋特徴修正システム
JP2005025605A (ja) 物理データフィッティング係数生成システムおよび方法
JPH096947A (ja) 物体追跡装置
JP2800544B2 (ja) 画像データの芯線化処理方法
JPH11283032A (ja) 画像処理装置
JP3612396B2 (ja) 線群の補間方法
JPH11331829A (ja) 特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体
JPS63244174A (ja) 画像処理方法
JPS61260235A (ja) 画像位置合わせ方式
JP2001243450A (ja) 衛星画像のタイポイント検出方法及びその装置並びに記録媒体
JPH0527152B2 (ja)
JPH08161503A (ja) 複数画像間の対応点抽出方法及び画像処理装置
JPH08152379A (ja) フリンジスキャニング干渉測定方式による波面の位相 つなぎ方法
JPH0896133A (ja) モデルベーストマッチング法によるモデルデータ作成方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050705

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051108