JPH04336677A - 画像処理方法及びこれを用いたシステム - Google Patents

画像処理方法及びこれを用いたシステム

Info

Publication number
JPH04336677A
JPH04336677A JP3109222A JP10922291A JPH04336677A JP H04336677 A JPH04336677 A JP H04336677A JP 3109222 A JP3109222 A JP 3109222A JP 10922291 A JP10922291 A JP 10922291A JP H04336677 A JPH04336677 A JP H04336677A
Authority
JP
Japan
Prior art keywords
image
images
corresponding points
pictures
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3109222A
Other languages
English (en)
Inventor
Hiroyuki Urushiya
裕之 漆家
Shinichiro Koga
慎一郎 古賀
Osamu Yoshizaki
修 吉崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP3109222A priority Critical patent/JPH04336677A/ja
Publication of JPH04336677A publication Critical patent/JPH04336677A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Eye Examination Apparatus (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像処理、特に医療画像
やリモートセンシング画像等を用いて複数の画像を合成
する画像処理技術の分野に関する。
【0002】
【従来の技術】従来、眼底画像等の医療画像あるいはリ
モートセンシング画像などを用いて、複数の画像の合成
画像(貼り合わせ画像やサブトラクション画像)を得る
場合には、以下のような処理ステップで行なっていた。 (1)  対応する点をオペレータがポインティングデ
バイス(マウス等)により指定し、その点の座標値から
最小二乗法によりアフィン変換係数を求めてアフィン変
換を行ない、貼り合わせ画像を作成する。 (2)  画像の移動、回転によって位置合わせを行な
い、サブトラクション画像を作成する。
【0003】
【発明が解決しようとする課題】しかしながら上記従来
の方法では、対応点の指定が面倒であり、且つ対応点の
座標値の精度が悪く、更にはサブトラクションの位置合
わせの精度が悪いなどという課題を有していた。
【0004】本発明は上記課題を解決すべくなされたも
ので、その目的は精度の高い貼り合わせ画像やサブトラ
クション画像等の合成画像が容易に得られる画像処理方
法およびこれを用いたシステムの提供である。
【0005】
【課題を解決するための手段及び作用】上記課題を解決
する本発明の画像処理方法は、共通部分を有する第1、
第2の画像の対応する点を指定するステップと、該対応
点の位置合わせを行なうステップと、該位置合わせした
対応点が一致するように、第1、第2の画像の少なくと
も一方を幾何変換するステップと、少なくとも一方を幾
何変換した第1、第2の画像の合成画像を作成するステ
ップを有することを特徴とする。
【0006】
【実施例】以下、本発明を眼科画像処理システムに適用
した実施例を説明する。勿論、これ以外の医療画像、あ
るいはリモートセンシング画像の処理システム等にも適
用可能であることは言うまでもない。図1は眼底画像処
理システムの全体構成を示す。同図において、1は眼底
カメラ装置であり、内蔵するCCDカメラによってカラ
ー眼底画像を撮影することができる。2はスライドスキ
ャナで、既に撮影された眼底写真を読取ってデジタル化
して入力する。3は様々な画像処理や解析診断、さらに
はシステム全体の制御を行なうコンピュータで、パーソ
ナルコンピュータやワークステーション等が用いられる
。4は大量の画像データや出力結果を保存するための光
磁気ディスク等のメモリ装置、5はCRTや液晶のカラ
ーディスプレイ、6はプリンタである。7はキーボード
やマウス等の入力デバイスで、オペレータがシステムに
様々な指示を与える。処理された画像は、カラーディス
プレイ5上に様々な形態で表示出力、あるいはプリンタ
6にてハードコピーをプリント出力する。医師はそれを
見ながら診断を下すことができる。
【0007】眼底カメラ1のCCDカメラで眼底像を撮
影し、得られた眼底像をA/Dコンバータでデジタル化
してメモリ装置4に格納、あるいは予め撮影した眼底写
真等をスライドスキャナ2で読み取ってメモリ装置4に
格納する。次にコンピュータ3において画像の貼り合わ
せ合成の処理を行なう。本実施例の処理の概要は以下の
通りである。 (1)  2枚の画像の共通部分の互いに対応する点を
、コンピュータで自動的にあるいはオペレータの指定に
よって求める。 (2)  片方の画像の対応点の部分を適用な大きさで
切り出し、もう一方の画像の対応点周辺で相関法やSS
DA法などを用いてマッチングをとる。マッチングによ
り対応点座標値の精度が向上する。 (3)  サブトラクションでも上記手法を用いること
により、移動、回転だけでなく、任意の幾何変換を用い
て精度の良い位置合わせができる。
【0008】図2は本実施例の処理の詳細を示すフロー
チャート図である。以下、図2のフローチャートに従っ
て処理手順を更に詳細に説明する。
【0009】(a)対応点を求める 最も単純な方法は、オペレータが目視で判断してポイン
ティングデバイス等を用いて2枚の画像の互いに対応点
を指示する方法である。本実施例のシステムではこれと
共に、コンピュータを用いて自動的に対応点を求めて指
定することができるようになっている。その処理方法を
以下に挙げる。
【0010】まず合成するそれぞれの眼底画像(画像1
、画像2)の中から画像処理によって乳頭部(図2の白
丸部)を抽出する。一般に乳頭部は画像中で最も明るい
部分であり、輝度値による2値化処理等によって抽出す
ることができる。次に、求めた乳頭部を中心にして広が
っている血管部を抽出し追跡していく。本実施例におい
ては色相を利用して画像中から血管を抽出して追跡を行
なう。なお色相には限らず、明度、彩度等を利用して血
管の抽出を行なうようにしても良い。そして画像1と画
像2の互いに一致する血管の分岐点(図2の4つの黒点
)を求めてこれを対応点としてコンピュータが自動的に
指定する。
【0011】(b)対応点毎にマッチングによる位置ず
れの修正を行なう 画像1の対応点を中心に適当な大きさの画像(図2の矩
形画像)を切り出し、これをテンプレート画像とする。 画像2の対応点を中心にテンプレート画像よりも大きな
範囲で適当にウインドウ領域を定める。
【0012】そしてマッチング法を用いて位置合わせを
行ない真の対応点を求める。具体的にはウインドウ領域
内でテンプレート画像を動かしながら、最もマッチング
のとれた位置を探し、マッチングした位置を真の対応点
とする。マッチング法には相関法やSSDA法等があり
、いずれの方式を採用しても良い。
【0013】(c)対応点の座標値からアフィン変換の
係数を求める 2枚の画像の上記真の対応点同士が一致するように、画
像1、画像2の少なくとも一方を幾何変換によって変形
させる(ゆがめる)処理を行なう。本実施例においては
以下のアフィン変換によってこれを達成する。
【0014】
【外1】 上記アフィン変換の式を用いて。上記(b)のステップ
で求まった対応点座標の組(x1,y1)、(x2,y
2)・・・・  を3組以上用いて、最小二乗法により
最適な係数A、B、C、D、E、Fを求める。
【0015】なお上記アフィン変換以外にも以下のよう
な幾何変換があり、本実施例においてい使用可能である
【0016】(疑似アフィン変換)
【0017】
【外2】 (2次射影変換)
【0018】
【外3】 (高次多項式)
【0019】
【外4】 (d)貼り合わせ画像の作成 上記アフィン変換の係数を用いてアフィン変換を行なっ
て画像を変形させ貼り合わせ処理を行なう。まず貼り合
わせ画像が十分入るだけの大きさを持った画像3を用意
して画像3上に画像1を書き込む。そして上記(c)の
アフィン変換係数を用いて画像2をアフィン変換して画
像3上に書き込む。本実施例では単純にオーバーライト
する。こうして画像1と画像2の2枚の画像を貼り合わ
せ合成した画像3が得られる。
【0020】貼り合わせるべき画像が3枚以上ある場合
には、上記得られた画像3を今度は画像1とし、これに
新たに貼り合わせる画像を画像2として上記(a)〜(
d)のステップを繰り返す。これによって3枚以上の複
数の画像を貼り合わせた合成画像を得ることができる(
e)サブトラクション画像の作成 本実施例では貼り合わせ画像の他に、サブトラクション
画像を得ることもできる。この場合は上記(d)のステ
ップにおいてアフィン変換した画像2を画像3上に書込
むころを引き算に代えてやればサブトラクション合成画
像が得られる。3枚以上のオリジナル画像からサブトラ
クション画像を得る場合には上記と同様に(a)〜(e
)のステップを繰り返す。
【0021】
【発明の効果】以上本発明によれば、対応点を指定して
これを基に位置合わせを行なって画像合成するため、精
度の高い合成画像が容易に得られる。
【図面の簡単な説明】
【図1】実施例の眼底画像処理システムのシステム構成
図である。
【図2】実施例の画像処理手順を示すフローチャート図
である。
【符号の説明】
1  眼底カメラ 2  スライドスキャナ 3  コンピュータ 4  メモリ装置 5  ディスプレイ 6  プリンタ 7  入力デバイス

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】  共通部分を有する第1、第2の画像の
    対応する点を指定するステップ、該指定した対応点の位
    置合わせを行なうステップ、該位置合わせした対応点が
    一致するように、第1、第2の画像の少なくとも一方を
    幾何変換するステップ、該変換した画像で合成画像を作
    成するステップを有することを特徴とする画像処理方法
  2. 【請求項2】  前記位置合わせはマッチング法で行な
    う請求項1記載の画像処理方法。
  3. 【請求項3】  前記合成画像は貼り合わせ画像あるい
    はサブトラクション画像である請求項1記載の画像処理
    方法。
  4. 【請求項4】  共通部分を有する第1、第2の画像を
    入力する入力手段、該入力した第1、第2の画像の合成
    画像を作成する処理手段、該作成した合成画像を出力す
    る出力手段を有し、該処理手段は、該入力した第1、第
    2の画像の対応する点を指定する手段、該指定した対応
    点の位置合わせを行なう手段、該位置合わせした対応点
    が一致するように、第1、第2の画像の少なくとも一方
    を幾何変換する手段、該変換した画像で合成画像を作成
    する手段、を有することを特徴とする画像処理システム
  5. 【請求項5】  前記入力した画像を記憶する記憶手段
    を有する請求項4記載の画像処理システム。
  6. 【請求項6】  前記入力手段は医療用の画像入力装置
    を有する請求項4記載の画像処理システム。
  7. 【請求項7】  前記出力手段はディスプレイあるいは
    プリンタを有する請求項4記載の画像処理システム。
  8. 【請求項8】  共通部分を有する第1、第2の眼底画
    像を入力するステップ、該第1、第2の眼底画像で、乳
    頭部から広がる血管の互いに対応する分岐点を対応点と
    して指定するステップ、該指定した対応点の位置合わせ
    をマッチング法を用いて行なうステップ、該位置合わせ
    した対応点が一致するように、第1、第2の眼底画像の
    少なくとも一方を幾何変換するステップ、該変換した眼
    底画像同士で合成画像を作成するステップを有すること
    を特徴とする眼底画像の画像処理方法。
JP3109222A 1991-05-14 1991-05-14 画像処理方法及びこれを用いたシステム Pending JPH04336677A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3109222A JPH04336677A (ja) 1991-05-14 1991-05-14 画像処理方法及びこれを用いたシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3109222A JPH04336677A (ja) 1991-05-14 1991-05-14 画像処理方法及びこれを用いたシステム

Publications (1)

Publication Number Publication Date
JPH04336677A true JPH04336677A (ja) 1992-11-24

Family

ID=14504694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3109222A Pending JPH04336677A (ja) 1991-05-14 1991-05-14 画像処理方法及びこれを用いたシステム

Country Status (1)

Country Link
JP (1) JPH04336677A (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05242250A (ja) * 1992-02-28 1993-09-21 Santetsuku Kk 画像のパターンマッチング方法
JPH05290172A (ja) * 1992-04-10 1993-11-05 Sun Tec Kk 画像のパターンマッチング方法
WO1998012866A1 (fr) * 1996-09-18 1998-03-26 Sharp Kabushiki Kaisha Dispositif et procede de synthese d'images
US5920658A (en) * 1996-03-12 1999-07-06 Ricoh Company Ltd. Efficient image position correction system and method
US6018593A (en) * 1996-09-11 2000-01-25 Ricoh Company, Ltd. Method and system for correcting image position based upon predetermined pattern portions
US6151521A (en) * 1997-11-19 2000-11-21 Mitsubishi Denki Kabushiki Kaisha Medical support system
JP2003130950A (ja) * 2001-10-25 2003-05-08 Mitsubishi Electric Corp レーダ信号処理装置および方法
JP2006158547A (ja) * 2004-12-03 2006-06-22 Topcon Corp 分光眼底画像データ測定装置及び測定方法
JP2008152480A (ja) * 2006-12-15 2008-07-03 Sony Corp 登録装置、登録方法及びプログラム
JP2009112617A (ja) * 2007-11-08 2009-05-28 Kowa Co パノラマ眼底画像合成装置及び方法
JP2010269016A (ja) * 2009-05-22 2010-12-02 Canon Inc 眼底撮影装置
JP2011031027A (ja) * 2009-07-09 2011-02-17 Canon Inc 眼科撮像装置及び眼科撮像方法
JP2011050430A (ja) * 2009-08-31 2011-03-17 Nidek Co Ltd 眼底画像処理装置
JP2011115507A (ja) * 2009-12-07 2011-06-16 Nidek Co Ltd 網膜機能計測装置
JP2013154120A (ja) * 2012-01-31 2013-08-15 Nidek Co Ltd 眼科画像処理装置及びプログラム
JP2013230401A (ja) * 2013-08-19 2013-11-14 Nidek Co Ltd 眼底画像処理装置
EP3081148A1 (en) 2015-04-15 2016-10-19 Canon Kabushiki Kaisha Image processing apparatus and method of operation of the same
JP2016202874A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 画像処理装置およびその作動方法
JP2017091313A (ja) * 2015-11-12 2017-05-25 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理装置および方法並びにプログラム
US9820648B2 (en) 2013-06-28 2017-11-21 Canon Kabushiki Kaisha Image processing apparatus and image processing method
WO2019203314A1 (ja) * 2018-04-18 2019-10-24 株式会社ニコン 画像処理方法、プログラム、及び画像処理装置
US10674909B2 (en) 2016-09-07 2020-06-09 Nidek Co., Ltd. Ophthalmic analysis apparatus and ophthalmic analysis method
JPWO2020240867A1 (ja) * 2019-05-31 2020-12-03

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS567131U (ja) * 1979-06-29 1981-01-22
JPS5637560U (ja) * 1979-08-30 1981-04-09
JPS5729121A (en) * 1980-07-28 1982-02-17 Nec Corp Communication control system
JPH0522034U (ja) * 1991-09-09 1993-03-23 千代田化工建設株式会社 反応塔
JPH0646275U (ja) * 1992-11-26 1994-06-24 ホシザキ電機株式会社 ディスペンサー

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS567131U (ja) * 1979-06-29 1981-01-22
JPS5637560U (ja) * 1979-08-30 1981-04-09
JPS5729121A (en) * 1980-07-28 1982-02-17 Nec Corp Communication control system
JPH0522034U (ja) * 1991-09-09 1993-03-23 千代田化工建設株式会社 反応塔
JPH0646275U (ja) * 1992-11-26 1994-06-24 ホシザキ電機株式会社 ディスペンサー

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05242250A (ja) * 1992-02-28 1993-09-21 Santetsuku Kk 画像のパターンマッチング方法
JPH05290172A (ja) * 1992-04-10 1993-11-05 Sun Tec Kk 画像のパターンマッチング方法
US5920658A (en) * 1996-03-12 1999-07-06 Ricoh Company Ltd. Efficient image position correction system and method
US6018593A (en) * 1996-09-11 2000-01-25 Ricoh Company, Ltd. Method and system for correcting image position based upon predetermined pattern portions
US6292593B1 (en) 1996-09-18 2001-09-18 Sharp Kabushiki Kaisha Image synthesizing device and method
WO1998012866A1 (fr) * 1996-09-18 1998-03-26 Sharp Kabushiki Kaisha Dispositif et procede de synthese d'images
US6151521A (en) * 1997-11-19 2000-11-21 Mitsubishi Denki Kabushiki Kaisha Medical support system
JP2003130950A (ja) * 2001-10-25 2003-05-08 Mitsubishi Electric Corp レーダ信号処理装置および方法
JP2006158547A (ja) * 2004-12-03 2006-06-22 Topcon Corp 分光眼底画像データ測定装置及び測定方法
US8103124B2 (en) 2006-12-15 2012-01-24 Sony Corporation Registration apparatus, registration method and program
JP2008152480A (ja) * 2006-12-15 2008-07-03 Sony Corp 登録装置、登録方法及びプログラム
JP2009112617A (ja) * 2007-11-08 2009-05-28 Kowa Co パノラマ眼底画像合成装置及び方法
JP2010269016A (ja) * 2009-05-22 2010-12-02 Canon Inc 眼底撮影装置
JP2011031027A (ja) * 2009-07-09 2011-02-17 Canon Inc 眼科撮像装置及び眼科撮像方法
JP2011050430A (ja) * 2009-08-31 2011-03-17 Nidek Co Ltd 眼底画像処理装置
JP2011115507A (ja) * 2009-12-07 2011-06-16 Nidek Co Ltd 網膜機能計測装置
JP2013154120A (ja) * 2012-01-31 2013-08-15 Nidek Co Ltd 眼科画像処理装置及びプログラム
US9820648B2 (en) 2013-06-28 2017-11-21 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2013230401A (ja) * 2013-08-19 2013-11-14 Nidek Co Ltd 眼底画像処理装置
US10002446B2 (en) 2015-04-15 2018-06-19 Canon Kabushiki Kaisha Image processing apparatus and method of operation of the same
EP3081148A1 (en) 2015-04-15 2016-10-19 Canon Kabushiki Kaisha Image processing apparatus and method of operation of the same
JP2016202874A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 画像処理装置およびその作動方法
JP2017091313A (ja) * 2015-11-12 2017-05-25 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理装置および方法並びにプログラム
US10674909B2 (en) 2016-09-07 2020-06-09 Nidek Co., Ltd. Ophthalmic analysis apparatus and ophthalmic analysis method
WO2019203314A1 (ja) * 2018-04-18 2019-10-24 株式会社ニコン 画像処理方法、プログラム、及び画像処理装置
US11954872B2 (en) 2018-04-18 2024-04-09 Nikon Corporation Image processing method, program, and image processing device
JPWO2020240867A1 (ja) * 2019-05-31 2020-12-03

Similar Documents

Publication Publication Date Title
JPH04336677A (ja) 画像処理方法及びこれを用いたシステム
US9990744B2 (en) Image registration device, image registration method, and image registration program
EP0655712B1 (en) Image processing method and apparatus
Hsu et al. Automated mosaics via topology inference
US5937083A (en) Image registration using closest corresponding voxels with an iterative registration process
Mellor Realtime camera calibration for enhanced reality visualization
US9977982B2 (en) Medical image processing method and image processing system
JP2016013233A (ja) 出力制御方法、画像処理装置、出力制御プログラムおよび情報処理装置
US10929706B2 (en) Image processing device and projection system
US10839481B1 (en) Automatic marker-less alignment of digital 3D face and jaw models
WO2017163384A1 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
Abraham et al. Review on mosaicing techniques in image processing
JP5563231B2 (ja) 縞模様画像鑑定装置、縞模様画像鑑定方法及びプログラム
GB2358752A (en) Surface or volumetric data processing method and apparatus
Yang et al. Image mapping of untracked free‐hand endoscopic views to an ultrasound image‐constructed 3D placenta model
US20130072782A1 (en) System and method for automatic magnetic resonance volume composition and normalization
US10102638B2 (en) Device and method for image registration, and a nontransitory recording medium
US5867249A (en) Ophthalmological analyzer
JP2005065963A (ja) 放射線画像処理装置、放射線画像処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
JP2001052152A (ja) 画像合成方法、画像合成装置及び記憶媒体
JPH0581946B2 (ja)
Plishker et al. Hybrid tracking for improved registration of laparoscopic ultrasound and laparoscopic video for augmented reality
US10832422B2 (en) Alignment system for liver surgery
CN113159169A (zh) 基于先验目标特征点指导的匹配变形与切缝优化的图像拼接方法
US5301264A (en) Figure encoder