JP3377446B2 - Fundus image combining method, fundus image combining apparatus, and recording medium - Google Patents

Fundus image combining method, fundus image combining apparatus, and recording medium

Info

Publication number
JP3377446B2
JP3377446B2 JP19787898A JP19787898A JP3377446B2 JP 3377446 B2 JP3377446 B2 JP 3377446B2 JP 19787898 A JP19787898 A JP 19787898A JP 19787898 A JP19787898 A JP 19787898A JP 3377446 B2 JP3377446 B2 JP 3377446B2
Authority
JP
Japan
Prior art keywords
fundus
image
intersection
images
fundus image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP19787898A
Other languages
Japanese (ja)
Other versions
JP2000023921A (en
Inventor
勝義 田邊
秀俊 八木
聡 佐久間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP19787898A priority Critical patent/JP3377446B2/en
Publication of JP2000023921A publication Critical patent/JP2000023921A/en
Application granted granted Critical
Publication of JP3377446B2 publication Critical patent/JP3377446B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、眼底カメラを用い
て撮影した同一被験者の視線の異なる複数の眼底画像を
コンピュータによって繋ぎ合わせて合成して一枚の眼底
画像（合成眼底画像）を組み立てる眼底画像合成方法お
よび眼底画像合成装置ならびにプログラムを記録した記
録媒体に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a fundus for assembling a single fundus image (composite fundus image) by combining a plurality of fundus images of the same subject having different lines of sight taken by a fundus camera by a computer and synthesizing them. The present invention relates to an image synthesizing method, a fundus image synthesizing apparatus, and a recording medium recording a program.

【０００２】[0002]

【従来の技術】従来、この種の眼底画像の合成に関して
は、医療機関において、医師またはフォトグラファーが
撮影した同一被験者の視線の異なる複数枚の眼底写真を
ポラロイドなどの紙に出力し、ハサミ，糊や接着テープ
などを用いて人手で写真を繋ぎ合わせることにより、一
枚の眼底画像を張り合わせる方法が一般的であった。2. Description of the Related Art Conventionally, regarding the synthesis of fundus images of this kind, at a medical institution, a plurality of fundus photographs taken by a doctor or a photographer and having different lines of sight of the same subject are output on paper such as polaroid, and scissors and glue are used. It is a general method to stitch a single fundus image by manually joining together the photographs using an adhesive tape or the like.

【０００３】[0003]

【発明が解決しようとする課題】しかしながら、このよ
うな合成眼底画像の作成作業は、手作業によるため、例
えば、一人当たり３０分から１時間程度掛かり、作業性
が低いという問題がある。この結果、患者に対する眼底
画像の合成作業は少人数分しかできない。また、この作
業は手作業であることから神経を使い、やり直しも多く
発生し、作業者にとって身体的ばかりでなく精神的な負
担増になるという問題もある。However, since the work of creating such a synthetic fundus image is a manual work, for example, it takes about 30 minutes to 1 hour per person, and there is a problem that the workability is low. As a result, only a small number of people can synthesize the fundus image for the patient. In addition, since this work is a manual work, it requires a lot of nerves and must be redone, resulting in an increase in not only physical but also mental burden on the worker.

【０００４】本発明は上記の手作業による欠点を解消す
るものであり、その目的とするところは、コンピュータ
処理により同一被験者の視線の異なる複数枚の眼底画像
を電子的にモンタージュ合成することにより、短時間で
精神的負担なく一枚の合成眼底画像を作成する技術を提
供することにある。The present invention solves the above-mentioned drawbacks caused by manual work, and an object of the present invention is to electronically perform montage synthesis by compositing a plurality of fundus images of the same subject whose eyes are different. It is to provide a technique for creating one composite fundus image in a short time without any mental burden.

【０００５】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。The above and other objects and novel features of the present invention will become apparent from the description of this specification and the accompanying drawings.

【０００６】[0006]

【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、下
記のとおりである。The outline of the representative ones of the inventions disclosed in the present application will be briefly described as follows.

【０００７】（１）入力手段，特徴抽出手段，相関処理
手段，画像合成手段，画像蓄積手段，データ蓄積手段，
表示手段および前記各手段を制御する制御手段を備えた
眼底画像合成装置を用いて同一被験者の視線の異なる２
枚の眼底画像を繋ぎあわせて一枚の合成眼底画像を作成
する眼底画像合成方法であって、同一被験者の視線の異
なる複数の眼底画像の情報を前記入力手段から入力する
入力段階と、前記入力段階で入力された複数の入力眼底
画像において各眼底画像の特徴点を抽出する特徴抽出段
階と、前記特徴抽出段階で抽出された特徴点の周辺領域
の相関をとる相関処理段階と、前記相関処理段階で得ら
れた相関の高い領域を各画像間で合致させて行う画像の
合成によって合成眼底画像を組み立てる画像合成段階と
を有する。前記入力段階で入力された複数の前記眼底画
像を画像処理によって２値化して血管画像を抽出する段
階と、抽出された前記血管画像を細線化して血管の交点
を求める段階と、合成対象となる前記２枚の眼底画像の
うちの第１の眼底画像上のある血管の１交点を中心とし
た一定サイズの周辺領域に対する第２の眼底画像上の全
ての血管の交点およびその近傍点を中心とした周辺領域
との相関を求め、その相関の最大値を第１の眼底画像の
前記血管の１交点と対応する第２の眼底画像の位置とし
て交点ペアを見つける交点相関計算処理段階と、前記第
１の眼底画像上の他の各交点に対する第２の眼底画像上
の交点ペアを見つける前記交点相関計算処理を行い、見
つけた各交点ペアの中で最大でかつある閾値以上の相関
値を持つ交点ペアを前記２枚の眼底画像の合成位置とす
る合成位置決定処理段階と、前記合成位置決定処理で決
定された交点ペアの位置を合致させることにより前記２
枚の眼底画像を合成する段階と、合成された合成画像を
表示する段階と、合成画像を蓄積する段階とを有する。(1) Input means, feature extraction means, correlation processing means, image composition means, image storage means, data storage means,
Using a fundus image synthesizing device having a display means and a control means for controlling each of the above means, the eyes of the same subject are different.
A fundus image synthesizing method for creating a single synthetic fundus image by joining together a plurality of fundus images, and an input step of inputting information of a plurality of fundus images of the same subject having different gaze lines, and the input. A feature extraction step of extracting feature points of each fundus image in the plurality of input fundus images input in step, a correlation processing step of correlating peripheral regions of the feature points extracted in the feature extraction step, and the correlation processing An image combining step of assembling a combined fundus image by combining images obtained by matching the highly correlated regions obtained in the step between the images. Binarizing the plurality of fundus images input in the input step by image processing to extract a blood vessel image; thinning the extracted blood vessel image to obtain a blood vessel intersection; Of the two fundus images, the center is an intersection of all blood vessels on the second fundus image and its neighboring points with respect to a peripheral region of a certain size centered on one intersection of a blood vessel on the first fundus image. A cross point correlation calculation processing step of finding a correlation with the peripheral region, and finding a cross point pair with the maximum value of the correlation as a position of the second fundus image corresponding to one cross point of the blood vessel of the first fundus image; The intersection point correlation calculation process for finding the intersection point pair on the second fundus image with respect to each other intersection point on the one fundus image is performed, and the intersection point having the maximum correlation value among the found intersection point pairs and having a certain correlation value or more The above two pieces A combined position determination processing step of the synthesis positions of the fundus image, the by matching the position of the intersection point pair the determined synthetic position determination process 2
The method includes the steps of synthesizing one fundus image, displaying the synthesized image, and storing the synthesized image.

【０００８】このような眼底画像合成方法において下記
の手段を採用することができる。The following means can be adopted in such a fundus image synthesizing method.

【０００９】（ａ）前記２枚の眼底画像を合成する段階
または合成された合成眼底画像を表示する段階におい
て、前記２枚の眼底画像のデータをそのまま保持してお
き、前記２枚の眼底画像の表示の優先度を定め、前記２
枚の眼底画像が重なっている部分については優先度の高
い方の眼底画像を前面に表示し、他方の眼底画像を背面
に隠して表示するように合成または表示する。(A) In the step of combining the two fundus images or the step of displaying the combined composite fundus image, the data of the two fundus images are held as they are, and the two fundus images are retained. Prioritize the display of the
In a portion where the fundus images are overlapped, the fundus image with the higher priority is displayed on the front side, and the other fundus image is hidden or displayed on the back side so as to be combined or displayed.

【００１０】（ｂ）前記２枚の眼底画像を合成する段階
または合成された合成眼底画像を表示する段階におい
て、前記２枚の眼底画像間で最も相関の高い血管の交点
または前記交点の近傍の近傍点を通る直線で、前記２枚
の眼底画像が重なっている部分を分けて前記２枚の眼底
画像を合成または表示する。(B) In the step of synthesizing the two fundus images or the step of displaying the synthesized synthetic fundus image, the intersection of the blood vessels having the highest correlation between the two fundus images or the vicinity of the intersection. The two fundus images are combined or displayed by dividing a portion where the two fundus images overlap each other by a straight line passing through the neighboring points.

【００１１】（ｃ）前記２枚の眼底画像を合成する段階
または合成された合成眼底画像を表示する段階におい
て、重なっている前記２枚の眼底画像の外側の枠が交わ
る２点を結ぶ直線で、前記２枚の眼底画像が重なってい
る部分を分けて前記２枚の眼底画像を合成または表示す
る。(C) In the step of combining the two fundus images or the step of displaying the combined composite fundus image, a straight line connecting two points where the outer frames of the overlapping two fundus images intersect with each other. , The two fundus images are combined or displayed by dividing the overlapping portion of the two fundus images.

【００１２】（ｄ）前記２枚の眼底画像を合成する段階
または合成された合成眼底画像を表示する段階におい
て、前記２枚の眼底画像の重なっている部分の各点毎の
平均値または各点の周辺領域の平均値を前記点の値とす
ることを含む演算処理を行って前記２枚の眼底画像を合
成または表示する。(D) In the step of synthesizing the two fundus images or the step of displaying the synthesized synthetic fundus image, the average value or each point for each point in the overlapping portion of the two fundus images The two fundus images are combined or displayed by performing arithmetic processing including setting the average value of the peripheral region of the above as the value of the point.

【００１３】（ｅ）前記２枚の眼底画像を合成する段階
において、前記２枚の眼底画像の重なっている部分にお
ける相関の高い対応する３点を合致させるように、また
は３点以上の点を最小２乗近似法を用いて可能な限り合
致させるように眼底画像を変形させて合成または表示す
る。(E) In the step of synthesizing the two fundus images, three corresponding points having a high correlation in the overlapping portions of the two fundus images are matched, or three or more points are set. The fundus image is transformed so as to match as much as possible by using the least-squares approximation method, and is combined or displayed.

【００１４】（ｆ）前記２枚の眼底画像を合成する段階
において、最も高い相関値がある閾値以下の場合に、前
記２枚の眼底画像中で一定サイズの矩形領域部分の相関
値を計算し、前記相関値が最も高いある閾値以上の領域
同士を合致させて合成または表示させる。(F) In the step of synthesizing the two fundus images, if the highest correlation value is equal to or less than a threshold value, the correlation value of a rectangular area portion of a constant size in the two fundus images is calculated. , The regions having the highest correlation value equal to or higher than a certain threshold value are matched and combined or displayed.

【００１５】このような眼底画像合成方法においては、
下記の眼底画像合成装置が使用される。眼底画像合成装
置は同一被験者の視線の異なる２枚の眼底画像を繋ぎあ
わせて一枚の合成眼底画像を作成する眼底画像合成装置
であって、複数の視線の異なる眼底画像が入力される入
力手段と、前記入力手段から入力された複数の入力眼底
画像の特徴点を抽出する特徴抽出手段と、前記特徴抽出
手段によって抽出された特徴点の周辺領域の相関をとる
相関処理手段と、前記相関処理手段によって得られた相
関の高い領域を各画像間で合致させることによって合成
画像を作成する画像合成手段と、前記入力手段から入力
された各画像情報を蓄積する画像蓄積手段と、前記各手
段で作成したデータを蓄積するデータ蓄積手段と、前記
各情報やデータを表示する表示手段とを有する。In such a fundus image synthesizing method,
The following fundus image synthesizer is used. The fundus image synthesizing device is a fundus image synthesizing device that joins two fundus images of the same subject having different lines of sight to create a single combined fundus image, and input means for inputting a plurality of fundus images of different lines of sight. A feature extraction means for extracting feature points of a plurality of input fundus images input from the input means, a correlation processing means for correlating peripheral regions of the feature points extracted by the feature extraction means, and the correlation processing Image combining means for creating a composite image by matching the highly correlated regions obtained by the means between the respective images, image accumulating means for accumulating the respective image information inputted from the input means, and the respective means. It has a data storage means for storing the created data, and a display means for displaying the above-mentioned information and data.

【００１６】このような眼底画像合成方法では下記の記
録媒体が使用される。記録媒体はコンピュータによって
同一被験者の視線の異なる２枚の眼底画像を繋ぎあわせ
て一枚の合成眼底画像を作成するためのプログラムを記
録した記録媒体であって、前記プログラムはコンピュー
タに同一被験者の視線の異なる複数の眼底画像の同一傾
向の特徴点を抽出させ、前記抽出された特徴点の周辺領
域の相関を求めさせ、前記相関の高い領域を各画像間で
合致させるとともに合成画像を作成させて合成眼底画像
を組み立てる。前記プログラムはコンピュータに前記複
数の前記眼底画像を画像処理によって２値化して血管画
像を抽出させ、抽出された前記血管画像を細線化して血
管の交点を求めさせ、合成対象となる前記２枚の眼底画
像のうちの第１の眼底画像上のある血管の１交点を中心
とした一定サイズの周辺領域に対する第２の眼底画像上
の全ての血管の交点およびその近傍点を中心とした周辺
領域との相関を求めさせ、その相関の最大値を第１の眼
底画像の前記血管の１交点と対応する第２の眼底画像の
位置として交点ペアを見つける交点相関計算処理をさ
せ、前記第１の眼底画像上の他の各交点に対する第２の
眼底画像上の交点ペアを見つける前記交点相関計算処理
を行わせ、見つけた各交点ペアの中で最大でかつある閾
値以上の相関値を持つ交点ペアを前記２枚の眼底画像の
合成位置とする合成位置決定処理を行わせ、前記合成位
置決定処理で決定された交点ペアの位置を合致させるこ
とにより前記２枚の眼底画像を合成させ、合成された合
成画像を表示させ、合成画像を蓄積させる。The following recording medium is used in such a fundus image synthesizing method. The recording medium is a recording medium that records a program for connecting two fundus images of the same subject having different lines of sight of the same subject by a computer to create a single combined fundus image, and the program is the computer to record the line of sight of the same subject. The different characteristic points of different fundus images of the same tendency are extracted, and the correlation of the peripheral region of the extracted characteristic points is obtained, and a region with high correlation is matched between each image and a composite image is created. Assemble a synthetic fundus image. The program causes a computer to binarize the plurality of fundus images by image processing to extract a blood vessel image, thin the extracted blood vessel image to obtain an intersection point of blood vessels, and combine the two blood vessels to be combined. A peripheral area centered on the intersection of all blood vessels on the second fundus image and its neighboring points with respect to a peripheral area of a certain size centered on one intersection of a blood vessel on the first fundus image of the fundus image And the maximum value of the correlation is set as the position of the second fundus image corresponding to one intersection point of the blood vessel of the first fundus image, and an intersection point correlation calculation process for finding an intersection point pair is performed. The intersection correlation calculation process of finding an intersection pair on the second fundus image with respect to each of the other intersections on the image is performed, and an intersection pair having a maximum correlation value greater than or equal to a certain threshold value is found among the intersection pairs found. Previous The two fundus images are combined by combining the two fundus images by causing a combined position determination process to be a combined position of the two fundus images and matching the positions of the intersection point pairs determined by the combined position determination process. Display the image and accumulate the composite image.

【００１７】このような記録媒体は下記のプログラムを
採用することができる。The following program can be adopted as such a recording medium.

【００１８】（ａ）前記プログラムはコンピュータに前
記２枚の眼底画像を合成させまたは合成された合成眼底
画像を表示させる際、前記２枚の眼底画像のデータをそ
のまま保持させておき、前記２枚の眼底画像の表示の優
先度を定め、前記２枚の眼底画像が重なっている部分に
ついては優先度の高い方の眼底画像を前面に表示させ、
他方の眼底画像を背面に隠して表示させるように合成ま
たは表示させる。(A) The program causes the computer to combine the two fundus images or display a combined composite fundus image, hold the data of the two fundus images as they are, and The priority of display of the fundus image is determined, and the fundus image of the higher priority is displayed on the front side in a portion where the two fundus images overlap.
The other fundus image is combined or displayed so as to be hidden and displayed on the back surface.

【００１９】（ｂ）前記プログラムはコンピュータに前
記２枚の眼底画像を合成させまたは合成された合成眼底
画像を表示させる際、前記２枚の眼底画像間で最も相関
の高い血管の交点または前記交点の近傍の近傍点を通る
直線で、前記２枚の眼底画像が重なっている部分を分け
て前記２枚の眼底画像を合成または表示させる。(B) The program causes the computer to combine the two fundus images or display the combined fundus image, and the intersection of the blood vessels or the intersection having the highest correlation between the two fundus images. The two fundus images are combined or displayed by dividing a portion where the two fundus images are overlapped with each other by a straight line passing through a neighborhood point in the vicinity of.

【００２０】（ｃ）前記プログラムはコンピュータに前
記２枚の眼底画像を合成させまたは合成された合成眼底
画像を表示させる際、重なっている前記２枚の眼底画像
の外側の枠が交わる２点を結ぶ直線で、前記２枚の眼底
画像が重なっている部分を分けて前記２枚の眼底画像を
合成または表示させる。(C) When the program causes the computer to synthesize the two fundus images or display the synthesized fundus image, the two points where the outer frames of the overlapping two fundus images intersect The connecting line is used to divide a portion where the two fundus images are overlapped to synthesize or display the two fundus images.

【００２１】（ｄ）前記プログラムはコンピュータに前
記２枚の眼底画像を合成させまたは合成された合成眼底
画像を表示させる際、前記２枚の眼底画像の重なってい
る部分の各点毎の平均値または各点の周囲領域の平均値
を前記点の値とすることを含む演算処理を行って前記２
枚の眼底画像を合成または表示させる。(D) When the program causes the computer to synthesize the two fundus images or to display the synthesized fundus image, the average value for each point of the overlapping portion of the two fundus images. Alternatively, the arithmetic processing including setting the average value of the surrounding area of each point as the value of the point is performed to
A single fundus image is synthesized or displayed.

【００２２】（ｅ）前記プログラムはコンピュータに前
記２枚の眼底画像を合成させる際、前記２枚の眼底画像
の重なっている部分における相関の高い対応する３点を
合致させるように、または３点以上の点を最小２乗近似
法を用いて可能な限り合致させるように眼底画像を変形
させて合成させるように合成または表示させる。(E) When the program causes the computer to synthesize the two fundus images, it makes the corresponding three points having a high correlation in the overlapping portions of the two fundus images match each other, or three points. The above-mentioned points are combined or displayed so that the fundus images are deformed and combined so as to match as much as possible using the least-squares approximation method.

【００２３】（ｆ）前記プログラムはコンピュータに前
記２枚の眼底画像を合成させる際、最も高い相関値があ
る閾値以下の場合に、前記２枚の眼底画像中で一定サイ
ズの矩形領域部分の相関値を計算させ、前記相関値が最
も高いある閾値以上の領域同士を合致させるように合成
または表示させる。(F) When the program causes the computer to synthesize the two fundus images, if the highest correlation value is less than or equal to a threshold value, the correlation of rectangular area portions of a certain size in the two fundus images is performed. A value is calculated and combined or displayed so that regions having the highest correlation value equal to or higher than a certain threshold value are matched with each other.

【００２４】画像間の相関を求める際に、画像中の全て
の点を中心とした相関を求めることは、処理時間がかか
るため、本発明では調べる対象を血管の交点（分岐点お
よび交叉点）と前記交点の近傍の近傍点に限定すること
によって効率的な合成処理を行うことができる。限定し
た血管の分岐点近傍および交叉点近傍は血管が３ないし
４方向に通っているため、位置が一意に特定できる。こ
のため、この領域が２枚の眼底画像に同じ配置で存在す
れば、同一領域であることが分かり、この領域を重ねる
ことにより合成が可能となる。Since it takes a long processing time to obtain the correlation centering on all the points in the image when obtaining the correlation between the images, in the present invention, the object to be examined is the intersection of blood vessels (branch point and intersection). By limiting to the neighboring points in the vicinity of the intersection, the efficient combining process can be performed. Since the blood vessels pass in three or four directions in the vicinity of the limited branch point and the crossing point of the blood vessel, the position can be uniquely specified. Therefore, if this region exists in the two fundus images in the same arrangement, it is known that they are the same region, and it is possible to combine them by overlapping these regions.

【００２５】本発明での一定サイズの周辺領域はａ×ａ
の正方形やａ×ｂの矩形領域が計算処理時間の点からは
高速になるが、特徴点を中心とした円など他の形状の領
域であっても構わない。In the present invention, the peripheral area of a fixed size is a × a
The square area and the a × b rectangular area are faster in terms of calculation processing time, but may be areas of other shapes such as a circle centered on the feature point.

【００２６】また、入力される眼底画像は、少なくとも
１以上の眼底画像と重なり合っている領域があることを
前提としている。したがって、重なりが１つもない眼底
画像が入力された場合は、本発明で処理することは可能
であるが、重なる場所が見つからず合成されないことに
なる。Further, it is assumed that the input fundus image has a region overlapping with at least one fundus image. Therefore, when a fundus image having no overlap is input, it can be processed by the present invention, but the overlapping place is not found and the images are not combined.

【００２７】[0027]

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。なお、実施形態を説明するた
めの全図において、同一機能を有するものは同一符号を
付け、その繰り返しの説明は省略する。DETAILED DESCRIPTION OF THE INVENTION Embodiments of the present invention will be described in detail below with reference to the drawings. In all the drawings for explaining the embodiments, parts having the same functions are designated by the same reference numerals, and repeated description thereof will be omitted.

【００２８】（実施形態１）図１乃至図１０は、本発明
の一実施形態（実施形態１）である眼底画像合成技術に
係わる図である。(Embodiment 1) FIGS. 1 to 10 are diagrams relating to a fundus image synthesis technique which is an embodiment (Embodiment 1) of the present invention.

【００２９】本実施形態１の眼底画像合成方法では、コ
ンピュータによって同一被験者の視線の異なる複数の眼
底画像を繋ぎあわせて合成して一枚の眼底画像を組み立
てる。この際、図４に示す眼底画像合成装置が使用され
る。In the fundus image synthesizing method according to the first embodiment, a plurality of fundus images of the same subject whose eyes are different are stitched together by a computer to synthesize one fundus image. At this time, the fundus image synthesizing apparatus shown in FIG. 4 is used.

【００３０】眼底画像合成装置は、制御部２０３と、こ
の制御部２０３によってそれぞれ制御される入力部２０
２，特徴抽出部２０４，相関処理部２０５，画像合成部
２０６，画像蓄積部２０７，データ蓄積部２０８および
表示部２０９とを有するコンピュータ構成になってい
て、同一被験者の視線の異なる２枚の眼底画像を繋ぎあ
わせて一枚の合成眼底画像を作成するためのプログラム
を記録した記録媒体を制御部２０３に装填した後、前記
プログラムによって順次処理を行って合成眼底画像を組
み立てる構成になっている。The fundus image synthesizing apparatus includes a control unit 203 and an input unit 20 controlled by the control unit 203.
2. A computer configuration having a feature extraction unit 204, a correlation processing unit 205, an image synthesis unit 206, an image storage unit 207, a data storage unit 208, and a display unit 209, and two fundus oculi of the same subject with different lines of sight. A recording medium in which a program for joining images to create a single composite fundus image is recorded is loaded into the control unit 203, and then sequentially processed by the program to assemble a composite fundus image.

【００３１】また、コンピュータには記録媒体が装着さ
れ、眼底画像合成はこの記録媒体に記録されたプログラ
ムによって行われる。前記記録媒体は以下の構成になっ
ている。A recording medium is attached to the computer, and fundus image synthesis is performed by a program recorded in this recording medium. The recording medium has the following configuration.

【００３２】記録媒体はコンピュータによって同一被験
者の視線の異なる２枚の眼底画像を繋ぎあわせて一枚の
合成眼底画像を作成するためのプログラムを記録した記
録媒体であって、前記プログラムはコンピュータに同一
被験者の視線の異なる複数の眼底画像の同一傾向の特徴
点を抽出させ、前記抽出された特徴点の周辺領域の相関
を求めさせ、前記相関の高い領域を各画像間で合致させ
るとともに合成画像を作成させて合成眼底画像を組み立
てる。前記プログラムはコンピュータに前記複数の前記
眼底画像を画像処理によって２値化して血管画像を抽出
させ、抽出された前記血管画像を細線化して血管の交点
を求めさせ、合成対象となる前記２枚の眼底画像のうち
の第１の眼底画像上のある血管の１交点を中心とした一
定サイズの周辺領域に対する第２の眼底画像上の全ての
血管の交点およびその近傍点を中心とした周辺領域との
相関を求めさせ、その相関の最大値を第１の眼底画像の
前記血管の１交点と対応する第２の眼底画像の位置とし
て交点ペアを見つける交点相関計算処理をさせ、前記第
１の眼底画像上の他の各交点に対する第２の眼底画像上
の交点ペアを見つける前記交点相関計算処理を行わせ、
見つけた各交点ペアの中で最大でかつある閾値以上の相
関値を持つ交点ペアを前記２枚の眼底画像の合成位置と
する合成位置決定処理を行わせ、前記合成位置決定処理
で決定された交点ペアの位置を合致させることにより前
記２枚の眼底画像を合成させ、合成された合成画像を表
示させ、合成画像を蓄積させる。The recording medium is a recording medium for recording a program for connecting two fundus images of the same subject whose eyes are different by a computer to create one composite fundus image, and the program is the same as that of the computer. Extract the characteristic points of the same tendency of the plurality of fundus images of different lines of sight of the subject, obtain the correlation of the peripheral region of the extracted characteristic points, and combine the regions with high correlation between each image to form a composite image. Create and assemble a synthetic fundus image. The program causes a computer to binarize the plurality of fundus images by image processing to extract a blood vessel image, thin the extracted blood vessel image to obtain an intersection point of blood vessels, and combine the two blood vessels to be combined. A peripheral area centered on the intersection of all blood vessels on the second fundus image and its neighboring points with respect to a peripheral area of a certain size centered on one intersection of a blood vessel on the first fundus image of the fundus image And the maximum value of the correlation is set as the position of the second fundus image corresponding to one intersection point of the blood vessel of the first fundus image, and an intersection point correlation calculation process for finding an intersection point pair is performed. Causing the intersection correlation calculation process to find an intersection pair on the second fundus image for each other intersection on the image,
Among the found intersection points, an intersection point pair having a maximum correlation value greater than or equal to a certain threshold value is set as a combined position of the two fundus images, and a combined position determination process is performed, and the combined position determination process is performed. The two fundus images are combined by matching the positions of the intersection pairs, the combined image is displayed, and the combined image is accumulated.

【００３３】このような記録媒体は下記のプログラムを
採用することができる。The following program can be adopted as such a recording medium.

【００３４】（ａ）前記プログラムはコンピュータに前
記２枚の眼底画像を合成させまたは合成された合成眼底
画像を表示させる際、前記２枚の眼底画像のデータをそ
のまま保持させておき、前記２枚の眼底画像の表示の優
先度を定め、前記２枚の眼底画像が重なっている部分に
ついては優先度の高い方の眼底画像を前面に表示させ、
他方の眼底画像を背面に隠して表示させるように合成ま
たは表示させる。(A) The program causes the computer to combine the two fundus images or display the combined fundus image so that the data of the two fundus images are held as they are, The priority of display of the fundus image is determined, and the fundus image of the higher priority is displayed on the front side in a portion where the two fundus images overlap.
The other fundus image is combined or displayed so as to be hidden and displayed on the back surface.

【００３５】（ｂ）前記プログラムはコンピュータに前
記２枚の眼底画像を合成させまたは合成された合成眼底
画像を表示させる際、前記２枚の眼底画像間で最も相関
の高い血管の交点または前記交点の近傍の近傍点を通る
直線で、前記２枚の眼底画像が重なっている部分を分け
て前記２枚の眼底画像を合成または表示させる。(B) The program causes the computer to combine the two fundus images or display the combined fundus image, and the intersection of the blood vessels or the intersection having the highest correlation between the two fundus images. The two fundus images are combined or displayed by dividing a portion where the two fundus images are overlapped with each other by a straight line passing through a neighborhood point in the vicinity of.

【００３６】（ｃ）前記プログラムはコンピュータに前
記２枚の眼底画像を合成させまたは合成された合成眼底
画像を表示させる際、重なっている前記２枚の眼底画像
の外側の枠が交わる２点を結ぶ直線で、前記２枚の眼底
画像が重なっている部分を分けて前記２枚の眼底画像を
合成または表示させる。(C) When the program causes the computer to synthesize the two fundus images or to display the synthesized fundus image, the two points at which the outer frames of the two fundus images that are overlapped intersect each other. The connecting line is used to divide a portion where the two fundus images are overlapped to synthesize or display the two fundus images.

【００３７】（ｄ）前記プログラムはコンピュータに前
記２枚の眼底画像を合成させまたは合成された合成眼底
画像を表示させる際、前記２枚の眼底画像の重なってい
る部分の各点毎の平均値または各点の周囲領域の平均値
を前記点の値とすることを含む演算処理を行って前記２
枚の眼底画像を合成または表示させる。(D) When the program causes the computer to synthesize the two fundus images or displays the synthesized fundus image, the average value for each point of the overlapping portion of the two fundus images. Alternatively, the arithmetic processing including setting the average value of the surrounding area of each point as the value of the point is performed to
A single fundus image is synthesized or displayed.

【００３８】（ｅ）前記プログラムはコンピュータに前
記２枚の眼底画像を合成させる際、前記２枚の眼底画像
の重なっている部分における相関の高い対応する３点を
合致させるように、または３点以上の点を最小２乗近似
法を用いて可能な限り合致させるように眼底画像を変形
させて合成させるように合成または表示させる。(E) When the program causes the computer to synthesize the two fundus images, it makes the corresponding three points having a high correlation in the overlapping portions of the two fundus images match each other, or three points. The above-mentioned points are combined or displayed so that the fundus images are deformed and combined so as to match as much as possible using the least-squares approximation method.

【００３９】（ｆ）前記プログラムはコンピュータに前
記２枚の眼底画像を合成させる際、最も高い相関値があ
る閾値以下の場合に、前記２枚の眼底画像の周辺領域で
一定サイズの矩形領域部分の相関値を計算させ、前記相
関値が最も高いある閾値以上の領域同士を合致させるよ
うに合成または表示させる。(F) When the program causes the computer to synthesize the two fundus images, if the highest correlation value is less than or equal to a threshold value, a rectangular area portion of a constant size in the peripheral area of the two fundus images. The correlation value is calculated and combined or displayed so that the areas having the highest correlation value equal to or higher than a certain threshold value are matched with each other.

【００４０】本実施形態１の眼底画像合成方法は、図１
のフローチャートで示すようにスタートＳ１（ステップ
１）から始まり、画像入力処理（画像入力段階）Ｓ２，
特徴抽出処理（特徴抽出段階）Ｓ３，相関処理（相関処
理段階）Ｓ４，画像合成処理（画像合成段階）Ｓ５を経
て合成眼底画像を組み立てて終了（エンド）する（Ｓ
６）。The fundus image synthesizing method of the first embodiment is as shown in FIG.
As shown in the flowchart of FIG. 2, starting from start S1 (step 1), image input processing (image input stage) S2
The synthetic fundus image is assembled through the feature extraction process (feature extraction stage) S3, the correlation process (correlation process stage) S4, the image synthesis process (image synthesis stage) S5, and the process ends (S).
6).

【００４１】以下、図２および図３のフローチャート等
を参照しながら本実施形態１について詳細に説明する。
なお、以下において処理は段階をも意味する場合もあ
る。The first embodiment will be described in detail below with reference to the flow charts of FIGS. 2 and 3.
In the following, the process may also mean a step.

【００４２】図２のフローチャートにおいて、Ｓ１０１
はスタート、Ｓ１０２は眼底画像を複数枚入力する処
理、Ｓ１０３は眼底画像を２値化し、血管画像を抽出す
る処理、Ｓ１０４は血管画像を細線化し、血管の交点
（分岐点３０５および交叉点３０６：図５および図６参
照）を求める処理である。Ｓ１０２が画像入力処理（画
像入力段階）を構成し、Ｓ１０３およびＳ１０４が特徴
抽出処理（特徴抽出段階）を構成する。In the flowchart of FIG. 2, S101
Is started, S102 is a process of inputting a plurality of fundus images, S103 is a process of binarizing the fundus images and extracting a blood vessel image, S104 is thinning the blood vessel image, and intersecting points of blood vessels (branch point 305 and intersection point 306: 5 and 6)). S102 constitutes an image input process (image input stage), and S103 and S104 constitute a feature extraction process (feature extraction stage).

【００４３】また、Ｓ１０５は図３のフローチャートで
示すように、眼底画像Ａ（第１の眼底画像：図５におい
て眼底画像左）上の血管の１交点と、重ね合わせる対象
である眼底画像Ｂ（第２の眼底画像：図５において眼底
画像右）上の全ての交点もしくはその近傍の点（近傍
点）を、中心とした一定サイズの周辺領域に対する相関
を求め、最大相関値をもつ交点を交点ペアとする処理、
すなわち交点ペアを見つける処理である。Further, in S105, as shown in the flowchart of FIG. 3, one intersection of blood vessels on the fundus image A (first fundus image: left side of the fundus image in FIG. 5) and the fundus image B (which is a target to be superimposed). Second fundus image: Correlation is calculated with respect to a peripheral region of a certain size centered on all intersection points on the fundus image right side in FIG. 5 or points in the vicinity thereof (neighbor points), and the intersection point having the maximum correlation value is the intersection point Pairing process,
That is, this is a process of finding an intersection pair.

【００４４】Ｓ１０６は眼底画像Ａ（第１の眼底画像）
上の血管の全ての交点に対し眼底画像Ｂ（第２の眼底画
像）上の最大相関値を持つ交点ペアを見つける処理をし
たか否かの判定処理であり、ＮＯの場合はＳ１０５に戻
り、ＹＥＳの場合はＳ１０７に進む。S106 is a fundus image A (first fundus image)
This is a process of determining whether or not a process of finding an intersection point pair having the maximum correlation value on the fundus image B (second fundus image) with respect to all intersections of the above blood vessels is performed. If NO, the process returns to S105. If YES, the process proceeds to S107.

【００４５】Ｓ１０７は各交点ペアの中で相関値が最大
かつある閾値以上の交点ペアを２枚の眼底画像（Ａ，
Ｂ）の合成位置と決定する処理、Ｓ１０８は決定された
交点ペアの位置を合致させることにより２枚の眼底画像
（Ａ，Ｂ）を合成する処理である。In step S107, two fundus images (A,
B) is a process of determining the combined position, and S108 is a process of combining the two fundus images (A, B) by matching the positions of the determined intersection point pairs.

【００４６】Ｓ１０９は全ての画像を処理したか否かの
判定処理であり、ＮＯの場合はＳ１０５に戻り、ＹＥＳ
の場合はＳ１１０に進む。S109 is a process for determining whether or not all the images have been processed. If NO, the process returns to S105 and YES.
In the case of, it progresses to S110.

【００４７】Ｓ１１０は前手順で得られた結果（相関
値、２つの眼底画像の合成眼底画像）による３つ以上の
眼底画像との合成が可能の時の複数眼底画像間の相関処
理により合成画像および合成データを求める処理であ
る。S110 is a composite image obtained by the correlation process between a plurality of fundus images when the result (correlation value, composite fundus image of two fundus images) obtained by the previous procedure can be combined with three or more fundus images. And a process for obtaining synthetic data.

【００４８】Ｓ１１１は画像合成群及びそれに対応する
合成データ群（合成画像における各眼底画像の合成点の
位置座標、各眼底画像の優先順位情報、合成方法等）を
蓄積する処理である。前記Ｓ１０５から前記Ｓ１１１の
各処理によって相関処理（相関処理段階）が構成され
る。Step S111 is a process for accumulating an image composition group and a composition data group corresponding thereto (positional coordinates of composition points of each fundus image in the composite image, priority information of each fundus image, composition method, etc.). Correlation processing (correlation processing step) is configured by the processing of S105 to S111.

【００４９】Ｓ１１２は指定された合成方法に応じて重
なり部分を処理した合成画像を表示する処理、Ｓ１１３
は重なり部分を処理した合成画像を蓄積する処理であ
り、これによって合成眼底画像が組み立てられて作業が
終了（エンド：Ｓ１１４）する。前記Ｓ１１２と前記Ｓ
１１３が画像合成処理（画像合成段階）を構成する。S112 is a process for displaying a composite image in which the overlapping portion is processed according to the specified composition method, and S113.
Is a process of accumulating a composite image obtained by processing the overlapping portion, and by this, a composite fundus image is assembled and the work ends (end: S114). The S112 and the S
Reference numeral 113 constitutes an image synthesizing process (image synthesizing stage).

【００５０】また、図５に本発明の眼底画像合成方法の
一合成例を、図６に第１の眼底画像（眼底画像Ａ：画像
左）の分岐点および交叉点を示す拡大図を、図７に血管
の交点（分岐点）における相関処理領域の一例を示す。
ここで、３０１は眼底画像左、３０２は眼底画像右、３
０３は交点画像左、３０４は交点画像右、３０５は分岐
点、３０６は交叉点、３０７は合成画像、３０８は周辺
領域ＲKi、３０９は交点Ｋi、３１０は周辺領域ＲPjn、
３１１は交点Ｐj、Ｍは周辺領域ＲKi３０８または周辺
領域ＲPjn３１０の大きさ、Ｎは中心点Ｐj（Ｐjn=c）４
０５の近傍領域Ｑj４０７の大きさ、４０１は大きさＭ
×Ｍの周辺領域ＲPjn=1、４０２は大きさＭ×Ｍの周辺
領域ＲPjn=c、４０３は大きさＭ×Ｍの周辺領域ＲPjn=N
2、４０４は中心点Ｐjn=1、４０５は中心点Ｐjn=c、４
０６は中心点Ｐjn=N 2、４０７は大きさＮ×Ｎで中心点
Ｐjn=cの近傍領域Ｑj、４０８は血管をそれぞれ表す。Further, FIG. 5 shows an example of a combination of the fundus image synthesizing method of the present invention, and FIG. 6 is an enlarged view showing branch points and crossing points of the first fundus image (fundus image A: image left). 7 shows an example of the correlation processing area at the intersection (branch point) of the blood vessel.
Here, 301 is the fundus image left, 302 is the fundus image right, 3
03 is the intersection image left, 304 is the intersection image right, 305 is the branch point, 306 is the intersection, 307 is the composite image, 308 is the peripheral region R Ki , 309 is the intersection K i , 310 is the peripheral region R Pjn ,
311 is the intersection point P j , M is the size of the peripheral region R Ki 308 or peripheral region R Pjn 310, and N is the center point P j (P jn = c ) 4.
The size of the neighborhood area Q j 407 of 05, 401 is the size M
× M peripheral region R Pjn = 1 , 402 is a peripheral region R Pjn = c of size M × M, and 403 is a peripheral region R Pjn = N of size M × M.
2 , 404 is the center point P jn = 1 , 405 is the center point P jn = c , 4
Reference numeral 06 denotes the center point P jn = N 2 , 407 denotes the size N × N, and the neighborhood areas Q j of the center point P jn = c denote the blood vessels, respectively.

【００５１】つぎに、合成眼底画像の組み立てについて
説明する。Next, the assembly of the synthetic fundus image will be described.

【００５２】まず、同一被験者の視線の異なる眼底画像
を複数枚入力する処理Ｓ１０２として、デジタル眼底カ
メラを用いて撮影された入力画像２０１が入力部２０２
を通じて入力され、制御部２０３を通じて画像蓄積部２
０７へ蓄積する。また、制御部２０３では各眼底画像の
位置関係（上下左右など）を把握し、データ蓄積部２０
８へ蓄積する。この際、各眼底画像は合成眼底画像を組
み立てるため、各眼底画像において少なくとも１つの眼
底画像と重なりを持つように撮影する。First, as a process S102 for inputting a plurality of fundus images of the same subject whose eyes are different, an input image 201 photographed by using a digital fundus camera is input section 202.
Image storage unit 2 through the control unit 203.
It is accumulated in 07. Further, the control unit 203 grasps the positional relationship (upper, lower, left, and right) of each fundus image, and the data storage unit 20.
Accumulate to 8. At this time, since each fundus image is a composite fundus image, each fundus image is photographed so as to overlap with at least one fundus image.

【００５３】つぎに、コンピュータ、すなわち制御部２
０３は、特徴抽出部２０４に対して各眼底画像を２値化
し、血管画像を抽出する処理Ｓ１０３および前記血管画
像を細線化し、血管の交点（分岐点および交叉点）を求
める処理Ｓ１０４を実行させる。Next, the computer, that is, the control unit 2
03 causes the feature extraction unit 204 to execute a process S103 of binarizing each fundus image, extracting a blood vessel image and a process S104 of thinning the blood vessel image, and obtaining a blood vessel intersection (branch point and intersection). .

【００５４】ここでは例として、図５に示すような２枚
のペアとなる第１の眼底画像（眼底画像左３０１：像
Ａ）と、第２の眼底画像（眼底画像右３０２：像Ｂ）を
合成する処理例を説明する（図６参照）。血管の分岐点
および交叉点を求める処理Ｓ１０４まで実行された結果
得られた分岐点３０５と交叉点３０６を眼底画像中にプ
ロットすると、交点画像左３０３と交点画像右３０４に
ように表される。そして、眼底画像の位置関係に基づ
き、以下に説明する一連の処理（Ｓ１０５からＳ１０
８）を隣り合う２枚の眼底画像の組み（図５の例では眼
底画像左３０１と眼底画像右３０２）を対象に繰り返し
処理する。この際、位置関係に応じて、ある位置の眼底
画像は、重なる位置を調べる対象となるペアの眼底画像
の位置を限定する（たとえば、眼底画像左３０１は眼底
画像右３０２との重なる位置は調べるが、上下の眼底画
像との重なる位置は調べないなど）ことができる。この
ような位置の限定は画像を変形しない場合や表示の優先
度を考慮して行われる。Here, as an example, a first fundus image (fundus image left 301: image A) and a second fundus image (fundus image right 302: image B) that form a pair as shown in FIG. An example of a process for synthesizing the will be described (see FIG. 6). When the branch point 305 and the cross point 306 obtained as a result of performing the processing of obtaining the branch point and the cross point of the blood vessel up to S104 are plotted in the fundus image, they are expressed as a cross point image left 303 and a cross point image right 304. Then, based on the positional relationship of the fundus images, a series of processes described below (S105 to S10)
8) is repeatedly processed for a set of two adjacent fundus images (fundus image left 301 and fundus image right 302 in the example of FIG. 5). At this time, depending on the positional relationship, the fundus image at a certain position limits the position of the pair of fundus images for which overlapping positions are to be examined (for example, the fundus image left 301 is checked for the position overlapping with the fundus image right 302). However, it does not check the overlapping position with the upper and lower fundus images). Such limitation of the position is performed when the image is not deformed or in consideration of the display priority.

【００５５】また、位置の限定を行うと計算時間が短縮
される効果がある。Further, limiting the positions has the effect of shortening the calculation time.

【００５６】制御部２０３は相関処理部２０５に対し
て、眼底画像Ａ上の血管の１交点と、重ね合わせる対象
である眼底画像Ｂ上の全ての交点もしくは前記交点の近
傍の近傍点を中心とした一定サイズの周辺領域に対する
相関を求め、最大相関値を持つ交点ペアを見つける処理
Ｓ１０５から決定された交点ペアの位置を合致させるこ
とにより２枚の眼底画像（像Ａ，像Ｂ）を合成する処理
Ｓ１０９までの一連の処理を実行するように指示する。For the correlation processing unit 205, the control unit 203 sets one intersection of the blood vessels on the fundus image A and all the intersections on the fundus image B to be superimposed or the neighboring points near the intersection as the centers. The two fundus images (images A and B) are combined by matching the positions of the intersection pairs determined in the processing S105 of finding the correlation with respect to the peripheral area of the fixed size and finding the intersection pair having the maximum correlation value. It is instructed to execute a series of processes up to the process S109.

【００５７】処理概略は以下の通りである。基本的な考
えは、眼底画像左３０１にある全ての血管の交点（分岐
点または交叉点）を基準として、それぞれの交点に対応
する血管の交点もしくはその近傍にあると予想される眼
底画像右３０２上の対応点を探索するということであ
る。The outline of the processing is as follows. The basic idea is that, based on the intersections (branch points or intersections) of all blood vessels in the fundus image left 301, the fundus image right 302 expected to be at or near the intersections of blood vessels corresponding to the respective intersections. It means to search the corresponding points above.

【００５８】眼底画像左３０１にある全ての血管の交点
（分岐点または交叉点）中の一交点と、眼底画像右３０
２にある全ての血管の交点（分岐点または交叉点）もし
くは交点の近傍点との類似度合いを判定するために、眼
底画像左３０１の血管の一交点を中心とする周辺領域と
眼底画像右３０２にある全ての血管の交点もしくは交点
の近傍点を中心とする周辺領域との相関係数ｒを計算す
る。One of the intersections (branch points or intersections) of all blood vessels in the fundus image left 301 and the fundus image right 30
In order to determine the degree of similarity with the intersections (branch points or intersections) of all blood vessels in FIG. 2 or the neighborhood points of the intersections, the peripheral region centered on one intersection point of the blood vessels of the fundus image left 301 and the fundus image right 302 The correlation coefficient r with the peripheral region centering on the intersection of all blood vessels in or in the vicinity of the intersection is calculated.

【００５９】眼底画像左３０１の血管の一交点を中心と
する周辺領域と最も相関の高い眼底画像右３０２上の交
点もしくは交点の近傍点を中心とする周辺領域を見つ
け、そのときの眼底画像左３０１の血管の一交点と眼底
画像右３０２上の交点（もしくは交点の近傍点）を合致
させるように２枚の眼底画像左３０１と眼底画像右３０
２を合成する。A peripheral region centered on the intersection point on the right fundus image 302 or the vicinity of the intersection point is found, which has the highest correlation with the peripheral region centered on one intersection point of the blood vessel of the fundus image left 301, and the fundus image left side at that time is found. Two fundus image left 301 and fundus image right 30 so that one intersection of the blood vessels 301 and the intersection (or a point near the intersection) on the fundus image right 302 are matched.
2 is synthesized.

【００６０】ここで、相関の計算式について説明する。Here, the formula for calculating the correlation will be described.

【００６１】ｎ対の２枚の眼底画像（像Ａ，像Ｂ）の値
｛（ａi,bi）：ｉ=1,...,n｝が与えられたとする。この
ときのａの平均，変動をそれぞれａAV，Ｓa、ｂの平
均，変動をそれぞれｂAV，Ｓbで表す。また、ａとｂの
共変動と相関係数をそれぞれＳab，ｒabで表すと、ａと
ｂの相関係数ｒabは次のように表せる。It is assumed that the values {(a i , b i ): i = 1, ..., N} of the n pairs of two fundus images (image A, image B) are given. The average and variation of a at this time are represented by a AV and S a , respectively, and the average and variation of b are represented by b AV and S b , respectively. Further, when the covariation of a and b and the correlation coefficient are respectively represented by S ab and r ab , the correlation coefficient r ab of a and b can be expressed as follows.

【００６２】[0062]

【数１】 [Equation 1]

【００６３】[0063]

【数２】 [Equation 2]

【００６４】[0064]

【数３】 [Equation 3]

【００６５】[0065]

【数４】ｒab＝Ｓab／（ＳaＳb）1/2 つぎに、処理例を説明する。眼底画像左３０１の血管の
一交点Ｋi（ｉ=1,...,I)３０９と図７に示す中心点Ｐj
（Ｐjn=c）４０５（例は血管の分岐点)(j=1,...,J;n=
1,...,c...,N2)を眼底画像右３０２上の交点Ｐj３１１
として、相関を計算する方法を処理例として説明する。
相関の計算は、原画上（撮影時の眼底画像）で行う。## EQU00004 ## r ab = S ab / (S a S b ) 1/2 Next, a processing example will be described. One intersection point K i (i = 1, ..., I) 309 of the blood vessel on the fundus image left 301 and the center point P j shown in FIG.
(P jn = c ) 405 (example is a branch point of a blood vessel) (j = 1, ..., J; n =
1, ..., c ..., N 2 ) is the intersection P j 311 on the right side 302 of the fundus image.
A method of calculating the correlation will be described as a processing example.
The correlation is calculated on the original image (fundus image at the time of shooting).

【００６６】先ず、眼底画像左３０１上の交点Ｋiを中
心とした大きさＭ×Ｍの周辺領域ＲKiと、眼底画像右３
０２上の大きさＮ×Ｎで中心点Ｐjn=c４０５の近傍領域
Ｑj（ｎ=1,...,c...,N2)４０７を定める。この近傍領域
Ｑj内のＮ2個の点（中心点Ｐjn=1４０４から中心点Ｐ
jn=N 2４０６まで）をそれぞれ中心とする大きさＭ×Ｍ
の周辺領域ＲPjn=c（ｎ=1,...,c...,N2)４０２と周辺領
域ＲKiとの類似度合いを相関係数ｒKiPjnで評価する。First, the peripheral region R Ki of size M × M centered on the intersection K i on the fundus image left 301 and the fundus image right 3
A neighborhood area Q j (n = 1, ..., c ..., N 2 ) 407 of the center point P jn = c 405 with a size N × N on 02 is defined. N 2 points (center point P jn = 1404 to center point P in this neighborhood area Q j
jn = N 2 up to 406) and the size is M × M
The degree of similarity between the peripheral region R Pjn = c (n = 1, ..., c ..., N 2 ) 402 and the peripheral region R Ki is evaluated by the correlation coefficient r KiPjn .

【００６７】最も相関係数ｒKiPjnの高い周辺領域ＲKi
と周辺領域ＲKiと周辺領域ＲPjnの組みを対応候補とす
る。交点Ｋiと対応する眼底画像右３０２上の他の全て
の交点Ｐjに対しても、同様の処理を行う。このとき、
交点Ｋiと眼底画像右３０２上の全ての交点Ｐjとの相関
係数ｒKiPjnが求められる。この中で最も高い相関係数
ｒKiPjnを持つ交点Ｐjと交点Ｋiが対応すると仮定す
る。Peripheral region R Ki having the highest correlation coefficient r KiPjn
A pair of the peripheral region R Ki and the peripheral region R Pjn is set as a correspondence candidate. Similar processing is performed on all other intersection points P j on the fundus image right 302 corresponding to the intersection point K i . At this time,
The correlation coefficient r KiPjn between the intersection K i and all the intersections P j on the fundus image right 302 is obtained. It is assumed that the intersection point P j having the highest correlation coefficient r KiPjn among them and the intersection point K i correspond to each other.

【００６８】ここで、眼底画像左３０１上の血管の交点
Ｋi３０９と眼底画像右３０２上の血管の交点Ｐj３１１
を調べるのではなく、眼底画像右３０２上の血管の交点
Ｐj３１１およびその交点の近傍の近傍点Ｐjnを調べる
理由は以下の通りである。Here, the intersection K i 309 of the blood vessel on the left fundus image 301 and the intersection P j 311 of the blood vessel on the right fundus image 302.
The reason for examining the intersection point P j 311 of the blood vessel on the fundus image right 302 and the neighboring point P jn in the vicinity of the intersection point is not the above.

【００６９】眼底画像左３０１と眼底画像右３０２は撮
影時の条件が厳密に同じではないため、画像として別の
画像となる。この結果、血管値抽出を行い細線化し、交
点を抽出した段階で、対応する交点同士が厳密に同じ画
素とならない可能性が高い。したがって、片方の画像の
交点を基準として、もう一方の画像の交点およびその近
傍の近傍点を対応点として探すことにより、精度の高い
対応点を見つけることができるのである。Since the fundus image left 301 and the fundus image right 302 are not exactly the same in photographing conditions, they are different images. As a result, at the stage where the blood vessel value is extracted, the line is thinned, and the intersection is extracted, there is a high possibility that the corresponding intersections do not become the same pixel exactly. Therefore, by using the intersection of one image as a reference and searching for the intersection of the other image and its neighboring points as corresponding points, a highly accurate corresponding point can be found.

【００７０】つぎに、眼底画像左３０１上の他の交点Ｋ
iに対しても、同様に眼底画像右３０２上の血管の交点
Ｐj３１１およびその交点の近傍点を調べる処理を実行
し、それぞれの交点Ｋiに対応する眼底画像右３０２上
の対応する交点の候補を見つける。Next, another intersection K on the fundus image left 301
Similarly, for i , the process of examining the intersection P j 311 of the blood vessel on the fundus image right 302 and the neighboring points of the intersection is executed, and the corresponding intersection on the fundus image right 302 corresponding to each intersection K i. Find a candidate for.

【００７１】さらに、対応する交点候補の組みの中で最
大の相関係数ｒKiPjnを持つ交点の組を眼底画像左３０
１と眼底画像右３０２を合致させる点とし、２枚の眼底
画像を合成する処理を行う。このとき、最大の相関係数
ｒKiPjnを持つ交点の１組だけでなく、上位３位まで
（もしくはそれ以上）の交点の組が対応するように補完
もしくは変形させて、合成することも可能である。Further, the set of intersections having the largest correlation coefficient r KiPjn among the set of corresponding intersection candidates is the fundus image left 30.
A process for combining two fundus images is performed by setting 1 as the point where the fundus image right 302 matches. At this time, not only one set of intersections having the maximum correlation coefficient r KiPjn , but also a set of intersections up to the top three (or more) can be complemented or modified so that they can be combined. is there.

【００７２】以上が２枚の眼底画像を合成する処理であ
る。ただし、最大の相関係数ｒKiPjnを持つとされた交
点の相関係数ｒKiPjnがある定めた閾値以下（たとえば
０．９）であった場合には、前記２枚の眼底画像間に対
応する交点がないと判断する。The above is the processing for synthesizing two fundus images. However, when the correlation coefficient r KiPjn of the intersection point determined to have the maximum correlation coefficient r KiPjn is less than or equal to a predetermined threshold (for example, 0.9), it corresponds to the two fundus images. Judge that there is no intersection.

【００７３】この場合には、２枚の眼底画像の周辺領域
で一定サイズの矩形領域部分の相関値を計算し、前記相
関値が最も高くある閾値以上（たとえば０．９）の領域
同士を合致させる。In this case, the correlation value of a rectangular area portion having a constant size is calculated in the peripheral area of the two fundus images, and the areas having the highest correlation value above the threshold value (for example, 0.9) are matched. Let

【００７４】そして、他の隣り合う２枚の眼底画像に対
しても同様に処理Ｓ１０５から処理Ｓ１０８までを行
い、同様に合致させる交点の組を見つける。全ての画像
を処理したか（Ｓ１０９）で判断し、処理が完了（ＹＥ
Ｓ）していれば、Ｓ１１０，Ｓ１１１に順次進む。Then, steps S105 to S108 are similarly performed on the other two adjacent fundus images to find a set of matching points. It is determined whether all the images have been processed (S109), and the processing is completed (YE
S), the process proceeds to S110 and S111.

【００７５】Ｓ１１０は、前手順で得られた結果（相関
値，２つの眼底画像の合成眼底画像）による３つ以上の
眼底画像との合成が可能の時の複数眼底画像間の相関処
理により合成画像および合成データを求める処理であ
る。In step S110, the result (correlation value, composite fundus image of two fundus images) obtained in the previous procedure is used to perform a correlation process between a plurality of fundus images when it can be combined with three or more fundus images. This is a process of obtaining an image and composite data.

【００７６】Ｓ１１１は、合成画像群及びそれに対応す
る合成データ群（合成画像における各眼底画像の合成点
の位置座標，各眼底画像の優先順位情報，合成方法等）
を蓄積する処理である。Ｓ１０５〜Ｓ１１１で相関処理
が行われる。S111 is a composite image group and a composite data group corresponding thereto (position coordinates of composite points of each fundus image in the composite image, priority information of each fundus image, combining method, etc.)
Is a process of accumulating. Correlation processing is performed in S105 to S111.

【００７７】したがって、Ｓ１１１の終了後は、制御部
２０３は制御部２０３に装填された記録媒体のプログラ
ムによって合成眼底画像を表示部２０９に表示するとと
もに、データ蓄積部２０８に画像の各種情報を蓄積す
る。すなわち、相関処理部２０５は制御部２０３を通じ
て、画像蓄積部２０７に合成画像（合成眼底画像）を、
データ蓄積部２０８に各画像の合成点の位置座標，画像
の優先順位情報，合成方法等の合成データを、それぞれ
蓄積する。Therefore, after S111, the control unit 203 displays the composite fundus image on the display unit 209 according to the program of the recording medium loaded in the control unit 203, and stores various image information in the data storage unit 208. To do. That is, the correlation processing unit 205 causes the control unit 203 to store the composite image (composite fundus image) in the image storage unit 207.
The data storage unit 208 stores the position coordinates of the combining point of each image, the priority information of the image, and the combining data such as the combining method.

【００７８】この際、位置関係により複数の画像との合
成が可能な場合には、（１）位置の優先順位を定める、
（２）相関が最も高い画像同士の合成を優先する、
（３）複数の画像が合致するように画像を変形する、な
どの方法を用いて合成を行う。At this time, when the composition with a plurality of images is possible due to the positional relationship, (1) the priority order of the positions is determined,
(2) Prioritize synthesis of images having the highest correlation,
(3) Compositing is performed using a method such as transforming an image so that a plurality of images match.

【００７９】合成画像が完全に合致しないことが起きる
理由は、球面である３次元構造を持つ眼底を２次元の平
面に写像することにより、眼底写真の中央附近と周辺附
近では歪みの程度が異なるためである。一般に医療の世
界では、取得した画像に手を加えて変形させることを嫌
うため、変形によって血管を合わせるよりも、血管の繋
ぎが多少不自然でも変形を加えずに合成した方がよい
（医師が頭の中で繋がりを補完可能）という意見があ
る。変形を行うかどうかは、世の中の動向に合わせて決
定されると考えられる。The reason why the composite images do not match perfectly is that the degree of distortion is different between the vicinity of the center and the vicinity of the periphery of the fundus photograph by mapping the fundus having a three-dimensional structure that is a spherical surface onto a two-dimensional plane. This is because. Generally, in the medical world, we don't like to modify the acquired images to modify them, so it is better to combine them without modification even if the connection of the blood vessels is a little unnatural (the doctor There is an opinion that the connection can be complemented in my head). It is considered that whether or not to change the shape is decided according to the trends in the world.

【００８０】相関処理後、Ｓ１１２の表示処理およびＳ
１１３の情報蓄積処理が行われ、その後作業が終了（エ
ンド）する（Ｓ１１４）。前記Ｓ１１２は、指定された
合成方法に応じて重なり部分を処理した合成画像を表示
する処理であり、Ｓ１１３は、重なり部分を処理した合
成画像を蓄積する処理である。前記Ｓ１１２およびＳ１
１３は画像合成処理となる。After the correlation processing, the display processing of S112 and S
The information accumulation process of 113 is performed, and then the work ends (end) (S114). The step S112 is a process of displaying the composite image in which the overlapping part is processed according to the designated combining method, and the step S113 is a process of accumulating the composite image in which the overlapping part is processed. Said S112 and S1
13 is an image synthesizing process.

【００８１】すなわち、画像蓄積部２０７に蓄積された
合成画像を、画像合成部２０６にて指定された合成方法
に応じて重なり部分を処理し、組み立てられた合成画像
を、ディスプレイやプリンタ等の出力媒体に表示する処
理Ｓ１１２を行う。この場合、各眼底画像情報を別々に
持ち、合成するための重ね合わせの位置情報に応じて、
表示を行うことで表示のバリエーションが増える。画像
合成方法の手法としては、たとえば下記のような手法が
採用される。That is, the composite image stored in the image storage unit 207 is processed for the overlapping portion according to the composition method specified by the image composition unit 206, and the assembled composite image is output to a display, a printer, or the like. Processing S112 for displaying on the medium is performed. In this case, each fundus image information is held separately, and according to the position information of superposition for composition,
Displaying increases display variations. As a method of the image synthesizing method, for example, the following method is adopted.

【００８２】図９には、重なり部分の合成処理前の合成
画像〔図９（ａ）〕と、各合成方法による合成画像〔図
９（ｂ）〜（ｅ）〕が示されている。各合成方法は、
（ａ）２枚の眼底画像の表示の優先度を定め、２枚の眼
底画像が重なっている部分については優先度の高い方の
眼底画像を前面に表示し、他方を背面に隠して表示する
〔図９（ｂ）〕。FIG. 9 shows a composite image before the composite processing of the overlapping part [FIG. 9 (a)] and a composite image by each composition method [FIGS. 9 (b) to 9 (e)]. Each synthesis method is
(A) A display priority of two fundus images is determined, and a fundus image having a higher priority is displayed on the front side and the other fundus image is hidden on the back side in a portion where the two fundus images overlap. [FIG. 9 (b)].

【００８３】（ｂ）２枚の眼底画像が重なっている部分
を、２枚の眼底画像を合致させる位置、すなわち２枚の
眼底画像間で対応する交点を通る直線で分けて、２枚の
眼底画像を表示する。この場合、交点を通る線で分ける
場合と、交点の近傍の近傍点を通る線で分ける場合があ
る。また、交点を通る線も優先度等を勘案して決定でき
る。(B) The portion where the two fundus images are overlapped is divided by a straight line passing through the corresponding intersection point between the two fundus images, that is, the two fundus images. Display an image. In this case, there are a case of dividing by a line passing through the intersection and a case of dividing by a line passing through a neighboring point near the intersection. Also, the line passing through the intersection can be determined in consideration of the priority and the like.

【００８４】（ｃ）２枚の眼底画像が重なっている部分
を、重なっている２枚の眼底画像の外側の枠が交わる２
点を結ぶ直線で分けて、２枚の眼底画像を表示する〔図
９（ｃ）〕。(C) The outer frame of the two overlapping fundus images intersects the overlapping portion of the two fundus images.
Two fundus images are displayed by dividing them by a straight line connecting points [FIG. 9 (c)].

【００８５】（ｄ）２枚の眼底画像の重なっている部分
の各点毎の平均値もしくは各点の周囲領域の平均値を前
記点の値とするなどの演算処理を行い、重なっている部
分を表示する〔図９（ｄ）〕。(D) The overlapped portion is obtained by performing arithmetic processing such as using the average value of each point of the overlapping portion of the two fundus images or the average value of the surrounding area of each point as the value of the point. Is displayed [FIG. 9 (d)].

【００８６】ここでは、合成方法を４手法示したが、他
の手法の採用も可能である。Although four synthesizing methods are shown here, other methods can be adopted.

【００８７】眼底画像の合成作業は、図８のフローチャ
ートで示すように、スタートＳ１１２０で開始し、２枚
の眼底画像の重なり部分の合成処理方法として、Ｓ１１
２１〜Ｓ１１２４のいずれかを指定することになる。As shown in the flowchart of FIG. 8, the operation of synthesizing the fundus images starts at step S1120, and S11 is used as a method of synthesizing the overlapping portion of the two fundus images.
Any of 21 to S1124 will be designated.

【００８８】Ｓ１１２１は合成方法（ａ）となり、優先
度の高い方の眼底画像を前面に表示し、他方を背面に隠
して表示する合成画像を作成する。Ｓ１１２２は合成方
法（ｂ）となり、最も相関の高い交点もしくは交点の近
傍の近傍点を通る直線で分けて合成画像を作成する。Ｓ
１１２３は合成方法（ｃ）となり、２枚の眼底画像の外
側の枠が交わる２点を結ぶ直線で分けて合成画像を作成
する。Ｓ１１２４は合成方法（ｄ）となり、重なり部分
の各点毎の平均値もしくは各点の周囲領域の平均値を該
点の値として合成画像を作成する。In step S1121, the combination method (a) is performed, in which the fundus image having the higher priority is displayed on the front side and the other is hidden and displayed on the back side. In S1122, the combining method (b) is performed, and a combined image is created by dividing by a straight line passing through the intersection having the highest correlation or the neighboring points near the intersection. S
Reference numeral 1123 represents a compositing method (c), in which a composite image is created by dividing it by a straight line connecting two points where the outer frames of the two fundus images intersect. In step S1124, the combining method (d) is performed, and a combined image is created using the average value of each point of the overlapping portion or the average value of the surrounding area of each point as the value of the point.

【００８９】いずれかの合成方法によって合成処理され
た画像は、Ｓ１１２５で重なり部分を合成処理した合成
画像を表示する。これにより、合成，表示作業が終了
〔エンド〕する（Ｓ１１２６）。As for the image combined by any of the combining methods, the combined image in which the overlapping portion is combined in S1125 is displayed. As a result, the synthesis and display work is ended [end] (S1126).

【００９０】本実施形態１では、図１０のフローチャー
トで示す画像合成（合致）手法も採用できる。すなわ
ち、この手法においては、作業を開始（スタート）させ
（Ｓ１０７０）、交点候補の組の中で相関係数の上位何
組を合致させるかの処理を行う（Ｓ１０７１）。Ｓ１０
７１で最上位の組を合致させる場合はＳ１０７３に進ま
せ、上位からｎ組（ｎ＝３〜Ｎ）までを合致させる場合
はＳ１０７２に進ませる。In the first embodiment, the image synthesizing (matching) method shown in the flowchart of FIG. 10 can also be adopted. That is, in this method, the work is started (S1070), and a process is performed to determine how many higher-order sets of correlation coefficients are to be matched in the set of intersection candidates (S1071). S10
When the highest group is matched in 71, the process proceeds to S1073, and when the n highest groups (n = 3 to N) are matched, the process proceeds to S1072.

【００９１】Ｓ１０７２は、相関係数上位からｎ組まで
の交点候補を合致させる点として、ｎ組の交点を対応さ
せるように２枚の眼底画像を補完もしくは変形する。こ
の補完もしくは変形処理によって作業は終了〔エンド〕
する（Ｓ１０７９）。In step S1072, the two fundus images are complemented or transformed so that the n sets of intersections are made to correspond to the intersection candidates from the top of the correlation coefficient to the n sets of intersection candidates. Work is completed by this complementing or transforming process [End]
(S1079).

【００９２】Ｓ１０７３では或る閾値（ａ）か否かを判
定し、ＹＥＳの場合はＳ１０７５に進む。また、ＮＯの
場合はＳ１０７４に進む。Ｓ１０７４は、最大相関係数
を持つ候補の組を合致させる点とする処理を行う。この
処理が終了するとエンド（Ｓ１０７９）となる。In S1073, it is determined whether or not it is a certain threshold value (a). If YES, the process proceeds to S1075. If NO, the process proceeds to S1074. In step S1074, the process of setting the candidate set having the maximum correlation coefficient as the matching point is performed. When this process ends, the process ends (S1079).

【００９３】Ｓ１０７５では、２枚の眼底画像の周辺領
域で一定サイズの矩形領域部分の相関値を計算する。前
記相関値はＳ１０７６において、該相関値の中で最も高
い相関値は或る閾値（ｂ）以上か否かの判定処理がなさ
れ、ＹＥＳの場合はＳ１０７７に進み、ＮＯの場合はＳ
１０７８に進む。ＹＥＳの場合ではＳ１０７７におい
て、一定サイズの矩形領域同士を合致させる処理が行わ
れ、この処理が終了するとエンド（Ｓ１０７９）とな
る。ＮＯの場合ではＳ１０７８において、合致させる交
点及び合致させる矩形領域がないと判定され作業はエン
ド（Ｓ１０７９）となる。In S1075, the correlation value of the rectangular area portion of a fixed size in the peripheral area of the two fundus images is calculated. In S1076, the correlation value is subjected to determination processing as to whether or not the highest correlation value is greater than or equal to a certain threshold value (b). If YES, the process proceeds to S1077, and if NO, S.
Proceed to 1078. In the case of YES, in S1077, a process of matching rectangular areas of a fixed size is performed, and when this process ends, the process ends (S1079). In the case of NO, in S1078, it is determined that there is no intersection to be matched and no rectangular area to be matched, and the work ends (S1079).

【００９４】なお、前記２枚の眼底画像を合成する段階
において、前記２枚の眼底画像の重なっている部分にお
ける相関の高い対応する３点を合致させるように、また
は３点以上の点を最小２乗近似法を用いて可能な限り合
致させるように眼底画像を変形させて合成または表示す
るようにしても高精度な眼底画像の合成または表示が可
能になる。In the step of synthesizing the two fundus images, the corresponding three points having a high correlation in the overlapping parts of the two fundus images are matched, or three or more points are minimized. Even if the fundus images are transformed and combined or displayed so as to match as much as possible using the square approximation method, it is possible to combine or display the fundus images with high accuracy.

【００９５】本実施形態１によれば以下の効果が得られ
る。すなわち、本実施形態１の眼底画像合成装置に本実
施形態１の記録媒体を装填して行う本実施形態１の眼底
画像合成方法によれば以下の効果が得られる。According to the first embodiment, the following effects can be obtained. That is, according to the fundus image synthesis method of the first embodiment, which is performed by loading the recording medium of the first embodiment into the fundus image synthesis apparatus of the first embodiment, the following effects can be obtained.

【００９６】（１）眼底画像上の血管等の画像特徴に着
目し、血管を細線化し、血管の交点（分岐点，交叉点）
を抽出し、抽出した交点近傍から構成される領域の相関
を用いて画像を合成することができ、高精度の合成眼底
画像が得られる。(1) Paying attention to image features such as blood vessels on the fundus image, the blood vessels are thinned, and the intersection points (branch points, intersection points) of the blood vessels
Can be extracted, and the images can be combined by using the correlation of the regions composed of the vicinity of the extracted intersections, and a highly accurate combined fundus image can be obtained.

【００９７】（２）コンピュータ上で同一被験者の視線
の異なる複数枚の眼底画像を電子的に合成して繋ぎ合わ
せて一枚の眼底画像を張り合わせることが可能となる効
果がある。(2) There is an effect that a plurality of fundus images of the same subject having different lines of sight can be electronically combined on a computer and joined together to bond one fundus image.

【００９８】（３）コンピュータ上で複数枚の眼底画像
を合成し、合成した一枚のモンタージュ画像として眼底
画像を高品質なプリンタ等へ出力できれば、手作業で紙
を張り合わせる必要はなくなり、作業能率の向上が図れ
る。(3) If a plurality of fundus images are synthesized on a computer and the fundus image can be output as a synthesized montage image to a high-quality printer or the like, there is no need to manually stick the papers together. The efficiency can be improved.

【００９９】（４）コンピュータを用いることにより、
手作業で掛かっていた作業時間の短縮、作業者への負担
の軽減および空いた時間の他業務への転用ができる効果
がある。(4) By using a computer,
This has the effects of shortening the work time required by manual work, reducing the burden on the worker, and diversion of the spare time to other work.

【０１００】（５）コンピュータ上の電子データを用い
ているため、各眼底画像を別々に保存しておけば、何度
も眼底画像合成のやり直しをすることが可能となる。(5) Since the electronic data on the computer is used, if each fundus image is stored separately, it is possible to repeat retinal image composition many times.

【０１０１】（６）手作業ではおおまかにしか眼底画像
を重ね合わせることしかできないが、本実施形態によれ
ば自動的に合成した画像に対し各眼底画像の位置を一画
素づつ上下左右にずらすなど、微調整を行うことも可能
となる利点がある。(6) Although the fundus images can only be roughly overlaid manually, according to the present embodiment, the position of each fundus image is vertically and horizontally shifted by one pixel with respect to the automatically combined image. However, there is an advantage that fine adjustment can be performed.

【０１０２】（７）真の血管の交点以外でも抽出された
点の相関も調べることができるため、出血など画像的に
特徴のある点が抽出されている場合には、その場所が重
ね合わせの対象となり、精度の高い画像合成が行える。(7) Since it is possible to examine the correlation of the extracted points other than the intersection of the true blood vessels, when the image-characteristic point such as bleeding is extracted, the place is overlapped. As a target, highly accurate image composition can be performed.

【０１０３】以上本発明者によってなされた発明を実施
形態に基づき具体的に説明したが、本発明は上記実施形
態に限定されるものではなく、その要旨を逸脱しない範
囲で種々変更可能であることはいうまでもない。Although the invention made by the present inventor has been specifically described based on the embodiments, the present invention is not limited to the above embodiments, and various modifications can be made without departing from the scope of the invention. Needless to say.

【０１０４】本発明は眼底画像の合成技術に適用した例
について説明したが、同種の画像合成および表示技術に
は適用できる。Although the present invention has been described with respect to the example applied to the technique for synthesizing the fundus image, it can be applied to the same type of image synthesizing and displaying technique.

【０１０５】[0105]

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記のとおりである。The effects obtained by the typical ones of the inventions disclosed in the present application will be briefly described as follows.

【０１０６】（１）眼底画像上の血管等の画像特徴に着
目し、血管を細線化し、血管の交点（分岐点，交叉点）
を抽出し、抽出した交点近傍から構成される領域の相関
を用いて画像を合成（モンタージュ合成）することがで
き、手作業による合成眼底画像に比較して高精度でかつ
短時間に合成眼底画像が得ることができる。(1) Paying attention to image features such as blood vessels on the fundus image, the blood vessels are thinned, and the intersection points (branch points, intersection points) of the blood vessels
The images can be combined and the images can be combined (montage combination) using the correlation of the regions composed of the vicinity of the extracted intersections, and the combined fundus images are more accurate and shorter than the manual combined fundus images. Can be obtained.

【０１０７】（２）真の血管の交点以外でも抽出された
点の相関も調べることができるため、出血など画像的に
特徴のある点が抽出されている場合には、その場所が重
ね合わせの対象となり、精度の高い画像合成が行える。(2) Since it is possible to examine the correlation of the extracted points other than the intersection of the true blood vessels, when the image-specific points such as bleeding are extracted, their locations are superposed. As a target, highly accurate image composition can be performed.

【０１０８】（３）コンピュータ上で同一被験者の視線
の異なる複数枚の眼底画像を電子的に合成して繋ぎ合わ
せて一枚の眼底画像を張り合わせ、かつ合成眼底画像の
ディスプレイ上での表示化あるいはプリント出力化が可
能であることから、従来の手作業による紙の張り合わせ
による合成眼底画像の作成に比較し、作業能率の向上が
図れ、かつ作業者の精神的負担の軽減が達成できる。(3) A plurality of fundus images of the same subject with different lines of sight are electronically combined on a computer and joined together to form a single fundus image, and the combined fundus image is displayed on a display or Since print output is possible, work efficiency can be improved and the mental burden on the worker can be reduced as compared with the conventional creation of a synthetic fundus image by pasting paper.

【０１０９】（４）電子データとして各眼底画像を別々
に保存しておくことによって、必要に応じてコンピュー
タ上で眼底画像の合成および表示が繰り返して行える実
益もある。(4) By storing each fundus image separately as electronic data, there is a practical benefit that the fundus image can be repeatedly synthesized and displayed on the computer as needed.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の一実施形態（実施形態１）である眼底
画像合成方法を示すフローチャートである。FIG. 1 is a flowchart showing a fundus image synthesis method according to an embodiment (Embodiment 1) of the present invention.

【図２】本実施形態１の眼底画像合成方法を示すフロー
チャートである。FIG. 2 is a flowchart showing a fundus image synthesis method according to the first embodiment.

【図３】本実施形態１の眼底画像合成方法を示すフロー
チャートである。FIG. 3 is a flowchart showing a fundus image synthesis method according to the first embodiment.

【図４】本実施形態１の眼底画像合成装置の構成を示す
ブロック図である。FIG. 4 is a block diagram showing a configuration of a fundus image synthesizing apparatus according to the first embodiment.

【図５】本実施形態１の眼底画像合成方法における画像
合成例を示す模式図である。FIG. 5 is a schematic diagram showing an image combining example in the fundus image combining method according to the first embodiment.

【図６】前記画像合成例における一部の拡大模式図であ
る。FIG. 6 is a partially enlarged schematic diagram of the image synthesis example.

【図７】前記画像合成において血管の交点（分岐点）に
おける相関処理領域の一例を示す模式図である。FIG. 7 is a schematic diagram showing an example of a correlation processing region at an intersection (branch) of blood vessels in the image synthesis.

【図８】本実施形態１の眼底画像合成方法における画像
合成方法を示すフローチャートである。FIG. 8 is a flowchart showing an image synthesizing method in the fundus image synthesizing method according to the first embodiment.

【図９】本実施形態１の眼底画像合成方法における各画
像合成方法を示す模式図である。FIG. 9 is a schematic diagram showing each image combining method in the fundus image combining method of the first embodiment.

【図１０】本実施形態１の眼底画像合成方法における画
像合成（合致）手法を示すフローチャートである。FIG. 10 is a flowchart showing an image synthesizing (matching) method in the fundus image synthesizing method of the first embodiment.

【符号の説明】[Explanation of symbols]

２０１…入力画像、２０２…入力部、２０３…制御部、
２０４…特徴抽出部、２０５…相関処理部、２０６…画
像合成部、２０７…画像蓄積部、２０８…データ蓄積
部、２０９…表示部、３０１…眼底画像左、３０２…眼
底画像右、３０３…交点画像左、３０４…交点画像右、
３０５…分岐点、３０６…交叉点、３０７…合成画像、
３０８…周辺領域ＲKi、３０９…交点Ｋi、３１０…周
辺領域ＲPjn３１１…交点Ｐj、４０１…周辺領域Ｒ
Pjn=1、４０２…周辺領域ＲPjn=c、４０３…周辺領域Ｒ
Pjn=N 2、４０４…中心点Ｐjn=1、４０５…中心点
Ｐjn=c、４０６…中心点Ｐjn=N 2、４０７…近傍領域
Ｑj、４０８…血管。201 ... Input image, 202 ... Input unit, 203 ... Control unit,
204 ... Feature extraction section, 205 ... Correlation processing section, 206 ... Image combining section, 207 ... Image storage section, 208 ... Data storage section, 209 ... Display section, 301 ... Fundus image left, 302 ... Fundus image right, 303 ... Intersection point Image left, 304 ... Intersection image right,
305 ... bifurcation point, 306 ... intersection point, 307 ... composite image,
308 ... Peripheral region R Ki , 309 ... Intersection point K i , 310 ... Peripheral region R Pjn 311 ... Intersection point P j , 401 ... Peripheral region R
Pjn = 1 , 402 ... Peripheral region R Pjn = c , 403 ... Peripheral region R
Pjn = N 2 , 404 ... Center point P jn = 1 , 405 ... Center point P jn = c , 406 ... Center point P jn = N 2 , 407 ... Neighboring area Q j , 408 ... Blood vessel.

フロントページの続き (56)参考文献 特開 平５−67208（ＪＰ，Ａ) 特開 平４−336677（ＪＰ，Ａ) 特開 平５−154109（ＪＰ，Ａ) 特開 平９−173298（ＪＰ，Ａ) 特開 平５−46718（ＪＰ，Ａ) 特開 平７−152895（ＪＰ，Ａ) 特開 平９−192106（ＪＰ，Ａ) 特開 平９−327440（ＪＰ，Ａ) 特開 平10−178564（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) A61B 3/00 - 3/16 Continuation of the front page (56) Reference JP-A-5-67208 (JP, A) JP-A-4-336677 (JP, A) JP-A-5-154109 (JP, A) JP-A-9-173298 (JP , A) JP 5-46718 (JP, A) JP 7-152895 (JP, A) JP 9-192106 (JP, A) JP 9-327440 (JP, A) JP 10-178564 (JP, A) (58) Fields surveyed (Int.Cl. 7 , DB name) A61B 3/00-3/16

Claims (7)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】同一被験者の視線の異なる２枚の眼底画像
を繋ぎあわせて１枚の合成眼底画像を作成する眼底画像
合成方法であって、 同一被験者の視線の異なる複数の眼底画像の情報を入力
する入力段階と、 前記入力段階で入力された複数の前記眼底画像を画像処
理によって２値化して血管画像を抽出する段階と、抽 出された前記血管画像を細線化して血管の交点を求め
る段階と、 合成対象となる前記２枚の眼底画像のうちの第１の眼底
画像上のある血管の１交点を中心とした一定サイズの周
辺領域に対する第２の眼底画像上の全ての血管の交点お
よびその近傍点を中心とした周辺領域との相関値を求
め、第１の眼底画像上の前記血管の１交点に対して前記
相関値が最大となる第２の眼底画像上の交点を交点ペア
として見つける交点相関計算処理段階と、 前記第１の眼底画像上の他の各交点に対する第２の眼底
画像上の交点ペアを見つける前記交点相関計算処理を行
い、見つけた各交点ペアの中で最大でかつある閾値以上
の相関値を持つ交点ペアを決定する合成位置決定処理段
階と、 前記合成位置決定処理段階で決定された交点ペアの位置
を合致させることにより前記２枚の眼底画像を合成する
段階と、 合成された合成画像を表示する段階とを有し、 前記２枚の眼底画像を合成する段階または合成された合
成眼底画像を表示する段階において、 前記２枚の眼底画像のデータをそのまま保持しておき、
前記２枚の眼底画像が重なっている部分については、予
め定められた表示の優先度の高い方の眼底画像を前面に
表示し、他方の眼底画像を背面に隠して表示するように
合成または表示 することを特徴とする眼底画像合成方
法。1. An fundus image synthesizing method for creating one composite fundus image by Awa connecting the different two fundus images sight of the same subject, information of the same subject line of sight of different fundus images an input step of entering image processing a plurality of said fundus image input in the input step
A stage that to extract a blood vessel image by binarizing the management, the blood vessel image issued extracted by thinning obtain the intersection of the vessel
And a first fundus of the two fundus images to be combined.
Perimeter of a certain size centered on one intersection of a blood vessel on the image
The intersection points of all blood vessels on the second fundus image with respect to the edge region
And the correlation value with the surrounding area centering on its neighboring points
Therefore, with respect to one intersection of the blood vessels on the first fundus image,
The intersection point on the second fundus image with the maximum correlation value is the intersection point pair.
And the second fundus for each of the other intersections on the first fundus image.
Find the pair of intersections on the image
Yes, the maximum of each intersection pair found and above a certain threshold
Position determination processing stage that determines intersection pairs with different correlation values
Position of the floor and the intersection pair determined in the composite position determination processing step
By combining the two fundus images
A step of displaying the combined composite image, and a step of combining or combining the two fundus images.
In the step of displaying the adult fundus image, the data of the two fundus images are held as they are,
For the part where the two fundus images are overlapped,
Of the fundus image with the higher priority of display specified in the foreground
To show the other fundus image hidden behind
A fundus image compositing method characterized by compositing or displaying . 【請求項２】同一被験者の視線の異なる２枚の眼底画像
を繋ぎあわせて１枚の合成眼底画像を作成する眼底画像
合成方法であって、 同一被験者の視線の異なる複数の眼底画像の情報を入力
する入力段階と、 前記入力段階で入力された複数の前記眼底画像を画像処
理によって２値化して血管画像を抽出する段階と、 抽出された前記血管画像を細線化して血管の交点を求め
る段階と、 合成対象となる前記２枚の眼底画像のうちの第１の眼底
画像上のある血管の１交点を中心とした一定サイズの周
辺領域に対する第２の眼底画像上の全ての血管の交点お
よびその近傍点を中心とした周辺領域との相関値を求
め、第１の眼底画像上の前記血管の１交点に対して前記
相関値が最大となる第２の眼底画像上の交点を交点ペア
として見つける交点相関計算処理段階と、 前記第１の眼底画像上の他の各交点に対する第２の眼底
画像上の交点ペアを見つける前記交点相関計算処理を行
い、見つけた各交点ペアの中で最大でかつある閾値以上
の相関値を持つ交点ペアを決定する合成位置決定処理段
階と、 前記合成位置決定処理段階で決定された交点ペアの位置
を合致させることにより前記２枚の眼底画像を合成する
段階と、 合成された合成画像を表示する段階とを有し、 前記２枚の眼底画像を合成する段階または合成された合
成眼底画像を表示する段階において、 前記２枚の眼底画像間で最も相関の高い血管の交点また
は前記交点の近傍の近傍点を通る直線で、前記２枚の眼
底画像が重なっている部分を分けて前記２枚の眼底画像
を合成または表示 することを特徴とする眼底画像合成方
法。 2. Two fundus images of the same subject with different lines of sight
Fundus image that creates a single composite fundus image by connecting
A synthesis method, enter information for different fundus images gaze same subject
Inputting step, binarizing the plurality of fundus images input in the inputting step by image processing to extract a blood vessel image, and thinning the extracted blood vessel image to obtain an intersection point of blood vessels. , An intersection of all blood vessels on the second fundus image with respect to a peripheral region of a certain size centered on one intersection of a blood vessel on the first fundus image of the two fundus images to be combined, and Calculates the correlation value with the surrounding area centered on the nearby point
Therefore, with respect to one intersection of the blood vessels on the first fundus image ,
The intersection point on the second fundus image with the maximum correlation value is the intersection point pair.
And a cross-point correlation calculation process step of finding the cross-point correlation calculation process for finding another cross-point pair on the second fundus image with respect to each of the other cross-points on the first fundus image. combines the in and composition position determination processing step of determining the intersection point pairs with a correlation value above a certain threshold value, the two fundus images by matching the position of the combined position determination processing stage intersection pairs determined in phase and, and a step of displaying the combined composite image, step combining the two fundus images or synthesized if
At the stage of displaying the adult fundus image, the intersection of blood vessels having the highest correlation between the two fundus images or
Is a straight line passing through the neighboring points near the intersection, and the two eyes
The two fundus images are separated by dividing the overlapping parts of the fundus images.
Eye bottom image composition method you characterized by the synthesis or display. 【請求項３】同一被験者の視線の異なる２枚の眼底画像
を繋ぎあわせて１枚の合成眼底画像を作成する眼底画像
合成方法であって、 同一被験者の視線の異なる複数の眼底画像の情報を入力
する入力段階と、 前記入力段階で入力された複数の前記眼底画像を画像処
理によって２値化して血管画像を抽出する段階と、 抽出された前記血管画像を細線化して血管の交点を求め
る段階と、 合成対象となる前記２枚の眼底画像のうちの第１の眼底
画像上のある血管の１交点を中心とした一定サイズの周
辺領域に対する第２の眼底画像上の全ての血管の交点お
よびその近傍点を中心とした周辺領域との相関値を求
め、第１の眼底画 像上の前記血管の１交点に対して前記
相関値が最大となる第２の眼底画像上の交点を交点ペア
として見つける交点相関計算処理段階と、 前記第１の眼底画像上の他の各交点に対する第２の眼底
画像上の交点ペアを見つける前記交点相関計算処理を行
い、見つけた各交点ペアの中で最大でかつある閾値以上
の相関値を持つ交点ペアを決定する合成位置決定処理段
階と、 前記合成位置決定処理段階で決定された交点ペアの位置
を合致させることにより前記２枚の眼底画像を合成する
段階と、 合成された合成画像を表示する段階とを有し、 前記２枚の眼底画像を合成する段階または合成された合
成眼底画像を表示する段階において、重なっている 前記２枚の眼底画像の外側の枠が交わる２
点を結ぶ直線で、前記２枚の眼底画像が重なっている部
分を分けて前記２枚の眼底画像を合成または表示するこ
とを特徴とする眼底画像合成方法。3. Two fundus images of the same subject with different lines of sight
Fundus image that creates a single composite fundus image by connecting
A synthesis method, enter information for different fundus images gaze same subject
And an image processing of the plurality of fundus images input in the input step.
The step of binarizing and extracting the blood vessel image, and obtaining the blood vessel intersection by thinning the extracted blood vessel image.
And a first fundus of the two fundus images to be combined.
Perimeter of a certain size centered on one intersection of a blood vessel on the image
The intersection points of all blood vessels on the second fundus image with respect to the edge region
And the correlation value with the surrounding area centering on its neighboring points
Because the per intersection of the blood vessel on the first fundus image image
The intersection point on the second fundus image with the maximum correlation value is the intersection point pair.
And the second fundus for each of the other intersections on the first fundus image.
Find the pair of intersections on the image
Yes, the maximum of each intersection pair found and above a certain threshold
Position determination processing stage that determines intersection pairs with different correlation values
Position of the floor and the intersection pair determined in the composite position determination processing step
By combining the two fundus images
A step of displaying the combined fundus image, and a step of combining the two fundus images or a step of displaying the combined fundus image, the overlapping of the two fundus images 2 where the outer frames intersect
A straight line connecting the points, the two eyes bottom image synthesis how to, characterized in that divided portions fundus image are overlapped to synthesize or displaying the fundus image of two said. 【請求項４】同一被験者の視線の異なる２枚の眼底画像
を繋ぎあわせて１枚の合成眼底画像を作成する眼底画像
合成装置であって、 同一被験者の視線の異なる複数の眼底画像が入力される
入力手段と、 前記入力手段から入力された複数の前記眼底画像を画像
処理によって２値化して血管画像を抽出する手段と、 抽出された前記血管画像を細線化して血管の交点を求め
る手段と、 合成対象となる前記２枚の眼底画像のうちの第１の眼底
画像上のある血管の１交点を中心とした一定サイズの周
辺領域に対する第２の眼底画像上の全ての血管の交点お
よびその近傍点を中心とした周辺領域との相関値を求
め、第１の眼底画像上の前記血管の１交点に対して前記
相関値が最大となる第２の眼底画像上の交点を交点ペア
として見つける交点相関計算処理手段と、 前記第１の眼底画像上の他の各交点に対する第２の眼底
画像上の交点ペアを見つける前記交点相関計算処理を行
い、見つけた各交点ペアの中で最大でかつある閾値以上
の相関値を持つ交点ペアを決定する合成位置決定処理手
段と、 前記合成位置決定処理手段で決定された交点ペアの位置
を合致させることによ り前記２枚の眼底画像を合成する
手段と、 合成された合成画像を表示する手段とを有し、 前記２枚の眼底画像を合成する手段または合成された合
成眼底画像を表示する手段は、前記２枚の眼底画像のデ
ータをそのまま保持しておき、前記２枚の眼底画像が重
なっている部分については、予め定められた表示の優先
度の高い方の眼底画像を前面に表示し、他方の眼底画像
を背面に隠して表示するように合成または表示するよう
に構成されていることを特徴とする眼底画像合成装置。4. Two fundus images of the same subject with different lines of sight
Fundus image that creates a single composite fundus image by connecting
It is a synthesizing device, and a plurality of fundus images of the same subject whose eyes are different are input.
An image of the input means and the plurality of fundus images input from the input means
Means for binarizing and extracting a blood vessel image by processing, and thinning the extracted blood vessel image to obtain intersection points of blood vessels
Means and a first fundus of the two fundus images to be combined
Perimeter of a certain size centered on one intersection of a blood vessel on the image
The intersection points of all blood vessels on the second fundus image with respect to the edge region
And the correlation value with the surrounding area centering on its neighboring points
Therefore, with respect to one intersection of the blood vessels on the first fundus image,
The intersection point on the second fundus image with the maximum correlation value is the intersection point pair.
And a second fundus for each other intersection on the first fundus image.
Find the pair of intersections on the image
Yes, the maximum of each intersection pair found and above a certain threshold
Position determining processor for determining the intersection pair with the correlation value of
And the position of the intersection pair determined by the composite position determination processing means
Combining the two fundus images Ri by the to match the
And means for displaying and means, the synthetic composite image, means for displaying the means or synthesized synthesized fundus image synthesizing said two fundus images, data of the two fundus images
Data is held as it is, and in a portion where the two fundus images are overlapped , a predetermined display priority is given.
Display the higher fundus image on the front and the other fundus image
To synthetic or display to display hidden in the back
Eye bottom image synthesizer you characterized in that it is configured to. 【請求項５】同一被験者の視線の異なる２枚の眼底画像
を繋ぎあわせて１枚の合成眼底画像を作成する眼底画像
合成装置であって、 同一被験者の視線の異なる複数の眼底画像が入力される
入力手段と、 前記入力手段から入力された複数の前記眼底画像を画像
処理によって２値化して血管画像を抽出する手段と、 抽出された前記血管画像を細線化して血管の交点を求め
る手段と、 合成対象となる前記２枚の眼底画像のうちの第１の眼底
画像上のある血管の１交点を中心とした一定サイズの周
辺領域に対する第２の眼底画像上の全ての血管の交点お
よびその近傍点を中心とした周辺領域との相関値を求
め、第１の眼底画像上の前記血管の１交点に対して前記
相関値が最大となる第２の眼底画像上の交点を交点ペア
として見つける交点相関計算処理手段と、 前記第１の眼底画像上の他の各交点に対する第２の眼底
画像上の交点ペアを見つける前記交点相関計算処理を行
い、見つけた各交点ペアの中で最大でかつある閾値以上
の相関値を持つ交点ペアを決定する合成位置決定処理手
段と、 前記合成位置決定処理手段で決定された交点ペアの位置
を合致させることにより前記２枚の眼底画像を合成する
手段と、 合成された合成画像を表示する手段とを有し、 前記２枚の眼底画像を合成する手段または合成された合
成眼底画像を表示する手段は、前記２枚の眼底画像間で
最も相関の高い血管の交点または前記交点の近傍の近傍
点を通る直線で、前記２枚の眼底画像が重なっている部
分を分けて前記２枚の眼底画像を合成または表示するよ
うに構成されていることを特徴とする眼底画像合成装
置。5. Two fundus images of the same subject with different lines of sight
Fundus image that creates a single composite fundus image by connecting
It is a synthesizing device, and a plurality of fundus images of the same subject whose eyes are different are input.
An image of the input means and the plurality of fundus images input from the input means
Means for binarizing and extracting a blood vessel image by processing, and thinning the extracted blood vessel image to obtain intersection points of blood vessels
Means and a first fundus of the two fundus images to be combined
Perimeter of a certain size centered on one intersection of a blood vessel on the image
The intersection points of all blood vessels on the second fundus image with respect to the edge region
And the correlation value with the surrounding area centering on its neighboring points
Therefore, with respect to one intersection of the blood vessels on the first fundus image,
The intersection point on the second fundus image with the maximum correlation value is the intersection point pair.
And a second fundus for each other intersection on the first fundus image.
Find the pair of intersections on the image
Yes, the maximum of each intersection pair found and above a certain threshold
Position determining processor for determining the intersection pair with the correlation value of
And the position of the intersection pair determined by the composite position determination processing means
By combining the two fundus images
And means, and means for displaying the combined composite image, means for displaying the means or synthesized synthesized fundus image synthesizing said two fundus images, between said two fundus images
The intersection of blood vessels with the highest correlation or the vicinity of the intersection
The two fundus images are combined or displayed by dividing the overlapping part of the two fundus images by a straight line passing through the points .
Eye bottom image synthesis instrumentation you characterized by being composed urchin
Place 【請求項６】同一被験者の視線の異なる２枚の眼底画像
を繋ぎあわせて１枚の合成眼底画像を作成する眼底画像
合成装置であって、 同一被験者の視線の異なる複数の眼底画像が入力される
入力手段と、 前記入力手段から入力された複数の前記眼底画像を画像
処理によって２値化して血管画像を抽出する手段と、 抽出された前記血管画像を細線化して血管の交点を求め
る手段と、 合成対象となる前記２枚の眼底画像のうちの第１の眼底
画像上のある血管の１交点を中心とした一定サイズの周
辺領域に対する第２の眼底画像上の全ての血管の交点お
よびその近傍点を中心とした周辺領域との相関値を求
め、第１の眼底画像上の前記血管の１交点に対して前記
相関値が最大となる第２の眼底画像上の交点を交点ペア
として見つける交点相関計算処理手段と、 前記第１の眼底画像上の他の各交点に対する第２の眼底
画像上の交点ペアを見つける前記交点相関計算処理を行
い、見つけた各交点ペアの中で最大でかつある閾値以上
の相関値を持つ交点ペアを決定する合成位置決定処理手
段と、 前記合成位置決定処理手段で決定された交点ペアの位置
を合致させることにより前記２枚の眼底画像を合成する
手段と、 合成された合成画像を表示する手段とを有し、 前記２枚の眼底画像を合成する手段または合成された合
成眼底画像を表示する手段は、重なっている前記２枚の
眼底画像の外側の枠が交わる２点を結ぶ直線で、前記２
枚の眼底画像が重なっている部分を分けて前記２枚の眼
底画像を合成または表示するように構成されていること
を特徴とする眼底画像合成装置。6. Two fundus images of the same subject with different lines of sight
Fundus image that creates a single composite fundus image by connecting
It is a synthesizing device, and a plurality of fundus images of the same subject whose eyes are different are input.
An image of the input means and the plurality of fundus images input from the input means
Means for binarizing and extracting a blood vessel image by processing, and thinning the extracted blood vessel image to obtain intersection points of blood vessels
Means and a first fundus of the two fundus images to be combined
Perimeter of a certain size centered on one intersection of a blood vessel on the image
The intersection points of all blood vessels on the second fundus image with respect to the edge region
And the correlation value with the surrounding area centering on its neighboring points
Therefore, with respect to one intersection of the blood vessels on the first fundus image,
The intersection point on the second fundus image with the maximum correlation value is the intersection point pair.
And a second fundus for each other intersection on the first fundus image.
Find the pair of intersections on the image
Yes, the maximum of each intersection pair found and above a certain threshold
Position determining processor for determining the intersection pair with the correlation value of
And the position of the intersection pair determined by the composite position determination processing means
By combining the two fundus images
And a means for displaying the combined composite image, wherein the means for combining the two fundus images or the means for displaying the combined composite fundus image are the two overlapping
The line connecting the two points where the outer frame of the fundus image intersects
Like eye bottom image synthesizer you characterized in that it is configured to divide a portion fundus image are overlapped to synthesize or displaying the fundus image of two said. 【請求項７】請求項１乃至３のいずれかに記載の眼底画
像合成方法における段階をコンピュータに実行させるた
めのプログラムとし、 前記プログラムを前記コンピュータで読み取り可能な記
録媒体に記録したことを特徴とする眼底画像合成プログ
ラムを記録した記録媒体。 7. A fundus image according to any one of claims 1 to 3.
Allows the computer to perform the steps in the image synthesis method.
And a computer-readable record of the program.
A fundus image synthesis program characterized by being recorded on a recording medium
A recording medium that records ram.
JP19787898A 1998-07-13 1998-07-13 Fundus image combining method, fundus image combining apparatus, and recording medium Expired - Lifetime JP3377446B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19787898A JP3377446B2 (en) 1998-07-13 1998-07-13 Fundus image combining method, fundus image combining apparatus, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19787898A JP3377446B2 (en) 1998-07-13 1998-07-13 Fundus image combining method, fundus image combining apparatus, and recording medium

Publications (2)

Publication Number Publication Date
JP2000023921A JP2000023921A (en) 2000-01-25
JP3377446B2 true JP3377446B2 (en) 2003-02-17

Family

ID=16381828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19787898A Expired - Lifetime JP3377446B2 (en) 1998-07-13 1998-07-13 Fundus image combining method, fundus image combining apparatus, and recording medium

Country Status (1)

Country Link
JP (1) JP3377446B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009189586A (en) * 2008-02-14 2009-08-27 Nec Corp Fundus image analysis method, its instrument and program

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2177385B1 (en) * 2000-03-21 2004-08-16 Luis Jañez Escalada GUIDING SYSTEM FOR PHOTOCOAGULATION WITH SUBRETINIAN NEOVASCULAR MEMBRANE LASER.
JP2002042109A (en) * 2000-07-21 2002-02-08 Topcon Corp Medical image synthetic processor, method, and storage medium
JP4810141B2 (en) * 2004-07-07 2011-11-09 キヤノン株式会社 Image management apparatus and image management method
EP1657679A1 (en) * 2004-11-10 2006-05-17 Agfa-Gevaert Method of superimposing images
JP5080944B2 (en) * 2007-11-08 2012-11-21 興和株式会社 Panorama fundus image synthesis apparatus and method
JP6128841B2 (en) * 2012-12-28 2017-05-17 キヤノン株式会社 Image processing device
JP6108827B2 (en) * 2012-12-28 2017-04-05 キヤノン株式会社 Ophthalmic apparatus and alignment method
JP2016083240A (en) * 2014-10-27 2016-05-19 株式会社トーメーコーポレーション Ophthalmologic apparatus
JP6419238B2 (en) * 2017-03-09 2018-11-07 キヤノン株式会社 Ophthalmic apparatus and alignment method
JP2020060394A (en) * 2018-10-05 2020-04-16 株式会社Ihi Measurement range expansion method for non-contact measurement device
JP2019000728A (en) * 2018-10-11 2019-01-10 キヤノン株式会社 Eyeground image processing apparatus, eyeground image processing method, and imaging system
CN112220448B (en) * 2020-10-14 2022-04-22 北京鹰瞳科技发展股份有限公司 Fundus camera and fundus image synthesis method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009189586A (en) * 2008-02-14 2009-08-27 Nec Corp Fundus image analysis method, its instrument and program

Also Published As

Publication number Publication date
JP2000023921A (en) 2000-01-25

Similar Documents

Publication Publication Date Title
JP3377446B2 (en) Fundus image combining method, fundus image combining apparatus, and recording medium
US6276799B1 (en) Stereo optic disc analyzer
JP5080944B2 (en) Panorama fundus image synthesis apparatus and method
JP4218348B2 (en) Imaging device
JP4607399B2 (en) Three-dimensional image display device and display method
JP2002171398A (en) Image processing method and electronic camera
WO2008002271A1 (en) Method for fast stereo matching of images
JP4915737B2 (en) Image analysis system and image analysis program
US20210366121A1 (en) Image matching method and device, and storage medium
JP2001014444A (en) Medical picture synthesizing processor and recording medium
JP2008188177A (en) Image processor
JP3798161B2 (en) Fundus measurement device and recording medium recording fundus measurement program
US20070273829A1 (en) Ophthalmologic image taking apparatus
JP2002042109A (en) Medical image synthetic processor, method, and storage medium
JP2000245700A (en) Instrument for measuring eyeground and recording medium for recording measurement program
WO2024045507A1 (en) Data processing-based three-dimensional fluorescence imaging method and apparatus
JP2001118058A (en) Image processor and radiation medical treatment planning system
JP2004234500A (en) Image layout device, image layout method, program in image layout device and image editing device
JP2006086732A (en) Image processor and image processing method
JP3540731B2 (en) Fundus image deformation synthesizing method, recording medium storing the program, and fundus image deformation synthesizing apparatus
US20220202284A1 (en) Endoscope processor, training device, information processing method, training method and program
JP4017157B2 (en) Hollow organ blood vessel extraction method, hollow organ blood vessel extraction processing program, and image processing apparatus
JP5580765B2 (en) Image processing apparatus, image processing method, and image processing program
JPH05242204A (en) Method for generating and displaying virtual completion picture of building and its periphery
JP7191514B2 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071206

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081206

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091206

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101206

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101206

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111206

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111206

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121206

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121206

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131206

Year of fee payment: 11

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term