JP3540731B2

JP3540731B2 - 眼底画像変形合成方法、そのプログラムを記録した記録媒体、及び眼底画像変形合成装置

Info

Publication number: JP3540731B2
Application number: JP2000250742A
Authority: JP
Inventors: 勝義田邊; 宏一郎久保
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2000-08-22
Filing date: 2000-08-22
Publication date: 2004-07-07
Anticipated expiration: 2020-08-22
Also published as: JP2002058647A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影角度の異なる複数枚の眼底画像を入力とする画像合成に関する。さらに詳しくは、眼底の血管や脈絡膜などが接合境界線上において不整合のない合成画像を得る技術に関する。
【０００２】
【従来の技術】
従来、撮影角度の異なる複数枚の眼底画像から１枚の全体画像を作成する場合、いろいろな角度から平面でない同一の対象を撮影して得られた複数枚の画像を元に画像合成されるため、種々の問題を生じる。
【０００３】
例えば、「リモートセンシング画像のディジタルモザイク処理」に記載の手法のように、撮影対象上の同一の点が一致するようにアフィン変換等の簡単な幾何変換を施して平面上でつなぎ合わせる方法が知られている。
【０００４】
しかし、上記の方法では、周辺部に歪みのある眼底画像同士は、完全に合致させることはできないとの問題がある。これは、眼底は３次元の曲面構造をしており、その一部を２次元平面に投影した写真では、中心から周辺に向かって歪みが増大していることが原因である。
【０００５】
また、眼底画像が対象である場合に、眼球は完全な球体ではないし、光線の通り道である水晶体の屈折率も均一ではないために複数の画像を正確につなぎ合わせて画像を合成することが困難であるとの問題に対する対策として、複数の画像データから複数箇所を検出することで元の曲面を算出して精度良くつなぎ合わせる方法が提案されている（特開平６−２４３２３２号）。
【０００６】
しかし、画像全体を変形するためには球面上に多数の対応点を設定する必要があり、そのため多くのメモリ容量や多くの計算時間が必要であり、対応点以外は大きな誤差が内在したままであるとの問題がある。そのため、画像の接合境界における血管等の画像は完全に繋がらないという問題がある。さらに、複数の対応点を満足するような方程式は、対応点の数が少ないと元の曲面と違う球面となるし、対応点数が多いと求めるアルゴリズムの誤差を最小する収束条件を満たすことができず、発散してしまい無限ループに陥るという問題がある。
【０００７】
アフィン変換を繰り返すことで精度を向上させる方法、例えば特開平７−１５２８９５号が提案されている。しかし、対応する２点以外、すなわち、対応点として選択されなかった血管などは接合境界線において整合しないとの問題を解決するものではない。
【０００８】
さらに、本発明者の出願にかかる特開２０００−２３９２１号がある。この発明は、眼底画像上の対応点を合致させることによって眼底画像を合成するものであるが、眼底画像の境界部分、すなわち、接合境界線（以下、接合線）において、画像を変形させて、血管をシームレスにつなげようとするものではない。
【０００９】
【発明が解決しようとする課題】
シームレスな眼底画像を提供することは、眼科医から患者への病状説明や、インフォームドコンセントの場面において、あるいは、病状を医師間で説明する際に重要である。
【００１０】
本発明の課題は、眼底のレーザー治療前の病変部位の位置把握などのため、最も重要な眼底の血管走行の具合や脈絡膜の様子が１枚の画像で把握可能な、眼科医にとって違和感の少ないシームレスな眼底画像を、複数枚の画像を元に合成する方法を提供する点にある。
【００１１】
【課題を解決するための手段】
上記の課題を解決するため、本発明は以下に列記する手段を採用する。
【００１２】
その一手段は、撮影角度の異なる複数枚の眼底画像から合成画像を得る眼底画像変形合成装置、および、眼底画像変形合成装置における眼底画像変形合成方法であって、同一被験者の視線の異なる複数枚の眼底画像を入力し、それらのうちの２枚の眼底画像Ａ，Ｂについて、合成位置を定め該合成位置を合致させて前記２枚の眼底画像を合成する重ね合わせ処理過程と、前記合致させた合成位置を通る接合線で眼底画像Ａと眼底画像Ｂを接合する過程（例えば、眼底画像Ａと眼底画像Ｂが横並びならば、縦に接合し、眼底画像Ａと眼底画像Ｂが縦並びならば、横に接合するなど）と、前記眼底画像Ａおよび眼底画像Ｂにおいて、それぞれ接合線上を通る血管を検出し該接合線と該血管との交点を前記眼底画像Ａおよび眼底画像Ｂそれぞれから求める過程と、前記接合線と血管との交点を中心とした一定サイズの周辺領域を前述の接合前の眼底画像Ａから取り、該眼底画像Ａの１交点に対応する眼底画像Ｂの交点ペアを見つけるため、該眼底画像Ｂの接合線上で抽出された全ての、または眼底画像Ａの交点から一定の距離の、または血管本数で制限された前記接合線と血管との交点およびその近傍点を中心とした接合前の眼底画像Ｂ上の周辺領域との相関を求め、その相関値が一定値以上で最大の時、該眼底画像Ａの前記血管の１交点と対応する眼底画像Ｂの位置とする交点ペアを見つけるために行う接合線上の交点相関計算処理過程と、前記接合線上の交点相関計算処理過程を用いて、眼底画像Ａ上における他の全ての前記接合線と血管との交点に対する眼底画像Ｂ上の前記接合線と血管との交点ペアを見つけた後、各相関値を比較し、各対応血管を決定する対応血管決定処理過程と、眼底画像Ａの前記接合線と血管との交点と、眼底画像Ｂの前記接合線と血管との交点との該接合線上の中点で、前記対応血管同士を接続するために、眼底画像Ａ，Ｂそれぞれにおいて、該接合線上の各連続する２交点を一辺とし、該接合線から一定の長さをもう一辺とする長方形を、対応する該接合線から一定の長さ離れた該接合線と平行な一辺の長さは同一とし、対応する該接合線上の各連続する２中点を一辺とする台形に、変形させる画像変形処理過程と、前記変形した画像同士を合成する画像変形合成処理過程と、前記合成された合成画像を表示する過程および前記合成画像を蓄積する過程のいずれか一方または双方とを有することを特徴とするものである。
【００１３】
あるいは、前記重ね合わせ処理過程では、２枚の眼底画像Ａ，Ｂを任意の位置に重ね合わせ、重なっている領域内の任意の点を合成位置とすることを特徴とする上記の眼底画像変形合成装置、および、眼底画像変形合成方法である。
【００１４】
あるいは、前記重ね合わせ処理過程では、ポインティングデバイスを用いて手動で操作者が入力指示を行った２枚の眼底画像Ａ，Ｂについて処理を行うことを特徴とする上記の眼底画像変形合成装置、および、眼底画像変形合成方法である。
【００１５】
あるいは、前記重ね合わせ処理過程では、同一被験者の視線の異なる眼底画像を複数枚入力する眼底画像入力過程と、前記入力された複数枚の眼底画像を画像処理により２値化し、血管画像を抽出する過程と、前記抽出された血管画像を細線化し、血管の交点である分岐点および交叉点を求める過程と、前記複数枚の眼底画像のうちで合成対象となる２枚の眼底画像Ａ，Ｂのうち、眼底画像Ａ上のある血管の１交点を中心した一定サイズの周辺領域に対する眼底画像Ｂ上で抽出された全ての血管の交点およびその近傍点を中心とした周辺領域との相関を求め、その相関の最大値を眼底画像Ａの前記血管の１交点と対応する眼底画像Ｂの位置とする交点ペアを見つける交点相関計算処理過程と、前記眼底画像Ａ上の他の各交点に対する眼底画像Ｂ上の交点ペアを見つける前記交点相関処理を行い、見つけた各交点ペアの中で最大でかつある閾値以上の相関値を持つ交点ペアを当該２枚の眼底画像の合成位置とする合成位置決定処理過程と、前記合成位置決定処理過程で決定された交点ペアの位置を合致させることにより前記２枚の眼底画像を合成する過程とを有することを特徴とする上記の眼底画像変形合成装置、および、眼底画像変形合成方法である。
【００１６】
あるいは、上記の眼底画像変形合成方法における過程をコンピュータに実行させるプログラムを、該コンピュータが読み取り可能な媒体に記録したことを特徴とする眼底画像変形合成プログラムを記録した記録媒体である。
【００１７】
いろいろな角度から撮影して得られた眼底画像から合成された１枚の全体画像が、あたかも元より１枚の画像として撮影されたのように切れ目のない、すなわちシームレスな画像としての印象を与える主因子を検討したところ、撮影された各画像に対する変形操作が均等に行われることよりも、画像の接合線近傍において血管あるいは脈絡膜の画像が不整合なく合成されていることが多大な影響を与えていることを発見した。
【００１８】
そこで、本発明は、血管等の交差点あるいは分岐点を特徴点として、その特徴点を通る眼底画像の接合境界線を中心とする両側に、それぞれ一定幅で、接合境界線に接する一定幅の各画像の内側領域、すなわち局所的な領域についてのみ画像の線形変形を行うことにより、少ない演算量とメモリ量により、シームレスな合成画像を得ることを可能としたものである。
【００１９】
前記の線形変換において、入力された画像の血管等が４５度を超える程度に大きく変形を受けると、境界線においてシームレスに接合しているとの印象はほとんど失われてしまう。前記変換においては、原画像に対して血管等が特に４０度以下の屈折であることが好ましい。
【００２０】
本発明では、そのために、画像の変換において対応する血管を見つける際に走査する範囲を限定するとの手段を採用した。具体的には、接合境界線上において接合境界線上の血管を中心とする両側に、一定幅の局所領域の長さ以下に対応する血管を見い出す探索範囲を限定することである。すなわち、血管等の画像の過度の屈折を抑止するためには、接合境界線を中心とする両側の局所領域の幅を一定の長さ以上とする必要がある。
【００２１】
本発明では、３枚以上の画像が重なっている場合には、重なっている２枚の画像を接合する接合線において変形を行う。対応する２枚の決め方は任意の方法で構わない。例えば表示における優先順位に従って上位２枚の接合線で処理する。あるいは、先ず２枚について、接合線において変形処理を行い、その後、次の画像との接合線において変形処理を行うというように順次繰り返すというような方法でも構わない。
【００２２】
また、眼底画像を接合する接合線は、直線である必要はなく、曲線であっても構わない。
【００２３】
なお、入力される眼底画像は、少なくとも１以上の眼底画像と重なり合っている領域があることを前提としている。したがって、重なりが１つもない眼底画像が入力された場合は、本発明で処理することは可能であるが、重なる場所が見つからないため、合成はされない。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２５】
図１，２，３に本発明の眼底画像変形合成方法の一実施形態例のフローチャートを、図４に本発明の眼底画像変形合成方法を実施するための一構成例を示す。
【００２６】
図１において、Ｓ１０１はスタート、Ｓ１０２は眼底画像を複数枚入力する処理、Ｓ１０３は眼底画像を２値化し、血管画像を抽出する処理、Ｓ１０４は血管画像を細線化し、血管の交点（分岐点および交叉点）を求める処理、Ｓ１０５は眼底画像Ａ上の血管の１交点と、重ね合わせる対象である眼底画像Ｂ上の全ての交点もしくはその近傍点を、中心とした一定サイズの周辺領域に対する相関を求め、最大相関値を持つ交点ペアを見つける処理、Ｓ１０６は眼底画像Ａ上の血管の全ての交点に対してＳ１０５を処理し、各交点ペアの中で最大かつある閾値以上の交点ペアを２枚の眼底画像（Ａ，Ｂ）の合成位置とする処理、Ｓ１０７はＳ１０６で決定された交点ペアの位置を合致させることにより２枚の眼底画像（Ａ，Ｂ）を合成する処理、Ｓ１０８は全ての画像を処理したか？の判断処理を示す。Ｓ１０８において、Ｎｏの場合には、全ての画像を処理するまでＳ１０５からの処理を繰り返し、Ｙｅｓの場合には、下記のＳ１０９からの処理へ移行する。
【００２７】
Ｓ１０９はＳ１０７で決定された交点ペアを通る接合線で画像を切断し、画像を接合する処理、Ｓ１１０は接合線上を通る血管（Ｓ１０４の細線化された血管）と接合線との交点を２枚の眼底画像（Ａ，Ｂ）から求める処理、Ｓ１１１はＳ１１０で求めた眼底画像ＡとＢの交点を中心とした一定サイズの周辺領域に対する相関を求め、一定値以上で最大の相関値を持つ交点ペアを対応する交点と見なす処理、Ｓ１１２は眼底画像Ａの血管と眼底画像Ｂの血管を接合線上において、眼底画像ＡとＢのＳ１１１で求めた２つの交点の接合線上での中点で対応血管を接続するために眼底画像Ａ，Ｂそれぞれにおいて該接合線の各連続する２交点を１辺とし、接合線から一定の長さをもう１辺とする長方形を、対応する各連続する２中点を１辺とする台形に変形する処理、Ｓ１１３は変形した眼底画像同士を接合線上で接合する処理、Ｓ１１４は合成画像を表示する処理、Ｓ１１５は合成画像を蓄積する処理、Ｓ１１６はエンドを示す。
【００２８】
図２は、上記Ｓ１１１の処理の詳細を示すフローチャートである。
【００２９】
図２において、Ｓ１１１−１はスタート、Ｓ１１１−２は眼底画像ＡおよびＢ上においてＳ１１０で求めた交点を中心とする一定サイズＭの周辺領域（テンプレート）を求める処理、Ｓ１１１−２は眼底画像Ａにある或るテンプレートＴＡｉに対して、眼底画像Ｂ上のテンプレートＴＢｊとの相関を計算し、或る閾値以上で最大の相関値をもつものを対応血管交点として抽出する処理（ただし、一定本数以上、一定の距離（４５度以下の屈折）以上離れているものは探索対象から除く）、Ｓ１１１−３は全てのテンプレートを処理したか？の判断処理を示す。
【００３０】
Ｓ１１１−３において、Ｎｏの場合には、全てのテンプレートを処理するまでＳ１１１−３の処理を繰り返し、Ｙｅｓの場合には、Ｓ１１１−４のエンドとし、Ｓ１１１の処理を終える。
【００３１】
図３は、上記Ｓ１１２の処理の詳細を示すフローチャートである。
【００３２】
図３において、Ｓ１１２−１はスタート、Ｓ１１２−２は２枚の画像Ａ，Ｂそれぞれについて有効な対応血管交点に対しラベルＰ，Ｑを、Ｐ₀，Ｐ₁，…，Ｐ_n，Ｐ_n+1：画像Ａの血管交点点列、Ｑ₀，Ｑ₁，…，Ｑ_n，Ｑ_n+1：画像Ｂの血管交点点列（ここでｎはｎ番目の対応する血管交点である）のように付与する処理、Ｓ１１２−３は各血管交点との中点をＲとし、中点の点列をＲ₀，Ｒ₁，…，Ｒ_n，Ｒ_n+1とする処理、Ｓ１１２−４は画像Ａの血管交点点列から隣接する２点Ｐ_n，Ｐ_n+1を順に選択し２点Ｐ_n，Ｐ_n+1を結ふ線分を底辺とする高さｗ、頂点Ａ_n+1の２等辺三角形（Ｐ_n，Ｐ_n+1，Ａ_n+1）を定義し、さらに隣接する中点２点（Ｒ_n，Ｒ_n+1）を結ぶ線分を底辺とする高さｗ、頂点Ａ_n+1の２等辺三角形（Ｒ_n，Ｒ_n+1，Ａ_n+1）を定義する処理、Ｓ１１２−５は三角形（Ｐ_n，Ｐ_n+1，Ａ_n+1）を三角形（Ｒ_n，Ｒ_n+1，Ａ_n+1）に変形させる変換式を求める処理、Ｓ１１２−６はｎを変化させ、全ての変換式を求めたか？の判断処理を示す。
【００３３】
Ｓ１１２−６において、Ｎｏの場合には、全ての変換式を求めるまでＳ１１２−６の処理を繰り返し、Ｙｅｓになれば、Ｓ１１２−７へ移行する。Ｓ１１２−７は求めた変換式に従い、長方形を台形に変形する処理を順次実行する処理、Ｓ１１２−８は変換処理を２枚の画像Ａ，Ｂそれぞれについて全ての対象領域を長方形から台形に変形する処理を実行したか？の判断処理を示す。
【００３４】
Ｓ１１２−８において、Ｎｏの場合には、全ての対象領域について処理するまでＳ１１２−８の処理を繰り返し、Ｙｅｓになれば、Ｓ１１２−９のエンドとし、Ｓ１１２の処理を終える。
【００３５】
図４において、２０１は複数枚の入力画像（眼底画像）、２０２は入力部、２０３は制御部、２０４は特徴抽出部、２０５は相関処理部、２０６は画像合成部、２０７は画像接合部、２０８は画像変形部、２０９は画像蓄積部、２１０はデータ蓄積部、２１１は表示部を示す。
【００３６】
入力部２０２は外部から同一被験者の視線の異なる複数の眼底画像を入力し、特徴点抽出部２０４は該複数の眼底画像から特徴点を抽出し、相関処理部２０５は該抽出された特徴点の周辺領域の相関をとり、画像合成部２０６は該相関の高い領域の特徴点を合致させることにより画像合成し、画像接合部２０７は該合成される眼底画像の接合線で画像を接合し、例えば特徴抽出部２０４などに含まれる対応血管抽出部は該接合線上において対応する血管を抽出し、画像変形部２０８は該接合線上の対応血管を対応させるために対応血管周辺領域を変形させ、表示部２１１は該変形後の合成画像を表示し、画像蓄積部２０９は該合成画像を蓄積し、制御部２０３は前記各部を制御する。本発明は、少なくともこれらの各部を備えた画像処理手段を用いた眼底画像変形合成方法である。なお、対応血管周辺領域とは、接合線Ｌの各血管の対応する２交点（Ｐ_i，Ｐ_i+1）を１辺とし、接合線Ｌ上から一定距離ｗを別の辺とする矩形領域を指す。
【００３７】
また、図５、図６（図５の一部拡大図）に本発明の眼底画像変形合成方法の一合成例、図７に接合線における対応血管の状態例を示す。
【００３８】
図５、図６において、３０１は眼底画像Ａ、３０２は眼底画像Ｂ、３０３は交点画像Ａ、３０４は交点画像Ｂ、３０５は分岐点、３０６は交叉点、３０７は合成画像、３０８は周辺領域Ｔ_KAi、３０９は交点ＫＡ_i、３１０は周辺領域Ｔ_KBj、３１１は交点ＫＢ_j、３１２は近傍領域Ｄ_KBj、３１３は接合線Ｌ、３１４は血管、Ｍは周辺領域Ｔ_KAi（または周辺領域Ｔ_KBj）の大きさ、Ｎは近傍領域Ｄ_KBjの大きさを、それぞれ表す。なお、血管の交点の近傍領域もしくは単に近傍領域Ｄ_KBj３１３とは、血管の交点（分岐点あるいは交叉点）（Ｐ_i，Ｑ_iなど）を中心とする大きさＮ×Ｎの矩形領域を指す。ここで、図６のように、ＮはＭより小さく設定する。
【００３９】
また、図７において、４０１は合成画像、４０２は画像Ａ、４０３は画像Ｂ、Ｔ_P1は画像Ａ上の中心Ｐ₁、大きさＭ×Ｍの周辺領域、Ｔ_Q1は画像Ｂ上の中心Ｑ₁、大きさＭ×Ｍの周辺領域、Ｐ₁，Ｐ₂，Ｐ₃，Ｐ₄，Ｐ₅は画像Ａ上で接合線Ｌと各細線化された血管とのそれぞれ交点を、Ｑ₁，Ｑ₂，Ｑ₃，Ｑ₄，Ｑ₅は画像Ｂ上で接合線Ｌと各細線化された血管とのそれぞれ交点を、Ｔ_P5は画像Ａ上の中心Ｐ₅、大きさＭ×Ｍの周辺領域、Ｔ_Q5は画像Ｂ上の中心Ｑ₅、大きさＭ×Ｍの周辺領域を、それぞれ表す。
【００４０】
そして、図８に合成画像例を、図９に眼底画像変形合成処理例を示す。
【００４１】
図８において、Ａ₁，Ａ₂，Ａ₃，Ａ₄，Ａ₅は画像Ａ上で接合線Ｌ上における各血管の連続する２交点（Ｐ_iとＰ_i+1）を１辺とし接合線Ｌから一定距離ｗを別の辺（Ｓ_iとＳ_i+1）とする矩形領域で接合線Ｌと対辺の中点の位置をそれぞれ示し、Ｂ₁，Ｂ₂，Ｂ₃，Ｂ₄，Ｂ₅は画像Ｂ上で接合線Ｌ上における各血管の連続する２交点（Ｑ_iとＱ_i+1）を１辺とし接合線Ｌから一定距離ｗを別の辺（Ｕ_iとＵ_i+1）とする矩形領域で接合線Ｌと対辺の中点の位置をそれぞれ示し、Ｐ₁，Ｐ₂，Ｐ₃，Ｐ₄，Ｐ₅は画像Ａ上で接合線Ｌと各細線化された血管とのそれぞれ交点を、Ｑ₁，Ｑ₂，Ｑ₃，Ｑ₄，Ｑ₅は画像Ｂ上で接合線Ｌと各細線化された血管とのそれぞれ交点を、Ｒ₁，Ｒ₂，Ｒ₃，Ｒ₄，Ｒ₅は画像ＡとＢと接合線Ｌ上でのそれぞれの中点（Ｒ₁はＰ₁とＱ₁の中点、以下同様に、Ｒ₂はＰ₂とＱ₂の中点、Ｒ₃はＰ₃とＱ₃の中点、Ｒ₄はＰ₄とＱ₄の中点、Ｒ₅はＰ₅とＱ₅の中点）を、示す。ただし、Ｐ₀，Ｐ₆，Ｑ₀，Ｑ₆は、それぞれ画像Ａ，Ｂの接合線と矩形領域が交わる両端点を示す。なお、図８の例においては、Ｐ₃，Ｑ₃，Ｒ₃は対応点のため同一点となる。
【００４２】
また、図９において、６０１は処理画像を、６０２は変形合成画像をそれぞれ示す。
【００４３】
まず、同一被験者の視線の異なる眼底画像を複数枚入力する処理Ｓ１０２としてデジタル眼底カメラを用いて撮影された入力画像２０１が入力部２０２を通じて入力され、制御部２０３を通じて画像蓄積部２０７へ蓄積する。また、制御部２０３では各眼底画像の位置関係（上下左右など）を把握し、データ蓄積部２０８へ蓄積する。この際、各眼底画像は少なくとも１つの眼底画像と重なりを持つ様に撮影する。次に、制御部２０３は、特徴抽出部２０４に対して各眼底画像を２値化し、血管画像を抽出する処理Ｓ１０３および該血管画像を細線化し、血管の交点（分岐点および交叉点）を求める処理Ｓ１０４を実行させる。
【００４４】
ここでは例として、図５に示すような２枚のペアとなる眼底画像Ａ３０１と眼底画像Ｂ３０２を合成する処理例を説明する。血管の分岐点および交叉点を求める処理Ｓ１０４まで実行された結果得られた分岐点３０５と交叉点３０６を眼底画像中にプロットすると、交点画像Ａ３０３と交点画像Ｂ３０４のように表される。そして、眼底画像の位置関係に基づき、以下に説明する一連の処理（Ｓ１０５からＳ１０７）を隣り合う２枚の眼底画像の組み（図５の例では、眼底画像Ａ３０１と眼底画像Ｂ３０２）を対象に繰り返し処理する。この際、位置関係に応じて、ある位置の眼底画像は、重なる位置を調べる対象となるペアの眼底画像の位置を限定する（例えば、眼底画像Ａ３０１は眼底画像Ｂ３０２との重なる位置は調べるが、上下の眼底画像との重なる位置は調べないなど）こともできる。このような位置の限定は画像を変形しない場合や表示の優先度を考慮して行われる。また、位置の限定を行うと計算時間が減少する効果がある。
【００４５】
制御部２０３は相関処理部２０５に対して、眼底画像Ａ上の血管の１交点と、重ね合わせる対象である眼底画像Ｂ上の全ての交点もしくは近傍点を中心とした一定サイズの周辺領域に対する相関を求め、最大相関値を持つ交点ペアを見つける処理Ｓ１０５から決定された交点ペアの位置を合致させることにより２枚の眼底画像（Ａ，Ｂ）を合成する処理Ｓ１０８までの一連の処理を実行するように指示する。なお、血管の交点の近傍点とは、血管の交点（分岐点あるいは交叉点）（Ｐ_i，Ｑ_iなど）を中心とする大きさＮ×Ｎの矩形領域（近傍領域Ｄ_KBj）の範囲内に複数存在する点（Ｎ²個）のうちある一点を指す。また、血管の交点もしくは交点の近傍点を中心とする周辺領域（Ｔ_KAi，Ｔ_KBj，Ｔ_Pi，Ｔ_Qj）とは、血管の交点もしくは交点の近傍点を中心とする大きさＭ×Ｍの矩形領域を指す。この大きさＭ×Ｍの周辺領域は、この周辺領域の中心点が血管もしくは交点の近傍点となる範囲を移動可能である。
【００４６】
処理概略は以下の通りである。基本的な考えは、眼底画像Ａ３０１にある全ての血管の交点（分岐点または交叉点）を基準として、それぞれの交点に対応する血管の交点もしくはその近傍にあると予想される眼底画像Ｂ３０２上の対応点を探索するということである。なお、血管交点の近傍点は近傍領域Ｄ_KBj内の点をとるとする。また、対応点とは、重なりのある２枚の眼底画像において、一方の眼底画像上の一点と他方の眼底画像上で対応する一点、すなわち眼底画像中の同一点、例えば同じ交点などを指す。眼底画像Ａ３０１にある全ての血管の交点（分岐点または交叉点）中の一交点ＫＡ_iと、眼底画像Ｂ３０２にある全ての血管の交点（分岐点または交叉点）ＫＢ_jもしくは交点の近傍点との類似度合いを判定するために、眼底画像Ａ３０１の血管の一交点を中心とする周辺領域Ｔ_KAiと眼底画像Ｂ３０２にある全ての血管の交点もしくは交点の近傍点を中心とする周辺領域Ｔ_KBjとの相関係数ｒを計算する。眼底画像Ａ３０１の血管の一交点を中心とする周辺領域Ｔ_KAiと最も相関の高い眼底画像Ｂ３０２上の交点もしくは交点の近傍点を中心とする周辺領域Ｔ_KBjを見つけ、そのときの眼底画像Ａ３０１の血管の一交点と眼底画像Ｂ３０２上の交点（もしくは交点の近傍点）を合成点とし、この合成点を合致させるように２枚の眼底画像３０１と３０２を合成する。この後、制御部２０３は画像接合部２０７に、Ｓ１０７で決定された交点ペアを通る接合線で画像を切断し、画像を接合する処理Ｓ１０９を行うように指示する。この際、切断前の画像３０１と３０２のデータも保持しておく。
【００４７】
次に、上記合成点を通る接合線Ｌにおいて、画像を切断し、接合する場合に、接合線Ｌ上において、対応する血管同士が滑らかに接続できるように変形する処理を画像変形部２０８で行う。この場合、合成点は、前述のようにＳ１０８までの処理で自動的に求めても良いし、人が任意に指定した合成点でも構わない。
【００４８】
先ず、制御部２０３から特徴抽出部２０４に指示し、接合線上を通る血管（Ｓ１０４の細線化された血管）と接合線との交点を２枚の眼底画像（Ａ，Ｂ）から求める処理Ｓ１１０を行う。そして、Ｓ１１０で求めた眼底画像ＡとＢの交点を中心とした一定サイズの周辺領域に対する相関を求め、一定値以上で最大の相関値を持つ交点ペアを対応する交点と見なす処理Ｓ１１１を行い、対応する血管の組を見つける。図７に示すように、接合線Ｌ上にある画像Ａの血管の交点Ｐ₁と画像Ｂの血管の交点Ｑ₁が対応するかを調べる。交点Ｐ₁を中心とする矩形領域Ｔ_P1を画像Ａ４０２上で取り、その矩形領域Ｔ_P1と、同様に交点Ｑ₁を中心とする矩形領域Ｔ_Q1を画像Ｂ４０３上で取り、その矩形領域Ｔ_Q1との相関値を調べる。同様に矩形領域Ｔ_P1と矩形領域Ｔ_Qi（ｉ＝２，３，４，５）との相関を取る。各相関値を比較し、最大でかつ一定値以上の相関値をもつものを対応する交点ペアとする。
【００４９】
この際、一定値以上の相関値が得られない交点については、変形して接続する血管から除外する。すなわち、明らかに対応する血管だけを変形させ、対応が見つからない血管については、処理をしない。この方針は、誤った変形をさせずに大きな変形をさせることができる効果がある。
【００５０】
次に、制御部２０３から画像変形部２０８に指示し、眼底画像Ａの血管と眼底画像Ｂの血管を接合線上において、眼底画像ＡとＢのＳ１１１で求めた２つの交点の接合線上での中点で対応血管を接続するために眼底画像Ａ，Ｂそれぞれにおいて該接合線の各連続する２交点を１辺とし、接合線から一定の長さをもう１辺とする長方形を、対応する各連続する２中点を１辺とする台形に変形する処理Ｓ１１２を行う。図８において、Ｐ_i，Ｑ_i（ｉ＝２，３，４，５）は対応する血管とする。また、Ｐ₀とＱ₀，Ｐ₆とＱ₆も対応するとする。図８の場合、Ｐ₁とＱ₁の中点Ｒ₁にＰ₁とＱ₁を重ねるように変形を行う。すなわち、画像Ａは三角形Ｐ₀Ａ₁Ｐ₁を三角形Ｐ₀Ａ₁Ｒ₁になる様に、変形を行い、画像Ｂは、三角形Ｑ₀Ｂ₁Ｑ₁を三角形Ｑ₀Ｂ₁Ｒ₁になる様に変形を行う。以下同様に、画像Ａで、三角形Ｐ_iＡ_i+1Ｐ_i+1を三角形Ｐ_iＡ_i+1Ｒ_iに、画像Ｂで三角形Ｑ_iＢ_i+1Ｑ_i+1を三角形Ｑ_iＢ_i+1Ｒ_iに、それぞれ変形させる。
【００５１】
そして、制御部２０３は、画像接合部２０７に指示し、変形した眼底画像同士を接合線上で接合する処理Ｓ１１３を実行する。
【００５２】
以上で変形合成処理は終了し、制御部２０３を通じて、画像蓄積部２０７に合成画像を、データ蓄積部２０８に各画像の合成点の位置座標、画像ｎ優先順位情報、合成方法等の合成データを、それぞれ蓄積する。この際、位置関係により複数の画像との合成が可能な場合には、位置の優先順位を定め、前面にある画像同士、重なりがある接合部について接合線上における画像の接合を本発明の画像変形合成手法を用いて行い、なめらかな血管および周辺の領域の接合を実現する。変形を行う必要が生じる理由は、球面である３次元構造をもつ眼底を２次元の平面に写像することにより、眼底写真の中央附近と周辺附近では歪みの程度が異なるためである。
【００５３】
最後に合成した画像をディスプレイやプリンタ等の出力媒体に表示する合成画像を表示する処理Ｓ１１６を行う。
【００５４】
本発明で行っている変形処理に用いている変換式について、図１０を参照して説明する。変換後の個々の座標における画素値を変換式の逆写像を求めることにより取得する。変換後の座標値は、整数に量子化されているため、変換後の座標位置における画素値を計算するために逆写像を用いる。
【００５５】
変換前の図形における３つのサンプル点｛（ｘ₁，ｙ₁），（ｘ₂，ｙ₂），（ｘ₃，ｙ₃）｝のｇによる写像を｛（ｘ₁'，ｙ₁'），（ｘ₂'，ｙ₂'），（ｘ₃'，ｙ₃'）｝とすれば、ｇの逆写像Ｇはパラメータａ〜ｆを用いて次のように表現される。
【００５６】
【数１】

【００５７】
Ｌ＝（ｘ₁'−ｘ₂'）（ｙ₂'−ｙ₃'）−（ｘ₂'−ｘ₃'）（ｙ₁'−ｙ₂'）とすれば、パラメータａ〜ｆは以下のとおり。
【００５８】
ａ＝｛（ｘ₁−ｘ₂）（ｙ₂'−ｙ₃'）−（ｘ₂−ｘ₃）（ｙ₁'−ｙ₂'）｝／Ｌ
ｂ＝｛（ｘ₂−ｘ₃）（ｘ₁'−ｘ₂'）−（ｘ₁−ｘ₂）（ｘ₂'−ｘ₃'）｝／Ｌ
ｃ＝｛ｘ₁（ｘ₂'ｙ₃'−ｘ₃'ｙ₂'）＋ｘ₂（ｘ₃'ｙ₁'−ｘ₁'ｙ₃'）＋ｘ₃（ｘ₁'ｙ₂'−ｘ₂'ｙ₁'）｝／Ｌ
ｄ＝｛（ｙ₁−ｙ₂）（ｙ₂'−ｙ₃'）−（ｙ₂−ｙ₃）（ｙ₁'−ｙ₂'）｝／Ｌ
ｅ＝｛（ｙ₂−ｙ₃）（ｘ₁'−ｘ₂'）−（ｙ₁−ｙ₂）（ｘ₂'−ｘ₃'）｝／Ｌ
ｆ＝｛ｙ₁（ｘ₂'ｙ₃'−ｘ₃'ｙ₂'）＋ｙ₂（ｘ₃'ｙ₁'−ｘ₁'ｙ₃'）＋ｙ₃（ｘ₁'ｙ₂'−ｘ₂'ｙ₁'）｝／Ｌ
この逆写像Ｇにより求めた点（ｘ₁，ｙ₁）は、整数ではなく有理数となる。すなわち、サブピクセルの位置を表すことになるため、この点を囲む整数座標位置である４点の座標値の内分点として、４点の輝度値を内挿した値を変換後の座標点（ｘ₁'，ｙ₁'）の輝度値とする。
【００５９】
次に、画像同士の境界部分を接合線Ｌにおいて、シームレスに接合するための変形処理を詳しく説明する。先ず切断位置（接合線Ｌ）の決定は、２枚の画像に対し、対応点（またはその近傍）を通る直線を切断面として設定される。接合線Ｌの方向は２枚の眼底画像の位置関係により、図１１のように縦方向／横方向のいずれかに決定される。画像同士の境界部分の変形処理を以下の手順で行う。
【００６０】
画像の接合線Ｌを決定した後、対応する血管同士が繋がるように接合線Ｌの周辺領域に変形処理を施す。
【００６１】
先ず、接合線上の血管の交点情報を抽出抽出する。
・対象となる２枚の画像（画像Ａ，Ｂ）に対し、切断面（直線）上を走査して交点点列（接合線Ｌ上の血管の有無情報）を検出する。
・交点点列の検出は両画像それぞれの対応点を始点として直線の両端点に向かって走査する。さらに、両端それぞれの交点について検出した順にインデックスを付与する。
・検出された個々の交点を中点とするマスクサイズＭのテンプレートを用意する。
【００６２】
次に、対応血管の決定を行う。
・一方の画像上にある個々のテンプレートに対して、他方の画像のテンプレートとの相関値を計算し、最も相関の高いものを対応血管として抽出する。相関値が一定値以下のものについては、対応血管の候補から除外する。
・テンプレート選定に当たっては、両画像が持つインデックス情報を利用し、インデックス値の差があらかじめ定義した値以下となる範囲で相関の計算を行い、インデックス値の差が大きな（遠距離にある）ものについては計算しない。また、図８の長さｗ以上の範囲は、走査しない。ｗ以上離れている血管と接続すると血管の屈折角度が４５度以上となり、実際上の血管でないと考えられることおよび接続した血管が滑らかに接続できないためである。本発明では、眼底画像上の血管の太さにおける平均値のｍ倍の長さをｗとしている。
【００６３】
そして、変形処理（図８参照）は次のように行う。
【００６４】
２枚の画像Ａ，Ｂそれぞれについて有効な対応血管交点に対し、次のようにラベルＰ，Ｑを付与する。
【００６５】
Ｐ：（Ｐ₀，Ｐ₁，…，Ｐ_n，Ｐ_n+1，…）…画像Ａの血管交点点列
Ｑ：（Ｑ₀，Ｑ₁，…，Ｑ_n，Ｑ_n+1，…）…画像Ｂの血管交点点列
ここでｎはｎ番目の対応する血管交点である。
【００６６】
さらに、エッジ点Ｐ_nとＱ_nの中点をＲ_nとし、中点の点列を
Ｒ：（Ｒ₀，Ｒ₁，…，Ｒ_n，Ｒ_n+1，…）とする。
【００６７】
画像Ａの血管交点点列から隣接する２点（Ｐ_n，Ｐ_n+1）を順に選択し、２点（Ｐ_n，Ｐ_n+1）を結ぶ線分を底辺とする高さｗ、頂点Ａ_n+1の２等辺三角形（Ｐ_n，Ｐ_n+1，Ａ_n+1）を定義する。さらに隣接する２点（Ｒ_n，Ｒ_n+1）を結ぶ線分を底辺とする高さｗ、頂点Ａ_n+1の２等辺三角形（Ｒ_n，Ｒ_n+1，Ａ_n+1）を定義する。変換処理は三角形（Ｐ_n，Ｐ_n+1，Ａ_n+1）を三角形（Ｒ_n，Ｒ_n+1，Ａ_n+1）に変形させることであり、ｎを変化させて先に述べた変換式に従い、長方形（Ｐ_n，Ｐ_n+1，Ｓ_n，Ｓ_n+1）を台形（Ｒ_n，Ｒ_n+1，Ｓ_n，Ｓ_n+1）に変形する処理を順次実行する。なお、変換後の個々の座標における画素値は、変換式の逆写像を求めることにより変換前の対応する座標を取得し、そこで得られた画素値をプロットする。ただし、先に述べた様に変換前の対する座標は、サブピクセルの場所になるため、その点を囲む４点の座標値を内分点の比に応じて内挿して決定する。
【００６８】
上記の変換処理を２枚の画像Ａ，Ｂそれぞれについて行う。
【００６９】
さらに、接合境界線上で画像Ａと画像Ｂの輝度差が大きい場合（一般には大きい）には、接合境界線上での輝度差の１／２の値を距離に反比例するように減衰させながら、部分領域内の各画素に作用させ、輝度差吸収処理を行う。
【００７０】
以上に述べた本発明の眼底画像変形合成方法により具現した眼底画像の２つの例を模写した図を図１２，１３に示す。
【００７１】
なお、図１，２，３のフローチャートで示した処理のステップをコンピュータに実行させることができることは言うまでもなく、コンピュータにその処理のステップを実行させるためのプログラムを、そのコンピュータが読み取り可能な記憶媒体、例えば、ＦＤ（フロッピーディスク：登録商標）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録し、提供し、配布することが可能である。
【００７２】
【発明の効果】
以上説明したように、本発明では、重なった眼底画像における接合線上で、対応する血管同士を合致するように変形させて合成するため、２次元の眼底画像がもつ歪みを修正し、違和感の少ない合成を実現できる効果がある。コンピュータ上で複数枚の眼底画像を合成し、合成した一枚のモンタージュ画像として眼底画像を高品質なプリンタ等へ出力できれば、手作業で紙を張り合わせる必要はなくなる効果がある。また、コンピュータを用いることにより、手作業でかかっていた作業時間の短縮、作業者の手作業への負担の軽減および空いた時間の他業務への転用ができる効果がある。また、コンピュータ上の電子データを用いているため、各眼底画像を別々に保存しておけば、何度も眼底画像合成のやり直しをすることが可能となる。また、手作業ではおおまかにしか眼底画像を重ね合わせることしかできないが、本発明では、自動的に合成した画像に対し各眼底画像の位置を一画素づつ上下左右にずらすなど、微調整を行うことも可能となる利点がある。
【図面の簡単な説明】
【図１】本発明の眼底画像変形合成方法の一実施形態例を示すフローチャートである。
【図２】上記実施形態例のＳ１１１の詳細を示すフローチャートである。
【図３】上記実施形態例のＳ１１２の詳細を示すフローチャートである。
【図４】本発明の眼底画像変形合成方法を実施するための一構成例を示す図である。
【図５】本発明の眼底画像変形合成方法の一合成例を示す図である。
【図６】図５の一部拡大図である。
【図７】本発明の眼底画像変形合成方法での接合線における対応血管の状態例を示す図である。
【図８】本発明の眼底画像変形合成方法の合成画像例を示す図である。
【図９】本発明の眼底画像変形合成方法での眼底画像変形合成処理例を示す。
【図１０】本発明の眼底画像変形合成方法で変形処理に用いている変換式について説明する図である。
【図１１】（ａ），（ｂ）は、本発明の眼底画像変形合成方法での画像同士の境界部分を接合線Ｌにおいて、シームレスに接合するための変形処理を説明する図である。
【図１２】本発明の眼底画像変形合成方法により具現した眼底画像の一例を模写した図である。
【図１３】本発明の眼底画像変形合成方法により具現した眼底画像の別の一例を模写した図である。
【符号の説明】
Ｓ１０１…スタート
Ｓ１０２…眼底画像を複数枚入力する処理
Ｓ１０３…眼底画像を２値化し、血管画像を抽出する処理
Ｓ１０４…血管画像を細線化し、血管の交点（分岐点および交叉点）を求める処理
Ｓ１０５…眼底画像Ａ上の血管の１交点と、重ね合わせる対象である眼底画像Ｂ上の全ての交点もしくはその近傍点を、中心とした一定サイズの周辺領域に対する相関を求め、最大相関値を持つ交点ペアを見つける処理
Ｓ１０６…眼底画像Ａ上の血管の全ての交点に対してＳ１０５を処理し、各交点ペアの中で最大かつある閾値以上の交点ペアを２枚の眼底画像（Ａ，Ｂ）の合成位置とする処理
Ｓ１０７…Ｓ１０６で決定された交点ペアの位置を合致させることにより２枚の眼底画像（Ａ，Ｂ）を合成する処理
Ｓ１０８…全ての画像を処理したか？の判断処理
Ｓ１０９…Ｓ１０７で決定された交点ペアを通る接合線で画像を切断し、画像を接合する処理
Ｓ１１０…接合線上を通る血管（Ｓ１０４の細線化された血管）と接合線との交点を２枚の眼底画像（Ａ，Ｂ）から求める処理
Ｓ１１１…Ｓ１１０で求めた眼底画像ＡとＢの交点を中心とした一定サイズの周辺領域に対する相関を求め、一定値以上で最大の相関値を持つ交点ペアを対応する交点と見なす処理
Ｓ１１２…眼底画像Ａの血管と眼底画像Ｂの血管を接合線上において、眼底画像ＡとＢのＳ１１１で求めた２つの交点の接合線上での中点で対応血管を接続するために眼底画像Ａ，Ｂそれぞれにおいて該接合線の各連続する２交点を１辺とし、接合線から一定の長さをもう１辺とする長方形を、対応する各連続する２中点を１辺とする台形に変形する処理
Ｓ１１３…変形した眼底画像同士を接合線上で接合する処理
Ｓ１１４…合成画像を表示する処理
Ｓ１１５…合成画像を蓄積する処理
Ｓ１１６…エンド
２０１…複数枚の入力画像
２０２…入力部
２０３…制御部
２０４…特徴抽出部
２０５…相関処理部
２０６…画像合成部
２０７…画像接合部
２０８…画像変形部
２０９…画像蓄積部
２１０…データ蓄積部
２１１…表示部
３０１…眼底画像Ａ
３０２…眼底画像Ｂ
３０３…分岐・交叉点画像Ａ
３０４…分岐・交叉点画像Ｂ
３０５…分岐点
３０６…交叉点
３０７…合成画像
３０８…周辺領域Ｔ_KAi
３０９…交点ＫＡ_i
３１０…周辺領域Ｔ_KBj
３１１…交点ＫＢ_j
３１２…近傍領域Ｄ_KBj
３１３…接合線Ｌ
Ｍ…周辺領域Ｔ_KAiまたは周辺領域Ｔ_KBjの大きさ
Ｎ…近傍領域Ｄ_KBjの大きさ
Ｔ_P1…画像Ａ上の中心Ｐ₁、大きさＭ×Ｍの周辺領域
Ｔ_Q1…画像Ｂ上の中心Ｑ₁、大きさＭ×Ｍの周辺領域
Ｐ₁，Ｐ₂，Ｐ₃，Ｐ₄，Ｐ₅…画像Ａ上で接合線Ｌと各細線化された血管とのそれぞれの交点
Ｑ₁，Ｑ₂，Ｑ₃，Ｑ₄，Ｑ₅…画像Ｂ上で接合線Ｌと各細線化された血管とのそれぞれの交点
Ｔ_P5…画像Ａ上の中心Ｐ₅、大きさＭ×Ｍの周辺領域
Ｔ_Q5…画像Ｂ上の中心Ｑ₅、大きさＭ×Ｍの周辺領域
Ａ₁，Ａ₂，Ａ₃，Ａ₄，Ａ₅…画像Ａ上で接合線上における各血管の連続する２交点（Ｐ₁とＰ_i+1）を１辺とし接合線Ｌから一定距離ｗを別の辺とする矩形領域で接合線と対辺の中点の位置
Ｂ₁，Ｂ₂，Ｂ₃，Ｂ₄，Ｂ₅…画像Ｂ上で接合線上における各血管の連続する２交点（Ｑ_iとＱ_i+1）を１辺とし接合線Ｌから一定距離ｗを別の辺とする矩形領域で接合線と対辺の中点の位置
Ｐ₁，Ｐ₂，Ｐ₃，Ｐ₄，Ｐ₅…画像Ａ上で接合線Ｌと各細線化された血管とのそれぞれ交点
Ｑ₁，Ｑ₂，Ｑ₃，Ｑ₄，Ｑ₅…画像Ｂ上で接合線Ｌと各細線化された血管とのそれぞれの交点
Ｒ₁，Ｒ₂，Ｒ₃，Ｒ₄，Ｒ₅…それぞれ、Ｐ₁とＱ₁の中点，Ｐ₂とＱ₂の中点，Ｐ₃とＱ₃の中点，Ｐ₄とＱ₄の中点，Ｐ₅とＱ₅の中点
Ｐ₀，Ｐ₆，Ｑ₀，Ｑ₆…それぞれ画像Ａ，Ｂの接合線と矩形領域が交わる両端点
６０１…処理画像
６０２…変形合成画像

Claims

撮影角度の異なる複数枚の眼底画像から合成画像を得る眼底画像変形合成装置における眼底画像変形合成方法であって、
同一被験者の視線の異なる複数枚の眼底画像のうちの２枚の眼底画像Ａ，Ｂについて、合成位置を定め該合成位置を合致させて前記２枚の眼底画像を合成する重ね合わせ処理過程と、
前記合致させた合成位置を通る接合線で眼底画像Ａと眼底画像Ｂを接合する過程と、
前記眼底画像Ａおよび眼底画像Ｂにおいて、それぞれ接合線上を通る血管を検出し該接合線と該血管との交点を前記眼底画像Ａおよび眼底画像Ｂそれぞれから求める過程と、
前記接合線と血管との交点を中心とした一定サイズの周辺領域を前述の接合前の眼底画像Ａから取り、該眼底画像Ａの１交点に対応する眼底画像Ｂの交点ペアを見つけるため、該眼底画像Ｂの接合線上で抽出された全ての、または眼底画像Ａの交点から一定の距離の、または血管本数で制限された前記接合線と血管との交点およびその近傍点を中心とした接合前の眼底画像Ｂ上の周辺領域との相関を求め、その相関値が一定値以上で最大の時、該眼底画像Ａの前記血管の１交点と対応する眼底画像Ｂの位置とする交点ペアを見つけるために行う接合線上の交点相関計算処理過程と、
前記接合線上の交点相関計算処理過程を用いて、眼底画像Ａ上における他の全ての前記接合線と血管との交点に対する眼底画像Ｂ上の前記接合線と血管との交点ペアを見つけた後、各相関値を比較し、各対応血管を決定する対応血管決定処理過程と、
眼底画像Ａの前記接合線と血管との交点と、眼底画像Ｂの前記接合線と血管との交点との該接合線上の中点で、前記対応血管同士を接続するために、眼底画像Ａ，Ｂそれぞれにおいて、該接合線上の各連続する２交点を一辺とし、該接合線から一定の長さをもう一辺とする長方形を、対応する該接合線から一定の長さ離れた該接合線と平行な一辺の長さは同一とし、対応する該接合線上の各連続する２中点を一辺とする台形に、変形させる画像変形処理過程と、
前記変形した画像同士を合成する画像変形合成処理過程と、
前記合成された合成画像を表示する過程および前記合成画像を蓄積する過程のいずれか一方または双方とを有する
ことを特徴とする眼底画像変形合成方法。
前記重ね合わせ処理過程では、２枚の眼底画像Ａ，Ｂを任意の位置に重ね合わせ、重なっている領域内の任意の点を合成位置とする
ことを特徴とする請求項１に記載の眼底画像変形合成方法。
前記重ね合わせ処理過程では、ポインティングデバイスを用いて手動で操作者が入力指示を行った２枚の眼底画像Ａ，Ｂについて処理を行う
ことを特徴とする請求項１または２記載の眼底画像変形合成方法。
前記重ね合わせ処理過程では、
同一被験者の視線の異なる眼底画像を複数枚入力する眼底画像入力過程と、
前記入力された複数枚の眼底画像を画像処理により２値化し、血管画像を抽出する過程と、
前記抽出された血管画像を細線化し、血管の交点である分岐点および交叉点を求める過程と、
前記複数枚の眼底画像のうちで合成対象となる２枚の眼底画像Ａ，Ｂのうち、眼底画像Ａ上のある血管の１交点を中心した一定サイズの周辺領域に対する眼底画像Ｂ上で抽出された全ての血管の交点およびその近傍点を中心とした周辺領域との相関を求め、その相関の最大値を眼底画像Ａの前記血管の１交点と対応する眼底画像Ｂの位置とする交点ペアを見つける交点相関計算処理過程と、
前記眼底画像Ａ上の他の各交点に対する眼底画像Ｂ上の交点ペアを見つける前記交点相関処理を行い、見つけた各交点ペアの中で最大でかつある閾値以上の相関値を持つ交点ペアを当該２枚の眼底画像の合成位置とする合成位置決定処理過程と、
前記合成位置決定処理過程で決定された交点ペアの位置を合致させることにより前記２枚の眼底画像を合成する過程とを有する
ことを特徴とする請求項１または２または３記載の眼底画像変形合成方法。
請求項１から請求項４に記載の眼底画像変形合成方法における過程をコンピュータに実行させるプログラムを、
該コンピュータが読み取り可能な媒体に記録した
ことを特徴とする眼底画像変形合成プログラムを記録した記録媒体。
撮影角度の異なる複数枚の眼底画像から合成画像を得る眼底画像変形合成装置であって、
同一被験者の視線の異なる複数枚の眼底画像を入力し、それらのうちの２枚の眼底画像Ａ，Ｂについて、合成位置を定め該合成位置を合致させて前記２枚の眼底画像を合成する重ね合わせ処理手段と、
前記合致させた合成位置を通る接合線で眼底画像Ａと眼底画像Ｂを接合する手段と、
前記眼底画像Ａおよび眼底画像Ｂにおいて、それぞれ接合線上を通る血管を検出し該接合線と該血管との交点を前記眼底画像Ａおよび眼底画像Ｂそれぞれから求める手段と、
前記接合線と血管との交点を中心とした一定サイズの周辺領域を前述の接合前の眼底画像Ａから取り、該眼底画像Ａの１交点に対応する眼底画像Ｂの交点ペアを見つけるため、該眼底画像Ｂの接合線上で抽出された全ての、または眼底画像Ａの交点から一定の距離の、または血管本数で制限された前記接合線と血管との交点およびその近傍点を中心とした接合前の眼底画像Ｂ上の周辺領域との相関を求め、その相関値が一定値以上で最大の時、該眼底画像Ａの前記血管の１交点と対応する眼底画像Ｂの位置とする交点ペアを見つけるために行う接合線上の交点相関計算処理手段と、
前記接合線上の交点相関計算処理手段を用いて、眼底画像Ａ上における他の全ての前記接合線と血管との交点に対する眼底画像Ｂ上の前記接合線と血管との交点ペアを見つけた後、各相関値を比較し、各対応血管を決定する対応血管決定処理手段と、
眼底画像Ａの前記接合線と血管との交点と、眼底画像Ｂの前記接合線と血管との交点との該接合線上の中点で、前記対応血管同士を接続するために、眼底画像Ａ，Ｂそれぞれにおいて、該接合線上の各連続する２交点を一辺とし、該接合線から一定の長さをもう一辺とする長方形を、対応する該接合線から一定の長さ離れた該接合線と平行な一辺の長さは同一とし、対応する該接合線上の各連続する２中点を一辺とする台形に、変形させる画像変形処理手段と、
前記変形した画像同士を合成する画像変形合成処理手段と、
前記合成された合成画像を表示する手段および前記合成画像を蓄積する手段のいずれか一方または双方とを有する
ことを特徴とする眼底画像変形合成装置。
前記重ね合わせ処理手段では、２枚の眼底画像Ａ，Ｂを任意の位置に重ね合わせ、重なっている領域内の任意の点を合成位置とする
ことを特徴とする請求項６に記載の眼底画像変形合成装置。
前記重ね合わせ処理手段では、ポインティングデバイスを用いて手動で操作者が入力指示を行った２枚の眼底画像Ａ，Ｂについて処理を行う
ことを特徴とする請求項６または７記載の眼底画像変形合成装置。
前記重ね合わせ処理手段では、
同一被験者の視線の異なる眼底画像を複数枚入力する眼底画像入力手段と、
前記入力された複数枚の眼底画像を画像処理により２値化し、血管画像を抽出する手段と、
前記抽出された血管画像を細線化し、血管の交点である分岐点および交叉点を求める手段と、
前記複数枚の眼底画像のうちで合成対象となる２枚の眼底画像Ａ，Ｂのうち、眼底画像Ａ上のある血管の１交点を中心した一定サイズの周辺領域に対する眼底画像Ｂ上で抽出された全ての血管の交点およびその近傍点を中心とした周辺領域との相関を求め、その相関の最大値を眼底画像Ａの前記血管の１交点と対応する眼底画像Ｂの位置とする交点ペアを見つける交点相関計算処理手段と、
前記眼底画像Ａ上の他の各交点に対する眼底画像Ｂ上の交点ペアを見つける前記交点相関処理を行い、見つけた各交点ペアの中で最大でかつある閾値以上の相関値を持つ交点ペアを当該２枚の眼底画像の合成位置とする合成位置決定処理手段と、
前記合成位置決定処理手段で決定された交点ペアの位置を合致させることにより前記２枚の眼底画像を合成する手段とを有する
ことを特徴とする請求項６または７または８記載の眼底画像変形合成装置。