WO2013054590A1 - 眼底画像解析装置、眼底画像解析方法及びプログラム - Google Patents

Abstract

複数の眼底画像データの中で１つを基準眼底画像データに設定し、前記基準眼底画像以外の各眼底画像データに対して、倍率、角度、位置の各補正パラメータを設定し、前記各補正パラメータに基づいて、倍率補正、角度補正、位置補正を施し、補正眼底画像データを作成する眼底画像整合部と、前記基準眼底画像データと前記補正眼底画像データとに対して同じ画像処理を加えてモノクロ画像に変換し、前記基準眼底画像データと前記補正眼底画像データとを合成した合成画像を作成する合成画像作成部と、前記合成画像作成部で作成されたカラー合成画像に基づいて、前記眼底画像整合部と前記合成画像作成部とにおける処理を繰り返し、前記縦横別の倍率、角度、位置の各補正パラメータを眼底画像データごとに決定する補正パラメータ決定部と、決定された前記補正パラメータに基づいて、少なくとも１の補正眼底画像データを作成する補正眼底画像データ作成部とを有することを特徴とする眼底画像解析装置。

Description

眼底画像解析装置、眼底画像解析方法及びプログラム

本発明は眼底画像解析技術に関し、特に、強度近視の経時変化を解析する眼底画像解析装置に関する。

　眼科疾患でポピュラーな近視の中に、眼球後極の組織が変性して眼軸が伸び、強度な近視の症状を呈し、場合により失明に至る重篤な疾患「強度近視」が知られている。
　現状では、強度近視に対する根治術としては、下記特許文献１に記載の発明などがあるが、まだ研究段階であり、実際には、薬物療法や外科治療により病態の症状や進行を抑える対症療法しかないのが現状である。従って、強度近視の治療にあたっては、早期発見が重要となり、基本的には、眼底カメラなどによる継続的な撮影画像に基づく診断がなされることになる。
　眼底カメラ等による撮影画像による画像解析技術としては、以下のような技術が知られている。
（特許文献２）「画像重ね合わせ方法」、ＮＴＴ
　特許文献２では、基準点に使用しても問題無い特徴点を優先順位付けし、かつ基準点に使用するのに適切でない特徴点を画像モダリティ（眼底カメラ像など）ごとにデータベース登録する。優先順位の高い特徴点を数点用いて位置合わせを行う。
（特許文献３）「網膜画像による個人認証方式」、岩崎学園
　また、特許文献３の網膜認証では乳頭部近傍は変動が少ないという前提で、乳頭部を特徴点に設定されがちである。
　また、眼科用の画像処理技術としては、例えば、以下のものがある。
（特許文献４）「眼科用画像処理方法と記憶媒体」、キャノン
　特許文献４では、画像の低周波成分を解析してシェーディング補正を施すことにより、照明条件の相違がある、または照明ムラがある画像どうしで比較照合を可能にする方法が提案されている。
（特許文献５）「眼底画像処理装置」、ニデック
　特許文献５では、乳頭の経時変化解析として、乳頭外縁のディスクラインと血管が陥凹するカップラインの乳頭中心から放射方向の距離比Ｃ／Ｄ比とＲ／Ｄ比（ＲはＤ−Ｃの幅）を算出する方法を提案している。画像の位置・倍率・角度が整合していなくても、比率で評価すれば不整合による影響を受けない。

特表２００７−５３６２７２号公報 特開平９−１９２１０６号公報 特開２００８−２０６５３６号公報 特開２００３−０１０１３１号公報 特開２０１１−０８３５５５号公報

　上記特許文献２では、同一の画像モダリティ（眼底カメラ）で取得された画像同士の重ね合わせが前提となるため、異なるカメラを用いた場合には適用できない。
　また、特許文献３の網膜認証では、基準となる特徴点として乳頭部が設定される可能性が高いが、強度近視など病態によっては、乳頭部の変動が最も大きい場合があり、基準となる特徴点の選択に関する優先順位は固定的でなく、病態の進行とともに変化する場合に、適用しにくいという問題がある。
　また、特許文献４で提案されている手法では、主対象としている白斑の生長度合いの解析は可能であるが、位置・倍率・角度などの幾何学的条件の整合性は高周波成分を用いないと合わせることできないため、眼球血管走行・乳頭形状の経時変動の解析を行うことは難しい。
　特許文献５に記載の技術を強度近視に適用しようとすると、乳頭自体の拡大・縮小・楕円変形が発生することが定性的に知られており、先発明手法では乳頭自体の絶対寸法の変動を解析できないという問題がある。
　強度近視は、２０年以上の長期に渡るタイムスパンで病態が徐々に進行するため、眼底カメラ等を用いて長期経過の観察が行われることが望ましい。しかし、次の２つの問題からその実施を困難にしている。
　医師法２４条２項によると、「…病院又は診療所に勤務する医師のした診療に関するものは、その病院又は診療所の管理者において、その他の診療に関するものは、その医師において、５年間これを保存しなければならない。」とあり、換言すると、５年を経過したカルテは医療機関から廃棄される可能性が高く、更に医療画像（Ｘ線画像、眼底画像等のフィルム媒体）に対しては５年までの保管義務は無く、保管スペースの制約から、大学病院など研究機関を除き、その前段階で廃棄される可能性が高い。
　また、過去２０年の間に医療画像はアナログ（フィルム媒体）からデジタル（コンピュータのデータ）に大きく変革を遂げ、撮影技術も年々劇的に進歩しているため、仮に画像が保存されていたとしても、２０年前に撮影された画像と現状の画像とを定量的に比較することは困難である。
　先の保存期間の問題に対しては、世界的にカルテの一元化と生涯電子カルテの方向に制度転換がなされようとしているので（ＥＨＲと呼ばれ海外先進国では既に稼動している）、それが実現すれば将来的には解決する。
　一方、過去に撮影された眼底画像と比較照合する技術は、医療分野だけでなく特許文献３を筆頭に、ＩＴ情報セキュリティ分野におけるバイオメトリックス認証への応用としても研究されてきた。しかし、当分野では原則同一機種のカメラで撮像された比較的年代が近い画像どうしの比較で、本願の分野にそのまま適用できるものではない。また、特開平９−１９２１０６「画像重ね合わせ方法」（ＮＴＴ）のように、過去の眼底カメラ画像と血管像を比較して、動脈硬化の進展度合いなどを調べる方法も提案されているが、集団検診を目的にしているため、同様に比較対照とする過去画像は１・２年前の画像どうしの比較で、本願の分野にそのまま適用できるものではない。
　本発明は、使用されたカメラの機種や撮像条件の異なる眼底画像を整合させ、各種部位の寸法比較等を可能にする画像解析技術を提供することを目的とする。
　本願では、与えられた同一被験者の複数の眼底画像に対して、各々眼底像を大雑把に切り出し、全ての画像サイズを同一にする。そして、最新の画像を基準にして、その他の各画像に対して、倍率補正、角度補正、位置補正の順に線形なアフィン変換を加える。倍率・角度・位置の補正パラメータについては、画面と対話しながら試行錯誤で決定する。この対話作業を支援するため、各眼底画像に対して乳頭・血管パターンなどが鮮明になるようにモノクロ化し、２つの画像を重ね合わせ、画面上で整合性を確認できるようにする。どこを基準に合わせるかは、眼科医等が試行錯誤を重ねながら選択できるようにする。
　本発明の一観点によれば、複数の眼底画像データの中で１つを基準眼底画像データに設定し、前記基準眼底画像以外の各眼底画像データに対して、縦横別の倍率、角度、位置の各補正パラメータを設定し、前記各補正パラメータに基づいて、縦横別の倍率補正、角度補正、位置補正を施し、補正眼底画像データを１点以上作成する眼底画像整合部と、前記基準眼底画像データと前記補正眼底画像データとに対して同じ画像処理を加えてモノクロ画像に変換し、前記基準眼底画像データと選前記補正眼底画像データとを合成したカラー合成画像を作成する合成画像作成部と、前記合成画像作成部で作成されたカラー合成画像に基づいて、前記眼底画像整合部と前記合成画像作成部とにおける整合処理を繰り返すことにより、前記縦横別の倍率、角度、位置の各補正パラメータを眼底画像データごとに決定する補正パラメータ決定部と、決定された前記補正パラメータに基づいて、少なくとも１の補正眼底画像データを作成する補正眼底画像データ作成部と、を有することを特徴とする眼底画像解析装置が提供される。
　さらに、複数の眼底画像の中でアナログ画像からデジタル画像データを作成する画像デジタル化部と、前記各デジタル画像データに対して、眼底に対応する領域をトリミングし、所定の画素数で構成される画像データになるよう縦横同一倍率パラメータで変倍処理を施し、サイズが統一化された眼底画像データに変換する眼底画像前処理部と、を有することが好ましい。
　前記眼底画像前処理部は、前記デジタル画像データを画面に表示し、表示されている画像上で眼底に対応する領域を特定の図形で指示することにより、前記変倍処理の縦横同一倍率パラメータを設定することが好ましい。
　前記眼底画像整合部は、前記基準眼底画像データと前記補正眼底画像データの各々を表示画面に表示させ、眼球の輪郭に略沿うように図形を表示させ、当該図形の領域の大きさが同じになるように調整することで、前記縦横倍率の補正パラメータを設定することが好ましい。
　前記眼底画像整合部は、前記基準眼底画像データと前記補正眼底画像データとのそれぞれを画面に表示させ、表示されている双方の画像上で対応する位置にそれぞれ表示させた第１及び第２の基準線の平行度を同じにするように操作部で回転させる指示をすることにより、前記操作部において回転させた角度を角度の補正パラメータとして設定するようにしていることが好ましい。
　前記眼底画像整合部は、前記基準眼底画像データと前記補正眼底画像データとのそれぞれを画面に表示させ、表示されている双方の画像上で対応する位置にそれぞれ表示させた第１及び第２の基準点が同じ位置になるように操作部で平行移動させる指示をすることにより、前記操作部において移動させた位置を前記位置の補正パラメータとして設定するようにしていることが好ましい。
　上記において、前記合成画像作成部は、ＲＧＢ３原色の中でいずれか１つまたは２つの原色を選択して、互いに異なる原色セットを２種選択し、選択された原色セットの一方をモノクロ画像に変換された前記基準眼底画像データに割り当て、選択された原色セットの他方をモノクロ画像に変換された前記補正眼底画像データに割り当て、各々の原色セットで着色された前記基準眼底画像データと前記補正眼底画像データとを合成して前記カラー合成画像を作成することが好ましい。
　前記合成画像作成部は、前記所定の画像処理として、グレースケール変換、ネガポジ反転、階調伸張処理を施すことが好ましい。また、前記眼底画像整合部において、倍率補正後に角度補正を行うようにすると良い。
　本発明の他の観点によれば、複数の眼底画像データの中で１つを基準眼底画像データに設定し、前記基準眼底画像以外の各眼底画像データに対して、縦横別の倍率、角度、位置の各補正パラメータを設定し、前記各補正パラメータに基づいて、（縦横別の）倍率補正、角度補正、位置補正を施し、補正眼底画像データを１点以上作成する眼底画像整合ステップと、前記基準眼底画像データと前記補正眼底画像データとに対して同じ画像処理を加えてモノクロ画像に変換し、前記基準眼底画像データと前記補正眼底画像データとを合成したカラー合成画像を作成する合成画像作成ステップと、前記合成画像作成部で作成されたカラー合成画像に基づいて、前記眼底画像整合部と前記合成画像作成部とにおける整合処理を繰り返すことにより、前記縦横別の倍率、角度、位置の各補正パラメータを眼底画像データごとに決定する補正パラメータ決定ステップと、決定された前記補正パラメータに基づいて、少なくとも１の補正眼底画像データを作成する補正眼底画像データ作成ステップと、を有することを特徴とする眼底画像解析方法が提供される。
　本発明は、上記に記載の眼底画像解析方法を、コンピュータに実行させるためのプログラムであっても良く、当該プログラムを記録するコンピュータ読みとり可能な記録媒体でも良い。
　本発明で提案する画像整合手法は、安価な汎用パーソナルコンピュータのソフトウェアで実現することができ、ＧＰＵなど特殊なグラフィックスボードの増設も必要としない。また、画像入力系も安価なフィルムスキャナがあれば過去に撮影された各種眼底写真を入力でき、既設の眼底カメラからの画像もそのまま取り込める。また、過去に撮影された画像の撮像条件が不明でも、フィルムや画像データさえ残っていれば、互いに整合させることができる。即ち、本願発明は、大規模なハードウェア設備の投資をすることなく、各種医療機関に散在して保存されている同一患者の眼底写真を用いて、「強度近視」の経時変化解析を実現できる。
　本明細書は本願の優先権の基礎である日本国特許出願２０１１−２２６３０７号の明細書および／または図面に記載される内容を包含する。

　図１は、本発明の一実施の形態による画像解析装置（時系列照合装置）の一構成例を示す機能ブロック図である。
　図２は、本実施の形態による画像解析技術を用いた眼底カメラ画像による時系列画像解析方法の概要を示す図である。
　図３は、全画像のサイズの統一化処理の様子を示す図である。
　図４は、基準画像を最新年代の画像とした場合における、その基準画像を基準に全ての処理対象画像に関する整合処理の流れを示すフローチャート図である。
　図５は、眼底画像整合部による画像の整合処理の詳細を示すフローチャート図であり、２枚の画像の画像データの整合処理の流れを示す図である。
　図６は、画像の整合処理の詳細を示す図であり、眼球全体が画面に表示されており、その倍率補正処理の内容を示す図である。
　図７Ａは、倍率補正の対話型処理の一例を示す図である。
　図７Ｂは、倍率補正の対話型処理の一例を示す図である。
　図８は、図６又は図７Ａ・図７Ｂの方法で眼球の倍率を整合させた画像Ａ及び画像Ｃの角度補正処理の内容例を示す図である。
　図９は、角度補正の対話型処理の一例を示す図である。
　図１０は、角度補正の対話型処理の一例を示す図である。
　図１１は、２画像の整合処理のうち位置補正処理の内容を示す図である。
　図１２は、基準画像Ａ’と入力画像２Ｄ’について、両者の位置が同じになるように位置補正を行う様子を示す図である。
　図１３は、図５のオーバーレイ表示（Ｓ３−３−６）の詳細を示す図である。
　図１４は、図５のオーバーレイ表示（Ｓ３−３−６）の詳細を示す図であり、図１３に続く図である。
　図１５は、２画像のオーバーレイ表示（ステップＳ３−３−６）の処理の詳細を示す図である。
　図１６は、時系列の眼底写真のサンプル例を示す図である。
　図１７は、１９８９年にフィルムカメラで撮影された写真と２０１０年の最新画像であり、上が生の写真、下が、２０１０年の最新画像に基づいて倍率と角度とを補正した写真であり、真ん中の写真がオーバーレイ画像である。
　図１８は、２画面眼底カメラ画像の整合処理操作例を示す図であり、倍率と角度（回転）の数値を指定している画面である。
　図１９は、２画面眼底カメラ画像の整合処理操作例（２：対話型補正）を示す図であり、左の第１画像が２０１０年のＬ画像で、真ん中のオーバーレイ画像では赤色の画像であり、右の第２画像が１９８９年のＬ画像で、真ん中のオーバーレイ画像では緑色の画像であり、倍率と角度を補正したことにより、真ん中のオーバーレイ画像での血管まで非常に良く一致させることができており、病変部位の変化の様子の詳細な写真である。
　図２０は、２画面眼底カメラ画像の整合処理操作例（３：自動補正）を示す図であり、左右画像に対応する特徴点２カ所に菱形のマーキングを行った様子を示す図である。
　図２１は、２画面眼底カメラ画像の整合処理操作例（４）を示す図であり、左右画像に対応する特徴点２カ所に菱形等（十字マーク等でも良い）のマーキングに基づく自動位置補正に様子を示す図である。
　図２２は、２画面眼底カメラ画像の整合処理操作例（５）を示す図であり、自動的な位置補正後のオーバーレイ像を表示した図である。
　図２３は、整合処理終了後の時系列眼底カメラ画像の例を示す図である。
　図２４は、整合化終了後の時系列画像解析例を示す図であり、図２３等に基づいて、その患部を拡大した写真を示す図である。
　図２５は、制御処理終了後の時系列画像解析例（２）を示す図であり、２０１０年の画像と１９８９年の画像とについて、菱形の図形を画定し、菱形を目安に整合させることで、真ん中の画像のように、オーバーレイ像を生成した例を示す図であり、Ｒｅｄ画像とＧｒｅｅｎ画像とを重ね合わせて、病変の時間変化を見た図である。

　以下、本発明の実施の形態による画像解析装置について、眼底写真に基づく強度近視の症状の解析を例にして図面を参照しながら説明を行う。
　まず、眼底画像どうしの比較照合における変動要因として、以下が挙げられる。
（１）被写体自体の変動（強度近視、緑内障などの病態進行）
・眼球の拡大・縮小（強度近視では眼球後部の拡大）
・眼球の回旋（眼軸中心の回転）
・眼球のＸ軸またはＹ軸中心の回転：撮影画像の縦横倍率に影響
・眼球血管走行の変動
　動脈硬化による変形、血管分岐点の変動、新生血管の発生
・視神経乳頭の変形
・眼軸長の変化：撮影画像の倍率に影響
（２）カメラ撮影条件の変動
・カメラ機種の相違（アナログ・デジタル方式）
・撮影時の倍率の相違
・撮影時のアングルの相違
・照明光の色温度の変動
　これに対して、例えば眼球血管走行の経時変動を解析したい場合、位置合わせの基準点（変化しない点）をどこに設定するべきかが重要である。
　図１は、本実施の形態による画像解析装置（時系列照合装置）の一構成例を示す機能ブロック図である。図１に示すように、画像解析装置（時系列画像照合装置を含む。）１は、眼底画像をデジタル化する画像デジタル化部３と、眼底画像のトリミングやサイズの統一等を行う眼底画像前処理部５と、基準となる眼底画像と解析対象となる眼底画像との画像を整合する眼底画像整合部７と、整合した画像を合成する合成画像作成部１１と、２つの画像を整合させるための補正パラメータを決定する補正パラメータ決定部１５と、補正眼底画像データ作成部１７と、記憶部（メモリ）１９と、を有している。
　この画像解析装置１は、眼底カメラを用いて同じ被験者に対して、時期を変えてカラーまたはモノクロで撮影された複数の眼底画像の経時変化を解析するための眼底画像の時系列照合装置を含む。
　画像デジタル化部３は、複数の眼底画像のうちフィルム媒体で記録されている眼底画像等をデジタル化し、デジタル画像データを作成する。
　眼底画像前処理部５は、各デジタル画像データに対して、眼底に対応する領域をトリミングし、所定の画素数で構成される画像データになるよう縦横同一倍率パラメータで変倍処理を施し、サイズが統一化された眼底画像データに変換する。
　眼底画像整合部７は、デジタル変換された複数の眼底画像データの中で、少なくとも１つを基準眼底画像データに設定し、基準眼底画像以外の各眼底画像データに対して、縦横別の倍率、角度、位置の各補正パラメータを設定し、縦横別の倍率補正、角度補正、位置補正を施し、補正眼底画像データを１点以上作成する。
　合成画像作成部１１は、基準眼底画像データおよび１つまたは複数の補正眼底画像データの各々に所定の画像処理を加えてモノクロ画像に変換し、基準眼底画像データと選択された１点の補正眼底画像データとを合成したカラー合成画像を作成する。
　補正パラメータ決定部１５は、合成画像作成部１１で作成されたカラー合成画像に基づいて、眼底画像整合部７と合成画像作成部１１との処理を適宜繰り返し、縦横別の倍率、角度、位置の各補正パラメータを、眼底画像データごとに決定する。
　補正眼底画像データ作成部１７は、決定された各補正パラメータに基づいて、１つまたは複数の補正眼底画像データを作成する。
　画像解析装置１は、実際には、処理を行うＣＰＵ１ａと、処理のアルゴリズムを記述したアプリケーションプログラムと、処理によって得られるパラメータなどのデータ類を格納する記憶部１９、画像データ等の入力部２１、画像の出力部２３などを含む一般的なパーソナルコンピュータ（ＰＣ）により実現することができる。また、全ての機能部が必須ではなく、例えば、画像デジタル化部などは、他のスキャナ装置によって代用することが可能であり、入力部２１や出力部２３も、本体とは別に設けられていても良い。
　図２は、本実施の形態による画像解析技術を用いた眼底カメラ画像による時系列画像解析方法の概要を示す図である。図２に示す画像解析方法では、時系列の複数の眼底写真を準備する。ここで、眼底写真は、アナログフィルム、デジタル画像データ等、が混在していて良い。
　まず、ステップＳ１において、同じ対象の眼底写真の画像データの中から、フィルム媒体、或いは、媒体に印刷したデジタル画像など（以下、「媒体画像」と称する。）を抽出する。そして、この媒体画像を、画像デジタル化部３が、フィルムスキャナなどを利用して、デジタル画像データに変換する。これにより、全ての画像データを、デジタル画像データにする。
　次いで、ステップＳ２において、眼底画像前処理部５が、全てのデジタル画像データの、縦サイズを統一する。
　図３は、全画像のサイズの統一化処理の様子を示す図である。まず。左上のスキャニング後の原画像（４８２３×３７８４画素）が得られているとする。但し、例えばフィルム写真では、符号Ｔで示すような、撮影年月日情報等が映っていたりすることがある。そこで、眼底画像前処理部５が、原画像から眼底写真部分以外を除くトリミングを行う。実際には、周辺の部分を除くような処理でも良い。すると、右上のような、トリミング後の画像が得られる（４８２３×３７８４画素）。次いで、右下図のように、眼底画像前処理部５が、画像の画素数を統一するため、画像の拡大・縮小処理を行う。ここでは、縦を１０２４画素に統一している。横の１１３９という画素数は、縦方向の統一に依存して変化する。横方向に比べて縦方向にはトリミングの対象となるようなノイズが少ないため、縦方向を基準とすることが好ましい。
　次に、ステップＳ３において、眼底画像整合部７が、例えば最新年代の画像を基準に、同じ対象の眼底写真の例えば全画像の整合処理を行う。最新年代の画像が、技術的にも最も安定していると考えられることから、例として最新年代の画像を基準としたが、安定した画像であれば、それを用いて良い。２以上の画像に基づく整合処理を行うようにしても良い。この処理については、後述する。
　次いで、ステップＳ４において、補正パラメータ決定部１５等が各画像の対応する特徴箇所のパラメータ、長さ、面積、角度（血管、乳頭の径など）を計測し決定する。この処理についても後述する。
　図４は、基準画像を最新年代の画像とした場合における、その基準画像を基準に全ての処理対象画像に関する整合処理の流れを示すフローチャート図である。
　まず、ステップＳ３−１において、時系列の１、…、Ｎ枚の眼底画像データ（画像の縦サイズを統一した後、Ｎ枚目を最新画像とする）を準備する。
　次いで、ステップＳ３−２において、まず、Ｐ＝１、すなわち、１枚目の画像データを取り出し、ステップＳ３−３において、眼底画像整合部７が、Ｎ枚の眼底画像データとＰ枚目の眼底画像データとの整合処理を行う。次いで、ステップＳ３−４において、Ｐに１をインクリメントし、ステップＳ３−５において、Ｐ＜Ｎを判断し、Ｎｏであれば、処理を終了し（Ｅｎｄ）、Ｙｅｓであれば、ステップＳ３−３に戻り、処理を継続する。ステップＳ３−３においては、整合処理で求めた整合条件パラメータと整合処理後のＰ枚目の補正（整合後の）画像データを出力部２３に出力する。
　図５は、眼底画像整合部７による画像の整合処理（ステップＳ３−３）の処理の詳細を示すフローチャート図であり、２枚の画像の画像データの整合処理の流れを示す図である。まず、画像デジタル化部３でデジタル化され、眼底画像前処理部５で図２のような前処理が行われた２枚の画像データを用い、眼底画像整合部７が整合処理を行う。まず、２枚の入力画像データを取得し（ステップＳ３−３−１）、ステップＳ３−３−２において倍率補正を行う。
　次いで、ステップＳ３−３−３において、角度補正を行う。ステップＳ３−３−４において、特徴点２点を指定し、ステップＳ３−３−５において位置補正を行う。これらのＳ３−３−２、Ｓ３−３−３、Ｓ３−３−５の３種の補正の順序は、操作性や補正精度に大きな影響を与えるため、最適な順序で行う必要がある。まず、Ｓ３−３−５の位置補正は、どの段階で行っても精度的に顕著な差異は生じないが、操作性の面で最後に行う方が良い。これに対して、Ｓ３−３−２とＳ３−３−３は順序により精度的に顕著な差異が生じる。補正を必要とする要因には、前述した（１）被写体自体の変動と（２）カメラ撮影条件の変動があり、基本的に補正順序は、（２）カメラ撮影条件の変動に対する補正、（１）被写体自体の変動に対する補正の順になる。（２）カメラ撮影条件の変動としては、カメラの倍率と撮影時のアングルの２種があるが、調査の結果が前者の与える影響が顕著であることが判明した。一方、（１）被写体自体の変動としては、眼球の拡大・縮小、眼球の回旋（眼軸中心の回転）、眼球のＸ軸またはＹ軸中心の回転がある。眼球の拡大・縮小は強度近視の場合、眼軸方向に後部に拡大が発生するため、倍率や角度には殆ど影響を与えない。また、眼球のＸ軸またはＹ軸中心の回転は撮影画像の縦横倍率に影響するが、（２）カメラ撮影条件の変動におけるカメラの倍率に比べると影響は小さい。従って、（１）被写体自体の変動としては、眼球の回旋（眼軸中心の回転）が最も影響が大きい。これらのことから、（２）カメラ撮影条件の変動に対する補正として倍率補正（カメラの倍率に起因）を先に行い、（１）被写体自体の変動に対する補正として角度補正（眼球の回旋に起因）を行う順序とすると、精度の面でも操作性面でも良好な結果が得られる。
　次いで、ステップＳ３−３−６において、合成画像作成部１１が、２枚の画像のオーバーレイ表示を行う。ステップＳ３−３−７で、整合したか否かを確認し、ＮｏであればステップＳ３−３−２に戻り、Ｙｅｓであれば、補正パラメータ決定部１５が補正パラメータを決定し、ステップＳ３−３−８において、整合処理した画像データと、倍率・角度・位置パラメータを出力する。補正された画像は、補正眼底画像データ作成部１７により、原画像と補整パラメータ等に基づいて作成することができる。
　図６は、画像の整合処理（ステップＳ３−３−２）の詳細を示す図であり、眼球全体が画面に表示されており、その倍率補正処理の内容を示す図である。入力画像１（基準画像）（Ａ）の眼球２１ａの画像と、入力画像２（Ｂ）の眼球２１ｂの画像とに基づいて、以下の式を用いて、倍率補正を行う。ここで、例えば、Ｘ方向は２００％、Ｙ方向は１２５％などと求まった倍率係数ｓｘ、ｓｙにより、補正後の入力画像２（Ｃ）の眼球２１ｃが示される。このタイミングで、倍率係数ｓｘ、ｓｙを画像とともにメモリに記憶する。

　倍率補正の他の処理例を示す。図７Ａ及び図７Ｂは、倍率補正の対話型処理の一例を示す図である。ここで、ソフトウェアとして表示画面上にはＸＹ座標が画定されており、表示画面に図形等を描画すると、その図形の頂点等により図形の位置座標がメモリに記憶されるようになっている。このようなソフトウェアは一般的な図形ソフトにより実現できる。ここで、図７Ａの出発画像は、図６と同じである。ここで、画面に表示されている背景２３ａ、２３ｂ内に、２つの入力画像（眼球）２１ａ、２１ｂについて、（Ａ’）、（Ｂ’）に示すように、画面上で２画像に対応する領域２点を指定する。ここでは、菱形を指定している（Ａ’、Ｂ’）。菱形の代わりに、長方形などの矩形の領域を用いることができる。
　画面Ａ’では、楕円形の眼球の輪郭に沿ってテンプレートとして用意されている菱形２５ａの４つの頂点が輪郭とほぼ一致するように領域をマウスの入力部２１により、出力部２３のディスプレイ画面上で指定する。画面Ｂ’では、同様に、菱形２５ｂのテンプレートが、Ｘ方向、Ｙ方向にやや眼球の輪郭より大きめになるように配置して指定する。大きめの寸法を、それぞれ、Ｌ１~Ｌ４までとする。Ｌ１からＬ４までは、記憶部１９に記憶される。ここで、大きめに設定する理由は、後述する角度補正によりＸ方向またはＹ方向の寸法に若干の短縮が発生する場合が多いためである。角度が見かけ上、顕著に異なっている場合は、大きめにする度合いを強くした方が照合しやすくなる。
　次いで、図７Ｂに示すように、菱形２５ａ、２５ｂの各頂点を（Ｘ１１，Ｙ１１）から（Ｘ１４，Ｙ１４）、（Ｘ２１，Ｙ２１）から（Ｘ２４、Ｙ２４）とし、下記の式に基づいて、係数Ｓｘ、Ｓｙを求める。これにより、倍率補正後のＸ’、Ｙ’を求めることができる。ここで、入力画像２の（Ｂ’）を、（Ｃ）のように拡大させて表示させる（眼球の輪郭２１ｂ−１）。この図は、図６の整合後の画像２１ｃに相当する。図６の処理との違いは、図６の処理がコンピュータソフトウェアの図形ソフトにより自動的に拡大・縮小するのに対して、図７Ａ・図７Ｂの処理が、ユーザの画面上での試行錯誤の処理により基準画像に合うように寸法を拡大・縮小する点である。

　この例では、Ｓｘ＝２００％、Ｓｙ＝１２５％であり、これらの値を、画像とともに記憶部１９に記憶する。
　図８は、図６又は図７Ａ・図７Ｂの方法で眼球の倍率を整合させた画像Ａ及び画像Ｃの角度補正処理の内容例を示す図である。画像Ａを楕円とすると、画像Ａの楕円は、その長軸がｘ軸に平行に配置されている。一方、画像Ｃに示す楕円の長軸がｘ軸と平行でないとすると、角度を整合させる必要がある。そこで、両画像Ａ・Ｃの長軸の成す角度θを求める。例えば、この例では、θ＝２０度である。
　そこで、下記の式を用いて、画像Ｃの角度補正を行い、両画像Ａ・Ｃの長軸が一致するように画像Ｃの座標（Ｘ’，Ｙ’）を求めることができ、画像Ｄのように角度補正された画像となる。このθの値も、記憶部１９に記憶する。

　角度補正の他の処理例を示す。図９及び図１０は、角度補正の対話型処理の一例を示す図である。図９の出発画像Ｃは、図８と同じである。次いで、画面上で基準画像Ａと入力画像Ｃとについて、２つの画面に対応する２つの図形を入力部２１により描画（指定）する。ここで、図９では、Ｌ５、Ｌ６、Ｌ５’、Ｌ６’を対角線とする菱形の図形を画面上に指定する例について示しているが、長い方の対角線Ｌ５、Ｌ５’に相当する直線でも良い。これらの直線Ｌ５、Ｌ５’を楕円の長軸に合わせるようにマウスで移動させ、基準画像Ａ’と、入力画像２Ｃ’とに菱形又は直線を表示・描画する。ここでは、入力画像２Ｃ’に指定される直線又は菱形の絶対寸法は角度補正に関係しないので、いかように設定してもよいが、操作上見やすくするために、楕円よりも大きめに指定している。
　次いで、図１０に示すように、直線Ｌ５と直線Ｌ６との交差角を０とするように、菱形の対角座標（Ｘ１１，Ｙ１１）と（Ｘ１２，Ｙ１２）、（Ｘ２１，Ｙ２１）と（Ｘ２２、Ｙ２２）とを調整する。ここでは、例えば、角度の差θが２０度であり、Ｘ’、Ｙ’を下記の式により求める。求めた値をメモリに記憶させる。

　このようにして、入力画像２について、画像Ｄに示すように角度補正することで、入力画像１と長軸の角度が同じになる（長軸同士の成す角度は０になる）ように補正する。
　この際、補正後の画像Ｄの座標値と、補正角度θをメモリに記憶しておく。
　次に、画像の位置補正処理について説明する。図１１は、２画像の整合処理のうち位置補正処理の内容を示す図である。
　入力画像１（Ａ）である基準画像に合わせて、入力画像２である比較対象画像Ｄを位置補正する場合に、まず、画面上で２画像において、対応する特徴点を少なくとも２点指定する。ここでは、楕円形の左端の点（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）を指定する（Ａ’，Ｄ’）。
　次いで、図１２に示すように、基準画像Ａ’と入力画像２Ｄ’について、両者の基準点の位置が同じになるように位置補正を行う（逆に、基準点以外の位置は必ずしも同じにならなくても良い）。ここでは、基準画像Ａ’に対して入力画像２Ｄ’を、Ｘ方向に−４３、Ｙ方向に−８５することで基準点の位置が一致するため、画像Ｅのように補正することができる。すなわち、入力画像２Ｄ’は、以下の変換式により、位置補正を行うことができる。

　次いで、図１３、図１４に示すように、図５のオーバーレイ表示（Ｓ３−３−６）を行う。図１３の、基準画像Ａと入力画像２（Ｅ）の各々に異なる色で着色しオーバーレイ画像上で色分けして区別できるように描画する（Ｆ）。基準画像Ａと入力画像２（Ｅ）とにおいて、眼球の特徴パターン２１ａと２１ｂ−５とを重ねる処理を行う。尚、図１３のＦでは、説明を簡単にするため、楕円の輪郭線を重ねているように図示しているが、実際は、図１７に示されるように楕円の内部を含む特徴パターンを重ねている。この際、重なり程度が良くわかるように、例えば、前者の画像を赤色、後者の画像を緑色などと視覚的に識別可能な形態で、すなわち、カラー画像で表示すると良い。
　次いで、図１４に示すように、重ね合わせ画像Ｆにおいて、整合性が良いかどうかを、楕円の特徴パターンの一致度に基づいて判定する（ステップＳ３−３−７）。整合性がＯＫである場合には、ステップＳ３−３−８に進み、整合性がＮＧであれば、例えば、図７Ｂの倍率補正からやり直す。
　整合性がＯＫであれば（Ｙｅｓ）、ステップＳ３−３−８に進み、整合処理した画像データＥと、倍率パラメータＳ・角度パラメータθ・位置パラメータＸ，Ｙを出力する。メモリにパラメータを記憶する。これにより、処理が終了する（Ｅｎｄ）。
　図１５は、２画像のオーバーレイ表示（ステップＳ３−３−６）の処理の詳細を示す図である。画像データ１（基準画像）と画像データ２（入力画像）とを準備する（ステップＳ２１、ステップＳ３１）。次いで、それぞれの画像データについて、グレースケール変換（例えば、Ｇ成分の抽出）を行う（ステップＳ２２、Ｓ３２）。例としては、血管が黒く表示される。
　例えば、画像サイズがＸｓ×Ｙｓで、０~２５５の値をもつ画像データ１をＩｍａｇｅ１（ｘ，ｙ，ｃ）、画像データ２をＩｍａｇｅ２（ｘ，ｙ，ｃ）（ｘ＝０．，，，．Ｘｓ，ｙ＝０，…，Ｙｓ，ｃ＝０（Ｒｅｄ），１（Ｇｒｅｅｎ），２（Ｂｌｕｅ））とすると、
グレースケール変換後の画像Ｇｒａｙ１（ｘ，ｙ）とＧｒａｙ２（ｘ，ｙ）は、一般に、

　次いで、それぞれのグレースケール変換された画像のネガポジ反転を行う（ステップＳ２３、Ｓ３３）。ここでは、例えば欠陥を白くするとともに、背景を黒くする。
　ここで、ネガポジ反転後の画像は、

である。
　次いで、ステップＳ２４、Ｓ３４で、階調伸張変換を行う。これにより、欠陥領域を浮き出させる。ステップＳ２５、Ｓ２６で、ＲＧＢプレーン割り当てを行う。
　ここで、階調伸張変換後の画像は、下記スケーリングを施し、０未満になった場合は０に、２５５を超えた場合は２５５にリミットする。
　ただし、

である。
　ステップＳ２５では、ＲＧＢプレーン割り当てを行う。ステップＳ２５では、画像データ１に（Ｒ）を割り当てる。ステップＳ３５では、画像データ２に、（Ｇ）を割り当てる。ステップＳ２６において、画像データ１と画像データ２とを、ＲＧＢプレーン合成とフルカラー変換する。次いで、オーバーレイ画像（ＲＧＢフルカラー画像）を生成する（ステップＳ２７）。このような画像を後述する図１９に示す。
　ここで、０~２５５の値をもつオーバーレイ画像データをＩｍａｇｅＳ（ｘ，ｙ，ｃ）は、

で表される。
　以下、上記の実施の形態による画像解析技術を用いた実施例について詳細に説明する。
　図１６は、時系列の眼底写真のサンプル例を示す図である。例えば、１９８９年から２０１０年の２０年強の期間にわたって収集された眼底写真が、種々のカメラ（アナログ、デジタル、デジタルでも画質の異なるカメラ）で撮影され、倍率・照明条件も異なる場合には、図１６に示すように、照合作業が困難であった。
　図１７は、例えば、１９８９年にフィルムカメラで撮影された写真と２０１０年の最新画像であり、上が生の写真、下が、２０１０年の最新画像に基づいて倍率と角度とを補正した写真であり、真ん中の写真がオーバーレイ画像である。補正後にはほぼ同様の写真が得られ、オーバーレイ画像を見ると、ほとんどの部分が一致しており、強度近視による病変部分の変化だけを見ることができることがわかる。
　図１８は、２画面眼底カメラ画像の整合処理操作例を示す図であり、倍率５３と角度（回転）５５の数値を指定している画面である。ここでは、倍率Ｘを９５％、倍率Ｙを８８％とし、ＸＹ面での回転を８５度とした補正パラメータを指定した様子を示す図である。このように、画面を見ながら、補正パラメータを変更していくことができる。この方法は、図７Ａ・図７Ｂの処理が、ユーザの画面上での試行錯誤の処理により基準画像に合うように寸法を拡大・縮小する方法の一例を示すものである。
　図１９は、２画面眼底カメラ画像の整合処理操作例（２：対話型補正）を示す図であり、左の第１画像が２０１０年のＬ画像で、真ん中のオーバーレイ画像では赤色の画像であり、右の第２画像が１９８９年のＬ画像で、真ん中のオーバーレイ画像では緑色の画像であり、倍率と角度を補正したことにより、真ん中のオーバーレイ画像での血管まで非常に良く一致させることができており、病変部位の変化の様子を詳細に見ることができることがわかる。このように、対話型補正でも、精度良く補正し、時代の異なる画像を一致させることができる。
　図２０は、２画面眼底カメラ画像の整合処理操作例（３：自動補正）を示す図であり、左右画像に対応する特徴点２カ所に菱形のマーキングを行った様子を示す図である。ここでは、乳頭の中の血管の集まった（結果が分岐する）部分を特徴点としている。このような特徴点を基準にすることで、２枚の画像を整合させる処理を簡単に行うことができる。
　図２１は、２画面眼底カメラ画像の整合処理操作例（４）を示す図であり、左右画像に対応する特徴点２カ所に菱形等（十字マーク等でも良い）のマーキングに基づく自動位置補正に様子を示す図である。このような特徴点を基準にすることで、２枚の画像を整合させる処理を簡単に行うことができる。この菱形の位置による自動的に位置を補正させることができる。
　図２２は、２画面眼底カメラ画像の整合処理操作例（５）を示す図であり、自動的な位置補正後のオーバーレイ像を表示した図である。真ん中のオーバーレイ画像では赤色の画像であり、右の第２画像が１９８９年のＬ画像で、真ん中のオーバーレイ画像では緑色の画像であり、倍率と角度を補正したことにより、真ん中のオーバーレイ画像での血管まで非常に良く一致させることができており、病変部位の変化の様子を詳細に見ることができることがわかる。このように、自動補正でも精度良く補正し、時代の異なる画像を一致させることができる。
　図２３は、整合処理終了後の時系列眼底カメラ画像の例を示す図である。２０１０年の画像を基準に１９８９年から２００９年の６点の画像について、アナログからデジタルへの移行があったにもかかわらず、倍率・角度・位置を補正し整合させた結果、眼球が２０年間で約３度時計方向に回転（回旋）していることが判明した。
　図２４は、整合化終了後の時系列画像解析例を示す図であり、図２３等に基づいて、その患部を拡大した写真を示す図である。この図から、当初想定されていた網膜血管走行の変化よりも、乳頭部の形状や乳頭部近傍における血管形状の変化の方が顕著であることが判明した。すなわち、１９８９年から１９９９年に乳頭形状が楕円に変形しており、その後、徐々に拡大していることがわかる。このような、微妙な変化を、年代を追って比較することができる。
　図２５は、制御処理終了後の時系列画像解析例（２）を示す図であり、２０１０年の画像と１９８９年の画像とについて、菱形の図形を画定し、菱形を目安に整合させることで、真ん中の画像のように、オーバーレイ像を生成した例を示す図であり、Ｒｅｄ画像とＧｒｅｅｎ画像とを重ね合わせて、病変の時間変化を見た図である。
　以上のように、異なる条件で撮影した２枚の画像について、前処理（トリミング、デジタル化等）、位置補正・角度補正などを行った後に、整合処理を行い、整合条件パラメータを保存しておく。この整合条件パラメータで補正等を行った後の各画像の対応する特徴箇所（病変部位など）の形態を比較したり、測定したりすることで、強度近視等の眼病の経時的な変化を行うことができる。
　使用されたカメラの機種や撮像条件の異なる眼底画像を整合させることができる。
　上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。上記眼底画像解析方法をコンピュータに実行させるためのプログラム、当該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。

　本発明は、眼底画像の解析装置に利用することができる。

１…画像解析装置、３…画像デジタル化部、５…眼底画像前処理部、７…眼底画像整合部、１１…合成画像作成部、１５…補正パラメータ決定部、１７…補正眼底画像データ作成部、１９…記憶部（メモリ）。
　本明細書で引用した全ての刊行物、特許および特許出願をそのまま参考として本明細書にとり入れるものとする。

Claims (11)

1. 　複数の眼底画像データの中で１つを基準眼底画像データに設定し、前記基準眼底画像以外の各眼底画像データに対して、倍率、角度、位置の各補正パラメータを設定し、前記各補正パラメータに基づいて、倍率補正、角度補正、位置補正を施し、補正眼底画像データを作成する眼底画像整合部と、
   　前記基準眼底画像データと前記補正眼底画像データとに対して同じ画像処理を加え、前記基準眼底画像データと前記補正眼底画像データとを合成した合成画像を作成する合成画像作成部と、
   　前記合成画像作成部で作成された合成画像に基づいて、前記眼底画像整合部と前記合成画像作成部とにおける整合処理を繰り返すことにより、前記倍率、角度、位置の各補正パラメータを眼底画像データ毎に決定する補正パラメータ決定部と、
   　決定された前記補正パラメータに基づいて、少なくとも１の補正眼底画像データを作成する補正眼底画像データ作成部と
   を有することを特徴とする眼底画像解析装置。
2. 　さらに、複数の眼底画像の中でアナログ画像からデジタル画像データを作成する画像デジタル化部と、
   　前記各デジタル画像データに対して、眼底に対応する領域をトリミングし、所定の画素数で構成される画像データになるよう縦横同一倍率パラメータで変倍処理を施し、サイズが統一化された眼底画像データに変換する眼底画像前処理部とを有することを特徴とする請求項１に記載の眼底画像解析装置。
3. 　前記眼底画像前処理部は、
   　前記デジタル画像データを画面に表示し、表示されている画像上で眼底に対応する領域を特定の図形で指示することにより、前記変倍処理の縦横同一倍率パラメータを設定することを特徴とする請求項２に記載の眼底画像解析装置。
4. 　前記眼底画像整合部は、
   　前記基準眼底画像データと前記補正眼底画像データの各々を表示画面に表示させ、眼球の輪郭に略沿うように図形を表示させ、当該図形の領域の大きさが同じになるように調整することで、前記縦横倍率の補正パラメータを設定するようにしていることを特徴とする請求項１から３までのいずれか１項に記載の眼底画像解析装置。
5. 　前記眼底画像整合部は、
   　前記基準眼底画像データと前記補正眼底画像データとのそれぞれを画面に表示させ、表示されている双方の画像上で対応する位置にそれぞれ表示させた第１及び第２の基準線の平行度を同じにするように操作部で回転させる指示をすることにより、前記操作部において回転させた角度を角度の補正パラメータとして設定するようにしていることを特徴とする請求項１から３までのいずれか１項に記載の眼底画像解析装置。
6. 　前記眼底画像整合部は、
   　前記基準眼底画像データと前記補正眼底画像データとのそれぞれを画面に表示させ、表示されている双方の画像上で対応する位置にそれぞれ表示させた第１及び第２の基準点が同じ位置になるように操作部で平行移動させる指示をすることにより、前記操作部において移動させた位置を前記位置の補正パラメータとして設定するようにしていることを特徴とする請求項１から４までのいずれか１項に記載の眼底画像解析装置。
7. 　前記合成画像作成部は、
   　ＲＧＢ３原色の中でいずれか１つまたは２つの原色を選択して、互いに異なる原色セットを２種選択し、選択された原色セットの一方をモノクロ画像に変換された前記基準眼底画像データに割り当て、選択された原色セットの他方をモノクロ画像に変換されたと前記補正眼底画像データに割り当て、各々の原色セットで着色された前記基準眼底画像データと前記補正眼底画像データとを合成して前記カラー合成画像を作成するようにしていることを特徴とする請求項１から６までのいずれか１項に記載の眼底画像解析装置。
8. 　前記合成画像作成部は、前記所定の画像処理として、グレースケール変換、ネガポジ反転、階調伸張処理を施すことを特徴とする請求項１から７までのいずれか１項に記載の眼底画像解析装置。
9. 　前記眼底画像整合部において、倍率補正後に角度補正を行うことを特徴とする請求項１から８までのいずれか１項に記載の眼底画像解析装置。
10. 　複数の眼底画像データの中で１つを基準眼底画像データに設定し、前記基準眼底画像以外の各眼底画像データに対して、倍率、角度、位置の各補正パラメータを設定し、前記各補正パラメータに基づいて、倍率補正、角度補正、位置補正を施し、補正眼底画像データを作成する眼底画像整合ステップと、
    　前記基準眼底画像データと前記補正眼底画像データとに対して同じ画像処理を加えてモノクロ画像に変換し、前記基準眼底画像データと選前記補正眼底画像データとを合成した合成画像を作成する合成画像作成ステップと、
    　前記合成画像作成部で作成された合成画像に基づいて、前記眼底画像整合部と前記合成画像作成部とにおける整合処理を繰り返すことにより、前記倍率、角度、位置の各補正パラメータを眼底画像データ毎に決定する補正パラメータ決定ステップと、
    　決定された前記補正パラメータに基づいて、少なくとも１の補正眼底画像データを作成する補正眼底画像データ作成ステップと
    を有することを特徴とする眼底画像解析方法。
11. 　請求項１０に記載の眼底画像解析方法を、コンピュータに実行させるためのプログラム。

Images