JP5349210B2

JP5349210B2 - 眼底画像処理装置

Info

Publication number: JP5349210B2
Application number: JP2009199759A
Authority: JP
Inventors: 尚久柴田
Original assignee: Nidek Co Ltd
Current assignee: Nidek Co Ltd
Priority date: 2009-08-31
Filing date: 2009-08-31
Publication date: 2013-11-20
Anticipated expiration: 2029-08-31
Also published as: JP2011050430A

Description

眼底画像間の位置ずれを検出する眼底画像処理装置に関する。

同一被検者眼から取得された同一部位の２枚の眼底画像間の位置ずれ補正は、例えば、眼底の網膜機能を計測する網膜機能計測装置（特許文献１参照）において利用できる。

ここで、眼底画像間の位置ずれを検出する手法としては、正規化相関法が一般的である。正規化相関法を用いる場合、基準画像を選択し、基準画像とは異なるもう一方の画像に対して画像間の相関係数を順に計算していき、１に最も近い相関係数となったときの位置ずれを検出する方法である。

再公表特許WO２００５−０８４５２６号

しかしながら、上記のような手法においては、画像間の処理のため、平行移動のみを検知する場合には十分な処理速度であるが、回転を検知するには演算が膨大になるため処理が重くなってしまう。

本発明は、上記問題点を鑑み、回転移動を含む眼底画像間の位置ずれをスムーズに検出できる眼底画像処理装置を提供することを技術課題とする。

上記課題を解決するために、本発明は以下のような構成を備えることを特徴とする。

（１）同一被検者眼から取得された同一部位の少なくとも２枚の眼底画像間のずれを検出する眼底画像処理装置において、第１の眼底画像から複数の小領域画像を切り出し、該小領域画像を各々第１の照合領域として取得する第１照合領域取得手段と、前記第１の眼底画像と同一部位の画像である第２の眼底画像に対して、画像処理により前記各第１の照合領域に対応する複数の小領域画像を切り出し、それぞれ第２の照合領域として取得する第２照合領域取得手段と、前記第１照合領域に基づいて第１の重心位置を算出するとともに、前記第２照合領域に基づいて第２の重心位置を算出する重心算出手段と、前記第１の眼底画像と前記第２の眼底画像の位置ずれ量を検出する位置ずれ検出手段であって、前記重心算出手段によって算出された前記各第１の照合領域の重心位置と前記各第２の照合領域の重心位置との移動量を算出する重心移動量算出手段と、前記移動量を所定の照合領域に適用した場合に残存する所定の照合領域でのずれ量から前記眼底画像上における所定の回転中心に対する回転移動量を算出する回転移動量算出手段と、を有する位置ずれ検出手段と、を備えることを特徴とする。
（２）（１）の眼底画像処理装置において、該重心移動量算出手段によって算出された移動量を平行移動成分、前記回転移動量算出手段によって算出された回転移動量を回転移動成分とし、前記第１の眼底画像と前記第２の眼底画像のいずれかを平行移動及び回転移動させ、位置ずれを補正する位置ずれ補正手段と、を備えることを特徴とする。
（３）（２）の眼底画像処理装置において、前記回転移動量算出手段は、前記回転移動量を照合領域毎に算出し、照合領域毎の回転移動量の平均を算出することを特徴とする。

本発明によれば、回転移動を含む眼底画像間の位置ずれをスムーズに検出できる。

本発明の実施形態を図面に基づいて説明する。図１は本実施形態に係る眼底画像処理装置の光学系を示す概略構成図である。なお、以下の説明では、眼底画像処理装置の一例として被検眼の網膜機能を計測する網膜機能計測装置を例にとって説明する。

図１において、本装置の光学系は、被検者眼Ｅの網膜領域を照明する観察照明光学系１０と、観察照明光学系１０によって照明された網膜領域からの反射光を受光して眼底画像を得るための受光光学系２０と、被検者眼の網膜領域に可視刺激光を照射して網膜を刺激するための刺激光照射光学系３０と、被検者眼を固視させるための固視光学系４０と、に大別される。

観察照明光学系１０は、赤外光を発するハロゲンランプ等の観察光源１１、例えば波長８００ｎｍ〜１０００ｎｍの赤外光を透過する赤外フィルタ１２、集光レンズ１３、赤外光を反射し可視光を透過する特性を持つダイクロイックミラー１４、リング状の開口を有するリングスリット１５、投光レンズ１６、孔あきミラー１７、対物レンズ１８を含む。なお、リングスリット１５及び孔あきミラー１７は、被検者眼Ｅの瞳孔と略共役な位置に配置されている。観察光源１１から発せられた観察用照明光は、赤外フィルタ１２により赤外光束とされ、集光レンズ１３にて集光されたのち、ダイクロイックミラー１４により反射されてリングスリット１５を照明する。リングスリット１５を透過した光は、投光レンズ１６を介して孔あきミラー１７に達する。孔あきミラー１７のミラー部分で反射された光の大部分は、対物レンズ１８を介して被検者眼Ｅの瞳孔付近で一旦収束された後、拡散されて被検者眼Ｅの網膜の所定領域を連続的に照明する。

刺激光照射光学系３０は、網膜領域に刺激を与えるための可視フラッシュ光を発光する刺激用光源、集光レンズ３３、観察照明光学系１０と光路を共用するリングスリット１５〜対物レンズ１８までの光学系を含む。刺激用光源は、可視フラッシュ光を単発またはフリッカー状に照射可能である。ここで、刺激用光源で発光した可視フラッシュ光は、集光レンズ３３、ダイクロイックミラー１４を介して、観察用照明光と同様の光路を経て被検者眼Ｅの網膜領域に照射される。

受光光学系２０は、対物レンズ１８、光軸方向に移動可能なフォーカシングレンズ２１、結像レンズ２２、二次元受光素子２３（例えば、二次元ＣＣＤセンサ）を含む。フォーカシングレンズ２１は、駆動機構５０の駆動により光軸方向に移動する。観察光源１１によって照明された網膜領域からの反射光は、対物レンズ１８を介して孔あきミラー１７の前で一旦集光されたのち、孔あきミラー１７の開口を通過する。そして、孔あきミラー１７の開口（ホール部）を通過した反射光は、フォーカシングレンズ２１を介して、結像レンズ２２によって集光された後、二次元受光素子２３上に結像される。

固視光学系４０は、可視光を発光する固視光源４１、ピンホール（または固視用チャート）４２、可視光を反射し赤外光を透過する特性を有するダイクロイックミラー２９を持ち、ダイクロイックミラー２９〜対物レンズ１８までの光路を受光光学系２０と共用する。ピンホール４２は、被検者眼Ｅの網膜の観察点（撮影点）と略共役な位置に配置される。固視光源４１を発した光は、ピンホール４２を通り、ダイクロイックミラー２９にて反射された後、網膜からの反射光とは逆方向の光路を経て（結像レンズ２２〜対物レンズ１８）被検者眼の網膜上で結像する。

図２は本実施形態における網膜機能計測装置の制御系を示したブロック図である。７０は装置全体の制御を行う制御部である。制御部７０には、観察光源１１、刺激用光源、固視光源４１、フォーカス駆動機構５０、記憶部７２、コントロール部７４、被検者眼眼底の画像形成や網膜機能を画像化するための画像処理部７１等が接続される。７５はモニタであり、画像処理部７１にて形成した眼底画像等が表示される。記憶部７２は種々の情報を記憶しておくためのものである。コントロール部７４は各種入力操作を行うためのものである。例えば、コントロール部７４には、マウスが接続される。

なお、記憶部７２には、制御部７０が、撮影時間の異なる少なくとも二つの画像間（例えば、前述の刺激前画像と刺激後画像）の位置ずれを予め検出するステップと、その検出結果に基づいて画像間の位置ずれを補正するステップと、位置ずれ補正後の眼底画像間の変化情報を得るステップと、をコンピュータ（制御部７０）に実行させるための画像処理プログラムが記憶されている。

なお、上記制御部７０、記憶部７２、コントロール部７４、モニタ７５においては、装置として専用の部材を用いるようにしてもよいし、外部のパーソナル・コンピュータ（ＰＣ）を用いるようにしてもよい。

コントロール部７４の撮影ボタンを押されると、制御部７０は刺激光発光前の眼底像を基準網膜画像として記憶部７２に記憶させるとともに、刺激用光源を用いて被検眼Ｅの眼底に向けて可視のフラッシュ光を照射し、網膜機能及び視神経乳頭部機能を刺激する。なお、赤外の照明光は、フラッシュ光の照射前後に関係なく連続的に被検眼Ｅの眼底の所定領域を照明し続けている。

網膜領域への刺激光の照射が終了すると、制御部７０、さらにフラッシュ光の照射動作が終了した後の眼底画像を記憶部７２に記憶させる。フラッシュ光照射後に撮影する眼底画像は１枚だけでなく、網膜機能の変化が判るように、フラッシュ光照射後、連続的または経時的に眼底画像を記憶させるようにしてもよい。この場合、記憶された複数の画像から解析に用いるデータを抽出するようにしてもよい。

そして、制御部７０は、記憶部７２に記憶された所定の眼底画像を演算処理することにより解析を行う。この場合、制御部７０は、各画像間の位置ずれを補正した後（詳しくは後述する）、記憶部７２に記憶されたフラッシュ光照射前後の眼底画像を比較して眼底画像の変化情報を取得し、その結果を画像処理部７１を介してモニタ７５に表示する。

図３は本実施形態に係る位置ずれ検出及び位置ずれ補正の具体例について説明するフローチャートである。図３に示すように、本手法は、撮影時間の異なる２つの眼底画像を取得することより始まり、第１照合領域取得ステップＳ１と、第２照合領域取得ステップＳ２と、位置ずれ検出ステップ（詳しくは、後述する）Ｓ３と、位置ずれ補正ステップＳ４と、ＦＲＧの処理ステップＳ５、からなる。

ステップＳ１では、第１の眼底画像から複数の小領域画像を切り出し、該小領域画像を各々第１の照合領域として取得する。より具体的には、制御部７０は、記憶部７２に記憶された刺激前と刺激後の眼底画像データＦ１とＦ２を呼び出して、モニタ７５の画面上に表示する（図４参照）。検者は、コントロール部７４のマウスを用いて眼底画像上の複数部位をそれぞれフレームで囲み、複数の特徴部位を選択する。そして、制御部７０は、各フレームによって囲まれた画像領域（図４のＡ１〜E１参照）を切り出し、それぞれ第１の照合領域として取得する。

この場合、例えば、刺激前の画像を基準画像とし、検者は、血管が２つに分かれている等、特徴のわかりやすい領域を第１の照合領域として、複数箇所フレームで囲み、選択をする。また、各照合領域について、選択された照合領域群のどれかの範囲を変更した場合、制御部７０は、一つの範囲変更に連動して、他の照合箇所群の範囲を変更してもよい。また、制御部７０は、被検眼の反対側の眼を計測する場合、既に選択された被検眼における照合領域群の座標位置を左右反転したデータを利用できる。

次に、ステップＳ２では、第１の眼底画像と同一部位の画像である第２の眼底画像に対して、画像処理（例えば、相関演算）により各第１の照合領域に対応する複数の小領域画像を切り出し、それぞれ第２の照合領域として取得する。
より具体的には、制御部７０は、正規化相関法等を用いて、ステップＳ１で求めた各第１の照合領域に対応する眼底画像Ｆ２上の画像領域（図４のＡ２〜E２参照）を得る。例えば、画像Ｆ１の画像領域Ａ１を画像Ｆ２で平行移動させ、各位置にて画像領域Ａ１と画像Ｆ２との間の相関係数を順に計算していき、１に最も近い相関係数を与える変換をとる。ここで、画像領域Ｆ１と画像F2上における所定部位が一致している場合は、相関係数は、１になり、相違箇所が多いほど１より遠い値となる。このようにして、F２の画像において、画像Ｆ１の各々の第１の照合領域に対応する画像領域Ａ２〜E２が抽出される。これにより、画像Ｆ２上における第２の照合領域が特定される。

次に、ステップＳ３では、第１の眼底画像と第２の眼底画像の位置ずれ量を検出する。ここで、ステップＳ３は、各第１の照合領域と対応する第２の各照合領域を比較し、互いに対応する照合領域毎の移動量を算出するステップＳ３−１と、照合領域毎の移動量の平均を算出するステップＳ３−２と、ステップＳ３−２によって算出された平均移動量をステップＳ３−１にて算出された所定の照合領域での移動量から差し引くことにより眼底画像上における所定の回転中心に対する回転移動量を算出するステップＳ３−３と、に大別される。

制御部７０は、まず、ステップＳ１において画像Ｆ１より選択した画像領域Ａ１〜Ｅ１部分の各画像中心ａ1〜ｅ5を第１の照合領域の各座標位置として取得し、各座標位置に基づいて重心位置Ｇ１の位置座標を決定する。また、ステップ２において画像Ｆ２より抽出された画像領域Ａ２〜Ｅ２部分の各画像中心ａ１〜ｅ５を第２の照合領域の各座標位置として取得し、同様に、重心位置Ｇ２の位置座標を決定する。

具体的には、ｎ個の測定点Ｐ_i（Ｘ_i,Ｙ_i）がある場合、その重心位置Ｇ（Ｘ_g,Ｙ_g）は、

により求めることができる。

次に、制御部７０は、基準画像Ｆ１とずれ量（移動量）を求めたい画像Ｆ２とを照合し、各画像の重心位置Ｇ１、Ｇ２を用いて、画像間の位置ずれを算出する。

具体的には、平行移動の場合において、図５（ａ）に示すように眼底画像があり、この眼底が回転することなく平行移動した場合、図５（ｂ）に示すように、その各照合領域に基づいて算出される重心位置は、Ｇ１からＧ２へと平行移動する。また、重心位置Ｇ１を中心とした回転の場合、回転後の重心位置Ｇ３は、重心Ｇ１と変わらないが、図５（ｃ）に示すように重心と一つの照合領域の位置ベクトルをとり、その角度変化を検出すれば、回転量が算出できる。

そして、図５（ｄ）に示すように、回転を伴う平行移動の場合は、重心位置の平行移動（Ｇ１からＧ４）とこの重心位置Ｇ４を中心とする回転量を求めればよい。この場合、先に平行移動量を算出し、差分をとったあとで図５（ｃ）同様に回転量を考えればよい。

ここで、上記で述べたステップＳ３の演算方法について具体的に説明する。平行移動成分を（ΔX_//，ΔY_//）、回転成分を（ΔX_r，ΔY_r）で表現すると、互いに対応する各照合領域毎の移動量は、

で表現できる。また上記の平行移動と重心を中心とした回転を式に表すと、以下のようになる。

よってΔPの平均（x、ｙ）を求めると次の
ようになる。

同様に、

式５より、照合領域毎の移動量の平均（平均移動量）は、重心（画像全体）が平行移動した量を示していることがわかる。したがって、平均移動量は、画像間の平行移動成分として考えることができる。また、平均移動量は、各第１の照合領域の重心位置と各第２の照合領域の重心位置との移動量として考えることができる。

次に回転角について求める。式２より、前述の平均移動量を所定の照合領域での移動量から差し引くことにより眼底画像上における重心位置に対する回転移動量が算出できる。このようにして、互いに対応する照合領域毎に回転移動量が算出できる。ここで、図６に示すように、点P_iが重心Gを中心として回転してP_i'となったとした場合、ΔGP_iP_i'は、二等辺三角形となる。∠P_iG P_i'が回転角になるので、その角度をθ_iとすると、

ｎ個の照合領域毎の回転移動量の平均を求めると、

となる。このような回転移動量は、画像間の回転移動成分として考えることができる。なお、回転移動量の平均を求めることにより、回転角の検出精度が向上できる。

以上のような式５および式７より、移動量と回転角を求めることができる。また、位置ベクトル（所定の回転中心から照合領域までの距離）が大きいほど、得られる回転角度がより正確であると示せるため、式７で位置ベクトル長さに応じた重み関数をかけると精度が上がる。逆に平均値より大きく外れた角度の測定点を除外して重心を求める部分から再計算をすると、より精度の高い移動量と回転角を求めることができる。

次に、ステップ４では、平均移動量を平行移動成分、回転移動量を回転移動成分とし、第１の眼底画像と第２の眼底画像のいずれかを平行移動及び回転移動させ、位置ずれを補正する。この場合、制御部７０は、平行移動成分を用いて各画像の重心位置が一致されるように眼底画像Ｆ２を平行移動させた後、回転移動成分を用いて各画像の照合領域が一致されるように重心位置を中心に眼底画像Ｆ２を回転移動させる。

ステップＳ５は、第１の眼底画像と前記第２の眼底画像とを比較し演算処理して変化情報を取得するステップであって、位置ずれ補正ステップＳ４による位置ずれ補正後の眼底画像間の変化情報を取得する。

より具体的には、位置ずれ補正後の眼底画像Ｆ１及び眼底画像Ｆ２を用いて、眼底画像Ｆ１の明るさに対する眼底画像Ｆ２の明るさの変化を各画素毎に求める。明るさの変化は、差分や比等求めることによって得られる。画像処理部７１は、制御部７０によって得られた明るさの変化情報を各画素に対応させてモニタ７５に表示する。明るさの変化情報としては、濃淡や高低によって明るさの変化情報を画像として表示する方法や、差分や比の数値情報、この数値情報を網膜機能を評価するための所定の解析プログラムにより演算処理した情報等によって表すことができる。

以上のような位置ずれ補正によれば、重心位置の移動量を所定の照合領域に適用した場合に残存する所定の照合領域でのずれ量から眼底画像上における所定の回転中心に対する回転移動量を算出することにより、位置ずれ検出をスムーズに行うことができる。これにより、位置ずれ検出・補正処理が効率化されるため、迅速な網膜計測が可能となる。したがって、網膜機能の変化を計測する場合、網膜刺激後に眼が動いてしまうことがあるが、そのような場合でも迅速に計測することが可能となる。

なお、上記ステップ１において、特徴部位を選択するためのフレームの形状は、必ずしも正方形でなくてもよく、円や三角形等であってもよい。また、反対側の眼を測定する際には、必ずしも先に選択した画像領域の座標位置を左右反転させ用いる必要はなく、再度選択をしてもかまわない。なお、上記第１の照合領域の選択は、血管の分岐部分等を画像処理により抽出することにより、自動的に行うようにしてもよい。

また、上記ステップ１において、制御部７０は、眼底画像上で第１の照合領域を選択する場合、空間的に微分した画像又は輝度の飽和（又は輝度が０）の部位を表示するようにしてもよい。このような表示は、検者が照合領域を選択する際の判断材料として用いることができる。

なお、上記ステップ３において、第１の照合領域又は第２の照合領域の各座標位置における重心位置を所定の回転中心として回転移動量を算出したが、これに限るものではなく、眼底画像上における所定の回転中心に対する回転移動量であればよい。この場合、眼底上の回転軸と所定の回転中心と一致させることで、回転角の検出精度をより向上できる。

例えば、第１の眼底画像又は第２の眼底画像における黄斑部位近傍に対応する所定の座標位置を所定の回転中心として用いるようにしてもよい（図７のＭ１参照）。なお、黄斑部位近傍に対応する所定の座標位置は、取得された眼底画像から自動的に又は手動にて特定してもよい。例えば、所定の座標位置は、モニタ上の眼底画像から検者が黄斑部分を選択したときの座標位置を用いてもよい。また、所定の画像処理により黄斑部分の座標位置をしてもよい（例えば、画像処理による特定が容易と思われる乳頭部分を基準に所定距離離れた位置を黄斑部分として特定する。もちろん直接黄斑部分を特定してもよい）。また、実験（眼底用ＯＣＴ等を利用）等により眼底上の回転軸の位置を予め求めておき、記憶部７２に記憶させておいてもよい。

また、回転移動量の算出に用いる所定の回転中心の座標位置が、第１の眼底画像又は第２の眼底画像における黄斑部位に対応する所定の座標位置を基準とする範囲内にあるかを判定するようにしてもよい。

上記ステップ３において、眼底画像上の黄斑部分に対応する座標位置Ｍ１を基準とする所定範囲E（図７参照）よりも外側にて重心位置が検出された場合、制御部７０は、エラー判定をし、モニタ７５に表示してもよい。この場合、黄斑周辺の所定範囲Eの内側に重心位置が検出された場合、次のステップへと進められる。また、重心位置の決定に用いる照合領域について、照合領域毎の移動量を算出し、他の移動量の算出結果から外れている場合には、除外するようにしてもよい。

なお、以上の説明においては、赤外眼底画像を用いて網膜機能を計測するものとしたが、これに限るものではない。すなわち、同一被検眼に対し撮影時間の異なる２つの可視眼底画像を取得し、これらを比較して変化情報を取得する構成であっても、本発明の適用は可能である（例えば、特開２００８−２９５９７１号公報）。

また、以上の説明においては、網膜機能計測において位置ずれ補正を用いるものとしたが、これに限るものではなく、同一被検者眼から取得された同一部位の２枚の眼底画像間の位置ずれを検出する場合であれば、本発明の適用は可能である。例えば、被検眼眼底に対する位置合わせ（又はトラッキング）、複数の眼底画像の加算を行う場合において使用できる。

本実施形態に係る眼底画像処理装置の光学系を示す概略構成図である。本実施形態における網膜機能計測装置の制御系を示したブロック図である。本実施形態に係る位置ずれ検出及び位置ずれ補正の具体例について説明するフローチャートである。本実施形態に係る位置ずれ検出に用いる眼底画像上の照合領域と重心位置について説明する図である。本実施形態に係る位置ずれ検出について説明する概念図である。回転角の検出について説明する図である。眼底画像上の黄斑部分に対応する座標位置Ｍ１について説明する図である。

７０制御部
７２記憶部
Ａ１〜Ｅ１第１の照合領域
Ａ２〜Ｅ２第２の照合領域
Ｇ１第１の重心位置
Ｇ２第２の重心位置

Claims

同一被検者眼から取得された同一部位の少なくとも２枚の眼底画像間のずれを検出する眼底画像処理装置において、
第１の眼底画像から複数の小領域画像を切り出し、該小領域画像を各々第１の照合領域として取得する第１照合領域取得手段と、
前記第１の眼底画像と同一部位の画像である第２の眼底画像に対して、画像処理により前記各第１の照合領域に対応する複数の小領域画像を切り出し、それぞれ第２の照合領域として取得する第２照合領域取得手段と、
前記第１照合領域に基づいて第１の重心位置を算出するとともに、前記第２照合領域に基づいて第２の重心位置を算出する重心算出手段と、
前記第１の眼底画像と前記第２の眼底画像の位置ずれ量を検出する位置ずれ検出手段であって、前記重心算出手段によって算出された前記各第１の照合領域の重心位置と前記各第２の照合領域の重心位置との移動量を算出する重心移動量算出手段と、前記移動量を所定の照合領域に適用した場合に残存する所定の照合領域でのずれ量から前記眼底画像上における所定の回転中心に対する回転移動量を算出する回転移動量算出手段と、を有する位置ずれ検出手段と、
を備えることを特徴とする眼底画像処理装置。
請求項１の眼底画像処理装置において、
該重心移動量算出手段によって算出された移動量を平行移動成分、前記回転移動量算出手段によって算出された回転移動量を回転移動成分とし、前記第１の眼底画像と前記第２の眼底画像のいずれかを平行移動及び回転移動させ、位置ずれを補正する位置ずれ補正手段と、を備えることを特徴とする眼底画像処理装置。
請求項２の眼底画像処理装置において、
前記回転移動量算出手段は、
前記回転移動量を照合領域毎に算出し、照合領域毎の回転移動量の平均を算出することを特徴とする眼底画像処理装置。