JP6230262B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP6230262B2
JP6230262B2 JP2013097731A JP2013097731A JP6230262B2 JP 6230262 B2 JP6230262 B2 JP 6230262B2 JP 2013097731 A JP2013097731 A JP 2013097731A JP 2013097731 A JP2013097731 A JP 2013097731A JP 6230262 B2 JP6230262 B2 JP 6230262B2
Authority
JP
Japan
Prior art keywords
image
slo
detection
photoreceptor
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013097731A
Other languages
English (en)
Other versions
JP2014198223A (ja
Inventor
恵子 米沢
恵子 米沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013097731A priority Critical patent/JP6230262B2/ja
Publication of JP2014198223A publication Critical patent/JP2014198223A/ja
Application granted granted Critical
Publication of JP6230262B2 publication Critical patent/JP6230262B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本件は、画像処理装置及び画像処理方法に関する。
生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、眼底部の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した眼科装置である走査型レーザー検眼鏡(SLO:Scanning Laser Ophthalmoscope)は、測定光であるレーザーを眼底に対してラスタースキャンを行い、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。近年、被検眼の収差を波面センサーでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学SLO(AO−SLO:adaptive Optics SLO)が開発され、高横分解能な平面画像(以下AO−SLO像という場合がある)の取得を可能にしている。さらに、取得した網膜の平面画像を用いて網膜における視細胞を抽出し、その密度や分布の解析から疾病の診断や薬剤応答の評価が試みられている。
疾病の進行や薬剤応答による視細胞の変化を評価する場合には、高解像度で取得されたAO−SLO像から視細胞を検出する必要がある。視細胞を検出する方法として、輝度の極大値部分を視細胞として検出する方法がしられている(非特許文献1参照)。
しかしながら、本来視細胞として検出されるべき位置に極大値が現れない場合があり、極大値を用いた視細胞検出では視細胞の検出漏れが生じてしまう。。
本件の目的の一つは精度良く視細胞検出を行うことを可能とすることである。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的の1つとして位置付けることができる。
本画像処理装置は、被検眼の眼底画像を取得する取得手段と、前記眼底画像において隣接する複数の輝度値の平均値よりも高い輝度値を有する部分を視細胞として検出する検出手段と、を備える。
本件によれば、精度良く視細胞検出を行うことが可能となる。
実施例1に係る画像処理装置10の機能構成の一例を示す図である。 実施例1に係る画像処理装置10の処理手順の一例を示すフローチャートである。 固視灯の提示位置を操作する固視灯マップの一例を示す図である。 撮影されたWF−SLO像、AO−SLO像群の一例を示す図である。 図2の位置合わせの一例を示すフローチャートである。 位置合わせ後のWF−SLO像、AO−SLO像群の重畳画像に一例を示す図である。 図2の視細胞解析の一例を示すフローチャートである。 領域選択の一例を示す図である。 正常眼の分布と検出結果との関係の一例を示す図である。 正常眼分布からのずれの一例を示す図である。 正常眼分布からのずれの一例を示す画像を重畳画像上に表示する例である。 実施例2に係る画像処理装置10の処理手順の一例を示すフローチャートである。 重畳画像に示される病変部の一例を示す図である。 正常眼分布からのずれを示す画像を重畳画像上に表示する一例を示す図である。 凸面検出と極大値検出との比較の一例を示す図である。 黄斑からの距離に対する感度の特性の一例を示す図である。
以下に、本件の実施形態の一例を図面を参照しながら詳細に説明する。
[実施例]
(実施例1)
本実施例では、補償光学SLO装置により網膜を撮影した画像を取得する際に、視細胞の密度を評価したい領域と黄斑中心(中心窩)が含まれる領域とを撮影し、密度を評価したい領域の黄斑中心からの距離を取得する。さらに、視細胞の検出を黄斑中心からの距離を反映したアルゴリズムで行い、視細胞の密度を黄斑中心からの距離の関数として取得する処理について説明する。なお、本発明において黄斑中心とは黄斑の完全な中心のみを示す概念ではなく、略中心を含む概念である。
具体的には、固視の位置を変化させながら黄斑中心位置、黄斑中心からの距離が0.5mm, 1.0mmとなる位置の撮影を、異なる解像度の画像を組み合わせて行う。なお、黄斑中心からの距離については例示であり、これらの値に限定されるものではない。
収差補正SLO画像は、高解像度であるが撮影範囲が狭いために、1つの被検眼に対して複数箇所の撮影を行う。一か所の撮影は、撮影時間、フレームレートで指定される複数枚の画像を取得する。以下、一か所の撮影によって得られる画像群をAO−SLO像と呼ぶ場合がある。ここでAO−SLO像は撮影範囲を変更することが可能であるため、異なる解像度のAO−SLO像を取得することが可能である。さらに、一つの被検眼に対して取得される複数箇所、異なる解像度のAO−SLO像をまとめて、被検眼に対するAO−SLO像群と呼ぶ場合がある。
ここでは被検眼に対するAO−SLO像同士の相互の位置合わせをすることで、相互の位置関係を確定させる。その後、黄斑中心が撮影されているAO−SLO像より黄斑中心を検出し、眼軸長を考慮した上で、各AO−SLO像の黄斑中心からの距離を求める。十分な解像度をもつAO−SLO像で視細胞の検出を行い、視細胞密度等の指標を取得することで、視細胞密度を黄斑中心からの距離の関数として取得することができる。
なお、眼軸長を考慮する方法としては、例えば” Bennett AG, Rudnicka AR, Edgar DF. Improvements on Littmann’s method of determining the size of retinal features by fundus photography. Graefes Arch Clin Exp Ophthalmol. 1994 Jun;232(6):361−7.”
に記載されている方法を用いることが可能である。具体的には黄斑中心から眼底上の所定の位置までの距離をL、スキャナの振り角をθ、眼軸長をxとして、L = qθ、q =0.01306(x − 1.82)により求めることが可能である。また、眼軸長を考慮する方法は上記の方法に限定されるものではなく他の方法を用いることとしてもよい。例えば、” Li KY, Tiruveedhula P, Roorda A. Intersubject Variability of Foveal ConePhotoreceptor Density in Relation to Eye Length Invest Ophthalmol Vis Sci. 2010Dec;51(12):6858−67.”に記載されている方法を用いることとしてもよい。
こうして黄斑中心からの距離を算出して用いることにより、より精度の高い視細胞検出が行えると同時、黄斑中心からの距離によって変化することが知られている視細胞密度を、黄斑中心からの距離と関連づけて取得することが可能となる。
<画像生成装置の構成>
図1は、本実施例に係る画像処理装置10の機能構成の一例を示したものである。
図1において、100は画像取得部であり、補償光学SLO装置により取得されたAO−SLO像を取得する。すなわち、画像取得部100は、被検眼の眼底画像を取得する取得手段の一例に相当する。取得したAO−SLO像は制御部120を通じて記憶部130に記憶される。なお、画像取得部100は補償光学SLO装置から送信されたAO−SLO像を単に受信することでAO−SLO像を取得してもよいし、画像取得部100が画像処理装置10の外部に備えられたメモリ等に保存されたAO−SLO像を自ら取りにいくことで取得してもよい。すなわち、本件における「取得」とは少なくとも単に受信する場合および補償光学SLO装置に積極的に取りにいく場合を含む概念である。
110は入力情報取得部であり、ユーザーによる入力を取得する。140は画像処理部であり、位置合わせ部141、距離算出部142、視細胞解析部143、比較部144を含む。
画像処理部140は、取得したAO−SLO像を相互に位置合わせして各AO−SLO像の相対位置を求め,黄斑中心を検出するAO−SLO像と、解析対象となるAO−SLO像の位置関係から、解析対象領域の黄斑中心からの距離を取得する。画像処理部140は、取得した黄斑中心からの距離を反映して視細胞解析を行い、密度等の指標を算出する。
また、画像処理部140は算出した指標と記憶部130に保存された正常眼データとの比較を行い、比較結果が明示されるようなグラフや画像を生成する。
150は出力部であり、算出した指標や比較結果をモニタ等の表示部に出力するほか、記憶部130に記憶されている処理結果をデータベースに出力する。
<画像処理装置の処理手順>
次に、図2のフローチャートを参照して、本実施形態の画像処理装置10の処理手順の一例を説明する。
<ステップS210>
ステップS210において、画像取得部100は、画像処理装置10に接続される補償光学SLO装置により、例えば被検眼網膜の複数のAO−SLO像を取得する。
ここで、視細胞解析を行うために一つの被検眼に対して行う撮影方法の一例を示す。本実施例で用いた収差補正SLO装置は、該装置が有する固視灯の位置を変えることで、被検眼が異なる位置を凝視した状態で撮影することにより、網膜の異なる位置の撮影を行う。図3に固視灯の提示位置を操作する固視灯マップの一例を示す。なお、この固視灯マップは例えば表示部に表示され、検査者は表示された固視灯マップを参照しながらマウス等のポインティングデバイス(指示手段)を用いて固視灯の点灯位置を所望位置に変更することが可能である。
動作の一例として、まず、図3の固視灯マップで中心を選択した状態で固視灯を提示する。以下ではこの位置を基準位置と呼ぶ場合がある。このとき、提示される固視灯を凝視した被検眼を撮影すると、黄斑中心付近の撮影を行うことができる。
この状態で、WF−SLO像と、解像度の異なる複数のAO−SLO像を補償光学SLO装置により撮影する。なお、撮影されたWF−SLO像は画像取得部100により取得される。
ここでWF−SLO像は例えば画像サイズが8mmx6mm、ピクセルサイズは533x400である。網膜の広い範囲を撮影することで網膜の全体イメージを取得する。WF−SLO像と画角の狭いAO−SLO像とを対応づけることにより、AO−SLO像が網膜全体のどの位置にあるかが提示される。
AO−SLO像としては、撮影領域のサイズが1.7mmx1.7mm、0.82mmx0.82mm、0.34mmx0.34mm、ピクセルサイズはすべて共通で400x400の、3種類の解像度で撮影される。これらの撮影は補償光学SLO装置により行われ撮影された画像は画像取得部100により取得される。ここで撮影領域が1.7mmx1.7mmであるAO−SLO像をL像、0.82mmx0.82mmであるAO−SLO像をM像、0.34mmx0.34mmであるAO−SLO像をS像という場合がある。なお、上記の撮影領域のサイズおよびピクセルサイズは例示であり、これらの値に限定されるものではない。すなわち、他の値としてもよい。なお、M像またはS像は第1眼底画像の一例に相当する。さらに、WF−SLO像またはL像は第2眼底画像の一例に相当し、L像またはM像は第3眼底画像の一例に相当する。
AO−SLO像の撮影時間及びフレームレートは変更することが可能であるが、ここでは一例としてフレームレートが毎秒32フレーム、撮影時間が2秒で、64枚の画像より構成される。
次に固視位置を0.5mm Superiorの位置に移動し,移動した固視灯を凝視してもらう。その状態でM像及びS像を撮影する。同様に、0.5mm Nasal、0.5mm Inferior、0.5mm Temporalの順に固視位置を移動し、M像、S像の撮影を行う。なお、固視位置の移動順は上記の例に限定されるものではなく、他の順序としてもよい。以下についても同様である。
さらに、固視位置を1.0mm Superiorの位置に移動し,移動した固視灯を凝視してもらう。その状態でM像及びS像を撮影する。同様に、1.0mm Nasal、1.0mm Inferior、1.0mm Temporalの順に固視位置を移動し、M像、S像の撮影を行う。
このようにして撮影された、1の被検眼に対するWF−SLO像、AO−SLO像群の模式図を図4に示す。図4では、WF−SLO像上に、撮影されたL,M,S像が、固視位置の情報のみに基づいて重ねて表示されている。
図4に示されるように、0.5mmの位置と1.0mmの位置で撮影されたS像同士は重ならないが、M像同士は重なっていることがわかる。視細胞をより良く解像するためにはS像の解像度が好ましいが、S像のみで1.0mmの領域まで重なりをもって撮影するためには、一例として少なくとも0.3mmおきに撮影を行う必要があり、被験者の負荷増大につながる。そのためここでは、解析する場所を0.5mmと1.0mmとしその位置でS像の撮影を行うが、固視位置0.5mmと1.0mmでM像を撮影することで、M像同士の少なくとも一部が重なるようにする。この重なりによりM像相互の位置が正確に把握できるようなるためS像の正確な位置を把握することが可能となる。
ここで、非常に太い血管などの特徴がS像内に存在する場合には、M像および/またはL像の撮影を行わなくても、S像を直接WF−SLO像に対応づけることやM像またはL像の一方を用いてS像をWF−SLO像に対応づけることも可能である。しかしWF−SLOはAO−SLO像に比べて解像度が粗いために、正確な対応付けができないことが多い。M像やL像のように、収差補正SLO画像だがS像よりは解像度の低い画像を組み合わせて撮影することで、被験者の負荷を減らしつつも、精度の高い位置合わせをすることが可能になる。
なお、取得された被検眼のAO−SLO像群は、制御部120を通じて記憶部130に保存される。
<ステップS220>
ステップS220において、入力情報取得部110は、記憶部130に保存されているAO−SLO像を構成するフレームの中から、基準フレームを選択する。
ステップS210で説明したように、一例としてAO−SLO像は同一箇所を2秒間撮影した64枚のフレームより構成される。しかし被検眼の固視微動のため、64枚の撮影位置にはズレがあり、フレーム中にも歪みが生じている。この64枚のフレームの中から、歪みが少なく撮影状態が良好なフレームを、ユーザーが基準フレームとして選択する。
ここでは基準フレームをユーザーが選択する場合を示したが、ソフトウェア的に選択する方法も考えられる。例えば輝度の平均値や分散を算出し、平均値や分散が大きなフレームを選択することが考えられる。さらには、周波数解析を行うことで、視細胞の存在を示すリング構造が明確となるフレームを選択することも考えられる。
こうして各AO−SLO像に対して選択された基準フレームが、制御部120を通じて記憶部130に保存される。
なお、ステップS210において、各固視位置で一枚のAO−SLO像を撮影するようにした場合にはステップS220は実行されない。
<ステップS230>
位置合わせ工程の一例であるステップS230において、位置合わせ部141は、記憶部130に保存されている補償光学SLOにより取得された複数のAO−SLO像の相互の位置合わせを行う。ここで位置合わせは、各AO−SLO像に対して選択された基準フレームを用いて行う。
位置合わせは解像度が近い画像同士の方が高精度となるため、例えばまずはWF−SLO像とL像との位置合わせを行い、次にL像とM像との位置合わせ、その後にM像とS像との位置合わせを行う。位置合わせにはさまざまな方法が考えられるが、ここでは一例として位相限定相関法を用いた場合について、同一固視位置に対して撮影されたM像とS像との位置合わせの詳細を、図5のフローチャートに基づき説明する。
ここでは解像度の異なる画像間の位置合わせを行っているので、解像度が低く画角が大きい画像を大画像、解像度が高く画角が小さい画像を小画像と呼ぶ。すなわち、M像とS像との位置合わせの場合にはM像が大画像でS像が小画像になるが、L像とM像との位置合わせの場合にはL像が大画像でM像が小画像になる。
<ステップS510>
ステップS510において、位置合わせ部141は、ステップS210で取得された複数のAO−SLO像の中から,位置合わせを行う2種類のAO−SLO像のペアを設定する。設定の方法は様々な方法が考えられるが、例えば、まずはWF−SLO像と基準位置のL像とを選択し第一のペアとする。次に、上記L像と基準位置のM像とを選択する。さらに、固視位置0.5mmの4か所(Superior,Nasal,Inferior,Temporal)の位置のM像のそれぞれと上記L像とを選択する。
その次に、Superiorの0.5mmのM像と1.0mmのM像とを選択する。同様に、Nasal,Inferior,Temporalの0.5mm、1.0mmのM画像を選択する。最後に、同一固視位置のM像とS像とを選択する。
このようにして設定したAO−SLO像のペアを、制御部120を通じて記憶部130に保存する。なお、上記の手順は一例であり、他の順序で画像の選択を行うこととしてもよい。
<ステップS520>
ステップS520において、位置合わせ部141は、ステップS510で選択された画像のペアを、制御部120を通じて記憶部130から取得する。以下では、取得した2種類の画像の解像度が異なる場合、例えば大画像がM像、小画像がS像であり、かつ同一固視位置の場合を例として詳細に説明する。
M像は画像サイズが約820μmであり、S像は340μmであり、それぞれ400x400ピクセルサイズであることを考えると、M像内でS像と重なるのは中心部分の約166ピクセルの領域となる。位相限定相関法では各画像のFFTを計算することから、高速化を考えてM像の中心128x128ピクセルの領域を切り出す。なお、切り出す領域は上記の値に限定されるものではなく、大画像と小画像とが重なり合うサイズであればよい。また、L像とM像とをペアとして選択している際には、例えば固視位置に基づいて位置合わせされたM像の中心をL像から切り出す領域の中心とする。
<ステップS530>
ステップS530において、位置合わせ部141は、ステップS520で取得された画像ペアのうち小画像に対して、ステップS520で切り出された大画像の領域に対応する領域の解像度変換を行う。具体的には、S画像の中心から820x128/400=262.4μmの領域を用いて、128x128ピクセルの画像を生成する。すなわち、位置合わせ部141は、位置合わせ手段による位置合わせの際に、解像度が高い画像を解像度が低い画像と同じ解像度に変換する解像度変換手段の一例に相当する。なお、ステップS520、530の実行順序は逆であってもよいし、同時に実行されることとしてもよい。

<ステップS540>
ステップS540において、位置合わせ部141は、ステップS520で切り出された大画像(クロップト大画像)と、ステップS530で変換された小画像(低解像小画像)に対して、例えば位相限定相関法により移動量を算出する。具体的には、クロップト大画像および低解像小画像をそれぞれFFTにより周波数変換する。ここで周波数変換された画像をそれぞれF(u,v),G(u,v)と表すと、以下の式で示される位相限定相関係数C(u,v)を計算する。すなわち、位置合わせ手段の一例である位置合わせ部141は解像度変換後の画像を用いて位置合わせを行う。
C(u,v)の逆FFTを求め、ピーク値を検出することにより移動量を算出することができる。
算出した移動量を、制御部120を通じて記憶部130に保存する。
<ステップS550>
ステップS550において、位置合わせ部141は、ステップS510で設定された画像ペア群のすべてに対して、移動量の算出がされたかを判断する。まだ移動量の算出が行われていないペアがあれば、該ペアに対してステップS520に戻って移動量の算出を行う。すべてのペアに関して処理が終了していれば、ステップS560に進む。
<ステップS560>
ステップS560において、位置合わせ部141は、ステップS510で設定されたすべての画像ペア群に対して、ステップS540で算出された移動量に基づき、画像相互の位置合わせを行う。
具体的には、基準位置で撮影されたWF−SLO像とL像との移動量(ずれ量)、L像とM像との移動量、M像とS像との移動量にもとづき、L、M、S像のWF−SLO像に対する移動量を求める。同様に、L像と固視位置0.5mmのM像との移動量、固視位置0.5mmのM像とS像との移動量に基づき、固視位置0.5mmにおけるM、S像のWF−SLO像に対する移動量を求める。
同様にしてすべてのAO−SLO像の相互の位置を求め、対応する位置に例えば撮影領域の大きいものが下になるように重畳した重畳画像を生成する。すなわち、算出した移動量に基づいて位置合わせ部141は画像の位置合わせを行う。図6に、図4のAO−SLO像群を相互に位置合わせした、重畳画像の例を示す。なお図6に示す重畳画像は出力部150によりモニタ等の表示部に表示される。すなわち、出力部150は、位置合わせ手段により位置合わせが行われた第1画像と第2画像とを表示部に重畳表示させる。図4では固視位置のみに基づいてAO−SLO像群を配置していたために、血管等の位置がずれていたものが、図6では解像度の異なる画像を用いて段階的に位置合わせを行っているため正しい位置にAO−SLO像が配置されている。すなわち、位置合わせ部141は、M像およびL像を介してWF−SLO像とS像との位置合わせを行う。この位置合わせ部141は被検眼による収差が補正された画像である第1眼底画像と第1眼底画像よりも画角が広くかつ解像度が低い第2眼底画像とを第2眼底画像よりも画角が狭く解像度が高い第3眼底画像を用いて位置合わせを行う位置合わせ手段の一例に相当する。より具体的には、位置合わせ手段の一例である位置合わせ部141は、被検眼の眼底上の異なる位置を撮像した複数の第1眼底画像と第2眼底画像とを眼底上の異なる位置を撮像した複数の第3眼底画像を用いて位置合わせを行う。また、異なる観点から見れば、位置合わせ手段の一例である位置合わせ部141は、第2眼底画像と第3眼底画像との位置合わせ結果と、第3眼底画像と第1眼底画像との位置合わせ結果と、に基づいて第1眼底画像と前記第2眼底画像との位置合わせを行う。
ここではソフトウェアにより重畳画像を生成する方法の一例について述べたが、マニュアルにより位置を合わせることも可能である。具体的には、固視位置に基づき配置された図4の画像上で、血管等の特徴を参考にマウスのクリック&ドラッグにより各AO−SLO像の位置を移動する方法である。マニュアルのみで位置合わせをすることも可能であり、
また上記ソフトウェアでの位置合わせの後、マニュアルで修正することも可能である。このとき、例えば同一固視位置を撮影したM像とS像のペアを先に位置合わせし、そのセットをWF−SLO像及びL像と位置合わせするなどの方法も可能である。
こうして取得されたAO−SLO像群の重畳画像は、制御部120を通じて記憶部130に保存される。さらに出力部150を通じてモニタ等に表示した後、ステップS230に戻る。
<ステップS240>
ステップS240において、入力情報取得部111は、ステップS220で生成された重畳画像から、黄斑中心の位置を取得する。入力情報取得部111は、検出した黄斑中心位置を、制御部120を通じて記憶部130に保存する。ここで、入力情報取得部111は黄班を検出する検出手段の一例に相当する。
黄斑中心を検出する方法は複数の方法が考えられる。例えば、被験者に中心固視を凝視してもらって撮影した固視中心の画像中心を黄斑中心とするという方法がある。または、固視中心に対して撮影された画像の輝度の低い部分の中心を、ユーザーが目視により検出する方法が考えられる。これは黄斑中心部の輝度が低くなる傾向があるという知識を利用したものであるため、それをソフトウェア的に実装することも可能である。具体的には、各ピクセルの輝度の、画像内での最高値からの差を求め、その重心を求めて黄斑中心とするなどの方法がある。
すなわち、検出手段の一例である入力情報取得部111は、位置合わせ手段により位置合わせされた複数の第1眼底画像のうち黄班を含む第1眼底画像から黄班を検出する。
さらに、ここではAO−SLO像、WF−SLO像のみを用いているが、同一被検眼を撮影したOCT等の他モダリティ画像が取得可能な場合には、それらの画像と比較することで、ユーザーが黄斑中心と考える位置を選択する方法などもある。
また、S画像は他の画像に比べて最も解像度が高いため黄斑中心を正確に検出することが可能となるが、M像、L像またはWF−SLO像からでも黄斑中心は検出可能である。
<ステップS250>
距離取得工程の一例であるステップS250において、距離算出部142は、ステップS230で算出された各AO−SLO像のWF−SLO像からの移動量と、ステップS240で取得された黄斑中心位置から、各AO−SLO像の黄斑中心からの距離を算出する。すなわち、距離算出部142は被検眼の黄斑(例えば黄斑中心)から位置合わせ手段により位置合わせされた第1眼底画像における所定の位置までの距離を取得する距離取得手段の一例に相当する。より具体的には距離算出部142は検出手段により検出された黄斑(例えば黄斑中心)から位置合わせ手段により位置合わせされた複数の第1眼底画像のうち黄班(例えば黄斑中心)を含まない第1眼底画像における所定の位置までの距離を取得する。
各AO−SLO像の黄斑中心からの距離は、黄斑中心を原点として重畳画像の上側をY軸方向、右側をX軸方向として、各AO−SLO像の例えば中心の座標を求めるにより求められる。このようにして取得される各AO−SLO像の座標を黄斑中心座標と呼ぶ。これはステップS220で求めた各AO−SLO像iの移動量をベクトルDiとし、ステップS230で取得された黄斑中心位置を、WF−SLO像の中心からのベクトルMとした場合に、Di−Mで表される。AO−SLO像iの中心の座標を(Xi,Yi)とすれば、その黄斑中心からの距離Riは以下のようにして求めることができる。
そして求められた各AO−SLO像の黄斑中心座標と黄斑中心からの距離を、制御部120を通じて記憶部130に保存する。
<ステップS260>
ステップS260において、視細胞解析部143は、ステップS210で取得されたAO−SLO像のS像に対して、視細胞解析を行う。
図7に視細胞解析の詳細を説明するためのフローチャートを示す。
<ステップS710>
ステップS710において、視細胞解析部143は、ステップS220で取得されたAO−SLO像の基準フレームに基づき、視細胞解析の前処理を行う。前処理には複数の方法が考えられるが、ここでは周波数解析によるノイズ除去について示す。具体的には、基準フレームに周波数変換を行い、高周波を除去するフィルタを適応した後に逆変換する。
視細胞の大きさが最も小さい(視細胞の密度が最も高い)黄斑中心部付近で2μm程度であることが知られているため、ここでノイズとして除去する高周波のカットオフ値(カットオフ周波数)は、例えば2μmより短い周期の振動を除去するように定められる。さらに、視細胞の密度は黄斑中心から離れるに従って低くなることが知られているため、ステップS250で取得した距離に基づきカットオフ周波数を変化させる。例えば、黄斑中心部では2μm、黄斑中心から1.0mmの位置までは黄斑中心からの距離0.5mmに対して1μmずつ増加、黄斑中心から1.0mmより離れた位置では4μm(固定)となるように決め、黄斑中心からの距離に応じたカットオフ周波数とする。すなわち、検出手段の一例である視細胞解析部143は距離取得手段により取得された距離に応じて、視細胞を検出するために用いるパラメタを変更する。
さらに、ノイズ除去の方法として、AO−SLO像として取得された複数のフレームを用いて、その重ね合わせを行う方法がある。具体的には、各AO−SLO像の64枚のフレームを、アフィン変換などでレジストレーション処理を行った後、基準フレームに相当する領域に対して平均値処理を行う。この手法の精度は、レジストレーション処理の精度に依存する。そして上記レジストレーション処理を行った後に、上記周波数変換による高周波成分の除去処理を行う。
こうして取得された画像を前処理後画像と呼ぶ場合がある。
<ステップS720>
ステップS720において、視細胞解析部143は、ステップS710で取得された前処理後画像に対して、視細胞検出を行う。視細胞解析部143は第1眼底画像から視細胞を検出する検出手段の一例に相当する。
具体的には、前処理後画像の輝度の凸面検出を行う。凸検出とは、連続変数の場合には、2次微分係数が負になる領域の検出となるが、画像のように離散値の場合には、以下の式に従うピクセルを検出することに相当する。
すなわち、視細胞解析部143は、眼底画像の位置に対する輝度値の変化を示す特性において、隣接する輝度値に対して凸となる輝度値を有する部分を視細胞として検出する検出手段の一例に相当する。また、上記の式は、隣接する輝度値の平均輝度値よりも高い輝度値を有する部分を凸となる輝度値を有する部分とすることを示している。
ここで、画像は2次元なので上記凸検出が,縦横斜めすべてで成り立つ場合に凸面と判断して検出する。具体的には,下記を満たすピクセル(x, y)を検出する。
このようにして凸点を検出すると,一つの視細胞(一つの視細胞し得る所定の範囲内)に対して複数のピクセルが凸点として検出される。そこで凸面として検出されたピクセルで隣接するもの同士を統合し、例えばその重心を求めることで検出点とする。すなわち、所定の範囲内において凸となる輝度値を有する部分が複数存在する場合には、複数の凸となる輝度値を有する部分の重心を視細胞として検出する。
このとき統合領域のピクセル数がある閾値以下の場合には検出点とみなさないという制限を設けることで,検出精度を向上することができる。具体的には,統合領域の大きさが2ピクセル以上の場合に検出点とするという処理を入れることで、ノイズにより単一ピクセルのみが周辺より大きな値をもつような場合を、検出点から除去することが可能となる.さらに,検出点の輝度値がある閾値以下の場合には検出点とみなさないという閾値処理を加えることもできる。このような処理を加えることで,血管の下部など極端に輝度が低い領域でのノイズ検出を抑制することができる。具体的には,画像全体の輝度平均値と輝度最低値の中間の値を閾値とするなどの処理が可能である。なお、上記の式では隣接するピクセルの値を用いているが精度が落ちても良い場合等には2つ隣りのピクセルの値を用いることとしても良い。すなわち、本発明は隣接する画素を用いた凸面検出に限定されるものではない。
つぎに,検出された点同士の距離が、知識として知られる視細胞の大きさよりも小さい場合には、ノイズの影響であるとして検出点同士を統合する処理を行う。具体的には、検出点のピクセルとその周囲のピクセル間の距離が、視細胞の大きさの半分(視細胞が円形であると考えその半径)よりも小さい場合には、その周囲のピクセルも検出点とする処理を行う。その後、検出点で隣接するもの同士を統合し、その重心を求めることで新たな検出点とする。このような処理を行うことにより、凸検出のみでは視細胞の大きさよりも小さい距離に検出された2つの検出点を統合することができ、ノイズにより一つの視細胞に複数のピークが現れるような場合の検出精度を向上させることができる。
ここでは視細胞検出の一例を示したが、検出法は上記に限定されるものではなく、様々な方法が考えられる。例えば、前処理後画像の輝度の極大値検出を行う。このとき極大値として検出された点同士の距離が、知識として知られる視細胞の視細胞の大きさよりも小さい場合には、ノイズの影響であるとして検出点同士を統合する処理を行う。ここで用いる視細胞の大きさとして、ステップS710と同様、ステップS250で求められた解析対象となるAO−SLO像の黄斑中心からの距離に基づき算出することで、より精度の高い検出を行うことができる。
さらに、こうして取得された検出点のうち、指定されたある閾値以上の値をもつ点を視細胞とする。閾値としては、画像の最低輝度値を用いる方法(すべての検出点を視細胞とする)や、画像の輝度平均値を用いる方法などが考えられる。
なお、上記の極大値検出と言われる方法の詳細は“Automated identification of cone photoreceptors in adaptive optics retinal images, Kaccie Y.Li and Austin Roorda,J.Opt.Soc.Am.A, May 2007, Vol.24,No.5,1358”に記載されている。
この方法によって、解像されて個別の輝点として存在する視細胞は大部分を検出することができる。しかし被検眼の状態や収差補正のかかり具合,前処理の精度等により、隣接する視細胞同士が明確に分離した個別の輝点とならない場合がある。特に視細胞の輝度の大きさは時間的にも空間的にもばらつきがあるため、隣接する視細胞間に大きな輝度の差があるような場合、輝度が小さい方の視細胞は極大値をとらず、上記極大値検出に基づく方法では検出できなくなる。そこで、上記の手法で検出できなかった場合、更に視細胞を検出するために上記凸面検出を行うようにしてもよい。
また、例えば、輝度値がある閾値以上のピクセルのみ選択し、該選択ピクセルが連結している領域の重心を求める方法がある。他には、小領域の特徴量を算出して、パターン認識の手法を用いて検出することも考えられる。具体的には、例えば11x11ピクセルの小領域に対して、ガボール特徴量を算出する。視細胞とされる検出点を中心に含む複数の小領域と、含まない複数の小領域から得られるガボール特徴量ベクトルを用いて、サポートベクターマシンによる学習を行う。新たに対象とする小領域に対してガボール特徴量を算出し、上記学習結果を用いることで、該小領域の中心が視細胞であるか否かを判断する。
さらに、上記ソフトウェアによる検出に加えて、ユーザーによりマニュアルで修正することも可能である。このとき入力情報取得部111は、ステップS720で検出した検出点に対してユーザーが修正した検出点の位置を取得する。
図15に極大値検出を用いた視細胞検出と上述した凸面検出を用いた視細胞検出との比較の一例を示す。図15(a)、(b)は極大値検出による視細胞検出結果であり、図15(c)、(d)は凸面検出を用いた視細胞検出結果である。なお、各図の縦軸は輝度、横軸は眼底における位置である。図15(a)、(c)を参照すると、上述したように凸面検出を用いた視細胞検出では極大値検出を用いた視細胞検出に比べ多くの点を抽出している(図中、丸印)。また、図15(b)、(d)を参照すると、極大値検出を用いた視細胞検出では検出ができていない点が凸面検出を用いた視細胞検出では検出できていることが分かる。これは視細胞の特性として隣接する視細胞であっても輝度の差があり、視細胞間の距離が近づくと図15(b)に示すように極大値が存在しなくなってしまうためである。その結果、図15(b)に示すように視細胞が存在するのにも関わらず、極大値検出を用いた視細胞検出では視細胞が検出できなくなってしまう。 図16は黄斑からの距離に対する感度の特性の一例を示す図である。図16のグラフは、横軸を黄斑(例えば黄斑中心)からの距離、縦軸を感度としている。図16における感度とは、画像から人が抽出した視細胞に対する視細胞検出により検出された視細胞の割合を示すものである。例えば、人が抽出した視細胞と視細胞検出により検出された視細胞が一致する場合には1となる。なお、縦軸は視細胞検出による精度を測ることができるものではれば他の指標であっても構わない。また図16において菱形のプロットは凸面検出を用いた視細胞検出の結果を示しバツ印のプロットは極大値検出を用いた視細胞検出の結果を示している。
図16に示す実験結果からは、凸面検出を用いた視細胞検出の方が極大値検出を用いた視細胞検出よりも精度良く視細胞を検出出来ていることが分かる。また、黄斑からの距離が短くなり視細胞密度が高くなると、極大値検出を用いた視細胞検出の精度は凸面検出を用いた視細胞検出の精度に比べて大きく下がる。これは上述したように、輝度差のある隣接する視細胞の距離が近づくことで、本来視細胞として検出されるべき位置の輝度が極大とならないためである。
一方、凸面検出を用いた視細胞検出では、黄斑からの距離が短くなっても上述のごとく視細胞を検出できていることが分かる。
従って、凸面検出を用いた視細胞検出により精度良く視細胞を検出することが可能となる。より具体的には、凸面検出を用いた視細胞検出により、視細胞検出の精度の黄斑からの位置の依存性を減少させることが可能となる。
なお、黄斑からの距離に応じて凸面検出を用いた視細胞検出と極大値検出を用いた視細胞検出とを使い分けることとしても良い。予め決められた黄斑からの距離以下の場合には凸面検出を用いた視細胞検出を行い、予め決められた黄斑からの距離より大きい場合には極大値検出を用いた視細胞検出を行うこととしても良い。

<ステップS730>
ステップS730において、視細胞解析部143は、ステップS720で検出された検出点に対して、ボロノイ解析を行う。
具体的には、ステップS720で検出された全検出点に対して、近傍にある検出点同士の垂直二等分線によって画像内の領域を分割することで、各検出点に属するボロノイ領域を算出する。
<ステップS740>
ステップS740において、視細胞解析部143は、ステップS720、ステップS730の解析結果に対し、指標を算出する領域を選択する。
図8(a)に図6で0.5mm Superiorの領域選択の例を、図8(b)に図6で0.5mm Temporalの領域選択の例を示した。領域は矩形や多角形、楕円等を選択することが可能であり、ユーザーによるマウスクリック等の操作に応じて視細胞解析部143により設定される。すなわち、視細胞解析部143は第1眼底画像に対して領域を設定する設定手段の一例に相当する。なおユーザーの操作に応じるのではなく、視細胞解析部143が自動的に領域を設定することとしてもよい。また自動で領域を設定した後にユーザーの操作に応じて領域を変更可能にしてもよい。
なお、血管等が含まれる場合、血管の下の輝度は低くなるため、視細胞の検出精度が悪くなる。よって血管は避けて領域を選択する。すなわち、設定手段の一例である細胞解析部143は第1眼底画像に含まれる血管領域を含まないように領域を設定する。
また、視細胞密度が黄斑中心からの距離に依存して変化することから、Superiorでは横長に、Temporalでは縦長に領域を選択している。これはInferior、Nasalでも同様であり、Inferiorは横長、Nasalは縦長とすることで、同一領域内に含まれる視細胞の黄斑中心からの距離のばらつきを抑えることができる。つまり、細胞解析部143は、S像と黄斑中心とを結ぶ直線に垂直な方向における幅が前記直線に平行な方向における幅よりも大きくなるように領域を設定する。すなわち、設定手段の一例である視細胞解析部143は第1眼底画像と黄斑中心との位置関係に応じて領域の設定方法を変更する。より具体的には視細胞解析部143の一例である設定手段は第1眼底画像と黄斑中心とを結ぶ直線に垂直な方向における幅が直線に平行な方向における幅よりも大きくなるように領域を設定する。
領域の選択法としては、上記のように前処理後画像の中からある大きさのエリアを選択することもできるが、検出点ごとに選択領域を設定することも可能である。例えば、各検出点を中心とした大きさ20μmの円を考え、その円内を各検出点に対応した領域と考えることができる。さらに、検出点に限らず、適当な間隔をあけたピクセルごとに設定することも可能である。この場合も、例えば縦横10ピクセルおきに選択したピクセルに対して、大きさ20μの円を考え、その円内に含まれる領域を選択領域とすることができる。
さらに、上記選択領域の黄斑中心からの距離を算出する。ステップS250により、各AO−SLO像の黄斑中心からの位置が算出されている。ステップS250で算出されたAO−SLO像の位置および上記選択領域のAO−SLO像内での位置から、選択領域の中心の黄斑中心からの距離を算出する。すなわち、距離取得手段の一例である距離算出部142は黄斑中心の位置から領域内の所定の位置(例えば領域の中心)までの距離を取得する。
<ステップS750>
ステップS750において、視細胞解析部143は、ステップS740で選択された領域に対して、ステップS720、ステップS730で取得された結果に基づき、指標を算出する。
ここで指標の例として、ステップS720で求められた検出点の数(視細胞の数)、検出点数を領域の面積で割った密度(視細胞の密度)、選択した領域における検出点当たりの平均面積、ステップS730で求められた最近傍検出点までの距離、ボロノイ領域が六角形である割合などがあげられる。また、上記指標とともに、領域の横幅、縦幅および面積を表示することとしてもよい。さらに、理想的な最近傍検出点までの距離や最近傍検出点までの距離に対する実際の最近傍検出点までの距離の比等を表示することとしてもよい。また、黄斑中心からの距離を表示することとしてもよい。
こうして視細胞解析を行った結果及び取得した指標を、制御部120を通じて記憶部130に保存した後、ステップS260に戻る。すなわち、ステップS260において、決定手段の一例である視細胞解析部143は各領域までの距離と第1眼底画像に含まれる視細胞に関する情報とから複数の領域毎に評価値を決定する。
<ステップS270>
評価工程の一例であるステップS270において、比較部144は、ステップS260で取得された視細胞解析結果の指標を、記憶部130に保存されている基準情報の一例である正常眼データと比較することで。
図9(a)に正常眼における、視細胞に関する情報の一例である視細胞の密度と黄斑中心からの距離の関係を示した例を示す。グラフで塗りつぶされた範囲が正常眼のばらつきの範囲とする。ここに、ステップS260で取得した、図8(b)の選択領域に対する視細胞密度の指標をプロットしたものの一例を図9(b)に示す。図9(b)に示されているように、黄斑中心からの距離に応じた正常眼データと検出した視細胞密度とが比較される。選択領域のうち6か所は正常範囲に含まれているが、一か所は正常範囲から逸脱していることがわかる。すなわち、比較部144は、黄斑(例えば黄班中心)から第1眼底画像における所定の位置までの距離と第1眼底画像に含まれる視細胞に関する情報とから被検眼の状態を評価する評価手段の一例に相当する。より具体的には、評価手段の一例である比較部144は、領域内の所定の位置までの距離と領域における視細胞に関する情報とから被検眼の状態を評価する。また、上述したように評価手段の一例である比較部144は、視細胞に関する情報と距離に応じた基準情報とを比較する。
正常範囲から逸脱している場合に、どの領域が正常範囲から逸脱しているかが明示されるように、図8(b)上で正常範囲から逸脱した領域が図10(a)のように明示されるように出力部150は表示部であるモニタ等に表示させる。すなわち、出力部150は比較の結果に基づく表示形態で第1眼底画像を表示部に表示させる表示制御手段の一例に相当する。例えば、図9(b)と図10(a)とを並べて表示部に表示することとすれば、正常範囲から逸脱した値と選択領域とが容易に把握可能となる。
なお、図9(b)のグラフと図8(b)の領域は連動させることができ、図8と図9とを表示部に並べて表示し、例えば図9(b)のグラフ上のポイントとクリックすると、図8(b)上の対応する領域が輪郭強調されるなどすることで、対応関係をより明確に示すことができる。
さらに、ステップS740の領域選択において、検出点ごと、もしくは適当な間隔のピクセルごとに選択領域を設定した場合について考える。例えば縦横10ピクセルおきに領域選択がされている場合、その領域ごとに正常眼の分布と比較することがでるため、図8(b)に対してそのような処理を行った例を図10(b)に示す。ここでは正常分布の平均値となる場合を基準に、そこからの逸脱量に応じて濃い色で表示するようにしている。なお、正常範囲から逸脱するほど薄い色としてもよいし、正常範囲から逸脱するほど濃い色としてもよい。すなわち、表示制御手段の一例である出力部150は、視細胞に関する情報と距離に応じた基準情報との差に応じて前記第1眼底画像の明度を変える。
また、出力部150は、図9(a)で示された正常分布の範囲外となる領域の面積を計測し、提示することも可能である。すなわち、表示制御手段の一例である出力部150は、視細胞に関する情報と距離に応じた基準情報との差が所定値以上となる第1眼底画像上の領域の面積を提示する。
図11は、各AO−SLO像に対して図10(b)で示された画像を生成し、それを図6の重畳画像に表示した例である。このとき、疾病の進行度を示す指標として、例えば黄斑中心からの距離の関数として、異常領域の面積の割合を示すことができる。なお、図10(a)を図6の重畳画像に表示することとしてもよい。
<ステップS280>
ステップS280において、入力情報取得部111は、ステップS270で提示された解析結果及びその比較結果に対して、ユーザーが修正を行うか否かの判断を取得する。ここでユーザーの修正とは、ステップS230で行った各AO−SLO像の位置合わせや、ステップS240で行った黄斑中心の検出に対してである。
具体的には、ステップS230のAO−SLO像の位置合わせが間違っていると判断した場合には、ユーザーが該AO−SLO像の位置を変更することができる。さらに、ステップS240で決められた黄斑中心の位置を変更することができる。
ユーザーによる修正がない場合には、ステップS290に進む。修正が行われた場合には、ステップS250に戻り、修正された黄斑中心位置及び各AO−SLO像の位置に基づき再度距離計算を行い、それ以降の処理を行う。
<ステップS290>
ステップS290において、制御部120は、記憶部110に保存されている、算出した指標や比較結果など記憶部130に記憶されている処理結果を、データベースに保存する。
以上の構成により、補償光学SLO装置により取得した複数のAO−SLO像を解析して指標を算出する場合に、同一AO−SLO像内に含まれない黄斑中心との位置関係を考慮しながら、解析及を行うことが可能になる。
(実施例2)
実施例1では、解像度の異なる複数のAO−SLO像から作成した重畳画像を用いて、解析対象となるAO−SLO像の黄斑中心からの距離を取得し、それを反映させた解析及び評価を行う例を示した。
実施例2では、重畳画像より検出できる病変等の情報を利用して、解析及び評価を行う場合について説明する。
視細胞に関連した遺伝性の疾病では、疾病の進行に伴い特有のリング状の構造物が観察されることが知られている。このようなリング構造は、高解像度かつ低画角の画像で把握することは困難であり、低解像度であっても高画角の画像により把握することが可能である。このような構造を高画角画像より抽出し、それに基づき高解像度画像における処理を変える方法について説明する。
本実施例に関わる画像処理装置10の機能構成は、図1と同様なので説明は省略する。
図12のフローチャートを参照して、本実施形態の画像処理装置10の処理手順を説明する。ここでステップS210、S220、S230、S280、S290に関しては実施例1で説明した処理手順と変わらないために、説明は省略する。
<ステップS1240>
ステップS1240において、入力情報取得部111は、ステップS220で生成された重畳画像に対して、ユーザーが検出した黄斑中心の位置及び病変位置を取得する。そうして検出した黄斑中心位置及び病変位置を、制御部120を通じて記憶部130に保存する。
黄斑中心を検出する方法については実施例1で説明した方法と同一である。リング構造を検出する方法としては、重畳画像からユーザーが目視により検出する方法が考えられる。図13にリング構造が見られる重畳画像の例を示した。但し図13では、リング構造が見られる領域が小さいため、重畳画像のうち該リング構造を含む4枚のL像より作成した領域を拡大して示している。このようにして示されたリング構造の概形にそって、ユーザーが重畳画像上をマウスでクリックしながら概形を取得することができる。
さらに、眼底自発蛍光等の画像よりリング構造を抽出し、血管等の位置を参考にしながら、重畳画像上の対応する位置に置くことで、リング構造を取得する方法などもある。
<ステップS1250>
ステップS1250において、距離算出部142は、ステップS230で算出された各AO−SLO像のWF−SLO像からの移動量と、ステップS1240で取得された黄斑中心位置から、各AO−SLO像の、黄斑中心を原点とした座標を算出する。さらに、ステップS1240で取得した病変位置の、黄斑中心を原点とした座標を算出する。
各AO−SLO像の座標の求め方は実施例1で説明した手法と同じである。病変部に関しては、ステップS1240でマウスクリック等により取得した座標値を、重畳画像上の長さに変換し、かつ原点と黄斑中心位置とすることで取得できる。
そして求められた各AO−SLO像、及び病変の黄斑中心からの位置を、制御部120を通じて記憶部130に保存する。
<ステップS1260>
ステップS1260において、視細胞解析部143は、ステップS210で取得された収差補正SLO画像のS画像に対して、視細胞解析を行う。
視細胞解析のステップは実施例1で説明した方法に従うが、ここではステップS1240で取得した病変情報に基づき、処理を変化させる箇所についてのみ記載する。
一般に、リング構造の外側と内側では疾病の進行状態が異なるため、視細胞の描出のされ方に違いが見られる。正常に近い領域がリングの内側になるか外側になるかは疾病によって異なるが、疾病が進行している領域では一般に視細胞が変性しているため、視細胞以外の構造物が描出されていたり、輝度の低い領域が広く描出されていたりする場合がある。このため実施例1で示した極大値検出アルゴリズムを適応すると、多くのノイズを拾うためにアルゴリズムのロバスト性が下がってしまう。
このような状況を防ぐために、視細胞解析を行う領域が、リング構造の疾病が進行している側となる場合には、ステップS710の前処理の段階で追加の平均値フィルタ処理を入れる。ここでは平均値フィルタを用いているが、フィルタの種類は平均値フィルタに限定されるものではなく、ノイズ低減につながるものであれば、ガウシアンフィルタなどさまざまな種類のフィルタを用いることが可能である。
また、ステップS720の検出の際の閾値のパラメタを、リングの内側と外側で変更する。具体的には、リングの内側では実施例1の場合と同様、画像の輝度最低値とするが、リングの外側では画像の輝度平均値を用いるなどである。このように変更する理由は上記と同様、リングの内側もしくは外側で明確は視細胞が描出されていない場合の、検出のロバスト性を向上させるためである。
さらに、ステップS720でパターン認識の手法による検出の例を示したが、この場合に、疾病ごとにリングの外側と内側で別に学習をした結果を用いることが望ましい。
<ステップS1270>
ステップS1270において、比較部144は、ステップS1260で取得された視細胞解析結果の指標を、記憶部130に保存されている正常眼データと比較する。
実施例1におけるステップS270と同様の処理により、図13上で示されている各S像に対して、図11と同様の処理を行った結果を図14に示す。図14では、重畳画像上に示されている病変部と、視細胞解析結果を正常眼分布と比較して作成した画像との間に矛盾が見られる。具体的には、図14の右側のS像は、リング構造の内側であるにもかかわらず、正常分布からおおきく外れているのに対し、右側はリング構造付近であっても比較的正常に近い分布となっている。このような場合には、各S像の重畳画像内での位置が間違っているかもしれないし、もしくはリング構造の取得が正しく行われていないかもしれない。または、実際に重畳画像上でリング構造にように見えているものが、実際の病変を正しく反映していないかもしれない。前者の位置合わせやリング構造取得の問題であるならば、ステップS1280で修正することができる。しかし後者である場合には、他モダリティ画像との比較を通じた解析が必要であり、図14の表示を行うことによりユーザーが病態解明を進めるサポートとなる。
<ステップS1280>
ステップS1280において、入力情報取得部111は、ステップS1270で提示された解析結果及びその比較結果に対して、ユーザーが修正を行うか否かの判断を取得する。ここでユーザーの修正とは、ステップS230で行った各AO−SLO像の位置合わせや、ステップS1240で行った黄斑中心及び病変部の検出に対してである。
ユーザーが修正を行うと判断した場合には、ユーザーは再度AO−SLO像の位置や黄斑中心、及び病変の位置を設定してステップS1250に戻り、修正された黄斑中心や病変の位置及び各AO−SLO像の位置に基づき再度距離計算を行い、それ以降の処理を行う。ユーザーによる修正がない場合には、ステップS290に進む。
(その他の実施形態)
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
10 画像処理装置
100 画像取得部
110 入力情報取得部
120 制御部
130 記憶部
140 画像処理部
141 位置合わせ部
142 距離算出部
143 視細胞解析部
144 比較部
150 出力部

Claims (8)

  1. 被検眼の眼底画像を取得する取得手段と、
    前記眼底画像において隣接する複数の輝度値の平均値よりも高い輝度値を有する部分を視細胞として検出する検出手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記眼底画像は二次元画像であり、
    前記検出手段は、前記眼底画像中の複数方向それぞれにおいて隣接する複数の輝度値の平均値よりも高い輝度値を有する部分を視細胞として検出することを特徴とする請求項1に記載の画像処理装置。
  3. 被検眼の眼底画像を取得する取得手段と、
    前記眼底画像において隣接する複数の画素の輝度値の平均値よりも高い輝度値を有する画素を視細胞として検出する検出手段と、
    を備えることを特徴とする画像処理装置。
  4. 被検眼の眼底画像を取得する取得手段と、
    前記眼底画像において隣接する複数の画素の輝度値の平均値よりも高い輝度値を有する画素を複数検出し、前記検出された複数の画素間の距離が所定閾値より小さい場合には前記検出された複数の画素の重心位置を視細胞として検出する検出手段と、
    を備えることを特徴とする画像処理装置。
  5. 被検眼の眼底画像を取得する取得手段と、
    前記眼底画像において隣接する複数の画素の輝度値の平均値よりも高い輝度値を有する画素を複数検出し、前記検出された複数の画素に基づいて視細胞を検出する検出手段と、
    を備えることを特徴とする画像処理装置。
  6. 前記眼底画像は前記被検眼による収差が補正された画像であることを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  7. 被検眼の眼底画像を取得する取得工程と、
    前記眼底画像において隣接する複数の輝度値の平均値よりも高い輝度値を有する部分を視細胞として検出する検出工程と、
    を有することを特徴とする画像処理方法。
  8. 請求項記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
JP2013097731A 2012-12-28 2013-05-07 画像処理装置及び画像処理方法 Active JP6230262B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013097731A JP6230262B2 (ja) 2012-12-28 2013-05-07 画像処理装置及び画像処理方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012287252 2012-12-28
JP2012287252 2012-12-28
JP2013048104 2013-03-11
JP2013048104 2013-03-11
JP2013097731A JP6230262B2 (ja) 2012-12-28 2013-05-07 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2014198223A JP2014198223A (ja) 2014-10-23
JP6230262B2 true JP6230262B2 (ja) 2017-11-15

Family

ID=52355533

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013097731A Active JP6230262B2 (ja) 2012-12-28 2013-05-07 画像処理装置及び画像処理方法
JP2013097732A Active JP6207225B2 (ja) 2012-12-28 2013-05-07 画像処理装置及び画像処理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013097732A Active JP6207225B2 (ja) 2012-12-28 2013-05-07 画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (2) JP6230262B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6576035B2 (ja) * 2014-12-16 2019-09-18 キヤノン株式会社 眼科装置、視細胞検出方法およびプログラム
JP6798096B2 (ja) * 2015-01-30 2020-12-09 株式会社ニデック 眼底撮影装置
US10130249B2 (en) 2015-05-01 2018-11-20 Canon Kabushiki Kaisha Inspection apparatus, image processing apparatus, method of operating inspection apparatus, image processing method, and recording medium
JP6652284B2 (ja) * 2015-07-08 2020-02-19 キヤノン株式会社 画像生成装置および画像生成方法
JP2017164068A (ja) * 2016-03-14 2017-09-21 富士通株式会社 判定装置、分析装置、算出装置、判定方法、分析方法、算出方法、判定プログラム、分析プログラムおよび算出プログラム
JP6971559B2 (ja) * 2016-10-31 2021-11-24 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
WO2018151223A1 (ja) * 2017-02-16 2018-08-23 国立大学法人京都大学 細胞評価方法、細胞評価装置、及び細胞評価プログラム
JP2021007017A (ja) * 2020-09-15 2021-01-21 株式会社トプコン 医用画像処理方法及び医用画像処理装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1427328B1 (en) * 2001-08-30 2014-07-02 University Of Rochester Adaptive optics in a scanning lase ophtalmoscope
US7758189B2 (en) * 2006-04-24 2010-07-20 Physical Sciences, Inc. Stabilized retinal imaging with adaptive optics
WO2011091253A2 (en) * 2010-01-21 2011-07-28 Physical Sciences, Inc. Multi-functional adaptive optics retinal imaging
JP5208145B2 (ja) * 2010-02-15 2013-06-12 キヤノン株式会社 断層像撮影装置、断層像撮影方法法、プログラム、及びプログラム記憶媒体
JP5545984B2 (ja) * 2010-05-31 2014-07-09 株式会社ニデック 波面補償付眼底撮影装置
CN103188988A (zh) * 2010-08-27 2013-07-03 索尼公司 图像处理装置及方法
JP5576782B2 (ja) * 2010-12-16 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5842330B2 (ja) * 2010-12-27 2016-01-13 株式会社ニデック 眼底光凝固レーザ装置
JP5818458B2 (ja) * 2011-02-25 2015-11-18 キヤノン株式会社 画像処理装置、撮影システム、画像処理方法及びプログラム
JP5822485B2 (ja) * 2011-02-25 2015-11-24 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム、slo装置、およびプログラム
JP5845608B2 (ja) * 2011-03-31 2016-01-20 株式会社ニデック 眼科撮影装置

Also Published As

Publication number Publication date
JP2014198224A (ja) 2014-10-23
JP6207225B2 (ja) 2017-10-04
JP2014198223A (ja) 2014-10-23

Similar Documents

Publication Publication Date Title
JP6230262B2 (ja) 画像処理装置及び画像処理方法
US9619874B2 (en) Image processing apparatus and image processing method
US9514532B2 (en) Image processing apparatus ophthalmologic imaging system and image processing method
US8639001B2 (en) Image processing apparatus, image processing system, image processing method, and image processing computer program
EP2957219A1 (en) Image processing apparatus, image processing method, and program
US8870377B2 (en) Image processing apparatus, image processing apparatus control method, ophthalmologic apparatus, ophthalmologic apparatus control method, ophthalmologic system, and storage medium
JP5847510B2 (ja) 画像処理装置及び画像処理方法
US10165939B2 (en) Ophthalmologic apparatus and ophthalmologic apparatus control method
JP6128841B2 (ja) 画像処理装置
RU2637851C2 (ru) Устройство обработки изображений и способ управления устройством обработки изображений
US9307902B2 (en) Image processing device, image processing system, image processing method, and program
JP2017104343A (ja) 画像処理装置、画像処理方法及びプログラム
US10916012B2 (en) Image processing apparatus and image processing method
JP6243957B2 (ja) 画像処理装置、眼科システム、画像処理装置の制御方法および画像処理プログラム
JP6419249B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2018057828A (ja) 画像処理装置及び画像処理方法
JP6526154B2 (ja) 画像処理装置、眼科システム、画像処理装置の制御方法及び画像処理プログラム
JP2022062620A (ja) 画像処理装置、画像処理方法及びプログラム
JP2018202237A (ja) 画像処理装置およびその制御方法
JP6506518B2 (ja) 眼科装置及びその制御方法
JP2020124569A (ja) 画像処理装置、画像処理方法及びプログラム
JP2022062619A (ja) 画像処理装置、画像処理方法及びプログラム
JP2019115827A (ja) 画像処理システム、処理方法及びプログラム
JP2016112268A (ja) 眼科装置、視細胞検出方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160502

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171017

R151 Written notification of patent or utility model registration

Ref document number: 6230262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151