JP6001149B2 - 画像処理装置、撮影システム、画像処理方法及びプログラム - Google Patents

画像処理装置、撮影システム、画像処理方法及びプログラム Download PDF

Info

Publication number
JP6001149B2
JP6001149B2 JP2015190464A JP2015190464A JP6001149B2 JP 6001149 B2 JP6001149 B2 JP 6001149B2 JP 2015190464 A JP2015190464 A JP 2015190464A JP 2015190464 A JP2015190464 A JP 2015190464A JP 6001149 B2 JP6001149 B2 JP 6001149B2
Authority
JP
Japan
Prior art keywords
image
slo
blood vessel
focus position
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015190464A
Other languages
English (en)
Other versions
JP2016000355A (ja
Inventor
裕之 今村
裕之 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015190464A priority Critical patent/JP6001149B2/ja
Publication of JP2016000355A publication Critical patent/JP2016000355A/ja
Application granted granted Critical
Publication of JP6001149B2 publication Critical patent/JP6001149B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)

Description

本発明は眼部の画像を処理する画像処理装置、撮影システム、画像処理方法及びプログラムに関する。
生活習慣病や失明原因の上位を占める疾病の早期診療を目的として、眼部の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した眼科装置である走査型レーザー検眼鏡(SLO:Scanning Laser Ophthalmoscope、以下SLO撮影装置)は、測定光であるレーザーを眼底に対してラスター走査し、その戻り光の強度から網膜の平面画像を高分解能かつ高速に得る装置である。
かかるSLO装置において、被検眼の収差を波面センサでリアルタイムに測定し、被検眼で発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系(AO:Adaptive Optics)を有するAO−SLO装置が開発されている。かかるAO−SLO装置によって高横分解能な画像の取得が可能であり、網膜の毛細血管や視細胞を検出することができる。非特許文献1には、健常眼の視細胞付近にフォーカスしたSLO画像から血球の移動範囲を血管領域として認識し、血球の移動速度をはじめとする血流動態を計測する技術が非特許文献1に開示されている。
Johnny Tam and Austin Roorda,"Enhanced Detection of Cell Paths in Spatiotemporal Plots for Noninvasive Microscopy of the Human Retina", Proceedings of 2010 IEEE International Symposium on Biomedical Imaging, pp.584−587, April 2010.
しかしながら視細胞付近にフォーカスを合わせたSLO画像では、血管に直接フォーカスが合っていないため血管を正確に特定できない場合がある。
そこで本発明の一態様に係る画像処理装置は、信号光を第一のフォーカス位置に調整して第一のSLO画像を撮影し、前記第一のフォーカス位置よりも深い第二のフォーカス位置に調整された前記信号光により第二のSLO画像を撮影する撮影手段と、前記撮影された第一のSLO画像から血管の領域を特定する領域特定手段と、前記撮影された第二のSLO画像から前記血管の血流速に関する情報を特定する流速特定手段と、を有することを特徴とする。
本発明の一態様に係る画像処理装置によれば、異なるフォーカス位置で撮像したSLO画像群から、血流を正確に計測することができる。
本発明に係る画像処理装置10の機能構成例を示すブロック図である。 本発明に係る画像処理装置10を含むシステムの構成例を示すブロック図である。 画像処理装置10のハードウェア構成例を示すブロック図である。 眼部画像撮像装置20の全体の構成について説明する図である。 眼部画像撮像装置20の画像の取得方法を説明する図である。 本発明に係る画像処理装置10が実行する処理のフローチャートである。 本発明の画像処理内容を説明する図である。 本発明の画像処理により得られる結果を示す図である。 S650で実行される処理の詳細を示すフローチャートである。 本発明の実施例3での画像処理内容を説明する図である。 本発明の実施例3でのS650で実行される処理の詳細を示すフローチャートである。 本発明の実施例4での処理の概要を示す図である。 本発明の実施例4でのS930で実行される処理の詳細を示すフローチャートである。
以下、添付図面に従って本発明の実施形態について実施例に分け説明する。
(全体構成)
図1を用いて本実施例に係る画像処理装置10の機能構成を説明する。図1は画像処理装置10の機能構成を示すブロック図であり、画像処理装置10は撮影指示部100、SLO画像取得部110、眼部ボリューム画像取得部120、記憶部130、画像処理部140、指示取得部150を有する。また画像処理装置10には表示部160、操作部170が接続されている。
また、画像処理部140は特定部141、判定部142、取得部143、表示制御部144、決定部180を有し、撮影対象である眼部の画像を処理する。特定部141は領域特定部(第一の特定部)1411、流速特定部(第二の特定部)1412を有する。SLO画像取得部110が取得した、フォーカス位置の異なる信号光により得られた複数のSLO画像から、第一の特定部1411及び第二の特定部1412がそれぞれ眼部の画像特徴を特定する。
取得部143は計測位置設定部1431、部分画像選択部1432、画像特徴選択部1433、計測部1434を有し、特定された画像特徴に基づいて診断上有用な指標または画像を取得する。
図2は本実施例に係る画像処理装置10を含む撮影システムの構成図である。図2に示すように画像処理装置10は、眼部画像撮像装置20やデータサーバ40と、光ファイバ、USBやIEEE1394等で構成されるローカル・エリア・ネットワーク(LAN)30を介して接続されている。なおこれらの機器との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよい。
眼部画像撮像装置(撮影部)20は、眼底部の画像(SLO画像)を撮像するSLO撮影部(SLO撮影装置)及びボリューム画像(OCT画像)を撮像するOCT撮像部(OCT撮影装置)から構成される装置である。眼部画像撮像装置20は、SLO画像として静止画像もしくは動画像を撮像し、撮像したSLO画像を画像処理装置10、データサーバ40へ送信する。また、OCT撮像部に関しては例えばタイムドメイン方式もしくはフーリエドメイン方式で構成され、不図示の操作者による操作に応じて被検眼の断層像を3次元的に撮像する。得られたボリューム画像は、画像処理装置10、データサーバ40へ送信される。なお、眼部画像撮像装置20においてOCT撮像部は必須ではなく、SLO撮像部のみを備える構成でもよい。
データサーバ40は被検眼のSLO画像やボリューム画像、後述する眼部の画像特徴(以下、眼部特徴)、脈波やSLO画像撮像時の固視標位置のデータなどを保持するサーバである。データサーバ40は眼部画像撮像装置20が出力する被検眼のSLO画像やボリューム画像、画像処理装置10が出力する眼部特徴を保存する。また画像処理装置10からの要求に応じ、被検眼に関するデータ(SLO画像、ボリューム画像、眼部特徴)や眼部特徴の正常値データ、被検眼の脈波や固視標位置の値を画像処理装置10に送信する。
次に、上述の機能構成を有する画像処理装置10のハードウェア構成について図3に基づいて説明する。図3において、画像処理装置10は中央演算処理装置(CPU)301、メモリ(RAM)302、制御メモリ(ROM)303、記憶装置304、インターフェース305を有し、バス309により接続されている。また画像処理装置10にはモニタ306、キーボード307、マウス308が接続されている。
後述する図6または図9のフローチャートに示す画像処理装置10の処理を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、記憶装置304に記憶されている。これらの制御プログラムやデータは、CPU301による制御のもとバス309を通じて適宜RAM302に取り込まれる。これがCPU301によって実行されることで、上述のハードウェアと協働して上述の各機能が実現される。例えば記憶装置304は図1の記憶部130として、キーボード307またはマウス308は操作部170として、モニタ306は表示部160として機能する。また、かかるソフトウェアとハードウェアの協働により画像処理装置10による処理が実現される。
なお、眼部画像撮像装置20がSLO撮像部のみを備えOCT撮像部を持たない構成の場合には、画像処理装置10に眼部ボリューム画像取得部120を持つ必要はない。また、本実施例では層形状異常は見られないため、部分画像選択部1432による処理は特に実行されない。
眼部画像撮像装置20は、図4に示すような構成を有している。
<全体>
光源201から出射した光は光カプラー231によって参照光205と測定光206とに分割される。測定光206は、シングルモードファイバー230−4、空間光変調器259、XYスキャナ219、Xスキャナ221、球面ミラー260−1〜9等を介して、観察対象である被検眼207に導かれる。測定光206は、被検眼207によって反射あるいは散乱された戻り光208となり、ディテクター238あるいはラインセンサ239に入射される。ディテクター238は戻り光208の光強度を電圧に変換し、その信号を用いて、被検眼207の平面画像が構成される。
また、ラインセンサ239には参照光205と戻り光208とが合波されて入射され、被検眼207の断層画像が構成される。ここでは、波面収差を補正できればよく、可変形状ミラー等を用いることもできる。
<光源>
光源201は代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。波長は830nm、バンド幅50nmである。ここでは、スペックルノイズの少ない平面画像を取得するために、低コヒーレント光源を選択している。また、光源の種類は、ここではSLDを選択したが、低コヒーレント光が出射できればよく、ASE(Amplified Spontaneous Emission)等も用いることができる。
また、波長は眼を測定することを鑑みると、近赤外光が適する。更に波長は、得られる平面画像の横方向の分解能に影響するため、なるべく短波長であることが望ましく、ここでは830nmとする。観察対象の測定部位によっては、他の波長を選んでも良い。また、低コヒーレント光源であるSLDは断層画像の撮像にも適する。
<参照光路>
次に、参照光205の光路について説明する。
光カプラー231で分割された参照光205はシングルモードファイバー230−2を通して、レンズ235−1に導かれ、ビーム径4mmの平行光になるよう、調整される。
次に、参照光205は、ミラー257−1〜4によって、参照ミラーであるミラー214に導かれる。参照光205の光路長は、測定光206の光路長と略同一に調整されているため、参照光205と測定光206とを干渉させることができる。
次に、ミラー214で反射され、再び光カプラー231に導かれる。ここで、参照光205が通過した分散補償用ガラス215は被検眼207に測定光206が往復した時の分散を、参照光205に対して補償するものである。
ここでは、日本人の平均的な眼球の直径として代表的な値を想定し、L1=23mmとする。
更に、217−1は電動ステージであり、矢印で図示している方向に移動することができる。これにより参照光205の光路長を、調整・制御することができる。
また、電動ステージ217−1はパソコン225からドライバ部281内の電動ステージ駆動ドライバ283を介して制御される。
<測定光路>
次に、測定光206の光路について説明する。
光カプラー231によって分割された測定光206はシングルモードファイバー230−4を介して、レンズ235−4に導かれ、ビーム径4mmの平行光になるよう調整される。また、偏光コントローラ253−1又は2は、測定光206の偏光状態を調整することができる。ここでは、測定光206の偏光状態は紙面に平行な方向の直線偏光に調整されている。
測定光206は、ビームスプリッタ258、可動式ビームスプリッタ261を通過し、球面ミラー260−1、260−2を介して空間光変調器259に入射し変調される。ここで、空間光変調器259は、液晶の配向性を利用して変調を行う変調器である。空間光変調器259は紙面に平行な方向の直線偏光(P偏光)の位相を変調する向きに配置され、測定光206の偏光の向きと合わせている。
更に、測定光206は偏光板273を通過し、球面ミラー260−3、260−4を介してXスキャナ221のミラーに入射される。ここで、偏光板273は戻り光208のうち紙面に平行な方向の直線偏光のみを空間光変調器259に導く役割がある。また、ここで、Xスキャナ221は測定光206を紙面に平行な方向に走査するXスキャナであり、ここでは共振型スキャナを用いている。駆動周波数は約7.9kHzである。
更に、測定光206は球面ミラー260−5〜6を介し、XYスキャナ219のミラーに入射される。ここで、XYスキャナ219は一つのミラーとして記したが、実際にはXスキャン用ミラーとYスキャン用ミラーとの2枚のミラーが近接して配置されるものである。また、測定光206の中心はXYスキャナ219のミラーの回転中心と一致するように調整されている。XYスキャナ219の駆動周波数は〜500Hzの範囲で可変にできる。
球面ミラー260−7〜9は網膜227を走査するための光学系であり、測定光206を角膜226の付近を支点として、網膜227をスキャンする役割がある。
ここで、測定光206のビーム径は4mmであるが、より高分解能な断層画像を取得するために、ビーム径はより大径化してもよい。
また、217−2は電動ステージであり、矢印で図示している方向に移動することができる。これにより付随する球面ミラーである球面ミラー260−8の位置を、調整・制御することができる。電動ステージ217−2は電動ステージ217−1と同様に、電動ステージ駆動ドライバ283によって制御される。
球面ミラー260−8の位置を調整することで網膜227の所定の層に測定光206を合焦し、観察することが可能になる。初期状態では、測定光206は平行光の状態で、角膜226に入射するように、球面ミラー260−8の位置が調整されている。
また、被検眼207が屈折異常を有している場合にも対応できる。
測定光206は被検眼207に入射すると、網膜227からの反射や散乱により戻り光208となる。その後再び光カプラー231に導かれ、ラインセンサ239に到達する。
また、戻り光208の一部は可動式ビームスプリッタ261で反射され、レンズ235−5を介して、ディテクター238に導かれる。ここで、272はピンホールを有する遮光板であり、戻り光208のうち、網膜227に合焦していない不要な光を遮断する役割がある。また、遮光板272はレンズ235−5の合焦位置に共役に配置される。また、遮光板272のピンホールの直径は例えば50μmである。ディテクター238は例えば高速・高感度な光センサであるAPD(Avalanche Photo Diode)が用いられる。
また、ビームスプリッタ258で分割される戻り光108の一部は、波面センサ255に入射される。波面センサ255はシャックハルトマン方式の波面センサである。
ここで、XYスキャナ219、Xスキャナ221、角膜226、波面センサ255、空間光変調器259は光学的に共役になるよう、球面ミラー260−1〜9が配置されている。そのため、波面センサ255は被検眼207の収差を測定することが可能になっている。また、空間光変調器259は被検眼207の収差を補正することが可能になっている。更に、得られた収差に基づいて、空間光変調器259をリアルタイムに制御することで、被検眼207で発生する収差を補正し、より高横分解能な断層画像の取得を可能にしている。
<測定系の構成>
次に、測定系の構成について説明する。
眼部画像撮像装置20は、断層画像(OCT像)及び平面画像(SLO像)を取得することができる。
まず、断層画像の測定系について説明する。
戻り光208は光カプラー231によって合波される。合波された光242は、シングルモードファイバー230−3、レンズ235−2を介して、透過型グレーティング241に導かれる、透過型グレーティン241で波長毎に分光され、レンズ235−3を介してラインセンサ239に入射される。
ラインセンサ239は位置(波長)毎に光強度を電圧に変換し、その電圧信号はフレームグラバー240でデジタル値に変換されて、パソコン225で、被検眼207の断層画像が構成される。
ここでは、ラインセンサ239は1024画素を有し、合波された光242の波長毎(1024分割)の強度を得ることができる。
次に、平面画像の測定系について説明する。
戻り光208の一部は、可動式ビームスプリッタ261で反射される。反射された光は遮光板272によって不要な光が遮断された後、ディテクター238に到達し、光の強度が電気信号に変換される。
得られた電気信号に対して、パソコン225でXスキャナ221とXYスキャナ219との走査信号と同期したデータ処理が行われ、平面画像が形成される。
ビームスプリッタ258で分割される戻り光208の一部は、波面センサ255に入射され、戻り光208の収差が測定される。
波面センサ255で得られた画像信号は、パソコン225に取り込まれ、収差が算出される。得られた収差はツェルニケ多項式を用いて表現され、これは被検眼207の収差を示している。
ツェルニケ多項式は、チルト(傾き)の項、デフォーカス(defocus)の項、アスティグマ(非点収差)の項、コマの項、トリフォイルの項等からなる。
<OCT像の取得方法>
次に、眼部画像撮像装置20を用いた断層画像(OCT像)の取得方法について図5(a)〜(c)を用いて説明する。
眼部画像撮像装置20は、XYスキャナ219を制御し、Xスキャナ221を固定ミラーとして用いて、ラインセンサ239で干渉縞を取得することで、網膜227の断層画像を取得することができる。戻り光208がディテクター238に導光されないように可動式ビームスプリッタ261を制御する。また、Xスキャナ221、XYスキャナ219は、パソコン225からドライバ部281内の光スキャナ駆動ドライバ282を介して制御される。ここでは、網膜227の断層画像(光軸に平行な面)の取得方法について説明する。
図5(a)は被検眼207の模式図であり、眼部画像撮像装置20によって観察されている様子を示している。
図5(a)に示すように、測定光206は角膜226を通して、網膜227に入射すると様々な位置における反射や散乱により戻り光208となり、それぞれの位置での時間遅延を伴って、ラインセンサ239に到達する。
ここでは、光源201のバンド幅が広く、コヒーレンス長が短いために、参照光路の光路長と測定光路の光路長とが略等しい場合に、ラインセンサ239で、干渉縞が検出できる。上述のように、ラインセンサ239で取得されるのは波長軸上のスペクトル領域の干渉縞となる。
次に、波長軸上の情報である干渉縞を、ラインセンサ239と透過型グレーティング241との特性を考慮して、光周波数軸の干渉縞に変換する。
更に、変換された光周波数軸の干渉縞を逆フーリエ変換することで、深さ方向の情報が得られる。
更に、図5(b)に示すように、XYスキャナ219を駆動しながら、干渉縞を検知すれば、X軸方向の位置毎に干渉縞が得られ、つまり、各X軸方向の位置毎に深さ方向の情報を得ることができる。
結果として、XZ面での戻り光208の強度の2次元分布が得られ、それはすなわち断層画像232である(図5(c))。
本来は、断層画像232は上記説明したように、該戻り光208の強度をアレイ状に並べたものであり、例えば該強度をグレースケールに当てはめて、表示されるものである。X方向の長さは700μmである。
ここでは得られた断層画像の境界のみ強調して表示している。ここで、246は網膜色素上皮層、247は神経線維層である。278は血管である。
<SLO像の取得方法>
次に、眼部画像撮像装置20を用いた平面画像(SLO像)の取得方法について説明する。
眼部画像撮像装置20は、XYスキャナ219のY軸方向のみとXスキャナ221とを動作・制御し、XYスキャナ219のX軸方向を固定し、ディテクター238で戻り光208の強度を取得することで、網膜227の平面画像を取得することができる。Xスキャナ221とXYスキャナ219は、パソコン225からドライバ部281内の光スキャナ駆動ドライバ282を介して制御される。また、眼部画像撮像装置20は、波面センサ255で測定した被検眼207の収差を用いて空間光変調器259を制御し、被検眼207等で生じる収差を補正しながら平面画像を取得することができる。また、空間光変調器259をリアルタイムに制御しながら平面画像を取得することができる。
なお、本実施例ではSLO画像の取得の際に図5(b)に示すように球面ミラー260−8を矢印の方向に移動させてフォーカス位置を調整する。具体的には、球面ミラー260−8を移動させることにより、網膜色素上皮の外側境界B6(後述する図7参照)の輝度が最も高い位置に合わせる。これにより、フォーカス位置をB6に合わせることができる。そして、球面ミラーを所定量ずつ移動させることにより異なる位置にフォーカス位置を合わせることができる。例えば、球面ミラーの移動量が1mmの場合、フォーカス位置が5μm動くように装置を設計しておく。ただしフォーカス調整の方法はこれに限定されるものではなく、例えば空間光変調器259を用いてフォーカスを調整してもよい。あるいは収差補正を可変形状ミラーによって行い、可変形状ミラーを用いてフォーカスを調整しても良い。あるいは光学系の全体を球面ミラーの代わりにレンズを用いた屈折光学系によって構成し、フォーカスレンズを移動させることによって調整してもよい。
上述の通り、補償光学系を用いたSLOは従来型のフーリエドメインOCTや眼底カメラが撮影対象としている血管よりも微小な黄斑周辺部の毛細血管や、神経線維、視細胞などの画像を得ることができる。
(処理)
画像処理装置10を構成する各ブロックの機能について、図6フローチャートに示す画像処理装置10の具体的な実行手順と関連付けて説明する。
上述の画像処理装置10は、所定のフォーカス位置で撮像したSLO動画像から血球(血流)動態を計測する。このSLO動画像は血球動態を観察するために血管位置よりも深い位置にフォーカスが設定され撮影された画像である。このSLO動画像から血球動態を特定する。
視細胞層付近にフォーカスが設定されている場合は、高輝度な視細胞群を観察することができる。しかしながら、網膜血管が存在する領域においては、各種血球成分の影響で測定光がSLOのフォーカス位置まで届かないためにSLO画像上では影が形成され、低輝度になる。また、網膜血管壁相当する領域では影の境界がぼやける。しかし、血球成分の中には影を形成しないものもあり、その場合には網膜血管が存在する領域であっても高輝度となる。影を形成しない血球成分は白血球と考えられており、血管内の高輝度領域の移動が高コントラストに観察できる。また、血管内の高輝度領域の移動速度を計測することは、白血球の移動速度を計測することに相当する。
上述のように視細胞付近にフォーカスしたSLO動画像は血球の動態を精度よく観察できるものの、血管自体にはフォーカスがあっていないため、血管領域については精度よく特定できない可能性がある。
そこで、眼部の画像特徴の取得結果に基づいてフォーカス位置の変更による再撮像の要否を決定する。フォーカス位置を変更した上で再撮像する必要があると判定した場合にはフォーカス位置の変更に関する撮像パラメータを眼部特徴に基づいて決定する。ここでフォーカス位置は特に血管が存在する領域として再撮像し、得られた画像から血管領域を特定する。これにより、血球の動態の情報と、血管の領域の情報とから、より正確かつ確実に血球動態を計測することができる。
ここで、本実施例に係る処理の概要を図7について説明する。(a)は本実施例で設定するフォーカス位置を説明する図であり、(b)は神経線維層付近にフォーカス位置を設定した場合に得られるSLO画像及び網膜血管の例を示している。(c)は視細胞内節外節境界付近にフォーカス位置を設定した場合に得られるSLO画像及び網膜血管影の例を示している。(d)は、フォーカス位置の値と、当該フォーカス位置で得られる網膜層の種類と、当該網膜層にフォーカスしたSLO画像を解析して得られる画像特徴を示すテーブル情報である。
本実施例では、視細胞C付近にフォーカス位置を設定して撮像したSLO動画像M1から網膜血管影SHを抽出し、網膜血管影SH内の白血球(第二の組織)の検出及び速度計測を試みる。当該フォーカス位置のSLO動画像M1(第二のSLO画像)が血管領域(第一の組織)の特定に不適と判定した場合には、フォーカス位置を変更して神経線維層付近にフォーカス位置を設定したSLO静止画像M2(第一のSLO画像)を撮像する。SLO動画像M1における血管領域検出結果の信頼度が閾値未満の箇所についてはSLO静止画像M2の同じx−y位置上における輝度値を調べ、両SLO画像上でともに検出された高輝度成分の境界を網膜血管領域とする。これにより、視細胞C付近にフォーカス位置が設定されたSLO動画像M1から白血球の動態をよりロバストに計測できる。
<ステップS610>
SLO画像取得部110は、眼部画像撮像装置20に対してあるフォーカス位置に設定されたSLO画像(静止画像もしくは動画像)の取得を要求する。また、必要に応じて眼部ボリューム画像取得部120が、眼部画像撮像装置20に対して眼部ボリューム画像の取得を要求しても良い。本実施例では、入力画像はSLO動画像M1(フレーム番号i=1,2,...,N)のみとし、図7(a)に示すように視細胞内節外節境界付近のフォーカス位置F1を設定する。
眼部画像撮像装置20は該取得要求に応じて対応するSLO動画像を取得して送信するので、SLO画像取得部110は眼部画像撮像装置20からLAN30を介して当該SLO動画像M1を受信する。SLO画像取得部110は受信したSLO動画像M1を記憶部130に格納する。
<ステップS620>
特定部141は、S610で取得された画像から眼部特徴を取得する。本実施例ではSLO動画像M1のみを取得しており、流速特定部(第二の特定部)1412は眼部の血流速に関する情報として、図7(c)に示すようにSLO動画像M1から取得された網膜血管影SH、高輝度血球成分W1のデータを取得する。更に特定部141は取得した各々の眼部特徴データを記憶部130に格納し、必要に応じてデータサーバ40へ送信する。
流速特定部(第二の特定部)1412の血流速に関する情報の取得手順を説明する。SLO動画像M1(第二のSLO画像)から網膜血管影領域SHを検出する。具体的にはSLO動画像M1の隣接各フレーム間で差分処理を行い、各x−y位置においてフレーム方向に画素値を調べ、画素値の標準偏差を求める。該標準偏差の値が閾値T1以上の領域を血管影SHとして検出する。
次に流速特定部(第二の特定部)1412は、網膜血管影領域SHから任意の公知の画像処理手法を用いて高輝度血球成分を検出する。本実施例では、網膜血管影SH内において閾値T2以上の領域のうち、面積が閾値T3以下かつ円形度が閾値T4以上の領域を高輝度血球成分W2として検出する。
なお本実施例では、流速特定部(第二の特定部)1412は直接流速を求めず、血管内を流れる高輝度な点を血球成分として特定したが、これに限らず、流速特定部1412が血流速を特定することとしてもよい。
<ステップS630>
判定部142は、S620で取得された眼部特徴に基づいてフォーカス位置を変更したSLO静止画像M2の撮像の要否すなわち、SLO動画像M1から特定される血管形状が異常であるためSLO静止画像M2の撮像が必要であるか否かを判定する。
本実施例では眼部特徴はSLO動画像M1における網膜血管影領域SH及び高輝度血球成分W1とする。網膜血管影領域SHを細線化して得られる曲線上の各位置で計測した網膜血管影の直径D1のうちで閾値Ts未満もしくはTa異常の値が含まれる場合にSLO動画像M1からは血管領域が特定できないと判定し、フォーカス位置を変更したSLO静止画像M2の撮像が必要と判定する。これにより血管径を過小もしくは過大評価し、誤って血管が特定されてしまう可能性を減らすことができる。
なお上述の血管形状が異常であるとは、あくまでSLO動画像M1から特定される血管の形状が異常ということであって、必ずしも被検者の網膜血管自体が異常というわけではない。例えば、固視微動等の影響で画像の画質が悪い場合も考えられる。
<ステップS640>
決定部180は、前記判定部142において再撮影が必要と判定された場合には、再撮影のフォーカス位置に関するパラメータを決定する。また、フォーカス位置変更のパラメータとしては、
(i)新たに設定するフォーカス位置の変動範囲
(ii)フォーカス位置の変動範囲
(iii)フォーカス位置の変動間隔
(iv)各フォーカス位置
があり、本実施例では網膜を構成する各層厚の正常値をデータサーバ40から取得しておく。神経線維層付近では網膜血管の境界が明瞭に観察可能であるため、新たに設定するフォーカス位置F2を神経線維層付近、すなわちフォーカス位置F1より約200μm内層側位置に設定する。従って、新たに設定するフォーカス位置の数は1、変動範囲は200μm、変動間隔が200μm、フォーカス位置はF1−200μmとなる。
S630でフォーカス位置の変更が必要と判定された場合はS610(2回目)へ、不要と決定された場合はS650へと処理を進める。
<ステップS645>
撮影指示部100は、決定部180により決定されたフォーカス位置のパラメータやその他の撮影条件を操作部170または記憶部130から取得し、撮影条件とそれに基づく撮影指示信号を眼部画像撮像装置20に送信する。眼部画像撮像装置20は指示された条件に基づいて、撮影指示信号の受信に応じて眼部のSLO画像を撮像する。
眼部画像撮像装置20は、S640で決定されたフォーカス変更に関するパラメータに基づき新たなSLO静止画像M2を取得する。本実施例では図7(b)に示すように、SLO動画像M1よりも浅いフォーカス位置の信号光により神経線維層付近にフォーカス位置が設定されたSLO静止画像M2が取得される。なお、視細胞内節外節境界付近のフォーカス位置F1で取得されたSLO動画像M1上の網膜血管影領域SHは、神経線維層付近のフォーカス位置F2で取得されたSLO静止画像M2における網膜血管領域BVに対応している。
なおここで別の例として、再撮影前に撮影条件の設定を確認したい場合に対応して、判定部142による再撮影をすべき旨の判定後、再撮影を行ってもよいか否かを確認する通知を行うこととしてもよい。この場合、通知とともに再撮影を指示するか、再撮影を行わないか、を指示するためのボタンを表示部160に表示させ、ユーザが操作部170を操作して得られる指示情報に基づき再撮影をするか否かを判定する。
また別の例としては、決定部180がフォーカス位置のパラメータを設定した後、表示制御部144がユーザに対してフォーカス位置のパラメータを含む撮影条件をユーザが変更可能に表示部160に表示させる。加えて撮影を指示するためのボタンを表示させる。これによりユーザは1回目に撮影された画像に基づいて撮影条件を変更した後、ユーザからの指示に応じてSLO装置に撮影を指示することができる。
<ステップS610(2回目)>
SLO画像取得部110は、SLO静止画像M2を取得後、SLO静止画像M2から眼部特徴を取得するためにS620(2回目)に進む。
<ステップS620(2回目)>
特定部141は、S610(2回目)で取得されたSLO静止画像M2(第一のSLO画像)から網膜血管領域BVを取得する。本実施例では、SLO静止画像M2から任意の公知の線強調フィルタを用いることで、網膜血管BVを検出する。網膜血管領域BVの検出処理が終了したら、演算処理を行うためにS650に進む。
<ステップS650>
取得部143は、フォーカス位置F1で取得されたSLO動画像M1と、フォーカス位置F2で取得されたSLO静止画像M2を用いた演算を行い、眼部細胞(もしくは組織)の動態(もしくは形態)を計測する。
ここで、本実施例において特定する情報は血管内の血流に関する情報であり、血管の閉塞位置の情報、血管内の血流量の情報、及び血管内の最大血流速と最小血流速の情報の少なくともいずれかである。血管領域と、血管の中で実際に血流がある領域とを比較することで、血流のない血管領域が分かるとともに血管の閉塞位置を特定する。また、血管領域からの太さの情報が得て、これと血流速の情報とを合わせて単位時間当たりの血流量を測定する。また、血流量を動画像で一定期間継続的に計測し、血流速の変動を得ることにより最大血流速及び最小血流速の情報を得る。
計測を行う具体的処理の内容に関しては後に詳しく説明する。
<ステップS660>
表示制御部144は、S610で取得された眼部の画像及びS650で演算部により算出された眼部の細胞(もしくは組織)に関する動態(もしくは形態)の計測結果を表示部160に表示させる。本実施例では、眼部の画像としてSLO動画像M1、計測結果として高輝度血球成分W1の移動速度グラフや、移動速度を元に算出した血流動態の指標を表示部160に表示させる。
図8は表示制御部144により表示部160に表示される情報を示す図である。図8(a)は血管の特定の位置における単位時間当たりの血流量を表示する画像である。図8(b)は血管の閉塞位置を表示する画像である。図8(c)はSLO動画像M1を血管上の経路Pで切り出して得られる時空間画像の例である。図8(d)は血流速度のグラフの例を示している。なお、表示内容はこれに限らず、任意の画像や画像処理結果、計測値、計測指標を表示してよい。
<ステップS670>
指示取得部150は、S650において取得部143より出力された計測結果をデータサーバ40へ保存するか否かの指示を外部から取得する。この指示は例えばキーボード307やマウス308を介して操作者により入力される。保存が指示された場合はS670へ、保存が指示されなかった場合はS680へと処理を進める。
<ステップS680>
画像処理部140は、検査日時、被検眼を同定する情報、計測結果を関連付けてデータサーバ40へ送信する。
<ステップS690>
指示取得部150は、画像処理装置10によるSLO画像計測処理を終了するか否かの指示を外部から取得する。この指示はキーボード307やマウス308を介して操作者により入力される。処理終了の指示を取得した場合は計測処理を終了する。一方、処理継続の指示を取得した場合にはS610に処理を戻し、次の被検眼に対する処理(または同一被検眼に対する再処理を)行う。
次に図9のフローチャートに従いS650で実行される処理の詳細について説明する。
<ステップS910>
計測位置設定部1431は、S620(の1回目及び2回目)で取得された眼部特徴から血流速の計測位置を設定する。本実施例では、指示取得部150より取得した計測位置、すなわち図7(c)の経路Qを用いる。なお、計測位置は手動指定に限らず、眼部特徴に基づいて自動で設定してもよい。例えば、S620で特定部141により取得された網膜血管影領域SHを細線化することにより得られる血管中心線Pを計測位置としてもよい。
<ステップS920>
画像特徴選択部1433は、S620で特定部141によって取得された眼部特徴の中から計測に用いる画像特徴を選択する。本実施例ではS620(1回目)で取得された眼部特徴のうち、SLO動画像M1から高輝度血球成分W1を選択する。この画像における高輝度の移動物を白血球とする。網膜血管影領域SHについては血管中心線Pの各位置Pi上で、検出した血管影領域SHの異常度Iaを算出する。この異常度Iaが一定値未満である計測位置Piから一定距離内にある血管影領域SHは、(SLO静止画像M2の画像特徴を参照することなく)計測用の画像特徴として選択する。異常度Iaが一定値以上の計測位置Piから一定距離内にある血管影領域についてはSLO静止画像M2を参照し、SLO静止画像M2上の同じx−y位置の画素が網膜血管領域BWに属している場合のみ計測用の画像特徴として選択する。
ここで、異常度Iaとしては任意の公知の指標を用いることができるが、本実施例においては血管影領域SHを細線化して得られる曲線上の各位置Piで計測した血管影領域SHの直径D1と正常血管径の平均値Daとの残差の2乗を用いる。
このように、視細胞C付近にフォーカス位置が設定されたSLO動画像M1上検出された血管候補領域(血管影領域SH)の信頼性が低い場合にSLO静止画像M2上で検出された画像特徴を参照する。これによりSLO動画像M1における血管径の計測をより正確に行うことができる。
<ステップS930>
計測部1434は、S920で選択された画像特徴を用いて眼部の細胞(もしくは組織)の動態(もしくは形態)を計測する。本実施例では、S920で選択されたSLO動画像M1上の高輝度血球成分W1、SLO静止画像M2上の網膜血管領域BWと位置の対応がついたSLO動画像M1上の血管候補領域(血管影領域)SHを用いて白血球の移動速度を計測する。
次に、図9(b)を参照して、S930で実行される処理の詳細について説明する。
<ステップS931>
計測部1434は、特定部141によって取得された網膜血管影領域SHにおける血管径を計測する。具体的には、網膜血管影領域SHを細線化することにより得られる血管中心線P上の各位置Piにおいて図7(c)に示すように血管中心線Pに直行する方向で輝度値を調べ、輝度値が閾値T5以上となる範囲の距離を血管径D1とする。
<ステップS932>
計測部1434は、S920で選択されたSLO動画像M1上の血球候補領域W1に基づき血流速度vを算出する。具体的には、S910において設定した計測経路Qにおける隣接フレーム間速度vi
vi=血球候補領域の移動距離[mm]×フレームレートk[1/sec]
を求める。
<ステップS933>
計測部1434は、S931で算出された血管径やS932で算出された血流速度vの値に基づき、血流動態に関する指標を算出する。本実施例では、血流動態指標として拍動係数(Pulsatility Index:PI)、抵抗係数(Resistance Index:RI)、血流量(Flow:FL)を以下の式を用いて算出する。
拍動係数PI = (PSV−EDV)/Va
抵抗係数RI = (PSV−EDV)/PSV
血流量FL[ml/min]
= 0.06×血流速度[mm/sec]×血管断面積[mm2]
ここで、PSV = (収縮期における最大血流速度)、
EDV = (拡張末期における血流速度)、
Va = (血流速度の平均値)
であり、拍動の周期、収縮期、拡張末期の位置は脈波のデータを下に決定する。ここで脈波とは、身体の特定の部分に血液が流入することで生じる容積変化を波形としてとらえたものである。これは血管運動反応をとらえることで計測される。
また血管断面積は、血管径の値を基に(血管の断面形状が円形であると仮定して)算出した値を用いる。
これにより、測定位置における血液の流れやすさや単位時間当たりの血液供給量を定量的に評価することができる。
以上述べた構成によれば、画像処理装置10は視細胞内節外節境界付近にフォーカスを設定して撮像したSLO動画像M1から血流計測を行う際に、検出した血管候補領域SHの異常度Iaに応じてフォーカス位置の異なるSLO画像撮像の要否を判定する。
フォーカス位置の変更による再撮像が必要と判定した場合には、神経線維層付近にフォーカス位置を変更してSLO静止画像M2を撮像する。SLO動画像M1における血管候補領域の信頼性が低い箇所についてはSLO静止画像M2の同じx−y位置を調べ、両SLO画像上でともに血管候補領域として検出された領域を網膜血管領域として白血球の動態を算出する。これにより、視細胞C付近にフォーカス位置が設定されたSLO動画像M1から白血球の動態をより正確に計測できる。
また、本実施例によれば、画像情報に基づいて再撮像すべきか否かを判定し、再撮影のパラメータを決定するので、SLO装置のユーザにとっての作業負荷を軽減することができるとともに、被検者にとっての拘束時間である撮影時間を短くできる。
実施例1では、フォーカス位置を変更して再撮像した場合に、異なるフォーカス位置で撮像された画像間の各位置における画像特徴量同士を演算することによって計測の精度を向上させることを意図していた。これに対して実施例2は、各フォーカス位置で取得された画像(での解析)に適した画像特徴の種類を選択し、各々取得された画像特徴の検出結果を組み合わせて計測指標を算出することで、眼部組織や細胞の形態や動態をより正確に計測することを意図している。
神経線維層にフォーカス位置が設定されたSLO静止画像M2では網膜血管境界が正確に観察可能であるが、血管壁が高輝度となるため血流速などの血管内の情報を得ることは難しい場合がある。視細胞Cにフォーカス位置が設定されたSLO動画像M1では白血球の移動軌跡がより高コントラストに観察可能であるが、一方で血管にフォーカスが合っていないため、血管領域を正確に特定することが難しい。
そして血流動態を計測するには血管領域と血流速に関する情報の両方を取得する必要がある。
そこで本実施例では毛細血管の血流速度を正確に計測するためにまず神経線維層にフォーカス位置F2が設定されたSLO静止画像M2(第一のSLO画像)を複数取得し、網膜血管領域BV(第一の組織)を取得する。そしてSLO画像にフィルタ等を適用して血管内を流れる高輝度物体(第二の組織)の特定を試みる。ここで、SLO静止画像ではなく、SLO動画像を得て、高輝度物体を特定することとしてもよい。または、高輝度物体自体を特定できなくとも、血管内の輝度の時間変化を特定することで血流速その他の血流速に関する情報を特定する。
血流速に関する情報を特定できないと判定された場合には、血流計測に必要な血球成分の移動軌跡を取得するためにフォーカス変更が必要と判定し、フォーカス位置を視細胞内節外節境界付近に設定したSLO動画像M1を取得する。SLO動画像M1からは眼部特徴として白血球領域W1の移動軌跡を検出する。網膜血管領域BVから血管径D2、白血球領域W1の移動軌跡から血流速度vを計測し、両計測値に基づいて血流動態指標を算出することで眼部組織や細胞の形態や動態をより正確に計測する。
次に、本実施例に係る画像処理装置10の機能ブロック図は基本的に図1と同じであるが、画像特徴選択部1433が特定部141内に含まれる点が実施例1と異なる。また、予め図7(d)に示すようなフォーカス位置の値(もしくは層の種類)毎に解析(もしくは観察)に適した眼部特徴の種類をリストしたデータ(以下、眼部特徴リストFDとする)が画像処理部140に保持されているものとする。
ここで、図7(d)について説明する。フォーカス位置毎に対応する層の種類と、該層にフォーカス位置を設定した場合に最も明瞭に観察できる眼部特徴を示している。層形状が正常な場合はフォーカス位置を基に眼部特徴を選択すればよく、後述の実施例のように層形状異常がある場合はフォーカス位置ではなく層の種類を基に眼部特徴を選択する。なお、図中に示されているフォーカス位置はF1を用いて表しているが、これに限らない。例えばF2を用いて表しても構わない。
また本実施例での画像処理フローは図6に示す通りであり、S610、S620、S630、S640、S650以外は実施例1の場合と同様であり説明は省略する。
<ステップS610>
SLO画像取得部110は、神経線維層にフォーカス位置F2が設定されたSLO静止画像M2を取得する。SLO静止画像M2の画像は図7(b)に示すような画像となる。すなわち、網膜血管境界は明瞭に観察できるが、網膜血管内は全体的に高輝度であるため白血球を示す粒状領域と背景とのコントラストは高くない。
<ステップS620>
特定部141は、フォーカス位置F2で取得されたSLO静止画像M2から眼部特徴を取得する。本実施例では画像特徴選択部1433が眼部特徴リストFDを参照し、SLO静止画像M2のフォーカス位置F2の値に応じて取得する眼部特徴の種類を自動的に選択する。具体的には、画像特徴選択部1433はSLO静止画像M2のフォーカス位置F2(神経線維層付近)に基づき眼部特徴として網膜血管領域BVを選択し、領域特定部(第一の特定部)1411はSLO静止画像M2から網膜血管領域BVを取得する。
なお、眼部特徴の取得方法はこれに限らず、例えば指示取得部150から指示された種類の眼部特徴を取得してもよい。
更に特定部141は検出した各々の眼部特徴データを記憶部130に格納し、必要に応じてデータサーバ40へ送信する。
<ステップS630>
判定部142は、フォーカス位置変更の要否を判定する。判定部142はSLO静止画像M2のフォーカス位置F2及び同画像から取得された眼部特徴の種類に応じてフォーカス変更の要否を判定する。
判定部142は、SLO画像に予め設定されたフィルタ等を適用して血管内を流れる高輝度物体(第二の組織)の特定を試みる。ここで、SLO静止画像ではなく、SLO動画像を得て、高輝度物体を特定することとしてもよい。または、高輝度物体自体を特定できなくとも、血管内の輝度の時間変化を特定することで血流速その他の血流速に関する情報を特定する。特定できなかった場合、図7(d)のテーブルを参照し、血球特徴を得るために視細胞内節外節境界付近のフォーカス位置F1への変更が必要と判定する。
<ステップS640>
決定部180はフォーカス位置の変更に関するパラメータを決定する。
フォーカス変更のパラメータとしては
(i)新たに設定するフォーカス位置の数
(ii)フォーカス位置の変動範囲
(iii)フォーカス位置の変動間隔
(iv)各フォーカス位置
があり、本実施例では(i)を1、(ii)を200μm、(iii)を200μmと決定する。また、(iv)新たなフォーカス位置F1をF2+200μmと決定する。なお、フォーカス位置の変更法はこれに限らない。例えば指示取得部150からフォーカス位置変更の要否を指示してもよく、フォーカス位置変更のパラメータ値を指定してもよい。
<ステップS610(2回目)>
SLO画像取得部110は、決定部180により決定されたフォーカス位置の変更パラメータを用いて新たなSLO動画像M1を取得する。S640においてSLO動画像M1のフォーカス位置は視細胞内節外節境界付近、すなわちF2+200μm付近に設定されているためSLO動画像M1の画像は図7(c)に示すような画像となる。すなわち、網膜血管影領域の境界はぼやけているものの、白血球を示す粒状高輝度領域は高コントラストに観察及び解析可能な画像である。
<ステップS620(2回目)>
次に、流速特定部(第二の特定部)1412は、新たに取得されたSLO動画像M1から眼部特徴を取得する。本実施例では、
(i)時空間画像の生成
(ii)時空間画像上での線状領域検出
という手順で高輝度血球成分W1の移動軌跡を取得する。
(i)網膜血管が存在する領域、すなわちSLO静止画像M2上の網膜血管領域BVと同じx−y座標を持つ領域を細線化することにより得られる血管中心線Pにおいて、図8(c)に示すように位置rを横軸、時間tを縦軸として持つような時空間画像を生成する。なお、時空間画像はSLO動画像M1を経路Pで切り出した曲断面画像に相当する。また、時間tはSLO動画像M1のフレーム番号iをフレームレートk[1/sec]で割ることにより得られる。時空間画像には血球成分の移動距離を示す高輝度な線状成分LCiが複数含まれる。
(ii)時空間画像上で高輝度な線状領域LCiを検出する。ここでは任意の公知な線強調フィルタを用いて線強調した上で、閾値Ttで2値化することにより検出する。
<ステップS650>
計測部1434は、フォーカス位置F2で取得されたSLO静止画像M2から取得された眼部特徴である網膜血管領域BVと、フォーカス位置F1で取得されたSLO動画像M1から取得された白血球の移動軌跡を用いて、血球の動態を計測する。
ここで、図9(a)を参照して、S650で実行される処理の詳細について説明する。
<ステップS910>
計測位置設定部1431は、S620で取得された眼部特徴に基づき血流速の計測位置を設定する。本実施例では、指示取得部150より取得した計測位置、すなわち図7(c)の経路Qを用いる。なお、計測位置は手動指定に限らず、眼部特徴に基づいて自動で設定してもよい。例えば、S620で特定部141により取得された網膜血管領域BVを細線化することにより得られる血管中心線Pを計測位置としてもよい。
なお、本実施例では画像特徴選択は既に実施されているのでS920は省略し、ステップS930に進む。
<ステップS930>
計測部1434は、SLO動画像M1及びSLO静止画像M2から取得された眼部特徴を用いて眼部の細胞(もしくは組織)の動態(もしくは形態)を計測する。本実施例では、SLO静止画像M2から取得された網膜血管領域BV及びSLO動画像M1から取得された高輝度血球成分W1の移動軌跡を用いて白血球の移動速度を計測する。
次に図9(b)を参照して、S650で実行される処理の詳細について説明する。
<ステップS931>
計測部1434は、特定部141によって取得された網膜血管領域BVにおける血管径を計測する。具体的には、網膜血管領域BVを細線化することにより得られる血管中心線Pの各位置Piにおいて図7(b)に示すように血管中心線Pに直交する方向で輝度値を調べ、輝度値が閾値T6以上となる範囲の距離を血管径D2とする。
<ステップS932>
計測部1434は、時空間画像上で検出された線状領域LCiに基づき血流速度vを算出する。具体的には、ハフ変換を用いてLCiを直線として検出し、その角度と座標原点からの距離を用いて血流速度vを算出する。線検出手法はこれに限らず、任意の公知な手法を用いてよい。
なお、時空間画像の横軸が血管上の位置r[mm]表し、縦軸は血球成分が位置rを通過した時間t[sec]を表すことから、例えばr=0の場合に横軸に時間t、縦軸に血流速度vをプロットすると、図8(d)のように血流速度のグラフが得られる。
<ステップS933>
計測部1434は、S931で算出された血管径やS932で算出された血流速度vの値に基づき、血流動態に関する指標を算出する。血流動態に関する指標の算出方法は実施例1の場合と同様であるため、説明は省略する。
以上述べた構成より、画像処理装置10はSLO静止画像M2から網膜血管領域、SLO動画像M1から血球の移動軌跡を選択し、各々取得された画像特徴の取得結果を組み合わせて計測指標を算出する。これにより、眼部の血球動態をより正確に計測できる。
実施例3は、実施例2に対し、眼部ボリューム画像を取得し層境界位置の形状を調べる。該層形状が変形していた場合にはフォーカス位置変更による撮像が必要と判定して異なるフォーカス位置のSLO静止画像群M2iを取得し、網膜血管を取得する。眼底上の各位置で計測に適したフォーカス位置の部分画像を選択して各部分画像上の網膜血管領域を連結することで、より正確に血流動態を計測できるようにしたものである。
処理の概要を図10に基づいて説明する。図10(a)はOCT画像であり、SLO画像のフォーカス位置F3、F4、F5、F6がそれぞれ示されている。図10(b)はフォーカス位置F3、F4、F5のSLO画像を貼り合わせて生成した血管領域にフォーカスの合ったSLO画像である。図10(c)はフォーカスF6のSLO画像であり、視細胞にフォーカスが合った画像である。図10(d)はSLO画像のフォーカス位置と、当該位置にフォーカスを合わせた場合に当該SLO画像から得られる組織の画像特徴である。
具体的には、OCTのボリューム画像から取得した神経線維層境界の位置に基づき、異なるフォーカス位置で撮像したSLO静止画像群M2iを得る。そして、眼底上の各位置において網膜内層境界の近傍にフォーカス位置が設定された部分画像を各々選択して各部分画像上で網膜血管BViを検出し、それらを連結して網膜血管領域BVを取得する。
また、実施例2と同様に、判定部142は前記SLO静止画像群M2iの取得と同時に血球の移動軌跡を検出するのに適したSLO動画像の取得が必要と判定する。特定部141は視細胞内節外節境界付近にフォーカス位置F6が設定されたSLO動画像M1を取得してSLO動画像M1上で血球の移動軌跡W1を検出する。更に、網膜血管領域BV及び血球移動軌跡W1を用いて血流動態指標を算出する。
これにより、黄斑浮腫等の疾病により網膜内層境界の形状が大きく変形している場合でも各フォーカス位置での画像での(計測に適した)画像特徴を組み合わせて血流動態指標を算出することで、より正確に血流動態を計測できる。
本実施例に係る画像処理装置10の機能ブロック図は基本的に実施例2の場合と同様であるが、(実施例1や実施例2の場合と異なり)層形状異常が見られるため、眼部ボリューム画像取得部120及び部分画像選択部1432による処理が実行される。
また、画像処理フローは基本的に実施例2の場合と同様(図6)であり、S610、S620、S630、S650以外は実施例2の場合と同様である。そこで、本実施例ではS640、S660、S670、S680、S690における処理の説明は省略する。
<ステップS610>
眼部ボリューム画像取得部120は、眼部画像撮像装置20から図10(a)に示すような眼部ボリューム画像を取得し、特定部141に対し眼部ボリューム画像を送信する。本実施例で取得される眼部ボリューム画像は図10(a)に示すように黄斑部を含み、黄斑浮腫により網膜内層境界が変形しているものとする。
<ステップS620>
特定部141は、眼部ボリューム画像取得部120で取得された眼部ボリューム画像から眼部特徴を取得する。眼部特徴としては内境界膜B1、神経線維層境界B2、視細胞内節外節境界B5、網膜色素上皮の外側境界B6、網膜血管(非図示)を抽出する。
具体的には、処理対象であるボリューム画像を2次元断層画像(Bスキャン像)の集合と考え、各2次元断層画像に対して以下の処理を行う。
まず着目する2次元断層画像に平滑化処理を行い、ノイズ成分を除去する。次に2次元断層画像からエッジ成分を検出し、その連結性に基づいて何本かの線分を層境界の候補として抽出する。そして該候補から一番上の線分を内境界膜B1、上から二番目の線分を神経線維層境界B2、また内境界膜B1よりも外層側(図10(a)において、z座標が大きい側)にあるコントラスト最大の線分を視細胞内節外節境界B5として選択する。更に、該層境界候補群のうち一番下の線分を網膜色素上皮層境界B6として選択する。
更に、これらの線分を初期値としてSnakesやレベルセット法等の可変形状モデルを適用し、精密抽出を行っても良い。またグラフカット法により層の境界を検出しても良い。なお可変形状モデルやグラフカットを用いた境界検出はボリューム画像に対し3次元的に実行してもよいし、各々の2次元断層画像に対し2次元的に適用しても良い。なお層の境界を検出する方法は、眼部の断層像から層の境界を検出可能な方法であればいずれの方法を用いてもよい。
<ステップS630>
判定部142は、フォーカス位置変更の要否を判定する。本実施例ではS620で取得された眼部特徴、すなわち神経線維層境界をサンプリングして得られる点列の隣接3点がなす角度が一定値未満の場合に層形状異常、従ってフォーカス位置の変更によるSLO静止画像取得が必要と判定する。
<ステップS640>
決定部180はフォーカス変更に関するパラメータを決定する。眼部特徴リストFDを参照して血流動態計測に必要な血球移動を計測するために視細胞内節外節境界付近のフォーカス位置F6でSLO動画像M1の取得が必要と判定する。
ここで、フォーカス位置変更のパラメータとしては、
(i)新たに設定するフォーカス位置の数
(ii)フォーカス位置の変動範囲
(iii)フォーカス位置の変動間隔
(iv)各フォーカス位置
があり、本実施例では図10(a)に示すようなフォーカス位置(F3、F4、F5、F6)を設定する。すなわち、(i)を4、(ii)を(視細胞内節外節境界F6 − SLO画像撮像範囲内の神経線維層境界のうち最内層側の位置F3)、(iii)を(撮像範囲内の神経線維層境界のうち最外層側の位置F5−F3)/2、F6−F5、(iv)F3、F4=F3+(F5−F3)/2、F5、F6と決定する。
なお、本実施例では断層像におけるSLO撮像範囲を求める方法として、予めデータサーバ40から取得された固視標位置の情報を用いる。
<ステップS610>
SLO画像取得部110は、S630で判定部142により指示されたフォーカス位置F3、F4、F5、でSLO静止画像M2iを撮像する。また、視細胞内節外節境界付近でフォーカス位置を設定したSLO動画像M1を取得する。
<ステップS620>
特定部141は、S610で取得したSLO静止画像M2iから眼部特徴として網膜血管を検出する。血管検出法としては任意の公知の線強調フィルタを用いる。なお、SLO画像中の一部の領域にフォーカスの合った画像であるので、フォーカスの合っている領域内で良好に網膜血管が検出されていれば他の領域で血管検出に失敗していても構わない。
また、流速特定部(第二の特定部)1412は、S610で取得したSLO動画像M1から眼部特徴として血球成分の移動軌跡を取得する。血球成分の移動軌跡の取得方法は実施例1のS620(1回目)と同様であるため、本実施例では省略する。
<ステップS650>
取得部143は、SLO静止画像M2iから取得された眼部特徴と、視細胞内節外節境界付近のフォーカス位置F6で取得されたSLO動画像M1から取得された眼部特徴とに基づいて血球成分の動態を計測する。なお、計測を行う具体的な処理の内容に関しては後に詳しく説明する。
次に図11に示すフローチャートに従いS650で実行される処理の詳細について説明する。
<ステップS1110>
部分画像選択部1432は、S620(1回目)で取得された眼部特徴、すなわち神経線維層境界からの距離に基づいて撮像範囲内の各x−y位置において最もフォーカス位置の合ったSLO静止画像M2iを部分画像として選択する。本実施例では、撮像範囲内の各x−y位置において神経線維層境界からの距離が最も短いSLO静止画像M2iを選択する。従って、フォーカス位置F3の画像からは図10(b)のS1の領域、フォーカス位置F4の画像からは図10(b)のS2の領域、フォーカス位置F5の領域からは図10(b)のS3の領域が部分画像として選択される。
<ステップS1120>
部分画像選択部1432は、図10(b)に示すようにS1110で取得された各部分画像(S1・S2・S3)及びS620で取得された(各部分画像上の)眼部特徴(網膜血管領域)を連結する。層形状に異常があっても、撮像範囲(S1+S2+S3)内で網膜血管にフォーカスの合った画像が得られている。
S1130、S1140、S1150については実施例2のS910、S920、S930の場合と同様であるので、説明は省略する。
以上述べた構成により、画像処理装置10は、実施例2に対し、眼部ボリューム画像を取得し層境界位置の形状を調べる。該層形状が変形していた場合にはフォーカス位置変更による撮像が必要と判定して異なるフォーカス位置のSLO静止画像群M2iを取得し、網膜血管を取得する。眼底上の各位置で計測に適したフォーカス位置の部分画像を選択して各部分画像上の網膜血管領域を連結することで、より正確に血流動態を計測する。
これにより、糖尿病性黄斑浮腫等の疾病により網膜内層境界の形状が大きく変形している場合でも撮像範囲内の血流動態を正確に計測することができる。
実施例4では、測定対象が血管ではなく視細胞及び神経線維である。視細胞は眼部において光を受け信号を得る部位であり、神経線維は信号を脳に伝える部位である。視機能が劣化したり部分的または全て喪失したりする場合、このいずれかに異常が生じている可能性が高い。そこで、本実施例では、視細胞及び神経線維の画像をそれぞれSLO画像から特定し、視細胞の画像と神経線維の画像を並べてまたは切り替えて表示させることにより、視機能を精密に検査することができる。
ハードウェア構成については先述の実施例と同様に図1に例示されるものであるため、説明は省略する。また、かかる構成により行われる処理についても先述の実施例と同様の点については一部説明を省略する。
本実施例の処理の概要について図12に基づいて説明する。図12(a)は黄斑部のOCT断層画像であり、SLO画像のフォーカス位置F1及びF2が示されている。図12(b)はフォーカス位置がF2のSLO画像であり、図12(c)はフォーカス位置がF1のSLO画像である。フォーカス位置F2は神経線維層RFを撮影するために、フォーカス位置F1は視細胞Cを撮影するために、それぞれ決定された値である。かかる値は先述の実施例と同様に事前に撮影されたSLO画像及びそのフォーカス位置に基づいて決定してもよいし、ユーザが手動でフォーカス調整機構を調整して設定することも可能である。
SLO画像取得部110はかかるSLO画像を取得し、特定部141はSLO画像から組織を特定する。特定部141の第一の特定部1411はフォーカス位置の浅いSLO画像から血管領域を先述の実施例に記載の処理により特定し、かかる領域を神経線維層外の領域とする。これにより神経線維の存在する領域を特定する。第二の特定部1412はフォーカス位置の深いSLO画像から血流のある領域を除去し、視神経の領域を特定する。血管領域の特定処理については上述の実施例と同様であるため省略する。
取得部143は神経線維の領域が特定されたSLO画像と、視細胞の領域が特定されたSLO画像とを取得し、表示制御部144は表示部160に係る画像を並べて、または切り替えて表示させる。この際に、神経線維の異常部位と視細胞の異常部位を特定し、各異常位置を対応表示させる。
また別の例としては、取得部143の画像特徴選択部1433は例えば二つの画像に映る血管領域を利用して二つのSLO画像の位置合わせを行っておく。ここで一方の画像について操作部170からの入力に応じて領域を選択する指示を指示取得部150が取得すると、取得部143は一方の画像において選択された領域に対応する他方の画像の領域を特定する。表示制御部144はかかる一方の画像で選択された領域と、他方の画像において当該選択された領域に対応する領域とを並べてまたは切り替えて表示部160に表示させる。
本実施例の処理の流れを図13に示すフローチャートに基づいて説明する。実施例1との違いは、ステップS650(図6)の情報取得処理中のステップS930(図9(a))の計測処理が、図9(b)に示す処理ではなく図13に示す処理となっている点である。
ステップS1331で計測部1434はフォーカス位置がF2の画像から、神経線維の異常部位を特定する。神経線維の異常部位は例えば、神経線維が断線した領域や、または線の太さが局所的に細くなっている領域を画像から特定することで行う。次にステップS1332で計測部1434はフォーカス位置がF1の画像から視細胞の異常部位を特定する。視細胞の異常部位は例えば、視細胞の密度分布や配列に異常がある部位であり、画像を解析することでかかる部位を特定する。
ステップS1333で表示制御部144は特定された異常部位を対応表示させるための画像データを作成する。この画像データは、例えばフォーカス位置がF1のSLO画像とフォーカス位置がF2のSLO画像とを並べて表示させるとともに、各画像において異常部位として特定された領域を枠で囲うなどの表示を付した画像データを作成する。
また別の例としては、かかる二つの画像を操作部170の入力に応じてまたは自動的に切り替えて表示させる。また別の例としては、2つのSLO画像で異常部位が重複している領域、神経線維のみ異常である領域、視細胞のみ異常である領域をそれぞれ色分けして表示する画像データを作成する。
ステップS1333で作成された画像データを表示制御部144が表示部160に表示させることにより、各組織での異常部位の対応関係を分かりやすく表示することができる。
[その他の実施例]
上述の実施例1乃至3では1枚目のSLO画像を撮影した際にフォーカス位置の異なる2枚目の画像を撮影するか否かを選択することとしているが、これに限らず予め異なる複数のフォーカス位置でSLO画像を撮像することとしてもよい。これにより、画像に応じた判定を行う必要がなくなり、1枚のSLO画像で血管領域と血流の両方の情報を得られない場合には処理を高速化させることができる。
上述の実施例では本発明を画像処理装置として実現したが、本発明の実施形態は画像処理装置のみに限定されない。例えば、画像処理部140を有する画像処理装置10と、画像処理装置10からの情報に基づいて撮影条件を決定する決定部180を有する撮影制御装置または撮影指示装置とにより本発明を実現することとしてもよい。撮影制御装置または撮影指示装置は画像処理部140を備えていてもよい。
上述の画像処理装置10はCPUを含む電子計算機(コンピュータ)とソフトウェアとの協働によって実現されるが、画像処理装置10の各機能ブロックをそれぞれ回路として実装してもよい。回路のまとまりは機能ブロック単位に限定されることはなく、機能の一部のみを回路として実装することとしてもよい。また、上述の通り画像処理装置10のCPU301により実行されるソフトウェアプログラムを記憶した記憶媒体も本発明を構成する。
また、画像処理装置10を複数の装置で構成されている画像処理システムとすることも可能である。
画像処理装置10ではOCTの断層画像から特徴を取得するが、これに限らずその他の画像または診断装置によって構造を特定することとしてもよい。例えば、複数のSLO画像のそれぞれを解析することにより観察対象の組織構造を特定し、部分画像を選択して貼り合わせまたはいずれかのSLO画像を選択することとしてもよい。あるいは別のモダリティ(撮影装置または計測装置)によって組織構造を特定することとしてもよい。
上述の実施例はあくまで実施形態を例示したものであり、本発明はこれら実施例に限定されるものではない。
1 撮影システム
10 画像処理装置
110 SLO画像取得部
141 特定部
1411 領域特定部(第一の特定部)
1412 流速特定部(第二の特定部)
142 判定部
143 取得部
144 表示制御部
180 決定部

Claims (8)

  1. 信号光を第一のフォーカス位置に調整して第一のSLO画像を撮影し、前記第一のフォーカス位置よりも深い第二のフォーカス位置に調整された前記信号光により第二のSLO画像を撮影する撮影手段と、
    前記撮影された第一のSLO画像から血管の領域を特定する領域特定手段と、
    前記撮影された第二のSLO画像から前記血管の血流速に関する情報を特定する流速特定手段と、
    を有することを特徴とする画像処理装置。
  2. 前記第一のSLO画像を解析して前記血流速を特定できるか否かを判定する判定手段と、
    特定できないと判定された場合に前記第二のSLO画像の撮影を前記撮影手段に指示する指示手段と、
    を更に有することを特徴とする請求項1に記載の画像処理装置。
  3. 前記第二のSLO画像を解析して前記血管の領域を特定できるか否かを判定する判定手段と、
    特定できないと判定された場合に前記第一のSLO画像の撮影を前記撮影手段に指示する指示手段と、
    を更に有することを特徴とする請求項1に記載の画像処理装置。
  4. 前記血管の血流速に関する情報を表示させる表示制御手段を更に有することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 信号光のフォーカス位置を調整する調整手段と、
    前記調整手段により第一のフォーカス位置に調整された前記信号光を用いて第一のSLO画像を撮影し、前記第一のフォーカス位置よりも深い第二のフォーカス位置に調整された前記信号光を用いて第二のSLO画像を撮影する撮影手段と、
    前記撮影された第一のSLO画像から血管の領域を特定する領域特定手段と、
    前記撮影された第二のSLO画像から前記血管の血流速に関する情報を特定する流速特定手段と、
    を有することを特徴とする撮影システム。
  6. 前記信号光の収差を測定する測定手段と、
    前記測定手段により測定された収差に基づき、前記信号光の収差を補正する補正手段を更に有し、
    前記補正手段が、フォーカス位置の調整を行うことを特徴とする請求項5に記載の撮影システム。
  7. 信号光を第一のフォーカス位置に調整して第一のSLO画像を撮影するステップと、
    前記第一のフォーカス位置よりも深い第二のフォーカス位置に調整された前記信号光により第二のSLO画像を撮影するステップと、
    前記撮影された第一のSLO画像から血管の領域を特定するステップと、
    前記撮影された第二のSLO画像から前記血管の血流速に関する情報を特定するステップと、
    を有することを特徴とする画像処理方法。
  8. 請求項7に記載の画像処理方法の各ステップを、コンピュータに実行させるためのプログラム。
JP2015190464A 2015-09-28 2015-09-28 画像処理装置、撮影システム、画像処理方法及びプログラム Expired - Fee Related JP6001149B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015190464A JP6001149B2 (ja) 2015-09-28 2015-09-28 画像処理装置、撮影システム、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015190464A JP6001149B2 (ja) 2015-09-28 2015-09-28 画像処理装置、撮影システム、画像処理方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011040272A Division JP5818458B2 (ja) 2011-02-25 2011-02-25 画像処理装置、撮影システム、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2016000355A JP2016000355A (ja) 2016-01-07
JP6001149B2 true JP6001149B2 (ja) 2016-10-05

Family

ID=55076268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015190464A Expired - Fee Related JP6001149B2 (ja) 2015-09-28 2015-09-28 画像処理装置、撮影システム、画像処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6001149B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7050282B2 (ja) * 2017-12-22 2022-04-08 株式会社トーメーコーポレーション 光断層画像撮影装置及びそれに用いる光源装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4157839B2 (ja) * 2001-08-30 2008-10-01 ユニバーシティー オブ ロチェスター 生体眼の網膜領域撮像方法及びそのシステム
JP4783219B2 (ja) * 2006-06-16 2011-09-28 株式会社トプコン 眼科撮影装置
JP5209377B2 (ja) * 2008-06-02 2013-06-12 株式会社ニデック 眼底撮影装置
EP2130486B1 (en) * 2008-06-02 2016-03-23 Nidek Co., Ltd. Ophthalmic Photographing Apparatus
JP5555258B2 (ja) * 2009-01-15 2014-07-23 フィジカル サイエンシーズ, インコーポレイテッド 適合光学線走査検眼鏡及び方法

Also Published As

Publication number Publication date
JP2016000355A (ja) 2016-01-07

Similar Documents

Publication Publication Date Title
JP5818458B2 (ja) 画像処理装置、撮影システム、画像処理方法及びプログラム
JP5792967B2 (ja) 画像処理装置及び画像処理システム
US11058293B2 (en) Image processing apparatus, ophthalmologic imaging apparatus, image processing method, and storage medium
JP5822485B2 (ja) 画像処理装置、画像処理方法、画像処理システム、slo装置、およびプログラム
US10993615B2 (en) Image processing apparatus and image processing system for displaying information about ocular blood flow
JP2022040372A (ja) 眼科装置
JP7348374B2 (ja) 眼科情報処理装置、眼科撮影装置、眼科情報処理方法、及びプログラム
WO2020044712A1 (ja) 眼科装置、及びその制御方法
JP6633468B2 (ja) 血流計測装置
WO2017069019A1 (ja) 血流計測装置
JP6502790B2 (ja) 血流計測装置
JP6452977B2 (ja) 眼科撮影装置及びその制御方法
JP6001149B2 (ja) 画像処理装置、撮影システム、画像処理方法及びプログラム
US10905323B2 (en) Blood flow measurement apparatus
JP2017202369A (ja) 眼科画像処理装置
JP2018192082A (ja) 眼科装置、及びその制御方法
JP6557388B2 (ja) 眼科撮影装置
US11974806B2 (en) Ophthalmologic information processing apparatus, ophthalmologic apparatus, ophthalmologic information processing method, and recording medium
JP7068366B2 (ja) 血流計測装置
JP2019025186A (ja) 眼科装置及びデータ収集方法
JP7339011B2 (ja) 眼科装置、眼科情報処理装置、プログラム、及び記録媒体
WO2017033670A1 (ja) 血流計測装置
JP2019180948A (ja) 画像処理装置およびその制御方法
JP2019154933A (ja) 画像処理装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160831

R151 Written notification of patent or utility model registration

Ref document number: 6001149

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees