JP6611593B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
JP6611593B2
JP6611593B2 JP2015250026A JP2015250026A JP6611593B2 JP 6611593 B2 JP6611593 B2 JP 6611593B2 JP 2015250026 A JP2015250026 A JP 2015250026A JP 2015250026 A JP2015250026 A JP 2015250026A JP 6611593 B2 JP6611593 B2 JP 6611593B2
Authority
JP
Japan
Prior art keywords
image
focus position
confocal
information processing
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015250026A
Other languages
English (en)
Other versions
JP2016202880A (ja
JP2016202880A5 (ja
Inventor
裕之 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to US15/132,985 priority Critical patent/US10470652B2/en
Publication of JP2016202880A publication Critical patent/JP2016202880A/ja
Publication of JP2016202880A5 publication Critical patent/JP2016202880A5/ja
Application granted granted Critical
Publication of JP6611593B2 publication Critical patent/JP6611593B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、眼科診療に用いられる情報処理装置及び情報処理方法、並びに、当該情報処理装置としてコンピュータを機能させるためのプログラムに関する。
生活習慣病や失明原因の上位を占める疾病の早期診療を目的として、眼部の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した眼科装置である走査型レーザー検眼鏡(Scanning Laser Ophthalmoscope:SLO)は、測定光であるレーザーを被検眼の眼底に対してラスタースキャンし、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。この装置では、例えば開口部(ピンホール)内を通過した光のみを検出することで、特定の深度位置の戻り光のみを画像化でき、一般的な眼底カメラ等に比べてコントラストの高い平面画像を取得できる。以下、このような平面画像を撮像する装置を「SLO装置」、当該平面画像を「SLO画像」と記す。
近年、SLO装置において、測定光のビーム径を大きくすることにより、横分解能を向上させた網膜のSLO画像を取得することが可能になってきた。しかしながら、測定光のビーム径の大径化に伴い、網膜のSLO画像の取得において、被検眼の収差によるSLO画像のS/N(SN比)及び分解能の低下が問題になってきた。
この問題を解決するために、被検眼の収差を波面センサでリアルタイムに測定し、被検眼において発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有するSLO装置である補償光学SLO装置が開発された。
この補償光学SLO装置は、高横分解能なSLO画像の取得を可能にしている。また、補償光学SLO装置は、このような高横分解能なSLO画像を動画像として取得することができ、例えば血流動態を非侵襲に観察するために、各フレームから網膜血管を抽出した上で毛細血管における血球の移動速度等を計測できる。また、視細胞を観察する場合には、合焦位置を網膜外層付近に設定してSLO画像を撮影する。
また、SLO画像を用いて被検眼の視機能との関連を評価するために、図6(b)に示す視細胞Pを検出した上で、視細胞Pの密度分布や配列の計測が行われている。図6(b)には、高横分解能なSLO画像の一例が示されている。この図6(b)に示すSLO画像からは、視細胞Pや、毛細血管の位置に対応する低輝度領域Q、白血球の位置に対応する高輝度領域Wが観察できる。視細胞Pを観察する場合には、合焦位置を網膜外層(図6(a)のB5)付近に設定して、図6(b)のようなSLO画像を撮影する。一方、網膜内層(図6(a)のB2〜B4)には、網膜血管や分岐した毛細血管が走行している。そして、合焦位置を網膜内層に設定して補償光学SLO装置によりSLO画像を取得すると、例えば網膜血管に関する微細構造である網膜血管壁を直接観察することができる。
しかしながら、SLO画像において、網膜内層を撮影した共焦点画像では、神経線維層から反射する光の影響でノイズ信号が強く、血管壁の観察や壁境界の検出が難しい場合があった。そこで、近年では、例えば光センサの手前に設けたピンホールの径や形状、位置を変えることにより散乱光を取得して得られた非共焦点画像を観察する方法が用いられるようになってきている(例えば、下記の非特許文献1参照)。SLO画像において、非共焦点画像ではフォーカス深度が大きいために血管のように深度方向に凹凸のある物体の観察がしやすく、また神経線維層からの反射光を直接受光し難くなるため、ノイズが低減される。
また、網膜外層の視細胞を観察する場合でも、これまで共焦点画像では主に視細胞の外節が画像化されていたのに対し、非共焦点画像では視細胞の内節の凹凸が画像化されることがわかってきている(例えば、下記の非特許文献2参照)。初期障害で外節は欠損しているものの内節は生存している視細胞が存在する領域については、共焦点画像では黒く欠損する(図6(g))のに対して、非共焦点画像では高輝度な粒状の物体が存在する領域として観察できる(図6(h))。
これまで、補償光学SLO装置を用いて網膜血管の非共焦点画像を取得する技術が非特許文献1に開示され、また、補償光学SLO装置を用いて共焦点画像と非共焦点画像を同時に取得する技術が非特許文献2に開示されている。さらに、プレパラート内の検体を顕微鏡で撮影する場合に、第1の光学系よりも被写界深度が深い第2の光学系を通して得られた像をもとにして第1の光学系に含まれる対物レンズの暫定合焦位置を算出し、暫定合焦位置と第1の光学系を通して得られた像をもとにして前記対物レンズの合焦位置を探索する技術が特許文献1に開示されている。
特開2014−178474号公報
Sulai, Dubra et al.;"Visualization of retinal vascular structure and perfusion with a nonconfocal adaptive optics scanning light ophthalmoscope", J. Opt. Soc. Am. A, Vol.31, No.3, pp.569-579, 2014. Scoles, Dubra et al.; "In vivo Imaging of Human Cone Photoreceptor Inner Segment", IOVS, Vol.55, No.7, pp.4244-4251, 2014.
被検眼の共焦点画像を含む複数種類の画像を取得するSLO装置においては、共焦点画像のみに基づいて被検眼の合焦位置を決定するのが一般的である。しかしながら、例えば、共焦点画像のみに基づいて網膜血管(或いは視細胞欠損が生じている網膜外層(共焦点画像では低輝度領域))に合焦しようとすると、神経線維層からの反射光によるノイズが多い(或いは視細胞層からの反射光が少ない)ため、最適な合焦位置の決定が難しいという課題があった。
この点、上述した非特許文献1、非特許文献2及び特許文献1に開示されている技術は、上述した課題を解決するものではなかった。即ち、従来の技術では、被検眼の網膜血管や視細胞欠損が生じている網膜外層のように、共焦点画像(上位概念で言えば共焦点信号)では合焦が難しい撮影対象については、ロバスト且つ高精度に合焦を行うことが困難であるという問題があった。
本発明は、このような問題点に鑑みてなされたものであり、被検眼の各撮影対象においてロバスト且つ高精度に合焦を行える仕組みを提供することを目的とする。
本発明の情報処理装置は、測定光を照射された被検眼からの戻り光に基づいて撮影対象の共焦点信号および非共焦点信号を取得する取得手段と、前記測定光の光軸方向に前記測定光の合焦位置を調整する調整手段と、前記共焦点信号および前記非共焦点信号に基づいて、前記被検眼の合焦位置を特定する特定手段と、を有し、前記特定手段は、前記共焦点信号に基づいて前記測定光の概略の合焦位置を特定した後、前記非共焦点信号に基づいて前記測定光の詳細な合焦位置を特定する
また、本発明は、上述した情報処理装置による情報処理方法、及び、上述した情報処理装置の各手段としてコンピュータを機能させるためのプログラムを含む。
本発明によれば、被検眼の各撮影対象においてロバスト且つ高精度に合焦を行うことが可能となる。
本発明の第1の実施形態に係る情報処理装置を含む情報処理システムの概略構成の一例を示す図である。 本発明の第3の実施形態に係る情報処理装置を含む情報処理システムの概略構成の一例を示す図である。 本発明の第1の実施形態を示し、図1−1に示す情報処理装置の機能構成の一例を示すブロック図である。 図1に示すSLO画像撮像装置の概略構成の一例を示す図である。 図3−1に示す受光部の概略構成の一例を示す図である。 本発明の実施形態を示し、図1−1に示す情報処理装置のハードウェア構成の一例を示すブロック図である。 本発明の第1の実施形態に係る情報処理装置による情報処理方法の処理手順の一例を示すフローチャートである。 本発明の第2の実施形態を示し、図5−1(a)のステップS510における詳細な処理手順の一例を示すフローチャートである。 本発明の実施形態を説明するために用いる被検眼の画像を示す図である。 本発明の第3の実施形態を示し、図1−2に示す情報処理装置の機能構成の一例を示すブロック図である。 本発明の第3の実施形態に係る情報処理装置による情報処理方法の処理手順の一例を示すフローチャートである。
以下、添付図面に従って、本発明に係る情報処理装置及び情報処理方法、並びに、プログラムの好ましい実施形態について説明する。
[第1の実施形態]
本実施形態に係る情報処理装置は、収差補正時に共焦点信号を用いて合焦した位置に所定の網膜形状に関する正常値を加算して概略の合焦位置を特定した上で、少なくとも非共焦点信号に基づいて網膜血管等に対する正確で詳細な合焦位置を特定するものである。ここで、以下の説明においては、共焦点信号とは、共焦点画像を含む、共焦点画像の上位概念に相当するものであり、共焦点画像のように2次元の情報に限らず、例えば1次元の情報であってもよい。同様に、非共焦点信号とは、非共焦点画像を含む、非共焦点画像の上位概念に相当するものであり、非共焦点画像のように2次元の情報に限らず、例えば1次元の情報であってもよい。
なお、網膜内層の血管に対して詳細な合焦位置を特定するのに共焦点信号でなく非共焦点信号を用いるのが望ましい理由としては、非共焦点信号の方が神経線維層からの反射光によるノイズの影響を受けにくく、最適な合焦位置を決定しやすいためである。
以下の本実施形態の説明では、被検眼の共焦点信号と非共焦点信号を略同時に得る装置を用いて被検眼の網膜血管等を撮影する場合に、収差補正時の合焦位置に視細胞と網膜血管との距離に関する正常値を加算することによって概略の合焦位置を特定し、当該概略の合焦位置と非共焦点信号によって網膜血管等に対する正確で詳細な合焦位置を特定する場合について説明する。
(情報処理システムの概略構成)
図1−1は、本発明の第1の実施形態に係る情報処理装置100を含む情報処理システム10−1の概略構成の一例を示す図である。情報処理システム10−1は、図1−1に示すように、情報処理装置100、SLO画像撮像装置200、LAN(ローカル・エリア・ネットワーク)300、データサーバ400、及び、時相データ取得装置500を有して構成されている。
情報処理装置100は、図1−1に示すように、SLO画像撮像装置200やデータサーバ400、時相データ取得装置500と、LAN300を介して、通信可能に接続されている。なお、情報処理装置100と、SLO画像撮像装置200やデータサーバ400、時相データ取得装置500との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよいし、情報処理装置100と直接接続される構成であってもよい。
SLO画像撮像装置200は、被検眼の広画角画像Dlや、当該広画角画像よりも高倍率の画像である共焦点画像Dcと非共焦点画像Dn等を撮像する装置である。SLO画像撮像装置200は、広画角画像Dl、共焦点画像Dc及び非共焦点画像Dn、更には、その撮影時に用いた固視標位置Fl,Fcnの情報を、情報処理装置100及びデータサーバ400に送信する。
時相データ取得装置500は、被検者の自律的に変化する生体信号データ(時相データ)を取得する装置であり、例えば脈波計もしくは心電計等からなる。時相データ取得装置500は、検者による操作に応じ、上述した広画角画像Dlや共焦点画像Dc、非共焦点画像Dnの取得と同時に時相データPiを取得する。そして、時相データ取得装置500は、取得した時相データPiを、情報処理装置100及びデータサーバ400に送信する。なお、時相データ取得装置500は、SLO画像撮像装置200に直接接続される構成であってもよい。
なお、以下の説明では、上述した広画角画像Dlや共焦点画像Dc、非共焦点画像Dnの各画像を異なる撮影位置で取得する場合には、広画角画像Dli、共焦点画像Dcj、非共焦点画像Dnkのように記載する。即ち、i、j、kは、各々撮影位置番号を示す変数であり、i=1,2,…,imax、j=1,2,…,jmax、k=1,2,…,kmaxとする。また、共焦点画像Dcや非共焦点画像Dnを異なる倍率で取得する場合には、最も倍率の高い画像から順に、共焦点画像Dcの場合にはDc1m,Dc2o,…、非共焦点画像Dnの場合にはDn1m,Dn2o,…、のように記載する。ここで、共焦点画像Dc1mを高倍率共焦点画像、共焦点画像Dc2o,…を中間倍率共焦点画像と記載する。同様に、非共焦点画像Dn1mを高倍率非共焦点画像、非共焦点画像Dn2o,…を中間倍率非共焦点画像と記載する。
データサーバ400は、被検眼の広画角画像Dlや共焦点画像Dc、非共焦点画像Dn、及び、その撮影時に用いた固視標位置Fl,Fcnや合焦位置のような撮像条件データ、時相データPi、被検眼の画像特徴に関する正常値データ等を保持する。ここで、本実施形態では、被検眼の画像特徴に関する正常値データとして、被検眼の眼底上の各位置における視細胞Pと網膜血管との間の距離の正常値を適用する。また、データサーバ400は、情報処理装置100からの要求に応じて、広画角画像Dl、共焦点画像Dc、非共焦点画像Dn、時相データPi、固視標位置Fl,Fcnや合焦位置等の撮像条件データを情報処理装置100に送信する。
LAN300は、情報処理装置100、SLO画像撮像装置200、データサーバ400、及び、時相データ取得装置500を、相互に通信可能に接続する。例えば、LAN300は、光ファイバや、USB、IEEE1394等で構成されている。
<情報処理装置の機能構成>
図2は、本発明の第1の実施形態を示し、図1−1に示す情報処理装置100の機能構成の一例を示すブロック図である。ここで、図2においては、第1の実施形態に係る情報処理装置100を「情報処理装置100−1」として記載している。
情報処理装置100−1は、図2に示すように、データ取得部110、記憶部120、制御部130、指示取得部140、及び、表示部150を有して構成されている。
データ取得部110は、例えば、図1−1に示すSLO画像撮像装置200、データサーバ400及び時相データ取得装置500等から、各種のデータを取得する。また、データ取得部110は、図2に示すように、共焦点データ取得部111、非共焦点データ取得部112、収差データ取得部113、及び、時相データ取得部114を有して構成されている。このデータ取得部110の内部構成については、図5−1のフローチャートの説明とともに後述する。
記憶部120は、各種のデータや各種の情報等を記憶する。
制御部130は、情報処理装置100−1における動作を統括的に制御する。また、制御部130は、図2に示すように、収差補正部131、合焦位置特定部132、電動ステージ駆動部133、演算部134、及び、表示制御部135を有して構成されている。この制御部130の内部構成については、図5−1のフローチャートの説明とともに後述する。
指示取得部140は、例えば検者から入力された指示を取得し、これを制御部130に出力する。
表示部150は、制御部130(具体的には表示制御部135)の制御に基づいて、各種の画像や各種の情報等を表示する。
<SLO画像撮像装置の概略構成>
図3−1は、図1に示すSLO画像撮像装置200の概略構成の一例を示す図である。図3−1において、図1に示す構成と同様の構成には同じ符号を付している。また、図3−1には、SLO画像撮像装置200に対する情報処理装置100による駆動制御を司るドライバ部280を図示している。
SLO画像撮像装置200は、補償光学SLO部295、広画角SLO部296、及び、本体電動ステージ部297を有して構成されている。補償光学SLO部295は、情報処理装置100の制御に基づいて、被検眼Eの高倍率画像である共焦点画像Dc及び非共焦点画像Dnを取得する。広画角SLO部296は、情報処理装置100の制御に基づいて、高倍率画像である共焦点画像Dc及び非共焦点画像Dnの取得を補助する目的で広画角画像Dlを取得する。本体電動ステージ部297は、情報処理装置100の制御に基づいて、補償光学SLO部295や広画角SLO部296を被検眼Eに対して電動でアライメントを行う。
≪補償光学SLO部≫
以下に、図3−1に示す補償光学SLO部295について説明する。
ここでは、まず、補償光学SLO部295の全体について説明する。
光源201−1から出射した光は、光カプラー231によって参照光205と測定光206−1とに分割される。測定光206−1は、シングルモード光ファイバ230−4、空間光変調器259、XYスキャナ219−1、ダイクロイックミラー270−2等を介して、観察対象(検査対象)である被検眼Eに導かれる。また、固視灯表示器256からの光束(不図示)は、被検眼Eの固視を促す役割を有する。
また、被検眼Eに近いところに、被検眼Eの前眼部を観察するための赤外光を発する赤外LEDから成る前眼部照明光源240が配置されている。被検眼Eの前眼部を照射した光に基づく虹彩Ei付近の像が、ダイクロイックミラー270−3、レンズ235−16、スプリットプリズム241、レンズ235−15を介して、前眼部観察カメラ242で撮像される。
また、測定光206−1は、被検眼Eによって反射或いは散乱された戻り光208となり、光路を逆行し、光カプラー231を介して、受光部238−1に入射される。受光部238−1では、戻り光208の光強度を電圧に変換して、その信号を用いて被検眼Eの平面画像が構成される。
図3−1に示す例では、光学系の全体を主にレンズを用いた屈折光学系を用いて構成しているが、レンズの代わりに球面ミラーを用いた反射光学系によって構成することも、本実施形態に適用可能である。また、図3−1に示す例では、収差補正デバイスとして、反射型の空間光変調器259を用いたが、透過型の空間光変調器や可変形状ミラーを用いることも適用可能である。
次いで、光源201−1の周辺について説明する。
光源201−1は、例えば、代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。光源201−1から出射される光の波長は830nm程度でバンド幅は50nm程度である。ここでは、光源201−1として、スペックルノイズの少ないSLO画像を取得するために低コヒーレント光源を選択している。また、光源201−1の種類としては、ここでは、SLDを選択したが、低コヒーレント光が出射できればよく、例えばASE(Amplified Spontaneous Emission)等を用いることも可能である。また、光源201−1から出射された光は、被検眼Eを測定することを鑑みると、近赤外光が適する。さらに、光源201−1から出射された光の波長は、得られるSLO画像の横方向の分解能に影響するため、なるべく短波長であることが望ましく、このため、ここでは830nm程度としている。なお、観察対象の測定部位によっては、他の波長を選んでもよい。光源201−1から出射された光は、シングルモード光ファイバ230−1と光カプラー231とを介して、参照光205と測定光206−1とに、例えば96:4の割合で分割される。また、光ファイバ230−1〜230−4には、それぞれ、偏光コントローラ253−1〜253−4が設けられている。
次いで、参照光205の光路について説明する。
光カプラー231によって分割された参照光205は、光ファイバ230−2を介して、光量測定器264に入射される。光量測定器264は、参照光205の光量を測定することで、測定光206−1の光量をモニターする用途に用いられる。
次いで、測定光206−1の光路について説明する。
光カプラー231によって分割された測定光206−1は、シングルモード光ファイバ230−4を介してレンズ235−4に導かれ、ビーム径が4mm程度の平行光になるように調節されている。測定光206−1は、ビームスプリッタ258−1を通過し、レンズ235−5〜235−6を通過し、空間光変調器259に入射する。ここで、空間光変調器259は、情報処理装置100からドライバ部280内の空間光変調器駆動ドライバ281を介して制御される。続いて、測定光206−1は、空間光変調器259において変調され、レンズ235−7〜235−8を通過し、XYスキャナ219−1のミラーに入射される。図3−1では簡略化のため、XYスキャナ219−1は1つのミラーとして記したが、実際にはXスキャナとYスキャナとの2枚のミラーが近接して配置され、眼底Er上を光軸に垂直な方向にラスタースキャンするものである。また、測定光206−1の中心は、XYスキャナ219−1のミラーの回転中心と一致するように調節されている。
XYスキャナ219−1の構成要素であるXスキャナは、測定光206−1を紙面に平行な方向に走査するスキャナであり、ここでは共振型スキャナを用いている。このXスキャナの駆動周波数は、約7.9kHzである。また、XYスキャナ219−1の構成要素であるYスキャナは、測定光206−1を紙面に垂直な方向に走査するスキャナであり、ここではガルバノスキャナを用いている。このYスキャナの駆動波形はのこぎり波であり、駆動周波数は約64Hz、デューティ比は81%程度である。このYスキャナの駆動周波数は、補償光学SLO部295により撮像される、上述した高倍率画像のフレームレートを決定する重要なパラメータである。XYスキャナ219−1は、情報処理装置100からドライバ部280内の光スキャナ駆動ドライバ282を介して制御される。
レンズ235−9〜235−10は、眼底Erを走査するための光学系であり、測定光206−1を虹彩Eiの付近を支点として、眼底Erを走査する役割がある。本実施形態では、測定光206−1のビーム径を4mm程度としているが、より高分解能な画像を取得するためにビーム径をより大径化してもよい。また、電動ステージ217は、矢印で図示する方向に移動することができ、付随するレンズ235−10の位置を調節することができる。電動ステージ217は、情報処理装置100からドライバ部280内の電動ステージ駆動ドライバ283を介して制御される。
レンズ235−10の位置を調節することで、被検眼Eの眼底Erの所定の層に、測定光206−1を合焦し観察することが可能になる。また、被検眼Eが屈折異常を有している場合にも対応できる。
続いて、測定光206−1が被検眼Eに入射すると、眼底Erからの反射や散乱により戻り光208となり、光カプラー231に導かれ、シングルモード光ファイバ230−3を介して、受光部238−1に到達する。受光部238−1は、例えば高速・高感度な光センサであるAPD(Avalanche Photo Diode)やPMT(Photomultiplier Tube)を含み構成されている。ここでは、光センサとしてAPDを用いる。
また、戻り光208は、空間光変調器259で再び変調される。また、ビームスプリッタ258−1において分割される戻り光208の一部は、波面センサ255に入射され、被検眼Eで発生する戻り光208の収差が測定される。波面センサ255は、情報処理装置100に電気的に接続されている。
ここで、虹彩EiとXYスキャナ219−1と波面センサ255と空間光変調器259とが光学的に共役になるように、レンズ235−5〜235−10等が配置されている。そのため、波面センサ255は、被検眼Eの収差を測定することが可能になっている。また、空間光変調器259は、被検眼Eの収差を補正することが可能になっている。また、情報処理装置100は、波面センサ255の測定結果により得られた収差に基づいて、空間光変調器259をリアルタイムに制御することで、被検眼Eで発生する収差を補正し、より高分解能のSLO画像の取得を可能にしている。なお、レンズ235−10は、球面レンズであるが、被検眼Eの収差(屈折異常)によっては、球面レンズの代わりにシリンドリカルレンズを用いてもよい。また、新たなレンズを測定光206−1の光路に追加してもよい。また、ここでは、測定光206−1を用いて、波面センサ255を用いた収差の測定を行っているが、収差の測定のために他の光源を用いてもよい。また、収差の測定のために他の光路を構成してもよい。例えば、レンズ235−10とダイクロイックミラー270−3との間から、別のビームスプリッタを用いて、収差の測定のための光を入射することもできる。
固視灯表示器256は、発光型のディスプレイモジュールからなり、表示面(27mm四方、128画素×128画素)をyz平面に有する。ここでは、固視灯表示器256として、例えば、液晶、有機EL、LEDアレイ等を用いることができる。被検眼Eに固視灯表示器256からの光束を注視させることで、被検眼Eの固視が促される。固視灯表示器256の表示面には、任意の点灯位置に十字のパターンが点滅して表示される。固視灯表示器256からの光束は、レンズ235−13〜235−14、ダイクロイックミラー270−2、レンズ235−10等を介して、眼底Erに導かれる。また、レンズ235−10、235−13及び235−14は、固視灯表示器256の表示面と眼底Erとが光学的に共役になるよう配置される。また、固視灯表示器256は、情報処理装置100からドライバ部280内の固視灯駆動ドライバ284を介して制御される。
次いで、補償光学SLO部295の測定系の構成について説明する。
補償光学SLO部295は、眼底Erからの戻り光208の強度から構成される補償光学SLO画像を取得できる。眼底Erにおいて反射や散乱された光である戻り光208は、レンズ235−4〜235−10、空間光変調器259、光カプラー231等を介して受光部238−1に入射され、光の強度が電圧に変換される。受光部238−1で得られた電圧信号は、情報処理装置100内のADボード405においてデジタル値に変換され、情報処理装置100においてXYスキャナ219−1の動作や駆動周波数と同期したデータ処理が行われ、SLO画像が形成される。ここで、ADボード405の取り込み速度は、例えば15MHz程度である。また、ビームスプリッタ258−1において分割される戻り光208の一部は、波面センサ255に入射され、戻り光208の収差が測定される。波面センサ255は、例えばシャックハルトマン方式の波面センサであり、測定レンジは−1D〜+1Dとなっており、測定レンジが狭く、測定精度が高い仕様となっている。得られた収差は、例えばツェルニケ多項式を用いて表現され、これは被検眼Eの収差を示している。ツェルニケ多項式は、チルト(傾き)の項、デフォーカス(defocus)の項、アスティグマ(非点収差)の項、コマの項、トリフォイルの項等からなる。
次いで、受光部238−1の概略構成について説明する。
図3−2(a)は、図3−1に示す受光部238−1の概略構成の一例を示す図である。図3−2(a)において、戻り光208は、結像面に配置された遮光部238−1−0に入射する。遮光部238−1−0に入射した戻り光208のうちの一部の光は、遮光部238−1−0で反射して光センサ238−1−1に入射する。
ここで、図3−2(a)に示す遮光部238−1−0の説明を行う。
遮光部238−1−0は、例えば図3−2(d)に示すように、透過領域238−1−5及び238−1−6、透過領域238−1−5と透過領域238−1−6との間の遮光領域、及び、反射領域238−1−4を有して形成されている。また、遮光部238−1−0は、その中心が、戻り光208の光軸中心に位置するように配置される。遮光部238−1−0は、戻り光208の光軸に対して斜めに配置されたときに、光軸方向から見て円形になるような楕円形状のパターンを持っている。
上述したように、遮光部238−1−0に入射した戻り光208のうちの一部の光は、遮光部238−1−0で反射して光センサ238−1−1に入射する。また、遮光部238−1−0に入射した戻り光208のうち、遮光部238−1−0の透過領域238−1−5及び238−1−6を通過した光は、結像面に配置されたプリズム238−1−11によって分割され、図3−2(a)に示すように、光センサ238−1−2及び238−1−3へそれぞれ入射する。光センサ238−1−2及び238−1−3は、それぞれ、XYスキャナ219−1の走査方向と同軸上に配置される。
各光センサ238−1−1〜238−1−3で得られた電圧信号は、情報処理装置100内のADボード405においてデジタル値に変換された後に、情報処理装置100において画像信号に変換される。光センサ238−1−1に入射した光に基づいて得られる被検眼Eの画像信号は、特定の狭い範囲に焦点を合わせた共焦点画像(上位概念で言えば、共焦点信号)となる。また、光センサ238−1−2及び238−1−3に入射した光に基づいて得られる被検眼Eの画像信号は、広い範囲に焦点を合わせた非共焦点画像(上位概念で言えば、非共焦点信号)となる。
なお、非共焦点信号を得るための光の分割法は、図3−2(d)に示す遮光部を用いた形態に限定されるものではない。例えば、図3−2(e)に示すように、4つの透過領域238−1−7、238−1−8、238−1−9及び238−1−10を有する遮光部を用いて、非共焦点信号を得るための光の4つに分割する形態を適用することも可能である。
また、共焦点信号及び非共焦点信号の受信方法は、図3−2(a)に示す形態に限定されるものではない。例えば、受光部238−1の内部に1つの光センサを設け、その光センサの手前に開口部(ピンホール)を配置した上で、当該開口部の径や位置や形状を調節することで、光センサにおいて共焦点信号及び非共焦点信号を受信するようにしてもよい。この場合、例えば、図3−2(b)に示すように開口部の径を小さく調節して光センサで共焦点信号を受信し、また、図3−2(c)に示すように開口部の径を大きく調節して光センサで非共焦点信号を受信するようにしてもよい。この際、開口部の径や移動量は、任意に設定することができ、例えば、図3−2(b)では開口部の径を1ADD(Airy Disc Diameter)程度、図3−2(c)では開口部の径を10ADD程度とし、また、移動量を6ADD程度に設定する。
本実施形態では、図3−2(a)(図3−2(a)の遮光部238−1−0の構造は図3−2(d))に示す受光部238−1を適用するため、非共焦点信号が2種類存在することになる。したがって、一方の非共焦点信号をRチャンネル画像の意味でDnr、他方の非共焦点信号をLチャンネル画像の意味でDnlと記載する。なお、非共焦点画像Dnと記載する場合には、Rチャンネルの画像である非共焦点画像Dnr及びLチャンネルの画像である非共焦点画像Dnlの両方を指すものとする。
≪広画角SLO部≫
次に、図3−1に示す広画角SLO部296について説明する。
広画角SLO部296は、補償光学系と参照光路を備えないことを除けば、基本的に補償光学SLO部295と同様の構成となっている。以下の説明においては、上述した補償光学SLO部295と重複する部分については説明を省略する。
まず、広画角SLO部296の全体について説明する。
光源201−2から出射した光は、レンズ235−11〜235−12、XYスキャナ219−2、ダイクロイックミラー270−1等を介して、観察対象(検査対象)である被検眼Eに導かれる。
次いで、光源201−2の周辺について説明する。
光源201−2は、補償光学SLO部295の光源201−1と同様にSLDである。光源201−2から出射される光の波長は910nm程度でバンド幅は10nm程度である。ここでは、補償光学SLO部295の光路と広画角SLO部296の光路とをダイクロイックミラー270−1を用いて分離するために、光源201−1の波長と光源201−2の波長とを異ならせている。
次いで、測定光206−2の光路について説明する。
光源201−2から出射された測定光206−2は、レンズ235−2、XYスキャナ219−2、ダイクロイックミラー270−1等を介して、観察対象(検査対象)である被検眼Eに導かれる。ここで、XYスキャナ219−2の構成要素であるXスキャナは、測定光206−2を紙面に平行な方向に走査するスキャナであり、ここでは共振型スキャナを用いている。このXスキャナの駆動周波数は、約3.9kHzである。また、XYスキャナ219−2の構成要素であるYスキャナは、測定光206−2を紙面に垂直な方向に走査するスキャナであり、ここではガルバノスキャナを用いている。このYスキャナの駆動波形はのこぎり波であり、駆動周波数は約32Hz、デューティ比は81%程度である。このYスキャナの駆動周波数は、広画角SLO部296により撮像される、上述した広画角画像のフレームレートを決定する重要なパラメータである。XYスキャナ219−2は、情報処理装置100からドライバ部280内の光スキャナ駆動ドライバ286を介して制御される。
ここで、測定光206−2のビーム径を1mm程度とするが、より高分解能な画像を取得するためにビーム径をより大径化してもよい。測定光206−2が被検眼Eに入射すると、眼底Erからの反射や散乱により戻り光208−2となり、ダイクロイックミラー270−1、レンズ235−1、XYスキャナ219−2、ビームスプリッタ258−2等を介して、受光部238−2に到達する。
≪本体電動ステージ部≫
以下に、図3−1に示す本体電動ステージ部297について説明する。
本体電動ステージ部297は、それに固定された補償光学SLO部295と広画角SLO部296を、3個の電動モーターを用いてx方向、y方向及びz方向に移動することが可能に構成されている。また、本体電動ステージ部297は、ドライバ部280内の本体電動ステージ駆動ドライバ285に接続されている。本体電動ステージ部297は、被検眼Eに対する位置合せ、即ちアライメントを行うために、情報処理装置100から本体電動ステージ駆動ドライバ285を介して制御される。
<情報処理装置のハードウェア構成>
次に、図1−1に示す情報処理装置100(更には、図2に示す情報処理装置100−1)のハードウェア構成について説明する。
図4は、本発明の実施形態を示し、図1−1に示す情報処理装置100のハードウェア構成の一例を示すブロック図である。
情報処理装置100は、図4に示すように、CPU401、RAM402、ROM403、外部記憶装置404、ADボード405、モニター406、キーボード407、マウス408、インターフェイス409、及び、バス410を有して構成されている。
CPU401は、例えば、ROM403或いは外部記憶装置404に記憶されたプログラムやデータや情報を用いて、当該情報処理装置100の動作を統括的に制御し、また、各種の処理を行う中央演算処理装置である。
RAM402は、ROM403或いは外部記憶装置404からロードされたプログラムやデータや情報を一時的に記憶するエリアを備えるとともに、CPU401が各種の処理を行うために必要とするワークエリアを備える。
ROM403は、変更を必要としないプログラムや各種のデータや各種の情報等を格納している。
外部記憶装置404は、例えば、オペレーティングシステム(OS)やCPU401が実行するプログラム、更には、情報処理装置100において既知としているデータや情報等を記憶している。なお、本実施形態においては、本発明の実施形態に係る処理を実行するためのプログラムは、外部記憶装置404に記憶されているものとするが、例えばROM403に記憶されている形態であっても適用可能である。
ADボード405は、図3−1に示す受光部238−1及び238−2で得られた電圧信号をデジタル値に変換する処理を行う。
モニター406は、例えばCPU401の制御に基づいて、各種の画像や各種の情報を表示する。
キーボード407及びマウス408は、当該情報処理装置100に備え付けられた入力デバイスである。
インターフェイス409は、例えば、当該情報処理装置100と外部装置(例えばSLO画像撮像装置200、データサーバ400、時相データ取得装置500)との間で行われる各種の情報や各種の信号等の送受信を司るものである。
バス410は、CPU401、RAM402、ROM403、外部記憶装置404、ADボード405、モニター406、キーボード407、マウス408及びインターフェイス409を相互に通信可能に接続する。
本実施形態に係る情報処理装置100の機能を実現するためのプログラムや当該プログラムを実行する際に用いられるデータ等は、外部記憶装置404に記憶されている。これらのプログラムやデータ等は、CPU401による制御のもと、バス410を通じて適宜RAM402に取り込まれ、CPU401によって実行される。
ここで、図4に示す情報処理装置100のハードウェア構成と、図2に示す情報処理装置100−1の機能構成との対応関係の一例について説明する。
例えば、図4に示すCPU401及び外部記憶装置404に記憶されているプログラム、並びに、インターフェイス409から、図2に示すデータ取得部110が構成されている。また、例えば、図4に示すRAM402から、図2に示す記憶部120が構成されている。また、例えば、図4に示すCPU401及び外部記憶装置404に記憶されているプログラム、並びに、ADボード405から、図2に示す制御部130が構成されている。また、例えば、図4に示すCPU401及び外部記憶装置404に記憶されているプログラム、並びに、キーボード407及びマウス408またはインターフェイス409から、図2に示す指示取得部140が構成されている。また、例えば、図4に示すモニター406から、図2に示す表示部150が構成されている。
(情報処理装置による情報処理方法)
図5−1は、本発明の第1の実施形態に係る情報処理装置100による情報処理方法の処理手順の一例を示すフローチャートである。図5−1に示すフローチャートの説明においては、図2に示す情報処理装置100−1の機能構成を用いて説明を行う。
<ステップS510>
まず、図5−1(a)のステップS510において、収差データ取得部113は、波面センサ255によって検出された収差データを取得する。そして、収差補正部131は、ツェルニケ多項式のデフォーカス成分以外の収差を補正し、電動ステージ駆動部133に対してデフォーカス成分が所定値Td未満となるように電動ステージ217、即ちフォーカスレンズ235−10を光軸方向に移動させる。被検眼Eの黄斑部付近では、視細胞の内節と外節との境界(IS/OSライン)の反射強度が強いため、収差補正を行った場合には、IS/OSライン付近に合焦される。
次いで、合焦位置特定部132は、収差補正時に共焦点データ取得部111によって取得された共焦点信号を用いて合焦した位置に所定の網膜形状に関する正常値データを加算して、被検眼Eの網膜血管に対する概略の合焦位置を特定する。具体的に、合焦位置特定部132は、収差補正処理に伴って合焦された位置に、データサーバ400(或いは記憶部120)から取得して視細胞層から網膜内層までの距離に関する正常値データを加算して、被検眼Eの網膜血管に対する概略の合焦位置を特定する。さらに、合焦位置特定部132は、非共焦点データ取得部112によって取得された非共焦点信号に基づいてコントラスト自動合焦処理を行い、被検眼Eの網膜血管に対する正確で詳細な合焦位置を特定する。このステップS510の詳細な処理手順については、図5−1(b)を用いて後述する。
<ステップS520>
図5−1(a)のステップS520に進むと、データ取得部110(具体的には共焦点データ取得部111及び非共焦点データ取得部112)は、ステップS510で特定された合焦位置での共焦点画像及び非共焦点画像を取得する。このステップS520の詳細な処理手順については、図5−1(c)を用いて後述する。
<ステップS530>
図5−1(a)のステップS530に進むと、演算部134が、ステップS520で取得された非共焦点画像間の演算処理を行った上で、表示制御部135は、取得された画像及び演算の結果生成された画像を表示部150に表示する。
本実施形態では、演算部134が非共焦点画像として、
i) Rチャンネル画像DnrとLチャンネル画像Dnlの加算平均画像((Dnr+Dnl)/2,図6(e))
ii) スプリット・ディテクタ(Split Detector)画像((Dnl−Dnr)/(Dnr+Dnl),図6(f))
を生成する。上述したi)及びii)の重ね合わせ画像を生成する際に心拍動による血管径の変化の影響を除去するため、制御部130は、取得・生成された各種の動画像の各フレームのうち、所定範囲の位相を持つ脈波信号に対応したフレームのみを選択してi)及びii)の重ね合わせ画像を生成する。制御部130は、ステップS520及びステップS530で取得・生成した共焦点画像及び非共焦点画像を、例えばデータサーバ400(或いは記憶部120)に保存する制御を行う。
<ステップS540>
図5−1(a)のステップS540に進むと、制御部130は、例えば指示取得部140で取得された指示に基づいて、本検査における画像取得が完了したか否かを判断する。この判断の結果、本検査における画像取得が完了していない場合には(S540/NO)、ステップS510に戻り、ステップS510以降の処理を行う。
一方、ステップS540の判断の結果、本検査における画像取得が完了した場合には(S540/YES)、図5−1(a)に示すフローチャートの処理を終了する。
<ステップS510の詳細な処理手順>
次に、図5−1(a)のステップS510における詳細な処理手順について説明する。
図5−1(b)は、図5−1(a)のステップS510における詳細な処理手順の一例を示すフローチャートである。
≪ステップS511≫
まず、図5−1(b)のステップS511において、合焦位置特定部132は、収差補正時に共焦点信号を用いて合焦された位置に対し、視細胞層(図6(i)のB5〜B6)と神経線維層(図6(i)のB1〜B2)との間の距離に関する正常値データを加算することで、被検眼Eの網膜血管に対する概略の合焦位置を特定する。ここで、正常値データは、当該取得位置においては150μmが好適であるが、被検眼Eの眼底Er上の位置によって100μm〜200μm程度の範囲で変動しうるものであり、任意の値を設定してもよい。
≪ステップS512≫
図5−1(b)のステップS512に進むと、合焦位置特定部132は、まず、ステップS511で特定された網膜血管に対する概略の合焦位置を中心として光軸方向に所定の範囲で合焦位置を変えながら非共焦点画像Dnを取得する。合焦位置を変える手段には、フォーカスレンズを動かす方法と収差補正部131に与えるデフォーカス成分のオフセット値を変える方法があるが、ここでは収差補正部131を用いて合焦位置を変えるものとする。次いで、合焦位置特定部132は、取得した非共焦点画像Dnに基づいてコントラスト自動合焦処理を行い、網膜血管に対する正確で詳細な合焦位置を特定する。本実施形態では、被検眼Eの各深度位置で取得された非共焦点画像Dnのコントラストを算出し、当該コントラスト値が最大となる深度位置を網膜血管に対する正確で詳細な合焦位置とする。
なお、本実施形態では、非共焦点画像DnとしてRチャンネル画像DnrとLチャンネル画像Dnlの加算平均画像((Dnr+Dnl)/2)を用いて、当該非共焦点画像におけるコントラストを算出する。コントラストとしては任意の式を用いることができ、本実施形態では、(最大輝度値−最小輝度値)/(最小輝度値+最大輝度値)とするが、これに限らず、例えば、(最大輝度値/最小輝度値)としてもよい。また、非共焦点画像の種類や、合焦に関する評価値はこれに限らず、任意の公知な画像や評価値を用いてもよい。例えば、非共焦点画像としてスプリット・ディテクタ画像((Dnl−Dnr)/(Dnr+Dnl))を生成し、当該スプリット・ディテクタ画像におけるエッジ強度が最大となる深度位置を網膜血管に対する合焦位置として特定してもよい。
<ステップS520の詳細な処理手順>
次に、図5−1(a)のS520における詳細な処理手順について説明する。
図5−1(c)は、図5−1(a)のS520における詳細な処理手順の一例を示すフローチャートである。
≪ステップS521≫
まず、図5−1(c)のステップS521において、データ取得部110は、ステップS510で特定された網膜血管に対する合焦位置に基づき、少なくとも、非共焦点データ取得部112で非共焦点画像Dnkを取得し、時相データ取得部114で時相データを取得する。具体的に、本実施形態では、データ取得部110は、広画角画像Dl、共焦点画像Dcj、非共焦点画像Dnr及びDnl、時相データを取得する。
より詳細に、データ取得部110は、SLO画像撮像装置200に対して、広画角画像Dl、共焦点画像Dcj、非共焦点画像Dnrk及びDnlk、対応する固視標位置Fl及びFcnの取得を要求する。SLO画像撮像装置200では、当該取得要求に応じて、広画角画像Dl、共焦点画像Dcjや非共焦点画像Dnrk及びDnlk、対応する固視標位置Fl及びFcnを取得し、これらを情報処理装置100に送信する。データ取得部110は、SLO画像撮像装置200からLAN300を介して、広画角画像Dl、共焦点画像Dcj、非共焦点画像Dnrk及びDnlk、固視標位置Fl及びFcnを受信し、これらを記憶部120に格納する。また、時相データ取得部114は、時相データ取得装置500に対して、生体信号に関する時相データPiの取得を要求する。本実施形態では、時相データ取得装置500として脈波計を適用し、被検者の耳垂(耳たぶ)から脈波データを時相データPiとして取得する。ここで脈波データは、一方の軸に取得時刻、他方の軸に脈波計が計測した脈波信号値を持つ点列として表現される。時相データ取得装置500は、当該取得要求に応じて、対応する時相データPiを取得して情報処理装置100に送信するので、時相データ取得部114は、時相データ取得装置500からLAN300を介して当該時相データPiを受信する。そして、時相データ取得部114は、受信した時相データPiを記憶部120に格納する。
ここで、時相データ取得装置500が取得する時相データPiのある位相に合わせて共焦点データ取得部111または非共焦点データ取得部112が画像を取得開始する場合と、画像の取得要求後直ちに時相データPiと画像取得を同時に開始する場合が考えられる。本実施形態では、画像取得要求後直ちに時相データPiと画像取得を開始するものとする。この場合、時相データ取得部114は、各画像の時相データPiを取得し、各々の時相データPiの極値を検出して、心拍動の周期及び心時相の相対値(relative cardiac cycle)を算出する。なお、心時相の相対値は、心拍動の周期を1とした場合に、0から1までの浮動小数点数で表わされる相対値である。
また、図6(c)に網膜血管を撮影した場合の共焦点画像Dcの一例を示し、図6(d)に網膜血管を撮影した場合の非共焦点画像Dnrの一例を示す。図6(c)に示す共焦点画像Dcでは背景の神経線維層の反射が強く、背景部分のノイズにより位置合わせが難しくなりやすい。また、Rチャンネル画像である非共焦点画像Dnrでは、右側の血管壁のコントラストが高くなる。一方、Lチャンネル画像である非共焦点画像Dnlでは、左側の血管壁のコントラストが高くなる。
≪ステップS522≫
図5−1(c)のステップS522に進むと、制御部130は、取得された画像のフレーム間位置合わせを行う。次いで、制御部130は、各フレームの輝度値やノイズ、基準フレームとの間の変位量に基づいて例外フレームを判定する。
具体的に、まず、広画角画像Dl及び非共焦点画像Dnrにおけるフレーム間位置合わせを行い、当該フレーム間位置合わせのパラメータ値を各々非共焦点画像Dnl及び共焦点画像Dcjに対しても適用する。なお、異なる画像種間でのフレーム間位置合わせパラメータ値の適用順序はこれに限定されない。例えば非共焦点画像Dnlに対して算出したフレーム間位置合わせパラメータ値を非共焦点画像Dnr及び共焦点画像Dcjに適用する場合や、共焦点画像Dcjに対して算出したフレーム間位置合わせパラメータ値を非共焦点画像Dnr及びDnlに適用してもよい。
具体的なフレーム間位置合わせ法として、
i) 制御部130は、位置合わせの基準となる基準フレームを設定する。本実施形態では、最もフレーム番号の小さいフレームを基準フレームとする。なお、基準フレームの設定方法はこれに限定されるものではなく、任意の設定方法を用いてもよい。
ii) 制御部130は、フレーム間の大まかな位置の対応付け(粗位置合わせ)を行う。ここでは任意の位置合わせ手法を利用できるが、本実施形態では、画像間類似度評価関数として相関係数、座標変換手法としてAffine変換を用いて粗位置合わせを行う。
iii) 制御部130は、フレーム間の大まかな位置の対応関係のデータに基づいて精密位置合わせを行う。
本実施形態では、上述したii)で得られた粗位置合わせ済み動画像に対して、非剛体位置合わせ手法の一種であるFFD(Free Form Deformation)法を用いてフレーム間の精密位置合わせを行う。なお、精密位置合わせの手法は、これに限らず、任意の位置合わせ手法を用いてもよい。
次いで、制御部130は、広画角画像Dlと高倍率共焦点画像Dcjとの位置合わせを行い、広画角画像Dl上の高倍率共焦点画像Dcjの相対位置を求める。また、制御部130は、記憶部120から高倍率共焦点画像Dcjの撮影時に用いた固視標位置Fcnを取得し、広画角画像Dlと高倍率共焦点画像Dcjとの位置合わせにおける位置合わせパラメータの探索初期点とする。そして、制御部130は、当該パラメータ値の組み合わせを変化させながら、広画角画像Dlと高倍率共焦点画像Dcjとの位置合わせを行う。また、制御部130は、広画角画像Dlと高倍率共焦点画像Dcjとの類似度が最も高い位置合わせパラメータ値の組み合わせを、広画角画像Dlに対する高倍率共焦点画像Dcjの相対位置として決定する。位置合わせ手法はこれに限らず、任意の位置合わせ手法を用いてもよい。
また、ステップS521において中間倍率の画像が取得されている場合には、より低倍率な画像から順に位置合わせを行う。例えば、高倍率共焦点画像Dc1mと中間倍率共焦点画像Dc2oが取得されている場合には、まず、広画角画像Dlと中間倍率共焦点画像Dc2oとの間で位置合わせを行い、次いで、中間倍率共焦点画像Dc2oと高倍率共焦点画像Dc1mとの間で位置合わせを行う。
さらに、広画角画像Dlと高倍率共焦点画像Dcjに対して決定された画像貼り合わせパラメータ値を、非共焦点画像(Dnrk,Dnlk)の貼り合わせに対しても適用する。これにより、広画角画像Dl上の高倍率非共焦点画像Dnrk及びDnlkの相対位置が各々決定される。
≪ステップS523≫
図5−1(c)のステップS523に進むと、制御部130は、画像の再取得が必要か否かを判断する。
まず、制御部130は、取得された動画像の各フレームに対して、
a) 動画像の基準フレームに対する並進移動量が閾値Ttr以上の場合
b) 各フレームの平均輝度値が閾値Tfi未満の場合
c) 各フレームのS/N(SN比)が閾値Tsn未満の場合
のいずれか1つを満たす場合に、当該フレームを例外フレームと判定する。
動画像として観察する場合には、例外フレームが途中に入らずにできるだけ長く連続して観察できる方が望ましく、また重ね合わせ画像を生成する場合には、重ね合わせ可能な画像が一定枚数以上必要である。そこで、本実施形態では、各動画像における例外フレームの発生間隔の最大値が閾値Te未満の場合や、正常フレームの総数が閾値Ts未満の場合に、制御部130が当該画像の再取得が必要であると判断する。なお、画像の再取得の要否の判断手法はこれに限定されるものではなく、任意の公知の判断方法を用いてもよい。
そして、ステップS523の判断の結果、画像の再取得が必要である場合には(S523/YES)、制御部130はデータ取得部110に対して画像の再取得を要求し、ステップS521に戻る。
一方、ステップS523の判断の結果、画像の再取得が不要である場合には(S523/NO)、図5−1(a)のステップS520の処理を終了して、図5−1(a)のステップS530に進む。
なお、本実施形態においては、撮影対象として、被検眼Eの網膜血管(具体的には被検眼Eの網膜内層における血管)を適用した例を想定しているが、本発明においてはこれに限定されるものではない。例えば、撮影対象として、被検眼Eの網膜における毛細血管等を適用した形態も、本発明に含まれる。
本実施形態に係る情報処理装置100では、収差補正時に共焦点信号を用いて合焦した位置に所定の網膜形状に関する正常値を加算して概略の合焦位置を特定した上で、非共焦点信号に基づいて被検眼Eの網膜血管等に対する正確で詳細な合焦位置を特定している。
かかる構成によれば、被検眼の網膜血管等に対してロバスト且つ高精度に合焦を行うことが可能となる。
[第2の実施形態]
本実施形態に係る情報処理装置は、被検眼の共焦点信号と非共焦点信号を同時に得る装置を用いて以下の処理を行う。即ち、本実施形態に係る情報処理装置は、合焦位置を変えながら取得した共焦点信号のピーク位置に基づいて概略の合焦位置を特定した上で、少なくとも非共焦点信号に基づいてコントラスト自動合焦処理を行って正確で詳細な合焦位置を特定する。
具体的には、図3−1に示すような、共焦点画像Dcjと非共焦点画像Dnkを同時に取得するSLO画像撮像装置200で被検眼Eの網膜の深さ方向に合焦位置を網膜の外層から内層まで一定間隔で変えながら共焦点画像を取得する。そして、取得した共焦点画像の平均値(平均輝度値)を算出する。そして、各深度位置において算出した当該平均輝度値のうちの値の大きい順に所定の数の極大値を選択し、最も網膜内層側にある極大値に対応する深度位置を網膜血管等に対する概略の合焦位置として特定する。さらに、当該概略の合焦位置を中心として所定の範囲の深度位置において取得した非共焦点画像のコントラスト自動合焦処理により、網膜血管等に対する合焦位置を特定する場合について説明する。
第2の実施形態に係る情報処理システムの概略構成は、図1−1に示す第1の実施形態に係る情報処理システム10−1の概略構成と同様であるため、その説明は省略する。また、第2の実施形態に係る情報処理装置の機能構成は、図2に示す第1の実施形態に係る情報処理装置100−1の機能構成と同様であるため、その説明は省略する。また、第2の実施形態に係るSLO画像撮像装置の概略構成は、図3−1に示す第1の実施形態に係るSLO画像撮像装置200の概略構成と同様であるため、その説明は省略する。また、第2の実施形態に係る図3−1の受光部238−1の概略構成は、図3−2に示す第1の実施形態に係る受光部238−1の概略構成と同様であるため、その説明は省略する。また、第2の実施形態に係る情報処理装置のハードウェア構成は、図4に示す情報処理装置100のハードウェア構成と同様であるため、その説明は省略する。以下、上述した第1の実施形態と異なる部分について説明を行う。
(情報処理装置による情報処理方法)
第2の実施形態に係る情報処理装置100による情報処理方法の処理手順は、図5−1(a)に示す第1の実施形態に係る情報処理装置100による情報処理方法の処理手順と基本的には同じであるが、ステップS510の詳細な処理手順が異なっている。以下、第2の実施形態に係る情報処理装置100による、図5−1(a)のステップS510の処理について説明を行う。
<ステップS510>
まず、合焦位置特定部132は、合焦位置を深度方向に移動させながら共焦点画像を取得するよう指示し、共焦点データ取得部111が当該共焦点画像を取得する。次いで、合焦位置特定部132は、各共焦点画像(フレーム)の平均輝度値を各深度位置で算出して当該平均輝度値の極大値を値が大きい順に所定の数だけ取得し、最も網膜内層側の極大値に対応する深度位置を網膜血管に対する概略の合焦位置として特定する。さらに、合焦位置特定部132は、当該概略の合焦位置を中心として所定の深度範囲で取得した非共焦点信号によりコントラスト自動合焦処理を行い、網膜血管に対する詳細な合焦位置を特定する。以下、第2の実施形態における、図5−1(a)のS510における詳細な処理手順について説明する。
<ステップS510の詳細な処理手順>
図5−2は、本発明の第2の実施形態を示し、図5−1(a)のステップS510における詳細な処理手順の一例を示すフローチャートである。
≪ステップS513≫
まず、図5−2のステップS513において、合焦位置特定部132は、共焦点データ取得部111に対して合焦位置を光軸方向(深度方向)に移動させながら共焦点画像を取得するように指示する。これを受けて、共焦点データ取得部111は、SLO画像撮像装置200に対して、当該深度方向に異なる位置での共焦点画像の取得を要求する。そして、SLO画像撮像装置200は、当該取得要求に応じた共焦点画像を取得して共焦点データ取得部111に送信し、共焦点データ取得部111は、受信した共焦点画像を記憶部120に保存する。この際、共焦点データ取得部111は、当該取得要求に基づいて深度方向の各位置における共焦点画像を取得して輝度平均値を算出する。なお、ここで取得する共焦点画像は、必ずしも撮影対象の画像と同一撮像条件である必要はない。
本実施形態では、合焦位置特定用に取得する共焦点画像は、撮影中心が取得対象画像と同一位置で、画角が半分の共焦点画像とする。なお、これに限らず、各深度位置で任意の公知の走査法を実施して共焦点信号を取得してよい。例えば、より高速に概略の合焦位置を特定するために各深度位置で共焦点信号をエリアスキャンではなくラインスキャンにより取得してもよい。
≪ステップS514≫
図5−2のステップS514に進むと、合焦位置特定部132は、光軸方向、即ち網膜の深度方向の各位置で取得した共焦点画像(共焦点信号)の輝度プロファイルに基づいて概略の合焦位置を特定する。
具体的に、合焦位置特定部132は、各共焦点画像の輝度値に関する統計値、例えば共焦点画像の平均輝度値を算出して、当該平均輝度値を一方の軸に、深度方向の位置を他方の軸にとったグラフを生成する(図6(i)右側)。そして、合焦位置特定部132は、生成したグラフ上のピーク位置をピーク値の大きい順に所定数(本実施形態では図6(i)のZ1とZ2の2点)取得して網膜内層側のピーク位置Z1に相当する深度位置を網膜神経線維層に対応する深度位置とみなす。そして、合焦位置特定部132は、この深度位置を網膜血管に対する概略の合焦位置として特定する。
なお、本実施形態では、異なる深度位置で取得した共焦点信号のピーク位置で概略の合焦位置を特定したが、本発明はこれに限定されるものではない。例えば、合焦位置特定部132が異なる深度位置で非共焦点信号を取得するよう指示し、取得された非共焦点信号の主要ピーク位置のうち網膜内層側にあるピーク位置に対応する深度位置を網膜血管に対する概略の合焦位置として特定する場合も本発明に含まれる。
≪ステップS515≫
図5−2のステップS515に進むと、合焦位置特定部132は、取得した非共焦点信号に基づいてコントラスト自動合焦処理を行い、網膜血管に対する正確で詳細な合焦位置を特定する。具体的なコントラスト自動合焦処理の内容については、上述した第1の実施形態におけるステップS512の処理と同様であるため、その説明は省略する。
なお、本実施形態においては、撮影対象として、被検眼Eの網膜血管(具体的には被検眼Eの網膜内層における血管)を適用した例を想定しているが、本発明においてはこれに限定されるものではない。例えば、撮影対象として、被検眼Eの網膜における毛細血管等を適用した形態も、本発明に含まれる。
本実施形態に係る情報処理装置100では、合焦位置を変えながら取得した共焦点信号のピーク位置に基づいて網膜血管等に対する概略の合焦位置を特定した上で、非共焦点信号に基づいてコントラスト自動合焦処理を行って正確で詳細な合焦位置を特定している。
かかる構成によれば、被検眼の網膜血管等に対してロバスト且つ高精度に合焦を行うことが可能となる。
[第3の実施形態]
本実施形態に係る情報処理装置は、平面方向の異なる複数の位置で共焦点画像及び非共焦点画像を取得する場合に各画像取得位置で特定した合焦位置を保存する。また、概略の合焦時に取得した信号値に基づいて詳細な合焦処理の要否を判定し、必要と判定した場合には詳細な合焦処理時に用いる信号の種類を特定した上で、当該特定した種類の信号を用いて詳細な合焦位置を特定する。
具体的には、黄斑部内の複数の撮影位置で共焦点画像を取得し、当該共焦点画像に占める低輝度領域の面積の大小に基づいて制御部130が詳細な合焦処理の要否を判定する。さらに、必要と判定された場合には、詳細な合焦処理に用いる信号の種類を非共焦点画像の1種であるスプリット・ディテクタ画像に特定した上で、当該特定した種類の信号に基づいて詳細な合焦位置を特定する。ここで、共焦点画像の低輝度領域としては、視細胞欠損が生じている網膜外層が挙げられる。視細胞欠損が広範囲に生じている領域に対して共焦点画像を取得する場合には、詳細な合焦位置を特定するのが難しい。一方で、視細胞欠損が広範囲に生じている場合でも、非共焦点画像上では視細胞が観察可能な場合があることから、視細胞欠損が広範囲に生じている場合には非共焦点画像に基づいて詳細な合焦位置を特定することが望ましい。さらに、非共焦点画像を用いても合焦位置を特定することが難しい画像取得位置については、保存されている合焦位置であって当該画像取得位置に対して近傍に位置する画像取得位置における合焦位置を内挿(もしくは外挿)することにより合焦位置を特定する。
以下、この例について説明を行う。
(情報処理システムの概略構成)
図1−2は、本発明の第3の実施形態に係る情報処理装置100を含む情報処理システム10−3の概略構成の一例を示す図である。情報処理システム10−3は、図1−2に示すように、情報処理装置100、SLO画像撮像装置200、LAN300、及び、データサーバ400を有して構成されている。即ち、第3の実施形態に係る情報処理システム10−3は、図1−1に示す第1の実施形態に係る情報処理システム10−1に対して、時相データ取得装置500が構成されていない点で異なっている。
情報処理装置100は、図1−2に示すように、SLO画像撮像装置200やデータサーバ400と、LAN300を介して、通信可能に接続されている。
SLO画像撮像装置200は、被検眼の広画角画像Dlや、当該広画角画像よりも高倍率の画像である共焦点画像Dcjと非共焦点画像Dnrk及びDnlk等を撮像する装置である。SLO画像撮像装置200は、広画角画像Dl、共焦点画像Dcj並びに非共焦点画像Dnrk及びDnlk、更には、その撮影時に用いた固視標位置Fl,Fcnの情報等を、情報処理装置100及びデータサーバ400に送信する。
データサーバ400は、被検眼の広画角画像Dl、共焦点画像Dcj並びに非共焦点画像Dnrk及びDnlk、並びに、その撮影時に用いた固視標位置Fl,Fcnの情報のような画像取得条件データ以外に、被検眼の画像特徴情報も保持する。ここで、被検眼の画像特徴情報としては、任意の情報を保存することができるが、本実施形態では、視細胞欠損が生じている領域情報を扱う。情報処理装置100が出力する被検眼の画像特徴情報は、このデータサーバ400に保存される。また、データサーバ400は、情報処理装置100からの要求に応じて、被検眼の画像特徴情報を情報処理装置100に送信する。
LAN300は、情報処理装置100、SLO画像撮像装置200、及び、データサーバ400を、相互に通信可能に接続する。
<情報処理装置の機能構成>
図7は、本発明の第3の実施形態を示し、図1−2に示す情報処理装置100の機能構成の一例を示すブロック図である。ここで、図7においては、第3の実施形態に係る情報処理装置100を「情報処理装置100−3」として記載している。ここで、図7において、図2に示す構成と同様の構成については同じ符号を付している。
情報処理装置100−3は、図7に示すように、データ取得部110、記憶部120、制御部130、指示取得部140、及び、表示部150を有して構成されている。
データ取得部110は、例えば、図1−2に示すSLO画像撮像装置200及びデータサーバ400等から、各種のデータを取得する。また、データ取得部110は、図7に示すように、共焦点データ取得部111、非共焦点データ取得部112、収差データ取得部113、及び、撮像条件データ取得部115を有して構成されている。このデータ取得部110の内部構成については、図8のフローチャートの説明とともに後述する。
記憶部120は、各種のデータや各種の情報等を記憶する。
制御部130は、情報処理装置100−3における動作を統括的に制御する。また、制御部130は、図7に示すように、収差補正部131、合焦位置特定部132、電動ステージ駆動部133、演算部134、表示制御部135、及び、保存部136を有して構成されている。この制御部130の内部構成については、図8のフローチャートの説明とともに後述する。
指示取得部140は、例えば検者から入力された指示を取得し、これを制御部130に出力する。
表示部150は、制御部130(具体的には表示制御部135)の制御に基づいて、各種の画像や各種の情報等を表示する。
第3の実施形態の情報処理装置100−3は、図2に示す第1の実施形態の情報処理装置100−1に対して、データ取得部110内に時相データ取得部114に替えて撮像条件データ取得部115を構成し、制御部130内に保存部136を追加した点が異なる。
また、第3の実施形態に係るSLO画像撮像装置の概略構成は、図3−1に示す第1の実施形態に係るSLO画像撮像装置200の概略構成と同様であるため、その説明は省略する。また、第3の実施形態に係る図3−1の受光部238−1の概略構成は、図3−2に示す第1の実施形態に係る受光部238−1の概略構成と同様であるため、その説明は省略する。また、第3の実施形態に係る情報処理装置のハードウェア構成は、図4に示す情報処理装置100のハードウェア構成と同様であるため、その説明は省略する。
(情報処理装置による情報処理方法)
図8は、本発明の第3の実施形態に係る情報処理装置100による情報処理方法の処理手順の一例を示すフローチャートである。図8に示すフローチャートの説明においては、図7に示す情報処理装置100−3の機能構成を用いて説明を行う。
<ステップS810>
まず、図8(a)のステップS810において、収差データ取得部113は、波面センサ255によって検出された収差データを取得する。そして、収差補正部131は、ツェルニケ多項式のデフォーカス成分以外の収差を補正し、制御部130は、当該デフォーカス成分が略0になるように電動ステージ駆動部133に対して光軸方向への移動を指示する。これを受けて、電動ステージ駆動部133は、フォーカスレンズ235−10の位置を制御部130から指示された距離だけ光軸方向に移動させて、当該デフォーカス成分を略0にする。被検眼Eの黄斑部においては、視細胞の内節と外節との境界からの反射が最も強いことから、合焦位置特定部132は、本ステップでの処理によって設定されたフォーカスレンズ235−10の位置に基づいて視細胞層に対する概略の合焦位置を特定することになる。
<ステップS820>
図8(a)のステップS820に進むと、まず、制御部130は、共焦点データ取得部111に対して、当該(面内方向の)画像取得位置における共焦点画像を取得するように要求する。これを受けて、共焦点データ取得部111は、SLO画像撮像装置200から当該共焦点画像を取得する。
一般に、視細胞は外節から欠損し始め、次に内節も欠損して最終的に死滅するとされている。この点、上述した非特許文献2によると、共焦点画像Dcは視細胞の外節の有無、非共焦点画像Dnkは視細胞の内節及び外節の有無を観察できる。したがって、外節のみ欠損していて内節が健全な視細胞を撮像した場合には、共焦点画像上では低輝度な領域として観察される(図6(g))ものの、非共焦点画像の差分画像であるスプリット・ディテクタ画像上では視細胞が観察できる(図6(h))。
そして、制御部130は、当該(面内方向の)画像取得位置における共焦点画像上での輝度値を参照して、平均輝度値がTi未満の領域の面積がTa未満である場合には、視細胞層に対する合焦位置を特定したとみなす。即ち、この場合、制御部130は、当該共焦点画像に対する詳細な合焦処理は不要と判断して(S820/NO)、ステップS840に進む。
一方、制御部130は、当該(面内方向の)画像取得位置における共焦点画像上での輝度値を参照して、平均輝度値がTi未満の領域の面積がTa以上ある場合には、非共焦点信号の1種であるスプリット・ディテクタ信号を用いた詳細な合焦位置の探索が必要であると判断して(S820/YES)、ステップS830に進む。ここで、本実施形態では、図6(j)の9箇所ある画像取得位置Dc1〜Dc9のうち、画像取得位置Dc5のみがスプリット・ディテクタ信号を用いた合焦位置の探索が必要であると判断されるものとする。
<ステップS830>
図8(a)のステップS830に進むと、合焦位置特定部132は、ステップS810で取得された概略の合焦位置を中心に所定の深度範囲で非共焦点画像によるコントラスト自動合焦処理を行って、視細胞層に対する正確で詳細な合焦位置を特定する。具体的な非共焦点画像によるコントラスト自動合焦処理は、第1の実施形態における図5−1(b)のステップS512の場合と同様であるため、その説明は省略する。
<ステップS840>
図8(a)のステップS840に進むと、合焦位置特定部132は、S820で不要と判断された場合にはS810で得られた合焦位置、S820で必要と判断された場合にはS830で得られた合焦位置での共焦点画像及び非共焦点画像の合焦度を算出する。ここで、本実施形態では、合焦度として画像のコントラストを算出する。また、コントラストとしては任意の式を用いて算出することができるが、本実施形態では、(最大輝度値−最小輝度値)/(最小輝度値+最大輝度値)の式を用いて算出するものとする。なお、この形態に限らず、例えば、(最大輝度値/最小輝度値)の式を用いて算出してもよい。また、合焦度としては、画像のコントラストに限らず、任意の公知の評価値、例えばエッジ強度を合焦度として設定してよい。
そして、合焦位置特定部132は、共焦点画像の合焦度がTc以上であるか、または、非共焦点画像の合焦度がTn以上である場合には、合焦位置が特定できたと判断する。即ち、この場合、合焦位置特定部132は、合焦位置が特定できたと判断し(S840/YES)、保存部136が当該面内位置及び特定された合焦位置の情報を記憶部120等に保存し、ステップS850に進む。
一方、合焦位置特定部132は、共焦点画像の合焦度がTc未満かつ非共焦点画像の合焦度がTn未満である場合には、合焦位置が特定できなかったと判断する。即ち、この場合、合焦位置特定部132は、合焦位置が特定できなかったと判断し(S840/NO)、ステップS860に進む。
なお、合焦位置の特定における可否判断方法は、上述した方法に限らず、任意の方法を用いてもよい。
<ステップS850>
図8(a)のステップS850に進むと、制御部130は、合焦位置特定部132で特定された合焦位置で共焦点画像Dcj及び非共焦点画像Dnrk及びDnlkを取得する制御を行う。このステップS850の詳細な処理手順については、図8(b)を用いて後述する。
<ステップS860>
図8(a)のステップS860に進むと、制御部130は、当該検査において予定している全画像取得位置での合焦位置の特定処理及び画像取得処理が完了したか否かを判断する。この判断の結果、当該検査において予定している全画像取得位置での合焦位置の特定処理及び画像取得処理が完了していない場合には(S860/NO)、ステップS810に戻り、未だ処理が完了していない画像取得位置について、ステップS810以降の処理を行う。一方、ステップS860の判断の結果、当該検査において予定している全画像取得位置での合焦位置の特定処理及び画像取得処理が完了している場合には(S860/YES)、ステップS870に進む。
<ステップS870>
図8(a)のステップS870に進むと、合焦位置特定部132は、当該検査において予定している画像取得位置において合焦位置が未特定の位置があるか否かを判断する。この判断の結果、当該検査において予定している画像取得位置において合焦位置が未特定の位置がない場合には(S870/NO)、図8(a)に示すフローチャートの処理を終了する。一方、ステップS870の判断の結果、当該検査において予定している画像取得位置において合焦位置が未特定の位置がある場合には(S870/YES)、ステップS880に進む。
<ステップS880>
図8(a)のステップS880に進むと、制御部130は、ステップS870で合焦位置が未特定と判定された面内位置に対して、記憶部120から当該面内位置における近傍の画像取得位置において特定された合焦位置の情報を取得する。
なお、取得済みの合焦位置の情報の取得方法についてはこれに限らない。例えば、撮像条件データ取得部115が、データサーバ400に対して同一被検者の過去検査での取得済画像に関する合焦位置の有無を問い合わせ、合焦位置が存在した場合に、データサーバ400から最も検査日時が近い検査における取得済画像の合焦位置の情報を取得して記憶部120に保存してもよい。
次いで、合焦位置特定部132は、取得した近傍位置での合焦位置を内挿(或いは、合焦位置未特定の面内位置から見て片側の位置における合焦位置しか保存していない場合には外挿)して、合焦位置未特定の面内位置における合焦位置を特定する。
本実施形態では、上述したように、図6(j)の画像取得位置Dc5において合焦位置が未特定であるので、画像取得位置Dc4と画像取得位置Dc6(或いは、Dc2とDc8、Dc1とDc9、Dc3とDc7)の合焦位置を線形補間することにより特定する。
ここで、合焦位置の特定方法はこれに限らず、近傍の面内位置における合焦位置を用いて特定する方法であれば、任意の方法を用いて特定してもよい。例えば、画像取得位置Dc1、Dc2、Dc3、Dc4、Dc6、Dc7、Dc8及びDc9(或いは、Dc2、Dc4、Dc6及びDc8)の合焦位置の平均値により特定してもよい。さらには、過去検査における略同一位置での合焦位置を取得している場合には、当該過去検査における略同一位置での合焦位置を当該位置での合焦位置として特定してもよい。この場合、例えば、過去に特定された合焦位置を保存しておき、合焦位置特定部132は、当該保存されている合焦位置に基づいて被検眼Eの概略の合焦位置を特定した上で、非共焦点信号に基づいて被検眼Eの詳細な合焦位置を特定する形態も、本発明に含まれる。
<ステップS890>
図8(a)のステップS890に進むと、制御部130は、ステップS870で合焦位置が未特定とされた面内位置において、ステップS880で特定された合焦位置を用いて、共焦点画像Dcj並びに非共焦点画像Dnrk及びDnlkを取得する。このステップS890の詳細な処理手順については、図8(b)を用いて後述する。そして、ステップS890の処理が終了すると、図8(a)に示すフローチャートの処理を終了する。
<ステップS850及びステップS890の詳細な処理手順>
次に、図8(a)のステップS850及びステップS890における詳細な処理手順について説明する。
図8(b)は、図8(a)のステップS850及びステップS890における詳細な処理手順の一例を示すフローチャートである。
≪ステップS851≫
まず、図8(b)のステップS851において、データ取得部110は、ステップS810もしくはステップS830、または、ステップS880で特定された合焦位置に基づき、少なくとも、共焦点画像Dcj及び非焦点画像Dnkを取得する。具体的に、本実施形態では、データ取得部110は、広画角画像Dlと共焦点画像Dcj、非共焦点画像Dnrk及びDnlkを取得する。
≪ステップS852≫
図8(b)のステップS852に進むと、制御部130は、取得された画像のフレーム間位置合わせを行う。次いで、制御部130は、各フレームの輝度値やS/N(SN比)、基準フレームとの間の変位量に基づいて例外フレームを判定する。次いで、制御部130は、広画角画像Dlと共焦点画像Dcjとの位置合わせを行い、広画角画像Dl上の共焦点画像Dcjの相対位置を求める。ここで、具体的なフレーム間位置合わせや画像貼り合わせ処理の内容については、上述した第1及び第2の実施形態の場合と同様であるため、説明は省略する。
≪ステップS853≫
図8(b)のステップS853に進むと、制御部130は、画像の再取得が必要か否かを判断する。ここで、具体的な画像の再取得要否判断の内容については、第1の実施形態における図5−1(c)のステップS523と同様であるため、説明は省略する。
そして、ステップS853の判断の結果、画像の再取得が必要である場合には(S853/YES)、制御部130はデータ取得部110に対して画像の再取得を要求し、ステップS851に戻る。
一方、ステップS853の判断の結果、画像の再取得が不要である場合には(S853/NO)、ステップS854に進む。
≪ステップS854≫
図8(b)のステップS854に進むと、保存部136は、検査日時や被検眼Eを同定する情報と、ステップS851で取得された画像やステップS852で生成した画像(広画角画像Dl、共焦点画像Dc、非共焦点画像Dnr及びDnl)とを関連付けて保存する処理を行う。具体的に、保存部136は、これらの情報等を関連付けて保存するために、これらの情報等をデータサーバ400に送信する処理を行う。さらに、保存部136は、各画像の取得時に特定された合焦位置の情報を記憶部120に保存する処理を行うとともに、当該特定された合焦位置の情報をデータサーバ400に送信する処理を行う。
なお、本実施形態では、制御部130が収差補正時に特定した合焦位置で取得した共焦点画像における低輝度領域の面積に基づいて、非共焦点信号の1種であるスプリット・ディテクタ信号に基づくコントラスト自動合焦処理が必要と判断して当該スプリット・ディテクタ信号に基づいて詳細な合焦位置を特定する場合について説明したが、本発明はこれに限定されない。例えば、収差補正時に特定した合焦位置で共焦点画像及び非共焦点画像を取得し、両画像に対して算出した合焦度の線形和の値Lが、
i) L≧T2の場合には、制御部130は詳細な合焦処理は不要と判断してステップS840に進み、収差補正時に特定した合焦位置で合焦位置を特定したと判断し、ステップS850に進む
ii) T1≦L<T2の場合には、制御部130は詳細な合焦処理が必要と判断してステップS830に進み、非共焦点信号を用いた合焦位置の探索を行う
iii) L<T1の場合には、制御部130は詳細な合焦処理は不要と判断してステップS840に進み、合焦位置の特定が難しいと判断した後、ステップS860に進む(当該面内位置では、近傍の取得位置における合焦位置の内挿によって合焦位置を特定する)
ように構成してもよい。
また、本実施形態では、概略の合焦位置を画像取得位置における共焦点信号もしくは非共焦点信号に基づいて特定するよう構成したが、本発明はこれに限定されるものではない。例えば、処理対象の画像取得位置の(面内方向に関して)近傍の画像取得位置における合焦位置が記憶部120に保存されている場合に、当該近傍の画像取得位置における合焦位置を当該画像取得位置における概略の合焦位置として特定する場合も本発明に含まれる。
また、本実施形態では、概略の合焦時に取得した信号値に基づいて詳細な合焦処理の要否を判定する場合の基準として共焦点画像内の低輝度領域の面積を用いたが、信号値に基づく基準であれば任意の公知の基準を用いてよい。例えば、画像の輝度統計値(平均値、中央値、最低値等)を用いてもよいし、画像全体の面積に対する低輝度領域の面積の割合を用いてもよい。
本実施形態に係る情報処理装置100では、平面方向の異なる複数の位置で共焦点画像及び非共焦点画像を取得する場合に各画像取得位置で特定した合焦位置を保存しておく。そして、共焦点画像の低輝度領域の面積に基づいて詳細な合焦処理の要否を判定し、必要と判定した場合には合焦処理に用いる信号の種類を非共焦点画像と特定した上で、当該種類の非共焦点画像を用いて詳細な合焦位置を特定している。ここで、共焦点画像の低輝度領域としては、視細胞欠損が生じている網膜外層が挙げられる。仮に非共焦点画像を用いても合焦位置を特定することが難しい画像取得位置については、保存されている合焦位置であって当該画像取得位置に対して近傍に位置する画像取得位置における合焦位置を内挿(もしくは外挿)することにより合焦位置を特定している。
かかる構成によれば、共焦点画像上で低輝度な視細胞欠損が生じている網膜外層等に対してロバスト且つ高精度に合焦を行うことが可能となる。
[その他の実施形態]
なお、上述した本発明の各実施形態では、共焦点画像と非共焦点画像を略同時に取得する装置を用いて合焦位置を特定する構成としたが、本発明はこれに限定されない。例えば、受光部238−1の内部の光センサにおける手前の開口部(ピンホール)の径や位置が可変なSLO画像撮像装置を用いて共焦点画像Dcを撮影したり、大きな径のピンホールを網膜血管走行に対して右側または左側に移動して非共焦点画像Dnを撮影したりすることで合焦位置を特定する場合も、本発明に含まれる。
また、上述した本発明の実施形態では、データ取得部110が取得した信号の値に基づいて合焦に用いる信号の種類を特定していたが、本発明はこれに限定されない。例えば、データ取得部110が取得した信号の撮像部位(眼底の面内方向の位置)に基づいて合焦に用いる信号の種類を特定してもよい。即ち、視神経乳頭部近傍では収差補正部131が収差補正した直後は網膜内層に合焦位置が設定されるため、詳細な合焦位置特定処理では非共焦点画像を用いる。一方、黄斑部では収差補正部131による収差補正直後は網膜外層に合焦されるため、詳細な合焦位置特定処理では共焦点画像を用いる、というようにして合焦に用いる信号の種類を特定する場合も本発明に含まれる。さらに、指示取得部140を通じて取得した合焦に用いる信号の種類に関するデータに基づいて合焦に用いる信号の種類を特定する場合も本発明に含まれる。さらに、上述した本発明の実施形態では、データ取得部110が取得した信号の値に基づいて詳細な合焦処理の要否を判定したが、本発明はこれに限定されない。例えば、上述した撮像部位に基づいて詳細な合焦処理の要否を判定する形態も、本発明に含まれる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
また、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
以上説明した本発明の各実施形態によれば、被検眼Eの各撮影対象においてロバスト且つ高精度に合焦を行うことが可能となる。
100−1 情報処理装置、110 データ取得部、111 共焦点データ取得部、112 非共焦点データ取得部、113 収差データ取得部、114 時相データ取得部、120 記憶部、130 制御部、131 収差補正部、132 合焦位置特定部、133 電動ステージ駆動部、134 演算部、135 表示制御部、140 指示取得部、150 表示部

Claims (12)

  1. 測定光を照射された被検眼からの戻り光に基づいて撮影対象の共焦点信号および非共焦点信号を取得する取得手段と、
    前記測定光の光軸方向に前記測定光の合焦位置を調整する調整手段と、
    前記共焦点信号および前記非共焦点信号に基づいて、前記被検眼の合焦位置を特定する特定手段と、
    を有し、
    前記特定手段は、前記共焦点信号に基づいて前記測定光の概略の合焦位置を特定した後、前記非共焦点信号に基づいて前記測定光の詳細な合焦位置を特定することを特徴とする情報処理装置。
  2. 前記特定手段は、前記被検眼の網膜内層における血管または前記被検眼の網膜における血管の合焦位置を特定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記特定手段は、前記被検眼の、視細胞欠損が生じている網膜外層の合焦位置を特定することを特徴とする請求項1に記載の情報処理装置。
  4. 前記特定手段は、前記共焦点信号および前記被検眼に係る正常値データに基づいて前記被検眼の概略の合焦位置を特定した上で、前記非共焦点信号に基づいて前記被検眼の詳細な合焦位置を特定することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記特定手段によって過去に特定された合焦位置を保存する保存手段を更に有し、
    前記特定手段は、前記保存手段に保存されている合焦位置に基づいて前記被検眼の概略の合焦位置を特定した上で、前記非共焦点信号に基づいて前記被検眼の詳細な合焦位置を特定することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  6. 前記特定手段によって特定された、前記被検眼の各画像取得位置における合焦位置を保存する保存手段を更に有し、
    前記特定手段は、処理対象の画像取得位置における合焦位置を特定することが難しい場合に、前記保存手段によって保存されている合焦位置であって当該処理対象の画像取得位置に対して近傍に位置する画像取得位置における合焦位置に基づいて、当該処理対象の画像取得位置における合焦位置を特定することを特徴とする請求項1乃至のいずれか1項に記載の情報処理装置。
  7. 前記特定手段は、前記取得手段が取得した信号の値もしくは撮像部位に基づいて詳細な合焦処理の要否を判定し、当該判定が要の場合には詳細な合焦処理に用いる信号の種類を特定して当該特定した種類の信号に基づき前記被検眼の合焦位置を特定することを特徴とする請求項1乃至のいずれか1項に記載の情報処理装置。
  8. 合焦位置の特定に用いる信号の種類を指示する指示手段を更に有し、
    前記特定手段は、前記指示手段が指示した種類の信号に基づいて前記被検眼の合焦位置を特定することを特徴とする請求項1乃至のいずれか1項に記載の情報処理装置。
  9. 前記共焦点信号および前記非共焦点信号は、略同時に取得されたものであることを特徴とする請求項1乃至のいずれか1項に記載の情報処理装置。
  10. 前記取得手段は、前記被検眼を撮像する撮像装置において前記被検眼からの光を受光する光センサの付近に設けられた開口部の位置および形状のうちの少なくとも一方を調節することにより得られた前記共焦点信号および前記非共焦点信号を取得することを特徴とする請求項1乃至のいずれか1項に記載の情報処理装置。
  11. 測定光を照射された被検眼からの戻り光に基づいて撮影対象の共焦点信号および非共焦点信号を取得する取得ステップと、
    前記測定光の光軸方向に前記測定光の合焦位置を調整する調整ステップと、
    前記共焦点信号および前記非共焦点信号に基づいて、前記被検眼の合焦位置を特定する特定ステップと、
    を有し、
    前記特定ステップは、前記共焦点信号に基づいて前記測定光の概略の合焦位置を特定した後、前記非共焦点信号に基づいて前記測定光の詳細な合焦位置を特定することを特徴とする情報処理方法。
  12. コンピュータを、請求項1乃至10のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2015250026A 2015-04-23 2015-12-22 情報処理装置、情報処理方法、及び、プログラム Active JP6611593B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/132,985 US10470652B2 (en) 2015-04-23 2016-04-19 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015088679 2015-04-23
JP2015088679 2015-04-23

Publications (3)

Publication Number Publication Date
JP2016202880A JP2016202880A (ja) 2016-12-08
JP2016202880A5 JP2016202880A5 (ja) 2019-01-17
JP6611593B2 true JP6611593B2 (ja) 2019-11-27

Family

ID=57488377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015250026A Active JP6611593B2 (ja) 2015-04-23 2015-12-22 情報処理装置、情報処理方法、及び、プログラム

Country Status (1)

Country Link
JP (1) JP6611593B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220215514A1 (en) * 2019-04-17 2022-07-07 Nikon Corporation Video processing apparatus, video processing method, and recording medium
JP7421062B2 (ja) * 2019-09-04 2024-01-24 株式会社ニデック 眼底撮影装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10104522A (ja) * 1996-10-01 1998-04-24 Olympus Optical Co Ltd 共焦点走査型光学顕微鏡
US8057039B2 (en) * 2007-09-29 2011-11-15 Nidek Co., Ltd. Fundus imaging apparatus
JP5269396B2 (ja) * 2007-09-29 2013-08-21 株式会社ニデック 眼底撮影装置
JP5179265B2 (ja) * 2008-06-02 2013-04-10 株式会社ニデック 眼科撮影装置
JP5818458B2 (ja) * 2011-02-25 2015-11-18 キヤノン株式会社 画像処理装置、撮影システム、画像処理方法及びプログラム
JP5936368B2 (ja) * 2012-01-20 2016-06-22 キヤノン株式会社 光干渉断層撮影装置及びその作動方法

Also Published As

Publication number Publication date
JP2016202880A (ja) 2016-12-08

Similar Documents

Publication Publication Date Title
JP5818458B2 (ja) 画像処理装置、撮影システム、画像処理方法及びプログラム
JP5843542B2 (ja) 画像処理装置、眼科撮影装置、画像処理方法及びプログラム
JP3706940B2 (ja) 眼特性測定装置
JP2012176094A (ja) 画像処理装置、画像処理方法、画像処理システム、slo装置、およびプログラム
JP5847510B2 (ja) 画像処理装置及び画像処理方法
KR20130096184A (ko) 촬상 장치
JP7050588B2 (ja) 眼科装置、その制御方法、プログラム、及び記録媒体
JP6108811B2 (ja) 撮像装置
JP7348374B2 (ja) 眼科情報処理装置、眼科撮影装置、眼科情報処理方法、及びプログラム
JP2016168257A (ja) 眼科装置及びその制御方法、並びに、プログラム
JP6611593B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2017042602A (ja) 血流計測装置
CN115334953A (zh) 多模态视网膜成像平台
JP6639262B2 (ja) 眼底撮像装置及びその制御方法、並びに、プログラム
JP6995504B2 (ja) 検査装置の制御方法、制御装置及びプログラム
JP6853690B2 (ja) 眼科撮影装置
JP2017018177A (ja) 画像処理装置及び画像処理方法
JP2016209133A (ja) 眼科撮像装置、その作動方法、及びコンピュータプログラム
JP6468907B2 (ja) 画像処理装置及び画像処理方法及びプログラム
JP2016150090A (ja) 撮像装置及びその制御方法
US10470652B2 (en) Information processing apparatus and information processing method
JP6590513B2 (ja) 情報処理装置、その作動方法、及びコンピュータプログラム
WO2019239707A1 (ja) 眼科装置、その制御方法、プログラム、及び記録媒体
JP6470604B2 (ja) 画像処理装置及び画像処理方法及びプログラム
JP6001149B2 (ja) 画像処理装置、撮影システム、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191029

R151 Written notification of patent or utility model registration

Ref document number: 6611593

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151