JP6636188B2 - 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム - Google Patents

情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム Download PDF

Info

Publication number
JP6636188B2
JP6636188B2 JP2019002136A JP2019002136A JP6636188B2 JP 6636188 B2 JP6636188 B2 JP 6636188B2 JP 2019002136 A JP2019002136 A JP 2019002136A JP 2019002136 A JP2019002136 A JP 2019002136A JP 6636188 B2 JP6636188 B2 JP 6636188B2
Authority
JP
Japan
Prior art keywords
image
magnification
acquisition
images
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019002136A
Other languages
English (en)
Other versions
JP2019051410A (ja
Inventor
裕之 今村
裕之 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019002136A priority Critical patent/JP6636188B2/ja
Publication of JP2019051410A publication Critical patent/JP2019051410A/ja
Application granted granted Critical
Publication of JP6636188B2 publication Critical patent/JP6636188B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Description

本発明は、眼科診療に用いられる情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラムに関する。
生活習慣病や失明原因の上位を占める疾病の早期診療を目的として、眼部の検査が広く行われている。共焦点レーザ顕微鏡の原理を利用した眼科装置として走査型レーザ検眼鏡(SLO:Scanning Laser Ophthalmoscope)が知られている。走査型レーザ検眼鏡は、測定光であるレーザを眼底に対してラスター走査し、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。以下、このような平面画像を撮像する装置をSLO装置、撮像した平面画像をSLO画像と記す。
近年、SLO装置において測定光のビーム径を大きくすることにより、従来よりも向上した横分解能を有する網膜のSLO画像を取得することが可能になってきた。しかし、測定光のビーム径の大径化に伴い、網膜のSLO画像の取得において、被検眼における収差によるSLO画像のS/N比及び分解能の低下が問題になっていた。それを解決するために、被検眼における収差を波面センサでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学SLO装置が開発されている。これにより、横分解能が高いSLO画像の取得が可能になっている。
このような高横分解能なSLO画像は動画像として取得することができ、この動画像を用いて様々な生体情報を計測することができる。例えば、血流動態を非侵襲に観察するために、各フレームから網膜血管を抽出した上で毛細血管における血球の移動速度などが計測される。また、SLO画像を用いて視機能との関連を評価するために、視細胞Pを検出した上で視細胞Pの密度分布や配列の計測が行われている。
もっとも、補償光学SLO装置が撮像可能な1つの高横分解能なSLO画像の画角は一般に小さいため、撮像対象領域が高横分解能なSLO画像の画角よりも大きい場合、撮像対象領域において撮像領域をどのように設定するかが問題となる。これについて図7を参照して説明する。図7(a)は、被検眼の断面図を模式的に示した図である。図7(b)〜図7(g)は、SLO画像ないし撮像対象領域の例を示す図である。
図7(b)は高横分解能なSLO画像の一例を示す図である。図7(b)では、視細胞Pや毛細血管の位置に対応した低輝度領域Q、白血球の位置に対応した高輝度領域Wが観察されている。視細胞Pを観察したり視細胞Pの分布を計測する場合には、フォーカス位置を網膜外層(図7(a)のB5)付近に設定して図7(b)のようなSLO画像を撮像する。
一方、網膜内層(図7(a)のB2からB4)には、網膜血管や分岐した毛細血管が走行している。特に、患眼では、撮像対象領域が、SLO装置が撮像可能な1つのSLO画像の画角よりも大きい場合がしばしばある。図7(c)、図7(d)は、撮像対象領域がSLO画像の画角よりも大きい場合の例を示している。図7(c)は毛細血管病変の好発部位(破線で囲まれた環状領域)の例を示し、図7(d)は広範な視細胞欠損領域(黒色の閉領域)の例を示している。図7(c)、図7(d)のような場合、撮像対象領域の全てを高倍率に取得すると多数のSLO画像の撮像条件の設定が煩雑であったり、撮像時間が長くなって被験者の負担が増えてしまう問題があった。撮像対象領域には、診療する上で高倍率画像を取得する必要性の高い領域と、必要性の低い領域とが混在しているため、被験者に負担がかからない検査時間で高倍率画像を取得する必要の高い領域が全て撮像できるよう、撮像領域を適切に設定する必要がある。
これに関連して、特許文献1には、複数の高倍率画像を取得するためのパラメータ設定に関する技術として、複数の補償光学SLO画像の撮像位置を変えて撮像し、パノラマ画像として表示する構成が記載されている。
特開2012−213513号公報
しかし、詳細に観察もしくは計測したい細胞群や組織、病変領域が高横分解能な画像(高倍率画像DH)がカバーする領域よりも広く分布する場合に、これら細胞群等の領域を効率的に撮像する場合、従来の構成には、以下の課題があった。すなわち、
i)操作者が複数の高倍率画像DHjの取得パラメータ(例えば、取得位置、画角、画素サイズ、フレーム数、フレームレート等)の値を個別に指定する必要があり、複数画像取得の効率化の妨げになっていた。
ii)高倍率画像DHよりも広い観察対象領域を同一の高倍率画像取得パラメータで撮像すると、取得する高倍率画像の数(総フレーム数)が膨大(数千〜数万枚)になり効率的な画像取得が難しかった。
特許文献1の構成も、多数の高倍率画像の取得パラメータを画像ごとに手動で決定しており、操作者は取得パラメータの設定のために繁雑な作業を強いられていた。
本発明は上記の課題に鑑みてなされたものであり、撮像対象に合わせて適切な撮像条件を容易に設定することができる技術を提供することを目的とする。
上記目的を達成するため、本発明による情報処理装置は以下の構成を備える。即ち、
検眼の撮像対象領域における、複数の画像の撮像を制御する情報処理装置であって、
前記複数の画像を撮像する複数の撮像領域の配置を示す複数の基本パターンから1つの基本パターンを選択する選択手段と、
前記複数の撮像領域の数を設定する設定手段と、
前記設定手段で設定された撮像領域の数と前記選択された基本パターンの撮像領域の配置に従って、前記被検眼の領域において前記複数の画像を撮像装置に撮像させる制御手段とを有する
本発明によれば、撮像対象に合わせて適切な撮像条件を容易に設定することができる。
眼科装置10を含むシステムの構成例を示すブロック図。 眼科装置10のハードウェア構成例を示すブロック図。 眼科装置10の機能構成例を示すブロック図。 SLO像撮像装置20の全体の構成について説明する図。 眼科装置10が実行する処理のフローチャート。 画像取得パターンを説明する図。 画像処理内容を説明する図。 高倍率画像取得処理の詳細を示すフローチャート。 画像表示処理の詳細を示すフローチャート。 眼科装置10の機能構成例を示すブロック図。 高倍率画像取得処理の詳細を示すフローチャート。 画像取得パターン及び高倍率動画像に含まれる例外フレームを説明する図。 眼科装置10の機能構成例を示すブロック図。 断層像撮像装置60の全体の構成について説明する図。 画像取得パターンを説明する図。 画像表示処理の詳細を示すフローチャート。
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。
<<実施形態1>>
本実施形態に係る情報処理装置としての眼科装置は、複数の高倍率の補償光学SLO画像を取得する場合に、予め用意された複数の高倍率画像取得の撮像条件に係るパラメータの基本パターンを操作者(ユーザ)に提示して、操作者に選択させる。次に、必要に応じ、病変形状に合わせて操作者に画像取得パラメータを調節させ、調節の内容に応じて複数の高倍率画像に関する取得パラメータ値を決定する。以下、黄斑部の広範な視細胞欠損領域に対して複数画像を円板状に取得する基本パターンを操作者が選択し、各高倍率画像の取得位置、画角、画素サイズ、フレーム数、フレームレート、合焦位置を決定する場合を一例として説明する。
(全体構成)
図1(a)は、本実施形態に係る眼科装置10を含むシステムの構成図である。図1(a)に示すように、眼科装置10は、撮像装置としてのSLO像撮像装置20やデータサーバ40と、光ファイバ、USBやIEEE1394等で構成されるローカル・エリア・ネットワーク(LAN)30を介して接続されている。なお、これらの機器の接続の形態は図1の例に限られない。例えば、これらの機器はインターネット等の外部ネットワークを介して接続されてもよいし、あるいは、眼科装置10がSLO像撮像装置20に直接接続されてもよい。
SLO像撮像装置20は、眼底部の広画角画像DLや高倍率画像DHを撮像(撮影)する装置である。SLO像撮像装置20は、広画角画像DLや高倍率画像DH、及びその撮像時に用いた固視標位置FL、FHの情報を、眼科装置10及びデータサーバ40へ送信する。
なお、各倍率の画像を異なる撮像位置で取得する場合には、その取得された画像をDLi,DHjのように表す。すなわち、i,jは、撮像位置番号を示す変数であり、i=1,2,...,imax、j=1,2,...,jmaxとする。また、高倍率画像を複数の異なる倍率で取得する場合には、倍率の高い画像から順にD1j,D2k,...のように表記し、最も倍率の高いD1jを高倍率画像、D2k,...を中間倍率画像と表記する。
データサーバ40は、撮像条件データ、眼部の画像特徴、眼部の画像特徴の分布に関する正常値などを保持する。撮像条件データとして、SLO像撮像装置20が出力する、被検眼の広画角画像DL、高倍率画像DH、撮像時に用いた固視標位置FL、FH、眼科装置10が出力する眼部の画像特徴が、データサーバ40に保存される。眼部の画像特徴として、本実施形態では、視細胞Pや毛細血管Q、血球W、網膜血管や網膜層境界に関する画像特徴を扱う。また、眼科装置10からの要求に応じ、データサーバ40は、広画角画像DL、高倍率画像DH、眼部の画像特徴及び画像特徴の正常値データを眼科装置10へ送信する。
(眼科装置)
眼科装置10は、組込みシステム、パーソナルコンピュータ(PC)、タブレット端末等の情報処理装置により実現される。図2を用いて眼科装置10のハードウェア構成について説明する。図2において、CPU301は中央演算処理装置であり、オペレーティングシステム(OS)やアプリケーションプログラム等のコンピュータプログラムに基づいて他の構成要素と協働し、眼科装置全体の動作を制御する。RAM302は書込み可能メモリであり、CPU301のワークエリア等として機能する。ROM303は読出し専用メモリであり、基本I/Oプログラム等のプログラム、基本処理に使用するデータ等を記憶する。外部記憶装置304は大容量メモリとして機能する装置であり、ハードディスク装置、半導体メモリにより実現される。モニタ305は、キーボード306やポインティングデバイス307から入力されたコマンドや、それに対する眼科装置10の応答出力等を表示する表示手段としての表示装置である。キーボード306、ポインティングデバイス307は、操作者からの指示やコマンドの入力を受け付ける装置である。インターフェース308は外部装置とのデータのやり取りを中継する装置である。
本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置304に記憶されている。これらの制御プログラムやデータは、CPU301による制御のもと、バス309を通じて適宜RAM302に取り込まれ、CPU301によって実行され、以下に説明する各部として機能する。
次に、図3を参照して本実施形態に係る眼科装置10の機能構成を説明する。図3は眼科装置10の機能構成を示すブロック図である。図3のように、眼科装置10は、データ取得部110、記憶部120、画像処理部130、指示取得部140を有する。
データ取得部110は、画像データ、撮像条件データ等のデータを取得する機能ブロックである。データ取得部110は、広画角画像を取得する広画角画像取得部111と、高倍率画像を取得する高倍率画像取得部112を備える。記憶部120は、データ取得部110が取得したデータや、画像取得パターンセット121を保持する機能ブロックである。画像取得パターンセット121とは、複数の高倍率画像を取得する際のパラメータに関する基本的な設定パターン(以下、「画像取得パターン」という)の集合である。
画像処理部130は、撮像条件の決定、当該撮像条件の設定、撮像した画像の表示等の処理を行う機能ブロックである。画像処理部130は、撮像画像の表示制御等を行う表示制御部131、撮像条件の決定を行う決定部132、及び、撮像条件に基づき撮像領域の位置合わせを行う位置合わせ部133を備える。表示制御部131は、画像取得パターンをモニタに表示して操作者に提示する画像取得パターン提示部1311を備える。決定部132は、撮像の倍率を決定する倍率決定部1321、撮像位置を決定する位置決定部1322、撮像のタイミング等を決定する時間決定部1323、撮像の順序を決定する順序決定部1324を有する。
(SLO像撮像装置)
次に、図4を用いて補償光学系を備えたSLO像撮像装置20の構成例を説明する。なお、以下に説明するSLO像撮像装置の構成は一例であり、高倍率の画像を取得可能であれば、どのような撮像装置を用いても構成することができる。
201は光源であり、図4では、SLD光源(Super Luminescent Diode)により実現される例を示している。本実施形態では、眼底撮像のための光源と波面測定のための光源とのいずれも光源201により実現されるが、それぞれを別光源とし、光路の途中で合波する構成としてもよい。
光源201から照射された光は、単一モード光ファイバ202を通って、コリメータ203により、平行な測定光205として照射される。照射された測定光205は、ビームスプリッタからなる光分割部204を透過し、補償光学の光学系に導光される。
補償光学系は、光分割部206、波面センサ215、波面補正デバイス208および、それらに導光するための反射ミラー207−1〜207−4を備える。ここで、反射ミラー207−1〜207−4は、少なくとも眼の瞳と、波面センサ215及び波面補正デバイス208とが光学的に共役関係になるように設置されている。本実施形態では、光分割部206として、ビームスプリッタを用いる。本実施形態では、波面補正デバイス208として液晶素子を用いた空間位相変調器を用いる。なお、波面補正デバイスとして可変形状ミラーを用いる構成としてもよい。補償光学系を通過した光は、走査光学系209によって、1次元もしくは2次元に走査される。
走査光学系209として、本実施形態では主走査用(眼底水平方向)と副走査用(眼底垂直方向)に2つのガルバノスキャナを用いている。もっとも、より高速な撮像のために、走査光学系209の主走査側に共振スキャナを用いてもよい。
走査光学系209で走査された測定光205は、接眼レンズ210−1および210−2を通して眼球211に照射される。眼球211に照射された測定光205は眼底で反射もしくは散乱される。接眼レンズ210−1および210−2の位置を調整することによって、眼球211の視度にあわせて最適な照射を行うことが可能となる。なお、ここでは接眼部にレンズを用いたが、球面ミラー等で構成してもよい。
眼球211の網膜から反射もしくは散乱された反射散乱光(戻り光)は、入射光の経路と同一の経路を逆向きに進行し、光分割部206によって一部は波面センサ215に反射され、光線の波面を測定するために用いられる。波面センサ215は補償光学制御部216に接続され、受光した波面を補償光学制御部216に伝える。波面補正デバイス208も補償光学制御部216に接続されており、補償光学制御部216から指示された変調を行う。補償光学制御部216は、波面センサ215により測定された波面を基に、波面補正デバイス208に到達する波面を収差のない波面へと補正するような変調量(補正量)を計算し、波面補正デバイス208にそのように変調するように指令する。なお、波面の測定と波面補正デバイス208への指示は繰り返し処理され、常に最適な波面となるようにフィードバック制御が行われる。
光分割部206を透過した反射散乱光は光分割部204によって一部が反射され、コリメータ212、光ファイバ213を通して光強度センサ214に導光される。光強度センサ214で光は電気信号に変換され、制御部217によって眼部画像として画像に構成されて、ディスプレイ218に表示される。なお、図4の構成で走査光学系の振り角を大きくし、補償光学制御部216が収差補正を行わないよう指示することによって、SLO像撮像装置20は通常のSLO装置としても動作し、広画角なSLO画像(広画角画像DL)を撮像できる。
(処理手順)
眼科装置10が実行する具体的な処理内容について、各機能ブロックの役割と関連付けて詳細に説明する。図5は、眼科装置10が実行する処理手順を示すフローチャートである。以下の各工程は、CPU301の制御に基づき実行される。
<ステップS510>
広画角画像取得部111は、SLO像撮像装置20に対して、広画角画像DLおよび固視標位置FLの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置FLを設定して広画角画像DLを取得する場合の例を説明する。なお、撮像位置の設定手法はこれに限定されず、他の任意の位置に設定してよい。
SLO像撮像装置20は、広画角画像取得部111からの取得要求に応じて広画角画像DL、固視標位置FLを取得し、広画角画像取得部111へ送信する。広画角画像取得部111は、SLO像撮像装置20からLAN30を介して当該広画角画像DL及び固視標位置FLを受信する。広画角画像取得部111は受信した広画角画像DL及び固視標位置FLを記憶部120に格納する。なお、本実施形態例では、広画角画像DLは、フレーム間位置合わせ済みの動画像である。
<ステップS520>
画像取得パターン提示部1311は、記憶部120から画像取得パターン(複数の高倍率画像を取得する際のパラメータに関する基本的な設定パターン)を少なくとも一種類取得し、モニタ305に選択可能に表示する。画像取得パターンとしては任意のパターンを提示可能であるが、本実施形態例では、図6(a)〜図6(f)に示すような基本パターンを提示する場合を説明する。図6(a)は線状、図6(b)は十字型、図6(c)は放射状、図6(d)は矩形型、図6(e)は円板型、図6(f)は環状のパターンの例を示している。
次に、指示取得部140は、操作者が所望とする画像取得パターンの選択に係る指示を外部から取得する。この指示は、例えばキーボード306やポインティングデバイス307を介して操作者により入力される。あるいは、モニタ305にタッチパネル液晶を備える場合にはタッチパネルを介して入力してもよい。本実施形態例では観察対象が図7(d)に示すような円板状の視細胞欠損領域であるので、図6(e)に示すような円板型の画像取得パターンを選択する。
なお、画像取得パターンは図6(a)〜図6(f)に示したような、一種類の倍率の高倍率画像のみから構成されるものだけでなく、複数の倍率の画像を組み合わせたものを画像取得パターンとして提示することができる。例えば、図6(g)に示すように、高倍率画像D1jだけでなく、中間倍率画像D2kも取得パターンに含めて定義してよい。以下、このような、高倍率画像だけでなく中間倍率画像も含む取得パターンを「多倍率型の画像取得パターン」という。このような画像取得パターンは、取得画像数を少なくしたい場合や、広画角画像DLとの位置合わせをより正確に行いたい場合に適している。なお、多倍率型の画像取得パターンにおいて各倍率の高倍率画像ないし中間倍率画像がそれぞれ形成する画像取得パターンの形状は、倍率毎に異なっていてもよいし、同一でもよい。例えば、より倍率の低い中間倍率画像D2kを矩形型で、高倍率画像D1jを円板型で取得してもよい。異なる倍率間で画像取得パターンが異なる場合には、本ステップにおいて各倍率における画像取得パターンの種類の情報も取得する。なお、図6(g)は高倍率画像D1jが形成する画像取得パターンの形状と、中間倍率画像D2kが形成する画像取得パターンの形状とがいずれも十字型で同一の場合を示している。
また、図6(h)に示すように基本パターンの位置を変えて複数配置したもの(以下、「多配置型の画像取得パターン」という)を提示してもよい。図6(h)は、矩形型の画像取得パターンを複数配置したものを示している。病変が複数ある場合や、観察対象の形態や動態を部位ごとに比較する場合などに適している。なお、多配置型の画像取得パターンには、基本パターン同士の合焦位置を変えて画像取得する場合も含まれる。さらに、図6(i)に示すように基本パターン同士の組み合わせによって定義される画像取得パターン(以下、「複合型の画像取得パターン」という)を提示してもよい。複合型の画像取得パターンは、異なる目的の画像を一度の検査で効率的に取得する場合に適している。例えば、図6(i)は、同図の黒点で示される中心窩(無血管領域の重心位置)の無血管領域(図6(i)の白線閉領域)の形状を計測する場合(矩形型)と、中心窩からの一定距離ごとに視細胞密度を計測する場合(十字型)の双方に適する。
<ステップS530>
決定部132において、S520において選択された画像取得パターンが持つ複数画像の取得パラメータを初期値とし、操作者が必要に応じて画像取得パラメータを調節することにより複数の高倍率画像の取得パラメータを決定して画像取得を行う。この本ステップの処理(以下、「高倍率画像取得処理」という)については、図8に示すフローチャートを用いて後に詳しく説明する。
<ステップS540>
位置合わせ部133は、広画角画像DLと高倍率画像DHとの位置合わせを行い、広画角画像DL上の高倍率画像DHの相対位置を求める。この位置合わせとは、広画角画像DL及び高倍率画像DHの位置関係を自動的に判定してDLの対応する位置にDHの位置を設定することをいう。なお、広画角画像DLは撮像領域の全体を示す高倍率画像よりも低倍率の画像であり、予め与えられた所与の画像である。高倍率画像DHj間で重なり領域がある場合には、まず、重なり領域に関して画像間類似度を算出し、最も画像間類似度が最大となる位置に高倍率画像DHj同士の位置を合わせる。次に、S530において異なる解像度の高倍率画像が取得されている場合には、より低倍率の画像から順に位置合わせを行う。例えば、高倍率画像DHとして高倍率画像D1jと中間倍率画像D2kが取得されている場合にはまず広画角画像DLと中間倍率画像D2kとの間で位置合わせを行い、次いで中間倍率画像D2kと高倍率画像D1jとの間で位置合わせを行う。高倍率画像の解像度が1種類の場合には、広画角画像DLと高倍率画像DHとの位置合わせのみ行うことはいうまでもない。
なお、位置合わせ部133は、記憶部120から高倍率画像DHの撮像時に用いた固視標位置FHを取得し、広画角画像DLと高倍率画像DHとの位置合わせにおける位置合わせパラメータの探索初期点として設定する。また、画像間類似度や座標変換手法としては任意の公知の手法を用いることができ、本実施形態では画像間類似度として相関係数、座標変換手法としてAffine変換を用いて位置合わせを行う。
<ステップS550>
表示制御部131は、S540において得られた位置合わせパラメータの値に基づき、広画角画像DL上に高倍率画像DHを表示する。本ステップの処理(以下、「画像表示処理」という)については、図9に示すフローチャートを用いて後に詳しく説明する。
<ステップS560>
指示取得部140は、広画角画像DL、高倍率画像DH、固視標位置FL、FH、S540において取得された位置合わせパラメータ値をデータサーバ40へ保存するか否かの指示を外部から取得する。この指示は、例えばキーボード306やポインティングデバイス307を介して操作者により入力される。保存が指示された場合(S560でYES)はS570へ、保存が指示されなかった場合はS580(S560でNO)へと処理を進める。
<ステップS570>
画像処理部130は、検査日時、披検眼を同定する情報、広画角画像DL、高倍率画像DHと固視標位置FL、FH、位置合わせパラメータ値を関連付けて、データサーバ40へ送信する。
<ステップS580>
指示取得部140は眼科装置10による広画角画像DLと高倍率画像DHに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード306やポインティングデバイス307を介して操作者により入力される。処理終了の指示を取得した場合(S580でYES)は処理を終了する。一方、処理継続の指示を取得した場合(S580でNO)にはS510に処理を戻し、次の披検眼に対する処理または同一披検眼に対する再処理を行う。
(高倍率画像取得処理)
次に、図8に示すフローチャートを参照しながら、S530で実行される高倍率画像取得処理の詳細について説明する。
<ステップS810>
決定部132は、指示取得部140を通じて選択された画像取得パターンの種類と、このパターンが持つ各高倍率画像DHの取得パラメータ値を、記憶部120から取得する。具体的には、選択された画像取得パターンが保持する各高倍率画像の取得パラメータのうち、以下のパラメータ値を各々初期値として入力する。すなわち、倍率数及び各画角及び画素サイズの値を倍率決定部1321に、取得位置及び合焦位置を位置決定部1322に、フレーム数とフレームレート、繰返し取得回数を時間決定部1323に、取得順序を順序決定部1324に各々初期値として入力する。
<ステップS820>
決定部132は、選択された画像取得パターンを構成する各高倍率画像DHjの取得パラメータの設定値に関する制約条件を指示取得部140を通じて取得する。制約条件とは撮像条件が取り得る範囲を定める条件である。制約条件は、任意の画像取得パラメータに関して操作者が指示・設定可能である。本実施形態例では、以下の4つの制約条件を設定可能な場合を説明する。
a)画像取得時間の総和
b)倍率の種類(倍率数、画角及び画素サイズ)
c)合焦位置
d)隣接する高倍率画像間の重複領域
ここで、
a)は一検査あたりで被検眼が耐えうる許容時間、
b)は撮像位置において得られると予想される画像特徴の大きさ、
c)は観察対象が存在する深度(z軸)方向の位置、
d)は許容し得る被検眼の固視ずれ量
に関する制約条件である。本実施形態では各々
a)15分
b)1及び300[μm]×300[μm]及び
1[μm/pixel]×1[μm/pixel]
c)視細胞層
d)高倍率画像面積の20%
とした場合の例を説明する。
<ステップS830>
倍率決定部1321で高倍率画像DHの倍率の種類(倍率数、画角及び画素サイズ)を決定する。また、位置決定部1322にて各高倍率画像DHjの取得位置と合焦位置を決定する。
本実施形態ではS820で取得された制約条件のため画角及び画素サイズ、合焦位置は固定値であるが、各高倍率画像DHjの取得位置は可変パラメータである。そこで、操作者が、まず画像取得パターンをする点(代表点)の眼底における位置を指定する。本実施形態では代表点は、図6(e)の中心点Cであり、被検眼の中心窩に設定される。次に、操作者が画像取得パターン全体のサイズを拡大または縮小させることで、隣接する高倍率画像間の重なり領域サイズを維持したまま高倍率画像の取得位置数が増加または減少し、各高倍率画像DHjの取得位置が決定される。本実施形態では、画像取得パターンの端部に位置する(ある一つの)高倍率画像の位置を操作者が円板の外側へ移動させることで画像取得パターン全体のサイズが拡大され、図7(g)の白線矩形領域で示すような高倍率画像DHjの取得位置が決定される。
なお、代表点は画像取得パターンの中心点に限定されるものではない。例えば、画像取得パターンを構成する特定の高倍率画像の位置でもよい。また、図6(g)に示すような多倍率型の画像取得パターンの場合には全ての倍率の画像取得パターンのサイズをまとめて拡大もしくは縮小させてもよいし、あるいは、倍率ごとに画像取得パターンのサイズを変更してもよい。
図6(h)に示す多配置型の画像取得パターンの場合も、全ての配置の画像取得パターンサイズもしくは配置間隔をまとめて変更させてもよい。また、基本パターンの配置ごとに画像取得パターンのサイズもしくは配置間隔が異なっていてもよい。さらに、図6(i)に示すような複合型の画像取得パターンの場合も、全ての種類のパターンのサイズをまとめて変更してもよいし、画像取得パターンの種類ごとに画像取得パターンのサイズを変更してもよい。
<ステップS840>
時間決定部1323は、各高倍率画像のフレーム数、フレームレート及び繰り返し取得回数を決定する。本実施形態の例では、フレームレート及び繰り返し取得回数は、それぞれ32[frame/sec]、1回の固定値であり、フレーム数を可変パラメータとする。可変パラメータ値の変更手法としては、任意の公知のユーザインターフェース(以下、「UI」と略記する)を用いて指定できる。本実施形態例では、図6(j)に示すようなパラメータ値(重み)変更用UIを操作者が操作することによって効率的に変更する。これは各高倍率画像DHjのフレーム数に関する半径方向の重みを調整するためのUIである。図6(j)では、Wcが配置された円板型の画像取得パターン(図7(g))の中心側、Woが外側の重みを表している。外側の重みWoを下げることで、各高倍率画像DHjのフレーム数が、パターン中心から外側に向かって段階的に少なくなるように自動決定される。
また、図6(g)のような多倍率パターンの場合には、図6(k)に示すようなパラメータ値(もしくは重み)調整用UIを用いることができる。パラメータ値の調整は以下のi)〜iv)の手順で行われる。
i)可変パラメータリストVの中から調整対象の可変パラメータを選択する。
ii)パラメータ値の調整を行う対象倍率及び対象画像を調整用マップから選択する。
iii)選択した倍率における複数画像間のパラメータ値変更(重みづけ)法Rを選択する。
iv)選択した画像に対するパラメータ値(重み)をパラメータ値変更用UI(B)上で決定する。
なお、i)では選択された可変パラメータの種類ごとに図6(k)の調整用マップが表示される。ii)について、図6(k)では、対象倍率をD1とし、中心部のD1画像D1cを調整対象画像として選択した場合を示している。
iii)について、図6(k)では、画像間でのパラメータ値設定(重みづけ)法Rとして、
・同一倍率の複数の画像間で同一の値に設定する場合(uniform)
・段階的に変化させる場合(gradual)
・指定した個別の画像についてパラメータ値を変更する場合(individual)
の中から選択する場合を例示している。図6(k)の例では段階的に変化させる場合(gradual)が選択されている。
iv)について、図6(k)では、カラーバーB上で最大値(白)を指定することで、選択された対象画像D1cと同じ倍率の画像のパラメータ値が、選択された画像D1cに向かって段階的に増加するように自動変更される場合を示している。
なお、図6(k)ではパラメータ値変更用UIをカラーバーBとし、パラメータ値をグレースケールで表現しているが、本発明はこれに限定されるものではない。例えば、パラメータ値変更用UIはスライダーでもよいし、(数値の)リストボックスでもよい。また、パラメータ値は数値(パラメータ値そのもの、あるいは重み)で表示してもよいし、カラーで表示してもよい。あるいは、パラメータ値を数値及びグレースケール(色)の双方を用いて表示してもよい。
また、図6(h)のような多配置パターンの場合には、図6(l)に示すように各パターン内での重み(例えば図6(l)のWm1dhi)と、パターン間での重み(Wm1及びWm2)の双方を調整する。さらに、図6(m)のような複合型の画像取得パターンの場合には、各々のパターンにおけるパラメータ値(WaiやWci)の設定と、両パターンで共通する画像におけるパラメータ値(Wbi)とを行う。調整手順は図6(k)の多倍率型の画像取得パターンの場合とほぼ同様である。すなわち、前述のiii)の手順が、選択した倍率ではなく、選択したパターンもしくは共通領域における複数画像間でのパラメータ値変更(重みづけ)法Rを選択する、という手順に置きかわるだけである。
<ステップS850>
順序決定部1324は、高倍率画像DHjの取得順序を決定する。本実施形態では、以下のi)〜iv)のうち、i)が最内側(最高優先度)、ii)が2番目に内側、iii)が3番目に内側、iv)が最外側(最低優先度)のループとなるようにして繰り返し処理を行う。具体的には、取得開始位置を最も観察上重要度の高い位置(本実施形態では中心窩)、取得倍率を最低倍率に設定したうえで以下の手順を実行する。
i)同一配置パターンかつ同一取得倍率かつ同一画像取得位置における画像を繰り返し取得回数分だけ取得する。
ii)同一配置パターンかつ同一取得倍率における画像を、隣接する画像取得位置へ移動させた上で再びi)と同様にして取得する。
iii)ii)が終了したら、取得倍率の値をより大きくして再びii)の操作を実行し、倍率数分だけ同様の操作を繰り返す。
iv)iii)が終了したら、別配置でiii)の操作を実行し、全ての配置で画像を取得するまで繰り返す。
なお、本実施形態例では、i)の繰り返し取得はなく(取得回数は1回のみ)であり、また、画像取得パターンが図6(h)のような多配置型ではないので、iv)の処理は省略される。また、ii)の隣接画像への移動方向については任意の方向へ移動させてよいが、本実施形態では、中心窩に近いほど視機能への影響が強く観察上の重要度が高いため、中心窩から渦状に移動させる。
S830〜S850の処理により、操作者は、高倍率画像の撮像条件を示す画像取得パラメータを容易に変更することが可能である。
<ステップS860>
高倍率画像取得部112は、決定部132によって指示された画像取得パラメータを用いて複数の高倍率画像DHj及び固視標位置FHjを取得するよう、SLO像撮像装置20に対して要求する。SLO像撮像装置20は、この取得要求に応じて高倍率画像DHj、固視標位置FHjを取得し送信するので、高倍率画像取得部112はSLO像撮像装置20からLAN30を介して当該高倍率画像DHj及び固視標位置FHjを受信する。高倍率画像取得部112は受信した高倍率画像DHj及び固視標位置FHjを記憶部120に格納する。なお、本実施形態では、高倍率画像DHjは、フレーム間位置合わせ済みの動画像である。
(画像表示処理)
次に、図9に示すフローチャートを参照しながら、S550で実行される画像表示処理の詳細について説明する。
<ステップS910>
広画角画像取得部111及び高倍率画像取得部112が取得した各動画像から、代表画像を生成する。本実施形態では、各動画像に関する重ね合わせ画像を生成し、この重ねあわせ画像を代表画像とする。また、代表画像の生成法はこれに限らず、例えば、動画像のフレーム間位置合わせの際に設定された基準フレームを代表画像に設定してもよい。基準フレームの設定法としては任意の公知の設定法を用いることができ、例えば、先頭番号のフレームを基準フレームに設定することができる。
<ステップS920>
表示制御部131は、複数の高倍率画像DHjが取得されている場合に高倍率画像間の濃度差を補正する。この濃度差の補正には任意の公知の輝度補正法を適用することができる。一例として、本実施形態では、各高倍率画像DHjにおいてヒストグラムHjを生成し、ヒストグラムHjの平均と分散が高倍率画像DHj間で共通した値になるように各高倍率画像DHjの輝度値を線形変換することにより濃度差を補正する。
<ステップS930>
表示制御部131は、高倍率画像DHを動画像として広画角画像DL上に表示させる場合に、高倍率画像DHの再生速度を設定する。再生速度は、画像表示エリア内に再生速度調整スライダや、コマ送りボタンを配置しておき、指示取得部140を通じて操作者が指定することにより調整する。
なお、本実施形態例ではS910で生成された静止画像(重ね合わせ画像)を貼り合わせて表示するため、本処理は省略される。
<ステップS940>
表示制御部131は、各高倍率画像DHjの表示/非表示や表示倍率を制御する。画像の表示/非表示は、モニタ305に取得画像に関するリストを表示させておき、この取得画像リストの画像名付近にUI(本実施形態ではチェックボックス)を配置し、指示取得部140を通じてUIのON/OFFを操作者が指定することにより設定する。全画像を一括指定するUI(チェックボックス)や、取得倍率別の一括指定UI(チェックボックス)も用意し、多数の画像に関する表示/非表示の切り替えを容易にする。
本ステップでは、画像の表示/非表示だけでなく、隣接する高倍率画像DHj同士に重なり領域がある場合や、同じ固視標位置で複数回撮像している場合の重なり順の設定も行う。動画像の重なり順の設定法に関しては、手動設定も含め任意の設定法を用いることができる。本実施形態では、画像の画質指標や固視ずれ量を算出しておき、画質指標値と固視ずれ量の線形和を評価関数として最も評価値が高い画像を最前レイヤに設定して表示する。ここで、画質指標値は任意の公知の指標を用いることができ、本実施形態では画像ヒストグラムの平均輝度値を用いる。また、固視ずれ量としては隣接フレーム間の並進移動距離の絶対値を全フレームに渡って加算した値を用いる。なお、固視ずれを評価可能な指標であれば任意の指標を用いてよい。表示倍率については、指示取得部140を通じて操作者が指定した高倍率画像を拡大してモニタ305に表示する。
なお、前述の例では広画角画像DLが単一の広画角SLO画像である場合を取り上げたが、本発明はこれに限定されない。例えば、異なる取得位置の広画角画像DLi同士を位置合わせして得られる合成画像を広画角画像DLとしてもよい。
以上のように、本実施形態に係る眼科装置10は複数の高倍率画像取得パラメータ(撮像条件)に関する基本パターンの中から操作者が選択し、病変形状に合わせてこのパラメータ値を調節し、当該調節されたパラメータ値に基づき高倍率画像を取得する。すなわち、眼科装置10は、高倍率画像を撮像する複数の位置の分布を示す複数の基本パターンを、操作者に対して選択可能に提示する。操作者の選択に応じて、複数の基本パターンの中から選択された基本パターンに予め関連付けられた、高倍率画像の撮像に関する撮像条件を、操作者の指示に従い調整する。さらに、当該調整された撮像条件に従い、撮像領域において複数の高倍率画像を撮像装置に撮像させる。このため、本実施形態によれば、所与の撮像領域において当該撮像領域の画角よりも小さい画角を有する複数の高倍率画像を取得するための適切な撮像条件を簡易に設定することができる。したがって、高倍率画像よりも広範囲で被検眼により分布の異なる組織、細胞群もしくは病変候補を効率的に撮像することが可能となる。
また、本実施形態では、選択された基本パターンの代表点の撮像領域における位置と、操作者により指示された制約条件と、撮像条件の変更量と、の少なくともいずれかに基づいて、撮像条件を調整する。このため、撮像対象に合わせて適切な撮像条件を容易に設定することが可能となる。例えば、細胞群や組織、病変の形状や濃度に個人差があり、詳細に観察ないし計測すべき領域は被験眼によって異なる。本実施形態の構成によれば、被験眼ごとに観察対象の細胞群、組織、病変の領域を特定した上で、この領域の形状や濃度に応じて複数の高倍率画像DHjの取得パラメータを自動設定することができる。
なお、本実施形態では、撮像条件として、広画角画像での高倍率画像を撮像する位置、撮像順序、同一の位置で撮像する画像数、高倍率画像の画角及び画素サイズ、撮像のフレーム数、フレームレート、及び合焦位置を例示したが、これに限られない。
<<実施形態2>>
本実施形態に係る眼科装置は、複数の高倍率の補償光学SLO画像を取得する場合に、高倍率画像よりも画角の広い画像から抽出された画像特徴に基づいて複数の高倍率画像取得に関するパラメータ値を決定するよう構成したものである。具体的には、傍中心窩の毛細血管領域に対して複数の高倍率動画像D1jを円環状に取得する場合に、この画像特徴に基づいて各高倍率画像D1jの取得位置、画角、画素サイズ、フレーム数、フレームレート、繰り返し取得回数を決定する。さらに、取得された高倍率画像に固視ずれや瞬目のような例外フレームが含まれているか判定した上で、判定結果に基づき高倍率画像の再取得が必要と判定した場合には同じ画像取得パラメータ値で高倍率画像を再取得する。
(全体構成)
本実施形態に係る眼科装置10と接続される機器の構成を図1(b)に示す。本実施形態では眼科装置10に対し、SLO像撮像装置20及びデータサーバ40に加えて、時相データ取得装置50が接続される点が実施形態1の構成と異なっている。時相データ取得装置50は、自律的かつ周期的に変化する生体信号データ(「時相データ」という)を取得する装置であり、例えば、脈波計もしくは心電計からなる。時相データ取得装置50は不図示の操作者による操作に応じ、高倍率画像DHjの取得と同時に時相データSjを取得する。得られた時相データSjは、眼科装置10、データサーバ40へ送信される。本実施形態では、被験者から計測される時相データが示す周期的タイミングに同期して、高倍率画像を取得し、モニタ305に表示させる。このため、生体の変化に合わせて適切なタイミングで高倍率画像を取得したり、再生することが可能となる。
また、データサーバ40は、被検眼の広画角画像DL、高倍率画像DH、及びその取得時に用いた固視標位置FL、FHのような取得条件データ以外に、時相データSj、眼部の画像特徴や眼部の画像特徴の分布に関する正常値も保持する。眼部の画像特徴として、本実施形態では網膜血管、毛細血管Q、血球Wを保持するが、これに限られない。時相データ取得装置50が出力する時相データSjや眼科装置10が出力する眼部の画像特徴はデータサーバ40に保存される。また、眼科装置10からの要求に応じて時相データSj、眼部の画像特徴や眼部の画像特徴の分布に関する正常値データが眼科装置10に送信される。
(眼科装置)
次に、本実施形態に係る眼科装置10の機能ブロックを図10に示す。本実施形態の眼科装置10は、実施形態1の構成に加えて、データ取得部110に時相データ取得部113、画像処理部130に画像特徴取得部134、決定部132に再取得要否決定部1325、位置合わせ部133に例外フレーム判定部1331を備える。時相データ取得部113は、被験者の時相データを取得する機能ブロックである。画像特徴取得部134は、広画角画像を解析してその特徴を示す情報を取得する機能ブロックである。再取得要否決定部1325は、高倍率画像の取得を再度行うか否かを判定する機能ブロックである。例外フレーム判定部1331は、固視不良による位置ずれの大きいフレーム等の検眼に適さないフレームを「例外フレーム」として検出する機能ブロックである。「例外フレーム」が検出された場合、高倍率画像の再取得が行われる。
(処理手順)
また、本実施形態での画像処理フローは図5と同様であり、S510、S560、S570、S580の処理は実施形態1の場合と同様である。また、S540のステップは省略される。そこで、本実施形態では、S520、S530、S550の処理について説明する。
<ステップS520>
画像取得パターン提示部1311は、記憶部120から複数の高倍率画像を取得する際の画像取得パターンを少なくとも一種類取得し、モニタ305に表示する。本実施形態では画像取得パターン提示部1311が線状、十字型、放射状、矩形型、円板型、環状、多倍率型、多配置型、複合型の基本パターンを提示する。
次に、指示取得部140は、どの画像取得パターンを選択するかの指示を外部から取得する。本実施形態では観察対象が図7(c)に示すような環状の傍中心窩毛細血管領域である場合を一例として説明する。この場合、この環状領域の内側境界を無血管領域に基づいて決定する必要があるため、操作者が多倍率型の画像取得パターンを選択する。ここで、多倍率型の画像取得パターンは、D1jが環状、D2kが矩形型である。
なお、本実施形態において画像取得パターン選択処理は必須の処理ではなく、はじめから高倍率画像取得対象領域を環状領域、中間倍率画像取得対象領域を矩形領域として、本ステップの処理を省略してもよい。
<ステップS530>
決定部132は、高倍率画像取得部112に対して中間倍率画像D2kの取得要求を行い、高倍率画像取得部112が中間倍率画像D2kを取得する。次に、画像特徴取得部134が広画角画像DL及び中間倍率画像D2k上の画像特徴を取得し、この画像特徴に基づいて複数の高倍率画像の取得パラメータを決定し、高倍率画像D1jを取得する。また、取得された高倍率画像D1jについてフレーム間位置合わせと例外フレーム判定を行い、例外フレームの判定結果に基づき再撮像が必要と判定された場合には同じ高倍率画像D1jを再度撮像する。さらに、中間倍率画像D2kと高倍率画像D1jを広画角画像DL上に位置合わせする。本ステップの処理(高倍率画像取得処理)については、図11に示すフローチャートを用いて後に詳しく説明する。
<ステップS550>
表示制御部131は、S1270(後述)において得られた位置合わせパラメータ値に基づき、図7(e)に示すように広画角画像DL上に高倍率画像DHを重畳して表示する。また、本実施形態では上記重畳画像の隣に、傍中心窩の毛細血管の分布をより詳細に観察可能な画像として図7(f)のような毛細血管画像の貼り合わせ表示も行う。このように、本実施形態では、撮像された複数の高倍率画像を、撮像領域の全体を示す画像に重畳してモニタ305に表示させる表示制御を行うため、広画角画像の必要な部分のみ精密な画像を観察することが可能となる。本ステップの処理(画像表示処理)については、図9に示すフローチャートを用いて後に詳しく説明する。
(高倍率画像取得処理)
次に、図11に示すフローチャートを参照しながら、S530で実行される処理の詳細について説明する。
<ステップS1210>
決定部132は、S520で選択されたD2kの画像取得パターンに基づいて中間倍率画像D2kを取得する。
本実施形態では、図12(a)のD2kのような矩形型の画像取得パターンが設定されており、当該画像取得パターンの中心点Cが中心窩付近となるように固視標を提示する。また、画角や画素サイズ、フレーム数、フレームレートの値として各々600[μm]×600[μm]、画素サイズが2[μm/pixel]×2[μm/pixel]、256枚、64[frame/sec]が設定されている。隣接する中間率画像間の重なり領域は中間倍率画像面積に対して10%とする。高倍率画像の取得順序は、本実施形態例では、画像取得パターンの中心にある中間倍率画像D25を第一取得位置として右隣りへ移動後、反時計回りに隣接画像間を移動させる順序とする。位置合わせ部133は、取得された中間倍率画像D2kのフレーム間位置合わせを行い、中間倍率画像D2kの広画角画像DL上への位置合わせ(画像貼り合わせ)を行う。なお、位置合わせに用いる座標変換法及び類似度評価関数は実施形態1と同様であるので詳細な説明は省略する。
<ステップS1220>
画像特徴取得部134は、広画角画像DLもしくはS1210で取得された中間倍率画像D2kから毛細血管を検出し、検出された毛細血管領域から無血管領域の境界を検出する。さらに、無血管領域の近傍領域を高倍率画像の取得対象領域とするために無血管領域の境界位置から等距離にある環状(ドーナツ型)の領域を検出する。
本実施形態では、まず以下の手順で、中間倍率画像D2kから血球成分の移動範囲として毛細血管を特定する。
(a) フレーム間位置合わせ済みの中間倍率画像D2kの隣接フレーム間で差分処理を行う。すなわち、差分動画像を生成する。
(b) (a)で生成した差分動画像の各x−y位置においてフレーム方向に関する輝度統計量(例えば、分散)を算出する。
(c) 差分動画像の各x−y位置において輝度分散が所定の閾値Tv以上の領域を血球が移動した領域、すなわち毛細血管領域として特定する。
なお、毛細血管の検出処理はこの手法に限定されるものではなく、任意の公知の手法を用いてよい。例えば、広画角画像DLもしくは中間倍率画像D2kの特定のフレームに対し線状構造を強調するフィルタを適用して血管を検出してもよい。
次に、画像特徴取得部134は得られた毛細血管領域から無血管領域の境界を検出する。網膜の中心窩付近には、図7(c)の内側破線領域の内部のように、網膜血管の存在しない領域(「無血管領域」という)が存在する。無血管領域の境界の形状は個人差が大きく、網膜血管の初期病変は無血管領域境界周囲に生じやすい。したがって、無血管領域境界は観察及び解析の対象として重要である。
本実施形態では、画像取得パターンにおける高倍率画像D1jの画像中心を接続する円(図12(a)破線部)より小さい半径Trを持つ可変形状モデル(同図実線部)をS1210で広画角画像上に位置合わせされた中間倍率画像D2kの貼り合わせ画像上に配置する。本実施形態では、このモデルの中心が図12(a)の中間倍率画像D25の中心Cと一致するように配置する。中間倍率画像D2kの貼り合わせ画像上の画像特徴に合わせて変形が完了した可変形状モデルの位置(図12(b)のBi)を無血管領域境界とし、この無血管領域境界の重心位置C'を決定する。さらに、無血管領域境界に対してユークリッド距離変換を行うことで得られる距離画像(境界からの距離値を画素値に持つ画像)を用いて無血管領域境界から外側に所定の閾値To及びTo/2の距離にある位置(図12(b)のBo及びBm)を決定する。閾値Toとしては任意の値が設定できるが、一般的に健常者で150[μm]程度に設定されることが多いため、本実施形態でもこの値を用いる。特定された内側境界Bi及び外側境界Boの2つを用いて環状(ドーナツ型)の高倍率撮像対象領域が決定され、破線部Bmは高倍率画像D1jの取得位置(画像中心)の候補となる。
なお、本実施形態では無血管領域境界からの距離(環状領域の太さ)を閾値Toで固定したが、本発明はこれに限定されるものではない。例えば、糖尿病網膜症のような傍中心窩の網膜毛細血管に病変が生じる疾患では、疾患が進行するに従って毛細血管が閉塞し、無血管領域が大きくなる。また、無血管領域が大きくなると、無血管領域周辺のより広範囲に血管病変が生じている可能性がある。そこで、閾値Toに対して無血管領域の面積に比例する値を乗じた値を無血管領域境界からの距離として設定してもよい。なお、この場合には、S1230において画角を可変パラメータとし、無血管領域境界からの距離、すなわち、環状領域の太さと比べて十分大きな値になるように決定する。
<ステップS1230>
倍率決定部1321で高倍率画像D1jの倍率数、画角及び画素サイズを決定する。また、位置決定部1322にて各高倍率画像D1jの取得位置と合焦位置を決定する。本実施形態では、倍率数と画角と画素サイズ、合焦位置を固定パラメータ(各々2、200[μm]×200[μm]、1[μm/pixel]×1[μm/pixel]、網膜血管)とし、高倍率画像D1j取得位置を可変パラメータとして次のように決定する。
まず、S1220で決定した境界Bm上を等間隔Tdにサンプリングして得られる点(図12(b)のBms)を高倍率画像D1jの取得位置の候補とし、特定の候補点Bm0から高倍率画像D1jの取得位置を順に決定する。
本実施形態では
間隔Td=高倍率画像D1jの画角×(100−高倍率画像D1j間の重なり領域の割合の標準値)/100・・・(1)
とし、無血管領域の重心位置の真上にある候補点をBm0とする。高倍率画像D1jの詳細な取得位置は、次のa)、b)の条件をともに満たすように決定する。すなわち、
a)S1220で決定した環状領域の半径方向(無血管領域の重心位置C´と取得位置候補点Bmsを結ぶ線方向)に関して、環状領域に空白が生じない条件下で環状領域外にはみ出す高倍率画像D1jの画素の総和が最小となること。
b)境界位置Bmの接線方向に関して、以下に説明する高倍率画像間の重なり領域の割合に一致すること。
ここで、高倍率画像D1j間の重なり領域の割合[%]は、S1220で特定された無血管領域境界の円形度Cr
Cr=4πS/(L*L)・・・(2)
(Sは無血管領域の面積、Lは周囲長)
を用いて、標準の設定値(本実施形態では、一例として20%とする)に対して円形度Crに反比例する値を乗じた値を高倍率画像D1j間の重なり領域の割合として設定する。したがって、円形度が低い、すなわち凹凸が大きいほど高倍率画像D1j間の重なり領域の割合が大きな値として設定される。
また、高倍率画像間の重なり領域の決定法はこれに限らず、任意の公知の手法を用いてよい。例えば、無血管領域境界の重心C'と取得位置候補点Bmsを結ぶ線と無血管領域との交点Bisから無血管領域境界に沿って隣接する高倍率画像の方向に一定距離の範囲で曲率の絶対値を算出し、得られた曲率の絶対値の平均値Chを算出する。高倍率画像間の重なり領域の割合に関する標準の設定値に対して平均曲率値Chに比例する値を乗じて重みづけする。ただし、平均曲率値Chが0の場合は、重みづけせずに標準の設定値をそのまま用いる。このような設定法を用いると、無血管領域境界の曲率の絶対値が大きい位置の近傍について高倍率画像間の重なり領域の割合を大きく設定できる。
<ステップS1240>
時間決定部1323は、高倍率画像D1jのフレーム数とフレームレート、繰り返し取得回数を決定する。本実施形態の例では、フレーム数とフレームレート、同一の取得位置における繰り返し取得回数は、各々256枚、64[frame/sec]、2回とする。ただし、本発明はこれに限定されるものではなく、また、任意の設定法を用いてよい。例えば、S1220及びS1230の処理で決定された各高倍率画像D1j内の毛細血管領域に対して細線化処理を行い、得られた血管の中心軸に直交する方向で血管径を算出する。そして、この血管径が異常値を示す領域が存在する場合のみ、高倍率画像D1jのフレーム数や繰り返し取得回数を各々閾値Tf及びTcだけ増やすようにしてもよい。
<ステップS1250>
順序決定部1324は、高倍率画像DHjの取得順序を決定する。実施形態1におけるS850の場合と同様に、以下のi)〜iii)のうち、i)が最内側(最高優先度)、ii)が2番目に内側、iii)が最外側(最低優先度)のループとなるようにして繰り返し処理を行う。すなわち、取得開始位置を耳側、取得倍率を最低倍率に設定したうえで、以下の手順を実行する。
i) 同一取得倍率かつ同一画像取得位置における画像を繰り返し取得回数分だけ取得する。
ii) 同一取得倍率における画像を、隣接する画像取得位置(本実施形態では反時計周りとする)から、i)と同様にして取得する。
iii)ii)が終了したら、取得倍率の値をより大きくして再びii)の操作を実行し、倍率数分だけ同様の操作を繰り返す。
なお、高倍率画像の順序決定法は上記の手順に限定されるものではなく、任意の順序設定法を用いてよい。
<ステップS1260>
高倍率画像取得部112は、S1210からS1250で決定された高倍率画像取得パラメータに従って、高倍率画像及び時相データを取得する。時相データ取得部113は時相データ取得装置50に対し生体信号に関する時相データSjの取得を要求する。本実施形態では時相データ取得装置として脈波計を用い、被験者の耳垂(耳たぶ)から脈波データSjを取得する。ここで脈波データSjは一方の軸に取得時刻、他方の軸に脈波計が計測した脈波信号値を持つ周期的な点列として表現される。時相データ取得装置50はこの取得要求に応じて対応する時相データSjを取得し送信するので、時相データ取得部113は時相データ取得装置50からLAN30を介して当該脈波データSjを受信する。時相データ取得部113は受信した時相データSjを記憶部120に格納する。
データ取得部110はSLO像撮像装置20に対して広画角画像DLと、異なる固視標位置Fjで撮像された複数の高倍率画像DHj、固視標位置Fjデータの取得を要求する。ここで、時相データ取得装置50が取得する時相データSjのある位相に合わせてデータ取得部110が高倍率画像DHjを取得開始する場合と、高倍率画像DHjの取得要求後直ちに脈波データSjと高倍率画像DHjの取得を同時に開始する場合とが考えうる。本実施形態では高倍率画像DHjの取得要求後、直ちに時相データSjと高倍率画像DHjの取得を開始する。
<ステップS1270>
位置合わせ部133は、取得された高倍率画像D1jに関するフレーム間位置合わせを行い、高倍率画像D1jを広画角画像DL上に位置合わせしてモニタ305上に表示する。なお、本実施形態では各高倍率動画像D1jのフレーム間位置合わせの際に、以下に述べる例外フレームに該当するか否かを判定する例外フレーム判定を行う。各動画像におけるフレーム間位置合わせ手法や、異なる倍率の画像間の位置合わせ(画像貼り合わせ)手法としては任意の公知の位置合わせ手法を用いてよく、本実施形態では双方ともアフィン変換及び相関係数を用いて位置合わせを行う。
ここで、例外フレームとは、図12(c)のように高倍率動画像DHの各フレームにおいて固視不良による位置ずれの大きいフレームEsや瞬目による低輝度フレームEb、収差補正不良による低画質フレーム(不図示)をいう。例外フレームは、輝度異常の程度、歪みの大きさ、信号に対する雑音の大きさ、基準フレームに対する変位量等が一定値以上か否かに基づき判定しうる。具体的には、
a)フレーム間の位置合わせパラメータ値のうち並進が閾値以上の場合
b)各フレームの平均輝度値が閾値未満の場合
c)各フレームのS/N比が閾値未満の場合
に例外フレームと判定する。例外フレーム判定の結果、各高倍率動画像D1jにおける例外フレームの発生間隔の最大値が閾値Te以下の場合や、例外フレームの総数が閾値Ts以上の場合に、再取得要否決定部1325が当該高倍率画像D1jの再取得が必要と判定する。再取得要否決定部1325は、当該高倍率画像D1jの再取得が必要と判定した場合に高倍率画像取得部112に対して高倍率画像D1jの再取得を要求し、高倍率画像取得部112がこの要求に従って当該高倍率画像D1jを再取得する。
なお、フレーム間位置合わせ及び例外フレーム判定、再取得要否判定、再取得は、全ての高倍率画像を取得した後に実行する必要は必ずしもなく、例えば、各々の高倍率画像取得後直ちに実行して再取得が必要と判定され次第、直ちに再取得してもよい。あるいは、S1210の中間倍率画像D2kのフレーム間位置合わせの際に例外フレーム判定及び再取得要否判定を実行して再取得が必要と判定され次第、中間倍率画像D2kの再取得を行ってもよい。さらに、例外フレーム判定はSLO動画像のフレーム間位置合わせ処理時に限定されるものではなく、例えば前眼部カメラを眼科装置10に接続しておき、前眼部カメラの画像処理、例えば、低輝度フレーム検出、瞳位置検出等を用いて判定してもよい。
(画像表示処理)
次に、図9に示すフローチャートを参照しながら、S550で実行される処理の詳細について説明する。なお、S910、S930以外は実施形態1の場合と同様であるので、本実施形態ではS910、S930おける処理について説明する。
<ステップS910>
表示制御部131は、S1270において得られた位置合わせパラメータ値に基づき、図7(e)に示すような広画角画像DLへの高倍率画像DHの重畳画像を生成するための処理を行う。本実施形態では、S930で説明するように高倍率画像DHを静止画像としてではなく動画像として貼り合わせ表示するので、代表画像の生成は行わない。ただし、フレーム間位置合わせ後の画像には画像端部に画素値が0の領域が生じて表示上邪魔になる場合があるので、貼り合わせ表示時の画像端部においては、例外フレーム以外の全てのフレームを通して画素値が0より大きい画素のみを表示する。
また、本実施形態では上記貼り合わせ動画像の隣に、傍中心窩の毛細血管の分布をより詳細に観察できるようにするための画像として、図7(f)のような毛細血管画像の貼り合わせ表示も行う。毛細血管画像は、S1220で中間倍率画像D2kに対して実行した毛細血管領域の特定処理を中間倍率画像D2kだけでなく高倍率画像D1jに対しても同様に実行して2値画像を生成し、S1270で得た位置合わせパラメータに基づいて貼り合わせ表示する。また、毛細血管画像に対しても動画像の貼り合わせの場合と同様に、例外フレーム以外の全てのフレームを通して画素値が0より大きい画素のみを表示する。
<ステップS930>
複数の中間倍率画像D2kや高倍率画像D1jを広画角画像DL上に表示させる場合には時相データ(脈波のような生体信号に基づく周期データ)に基づいて各中間倍率画像D2k、高倍率画像D1jの再生タイミングを同期させる。具体的には、表示制御部131が時相データ取得部113から各動画像(すなわち、各高倍率画像D1j、中間倍率画像D2k)に対応する時相データSj、Skを取得し、各々の時相データの極値を検出して拍動周期を算出する。次に、各高倍率画像D1j、中間倍率画像D2kにおける例外フレーム番号系列を取得し、例外フレームを含まない連続したフレーム系列を表示対象として選択する。さらに、選択したフレームにおける拍動周期が動画像(高倍率画像D1j、中間倍率画像D2k)間で異なる場合は、動画像間における表示フレーム間隔の調整処理(「フレーム補間処理」という)を行う。さらに、各動画像に対応する時相データの極値に対応するフレームの再生タイミングが一致するように各動画像の再生開始時刻を調整しつつ、拍動周期の整数回分のフレームを再生することで貼り合わせ動画表示を行う。
なお、本発明の表示法はこれに限定されるものではなく、もし時相データが取得されていない場合には本ステップは省略し、再生時刻を調整せずに動画像として貼り合わせ表示してもよい。
以上のように、本実施形態に係る眼科装置10は、複数の高倍率の補償光学SLO画像を取得する場合に、高倍率画像よりも画角の広い画像から抽出された画像特徴に基づいて複数の高倍率画像取得に関するパラメータ値を決定する。このため、高倍率画像よりも広範囲で被検眼により分布の異なる組織、細胞群もしくは病変候補を効率的に撮像することが可能となる。
また、本実施形態では、血管もしくは血球が移動した領域に関する画像の特徴に基づき、撮像された高倍率画像から少なくとも1つの血管画像をモニタ305に表示させる。このため、広画角画像から、特に入念な観察が必要な部分のみを適切に抽出して、精密な撮像・表示を自動的に行うことが可能となる。
<<実施形態3>>
本実施形態に係る眼科装置は、複数の高倍率の補償光学OCT断層画像を取得する場合に、この高倍率画像よりも画角の広いOCT断層画像から抽出された画像特徴に基づいて複数の高倍率画像取得に関するパラメータ値を決定するよう構成したものである。具体的には、漿液性網膜剥離RDにより網膜外層が変形した中心窩付近の視細胞層に対して複数の高倍率画像を円板状に取得する基本パターンを操作者が選択して画像取得パラメータの初期値とする。次に、広画角OCT断層画像から取得した層形状の画像特徴に基づいて複数の高倍率画像の取得パラメータ(取得位置、画角、画素サイズ、コヒーレンスゲート)を変更し、撮像する場合について説明する。
(全体構成)
本実施形態に係る眼科装置10と接続される機器の構成を図1(c)に示す。本実施形態では、眼科装置10は、SLO像撮像装置20に代えて、補償光学系を備えた断層像撮像装置60と接続される点が実施形態1と異なっている。断層像撮像装置60は眼部の断層像を撮像する装置である。断層像撮像装置60は、例えば、スペクトラルドメイン方式のOCT(SD−OCT:Spectral Domain Optical Coherence Tomography)として構成される。眼部断層像撮像装置60は不図示の操作者による操作に応じ、被検眼の断層像を3次元的に撮像する。撮像した断層像は眼科装置10へと送信される。
(眼科装置)
次に、本実施形態に係る眼科装置10の機能ブロックを図13に示す。画像処理部130に広画角画像の特徴を取得する画像特徴取得部134を備える点が実施形態1の構成と異なっている。また、データサーバ40は眼部の画像特徴や眼部の画像特徴の分布に関する正常値データを保持している。ここでは、これらのデータとして、網膜層境界やその形状、厚みに関する正常値データを保持している場合を説明する。
(断層像撮像装置)
次に、図14を用いて補償光学系を備えた断層像撮像装置60の構成を説明する。図14において、201は光源であり、本実施形態では波長840nmのSLD光源を用いる。光源201は低干渉性のものであればよく、波長幅30nm以上のSLD光源が好適に用いられる。また、チタンサファイアレーザなどの超短パルスレーザなどを光源に用いることもできる。光源201から照射された光は、単一モード光ファイバ202を通って、ファイバカプラ520まで導光される。ファイバカプラ520によって、測定光経路521と参照光経路522に分岐される。ここでは、ファイバカプラは10:90の分岐比のものが使用され、投入光量の10%が測定光経路521に到達するように構成される。測定光経路521を通った光は、コリメータ203により、平行な測定光として照射される。
コリメータ203以降の構成は実施形態1で説明したSLO像撮像装置20と同様である。すなわち、補償光学系や走査光学系を通して眼球211に照射し、眼球211からの反射散乱光は再度同様の経路をたどって光ファイバ521に導光されてファイバカプラ520に到達する。一方、参照光経路522を通った参照光はコリメータ523で出射され、光路長可変部524で反射して再度ファイバカプラ520に戻る。ファイバカプラ520に到達した測定光と参照光は合波され、光ファイバ525を通して分光器526に導光される。分光器526によって分光された干渉光情報をもとに、制御部217によって眼部の断層像が構成される。制御部217は光路長可変部524を制御し、所望の深さ位置の画像を取得できる。
なお、図14の構成で走査光学系の振り角を大きくし、補償光学制御部216が収差補正を行わないよう指示することによって断層像撮像装置60は通常の断層像撮像装置としても動作し、広画角な断層像(広画角画像DL)を撮像できる。また、本実施形態では、補償光学系を備えた断層像撮像装置60をSD−OCTとして構成しているが、SD−OCTであることが必須の要件ではない。例えば、タイムドメインOCTもしくはSS−OCT(Swept Source Optical Coherence Tomography)として構成してもよい。SS−OCTの場合には異なる波長の光を異なる時間で発生させる光源を用い、スペクトル情報を取得するための分光素子は不要となる。また、SS−OCTでは、網膜だけでなく脈絡膜も画像に含まれる高深達な画像を取得できる。
(処理手順)
本実施形態に係る眼科装置10の画像処理フローを図5に示す。S510、S520、S530、S540、S550以外の処理内容は、図5を参照して説明した実施形態1の処理と同様である。そこで、本実施形態では、S510、S520、S530、S540、S550の処理の説明を行う。
<ステップ510>
広画角画像取得部111は、断層像撮像装置60に対して、広画角画像DLおよび固視標位置FLの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置FLを設定して広画角画像DLを取得する場合の例を説明する。なお、撮像位置の設定手法はこれに限定されず、他の任意の位置に設定してよい。
断層像撮像装置60は、広画角画像取得部111からの取得要求に応じて広画角画像DL、固視標位置FLを取得し、広画角画像取得部111へ送信する。広画角画像取得部111は、断層像撮像装置60からLAN30を介して当該広画角画像DL及び固視標位置FLを受信する。広画角画像取得部111は受信した広画角画像DL及び固視標位置FLを記憶部120に格納する。
<ステップS520>
画像取得パターン提示部1311は、記憶部120から複数の高倍率画像を取得する際のパラメータに関する基本的な設定パターン(画像取得パターン)を少なくとも一種類取得し、モニタ305に表示する。画像取得パターンとしては任意のパターンが設定可能であるが、本実施形態では図15の(a)〜(f)に示すような基本パターンを提示する。すなわち、図15(a)は線状、図15(b)は十字型、図15(c)は放射状、図15(d)は矩形型、図15(e)は円板型、図15(f)は環状である。
次に指示取得部140は、どの画像取得パターンを選択するかの指示を外部から取得する。本実施形態では観察対象が図15(i)に示すような漿液性網膜剥離RDにより網膜外層が変形し視細胞が障害された領域である場合を説明するので、図15(e)に示すような円板型の画像取得パターンを選択する。
なお、実施形態1の場合と同様に、3次元の断層画像においても多倍率型や多配置型、複合型の画像取得パターンを提示してもよい。例えば、多倍率型で倍率数が3の場合には、図15(h)に示すような中間倍率画像D3mの取得パターンと、図15(g)のような中間倍率画像D2kの取得パターン、図15(e)のような高倍率画像D1jの取得パターンを選択できる。さらに、多配置型の画像取得パターンの場合、深度方向(図中のz軸方向)に画像取得パターンを複数配置して提示してもよい。
<ステップS530>
決定部132において、S520において選択された画像取得パターンが持つ複数画像の取得パラメータを初期値として、画像特徴取得部134が取得した画像特徴に基づいて画像取得パラメータを調節することにより複数の高倍率画像の取得パラメータを決定する。本ステップの処理(高倍率画像取得処理)については、図16に示すフローチャートを用いて後に詳しく説明する。
<ステップS540>
位置合わせ部133は、広画角画像DLと高倍率画像DHjとの位置合わせを行い、広画角画像DL上の高倍率画像DHjの位置を決定する。まず、位置合わせ部133は記憶部120から高倍率画像DHjの撮像の際に用いた固視標位置FHjを取得し、広画角画像DLと高倍率画像DHjとの位置合わせにおける位置合わせパラメータの探索初期点とする。高倍率画像DHj間で重なり領域がある場合には、まず、この重なり領域に関して画像間類似度を算出し、画像間類似度が最大となる位置に高倍率画像DHj同士の位置を合わせる。次に、S530において異なる解像度の高倍率画像が取得されている場合には、実施形態1の場合と同様に、より低倍率の画像から順に位置合わせを行う。本実施形態では高倍率画像の解像度が1種類であるので、広画角画像DLと高倍率画像DHとの位置合わせのみ行う。
なお、画像間類似度や座標変換手法としては任意の公知の手法を用いることができ、本実施形態では画像間類似度として3次元の相関係数、座標変換手法として3次元のAffine変換を用いて位置合わせを行う。
<ステップS550>
表示制御部131は、S540において得られた位置合わせパラメータの値に基づき、広画角画像DL上に高倍率画像DHjを表示する。本実施形態において広画角画像DL及び高倍率画像DHjはともに3次元断層像であるため、以下の2種類の表示を行う。
i)z軸方向に関し広画角画像DLと高倍率画像DHjの投影画像を生成し、広画角画像DLの投影画像上に高倍率画像DHの投影画像を重畳表示する。
ii)広画角3次元断層像DLのみ取得された位置では広画角画像3次元断層像DLの画素値で、広画角3次元断層像DLと高倍率3次元断層像DHjともに取得された位置では高倍率3次元断層像DHjの画素値で表示した広画角3次元断層像DL"を生成する。さらに広画角3次元断層像DL"上の特定の走査位置をi)の重畳画像上に矢印で表示し、この矢印の位置で切り出した広画角3次元断層像DL"の2次元断層像を、i)のような重畳画像と並べて表示させる。本表示では、広画角3次元断層像DLの2次元断層像だけでなく、高倍率3次元断層像DHjの2次元断層像も重畳表示される。
ii)の表示においては、操作者が、指示取得部140を通じて広画角断層像DL"の表示位置を示す矢印を(上下もしくは左右に)動かすことができる。この操作に連動して切り出されて表示される広画角画像DL及び高倍率画像DHjの表示スライスも変化する。
また、本実施形態のように取得位置の異なる高倍率画像DHjが複数取得されている場合には、実施形態1の場合と同様の手法を用いて、高倍率画像DHj間で輝度特性が類似するような調整を行う。さらに、高倍率画像DHj同士の撮像位置が近く重なりがある場合(撮像位置が同一である場合も含む)には、重なっている領域の表示法を以下のいずれかに設定する。すなわち、画像の画質指標値を算出しておき、最も評価値が高い画像を表示させるか、各高倍率画像DHjの輝度を、前述の画質指標値に基づいて透明度を重みづけしてブレンディングする。ここで画質指標値は任意の公知の指標を用いることができ、本実施形態では画像ヒストグラムの平均輝度値を用いる。
なお、上記投影画像を生成する手法としては平均値投影に限らず、任意の投影法を用いてよい。また、高倍率画像DHjは静止画に限定されるものではなく、動画像でもよい。
(高倍率画像取得処理)
次に、図16に示すフローチャートを参照しながら、S530で実行される処理(高倍率画像取得処理)の詳細について説明する。なお、S1510は実施形態1のS810の場合と同様であるので説明は省略する。
<ステップS1520>
画像特徴取得部134は、記憶部120に格納された広画角画像DL、すなわち眼部の3次元断層像から、画像特徴として、内境界膜B1、神経線維層境界B2、内網状層境界B4、視細胞内節外節境界B5、網膜色素上皮境界B6の各境界位置を抽出する。図7(a)、図15(i)、図15(j)は、境界位置B1〜B6を模式的に示している。そして、抽出した各々の画像特徴を記憶部120に格納する。
ここで、広画角画像DLに対する特徴抽出手順を具体的に説明する。はじめに、層の境界を抽出するための抽出手順について説明する。なお、ここでは処理対象である3次元断層像を2次元断層像(Bスキャン像)の集合と考え、各2次元断層像に対して以下の処理を行う。まず、着目する2次元断層像に平滑化処理を行い、ノイズ成分を除去する。次に2次元断層像からエッジ成分を検出し、その連結性に基づいて何本かの線分を層境界の候補として抽出する。そして、抽出した候補から1番上の線分を内境界膜B1、上から2番目の線分を神経線維層境界B2、3番目の線分を内網状層境界B4として抽出する。また、内境界膜B1よりも外層側(図7(a)において、z座標が大きい側)にあるコントラスト最大の線分を視細胞内節外節境界B5として抽出する。さらに、層境界候補群のうち一番下の線分を網膜色素上皮境界B6として抽出する。
なお、これらの線分を初期値としてSnakesやレベルセット法等の可変形状モデルを適用し、更に精密抽出を行うように構成してもよい。また、グラフカット法により層の境界を抽出するように構成してもよい。なお、可変形状モデルやグラフカットを用いた境界抽出は、3次元断層像に対し3次元的に実行してもよいし、各々の2次元断層像に対し2次元的に実行してもよい。また、層の境界を抽出する手法は、眼部の断層像から層の境界を抽出可能な手法であれば、いずれの手法を用いてもよいことはいうまでもない。
<ステップS1530>
倍率決定部1321で高倍率画像DHjの倍率の種類(倍率数、画角及び画素サイズ)を決定する。本実施形態では倍率数と画素サイズについては、固定(各々1、1[μm]×1[μm]×1[μm])されている場合を説明するので、詳細な説明は省略する。なお、画角や画素サイズについてはz軸方向のパラメータも含まれる点が実施形態1の場合と異なる。画角については可変パラメータとし、S1520で得られた視細胞内節外節境界B5と網膜色素上皮境界B6との距離が閾値Trd以上の位置にある高倍率画像のみ画角を閾値Ta[%]大きくする。画角を大きくする理由は、観察上重要な領域であるため固視ずれによる撮像もれを防ぐため、及び、網膜剥離領域の上にある視細胞の外節部分がつらら状に網膜色素上皮境界B6方向に伸長する場合があり、視細胞全体を高倍率画像で取得可能にするためである。
次に、位置決定部1322にて、各高倍率画像DHjの取得位置とコヒーレンスゲート位置を決定する。本実施形態ではいずれも可変パラメータとし、高倍率画像DHjの取得位置については以下の手順で決定する。
a)画像取得パターンの代表位置の配置決定。
b)画像取得パターンのxy平面方向の配置決定。
c)画像取得パターンのz軸方向の配置決定。
ここで、a)については、画像取得パターンの代表位置を画像取得パターンの中心とし、この中心が網膜剥離領域上の重心位置と一致するように配置する。なお、網膜剥離領域とは、視細胞内節外節境界B5と網膜色素上皮境界B6との距離が閾値Trd以上の領域をx−y平面に投影した領域をいう。
b)については、画像取得パターンの領域内に網膜剥離領域が包含されるようにするため、以下の手順で高倍率画像のxy方向の配置を決定する。すなわち、最外周部にある高倍率画像の画像中心同士を結ぶ円を求め、この円が網膜剥離領域の外接円となる位置まで円を拡大し、円領域内を一定間隔で満たすように高倍率画像のxy方向の位置を決定する。
c)のz軸方向の取得位置に関しては、S1520で取得された視細胞内節外節境界B5が高倍率画像の画像中心と一致するように決定する。また、各高倍率画像DHjのコヒーレンスゲートは、設定可能な位置のうちでS1520で検出された視細胞内節外節境界B5に最も近い位置に設定する。
図15(i)に本実施形態における画像取得パターンの初期取得位置、図15(j)に本ステップで決定された取得位置を示す。ただし、両図では取得パターンをわかりやすくするために画像取得パターンのうち中央の2列分の取得位置のみ、網膜剥離領域上で高倍率画像の画角が大きくなることや高倍率画像間の重なりは省略して表示している。なお、可変パラメータの種類は上記の限りではなく、任意の画像取得パラメータを可変パラメータとしてよい。
<ステップS1540>
順序決定部1324は、高倍率画像DHjの取得順序を決定する。本実施形態では、以下のi)〜iv)のうち、i)が最内側(最高優先度)、ii)が2番目に内側、iii)が3番目に内側、iv)が最外側(最低優先度)のループとなるようにして繰り返し処理を行う。すなわち、取得開始位置(本実施形態では画像取得パターンの上端を設定し、取得倍率を最低倍率に設定したうえで、以下のi)〜iv)の手順を実行する。
i) 同一配置パターンかつ同一取得倍率かつ同一画像取得位置における画像を繰り返し取得回数分だけ取得する。
ii) 同一配置パターンかつ同一取得倍率における画像を、隣接する画像取得位置へ移動させた上で再びi)と同様にして取得する。
iii)ii)が終了したら、取得倍率の値をより大きくして再びii)の操作を実行し、倍率数分だけ同様の操作を繰り返す。
iv) iii)が終了したら、別配置でiii)の操作を実行し、全ての配置で画像を取得するまで繰り返す。
なお、上記の例ではi)の繰り返し取得はなし(取得回数は1回のみ)であり、画像取得パターンが多配置型ではないので、iv)の処理は省略される。またii)の隣接する画像取得位置については任意の方向へ移動でき、本実施形態では横方向(横にない場合は斜め下、斜め下にもない場合は真下)の隣接位置に取得位置を移動させる。すなわち、高倍率画像取得位置のうち1段目は右から左、2段目は左から右、3段目は右から左、というような順序で高倍率画像を順に取得していく。なお、本発明の順序決定法は上記の手順に限定されるものではなく、任意の公知の順序設定法を用いてよい。
<ステップS1550>
高倍率画像取得部112は、決定部132によって指示された画像取得パラメータを用いて複数の高倍率画像DHj及び固視標位置FHjを取得するよう断層像撮像装置60に対して要求する。断層像撮像装置60は、この取得要求に応じて高倍率画像DHj、固視標位置FHjを取得し送信するので、高倍率画像取得部112は断層像撮像装置60からLAN30を介して当該高倍率画像DHj及び固視標位置FHjを受信する。高倍率画像取得部112は、受信した高倍率画像DHj及び固視標位置FHjを記憶部120に格納する。
なお、本実施形態では、視細胞層境界に関する画像特徴を用いて高倍率画像DHjの取得位置を決定したが、本発明はこれに限定されない。例えば、実施形態1の場合と同様に、操作者が高倍率画像の画像取得パターンの位置を操作(移動、拡大、縮小)させ、取得位置をまとめて調整することにより決定してもよい。
以上のように、眼科装置10は、複数の高倍率の補償光学OCT断層画像を取得する場合に、高倍率画像よりも画角の広いOCT断層画像から抽出された層形状に関する画像特徴に基づいて複数の高倍率画像取得に関するパラメータ値を決定する。これにより、高倍率画像よりも広範囲で被検眼により分布の異なる組織、細胞群もしくは病変候補を効率的に撮像できる。
<<その他の実施形態>>
上述の実施形態では位置合わせ対象画像をSLO画像や眼部断層像として実現したが、本発明はこれに限られない。例えば、広画角画像DLを眼底カメラ画像、高倍率画像DHを補償光学眼底カメラ画像として実現してもよい。また、広画角画像DLを広画角SLO画像、高倍率画像DHを補償光学断層像の投影像のようにモダリティの異なる画像として実現してもよい。さらに、補償光学SLO像撮像装置20と断層像撮像装置60との複合機と、眼科装置10が直接接続された構成として実現してもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
10:眼科装置、20:SLO像撮像装置、60:断層像撮像装置、
130:画像処理部、134:画像特徴取得部

Claims (6)

  1. 検眼の撮像対象領域における、複数の画像の撮像を制御する情報処理装置であって、
    前記複数の画像を撮像する複数の撮像領域の配置を示す複数の基本パターンから1つの基本パターンを選択する選択手段と、
    前記複数の撮像領域の数を設定する設定手段と、
    前記設定手段で設定された撮像領域の数と前記選択された基本パターンの撮像領域の配置に従って、前記被検眼の領域において前記複数の画像を撮像装置に撮像させる制御手段とを有することを特徴とする情報処理装置。
  2. 前記設定手段は、前記選択した基本パターンの全体のサイズを設定させることにより前記複数の撮像領域の数を設定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記サイズの設定は、操作者の操作に応じて前記サイズを変更することにより行われることを特徴とする請求項2に記載の情報処理装置。
  4. 前記複数の画像の隣接する画像間の重なり領域を有することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 検眼の撮像対象領域における、複数の画像の撮像を制御する情報処理装置の制御方法であって、
    前記複数の画像を撮像する複数の撮像領域の配置を示す複数の基本パターンから1つの基本パターンを選択する選択工程と、
    前記複数の撮像領域の数を設定する設定工程と、
    前記設定工程で設定された撮像領域の数と前記選択された基本パターンの撮像領域の配置に従って、前記被検眼の領域において前記複数の画像を撮像装置に撮像させる制御工程とを有することを特徴とする情報処理装置の制御方法。
  6. 求項1乃至のいずれか1項に記載の情報処理装置各手段を、コンピュータで実現するためのコンピュータプログラム。
JP2019002136A 2019-01-09 2019-01-09 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム Active JP6636188B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019002136A JP6636188B2 (ja) 2019-01-09 2019-01-09 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019002136A JP6636188B2 (ja) 2019-01-09 2019-01-09 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017134948A Division JP6465930B2 (ja) 2017-07-10 2017-07-10 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019228612A Division JP6732093B2 (ja) 2019-12-18 2019-12-18 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2019051410A JP2019051410A (ja) 2019-04-04
JP6636188B2 true JP6636188B2 (ja) 2020-01-29

Family

ID=66013656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019002136A Active JP6636188B2 (ja) 2019-01-09 2019-01-09 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム

Country Status (1)

Country Link
JP (1) JP6636188B2 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU737411B2 (en) * 1997-04-01 2001-08-16 Johns Hopkins University, The A system for imaging an ocular fundus semi-automatically at high resolution and wide field
DE19881541B3 (de) * 1997-09-17 2014-08-14 Kabushiki Kaisha Topcon Ophthalmologische Kamera
WO2001028405A2 (en) * 1999-10-20 2001-04-26 The Trustees Of The University Of Pennsylvania Enhancement of images for ophthalmic disgnosis
JP4248270B2 (ja) * 2003-02-26 2009-04-02 株式会社ニデック 眼底カメラ
JP2013070941A (ja) * 2011-09-29 2013-04-22 Nidek Co Ltd 眼科撮影装置
JP5870866B2 (ja) * 2012-07-12 2016-03-01 株式会社ニデック 角膜内皮細胞撮影装置

Also Published As

Publication number Publication date
JP2019051410A (ja) 2019-04-04

Similar Documents

Publication Publication Date Title
JP6174908B2 (ja) 情報処理装置、情報処理方法、及び、コンピュータプログラム
JP6108827B2 (ja) 眼科装置および位置合わせ方法
EP2845534B1 (en) Ophthalmic apparatus
JP6463048B2 (ja) 画像処理装置及び画像処理装置の作動方法
JP6463047B2 (ja) 眼科装置及び眼科装置の作動方法
US20200375453A1 (en) Tomographic image acquisition apparatus and tomographic image acquisition method
US10383514B2 (en) Ophthalmologic imaging apparatus, operation method thereof, and computer program
JP7091018B2 (ja) 断層画像取得装置及び方法
JP2019213739A (ja) 眼科装置、その制御方法、プログラム、及び記録媒体
JP6882242B2 (ja) 眼科装置およびその制御方法
JP6636188B2 (ja) 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム
JP6732093B2 (ja) 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム
JP6465930B2 (ja) 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム
JP6594499B2 (ja) 画像処理装置及び画像処理装置の作動方法
JP6419238B2 (ja) 眼科装置および位置合わせ方法
WO2020209012A1 (ja) 画像解析方法及び画像解析装置
JP2024007133A (ja) 眼科画像処理装置および眼科画像処理プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190131

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191217

R151 Written notification of patent or utility model registration

Ref document number: 6636188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151