以下、添付図面に従って本発明に係る眼科装置及び方法の好ましい実施形態について詳説する。ただし本発明はこれに限定されるものではない。
[第1の実施形態]
本実施形態に係る眼科装置は、高倍率画像Dhとして補償光学SLO画像、低倍率画像として眼部断層像の走査位置が重畳された眼部のSLO画像を取得する。高倍率画像Dhと低倍率画像Dlの取得倍率の違いや高倍率画像Dhの固視位置に基づき中間倍率画像Dmの取得要否、取得倍率や取得位置を判定し、中間倍率画像Dmを取得する。次に、取得倍率の低い画像から順に倍率の近い画像同士を両画像に共通する画像特徴に基づき位置合わせすることで低倍率画像Dl上の高倍率画像Dhの相対位置を決定する。
これにより、画角や画素サイズが大きく異なる眼部画像同士を正確に位置合わせできる。
なお、本実施形態では画角や画素サイズが大きく異なる眼部画像同士が位置合わせされている場合の画像表示例として低倍率画像Dl上に表示された眼部断層像の走査位置を高倍率画像Dh上に重畳表示する場合について説明する。
(全体構成)
図2(a)は本実施形態に係る眼科装置10を含むシステムの構成図である。図2(a)に示すように眼科装置10は、SLO像撮像装置20やデータサーバ40と、光ファイバ、USBやIEEE1394等で構成されるローカル・エリア・ネットワーク(LAN)30を介して接続されている。なおこれらの機器との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよいし、あるいは眼科装置10がSLO像撮像装置20に直接接続されている構成であってもよい。
SLO像撮像装置20は眼部の低倍率画像Dl、中間倍率画像Dm、高倍率画像Dhを撮像する装置である。SLO像撮像装置20は低倍率画像Dlや中間倍率画像Dm、高倍率画像Dhを撮像し、前記低倍率画像Dlや前記中間倍率画像Dm、前記高倍率画像Dh、及びその取得時に用いた固視標位置FlやFm、Fhの情報を眼科装置10、データサーバ40へ送信する。
なお、mは倍率番号を表し、l<m<hとする。また、各倍率の画像を異なる位置で取得する場合にはDli,Dmj,Dhkのように表す。すなわちi,j,kは各々取得位置番号を示す変数であり、i=1,2,...,imax、j=1,2,...,jmax、k=1,2,...,kmaxとする。
データサーバ40は被検眼の低倍率画像Dl、中間倍率画像Dm、高倍率画像Dh、及び取得時に用いた固視標位置Fl、Fm、Fh、画像の取得倍率ごとに観察される画像特徴を記載したリスト、サイズの大きな画像特徴が存在する確率を示すマップを保持する。SLO像撮像装置20が出力する低倍率画像Dl、中間倍率画像Dm、高倍率画像Dh、画像取得時に用いた固視標位置Fl、Fm、Fhを該サーバに保存する。また眼科装置10からの要求に応じ、低倍率画像Dl、中間倍率画像Dm、高倍率画像Dh、固視標位置Fl、Fm、Fh、画像の取得倍率ごとの画像特徴リスト、画像特徴の存在確率マップを眼科装置10に送信する。
次に、図1を用いて本実施形態に係る眼科装置10の機能構成を説明する。図1は眼科装置10の機能構成を示すブロック図であり、眼科装置10は画像取得部110、記憶部120、画像処理部130、指示取得部140を有する。
また、画像処理部130は決定部131、位置合わせ部132、表示部133を備え、決定部131は要否判定部1311、倍率決定部1312、位置決定部1313、順序決定部1314を有する。
図3を用いて補償光学系を備えたSLO像撮像装置20の構成を説明する。
201は光源であり、SLD光源(Super Luminescent Diode)を用いた。本実施例では撮像と波面測定のための光源を共用しているが、それぞれを別光源とし、途中で合波する構成としても良い。
光源201から照射された光は、単一モード光ファイバー202を通って、コリメータ203により、平行な測定光205として照射される。
照射された測定光205はビームスプリッタからなる光分割部204を透過し、補償光学の光学系に導光される。
補償光学系は、光分割部206、波面センサー215、波面補正デバイス208および、それらに導光するための反射ミラー207−1〜4から構成される。ここで、反射ミラー207−1〜4は、少なくとも眼の瞳と波面センサー215、波面補正デバイス208とが光学的に共役関係になるように設置されている。また、光分割部206として、本実施例ではビームスプリッタを用いる。また、本実施例では波面補正デバイス208として液晶素子を用いた空間位相変調器を用いる。なお、波面補正デバイスとして可変形状ミラーを用いる構成としてもよい。
補償光学系を通過した光は、走査光学系209によって、1次元もしくは2次元に走査される。
走査光学系209として、本実施形態では主走査用(眼底水平方向)と副走査用(眼底垂直方向)に2つのガルバノスキャナーを用いた。より高速な撮影のために、走査光学系209の主走査側に共振スキャナーを用いてもよい。
走査光学系209で走査された測定光205は、接眼レンズ210−1および210−2を通して眼211に照射される。眼211に照射された測定光205は眼底で反射もしくは散乱される。接眼レンズ210−1および210−2の位置を調整することによって、眼211の視度にあわせて最適な照射を行うことが可能となる。ここでは、接眼部にレンズを用いたが、球面ミラー等で構成しても良い。
眼211の網膜から反射もしくは散乱された反射散乱光(戻り光)は、入射した時と同様の経路を逆向きに進行し、光分割部206によって一部は波面センサー215に反射され、光線の波面を測定するために用いられる。
波面センサー215は補償光学制御部216に接続され、受光した波面を補償光学制御部216に伝える。波面補正デバイス208も補償光学制御部216に接続されており、補償光学制御部216から指示された変調を行う。補償光学制御部216は波面センサー215の測定結果による取得された波面を基に収差のない波面へと補正するような変調量(補正量)を計算し、波面補正デバイス208にそのように変調するように指令する。なお、波面の測定と波面補正デバイス208への指示は繰り返し処理され、常に最適な波面となるようにフィードバック制御が行われる。
光分割部206を透過した反射散乱光は光分割部204によって一部が反射され、コリメータ212、光ファイバー213を通して光強度センサー214に導光される。光強度センサー214で光は電気信号に変換され、制御部217によって眼部画像として画像に構成されて、ディスプレイ218に表示される。
なお、図3の構成で走査光学系の振り角を大きくし、補償光学制御部216が収差補正を行わないよう指示することによってSLO像撮像装置20は通常のSLO装置としても動作し、広画角なSLO画像(低倍率画像Dl)を撮像できる。
次に、図4を用いて眼科装置10のハードウェア構成について説明する。図4において、301は中央演算処理装置(CPU)、302はメモリ(RAM)、303は制御メモリ(ROM)、304は外部記憶装置、305はモニタ、306はキーボード、307はマウス、308はインターフェースである。本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置304に記憶されている。これらの制御プログラムやデータは、CPU301による制御のもと、バス309を通じて適宜RAM302に取り込まれ、CPU301によって実行され、以下に説明する各部として機能する。
眼科装置10を構成する各ブロックの機能については、図5のフローチャートに示す眼科装置10の具体的な実行手順と関連付けて説明する。
<ステップ510>
画像取得部110はSLO像撮像装置20に対して、低倍率画像Dlおよび高倍率画像Dh、固視標位置Fl及びFhの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置Flを設定して低倍率画像Dlを取得し、傍中心窩Fhに固視標位置を設定して高倍率画像Dhを取得する。すなわち、画像取得部110は異なる倍率の画像を取得する画像取得手段の一例に相当する。なお、画像取得位置の設定方法はこれに限定されず、任意の位置に設定してよい。
SLO像撮像装置20は該取得要求に応じて低倍率画像Dl、高倍率画像Dh、固視標位置Fl、Fhを取得し送信するので、画像取得部110はSLO像撮像装置20からLAN30を介して低倍率画像Dl、高倍率画像Dh、固視標位置Fl、Fhを受信する。画像取得部110は受信した低倍率画像Dl、高倍率画像Dh、固視標位置Fl、Fhを記憶部120に格納する。
<ステップ520>
決定部131において、低倍率画像Dlと高倍率画像Dhとの中間の解像度を持つ中間倍率画像Dmの取得に関する要否と、該中間倍率画像Dmの取得が必要と判定した場合に中間倍率画像Dmの倍率、取得位置、取得順序を決定する。また、決定部131は画像取得部110に対して中間倍率画像Dmの取得要求を行い、画像取得部110が中間倍率画像Dmを取得する。ここで、決定部131は、画像取得手段によって取得された画像または当該画像の取得条件の少なくとも一方に基づいて画像取得手段によって取得された画像間の中間の倍率を持つ画像の取得法を決定する決定手段の一例に相当する。
なお、中間倍率画像Dmを取得する方法として
1)画像取得部110がSLO像撮像装置20に対して中間倍率画像Dmの取得を要求し、SLO像撮像装置20が取得した中間倍率画像Dmを記憶部120に転送する
2)画像取得部110がデータサーバ40に対して保管されている中間倍率画像Dmの転送を要求し、データサーバから中間倍率画像Dmを転送する
の2つがあり、本実施形態では1)の場合として説明する。
もちろん、本発明は1)の場合に限定されるものではなく、2)のように実施してもよい。
本ステップの処理については、図7に示すフローチャートを用いて後に詳しく説明する。
<ステップ530>
位置合わせ部132は、低倍率画像Dlと高倍率画像Dhとの位置合わせを行う。S530において中間倍率画像Dmが取得されている場合には、該中間倍率画像Dmも用いて低倍率画像Dl上の高倍率画像Dhの位置が決定される。ここで、位置合わせ部132は取得された画像を位置合わせする位置合わせ手段の一例に相当する。
本ステップの処理については、図9に示すフローチャートを用いて後に詳しく説明する。
<ステップ540>
表示手段の一例に相当する表示部133は、S530において得られた位置合わせパラメータの値に基づき、低倍率画像Dl上に高倍率画像Dhを重畳表示する。
なお本実施形態では低倍率画像Dl上に眼部断層像の走査位置情報が重畳されているので、高倍率画像Dh上に眼部断層像の走査位置情報が重畳表示できる。
本ステップの処理については、図10に示すフローチャートを用いて後に詳しく説明する。
なお、表示部133は低倍率画像Dl、中間倍率画像Dm、高倍率画像Dhが重ね合わされた画像を表示するとともに、低倍率画像Dl、中間倍率画像Dm、高倍率画像Dhが重ね合わされた画像の拡大図および中間倍率画像Dm、高倍率画像Dhが重ね合わされた画像を表示することとしてもよい。すなわち、表示部133は図15に示すような表示を行うこととしてもよい。なお図15では低倍率画像Dl上に倍率の異なる3つの画像を重ね合わせている。図15に示すように本実施例における重ね合わせる画像の枚数は3枚に限定されるものではなく、4枚以上であってもよい。
また、表示部133は低倍率画像Dl、中間倍率画像Dm、高倍率画像Dhが重ね合わされた画像および中間倍率画像Dm、高倍率画像Dhが重ね合わされた画像を表示するとともに、ユーザーにより指定された高倍率画像Dhを表示することとしても良い。すなわち、表示部133は図16に示すような表示を行うこととしてもよい。なお図16では低倍率画像Dl上に倍率の異なる3つの画像を重ね合わせている。
この場合、高倍率画像Dhは複数枚重ね合わせた画像であっても良いし、動画であってもよい。なお、複数の画像の表示部133における配置は任意の配置とすることが可能である。なお、高倍率画像Dhの動画と静止画とを切替可能にしてもよい。
また、断層画像の取得位置を表示可能な低倍率画像Dl上に高倍率画像Dhを表示可能であるため、高倍率画像Dh上に断層画像の取得位置を表示することも可能となる。例えば、図17に示すように高倍率画像上に断層画像の取得位置Aを表示することが可能である。
<ステップ550>
指示取得部140は、低倍率画像Dl、中間倍率画像Dm、高倍率画像Dh、固視標位置Fl、Fm、Fh、S530において取得された位置合わせパラメータ値をデータサーバ40へ保存するか否かの指示を外部から取得する。この指示は例えばキーボード306やマウス307を介して操作者により入力される。保存が指示された場合はS560へ、保存が指示されなかった場合はS570へと処理を進める。
<ステップ560>
画像処理部130は、検査日時、披検眼を同定する情報、低倍率画像Dl、中間倍率画像Dm、高倍率画像Dhと眼部特徴、固視標位置Fl、Fm、Fh、位置合わせパラメータ値を関連付けてデータサーバ40へ送信する。
<ステップ570>
指示取得部140は眼科装置10による低倍率画像Dlと高倍率画像Dhに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード306やマウス307を介して操作者により入力される。処理終了の指示を取得した場合は低倍率画像Dlと高倍率画像Dhに関する処理を終了する。一方、処理継続の指示を取得した場合にはS510に処理を戻し、次の披検眼に対する処理(または同一披検眼に対する再処理を)行う。
次に図7に示すフローチャートを参照しながら、S520で実行される処理の詳細について説明する。
まず、低倍率画像Dlと高倍率画像Dhとの中間の倍率を持つ画像(中間倍率画像)Dmの取得条件の種類として、取得の要否、取得倍率(画角及び画素サイズ)、取得位置及び合焦位置、取得順序が挙げられる。ただし、取得順序は中間倍率画像Dmを複数取得する場合に限られる。
また、これらの各取得条件の値の設定に関しては大きく
a)取得倍率を固定もしくは選択式とし、取得位置を任意設定可能にする
b)取得倍率を任意設定可能とし、取得位置は高倍率画像Dhと同じにする
の2種類が考えられる。
a)は取得される中間倍率画像Dmの取りうる各属性の値を限定できる利点があるものの、中間倍率画像Dmの取得位置が他の倍率の画像の取得位置と異なる場合には収差補正をやり直す必要が生じる。一方、b)は取得位置が変わらないため中間倍率画像Dm取得のために収差補正をやり直す必要がないものの、取得される中間倍率画像Dmの持つ属性値が多様に変化し得るため撮像装置制御ソフトウェアや画像管理ソフトウェアの対応が必要となる。
本実施形態ではSLO撮像装置20がリアルタイムに収差補正を行うため、a)の方法を用いる。この場合、操作者によって選択された高倍率画像Dhの取得倍率(画角と画素サイズ)や取得位置、合焦位置の設定に基づいて中間倍率画像Dmの取得の要否、取得位置と合焦位置を自動選択する。
もちろんb)の方法を用いて中間倍率画像Dmの取得法を決定してもよい。b)の方法を用いる場合は操作者によって選択された高倍率画像Dhの取得倍率(画角と画素サイズ)及び取得位置、合焦位置の設定に基づいて中間倍率画像Dmの取得の要否、取得倍率(画角と画素サイズ)、合焦位置を自動選択する。
さらに、中間倍率画像Dmの取得法を決定する際に用いる情報として
i)眼部で一般的に観察されやすい画像特徴を取得倍率(画素サイズと画角)別に記載したリスト
ii)位置合わせに利用可能な大きな画像特徴が存在する確率を示すマップ
iii)低倍率画像Dl及び高倍率画像Dhに対する特徴抽出結果
iv)低倍率画像Dl及び高倍率画像Dhに関する画質指標値(S/N比や平均輝度値)
が考えられる。
i)は取得要否判定及び取得倍率の設定に用いられる。
ii)は視神経乳頭やアーケード血管((図6(c)の高倍率画像DhをU字型に囲む網膜血管))のような眼部のランドマークが存在する位置を多数の健常者に対して取得し存在確率として表示したマップであり、取得要否判定、取得倍率、取得位置の設定に利用できる。図8(e)に該存在確率マップの右眼、(f)に左眼の場合の例を示す。
iii)は取得要否判定、取得倍率、取得位置の設定に用いることができる。
iv)は、i)もしくはii)に加えて補助的に用いることができる。例えば、画質指標値の値が閾値Tq未満の場合に強制的に中間倍率画像Dmの取得が必要と判定したり、選択しうる全ての中間倍率を選択したり、取得位置の間隔を狭く設定する。本実施形態では中間倍率画像Dmの取得条件のうち取得要否判定及び倍率設定をi)、取得位置をii)を用いて決定する。なお、iii)を用いる場合については実施形態2及び3で説明する。
<ステップ710>
決定部131は、低倍率画像Dl及び高倍率画像Dhに関する属性情報を記憶部120より取得する。具体的には画角[μm]及び画素サイズ[μm/pixel]、固視位置及び合焦位置、フレームレート[frame/sec]及びフレーム数[frame]、取得日時、の情報を取得する。
本実施形態では、低倍率画像Dlとして画角が12800×6400[μm]、画素サイズ16.0×16.0[μm/pixel]、固視位置が中心窩、合焦位置は網膜外層、フレームレートは16[frame/sec]、フレーム数が16[frame]、取得日時が2011年11月11日11時11分11秒とする。また、高倍率画像Dhは画角が400×400[μm]、画素サイズ1.0×1.0[μm/pixel]、固視位置が中心窩、合焦位置は網膜外層、フレームレートは32[frame/sec]、フレーム数が32[frame]、取得日時が2011年11月11日11時12分12秒とする。
<ステップ720>
要否判定部1311は、中間倍率画像取得の要否判定を行う。本実施形態では、眼部で一般的に観察されやすい画像特徴を取得倍率(実際には画角と画素サイズ)別に記載した下記のリストを用いて判定する。
取得する画像の倍率(画角と画素サイズ)に関して4種類の組み合わせが選択可能であり、各々の倍率の画像においてよく観察される画像特徴が表記されている。なお、特に取得倍率の高い画像(倍率番号4)において合焦位置により観察可能な画像特徴が異なるため、網膜内層に合焦位置を設定した場合に観察される画像特徴と、網膜外層に合焦位置を設定した場合に観察される画像特徴の両方が記載されている。倍率番号1、2、3の画像については合焦位置が内層・外層どちらの場合でも観察される画像特徴は共通している。
本実施形態では合焦位置が低倍率画像Dl・高倍率画像Dhとも網膜外層であるので、網膜外層に合焦位置を設定した場合に観察される画像特徴を用いる。
なお、画角や画素サイズの単位はスキャナの振り角に基づいて[deg]及び[deg/pixel]で表記してもよいし、健常者の眼軸長(24mm)を前提として[μm]及び[μm/pixel]で表記してもよい。
なお一般的に、健常者において視細胞が2〜3[μm]、毛細血管が8〜10[μm]、細めの動静脈が20〜100[μm]、アーケード血管が100〜200[μm]、視神経乳頭が1.5[mm]程度の大きさを持つとされている。
前記画像特徴リストを参照した場合に、低倍率画像Dlと高倍率画像Dhに共通する画像特徴がなければ中間倍率画像Dmの取得が必要と判定し、該共通する画像特徴があれば中間倍率画像Dmの取得は不要と判定する。本実施形態では共通する画像特徴がないため、中間倍率画像Dmの取得が必要と判定する。
<ステップ730>
倍率決定部1312は、S720において中間倍率画像Dmの取得が必要と判定された場合に、中間倍率画像Dmの取得倍率(画角及び画素サイズ)を決定する。中間倍率画像Dmの取得倍率の設定は以下の方針で行う。
i)低倍率画像Dlと共通する画像特徴を持つ中間倍率画像Dmのうち最も高い倍率を持つ画像の倍率を第1の中間倍率、高倍率画像Dhと共通する画像特徴を持つ中間倍率画像Dmのうち最も低い倍率を持つ画像の倍率を第2の中間倍率とする。両中間倍率が同じであれば該共通する中間倍率を設定して本ステップを終了する。
ii)両中間倍率が異なる場合に、両中間倍率画像に共通する画像特徴が前記画像特徴リストにあれば各々を中間倍率として決定し、本ステップを終了する。
iii)もしii)において共通する画像特徴が前記画像特徴リストになければ、低倍率画像Dlを第1の中間倍率画像、高倍率画像Dhを第2の中間倍率画像、第1の中間倍率画像を第3の中間倍率画像、第2の中間倍率画像を第4の中間倍率画像と置き換えて再び上記i)及びii)を実行する。
上記のような中間倍率選択の操作を、第nの中間倍率画像と第n+1の中間倍率画像に共通する画像特徴が含まれると判定されるまで繰り返す。なお、選択可能な中間倍率の全てを用いても上記終了条件に至らない場合には、それまでに得られた中間倍率を設定して本ステップを終了する。すなわち、決定手段の一例に相当する決定部131は、画像または画像の取得条件の少なくとも一方に基づいて、中間倍率画像の取得要否、取得倍率、画角、画素サイズ、取得位置、合焦位置、取得順序の少なくとも一つを決定する。
本実施形態では、低倍率画像Dl(画像特徴リスト上の倍率番号1)と共通する画像特徴(アーケード血管)を持つ第1の中間倍率画像の画角及び画素サイズとして、倍率番号2の画角と画素サイズを選択する。すなわち第1の中間倍率画像の画角及び画素サイズとして画角1600×1600[μm]と画素サイズ4.0×4.0[μm/pixel]を選択する。また、高倍率画像Dh(倍率番号4)と共通する画像特徴(毛細血管)を持つ第2の中間倍率画像の画角と画素サイズとして、倍率番号3の画角と画素サイズ、すなわち画角 800×800[μm]と画素サイズ 2.0×2.0[μm/pixel]を選択する。倍率番号2と倍率番号3では共通する画像特徴が存在するため、両倍率を中間倍率として設定しステップ740に進む。
<ステップ740>
位置決定部1313は、S730で設定された取得倍率(画角及び画素サイズ)を持つ中間倍率画像Dmjの取得位置と合焦位置を設定する。
中間倍率画像Dmjの取得位置を決定するために、本実施形態では高倍率画像Dhの固位置、画角、画素サイズのデータと、位置合わせに利用可能な大きな画像特徴に関する存在確率マップを用いる。該存在確率マップは図8(f)に示すように、視神経乳頭やアーケード血管のような眼部のランドマークが存在する位置を多数の健常者に対して取得し存在確率を(濃度値として)表わしたマップである。
中間倍率画像Dmjの取得位置の設定のうち、まず倍率番号2の中間倍率画像D2jの取得位置設定法について説明する。すなわち、高倍率画像Dhの取得位置における該存在確率マップの値を調べる。該存在確率値が一定値未満(無色)の場合は高倍率画像Dhの取得位置から該存在確率が高い領域(濃色)まで最も中間倍率画像D2jの取得枚数が少ない方向で、かつ重なる領域を一定割合持つような移動幅で取得位置を移動させ中間倍率画像D2jを取得する。
本実施形態では、高倍率画像Dhの取得位置(傍中心窩)にアーケード血管が存在しないため、該血管領域を含むように上下方向に、かつ中間倍率画像D2j同士が画像幅の1/4だけ重なる移動幅で固視位置を移動させ倍率番号2の中間倍率画像D2jを取得する。図8(a)の上下方向に並んだ複数の点線矩形領域が中間倍率画像D2jの取得位置を表している。
次に、倍率番号3の中間倍率画像D3の取得位置については、高倍率画像Dhの取得位置と同じ位置に設定する。なぜなら、倍率番号2の中間倍率画像D2jの取得位置の中に高倍率画像Dhの取得位置と同じ位置が含まれているためである。
また合焦位置の設定法としては、低倍率画像Dlと高倍率画像Dhとの合焦位置が同じであれば同じ合焦位置とし、異なっている場合は中間倍率画像Dmjの倍率数をi(本実施形態では2)として以下のように設定する。
すなわち、低倍率画像Dlの合焦位置から(低倍率画像Dlの合焦位置から高倍率画像Dhの合焦位置までの距離)×1/(i+1)だけ高倍率画像Dhの合焦位置側に移動させた位置を倍率番号2の中間倍率画像D2の合焦位置とする。倍率番号3の中間倍率画像D3の合焦位置は、低倍率画像Dlの合焦位置から(低倍率画像Dlの合焦位置から高倍率画像Dhの合焦位置までの距離)×2/(i+1)だけ高倍率画像Dhの合焦位置側に移動させた位置に設定する。
なお、合焦位置の設定法はこれに限定されるものではない。例えば低倍率画像Dlと高倍率画像Dhとの合焦位置が異なっている場合に倍率番号2・倍率番号3の両中間倍率画像とも、低倍率画像Dlの合焦位置と高倍率画像Dhの合焦位置との中間位置に設定してよい。あるいは、低倍率画像Dlと同じ合焦位置に設定したり、高倍率画像Dhと同じ合焦位置に設定してもよい。
<ステップ750>
順序決定部1314は、S720からS740で決定された中間倍率画像Dmjの取得順序を決定する。
本実施形態では、より低倍率な中間倍率画像から先に取得するものとし、かつ同じ倍率の中間倍率画像が複数枚取得される場合には、前記存在確率マップ上の値の高い領域が含まれる位置から取得開始して固視位置の近い順に取得するものとする。なお、中間倍率画像の取得順序はこれに限らず、任意の設定法を用いてよい。
次に図9に示すフローチャートを参照しながら、S530で実行される位置合わせ処理の詳細について説明する。なお、S530で実行される処理において画角番号という用語を用いて説明するが、S720において説明した倍率番号と同じ意味で用いる。したがって、本実施形態ではAinit=1、Amax=4である。
<ステップ910>
画像取得部110が取得した各動画像(低倍率画像Dl、中間倍率画像Dm、高倍率画像Dh)から、代表画像を生成する。すなわち、異なる倍率の画像の少なくとも一方は、眼部の断層像もしくは眼部の動画像に基づいて生成された画像である。
本実施形態では、動画像のフレーム間位置合わせの際に設定された基準フレームを代表画像に設定する。基準フレームの設定法としては任意の公知の設定法を用いることができ、本実施形態では先頭番号のフレームを基準フレームに設定する。また、代表画像の生成法はこれに限らず、例えば各動画像に関する重ね合わせ画像を生成して該重ねあわせ画像を代表画像としても良い。
なおフレーム間位置あわせ手法としては任意の公知の手法を用いることができる。本実施形態では画像間類似度評価関数として相関係数、座標変換手法としてAffine変換を用いてフレーム間位置合わせを行うものとする。
<ステップ920>
画角番号を初期化する。該初期値Ainitは位置合わせを行う順序の設定により値が変わり得るが、本実施形態では低倍率画像Dlから倍率が低い順に位置合わせを行う。すなわち、低倍率画像Dlのもつ画角番号(1)をAinitに代入してS930へ処理を進める。
<ステップ930>
位置合わせ部132は、同一倍率の画像が複数あって互いに重なる領域がある場合(図8(d)の高倍率画像(実線矩形領域))に、該重なり領域に関して画像間類似度を算出し、最も画像間類似度が最大となる位置に同一倍率画像同士の位置を合わせる。
本実施形態では、倍率番号2の中間倍率画像D2jが異なる位置で複数取得されているため、倍率番号2の中間倍率画像D2jに対して同一倍率画像間位置合わせを行う。画像間類似度や座標変換手法としては任意の公知の手法を用いることができ、本実施形態では画像間類似度として相関係数、座標変換手法としてAffine変換を用いて同一画角画像間位置あわせを行う。
<ステップ940>
位置合わせ部132は、画角番号が隣接した画像同士の位置合わせを行う。
すなわち、画角番号Aの画像と、画角番号A−1の画像同士の位置あわせを行う。ただし、画角番号が初期値Ainitの場合は、本ステップは省略される。
基本的に低倍率の画像から順に位置合わせを行うので、画角番号(倍率番号)が小さいものから順に位置合わせが行われる。
ここで、S930において位置合わせされた複数の同一倍率画像がある場合には、該複数の同一倍率画像を1つの画像とみなして位置合わせを行う。また、同一倍率画像が複数あり、かつ独立している(取得位置が分離して互いに重なる領域がない)場合(図8(c)の高倍率画像(実線矩形領域))には、該独立した画像の数だけ位置合わせ処理を行う。ただし、該独立した複数の同一倍率画像が複数の倍率にわたって存在する場合には、先に隣接倍率ごとの位置あわせを繰り返し行い、それを各固視位置ごとに実行してもよい(倍率優先の場合)。あるいは、ある隣接倍率間位置あわせを全固視位置で実行してから他の隣接倍率間位置合わせに進んでもよい(固視位置優先の場合)。
なお、画像の固視位置を位置あわせパラメータのうち並進(x及びy)に関する初期値として用いることで位置あわせパラメータの変動範囲を削減できる。
また、例えば画質(S/N比等)が著しく低く位置あわせパラメータを変動させても画像間類似度が閾値Trを超えない場合には、位置あわせパラメータの正解値がないとみなして該固視位置に両画像を合わせてよい。
<ステップ950>
画角番号を1だけ増やし、S960へ処理を進める。
<ステップ960>
画角番号が最大値Amaxを超えたか否かを判定し、最大値Amaxより大きい場合にはS540に処理を進める。画角番号が最大値以下の場合にはS930に処理を戻す。
次に図10に示すフローチャートを参照しながら、S540で実行される処理の詳細について説明する。
<ステップ1010>
表示部133は、高倍率画像Dhの表示フレームを選択する。
S910では位置合わせに適した代表フレームを生成したが、本ステップで生成・選択する表示用の代表画像と同じ画像である場合には本ステップは省略してよい。
ここでは、観察もしくは計測対象の細胞や病変が含まれるフレーム、瞬目や固視ずれのないフレームを選択する。前者は指示取得部140を通じた操作者の指定により設定できる。後者はフレーム全体の輝度平均値が閾値T1以上という条件と、フレーム間位置合わせパラメータ値の変動量が閾値T2未満という条件を満たすフレームのうち先頭フレームを選択する。なお、瞬目や固視ずれの判定法は上記に限定されるものではなく、任意の公知の手法を用いてよい。
<ステップ1020>
表示部133は、複数の高倍率画像Dhkが取得されている場合に高倍率画像Dhk間の濃度差を補正する。任意の公知の輝度補正法を適用でき、本実施形態では各高倍率画像DhkにおいてヒストグラムHkを生成し、ヒストグラムHkの平均と分散が高倍率画像Dhk間で共通した値になるように各高倍率画像Dhkの輝度値を線形変換することにより濃度差を補正する。
<ステップ1030>
表示部133は、高倍率画像Dhを動画像として低倍率画像Dl上に表示させる場合に、高倍率画像Dhの再生速度を設定する。再生速度は、画像表示エリア内に再生速度調整スライダや、コマ送りボタンを配置しておき、指示取得手段140を通じて操作者が指定することにより調整する。
なお、複数の高倍率画像Dhkを低倍率画像Dl上に表示させる場合には脈波のような生体信号に基づく周期データを画像取得時に同時に取得しておき、該周期データを用いて各高倍率画像Dhkの再生タイミングを同期させる。
<ステップ1040>
表示部133は、各高倍率画像Dhの表示・非表示や表示倍率を設定する。
画像の表示・非表示は、モニタ305に取得画像に関するリストを表示させておき、該取得画像リストの画像名付近にユーザインターフェース(以下UIと表記する。本実施形態ではチェックボックスとする)を配置し、指示取得手段140を通じて該UI(チェックボックス)のON/OFFを操作者が指定することにより設定する。全画像を一括指定するUI(チェックボックス)や、画像タイプ別の一括指定UI(チェックボックス)も用意し、多数の画像に関する表示・非表示の切り替えを容易にする。
本ステップでは、画像の表示・非表示だけでなく、高倍率画像Dhk同士の撮影位置が近く重なり領域がある場合や、同じ固視位置で複数回撮影している場合の重なり順(表示レイヤ)の設定も行う。動画像の重なり順の設定法に関しては、手動設定も含め任意の設定法を用いることができる。本実施形態では、画像の画質指標や固視ずれ量を算出しておき、画質指標値と固視ずれ量の線形和を評価関数として最も評価値が高い画像を最前レイヤに設定して表示する。ここで画質指標値は任意の公知の指標を用いることができ、本実施形態では画像ヒストグラムの平均輝度値を用いる。また、固視ずれ量としては隣接フレーム間の並進移動距離の絶対値を全フレームに渡って加算した値を用いる。なお、固視ずれを評価可能な指標であれば任意の指標を用いてよい。
表示倍率については、指示取得部140を通じて操作者が指定することで設定する。
<ステップ1050>
表示部133は、低倍率画像Dlに関連付けられた眼部断層像の走査位置情報(走査線や走査範囲)を高倍率画像Dh上に重畳表示する。本実施形態では、図6(h)に示すように、低倍率画像Dl上に十字型走査(クロススキャン)したBスキャン像の走査位置と、矩形領域内を走査した3次元断層像の走査範囲が重畳されており、Bスキャン像の走査位置が高倍率画像上に重畳表示される。
これにより、例えば眼部断層像の走査位置付近の高倍率画像Dh上の細胞分布と、走査位置における断層像を並べて表示することで微視的な細胞の分布と、巨視的な断層像上の層形状との対応関係を比較観察できる。
なお、走査位置と高倍率画像Dhとの対応関係を観察しやすくするために、表示部133では高倍率画像Dhもしくは低倍率画像Dlの透明度を指示取得部140を通じて操作者が調整できる。すなわち、指示取得部140は、低倍率画像上に表示される画像同士が互いに重なり合う関係にある場合に、画像の重なり順序、表示の可否、もしくは透明度の少なくとも一つを制御する手段の一例に相当する。
また、本実施形態では高倍率画像Dhに重畳する情報を眼部断層像の走査位置としたが、これに限定されるものではない。例えば、図6(f)に示すように、網膜感度値のマップを高倍率画像Dh上に重畳表示してもよい。あるいは、図6(e)に示すような眼底形状の計測値に関するマップを高倍率画像Dh上に重畳表示してもよい。また、同図(g)に示すような、治療用レーザの照射位置マップを高倍率画像Dh上に重畳表示してもよい。この場合、高倍率画像Dhは動画像として表示でき、レーザ照射位置と、血球の移動や血管形状の変化との関係を観察できる。さらに、上記各マップのうちの複数の情報を組み合わせて高倍率画像Dh上に重畳表示してもよい。すなわち、本実施例では高倍率画像上に、断層像の走査位置、レーザの照射位置、眼底形状分布、網膜感度分布の少なくとも一つを重畳表示する。
なお、本実施形態では低倍率画像Dlは単一の広画角SLO画像としたが、本発明はこれに限定されない。例えば、異なる取得位置の低倍率画像Dli同士を位置合わせして得られる合成画像を低倍率画像Dlとし、該低倍率画像Dlに対して高倍率画像Dhを位置合わせしてもよい。この場合、該低倍率画像Dl上には断層像の走査位置情報が重畳されているので、高倍率画像Dh上に眼部断層像の走査位置情報を重畳表示できる。
以上述べた構成によれば、眼科装置10は、補償光学SLO画像と眼部断層像の走査位置が重畳された眼部のSLO画像を取得する。高倍率画像Dhと低倍率画像Dlとの取得倍率の違いと、高倍率画像Dhの取得位置に基づいて中間倍率画像の取得要否・取得倍率・取得位置を判定し、中間倍率画像Dmを取得する。次に、倍率の低い画像から順に倍率の近い画像同士を共通する画像特徴に基づき位置合わせすることで低倍率画像Dl上の高倍率画像Dhの相対位置を決定する。
これにより、画角や画素サイズが大きく異なる眼部画像同士を正確に位置合わせできる。
[第2の実施形態]
本実施形態では、高倍率画像Dhとして補償光学SLO画像、低倍率画像Dlとして広画角断層像を取得する。高倍率画像Dhと低倍率画像Dlにおける特徴抽出結果に基づいて中間倍率画像の取得要否・取得倍率・取得位置を判定し、中間倍率画像Dmを取得する。次に、倍率の低い画像から順に倍率の近い画像同士を共通する画像特徴に基づき位置合わせすることで低倍率画像Dl上の高倍率画像Dhの相対位置を決定する場合について説明する。
これにより、画角や画素サイズが大きく異なる眼部断層像同士を正確に位置合わせできる。
なお、本実施形態では画角や画素サイズが大きく異なる眼部画像同士が位置合わせされた場合の表示例として広画角断層像の走査位置を高倍率画像Dh上に重畳表示し、操作者が該走査位置を移動するのに連動して広画角断層像の表示スライスを変更する場合について説明する。
本実施形態に係る眼科装置10と接続される機器の構成を図2(b)に示す。本実施形態ではSLO像撮像装置20に加えて、断層像撮像装置50と接続される点が第1実施形態と異なっている。断層像撮像装置50は眼部の断層像を撮像する装置であり、例えばタイムドメイン方式もしくはフーリエドメイン方式のOCT(Optical Coherence Tomography)である。眼部断層像撮像装置50は不図示の操作者による操作に応じ、不図示の被検眼の断層像を3次元的に撮像する。撮像した断層像は眼科装置10へと送信される。
また、データサーバ40は被検眼の低倍率画像Dl、中間倍率画像Dm、高倍率画像Dh、及びその取得時に用いた固視標位置Fl、Fm、Fhのような取得条件データ以外に、眼部の画像特徴や眼部の画像特徴の分布に関する正常値も保持する。眼部の画像特徴として、本実施形態では視神経乳頭や網膜血管、視細胞Pや毛細血管Q、血球Wを扱う。なお画像特徴としてはこれに限らず、例えば神経節細胞の軸索や篩状板孔に関する画像特徴を扱ってもよい。眼科装置10が出力する眼部の画像特徴は該サーバに保存される。また眼科装置10からの要求に応じて眼部の画像特徴や眼部の画像特徴の分布に関する正常値データが眼科装置10に送信される。
次に、本実施形態に係る眼科装置10の機能ブロックを図11に示す。画像処理部130に画像特徴取得部134を備える点が実施形態1の場合と異なっている。
また本実施形態での画像処理フローは図12に示す通りであり、S1220、S1230、S1240、S1250以外は実施形態1の場合と同様である。そこで、本実施形態ではS1220、S1230、S1240、S1250における処理のみ説明する。
<ステップ1220>
画像特徴取得部134は、低倍率画像Dlから視神経乳頭とアーケード血管Aを、高倍率画像Dhから視細胞Pと毛細血管を検出する。すなわち、画像特徴取得部134は異なる倍率の画像から画像特徴を取得する。
まず、視神経乳頭の検出処理は以下の手順で実行される。
i)健常者の視神経乳頭部をSLOで取得した視神経乳頭テンプレート画像を予め用意しておき、該テンプレート画像とのテンプレートマッチングにより視神経乳頭の概略位置を検出する。
ii)i)で得られた位置に可変形状モデルを配置し、変形が完了した該可変形状モデルの位置を視神経乳頭領域の境界とする。
なお、視神経乳頭の検出処理としては上記方法に限定されるものではなく、任意の公知な検出手法を用いて良い。
次に、アーケード血管の検出処理は以下の手順で実行される。すなわち、網膜血管は線状構造を有しているため、線状構造を強調するフィルタを用いて網膜血管を抽出する。具体的には、低倍率画像Dlをアーケード血管の半径に相当するサイズσのガウス関数により平滑化した上でヘッセ行列に基づく線強調フィルタを適用し、閾値Taにより二値化することでアーケード血管を抽出する。ただし、血管を検出する方法はこれに限らず任意の公知の手法を用いてよい。
視細胞の検出処理は1)高周波ノイズ低減処理、2)画像の二値化の手順で行われる。
1)は、例えば高倍率画像Dhに対して高速フーリエ変換(FFT)を用いて周波数変換を行い、低域通過フィルタを適用して高周波成分の信号値をカットする。該フィルタ済高倍率画像Dhを逆フーリエ変換することで空間領域に戻し、高周波成分が除去された高倍率画像Dhを生成する。
2)では1)で生成されたノイズ低減後の高倍率画像Dhに対して閾値Tbで二値化し、視細胞Pを検出する。
毛細血管は高倍率画像Dhから以下の手順で血球成分の移動範囲として特定する。
(a) フレーム間位置合わせ済みの高倍率画像Dhの隣接フレーム間で差分処理を行う(差分動画像を生成する)。
(b) (a)で生成した差分動画像の各x−y位置においてフレーム方向に関する輝度統計量(分散)を算出する
(c) 前記差分動画像の各x−y位置において輝度分散が閾値Tv以上の領域を血球が移動した領域、すなわち毛細血管領域として特定する
なお毛細血管の検出処理はこの方法に限定されるものではなく、任意の公知の方法を用いて良い。例えば、高倍率画像Dhの特定のフレームに対し線状構造を強調するフィルタを適用して血管を検出してもよい。
<ステップ1230>
決定部131において、低倍率画像Dlと高倍率画像Dhとの中間の解像度を持つ中間倍率画像Dmの取得に関する要否と、該中間倍率画像Dmの取得が必要と判定した場合に中間倍率画像Dmの取得倍率、取得位置、取得順序を決定する。また、決定部131は画像取得部110に対して中間倍率画像Dmの取得要求を行い、画像取得部110が中間倍率画像Dmを取得する。
本ステップの処理については、図13に示すフローチャートを用いて後に詳しく説明する。
<ステップ1240>
位置合わせ部132は、低倍率画像Dlと高倍率画像Dhとの位置合わせを行う。S1230において中間倍率画像Dmが取得されている場合には、該中間倍率画像Dmも用いて低倍率画像Dl上の高倍率画像Dhの位置が決定される。ここで、位置合わせ手段の一例に相当する位置合わせ部132は、画像、画像の取得条件または画像特徴の少なくとも一つに基づいて前記画像の位置合わせを行う順序を決定する。
本ステップの処理は基本的に実施形態1の場合と同様に行う。ただし、S1220にて低倍率画像Dl及び高倍率画像Dhに対して特徴抽出が行われており、さらに中間倍率画像Dmに対しても特徴抽出が行われている場合には位置合わせの評価関数に該特徴量を用いてよい。特徴ベースの位置合わせでは、画素値ベースの位置合わせよりさらに高速に位置合わせを実行できる。
<ステップ1250>
表示部133は、S1240において得られた位置合わせパラメータ値に基づき、図6(h)に示すように低倍率画像Dl上に高倍率画像Dhを重畳表示する。本実施形態において低倍率画像Dlは3次元断層像であるため、実際には低倍率画像Dlのz軸方向の投影画像(平均値投影画像)を生成し、該投影画像上に高倍率画像Dhを重畳表示する。なお本実施形態では低倍率画像Dl上の特定の走査位置を該投影画像上に十字型の矢印で表示し、各矢印の位置で切り出した断層像を、(高倍率画像Dhと該投影画像との)重畳画像と並べて表示させる。
該投影画像に断層像の走査位置情報が重畳されているため、高倍率画像Dh上に眼部断層像の走査位置情報が重畳表示される。さらに指示取得部140を通じて操作者が、表示されている断層像の位置を示す矢印を(上下もしくは左右に)動かすことができるので、該操作に連動して切り出される(表示される)断層像も変化する。
なお、上記投影画像を生成する方法としては平均値投影に限らず、任意の投影法を用いてよい。例えば最大値投影(Maximum Intensity Projection;MIP)でもよい。あるいは画像特徴取得部134において層境界を取得しておき、特定の層境界間に限定して投影することで特定の組織や病変に関する投影像を生成してもよい。
また、高倍率画像Dhは静止画に限定されるものではなく、動画像でもよい。
さらに、本実施形態では高倍率画像Dhに重畳する情報を眼部断層像の走査位置としたが、これに限定されるものではない。例えば、図6(f)に示すように、網膜感度値のマップを高倍率画像Dh上に重畳表示してもよい。あるいは、図6(e)に示すような眼底形状の計測値に関するマップを高倍率画像Dh上に重畳表示してもよい。また、同図(g)に示すような、治療用レーザの照射位置マップを高倍率画像Dh上に重畳表示してもよい。この場合、高倍率画像Dhは動画像として表示でき、レーザ照射位置と、血球の移動や血管形状の変化との関係を観察できる。さらに、上記各マップのうちの複数の情報を組み合わせて高倍率画像Dh上に重畳表示してもよい。
次に図13に示すフローチャートを参照しながら、S1230で実行される処理の詳細について説明する。
<ステップ1310>
決定部131は、画像特徴取得部134がS1220で取得した眼部の画像特徴と、属性情報を記憶部120より取得する。
すなわち、低倍率画像Dlに関する画像特徴として視神経乳頭及びアーケード血管領域、高倍率画像Dhに関する画像特徴として視細胞P及び毛細血管領域を取得する。
また、属性情報として低倍率画像Dl及び高倍率画像Dhに関して、画角[μm]及び画素サイズ[μm/pixel]、固視位置及び合焦位置、フレームレート[frame/sec]及びフレーム数[frame]、取得日時、の情報を取得する。なお、具体的な属性情報は実施形態1の場合と同様であるので省略する。
<ステップ1320>
要否判定部1311は、中間倍率画像取得の要否判定を行う。本実施形態では、S1310で取得された低倍率画像Dlの画像特徴と高倍率画像Dhの画像特徴との間で共通する画像特徴がなければ中間倍率画像Dmの取得が必要と判定し、共通する画像特徴があれば中間倍率画像Dmの取得は不要と判定する。
本実施形態では、共通する画像がないため、中間倍率画像Dmの取得が必要と判定する。
なお本ステップにおける処理を高速化するため第1実施形態の場合と同様に、取得画像の倍率ごとによく観察される画像特徴に関するリストを用いて中間倍率画像取得の要否を判定しても良い。
<ステップ1330>
倍率決定部1312は、S1320において中間倍率画像Dmの取得が必要と判定された場合に、中間倍率画像Dmの倍率(画角及び画素サイズ)の設定を行う。
中間倍率画像Dmの倍率の設定は基本的に第1実施形態におけるS730の場合と同様であるが、以下の2点が異なる。
まずS730のi)において、該画像特徴リスト上で低倍率画像Dlと共通する画像特徴を持つ中間倍率画像Dmのうち最も高い倍率の画像に対して特徴抽出を行い、該リスト上に記載された画像特徴が抽出されれば第1の中間倍率とする。もし該画像特徴が抽出されなかった場合は(該画像特徴が抽出されるまで)より倍率の低い中間倍率画像を選択し、同様の判定処理を行って第1の中間倍率を設定する。もし選択可能な(該リスト上で低倍率画像Dlと共通する画像特徴を持つ)中間倍率画像の全てを用いても画像特徴が抽出されない場合には、最も低倍率画像の倍率に近い中間倍率画像の倍率を第1の中間倍率として設定する。
また、高倍率画像Dhと共通する画像特徴を持つ中間倍率画像Dmのうち最も低い倍率の画像に対しても同様に特徴抽出を行い、前記画像特徴リスト上に記載された画像特徴が抽出されれば第2の中間倍率とする。もし該画像特徴が抽出されなかった場合は(該画像特徴が抽出されるまで)より倍率の高い中間倍率画像を選択し、同様の判定処理を行って第2の中間倍率を設定する。もし選択可能な(該画像特徴リスト上で高倍率画像Dhと共通する画像特徴を持つ)中間倍率画像Dmの全てを用いても画像特徴が抽出されない場合には、最も高倍率画像の倍率に近い中間倍率画像の倍率を第2の中間倍率として設定する。
次に、S730のii)において、両中間倍率画像に共通する画像特徴が前記画像特徴リストにあるか調べるかわりに両中間倍率画像に対して特徴抽出を行い、共通する画像特徴が存在すれば各々の中間倍率画像が持つ倍率を中間倍率として設定する。
本実施形態では、低倍率画像Dl(画像特徴リスト上の倍率番号1)と共通する画像特徴(アーケード血管)を持つ第1の中間倍率画像の画角及び画素サイズとして、倍率番号2の画角と画素サイズを選択する。すなわち画角1600×1600[μm]と画素サイズ4.0×4.0[μm/pixel]を該第1の中間倍率画像として選択し、S1220と同様に線状構造強調フィルタを用いてアーケード血管や細い動静脈を抽出する。また、高倍率画像Dh(倍率番号4)と共通する画像特徴(毛細血管)を持つ第2の中間倍率画像の画角と画素サイズとして、倍率番号3の画角と画素サイズを選択する。すなわち画角800×800[μm]と画素サイズ 2.0×2.0[μm/pixel]を該第2の中間倍率画像として選択し、S1220と同様に線状構造強調フィルタを用いて毛細血管や細い動静脈を抽出する。倍率番号2と倍率番号3では共通する画像特徴が存在するため、両倍率を中間倍率として設定しステップ1340に進む。
上記のように決定手段の一例に相当する決定部131は画像特徴に基づき前記中間倍率画像の取得法を決定する。
なお、本ステップにおいて特徴抽出処理は必須要件ではなく、本ステップの処理を高速に行うために実施形態1と同じ方法で中間倍率画像Dmの倍率(画角及び画素サイズ)の設定を行ってもよい。
<ステップ1340>
位置決定部1313は、S1330で設定された倍率(画角及び画素サイズ)を持つ中間倍率画像Dmjの取得位置と合焦位置を設定する。
中間倍率画像Dmjの取得位置を決定するために、本実施形態ではS1310で取得された高倍率画像Dhの固視位置、画角、画素サイズのデータと低倍率画像Dlの画像特徴を用いる。
中間倍率画像Dmjの取得位置の設定のうち、まず倍率番号2の中間倍率画像D2jの取得位置設定法について説明する。すなわち、高倍率画像Dhの取得位置における低倍率画像Dl上の画像特徴の有無を調べる。該画像特徴が存在しない場合は高倍率画像Dhの取得位置から該画像特徴が存在する領域まで最も中間倍率画像D2jの取得枚数が少ない方向で、かつ中間倍率画像D2j同士が重なる領域を一定割合持つ移動幅で取得位置を移動させ中間倍率画像D2jを取得する。
本実施形態では、高倍率画像Dhの取得位置(傍中心窩)にアーケード血管が存在しないため、該血管領域を含むように上下方向に、かつ中間倍率画像D2j同士が画像幅の1/4だけ重なる移動幅で固視位置を移動させ倍率番号2の中間倍率画像D2jを取得する。図8(a)において、上下方向に並んだ複数の点線矩形領域が中間倍率画像D2jを表わしている。
次に、倍率番号3の中間倍率画像D3の取得位置については、実施形態1の場合と同様に、高倍率画像Dhの取得位置と同じ位置に設定する。
また合焦位置の設定法については高倍率画像Dhの合焦位置と同じ位置に設定する。ただし、合焦位置の設定法はこれに限定されず、任意の方法を用いてよい。
<ステップ1350>
順序決定部1314は、S1320からS1340で決定された中間倍率画像Dmjの取得順序を決定する。
本実施形態では、より低倍率な中間倍率画像から先に取得するものとし、かつ同じ倍率の中間倍率画像が複数枚取得される場合には、サイズの大きな画像特徴が含まれる位置から開始して固視位置の近い順に取得するものとする。なお、中間倍率画像の取得順序はこれに限らず、任意の設定法を用いてよい。
また、本実施形態では中間倍率画像の取得方法を第1実施形態と同様に
a)取得倍率を固定もしくは選択式とし、取得位置を任意設定可能にする
(図8(a))という方針で決定したが、それに限定されるものではない。
例えば、第1実施形態のb)で説明した
b)取得倍率を任意設定可能とし、取得位置は高倍率画像Dhと同じにする
(図8(b))という方針で決定してもよい。b)の方法を用いる場合は操作者によって選択された高倍率画像Dhの取得倍率(画角と画素サイズ)及び取得位置、合焦位置の設定に基づいて中間倍率画像Dmの取得要否、取得倍率、合焦位置を自動選択する。
以上述べた構成によれば、眼科装置10は、補償光学SLO画像と広画角断層像を取得する。高倍率画像Dhと低倍率画像Dlにおける特徴抽出結果に基づいて中間倍率画像Dmの取得要否・取得倍率・取得位置を判定し、中間倍率画像を取得する。次に、倍率の低い画像から順に倍率の近い画像同士を共通する画像特徴に基づき位置合わせすることで低倍率画像Dl上の高倍率画像Dhの相対位置を決定する。
これにより、画角や画素サイズが大きく異なる眼部画像同士を正確に位置合わせできる。
[第3の実施形態]
本実施形態では、高倍率画像Dhとして補償光学断層像、低倍率画像Dlとして広画角断層像を取得する。高倍率画像Dhと低倍率画像Dlにおける特徴抽出結果に基づいて中間倍率画像Dmの取得要否・取得倍率・取得位置を判定し、中間倍率画像Dmを取得する。次に、倍率の低い画像から順に倍率の近い画像同士を共通する画像特徴に基づき位置合わせすることで低倍率画像Dl上の高倍率画像Dhの相対位置を決定する場合について説明する。
これにより、画角や画素サイズが大きく異なる眼部断層像同士を正確に位置合わせできる。
なお、本実施形態では画角や画素サイズが大きく異なる眼部画像同士が位置合わせされている場合の画像表示例として広画角断層像の走査位置を高倍率画像Dh上に重畳表示する。
本実施形態に係る眼科装置10と接続される機器の構成を図2(c)に示す。本実施形態では補償光学系を備えた断層像撮像装置50と接続される点が第1実施形態と異なっている。なお、本実施形態に係る画像処理装置10の機能ブロック図は第2の実施形態と同様であるため、説明を省略する。
また、データサーバ40は実施形態2の場合と同様に、眼部の画像特徴や眼部の画像特徴の分布に関する正常値データも保持しているものとする。
次に、図14を用いて補償光学系を備えた断層像撮像装置50の構成を説明する。図14において、201は光源であり、本実施例では波長840nmのSLD光源を用いる。光源201は低干渉性のものであれば良く、波長幅30nm以上のSLD光源が好適に用いられる。また、チタンサファイアレーザなどの超短パルスレーザなどを光源に用いることもできる。光源201から照射された光は、単一モード光ファイバー202を通って、ファイバーカプラー520まで導光される。ファイバーカプラー520によって、測定光経路521と参照光経路522に分岐される。ファイバーカプラーは10:90の分岐比のものを使用し、投入光量の10%が測定光経路521に行くように構成する。測定光経路521を通った光は、コリメータ203により、平行な測定光として照射される。コリメータ203以降の構成は実施形態1と同様であり、補償光学系や走査光学系を通して眼211に照射し、眼211からの反射散乱光は再度同様の経路をたどって光ファイバー521に導光されてファイバーカプラー520に到達する。一方、参照光経路522を通った参照光はコリメータ523で出射され、光路長可変部524で反射して再度ファイバーカプラー520に戻る。ファイバーカプラー520に到達した測定光と参照光は合波され、光ファイバー525を通して分光器526に導光される。分光器526によって分光された干渉光情報をもとに、制御部217によって眼部の断層像が構成される。制御部217は光路長可変部524を制御し、所望の深さ位置の画像を取得できる。
なお、図14の構成で走査光学系の振り角を大きくし、補償光学制御部216が収差補正を行わないよう指示することによって断層像撮像装置50は通常の断層像撮像装置としても動作し、広画角な断層像(低倍率画像Dl)を撮像できる。
また、本実施形態では補償光学系を備えた断層像撮像装置50はSD−OCT(Spectral Domain Optical Coherence Tomography)として構成しているが、SD−OCTであることが必須の要件ではない。例えば、SS−OCT(Swept Source Optical Coherence Tomography)として構成してもよい。SS−OCTの場合には異なる波長の光を異なる時間で発生させる光源を用い、スペクトル情報を取得するための分光素子は不要となる。また、SS−OCTでは、網膜だけでなく脈絡膜も画像に含まれる高深達な画像を取得できる。
本実施形態に係る眼科装置10の画像処理フローは第2実施形態の場合と同様であり、S1220、S1230、S1240、S1250以外は実施形態2の場合と同様である。そこで、本実施形態ではS1220、S1230、S1240、S1250における処理のみ説明する。
<ステップ1220>
画像特徴取得部134は、記憶部120に格納された低倍率画像Dl、すなわち3次元の眼部断層像から、画像特徴として、内境界膜、視神経線維層境界、神経節細胞層境界、内網状層境界、外網状層境界、視細胞内節外節境界、網膜色素上皮境界、視神経乳頭部、中心窩、網膜血管を抽出する。ただし、網膜血管領域はx−y平面に投影された領域として特定する。そして、抽出した画像特徴のうち図6(a)に示すように、内境界膜B1、内網状層境界B4、視細胞内節外節境界B5、網膜色素上皮境界B6及び中心窩F1を取得する。また、取得した各々の画像特徴を記憶部120に格納する。
ここで、低倍率画像Dlに対する特徴抽出手順を具体的に説明する。
はじめに、層の境界を抽出するための抽出手順について説明する。なお、ここでは処理対象である3次元断層像を2次元断層像(Bスキャン像)の集合と考え、各2次元断層像に対して以下の処理を行う。まず、着目する2次元断層像に平滑化処理を行い、ノイズ成分を除去する。次に2次元断層像からエッジ成分を検出し、その連結性に基づいて何本かの線分を層境界の候補として抽出する。そして、該抽出した候補から1番上の線分を内境界膜B1、上から2番目の線分を神経線維層境界B2、3番目の線分を内網状層境界B4として抽出する。また、内境界膜B1よりも外層側(図6(a)において、z座標が大きい側)にあるコントラスト最大の線分を視細胞内節外節境界B5として抽出する。さらに、該層境界候補群のうち一番下の線分を網膜色素上皮境界B6として抽出する。なお、これらの線分を初期値としてSnakesやレベルセット法等の可変形状モデルを適用し、更に精密抽出を行うように構成してもよい。また、グラフカット法により層の境界を抽出するように構成してもよい。なお、可変形状モデルやグラフカットを用いた境界抽出は、3次元断層像に対し3次元的に実行してもよいし、各々の2次元断層像に対し2次元的に実行してもよい。また、層の境界を抽出する方法は、眼部の断層像から層の境界を抽出可能な方法であれば、いずれの方法を用いてもよいことはいうまでもない。
眼部断層像から層の境界を抽出した後、更に、当該抽出した内境界膜B1の形状から陥凹の深い順に2か所の陥凹部を検出することにより、視神経乳頭部と中心窩を抽出する。ここではより陥凹の浅い方を中心窩として、陥凹の深い方を視神経乳頭部として抽出する。
さらに、低倍率画像Dl(眼部断層像)を深度方向(z軸方向)に投影した画像に対して、線状構造を強調するフィルタを適用することによってx−y平面上の血管領域を特定する。
次に、高倍率画像Dh、すなわち3次元の補償光学断層像から、画像特徴として毛細血管と視細胞を抽出する。
毛細血管領域は、補償光学断層像のz軸方向に関する平均値投影像に対して線状構造を強調するフィルタを適用することにより抽出する。ただし、血管抽出処理は任意の公知の手法を用いることができ、例えば閾値T3未満の領域を抽出してもよい。
また視細胞は該補償光学断層像を視細胞内節外節境界(IS/OS)もしくは視細胞内節外節境界のやや外層側(z軸の正の方向)に沿って切り出した曲断面画像上で実施形態2のS1220と同様な手順で抽出するものとする。
<ステップ1230>
決定部131において、低倍率画像Dlと高倍率画像Dhとの中間の解像度を持つ中間倍率画像Dmjの取得に関する要否と、該中間倍率画像Dmjの取得が必要と判定した場合に中間倍率画像Dmjの取得倍率、取得位置、取得順序を決定する。また、決定部131は画像取得部110に対して中間倍率画像Dmの取得要求を行い、画像取得部110が中間倍率画像Dmを取得する。
なお、中間倍率画像Dmを取得する方法として
1)画像取得部110が断層像撮像装置50に対して中間倍率画像Dmの取得を要求し、断層像撮像装置50が取得した中間倍率画像Dmを記憶部120に転送する
2)画像取得部110がデータサーバ40に対して保管されている中間倍率画像Dmの転送を要求し、データサーバから中間倍率画像Dmを転送する
の2つがあり、本実施形態では1)の場合として説明する。
もちろん、本発明は1)の場合に限定されるものではなく、2)のように実施してもよい。
本ステップの処理については、図13に示すフローチャートを用いて後に詳しく説明する。
<ステップ1240>
位置合わせ部132は、低倍率画像Dlと高倍率画像Dhとの位置合わせを行う。S1230において中間倍率画像Dmjが取得されている場合には、該中間倍率画像Dmjも用いて低倍率画像Dl上の高倍率画像Dhの位置が決定される。
本ステップの処理は基本的に実施形態2の場合と同様であるが、低倍率画像Dlと高倍率Dhとも3次元画像であり代表画像生成ステップが不要である点、類似度評価関数として3次元の相関係数を用い座標変換法として3次元Affine変換を用いる点が異なる。なお、類似度評価関数や座標変換法はこれに限定されるものではなく、任意の公知の手法を用いてよい。
また、S1220にて低倍率画像Dl及び高倍率画像Dhに対して特徴抽出が行われており、さらに中間倍率画像Dmに対しても特徴抽出が行われている場合には位置合わせの評価関数に該特徴量を用いてよい。特徴ベースの位置合わせでは、画素値ベースの位置合わせよりさらに高速に位置合わせを実行できる。
<ステップ1250>
表示部133は、S1240において得られた位置合わせパラメータの値に基づき、図6(h)に示すように低倍率画像Dl上に高倍率画像Dhを重畳表示する。本実施形態において低倍率画像Dl及び高倍率画像Dhはともに3次元断層像であるため、実際にはz軸方向に関し低倍率画像Dlと高倍率画像Dhの投影画像(平均値投影画像)を生成し、低倍率画像Dlの投影画像上に高倍率画像Dhの投影画像を重畳表示する。
なお本実施形態では低倍率画像Dl上の特定の走査位置を低倍率画像Dlの投影画像上に十字型の矢印で表示し、各矢印の位置で切り出した断層像を、図6(h)のような重畳画像と並べて表示させる。横(x軸)方向の矢印の位置で切り出した広画角断層像の例を図8(h)に示す。図8(h)では、低倍率画像の断層像だけでなく、高倍率画像とy軸方向の走査線の位置も重畳表示される。ただし、図8(h)では説明の簡便性のため広画角断層像のうち、中心窩に近い領域のみ表示している。
本実施形態では、図6(h)に示すように高倍率画像Dh上に眼部断層像の走査位置情報が重畳表示される。さらに指示取得部140を通じて操作者が、図6(h)の断層像の表示位置を示す矢印を(上下もしくは左右に)動かすことができるので、該操作に連動して切り出される(表示される)低倍率画像Dl及び高倍率画像Dhの表示スライスも変化する。
また、図8(d)に示すように固視位置の異なる高倍率画像Dhが複数取得されている場合には、第1実施形態の場合と同様の方法を用いて、高倍率画像Dhk間で輝度特性が類似するような調整を行う。すなわち、各画像が類似した輝度特性を持つように輝度調整して低倍率画像上に表示する。さらに、高倍率画像Dhk同士の撮影位置が近く重なりがある場合(撮影位置が同一である場合も含む)には、重なっている領域の表示法を以下のいずれかに設定する。すなわち、画像の画質指標値を算出しておき、最も評価値が高い画像を表示させるか、各高倍率画像Dhkを半透明表示させて輝度をブレンディングする。ここで画質指標値は任意の公知の指標を用いることができ、本実施形態では画像ヒストグラムの平均輝度値を用いる。
なお、上記投影画像を生成する方法としては平均値投影に限らず、任意の投影法を用いてよい。例えば最大値投影(Maximum Intensity Projection;MIP)でもよい。あるいは画像特徴取得部134において層境界を取得しておき、特定の層境界間に限定して投影することで特定の組織や病変に関する投影像を生成してもよい。
また、高倍率画像Dhは静止画に限定されるものではなく、動画像でもよい。
さらに、本実施形態では高倍率画像Dhに重畳する情報を眼部断層像の走査位置としたが、これに限定されるものではない。例えば、図6(f)に示すように、 網膜感度値のマップを高倍率画像Dh上に重畳表示してもよい。あるいは、図6(e)に示すような眼底形状の計測値に関するマップを高倍率画像Dh上に重畳表示してもよい。また、同図(g)に示すような、治療用レーザの照射位置マップを高倍率画像Dh上に重畳表示してもよい。この場合、レーザ照射位置と、血管病変を含む血管の分布を一覧して観察できる。さらに、上記各マップのうちの複数の情報を組み合わせて高倍率画像Dh上に重畳表示してもよい。
次に図13に示すフローチャートを参照しながら、S1230で実行される処理の詳細について説明する。なお、ステップ1350については実施形態2の場合と同様であるので、説明は省略する。
<ステップ1310>
決定部131は、画像特徴取得部134がS1220で取得した眼部の画像特徴と、属性情報を記憶部120より取得する。
すなわち、低倍率画像Dlに関する画像特徴として視神経乳頭及びアーケード血管領域、高倍率画像Dhに関する画像特徴として視細胞P及び毛細血管領域を取得する。
また、属性情報として低倍率画像Dl及び高倍率画像Dhに関して、画角[μm]及び画素サイズ[μm/pixel]、固視位置及びコヒーレンスゲート位置、フレームレート[frame/sec]及びフレーム数[frame]、取得日時、の情報を取得する。
本実施形態では、低倍率画像Dlとして画角が12800×6400×1600[μm]、画素サイズ20.0×20.0×5.0[μm/pixel]、固視位置が中心窩、コヒーレンスゲート位置は網膜内層、取得日時が2011年11月11日11時11分11秒とする。また、高倍率画像Dhは画角が400×400×400[μm]、画素サイズ1.0×1.0×1.0[μm/pixel]、固視位置が傍中心窩、コヒーレンスゲート位置は網膜内層、取得日時が2011年11月11日11時12分12秒とする。
<ステップ1320>
要否判定部1311は、中間倍率画像取得の要否判定を行う。本実施形態では、S1310で取得された低倍率画像Dlの画像特徴と高倍率画像Dhの画像特徴との間で共通する画像特徴がなければ中間倍率画像Dmの取得が必要と判定し、共通する画像特徴があれば中間倍率画像Dmの取得は不要と判定する。
本実施形態では、共通する画像がないため、中間倍率画像Dmの取得が必要と判定する。
なお本ステップにおける処理を高速化するため以下に示すような、取得画像の倍率ごとによく観察される画像特徴の種類に関するリストを用いて中間倍率画像取得の要否を判定しても良い。
なお、上記画像特徴リストは断層像撮像装置50としてSD−OCTを用いる場合であり、もしSS−OCTを用いる場合には、網膜だけでなく脈絡膜も取得範囲に入るので、中間倍率画像Dmの取得条件設定の際に以下のような画像特徴リストを用いる。下記画像特徴リストにおいて、深度方向の取得位置に応じて画像特徴が分けて表記されている。倍率番号1の場合は取得範囲が網膜・脈略膜の双方を含んでいるため画像特徴は共通である。
<ステップ1330>
倍率決定部1312は、S1320において中間倍率画像Dmの取得が必要と判定された場合に、中間倍率画像Dmの倍率(画角及び画素サイズ)の設定を行う。
中間倍率画像Dmの倍率の設定は基本的に第2実施形態におけるS1330の場合と同様であるが、z軸方向の画角及び画素サイズの設定を含む点が異なっている。
本実施形態では、低倍率画像Dl(画像特徴リスト上の倍率番号1)と共通する画像特徴(アーケード血管)を持つ第1の中間倍率画像の画角及び画素サイズとして、倍率番号2の画角と画素サイズを選択する。すなわち画角1600×1600×1600[μm]と画素サイズ4.0×4.0×4.0[μm/pixel]を該第1の中間倍率画像として選択し、z軸方向に投影した画像に対しS1220と同様に線状構造強調フィルタを適用しアーケード血管や細い動静脈を抽出する。また、高倍率画像Dh(倍率番号4)と共通する画像特徴(毛細血管)を持つ第2の中間倍率画像の画角と画素サイズとして、倍率番号3の画角と画素サイズを選択する。すなわち画角 800×800×800[μm]と画素サイズ 2.0×2.0×2.0[μm/pixel]を該第2の中間倍率画像として選択し、z軸方向に投影した画像に対しS1220と同様に線状構造強調フィルタを適用して毛細血管や細い動静脈を抽出する。倍率番号2と倍率番号3では共通する画像特徴が存在するため、両倍率を中間倍率として設定しステップ1340に進む。
なお、本ステップにおいて特徴抽出処理は必須要件ではなく、本ステップの処理を高速に行うためにS1320で示した画像特徴リストを用いて(実施形態1と同様に)中間倍率画像Dmの倍率(画角及び画素サイズ)の設定を行ってもよい。
<ステップ1340>
位置決定部1313は、S1330で設定された倍率(画角及び画素サイズ)を持つ中間倍率画像Dmjの取得位置とコヒーレンスゲート位置を設定する。ただし、本実施形態では断層像撮像装置50はSD−OCTとして構成されているため、各倍率の画像ともz軸方向に関しては網膜が撮像されており深度方向の取得位置は各倍率とも同じ位置(網膜全体)を取得するものとする。
まず中間倍率画像Dmjの取得位置を決定するために、本実施形態ではS1310で取得された高倍率画像Dhの固視位置、画角、画素サイズのデータと低倍率画像Dlの画像特徴を用いる。
中間倍率画像Dmjの取得位置の設定のうち、まず倍率番号2の中間倍率画像D2jの取得位置設定法について説明する。すなわち、高倍率画像Dhの取得位置における低倍率画像Dl上の画像特徴の有無を調べる。該画像特徴が存在しない場合は高倍率画像Dhの取得位置から該画像特徴が存在する領域まで最も中間倍率画像D2jの取得枚数が少ない方向で、かつ中間倍率画像D2j同士が重なる領域を一定割合持つ移動幅で取得位置を移動させ中間倍率画像D2jを取得する。
本実施形態では、高倍率画像Dhの取得位置(傍中心窩)にアーケード血管が存在しないため、該血管領域を含むように上下方向に、かつ中間倍率画像D2j同士が画像幅の1/4だけ重なる移動幅で固視位置を移動させ倍率番号2の中間倍率画像D2jを取得する。図8(a)の上下方向に並んだ複数の点線矩形領域が本実施形態における中間倍率画像D2jを表わしている。
次に、倍率番号3の中間倍率画像D3の取得位置については、実施形態1の場合と同様に、高倍率画像Dhの取得位置と同じ位置に設定する。
またコヒーレンスゲート位置の設定法としては、低倍率画像Dlと高倍率画像Dhとのコヒーレンスゲート位置が同じであれば同じコヒーレンスゲート位置とする。該両画像でコヒーレンスゲート位置が異なっている場合は各中間倍率画像とも、低倍率画像Dlのコヒーレンスゲート位置と高倍率画像Dhのコヒーレンスゲート位置との中間位置に設定する。本実施形態では、コヒーレンスゲートが低倍率画像Dl・高倍率画像Dhとも網膜内層に設定されているので、各中間倍率画像ともコヒーレンスゲートは網膜内層に設定される。なお、コヒーレンスゲートの設定法はこれに限定されるものではなく、低倍率画像Dlと同じコヒーレンスゲート位置に設定したり、あるいは高倍率画像Dhと同じコヒーレンスゲート位置に設定してもよい。
なお、本実施形態では眼部断層像としてSD−OCTの場合、かつ網膜厚が正常な場合を念頭において説明したが、SS−OCTの場合には図8(g)に示すように眼部断層像が高深達、すなわち網膜だけでなく更に深い位置に存在する脈絡膜も画像中に含まれる。このような高深達画像に対しては、x−y平面内の位置だけでなくz軸方向の取得位置も変化させて中間倍率画像の取得位置を設定する。図8(g)においては、高倍率画像Dhの取得位置が脈絡膜であるため、画像特徴リストを参照して中間倍率画像Dmのz軸方向の取得位置を脈絡膜付近に設定する。あるいは、網膜が黄斑浮腫等の疾病の影響で厚みが増している場合にも同様に、高倍率画像Dhのz軸方向の取得位置に対して中間倍率画像Dmのz軸方向の取得位置を一定距離ずつ高倍率画像Dhの取得位置側に移動させて中間倍率画像Dmを取得する。
また、本実施形態では中間倍率画像の取得方法を第1実施形態と同様に
a)取得倍率を固定もしくは選択式とし、取得位置を任意設定可能にする
(図8(a))という方針で決定したが、それに限定されるものではない。
例えば、第1実施形態のb)で説明した
b)取得倍率を任意設定可能とし、取得位置は高倍率画像Dhと同じにする
(図8(b))という方針で決定してもよい。b)の方法を用いる場合は操作者によって選択された高倍率画像Dhの取得倍率(画角と画素サイズ)及び取得位置、合焦位置の設定に基づいて中間倍率画像Dmの取得要否、取得倍率、合焦位置を自動選択する。
以上述べた構成によれば、眼科装置10は、補償光学断層像と広画角断層像を取得する。高倍率画像Dhと低倍率画像Dlにおける特徴抽出結果に基づいて中間倍率画像の取得要否・取得倍率・取得位置を判定し、中間倍率画像を取得する。次に、倍率の低い画像から順に倍率の近い画像同士を共通する画像特徴に基づき位置合わせすることで低倍率画像Dl上の高倍率画像Dhの相対位置を決定する
これにより、画角や画素サイズが大きく異なる眼部画像同士を正確に位置合わせできる。
[その他の実施形態]
上述の実施形態では位置合わせ対象画像をSLO画像や眼部断層像として実現したが、本発明の実施形態はこれに限定されない。例えば、低倍率画像Dlを眼底カメラ画像、高倍率画像Dhを補償光学眼底カメラ画像として実現してもよい。また、低倍率画像Dlを広画角SLO画像、高倍率画像Dhを補償光学断層像の投影像のようにモダリティの異なる画像として実現してもよい。また、補償光学SLO像撮像装置20と断層像撮像装置50との複合機と、眼科装置10が直接接続された構成として実現してもよい。
さらに、上述の実施形態では本発明を眼科装置として実現したが、本発明の実施形態は眼科装置のみに限定されない。例えばコンピュータのCPU等のプロセッサにより実行されるソフトウェアとして実現しても良い。本ソフトウェアを記憶した記憶媒体も本発明を構成することは言うまでもない。