以下、本発明の実施形態について図面に基づいて説明する。
(第1の実施形態)
図1は、第1の実施形態に係る眼科装置を示す図である。眼科装置100は、補償光学系及びフォーカス調整光学系を共通としたAO−SLOとAO−OCTの複合機である。眼科装置100は、撮影装置110と、制御装置120と、表示装置130と、を有している。撮影装置110は、被検眼を撮影することで被検眼の情報を取得する。制御装置120は、撮影装置110及び表示装置130に通信可能に接続され、これらを制御する。制御装置120は、撮影装置110で取得された被検眼の撮影信号から画像の生成と保存を行い、保存された画像を表示装置130に表示させる。表示装置130は、制御装置120に接続され、制御装置120から送られる各種画像や被検者の情報等を表示することができる。表示装置130はさらに、操作者からの操作入力情報を取得し、制御装置120へ送る。
制御装置120には、任意の汎用コンピュータを用いることができる。表示装置130は、任意のディスプレイを用いて構成されることができる。なお、本実施形態においては、眼科装置100は、異なる3つの装置である、撮影装置110、制御装置120及び表示装置130を有している。他の例としては、眼科装置100は、撮影装置110、制御装置及び表示装置130が一体に設けられたものであってもよい。
図2は、撮影装置110の光学構成を模式的に示す図である。被検眼Erに対向して対物レンズ211が設置され、その光軸上にダイクロイックミラー212及びレンズ213a,213bが配置されている。ダイクロイックミラー212は赤外光であるSLO光束L1とOCT光束L2を透過し、可視光であって被検眼Erの固視を促す為の固視灯214の光束L3を反射する。ここで固視灯214には、液晶表示によって任意の視標表示が可能なディスプレイを使用しているが、複数の光源で実現してもよい。レンズ213a,213bは、被検眼Erの網膜に光束を合焦するための機構(フォーカス調整機構)であり、これらレンズの位置を不図示のモータによって位置調整することで被検眼Erの網膜における光束L1,L2の合焦深さを調整する。なお、被検眼Erに対し照射される光束L1,L2は共に4mmのビーム径に設定されており、これにより被検眼眼底上でおよそ5μmの平面方向の分解能及び約60μmの焦点深度となる。
光束L1,L2は共に二次元走査部215a,215bによる偏向を受けるが、SLO光束L1だけは、ダイクロイックミラー216a,216bを透過することで、ミラー217,218を介して走査部219による偏向も受ける。本実施形態においては、SLO光束L1は波長780nm、OCT光束L2は波長840nmとなるようそれぞれの光源が選択され、この波長差に適合したダイクロイックミラーを用いて光束分離がなされる。また二次元走査部215a,215bには、共にガルバノスキャナが用いられており、被検眼Erに対し、215aがX方向、215bがY方向に光束を偏向する。ここで、Z方向は、被検眼の深さ方向であり、Y方向は、網膜水平方向に相当する方向であり、X方向は、Y方向及びZ方向に直交する方向である。
走査部219には共振スキャナが用いられ、被検眼Erに対し、X方向にSLO光束L1を偏向する。この構成により、215aのX方向ガルバノスキャナを止め、215bのY方向ガルバノスキャナのみを走査することでOCTのラインスキャンを取得する。SLO光束はさらに走査部219によるX方向スキャンが加わってラスタースキャンとなり、被検眼ErのSLO画像がOCT画像と同時に取得される。215bのY方向ガルバノスキャナはOCTボリュームスキャン、被検眼Erの撮影位置変更、眼底トラッキングの為に用いられる。なお走査部219にはポリゴンミラーを用いてもよい。ここで、SLO画像の横方向及び縦方向は、それぞれX方向及びY方向に対応する。SLO画像は、被検眼Erの正面画像の一例である。また、OCT画像の横方向及び縦方向は、それぞれY方向及びZ方向に対応する。OCT画像は、被検眼Erの断層画像の一例である。
光束L1とL2はさらに凹面ミラー220,221,222,223により光束の太さを波面補正デバイス224の有効径に合わされる。波面補正デバイス224には可変形状ミラーを用いており、L1とL2の両光束は224での反射により波面補正を受ける。波面補正デバイスとしては可変形状ミラーの他に、液晶を用いた空間光位相変調器等を用いることもできる。
225はビームスプリッタであり、光束L1,L2における被検眼Erからの戻り光の一部を反射して波長選択フィルタ226へ向ける。波長選択フィルタはOCT光束L2のみを透過する波長特性であり、これにより波面測定器227ではOCT光束L2をもとにして被検眼Erの収差が計測される。本実施形態においては、波面測定器227としてシャックハルトマンセンサーを用いることとする。
ダイクロイックミラー228は、光束L1とL2の分離・合成を行う。228はSLOの光束L1を反射し、OCT光束のL2を透過する。230はSLO用の光源であり、波長780nmのSLD光源(Super Luminescent Diode)を用いている。本実施形態においてはSLD光源を用いたが、その他にレーザー等も用いられる。光源230から照射されたSLO光束L1の光は、単一モード光ファイバー231を通って、コリメータレンズ232により、平行光線として照射される。照射された光はビームスプリッタ229を反射し、さらにダイクロイックミラー228を反射してOCT光束L2と合成され被検眼Erへ向かう。Erから戻ったSLO光束L1はダイクロイックミラー228を反射してOCT光束L2と分離され、さらにビームスプリッタ229を透過して、コリメータレンズ232によって集光される。集光されたSLO光束L1はピンホール233を通過することで被検眼Erの反射散乱光のうち共焦点成分のみが光強度センサ234で検出され、画像化される。光強度センサにはAPD(Avalanche Photodiode)を用いたが、その他にPMT(Photomultiplier Tube)を利用することもできる。
235はOCT撮影光学系であり、内部に不図示の参照光路と分光器、ラインセンサ、光源を備えたSpectral Domain方式を採用している。OCT光束L2は235か射出された測定光及びその被検眼Erからの戻り光であり、戻り光はOCT撮影光学系235内で参照光と干渉されてErの網膜の断層情報を含んだ干渉信号が取得される。
図3は、第1の実施形態にかかる制御装置120のハードウェア構成を示す図である。制御装置120は、CPU301と、ROM302と、RAM303と、HDD304と、入力部305と、通信部306とを有している。CPU301は、ROM302に記憶された制御プログラムを読み出して各種処理を実行する。RAM303は、CPU301の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD304は、各種データや各種プログラム等を記憶する。入力部305は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。なお、入力部305は、ジョイスティック、タッチパネル、トラックボール、タッチペンなど、その他の操作入力装置であってもよい。通信部306は、ネットワークを介して撮影装置110や表示装置130等の外部装置との通信処理を行う。
後述する制御装置120の機能や処理は、CPU301がROM302又はHDD304に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、CPU301は、ROM302等に替えて、SDカード等の記録媒体に格納されているプログラムを読み出してもよい。また、他の例としては、制御装置120の機能や処理の少なくとも一部は、例えば複数のCPU、RAM、ROM、及びストレージを協働させることにより実現してもよい。また、他の例としては、制御装置120の機能や処理の少なくとも一部は、ハードウェア回路を用いて実現してもよい。ハードウェア回路としてはASIC等が挙げられる。
図4は、制御装置120の機能構成を示す図である。制御装置120は、画像生成部401、記憶部402、制御部403、解析部404及び取得部405を有している。取得部405は、撮影装置110のSLOの光強度センサ234、波面測定器227及びOCT撮影光学系235の不図示のラインセンサのそれぞれからの出力信号を取得する。また、取得部405は、撮影装置110の走査部215a,215b,219で測定光の走査を行った際の走査位置及び時間を、撮影装置110又は制御部403から取得する。さらに、取得部405は、画像生成部401から、干渉信号に基づいて生成されたフーリエ変換後の信号やこれに何らかの信号処理を施した信号等を取得することもできる。
画像生成部401は、取得部405が取得した、SLOの光強度センサ234から出力された信号と、各走査部の走査位置及び時間を用いて被検眼Erの眼底正面画像(SLO画像)を生成する。また、画像生成部401は、取得部405が取得した、OCT撮影光学系235のラインセンサからの干渉信号をフーリエ変換し、得られるデータを輝度又は濃度情報に変換することによって被検眼の深さ方向(Z方向)の画像を生成する。さらに画像生成部401は、複数のSLO画像の重ね合わせ処理や、複数のOCT画像の合成処理も行う。
記憶部402は、取得部405で取得した各種情報や、画像生成部401によって生成されたSLO画像、2次元又は3次元の断層データ(断層画像を含む)を記憶する。記憶部402はまた、被検眼の撮影に使われた撮影パラメータ等を記憶する。解析部404は、画像生成部401が生成した画像や記憶部402に記憶されている画像の解析を行う。解析部404は、例えば、画像ノイズやコントラスト不足などの画像評価や、断層画像における合焦位置の特定を行う。解析部404はまた、連続的に取得されるSLO画像同士の位置関係を逐次解析し、被検眼Erの動きを検出する。解析部404はまた、取得部405が波面測定器227から取得した被検眼Erの収差情報に基づいて、収差を補正する為の波面の補正パターンを生成する。
制御部403は、撮影装置110の全体を制御する。制御部403はまた、記憶部402に記憶されたSLO画像や、断層データ、被検者の情報等を表示装置130に表示させる表示制御部としても機能する。さらに制御部403は、補償光学系の制御も行う。制御部403は、解析部404が生成した波面補正パターンを用いて波面補正デバイス224を制御し、被検眼Erの収差を補正する。また、制御部403は、被検眼の断層画像及び正面画像を取得するために、走査部215a,215b,219に走査制御信号を送り、測定光にて被検眼Erの眼底上を走査する。このとき、制御部403は、眼底トラッキングを行う。眼底トラッキングとは、解析部404が検出した被検眼Erの動きの量に応じて、これを打ち消す方向に走査部215a,215bのガルバノスキャナをシフト駆動し、被検眼Erの動きの影響をなくす処理である。他にも制御部403は、フォーカス調整機構213a,213bの位置調整及や固視灯214の点滅制御も行う。
次に、解析部404がOCT画像を解析して、OCT画像上で測定光が合焦しているZ方向(被検眼Erの深さ方向)の位置である合焦位置を特定する処理について説明する。本実施形態の解析部404は、以下に示す3つの異なる手法それぞれから合焦位置を特定し、得られた3つの合焦位置から最終的な合焦位置を決定する。
第1の手法は、OCT画像のピクセル列の画素の値の周波数特性によるものである。ここで、ピクセル列とは、OCT画像の横方向(Y方向)に並ぶ1ピクセル単位のピクセル列である。すなわち、ピクセル列は、1×Nピクセル(Nは、OCT画像の横方向のピクセル数)の、縦方向の位置が等しいN個のピクセル群である。解析部404は、ピクセル単位で複数のピクセル列を抽出する。すなわち、解析部404は、OCT画像の縦方向のピクセル数がMの場合には、M個のピクセル列を抽出する。そして、解析部404は、抽出したすべてのピクセル列に対し、横方向のフーリエ変換を行う。そして、解析部404は、得られた周波数スペクトルを周波数が高い方が重みが大きくなるように重み付けをした上で積分し、その結果を各ピクセル列の評価値として得る。ここで、複数のピクセル列は、深さ方向に対応する位置が異なる複数の領域の一例である。
解析部404は、縦方向の各位置と、評価値を2軸とするグラフに、評価値をプロットし、これを等角直線フィッティングにかけて得られた直線から評価値が最大になる縦方向の位置を推定し、これを合焦位置として特定する。図5は、フィッティング結果を示す図である。図5のグラフの横軸は、OCT画像の縦方向の位置を示し、縦軸は、縦方向の各位置に対応するピクセル列から得られた評価値を示している。500は、等角直線フィッティングにかけて得られた直線を示している。ここで、評価値は、各ピクセル列における横方向(配列方向)における画素値の周波数特性を示すものである。すなわち、第1の手法は、縦方向の所定の位置における横並びの画素の配列の周波数特性に基づいて、評価値を求める評価処理の一例である。また、評価値は、合焦状態の評価結果の一例である。
なお、本実施形態においては、解析部404は、ピクセル単位で縦方向の各位置の評価値を求めたが、これに限定されるものではない。解析部404は、例えば、縦方向に1ピクセルおきなど、所定の間隔おきにピクセル列を抽出し、抽出したピクセル列の評価値から所定間隔おきの単位で合焦位置を特定してもよい。また、ピクセル列としての各領域は、縦方向に2ピクセル以上の領域であってもよい。この場合、解析部404は、横方向の各位置の2以上の画素値の平均を、横方向の各位置の画素値としてもよい。また、他の例としては、解析部404は、画素値に替えて、コントラスト等の画質指標を用いてもよい。
第2の手法は、ピクセル列の輝度によるものである。解析部404は、各ピクセル列の輝度値の平均を算出する。そして、解析部404は、第1の手法と同様に、輝度の平均値のフィッティングにより輝度の平均値が最大となる縦方向の位置を推定し、これを合焦位置として特定する。
第3の手法は、輝度の比較によるもので、網膜の層構造によるOCT画像の明暗の影響を除去し、合焦による輝度変化を抽出する手法である。解析部404は、被検眼の同一箇所を合焦位置を変えて撮影した2枚のOCT画像それぞれについて、第2の手法と同様にして縦方向の各位置の輝度平均値を得る。次に、解析部404は、被検眼Erの動きに伴う画像間の位置ずれを補正した上で、同じ縦方向位置の輝度平均値について、一方のOCT画像の値と他方のOCT画像の値との除算により、輝度平均値の比率(輝度比率)を得る。解析部404はさらに、輝度比率を縦方向の各々の位置に対して求めてプロットする。図6は、プロット例を示す図である。図6に示すグラフの横軸は、OCT画像の縦方向の位置を示し、横軸は、縦方向の各位置に対応するピクセル列から得られた輝度比率を示している。
グラフにおいて、ディップ部601に、除数となったOCT画像の輝度ピークが表れており、ピーク部602に、被除数となったOCT画像の輝度ピークが表れている。本実施形態においては、解析部404は、これらディップとピーク各々をパラボラフィッティングにかけ、各々のOCT画像の合焦位置を特定する。
解析部404は、以上の3つの手法で特定された合焦位置について、フィッティング時に求まったパラメータや残差の値から不確かさを評価し、それに応じて重み付けした上で平均化して最終的な合焦位置を決定する。なお、本実施形態においては、解析部404は、上記3つの手法を用いたが、これらの手法のうち少なくとも1つを用いて合焦位置を求めてもよく、また、他の任意の手法を用いて合焦位置を求めてもよい。このように、解析部404は、OCT画像の縦方向の位置の異なる複数の領域の画素の値に基づいて、OCT画像の合焦位置を求めればよく、そのための具体的な処理は実施形態に限定されるものではない。
次に、制御装置120の制御の下、表示装置130に表示される観察画面について説明する。図7は、観察画面の一例を示す図である。観察画面700は、被検眼の観察時に表示装置130に表示される。観察画面700には、画像を表示するための、第1の領域710と、第2の領域720と、第3の領域730と、が設けられている。第1の領域710は、画像生成部401により生成されたSLO画像をライブビュー表示する領域である。第2の領域720は、画像生成部401により生成されたOCT画像をライブビュー表示する領域である。ライブビュー表示されるOCT画像とSLO画像は、合焦位置について同じ設定値が設定された状態で、同時に撮影された画像である。また、第3の領域730は、画像生成部401により得られた複数のOCT画像を足し合わせることで得られたOCT画像を表示する領域である。なお、以下、OCT画像を区別すべく、画像生成部401により生成され、ライブビュー表示されるOCT画像を生成OCT画像と称し、合成により得られたOCT画像を合成OCT画像と称する。本実施形態においては、合成OCT画像は、生成OCT画像と等しい撮影範囲の画像であるものとする。
観察画面700においては、さらに第3の領域730において、合成OCT画像に対応付けて黒色の矢印画像731と白色の矢印画像732が表示されている。ここで、黒色の矢印画像731は、ライブビュー表示中のSLO画像のZ方向の合焦位置に対応する、合成OCT画像の縦方向の位置(対応位置)を示す画像である。黒色の矢印画像731は、対応位置を指すように合成OCT画像に対応付けて配置される。これにより、操作者は、黒色の矢印画像731を参照することで、ライブビュー表示中のSLO画像が合成OCT画像の縦方向(Z方向)のいずれの位置を合焦位置とする画像であるかを容易に確認することができる。
また、白色の矢印画像732は、既に撮影記録されているSLO画像の合焦位置に対応した、合成OCT画像の縦方向の位置(対応位置)を示す画像である。例えば、記憶部402に、合焦位置の異なる2つのSLO画像が記憶されている場合に、図7に示すように、白色の矢印画像732が2つ表示される。これにより、操作者は、Z方向のいずれの位置に合焦したSLO画像を撮影済みであるかを確認することができる。
図7に示す状態において、新たに撮影指示を受け付けると、ライブビュー表示されていたSLO画像の撮影、記録が行われる。これに伴い、図7に示す黒色の矢印画像731は白色の矢印画像732に更新される。さらに、合焦位置の設定値が変更されると、変更後の設定値において、生成され、ライブビュー表示されるSLO画像に対応した黒色の矢印画像731が新たに表示されることになる。ここで、黒色の矢印画像731は、対応位置を示す位置画像の一例である。
図8は、制御装置120による表示処理を示すフローチャートである。眼科装置100においては、ユーザ操作に応じて合焦位置が設定され、合焦位置の設定値に応じてフォーカス調整機構が制御される。本実施形態の制御装置120は、この設定値で撮影されたSLO画像とOCT画像を観察画面700に表示する。制御装置120は、さらに、観察画面700に表示されたSLO画像のZ方向の合焦位置に対応する、OCT画像の縦方向の位置を識別可能に表示する。
S801において、制御部403は、各種位置調整を行う。調整項目は、固視標の位置調整、フォーカス調整、参照ミラー位置調整である。以下に各々の調整工程について詳細を説明する。ユーザ操作により、固視標位置741が調整されると、制御部403は、固視標調整指示を受け付け、これに応じて、固視標位置741の位置情報を固視灯214の表示位置へ変換し、固視灯214を点灯制御する。これにより、被検眼ErのXY平面における撮影位置が定まる。さらに、ユーザ操作により、フォーカス調整スライダー750が調整されると、制御部403は、フォーカス調整指示を受け付ける。そして、制御部403は、フォーカス調整指示に応じて、フォーカス調整機構であるレンズ213a,213bを駆動する不図示のモータ駆動位置を駆動制御する。さらに、ユーザ操作に応じて、参照ミラー調整スライダー760が調整されると、制御部403は、参照ミラー調整指示を受け付ける。そして、制御部403は、参照ミラー調整指示に応じて、不図示の参照ミラーの位置を駆動制御する。
次に、S802において、画像生成部401は、S801における調整後の条件において被検眼ErのSLO画像とOCT画像を生成する。本実施形態においては、SLO画像とOCT画像の合焦位置は、いずれもフォーカス調整機構であるレンズ213a,213bにより制御される。すなわち、SLO画像を撮影するための測定光を被検眼に合焦させるための合焦部と、OCT画像を撮影するための測定光を被検眼に合焦させるための合焦部とは、同一の光学素子で形成されている。このため、S802においては、合焦位置について同一の設定値で撮影されたSLO画像とOCT画像が得られる。すなわち、S802の処理は、合焦位置が同一の設定値で撮影された断層画像と、正面画像と、を取得する取得処理の一例である。そして、制御部403は、得られたSLO画像を観察画面700の第1の領域710に表示し、得られたOCT画像を生成OCT画像として第2の領域720に表示するよう制御する。
次に、S803において、制御部403は、ユーザ操作によりAOボタン770が選択されたことに対応し、被検眼Erの収差補正(AO)の開始指示を受け付ける。次に、S804において、制御部403は、収差補正を行うよう制御する。具体的には、制御部403は、取得部405を介して、波面測定器227で測定された被検眼Erの収差情報を解析部404へ送る。解析部404は、収差を補正する為の波面補正パターンを生成する。そして、制御部403は、生成された補正パターンに基づいて、波面補正デバイス224を制御することにより被検眼Erの収差を補正する。
制御部403は、補正後に再び、取得部405から波面測定器227で測定された被検眼Erの収差の測定値を取得する。また、制御部403は、記憶部402から収差の閾値を読み出す。ここで、閾値は、収差の許容値であり、予め設定された値である。そして、制御部403は、被検眼Erの収差の測定値と閾値とを比較し、測定値が閾値以上の場合には、再びAO制御を実行し、補正残差を減衰させて行く。制御部403は、測定値が閾値未満になるとS804の処理を終了し、処理をS805へ進める。S804の処理により、収差の影響が抑制された状況下での信号強度及び分解能のSLO画像とOCT画像を得ることができる。そして、制御部403は、収差補正に伴い、第1の領域710に表示されたSLO画像と、第2の領域720に表示された生成OCT画像と、を補正後の画像に適宜更新する。なお、以降の工程で実行される合焦位置調整により収差のデフォーカス成分が生じるが、これは補正の対象外とする。これにより、合焦位置調整の効果がAOにより打ち消されることを避ける。
次に、S805において、制御部403は、眼底トラッキングを開始するよう制御する。眼底トラッキングとは、被検眼Erの不要な動きを補正する処理である。解析部404は、画像生成部401により生成され、適宜更新されるSLO画像同士の位置関係を逐次解析し、被検眼Erの動きを検出する。そして、制御部403は、これを打ち消す方向に走査部215a,215bのガルバノスキャナをシフト駆動するよう制御し、被検眼Erの動きの影響を低減させる。なお、制御部403は、後述のS814において撮影位置が変更されるまで、連続的にトラッキング処理を実行する。
続く処理において、解析部404は、合成OCT画像を生成し、この合成OCT画像において、SLO画像の合焦位置に対応した対応位置を特定し、特定した位置に黒色の矢印画像731を表示する。本実施形態においては、合成OCT画像と生成OCT画像は撮影範囲が等しい画像であるため、SLO画像の合焦位置に対応した、画像の縦方向の位置は合成OCT画像と生成OCT画像とで等しくなる。そこで、本実施形態においては、解析部404は、生成画像OCTにおいて、SLO画像の合焦位置に対応した対応位置を特定し、特定した対応位置を、合成OCT画像における対応位置として特定することとする。
まず、S806において、解析部404は、SLO画像の合焦位置に対応した、生成OCT画像の縦方向の位置(対応位置)を特定する。生成OCT画像は、SLO画像と同一の光学素子で形成された合焦部により合焦された測定光で撮影されており、生成OCT画像とSLO画像において、被検眼Erの合焦位置は等しい。そこで、解析部404は、S806において、S802において生成されたOCT画像の合焦位置を求め、これをSLO画像の合焦位置に対応した対応位置として特定する。なお、S806の処理は、SLO画像の撮影時の合焦位置の設定値と等しい設定値で撮影されたOCT画像に基づいて、SLO画像の合焦位置に対応した、OCT画像における対応位置を特定する特定処理の一例である。
解析部404は、OCT画像に対し、先に説明した3つの手法により合焦位置を特定する。具体的には、解析部404は、OCT画像に対応した撮影位置情報とフォーカス位置情報を制御部403から取得する。撮影位置情報は、左右眼情報と固視標の表示位置であり被検眼眼底のどの位置を撮影しているかを表す情報である。またフォーカス位置情報は、AOにより被検眼の収差が補正され、収差のデフォーカス値がゼロとなった状態を基準に、フォーカス調整機構がフォーカスをシフトさせた量である。さらに、解析部404は、記憶部123から撮影位置情報に示される撮影位置と同じ位置で撮影されたOCT画像を検索する。検索により対応するOCT画像が検出され、かつそのOCT画像のフォーカス位置が、処理対象のOCT画像のフォーカス位置と異なる場合、検出されたOCT画像を用いて、第3の手法も含めた合焦位置の特定を行う。なお、対応するOCT画像が検出されなかった場合には、第1の手法と第2の手法のみで合焦位置を特定する。
次に、S807において、画像生成部401は、適宜生成、更新される、トラッキングが行われた複数枚のOCT画像を重ね合わせた合成OCT画像を生成し、これを記憶部402に格納する。そして、制御部403は、生成された合成OCT画像を観察画面700の第3の領域730に表示するよう制御する。なお、S807の処理が、続くS808〜S810の処理後に再び実行された場合には、観察画面700には既に合成OCT画像が表示されており、記憶部402には、合成OCT画像が格納されている。この場合には、画像生成部401は、S806において、第1の手法において求めた評価値や、第2の手法において求めた輝度平均値を参照し、これらがより高くなる領域を新規及び従来のOCT画像から抜き出して合成する。これにより、広域にわたり分解能及び輝度が高い合成OCT画像を生成することができる。そして、制御部403は、新たに生成された合成OCT画像を第3の領域に表示するよう制御し、また記憶部402の合成OCT画像を新たに生成された合成OCT画像に更新する。
例えば、新規に生成されたOCT画像を除数、既に生成済みの合成OCT画像を被除数として図6に示すプロット結果が得られたとする。この場合には、第1の領域611については除数である新規に生成されたOCT画像の方が、輝度平均値が高く、第2の領域612については被除数である既に生成済みの合成OCT画像の方が、輝度平均が高い。そこで、画像生成部401は、第1の領域611には、新規に生成されたOCT画像を用いることとし、第2の領域612には、生成済みの合成OCT画像を用いることとする。すなわち、画像生成部401は、第1の領域611の新規に生成されたOCT画像の第1の領域611の画像と、既に生成済みの合成OCT画像の第2の領域612の画像とを合成することで新たな合成OCT画像を生成する。S807の処理により、後述のS809で合焦位置が変更される度に、合成OCT画像においては、分解能及び輝度が高い領域が増加する。
次に、S808において、制御部403は、S806において特定した対応位置と等しい、合成OCT画像の縦方向の位置を、SLO画像の合焦位置に対応する対応位置として特定する。そして、制御部403は、合成OCT画像の対応位置に、黒色の矢印画像731を表示するよう制御する。このように、合成OCT画像の対応位置に、黒色の矢印画像731を表示することにより、SLO画像の合焦位置に対応する、合成OCT画像の縦方向の位置(Z方向の位置)が識別可能となる。すなわち、S808の処理は、断層画像としての合成OCT画像を表示し、合成OCT画像において、正面画像としてのSLO画像の合焦位置を識別可能に表示するよう制御する表示制御処理の一例である。
次に、S809において、制御部403は、合焦位置の設定値を変更する。具体的には、制御部403は、観察画面700のフォーカス調整スライダー750に対するユーザ操作に応じて、合焦位置の設定値を変更する。そして、制御部403は、変更後の設定値に応じて、フォーカス調整機構であるレンズ213a,213bの駆動を制御する。これにより、SLO画像及びOCT画像の合焦位置が変更される。他の例としては、操作者は、合成OCT画像に表示される黒色の矢印画像731をマウス操作によってドラッグアンドドロップして、合成OCT画像の縦方向の位置を変更することで、合焦位置の設定値の変更指示を入力してもよい。この場合には、制御部403は、黒色の矢印画像731の移動量に応じた合焦位置の設定値の変化量を求め、合焦位置を変化量だけ増減する。
次に、S810において、画像生成部401は、変更後の合焦位置の設定値で撮影されたSLO画像及びOCT画像を生成する。そして、制御部403は、観察画面700の第1の領域710及び第2の領域720の表示を、それぞれ新たに生成された画像に更新する。次に、S811において、制御部403は、撮影指示を受け付けたか否かを確認する。制御部403は、観察画面700において、測定開始ボタン780が押下されると、撮影指示を受け付ける。制御部403は、撮影指示を受け付けると(S811でYes)、処理をS812へ進める。制御部403は、撮影指示を受け付けなかった場合には(S811でNo)、処理をS806へ進める。
制御部403は、処理をS806へ進めた場合には、S809において変更された合焦位置の設定値において生成されたSLO画像を合焦位置を特定する対象の画像とし、S806〜S808の処理を行う。すなわち、S806において、制御部403は、対象のSLO画像(S809における変更後の合焦位置の設定値において得られたSLO画像)の合焦位置に対応した、OCT画像における対応位置を特定する。
既にS806の処理が実行された後にS811の処理を経由して再びS806の処理が実行される場合には、解析部404は、過去にS806の処理により既に特定済みの対応位置に基づいて、対象のSLO画像の合焦位置に対する対応位置を特定する。ここで、特定済みの対応位置は、対象のSLO画像よりも前に撮影されたSLO画像の合焦位置に対応した位置である。解析部404は、特定済みの対応位置を、直前のS809の処理における合焦位置の設定値の変更量に対応した量だけ変更することで、対象のSLO画像に対応した、対応位置を特定する。このように、解析部404は、既に特定済みの対応位置が存在する場合には、特定済みの対応位置と、合焦位置の変更量と、に基づいて、対象のSLO画像の合焦位置に対応した、対応位置を特定することができる。さらに、制御部403は、S807において、新たに生成されたOCT画像に基づいて、観察画面700の合成OCT画像の表示を更新し、S808において、黒色の矢印画像731の配置を更新する。
一方、S812においては、制御部403は、予め設定された一定時間の間、画像生成部401が適宜生成・更新するOCT画像とSLO画像及びこれらの付帯情報を記憶部402へ記録する。ここで付帯情報は、撮影位置情報とフォーカス位置情報、S806において特定された対応位置及び合成OCT画像を含んでいる。
次に、S813において、制御部403は、S812において記憶部402に記録されたSLO画像に対応した、黒色の矢印画像731を白色の矢印画像732に変更する。すなわち、黒色の矢印画像731が配置されていた対応位置に、白色の矢印画像732を表示する。なお、白色の矢印画像732は、固視標表示位置や左右眼が変わりOCT画像が一新されるまで同じ位置に継続的に表示される。また、新たにSLO画像が記録される度に、記録されたSLO画像に対応した白色の矢印画像732が観察画面700に追加されていく。
次に、S814において、制御部403は、合焦位置の変更指示を受け付けたか否かを確認する。本処理は、変更指示の受付処理の一例である。制御部403は、観察画面700上でのフォーカス調整スライダー750の操作または合成OCT画像に表示される黒色の矢印画像731のマウス操作が行われた場合に、合焦位置の変更指示を受け付ける。制御部403は、合焦位置の変更指示を受け付けなかった場合には(S814でNo)、処理をS815へ進める。制御部403は、合焦位置の変更指示を受け付けた場合には(S814でYes)、処理をS809へ進める。なお、処理が809へ進んだ場合は、撮影指示を受け付けるまでの間にS806の処理が実行され、変更指示に係る変更後の合焦位置の設定値において得られたSLO画像の合焦位置に対応して、黒色の矢印画像732の配置位置が変更される。
S815において、制御部403は、撮影位置の変更指示を受け付けたか否かを確認する。制御部403は、観察画面700の固視灯調整部740に表示される固視標位置741の位置変更及び撮影装置110に取り付けられた図示しない左右検知センサの変化が検出された場合に、撮影位置の変更指示を受け付ける。制御部403は、撮影位置の変更指示を受け付けた場合には(S815でYes)、観察画面700に表示される合成OCT画像や白色の矢印画像732をすべて消去し、眼底トラッキングも停止した上で、処理をS804へ進める。この場合、制御部403は、撮影位置の変更に伴う収差の変化が規定値未満まで補正されるのを確認して、新たな撮影位置で処理を継続する。一方、制御部403は、撮影位置の変更指示を受け付けなかった場合には(S815でNo)、表示処理を終了する。
以上のように、眼科装置100は、SLO画像のZ方向における合焦位置に対応した、OCT画像における位置を特定することができ、さらに特定した位置をOCT画像に対応付けて表示することができる。眼科装置100は、SLO画像の合焦位置に対応した位置を示すOCT画像を、SLO画像と共に表示するので、操作者は、SLO画像とOCT画像の対応関係を容易に把握することができる。すなわち、眼科装置100は、被検眼の深さ方向の観察を精度よく行うための情報を提供することができる。また、ユーザは、対応位置が特定された後は、合成OCT画像に表示された黒色の矢印画像731で示される対応位置を基準とし、相対的な変化量を指定することで合焦位置を指定することができる。したがって、操作者が希望する、被検眼Erの深さ方向の位置のSLO画像を撮影することができる。
第1の実施形態の第1の変形例としては、SLO画像の合焦位置を特定するために参照される生成OCT画像は、SLO画像と同一の合焦位置の設定値において撮影された画像に限定されるものではない。他の例としては、参照されるOCT画像は、SLO画像の合焦位置の設定値に連動するような合焦位置の設定値において撮影された画像であってもよい。
例えば、SLO画像を撮影するための測定光を被検眼に合焦させるための合焦部と、OCT画像を撮影するための測定光を被検眼に合焦させるための合焦部は、異なる光学素子で形成されているものとする。そして、SLO画像用の光学素子と、OCT画像用の光学素子を連動させるように駆動制御する駆動制御部を設けることとする。さらに、制御部403は、OCT画像の合焦位置の設定値とSLO画像の合焦位置の設定値の関係を示す関係情報を予め記憶しておく。関係情報としては、例えば、OCT画像の合焦位置と、対応するSLO画像の合焦位置に対応した、OCT画像における対応位置を対応付ける対応テーブルが挙げられる。関係情報の他の例としては、OCT画像の合焦位置からSLO画像の合焦位置に対応した、OCT画像における対応位置を算出する関数が挙げられる。そして、制御部403は、OCT画像の合焦位置を特定し、OCT画像の合焦位置と、関係情報と、に基づいて、SLO画像の合焦位置に対応した、OCT画像における対応位置を特定すればよい。
また、第2の変形例としては、本実施形態においては、観察画面700に表示される合成OCT画像は、生成OCT画像と同一の撮影範囲の画像であるものとしたが、これに限定されるものではない。合成OCT画像は、SLO画像に対応したZ方向の位置とY方向の位置とを含む画像であればよい。ただし、この場合には、制御装置120は、等しいZ方向に対応した、合成OCT画像の縦方向の位置と、生成OCT画像の縦方向の位置と、を対応付ける関係情報を記憶しているものとする。そして、制御装置120は、生成OCT画像において対応位置を特定すると、関係情報に基づいて、生成OT画像の対応位置に対応した、合成OCT画像の縦方向の位置を特定し、これを合成OCT画像における対応位置として特定すればよい。
また、第3の変形例としては、制御装置120は、合成OCT画像において、SLO画像の合焦位置に対応した対応位置を識別可能に、合成OCT画像を表示すればよく、そのための具体的な表示方法は実施形態に限定されるものではない。他の例としては、制御装置120は、第3の領域730上に、対応位置を示す直線や、対応位置を囲む線等を重畳表示してもよい。また、他の例としては、制御装置120は、第3の領域730のうち、対応位置を含む領域の色や明暗を変化させたり、対応位置を含む領域を拡大表示したりしてもよい。
また、第4の変形例としては、制御装置120は、矢印画像731,732の色を異ならせることで、両者を識別可能としているが、矢印画像731と矢印画像732を同じ画像としてもよい。このように、制御装置120は、表示中のSLO画像の合焦位置に対応する対応位置と、すでに撮影記録済みのSLO画像の合焦位置に対応する対応位置と、を区別することなく一様に表示してもよい。
また、第5の変形例としては、制御装置120は、白色の矢印画像732に対応したSLO画像を表示してもよい。例えば、ユーザは、観察画面700において、合成OCT画像に対応付けて表示される、白色の矢印画像732を選択する。これに対し、制御装置120は、ユーザ操作に応じた選択指示を受け付け、選択指示に係る白色の矢印画像732が示す対応位置に対応付けて記憶部402に記憶されているSLO画像を抽出し、これを観察画面700に表示する。制御装置120は、抽出されたSLO画像については、第1の領域710に表示することとする。また、他の例としては、制御装置120は、観察画面700において、新たに第4の領域(不図示)を設け、第1の領域710にSLO画像をライブビュー表示するのと同時に、第4の領域に、抽出されたSLOがオブジェクト像を表示することとしてもよい。
(第2の実施形態)
第2の実施形態に係る制御装置120は、X方向の撮影位置が異なる複数のOCT画像を生成し、生成した複数のOCT画像から3次元画像(3D画像)を生成し、3次元画像から擬似的なSLO画像を生成する。そして、制御装置120は、生成した疑似的なSLO画像と、画像生成部401により生成されたSLO画像とを比較することで、画像生成部401により生成されたSLO画像の合焦位置に対応した、合成OCT画像における縦方向の位置を特定する。
以下、第2の実施形態に係る眼科装置100について、第1の実施形態に係る眼科装置100と異なる点を説明する。図9は、第2の実施形態に係る制御装置120による表示処理を示すフローチャートである。なお、図9に示す表示処理の各処理のうち、図8を参照しつつ説明した第1の実施形態に係る表示処理の各処理と同一の処理には、同一の番号を付している。制御部403は、S811において、撮影指示を受け付けた場合には(S811でYes)、処理をS901へ進める。S901において、解析部404は、SLO画像の合焦位置に対応した、合成OCT画像における対応位置を特定する。制御部403は、S901の処理が終了した後、処理をS812へ進める。
図10は、図9を参照しつつ説明した対応位置特定処理(S901)における詳細な処理を示すフローチャートである。S1001において、解析部404は、3D画像を生成する。図11は、S1001の処理の説明図である。制御部403は、Y方向の走査部215bが1往復して1枚のOCT画像に相当する信号を取得する毎に、X方向の走査部215aを順次ステップしてX方向に走査位置を変えながら、所定のOCT画像枚数分のスキャンするよう制御する。これにより、取得部405は、測定光の投影位置が異なる複数のOCT画像のセットである3Dボリュームデータ1100を取得する。なお、この間、制御部403がSLOのX方向走査部219を走査することで、取得部405は同時にSLO画像も取得する。
制御部403は、画像生成部401が適宜生成・更新するOCT画像及びSLO画像を記憶部402に記録する。制御部403はさらに、OCT画像及びSLO画像の付帯情報を記憶部402へ記録する。付帯情報は、第1の実施形態において説明した付帯情報と同様であり、撮影位置情報とフォーカス位置情報、SLO画像の合焦位置に対応した対応位置、合成OCT画像を含んでいる。そして、解析部404は、記憶部402から、複数のOCT画像を読み出し、これらに基づいて、3D画像1110を生成する。
次に、S1002において、画像生成部401は、合成SLO画像を生成する。前述の通り、眼科装置100においては、X方向の走査部215aがOCTとSLOで共通光路となっている。このため、S1001において3Dボリュームデータ1100を取得する際に、制御部403の制御により、走査位置が変更されるのに伴い、X方向の走査位置を変えながら、SLO画像が撮影される。図12は、この様子を模式的に示す図である。複数のOCT画像を生成する際に、フレーム毎にX方向の位置が変更されることで、複数のSLO画像1201〜1207が得られる。このうち、X方向において両端のSLO画像1201,1207それぞれの中央の位置までの領域1200が3D画像1110のX方向の撮影範囲に対応する。そこで、解析部404は、複数のSLO画像それぞれにおいて、領域1200に含まれる画像を抽出し、これらを重ね合わせることで1枚のSLO画像を合成SLO画像として生成する。具体的には、画像生成部401は、複数のSLO画像を平均化することで合成SLO画像を生成する。
次に、S1003において、画像生成部401は、S1001において生成した3D画像から、疑似SLO画像を生成する。具体的には、画像生成部401は、3D画像のZ方向(被検眼Erの深さ方向)における特定の位置の画像データを抽出する。本実施形態においては、抽出される画像データは、Z方向に対して焦点深度の半分である30μmに相当する画素数分の画像データとするが、これに限定されるものではなく、例えば1pixelの厚さの画像データとしてもよい。さらに、画像生成部401は、抽出した画像データをZ方向に対して平均化することで2次元の疑似SLO画像を生成する。これにより、例えば、図11に示すように、3D画像1110のZ方向の位置1111から画像データが抽出され、抽出された画像データに基づいて、2次元の疑似SLO画像1120が生成される。画像生成部401は、以上のように疑似SLO画像を生成する処理を、3D画像の上端から下端まで、Z方向の位置を変えながら繰り返すことで、Z方向の位置の異なる、複数の疑似SLO画像を生成する。
次に、S1004において、解析部404は、S1003において生成された複数の疑似SLO画像それぞれと、S1002において生成された合成SLO画像と、の相関を求める。なお、本実施形態においては、解析部404は、相関を評価する際に、正規化相互相関を用いることとするがこれに限定されるものではない。他の例としては、解析部404は、同様のピクセル値を用いて、SAD(輝度値の差の絶対値の合計)や、SSD(輝度値の差の2乗の合計)など、一般的なパターンパッチングの手法を用いてもよい。そして、解析部404は、相関が最も高くなる疑似SLO画像を特定し、特定した疑似SLO画像に対応したZ方向の位置を、撮影されたSLO画像の合焦位置に対応した対応位置として特定する。なお、第2の実施形態に係る眼科装置100のこれ以外の構成及び処理は、第1の実施形態に係る眼科装置100の構成及び処理と同様である。
以上のように、第2の実施形態の眼科装置100は、複数のOCT画像から3D画像を生成し、3D画像とSLO画像を比較することで、SLO画像の合焦位置に対応した、OCT画像における縦方向の対応位置を特定することができる。これにより、眼科装置100は、被検眼の深さ方向の観察を精度よく行うための情報を提供することができる。
第2の実施形態の変形例としては、S1002の処理は、3Dボリュームデータの生成時に同時に撮影される複数のSLO画像を用いることでSLO画像の画質の向上を図るものであり、SLO画像を生成する処理はこれに限定されるものではない。他の例としては、解析部404は、3Dボリュームデータの撮影の直前又は直後に、X方向の走査部215aを止めてX方向に撮影位置が移動しない複数のSLO画像を撮影して、これらを平均化することで合成SLO画像を生成してもよい。また、他の例としては、制御部403は、S1002において、合成SLO画像を生成するのに替えて、領域1200に含まれるSLO画像(図12の例ではSLO画像1204)を合焦位置を特定する処理の対象のSLO画像として特定してもよい。
(第3の実施形態)
次に、第3の実施形態に係る情報処理装置について説明する。第3の実施形態に係る情報処理装置のハードウェア構成は、図3に示す制御装置120のハードウェア構成と同様である。第3の実施形態に係る情報処理装置は、複数のSLO画像と各SLO画像に対して特定された、合成OCT画像における対応位置とを対応付けた合焦位置情報と、合成OCT画像と、を記憶している。合焦位置情報や合成OCT画像は、第1の実施形態や第2の実施形態において説明した制御装置120により記憶部402に記憶された情報である。そして、情報処理装置のCPUは、外部の表示装置に合成OCT画像を表示し、さらに、合成OCT画像の縦方向の位置に合焦位置情報に示される対応位置それぞれに対応した、複数の矢印画像を表示するよう制御する。そして、情報処理装置のCPUは、複数の矢印画像のうち一の矢印画像がユーザ操作により選択された場合には、ユーザ操作に応じた選択指示を受け付ける。そして、CPUは、選択指示に係る矢印画像が示す対応位置に対応付けて記憶されているSLO画像を表示装置に表示するよう制御する。
このように、第3の実施形態に係る情報処理装置は、矢印画像に応じたSLO画像を表示することができるので、操作者は、被検眼Erの所望の深さ方向のSLO画像が適切に得られているか否かを確認することができる。すなわち、情報処理装置は、被検眼の深さ方向の観察を精度よく行うための情報を提供することができる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。