JP5948757B2 - 眼底撮影装置 - Google Patents

Description

被検眼の眼底画像を撮影する眼底撮影装置に関する。

光走査部（例えば、ガルバノミラー）を用いて眼底上で測定光を走査し、眼底像を得る眼底撮影装置として、眼底断層像撮影装置（例えば、光干渉断層計（Optical Coherence Tomography:OCT））や眼底正面像撮影装置（例えば、走査型検眼装置（Scanning Laser Opthalmoscope:SLO））などが知られている（特許文献１参照）。

そして、これらの装置は、取得した眼底断層像や眼底正面像をモニタ上で、観察することによって、病変部の観察を行っている。例えば、眼底断層像撮影装置においては、測定光束を二次元的に走査させ、ＸＹ各点について受光素子からの干渉信号のスペクトル強度を積算することにより、正面像を得る（特許文献２参照）。

特開２００８−２９４６７号公報 米国特許登録第７３０１６４４号明細書

例えば、スペクトル干渉信号に基づいて正面像を得る場合、正面像化を行うための時間がかかるため、正面像の画像形成に用いるＸＹの各点（ポイント数）を少なくすることにより、正面像取得時間の軽減を行っている。しかしながら、ポイント数を少なくすることによって、解像度が低下するため、形成される正面像の画質が低下し、明瞭な眼底画像を取得することが困難であった。このため、取得した眼底画像によって、病変部の観察が困難であった。

また、ＯＣＴによって断層画像を得る場合、解像度を上げるには、測定光の走査速度を遅くして、サンプリング回数を増やせばよいが、固視微動の影響によってＡスキャン信号間で位置ずれが生じてしまい、断層画像が歪んだ画像となる可能性がある。また、ＳＬＯによって正面画像を得る場合、解像度を上げるには、測定光の走査速度を遅くして、サンプリング回数を増やせばよいが、固視微動の影響によって走査線間で位置ずれが生じてしまい、断層画像が歪んだ画像となる可能性がある。このため、眼底上の走査スピードは、固視微動を考慮すれば、速いことが好ましい。

上記従来技術の問題点に鑑み、明瞭な眼底画像を取得することができる眼底撮影装置を提供することを技術課題とする。

上記課題を解決するために、本発明は以下のような構成を備えることを特徴とする。

（１） 被検眼眼底に測定光を照射し、被検眼眼底で反射した光束を受光する撮影光学系と、測定光の走査位置のずれを検出する検出手段からの検出結果に基づいて、光スキャナの駆動を制御し、前記ずれがキャンセルされるように、測定光の走査位置を補正するトラッキングユニットと、を有し、前記トラッキングユニットによって、測定光の走査位置を補正した位置でサブピクセル単位でのずれを有する複数のフレーム分の眼底画像データを取得する眼底撮影手段と、前記眼底撮影手段によって取得された前記複数のフレーム分の眼底画像データを複合処理することによって、眼底画像データの取得時より解像度の高い高解像度画像を取得する画像処理部と、を備え、前記眼底撮影手段は、前記複数のフレーム分の眼底画像データを取得する際に、各眼底画像データを取得する毎に、前記光スキャナの駆動を制御することによって眼底上における走査位置をサブピクセル単位で変更し、サブピクセル単位で変更した位置で眼底画像データを取得することで、サブピクセル単位でのずれを有する複数のフレーム分の眼底画像データを取得することを特徴とする。

本発明によれば、明瞭な眼底画像を取得することができる。

以下、本発明に係る実施形態を図面に基づいて説明する。図１は本実施形態に係る眼科撮影装置の構成について説明する概略構成図である。なお、本実施形態においては、被検者眼（眼Ｅ）の軸方向をＺ方向、水平方向をＸ方向、鉛直方向をＹ方向として説明する。眼底の表面方向をＸＹ方向として考えても良い。

装置構成の概略を説明する。本装置は、被検者眼Ｅの眼底Ｅｆの断層像を撮影するための光コヒーレンストモグラフィーデバイス（ＯＣＴデバイス）１０である。ＯＣＴデバイス１０は、光断層干渉光学系（ＯＣＴ光学系）１００と、固視標投影ユニット３００と、演算制御部（ＣＰＵ）７０と、を含む。

ＯＣＴ光学系１００は、眼底に測定光を照射する。ＯＣＴ光学系１００は、眼底から反射された測定光と、参照光との干渉状態を受光素子（検出器）１２０によって検出する。ＯＣＴ光学系１００は、眼底Ｅｆ上の撮像位置を変更するため、眼底Ｅｆ上における測定光の照射位置を変更する照射位置変更ユニット（例えば、光スキャナ１０８、固視標投影ユニット３００）を備える。制御部７０は、設定された撮像位置情報に基づいて照射位置変更ユニットの動作を制御し、検出器１２０からの出力信号（受光信号）を処理して断層画像データ（断層像）を取得する。

＜ＯＣＴ光学系＞
ＯＣＴ光学系１００は、いわゆる眼科用光断層干渉計（ＯＣＴ：Optical coherence tomography）の装置構成を持ち、眼Ｅの断層像を撮像する。ＯＣＴ光学系１００は、測定光源１０２から出射された光をカップラー（光分割器）１０４によって測定光（試料光）と参照光に分割する。そして、ＯＣＴ光学系１００は、測定光学系１０６によって測定光を眼Ｅの眼底Ｅｆに導き，また、参照光を参照光学系１１０に導く。その後、眼底Ｅｆによって反射された測定光と，参照光との合成による干渉光を検出器１２０に受光させる。

検出器１２０は、測定光と参照光との干渉状態を検出する。フーリエドメインＯＣＴの場合では、干渉光のスペクトル強度が検出器１２０によって検出され、スペクトル強度データに対するフーリエ変換によって所定範囲における深さプロファイル（Ａスキャン信号）が取得される。例えば、Spectral-domain OCT（ＳＤ−ＯＣＴ）、Swept-source OCT（ＳＳ−ＯＣＴ）が挙げられる。また、Time-domain OCT（ＴＤ−ＯＣＴ）であってもよい。

光スキャナ１０８は、眼底上でＸＹ（横断）方向に測定光を走査させる。光スキャナ１０８は、瞳孔と略共役な位置に配置される。光スキャナ１０８は、例えば、２つのガルバノミラーであり、その反射角度が駆動機構５０によって任意に調整される。

これにより、光源１０２から出射された光束は、その反射（進行）方向が変化され、眼底上で任意の方向に走査される。これにより、眼底Ｅｆ上における撮像位置が変更される。光スキャナ１０８としては、光を偏向させる構成であればよい。例えば、光スキャナ１０８としては、反射ミラー（ガルバノミラー、ポリゴンミラー、レゾナントスキャナ）の他、光の進行（偏向）方向を変化させる音響光学素子（ＡＯＭ）等が用いられる。

参照光学系１１０は、眼底Ｅｆでの測定光の反射によって取得される反射光と合成される参照光を生成する。参照光学系１１０は、マイケルソンタイプであってもよいし、マッハツェンダタイプであっても良い。参照光学系１１０は、例えば、反射光学系（例えば、参照ミラー）によって形成され、カップラー１０４からの光を反射光学系により反射することにより再度カップラー１０４に戻して、検出器１２０に導く。他の例としては、参照光学系１１０は、透過光学系（例えば、光ファイバー）によって形成され、カップラー１０４からの光を戻さず透過させることにより検出器１２０へと導く。

参照光学系１１０は、参照光路中の光学部材を移動させることにより、測定光と参照光との光路長差を変更する構成を有する。例えば、参照ミラーが光軸方向に移動される。光路長差を変更するための構成は、測定光学系１０６の測定光路中に配置されてもよい。

＜固視標投影ユニット＞
固視標投影ユニット３００は、眼Ｅの視線方向を誘導するための光学系を有する。投影ユニット３００は、眼Ｅに呈示する固視標を有し、複数の方向に眼Ｅを誘導できる。

例えば、固視標投影ユニット３００は、可視光を発する可視光源を有し、視標の呈示位置を二次元的に変更させる。これにより、視線方向が変更され、結果的に撮像部位が変更される。例えば、撮影光軸と同方向から固視標が呈示されると、眼底の中心部が撮像部位として設定される。また、撮影光軸に対して固視標が上方に呈示されると、眼底の上部が撮像部位として設定される。すなわち、撮影光軸に対する視標の位置に応じて撮影部位が変更される。

固視標投影ユニット３００としては、例えば、マトリクス状に配列されたＬＥＤの点灯位置により固視位置を調整する構成、光源からの光を光スキャナを用いて走査させ、光源の点灯制御により固視位置を調整する構成、等、種々の構成が考えられる。また、投影ユニット３００は、内部固視灯タイプであってもよいし、外部固視灯タイプであってもよい。

＜制御部＞
制御部７０は、各構成１００〜３００の各部材など、装置全体を制御する。また、制御部７０は、取得された画像を処理する画像処理部、取得された画像を解析する画像解析部、などを兼用する。制御部７０は、一般的なＣＰＵ（Central Processing Unit）等で実現される。制御部７０は、以下に示すように、断層像に基づいて眼底Ｅｆを解析する。

制御部７０は、ＯＣＴ光学系１００の検出器１２０から出力される受光信号に基づいて画像処理により断層像と正面像を取得する。また、制御部７０は、固視標投影ユニット３００を制御して固視位置を変更する。

フレームメモリ（例えば、ＲＡＭ）７７、補助記憶装置としてのメモリ（例えば、ハードディスク）７２、表示モニタ７５、コントロール部７４は、それぞれ制御部７０と電気的に接続されている。制御部７０は、モニタ７５の表示画面を制御する。取得された眼底像は、モニタ７５に静止画又は動画として出力される他、メモリ７２に記憶される。メモリ７２は、例えば、撮影された断層像、正面画像、各断層像の撮影位置情報等の撮影に係る各種情報を記録する。制御部７０は、コントロール部７４から出力される操作信号に基づいて、ＯＣＴ光学系１００、固視標投影ユニット３００の各部材を制御する。

以上のような構成を備える装置において、その制御動作について説明する。検者は、固視標投影ユニット３００の固視標を注視するように被検者に指示した後、図示無き前眼部観察用カメラで撮影される前眼部観察像をモニタ７５で見ながら、被検眼の瞳孔中心に測定光軸がくるように、図示無きジョイスティックを用いて、アライメント操作を行う。

そして、制御部７０は、光スキャナ１０８の駆動を制御し、眼底上で測定光を所定方向に関して走査させ、走査中に検出器１２０から出力される出力信号から所定の走査領域に対応する受光信号を取得して眼底像を形成する。

以下、本実施形態に係る眼底断層像（以下、断層像と記載する）及び眼底正面像（以下、正面像と記載する）の取得手法の一例を示す。制御部７０は、検出器１２０によって検出されたスペクトルデータを処理し、画像処理により断層像及び正面像を形成させる。断層像と正面像は、同時に取得されてもよいし、交互に取得されてもよいし、順次取得されてもよい。すなわち、スペクトルデータは、断層像及び正面像の少なくともいずれかの取得に用いられる。なお、取得された断層像及び正面像は、モニタ７５に表示される。

制御部７０は、ＯＣＴ光学系１００を制御し、設定された領域に対応する三次元断層像を取得する。そして、制御部７０は、ＯＣＴ光学系１００によって三次元断層像を随時取得する。なお、三次元断層像には、ＸＹ方向に関して二次元的にＡスキャン信号を並べた画像データ、三次元グラフィック画像、などが含まれる。

三次元断層像を得るとき、制御部７０は、光スキャナ１０８の動作を制御し、撮像領域に対応する走査範囲において測定光をＸＹ方向に二次元的に走査させることにより三次元断層像を取得する。なお、走査パターンとして、例えば、ラスタースキャン、複数のラインスキャンが考えられる。

検者は、モニタ７５に表示された断層像及び正面像を観察しながら、病変部等の観察を行う。病変部の観察を好適に行うために、明瞭な観察画像を取得する手段について説明する。

制御部７０は、観察画像にノイズ等が含まれている場合や、解像度が低いために観察画像が鮮明でない場合がある。このため、本実施形態では、超解像度技術を用いた処理（超解像度処理）を行い、観察画像の解像度を向上させることによって、観察画像の画質を良好にする。

超解像度技術は、入力信号の解像度を高めて出力信号を作る技術であり、入力された動画や静止画の信号を高解像度化して、高解像度の画像を出力するものである。本実施形態においては、複数枚の画像を用いて１枚の高解像度画像を生成する超解像技術を用いて、超解像度処理を行う。

以下、超解像度技術の処理について、図２の超解像の概念図を用いて説明する。超解像度処理は、複数のフレーム間の位置合わせ処理を行い、位置合わせ情報と複数のフレームの各画素素情報とに基づいて、画像の再構成処理を行うものである。位置合わせ処理は、画素単位よりも更に細かいサブピクセル単位の精度にて精密に行う。

図２に示された画像Ａと画像Ｂは、同一の被検物に対して、サブピクセル単位で撮影位置がずれて取得された一次元画像である。画像Ａの各画素位置Ｓ１〜Ｓ４の間隔は、１画素（１ピクセル）であり、同じく、画像Ｂの各画素位置Ｓ５〜Ｓ８間の間隔は、１画素（１ピクセル）である。画像Ｂは、画像Ａに対してちょうど半画素（サブピクセル）ずれた位置にて取得された画像である。この場合、二つの画像の位置合わせを行い、画像の統合を行うと、その位置ずれ量がちょうど半画素であるため、画像Ａの各画素位置Ｓ１〜Ｓ４の間のサブピクセルの位置に画像Ｂの各画素位置Ｓ５〜Ｓ８の輝度情報が配列される。以上のように、二つの画像を統合することで、画素を増加させることができるため、２倍の解像度の画像Ｃを取得できる。

以下、ＯＣＴデバイス１０によって取得される観察画像を複数取得し、それらを用いた超解像度処理について説明する。

例えば、制御部７０は、ＯＣＴデバイス１０よって時系列に取得された複数の観察画像と、ＯＣＴデバイス１０によって新たに取得される観察画像とを超解像度処理することにより高解像度の観察画像を取得する。

制御部７０は、新たに高解像度の観察画像が取得されるのに応じて、モニタ７５上に表示された高解像度の観察画像を更新し、高解像度の観察画像を動画像としてモニタ７５に表示する。これにより、観察される撮影画像の画質を良好にする。なお、超解像度処理が行われる観察画像は、動画像でなくても、所定のトリガ信号が出力された場合に、取得される静止画であってもよい。なお、本実施形態においては、ＯＣＴデバイス１０によって取得される高解像度の観察画像として正面像を例に挙げて、以下の説明をしていく。

図３は、ＯＣＴ光学系１００によって取得された正面像（低解像度フレーム画像）と超解像度処理後の正面像を説明する図である。図３において、正面像Ｐ０〜Ｐ３は、異なる画素位置にて取得された正面像である。正面像Ｐ０は、超解像度処理の基準となる基準画像を示しており、正面像Ｐ１〜Ｐ３は、超解像度処理に用いる画像を示している。正面像Ｐ１〜Ｐ３内において点線で囲まれている領域Ｆは、基準画像である正面像Ｐ０の領域を示している。

正面像Ｐ１は、正面像Ｐ０に対して、Ｘ方向にずれが生じており、その位置すれ量は、（ΔＸ、０）となる。正面像Ｐ２は、正面像Ｐ０に対して、Ｙ方向にずれが生じており、その位置すれ量は、（０、ΔＹ）となる。正面像Ｐ３は、正面像Ｐ０に対して、Ｘ方向、Ｙ方向にずれが生じており、その位置すれ量は、（ΔＸ、ΔＹ）となる。正面像Ｐ０対する正面像Ｐ１〜Ｐ３の位置ずれの補正量は、それぞれの位置ずれ量に基づいて算出される。

図３においては、模式的に正面像Ｐ０に対する正面像Ｐ１〜Ｐ３のずれは、１画素単位であるものとして示している。しかし、本実施形態においては、ＯＣＴ光学系１００によって取得される複数の正面像は、その正面像間にサブピクセルのずれが生じている。このため、このサブピクセルのずれを利用することによって、高解像度化が可能となる（図２参照）。

このとき、正面像Ｐ０〜Ｐ３の画素の輝度情報を統合させても、輝度情報の存在しない画素が生じることがある。このような画素においては、その画素の周辺に存在する画素の輝度情報を用いて、所定の補間処理を行うことによって、統合を行うとともに、高解像度化を行う。

例えば、補間処理としては、バイリニア法による補間処理を行う。例えば、バイリニア法は、超解像度画像において、補間処理を行う画素を囲む四つの画素を決定する。これら四つの画素の輝度情報に所定の重み付けを加え、その値を平均化することによって、補間処理を行う画素の輝度情報を取得し、補間を行う。

以上のような、補間処理を繰り返し行うことによって、高解像度の正面像を取得することができる。なお、補間処理として、バイリニア法を用いたがこれに限定されない。例えば、二アレストネイバ法やバイキュービック法等の補間処理を用いてもよい。また、基準画像の画素の輝度情報をそのまま高解像度の画像の画素として、用いる構成としてもよい。

以下、より具体的に、ＯＣＴデバイス１０によって取得される観察画像を複数取得し、超解像度処理によって高解像度の観察画像を生成する場合の制御動作の流れについて、図４に示すフローチャートを用いて説明する。

概して、制御部７０は、１画素未満のずれを有する複数のフレーム分の眼底画像データを取得する。そして、取得された複数の眼底画像データを複合処理することによって、画像データの取得時より解像度の高い高解像度画像を取得する。

＜超解像度処理に用いる正面像の取得＞
初めに、制御部７０は、ＯＣＴ光学系１００を用いての検出器１２０によって検出されたスペクトルデータを処理し、画像処理により１フレーム（１枚）の正面像を形成させる。そして、正面像をフレームメモリ７７に記憶させる。そして、制御部７０は、高解像度の正面像を作成するための複数の正面像（本実施形態においては、例えば、１０枚の正面像）を取得するために、逐次、正面像を取得してフレームメモリ７７に記憶させていく。なお、取得した正面像が適正か否かの判定が行われ、適正と判定された画像がフレームメモリ７７に記憶される（詳しくは後述する）。これにより、瞬き等によるエラー画像が超解像度処理に利用されることが回避される。

なお、フレームメモリ７７に記憶することのできるデータの容量は限られている。本実施形態においては、最大で１０枚の撮影画像が記憶可能である。もちろん、フレームメモリ７７に容量によっては、記憶可能な枚数を変更することが可能であるし、フレームメモリ７７の容量が無くなるほど、撮影画像を記憶させなくてもよい。記憶させる最大枚数を任意に設定できる構成としてもよい。

＜正面像の記憶における判定＞
制御部７０は、ＯＣＴ光学系１００によって正面像の取得を開始すると、超解像度処理に用いるための正面像の取得を開始する。正面像を取得すると、制御部７０は、新たに取得された正面像を判定処理し、フレームメモリ７７に正面像を記憶させるか否かを判定する。フレームメモリ７７には、記憶可能な容量が限定されているため、超解像度処理用に適さない画像の記憶を回避することによって、超解像度処理に用いることのできる画像の枚数を増加させる。判定は、所定の評価値Ｖが用いられる。

ここで、評価値Ｖについて説明する。評価値Ｖは、Ｖ＝（（画像の平均最大輝度値）−（画像の背景領域の平均輝度値））／（背景領域の輝度値の標準偏差）の式より求められる。すなわち、画像として良好でない画像は、ノイズが大きいため、評価値Ｖが小さくなる。評価値Ｖを得る場合、例えば、正面像の信号強度が用いられる。

この場合、制御部７０は、正面像を形成するスペクトル情報に基づいて断層像を取得し、取得された断層像を利用して、正面像の適否を判定してもよい。例えば、正面像内における１ラインの走査線に対応する断層像より算出する。制御部７０は、図５に示すように正面像の所定位置の走査線による断層像を用いて評価値Ｖを算出する。なお、所定位置としては、例えば、正面像の中心の位置を通る走査線Ｂが用いられる。もちろん、本実施形態においては、中心位置を用いるがこれに限定されない。制御部７０は、図６に示すように、断層像において、深さ方向（Ａスキャン方向）に走査する複数の走査線Ｃを設定し、各走査線Ｃ上における輝度分布データを求める。

制御部７０は、各走査線Ｃに対応する輝度分布において、輝度値の最大値（以下、最大輝度値と省略する）をそれぞれ算出する。そして、制御部７０は、各走査線における最大輝度値の平均値を平均最大輝度値として算出する。また、制御部７０は、各走査線における背景領域の輝度値の平均値を背景領域の平均輝度値として算出する。そして、評価値Ｖが算出される。

制御部７０は、評価値Ｖを算出後、評価値Ｖが所定の閾値を超えているか否かによってフレームメモリ７７への撮影画像の記憶の要否を判定する。例えば、評価値Ｖが閾値を超えた場合に、その正面像をフレームメモリ７７に記憶させる。以上のようにして、判定が行われる。これにより、多くの撮影画像にて超解像度処理を行うことが可能となり、画像の画質が向上する。

なお、本実施形態においては、評価値Ｖを用いて撮影画像の記憶の要否を判定したがこれに限定されない。例えば、他の観察画像から判定をする構成としてもよい。例えば、図示無き前眼部観察系を設け、前眼部画像から判定（瞬き判定等）を行うようにしてもよい。

次いで、制御部７０は、取得した１フレームの正面像をフレームメモリ７７に記憶させた場合、フレームメモリ７７内に記憶させた正面像の枚数が所定枚数に到達したか否かを判定する。本実施形態において、所定枚数は、フレームメモリ７７に記憶可能な最大枚数である１０枚と設定した。なお、所定枚数はこれに限定されるものではなく、例えば、検者が任意に所定枚数を設定できる構成としてもよい。また、取得した撮影画像の光量に基づいて枚数設定がされる構成でもよい。この場合、例えば、撮影画像の光量が低ければ、所定枚数を増加し、撮影画像の光量が高い場合には、所定枚数を少なくすることが考えられる。

そして、制御部７０は、フレームメモリ７７内に記憶されている正面像の取得枚数が所定枚数に到達した場合、枚数に到達したタイミング以降に取得された正面像よりフレームメモリ７７内に記憶された複数の正面像の超解像度処理を行う。また、正面像の取得枚数が所定枚数に到達していない場合、制御部７０は、次の正面像の取得を開始する。以上のようにして、超解像度処理を作成するための複数の正面像が取得される。

ここで、超解像度処理を行うためには、Ｘ方向及び／又はＹ方向に１画素未満（サブピクセル）のずれが生じている複数の正面像が必要となる。すなわち、超解像度処理の基準となる正面像に対して、Ｘ方向及び／又はＹ方向にサブピクセルずれが生じている正面像が連続して複数枚分必要となる。

第１の手法としては、所定の領域において、複数の正面像を取得する際に、ＯＣＴ光学系１００を移動させて、画像の取得位置をずらし、画素位置の異なる複数の画像を取得する。例えば、制御部７０は、駆動手段を用いて、１画素未満のずれを有する複数のフレーム分の眼底画像データを取得するため、各フレームの眼底画像を得る毎に眼底上の撮影位置（走査位置）を変更する。より具体的には、各フレームの画像を取得する際、制御部７０は、光スキャナ１０８の駆動を制御し、各画像を取得する毎に眼底上における走査領域をサブピクセル単位で変更する。光スキャナ１０８の利用の他、画像を取得する毎に、ＯＣＴ光学系１００全体を眼Ｅに対して微動させる駆動機構を設けてもよい。

第２の手法としては、眼底上の所定の領域に関して、制御部７０は、各フレームの眼底画像データを取得する間に生じる被検者眼の固視微動を利用して、１画素未満のずれを有する複数のフレーム分の眼底画像データを取得する。本装置は、被検眼を対象して撮影が行われているため、同一の所定の領域において複数の正面像の取得を行った場合においても、固視微動によって、複数の正面像間の画素位置が微小にずれて正面像が取得される。

例えば、固視微動は、トレモア、ドリフト、サッケードの成分に大別される。トレモアは、５０〜１５０Ｈｚ程度の頻度で１０″〜２０″程度の微細な動きがある。ドリフトは、平均毎秒５′程度でずれていく動きがある。サッケードは、ドラフトが０．３秒から数秒続いた後に、２′〜５０′程度で起こる。ＯＣＴ光学系１００によって取得される正面像の１フレームの取得時間は、１．０ｓ〜１．９ｓであり、この成分のいずれもが１フレームからなる各画像間において、サブピクセル単位での微動を生む。
このため、１フレームの正面像を取得した後、次の１フレームの正面像を取得する際には、少なくとも固視微動が生じ、画像の取得位置がずれる。第２の手法は、第１の手法のように、超解像度画像の作成に用いる低解像度画像を得るために、装置本体側を駆動させる必要がなく、固視微動を利用することによって、サブピクセル単位で取得位置が異なる複数の画像を取得できる。

＜複数の正面像の超解像度処理＞
以下、フレームメモリ７７に記憶された複数の正面像を用いて、超解像度処理について説明する。

制御部７０は、ＯＣＴ光学系１００によって、最後に形成された正面像（新たに取得された正面像）において、超解像度処理の基準となる基準画像として設定し、超解像度処理を行う。制御部７０は、基準画像と複数の正面像とのずれを画像処理により検出し、ずれ検出結果に基づいて、超解像度処理の適否を判定処理すると共に、基準画像と複数の正面像とのずれを補正し、基準画像に対して複数の正面像を超解像度処理していく。なお、本実施形態においては、基準画像を最後に取得された正面像（最新の撮影画像）に設定したがこれに限定されない。例えば、複数の正面像の内で超解像度処理の基準とする基準画像設定をしてもよい。

制御部７０は、基準画像に対して各正面像を順に超解像度処理していく。そして、各正面像と基準画像とのずれ量を正面像毎に検出し、基準画像に対して各正面像の位置合わせを行う。すなわち、基準画像と各正面像を比較して、基準画像に対する各正面像の位置ずれ方向及び位置ずれ量を正面像毎に、画像処理により検出する。

ずれ量の検出方法としては、種々の画像処理手法（テンプレートマッチングを用いる方法、フーリエ変換を利用する方法、特徴点のマッチングに基づく方法）を用いることが可能である。

例えば、所定の基準画像（例えば、最後に取得された正面像）又は対象画像（過去の正面像）をピクセルずつ位置ずれさせ、基準画像と対象画像を比較し、両データが最も一致したとき（相関が最も高くなるとき）の両データ間の位置ずれ方向及び位置ずれ量を検出する手法が考えられる。また、所定の基準画像及び対象画像から共通する特徴点を抽出し、抽出された特徴点の位置ずれ方向及び位置ずれ量をピクセル単位で検出する手法が考えられる。

そして、種々の画像処理手法でピクセル単位のずれ量の検出を行った後、サブピクセル推定にて、サブピクセル単位での位置ずれ方向及び位置ずれ量を算出する。

本実施形態においては、制御部７０は、基準画像に対する各正面像をピクセルでずらしながら、相関値（値が大きいほど画像間の相関が高くなる（最大１））を逐次算出する。さらに、制御部７０は、算出したピクセル単位の相関値に基づいて、サブピクセル推定を行い、サブピクセル単位の相関値を求める。そして、制御部７０は、サブピクセル推定により算出した相関値の画素の偏位量（ずらした画素数）を位置ずれ量とし、また、ずらした方向を位置ずれ方向として算出する。

判定方法として、ずれ検出時に算出した相関値を用いて判定を行う。例えば、相関値が所定の閾値（例えば、０．４）より小さい場合に、超解像度処理に用いる正面像の対象から除外する。すなわち、相関値が小さい場合には、装置と眼の間のずれ等が原因となって、基準画像と正面像で、撮影領域が大きく異なっている可能性が高い。撮影領域が大きく異なっている画像を用いて超解像度処理を行ってしまうと、高解像度の正面像を作成した場合に、画質等が低下してしまう。そのため、相関値が所定の閾値より小さい場合に、超解像度処理に用いる正面像の対象から除外することによって、高解像度の正面像を作成した際に、画質の低下を防ぐ。なお、超解像度処理に用いる画像として、適正な画像であるか否かの判定においてはこれに限定されない。例えば、検出される位置ずれ量が許容範囲を超えた正面像を超解像度処理の対象から除外するようにしてもよい。

以上のように、位置ずれ量及び位置ずれ方向が検出され、超解像度処理に用いる画像としての適否が判定される。そして、制御部７０は、超解像度処理用の画像として適正であると判定された画像に対して、制御部７０は、位置ずれが補正されるように、位置ずれ量分、各正面像を基準画像に対して、それぞれ偏位させる。そして、位置ずれ補正後、制御部７０は、基準画像に対して、正面像を統合していく。

正面像の超解像度処理後、制御部７０は、フレームメモリ７７に記憶されている全フレームの正面像の処理（ずれ検出、適正判定、超解像度処理）が終了したか否かを判定する。全正面像の処理が終了していない場合、制御部７０は、フレームメモリ７７に記憶されている他の正面像の処理を開始する。本実施形態においては、制御部７０は、フレームメモリ７７に記憶されている全正面像において、処理が終了した場合に、超解像度処理が終了したと判定する。

以上のようにして、制御部７０は、超解像度処理用の画像として適正であると判定された正面像において位置ずれ検出及び位置ずれ補正の処理を繰り返し、低解像度の画像（図７（ａ）参照）に超解像度処理を行うことによって、高解像度の画像（図７（ｂ）参照）を作成する。図７は眼底画像に超解像処理を施した実験例を示す図であり、取得された眼底画像の一部を拡大した画像である。図７（ａ）は低解像度の拡大図であり、図７（ｂ）は超解像度の拡大図である。これらの図を比較した場合、図７（ａ）の画像は解像度が低いが、図７（ｂ）の画像は、ズームされた画像であっても、超解像処理によって鮮明な画像が得られている。

本実施形態においては、基準画像に対して、フレームメモリ７７に記憶された最大１０枚の正面像が処理される。そして、最大１１枚の正面像（基準画像を含む）から１枚の高解像度の正面像を作成する。なお、本実施形態においては、フレームメモリ７７に記憶されている正面像の全てを超解像度処理の対象として超解像度処理する構成としたがこれに限定されない。複数の画像で高解像度の正面像を作成する構成であれよい。例えば、基準画像から新しいものから順に５枚の超解像度処理を行うとしてもよい。すなわち、フレームメモリ７７内に記憶されている全正面像を用いる必要はない。もちろん、超解像度処理は新しいものから順に行う必要はなく、基準画像と相関値が高いものを選択しておこなってもよい。なお、観察画像の解像度を２倍にする場合には、少なくとも４枚の画像を用いて超解像度処理を行うことが好ましい。

作成された高解像度の正面像は、モニタ７５上に表示される。そして、制御部７０は、新たに正面像を取得した際に、逐次、新たに高解像度の正面像を作成し、モニタ７５上に表示する。これにより、モニタ７５上に表示される高解像度の正面像が更新されていき正面像の高解像度の正面像が動画像として表示される。

そして、検者により、所望の位置にて、図無き撮影スイッチが操作されると、モニタ７５上に表示されている高解像度の正面像が静止画として、メモリ７２に記憶される。これにより、撮影後にも、高解像度の正面像にて解析を行うことができ、解析の精度を向上させることができる。なお、取得される正面像は、モニタ７５表示されている高解像度の正面像でもよいし、超解像度処理の行われていない最新の正面像でもよい。

＜高解像度の正面像の更新＞
ここで、高解像度の正面像の更新について、図８に示すフローチャート用いて、より具体的に説明していく。

ＯＣＴ光学系１００によって新たに正面像が１フレーム分取得された後、取得された正面像が適正と判定され、フレームメモリ７７に正面像が記憶されると、高解像度の正面像が更新される。すなわち、制御部７０は、フレームメモリ７７内に記憶された複数の正面像が所定枚数に達した場合に、過去に取得された観察画像を消去し、新たに取得された正面像と入れ換えを行う。

以下、フレームメモリ７７内の正面像の更新について説明する。本実施形態においては、メモリ７５に記憶可能な撮影画像の最大枚数が１０枚であり、新たに正面像（１１枚目に記憶される正面像）を取得した場合には、フレームメモリ７７に記憶させることができない。このため、図９に示すように、新規に正面像Ｆ１１が取得された場合、過去の正面像（例えば、もっとも過去の正面像Ｆ１）を削除し、正面像Ｆ１０の次に新規の正面像Ｆ１１を記憶する。これにより、過去の正面像が削除され、フレームメモリ７７の容量が確保される。このようにして、フレームメモリ７７に記憶されている正面像の更新が行われる。

以上のようにして、フレームメモリ７７に記憶されている正面像が更新されると、制御部７０は、フレームメモリ７７に記憶された１０枚の正面像（例えば、正面像Ｆ２〜正面像Ｆ１１）を用いて、基準画像に対して超解像度処理を行っていき、新たに高解像度の正面像を作成する。

高解像度の正面像の作成は、上記記載の方法と同様にして行われる。なお、新たに正面像が更新された場合には、超解像度処理の基準画像として、最新の正面像Ｆ１１が設定される。そして、基準画像に対して、フレームメモリ７７内に記憶されている全ての各正面像（Ｆ２〜Ｆ１０）の処理（ずれ検出、適正判定、超解像度処理）が行われていく。

制御部７０は、新たに高解像度の正面像を作成すると、モニタ７５に表示をする。すなわち、過去の高解像度の正面像を新たに作成した高解像度の正面像に置き換えることによって、モニタ７５上に表示される高解像度の正面像が更新される。そして、新しい正面像を取得するたびに、高解像度の正面像を更新することにより、モニタ７５上で高解像度の正面像の動画像を観察することが可能となる。

以上のようにして、モニタ７５上に正面像の高解像度の正面像が動画像として表示される。そして、モニタ７５上に表示される正面像は高解像度の正面像であるため、明瞭な画像となる。これにより、超解像度処理によって、正面像が高解像度化され、モニタ７５上で、画質が向上した明瞭な正面像を観察できるようになる。さらに、ノイズ等を除去することが可能となる。また、超解像度処理をリアルタイムに行っていくことによって、モニタ７５上には、常時、画質の向上した明瞭な正面像が動画像として表示される。このため、検者は、モニタ７５上の画像を観察しながら、好適に病変部の観察等を行うことが可能となる。

＜変容例＞
なお、本実施形態においては、フレームメモリ７７に記憶されている超解像度処理に用いるための正面像が所定枚数に到達した場合に、新たに取得された正面像に対して、超解像度処理を開始していく構成としたがこれに限定されない。例えば、図１０のフローチャートに示すように、ＯＣＴ光学系１００によって正面像の取得を開始してから、直ちに超解像度処理を開始する構成でもよい。

制御部７０は、位置ずれの検出とともに、新たに取得された正面像と時系列に取得された複数の正面像との超解像度処理の適否を判定処理する。そして、制御部７０は、適正と判定された場合、新たに取得された正面像含む超解像度処理によって取得された高解像度の正面像をモニタ７５上に表示させ、適正でないと判定された場合、新たに取得された正面像をモニタ７５上に表示する。

この場合、新しい正面像が取得されると、この正面像が超解像度処理を行うための基準画像として設定される。そして、基準画像に対して超解像度処理を行う。このとき、新しく取得された正面像（基準画像）とフレームメモリ７７に記憶された正面像との間の超解像度処理の適否について判定される。例えば、前述のように、フレームメモリ７７に記憶された各正面像と、新たに取得された正面像との間の相関値に基づいて、適否が判定される。なお、本実施形態においては、基準画像に対する超解像度処理の適否の判定を相関値に基づいて行ったがこれに限定されない。正面像を形成する信号により適否を判定してもよい。例えば、新たに取得された正面像の信号強度（例えば、上記評価値Ｖ）、正面像を形成するＡスキャンの輝度情報、正面像を形成する干渉信号によって取得される断層像を用いて適否が判定されてもよい。

初めて取得された正面像（１枚目の正面像）の場合、超解像度処理されない状態でモニタ７５上に表示される。次いで、２枚目の正面像が取得されると、まず、１枚目の正面像が適正か否か（例えば、上記評価値Ｖ）が判定され、適正と判定されると、フレームメモリ７７に記憶され、適正でないと判定されると正面像は破棄される。

例えば、１枚目の正面像がフレームメモリ７７に記憶されると、制御部７０は、２枚目の正面像を基準画像として、１枚目の正面像との超解像度処理の適否を判定する。そして、超解像度処理が適正と判定された場合に、２枚目の画像を基準画像として超解像度処理させる。そして、２枚目の正面像を含む高解像度の正面像をモニタ７５上に表示させる。超解像度処理が適正でないと判定された場合、２枚目の正面像が超解像度処理しない状態にて、モニタ７５上に表示される。

次いで、３枚目の正面像が取得されると、まず、２枚目の正面像が適正か否かが判定され、適正と判定されると、フレームメモリ７７に記憶され、適正でないと判定されると、その正面像は破棄される。

次に、制御部７０は、３枚目の正面像を基準画像として、１枚目と２枚目の正面像との超解像度処理の適否を判定する。そして、適正と判定された場合、３枚目の画像を基準画像として超解像度処理させる。そして、３枚目の正面像を含む高解像度の正面像をモニタ７５上に表示させる。超解像度処理が適正でないと判定された場合、３枚目の正面像が超解像度処理しない状態にて、モニタ７５上に表示される。

以上のように処理を繰り返すことにより、モニタ７５上には、最新の状態の正面像を基準とする高解像度の正面像、又は最新の状態の正面像がそのまま表示される。このようにすれば、被検眼が大きく動いたり、瞬きをした場合、超解像度処理を経ずに最新の正面像が表示されるため、被検眼の状態をリアルタイムで観察できる。

一方、被検眼が大きく動いたり、瞬きをした場合、時系列にて取得された複数の正面像に基づく高解像度の正面像が表示されると、過去に取得された複数の正面像を中心とする高解像度の正面像が構築されるため、実際の被検眼の状態とは異なる画像となり、被検眼の現状がリアルタイムで把握できない可能性がある。このような点で、上記処理は有用である。

もちろん、最新の正面像を含む高解像度の正面像を随時取得し、超解像度処理が適正でないと判定されたとき、最新の正面像をモニタ７５に直接的に表示する制御であっても、同様の効果が得られる。

なお、正面像が適正か否かの判定において、適正でないと判定された正面像は、高解像度の正面像の作成には利用されないので、２枚目以降に取得された正面像について、高解像度の正面像作成するためにフレームメモリ７７に記憶された正面像と、新たに取得された正面像との間で超解像度処理が行われる。したがって、２枚目以降であっても、高解像度の正面像を得るための正面像がフレームメモリ７７に記憶されていなければ、基準画像がモニタ７５上に表示される。

上記説明では、眼底正面像を例に挙げて説明をしたが、撮影光学系によって、被検眼眼底で反射した光束を受光し、眼底像を取得する構成であればよい。例えば、ＯＣＴ光学系１００を用いて、断層画像を観察画像として取得する場合であっても、上記手法の適用は可能である。この場合、１フレームの断層画像を取得する時間は、０．０３ｓ〜１．０ｓ程度となるが、上記記載の固視微動（特に、トレモアやドリフト）によって各画像にサブピクセル単位のずれが生じるため、超解像度処理を行うことができる。なお、同一部位に関する複数の断層画像に基づいて超解像度断層像を得る場合、好ましくは、測定光の走査位置を眼底上においてトラッキングさせるためのトラッキングユニットが設けられる。例えば、眼底の正面像を得る正面像取得ユニット（例えば、ＳＬＯ、赤外眼底カメラ）がＯＣＴ光学系１００とは別に設けられる。制御部７０は、正面像取得ユニットから出力される画像に基づいて各画像間の走査位置のずれを検出する。制御部７０は、その検出結果に基づいて光スキャナ１０８の駆動を制御し、位置ずれがキャンセルされるように測定光の走査位置を補正する。なお、上記トラッキングを用いても、サブピクセル単位でのずれは生じるため、超解像度画像の作成が可能である。もちろん、トラッキングユニットがサブピクセル単位でのトラッキングが可能であれば、制御部７０は、断層画像のフレーム毎に、光スキャナ１０８による走査位置をサブピクセル単位でずらしてもよい。

本実施形態の装置は、低解像度の眼底の３次元断層像を複数取得し、複数取得された３次元断層像に基づいて超解像３次元断層像を作成してもよい。例えば、制御部９０は、各３次元断層像に関して、３次元断層像を形成するデータ（スペクトルデータ、断層データ）に基づいて深さ方向に直交する方向に関するＯＣＴ二次元画像を作成する。

制御部９０は、各３次元断層像に対応して形成されたＯＣＴ二次元画像同士をマッチングさせることによって、各３次元断層像間のずれを補正する。さらに、制御部９０は、各３次元断層像を処理して、深さ方向に関するずれを補正するのが好ましい。

制御部９０は、ずれが補正された各３次元画像に基づいて超解像３次元断層像を取得する。例えば、制御部９０は、同一部位に関して、３次元断層像を形成する各Ｂスキャン画像毎に超解像度画像を作成することにより、超解像度画像を得る。これにより、副走査方向に関して走査位置が異なる超解像度画像がそれぞれ取得されるので、制御部７０は、これらを配列させることにより超解像３次元断層像を得る。

ＯＣＴ二次元画像としては、例えば、ＯＣＴ二次元画像は、ＸＹ各点について干渉信号のスペクトル強度（又は深さプロファイル）を積算することによって取得される。ＯＣＴ二次元画像は、ＸＹ各点について干渉信号のスペクトルのゼロクロス点の数を輝度値に変換することによって取得される。

なお、上記実施形態においては、ＯＣＴ二次元画像を用いたが、もちろん３次元断層像同士でマッチングを行うようにしてもよい。

なお、上記説明において、スペクトルメータを用いたスペクトルドメインＯＣＴを例にとって説明したが、これに限定されない。例えば、波長可変光源を備えるＳＳ−ＯＣＴ（Swept source OCT）やＴＤ−ＯＣＴ（Time domain OCT）であってもよい。

なお、超解像度処理の際に、正面像の一部に瞬き等による欠損がある場合、欠損部分の領域に関して、超解像度処理を行わないようにしてもよい。この場合、例えば、超解像度処理を行う際に、副走査方向における各走査線の輝度分布を求め、輝度値が所定値以下の走査線が複数あった場合には、超解像度処理しないようにすればよい。これにより、高解像度の正面像の画質がよりよくなる。もちろん、超解像度処理するか否かの判定は、フレームメモリ７７に正面像を記憶させるか否かの判定を行う際に行ってもよいし、超解像度処理を行うか否かの判定の際におこなってもよい。評価値Ｖによって、フレームメモリ７７に正面像を記憶させるか否かの判定の際に行う場合に、例えば、正面像を形成する全走査線の評価値Ｖを判定し、所定の走査線数が所定の評価値Ｖを取得できなかった場合に、正面像を記憶させないようにしてもよい。

なお、本実施形態においては、ＯＣＴ光学系１００によって取得される眼底正面像を例に挙げて説明をしたが、これに限定されるものではない。観察光学系（撮影光学系）を別途設けて、眼底正面像を取得する構成としてもよい。例えば、観察光学系として、レーザ光を眼底上で走査させる光スキャナを持ち、眼底の正面像を得るために被検眼眼底で反射した光束を受光する走査型眼底撮影光学系を備えたＳＬＯによって取得される眼底画像に対しても適用される。また、眼底カメラ等によって取得される眼底画像に対しても適用される。これらの場合、１フレームの正面像を取得する時間は、０．０３ｓ〜１．０ｓ程度となるが、上記記載の固視微動（特に、トレモアやドリフト）によって各画像にサブピクセル単位のずれが生じるため、超解像度処理を行うことができる。

なお、本実施形態においては、１／１０ピクセル単位での超解像度処理について説明したが、更に細かいサブピクセル単位（例えば、１／１００ピクセル単位）で行ってもよく、この場合より解像度の高い画像を取得できる。

なお、本実施形態において、超解像度処理は、基準画像の解像度を高解像度化させる構成としたがこれに限定されない。例えば、超解像度処理は、テンプレートに複数の正面像を用いて高解像度の正面像を形成していくものでもよい。この場合、基準画像に基づいて、各正面像間の位置合わせが行われる。

なお、本実施形態においては、新たに正面像を取得した場合に、フレームメモリ７７に正面像を記憶させるか否かを判定する構成としたがこれに限定されない。例えば、判定処理を行わない構成としてもかまわない。この場合、超解像度処理の適否を判定処理する際に、基準画像に対して相関値が低くなるため、超解像度処理から除去される。なお、基準画像が瞬き等によるエラー画像であった場合、他の正面像に対して、相関値が低くなる結果となる。このため、判定処理を行った際に、相関値の低い正面像が所定枚数に達した場合には、基準画像をことなる正面像に再設定する。このような構成にすることによって、フレームメモリ７７に正面像を記憶させるか否かを判定しなくても、瞬き等によるエラー画像が超解像度処理に利用されることが回避される。

なお、本実施形態においては、観察画像全体で超解像度処理を行う構成としたが、これに限定されない。観察画像を所定領域に分割し、分割領域毎に超解像度処理を行う構成としてもよい。これにより、超解像度処理の処理速度を短縮することができる。

本実施形態に係る眼科撮影装置の構成について説明する概略構成図である。 超解像の概念を示す図である。 ＯＣＴ光学系によって取得された正面像と超解像度処理後の正面像を説明する図である。 超解像度処理によって高解像度の観察画像を生成する場合の制御動作の流れについて説明するフローチャートである。 正面像の所定位置における走査線について説明する図である。 断層像における深さ方向（Ａスキャン方向）に走査する複数の走査線について説明する図である。 低解像度の画像とその低解像度の画像に超解像度処理を行うことよって取得された高解像度の画像を示す図である。 高解像度正面像の更新の流れについて説明するフローチャートである。 フレームメモリ内の正面像の更新について説明する図である。 超解像度処理の変容例の流れについて説明するフローチャートである。

７０ 制御部
７２ メモリ
７４ コントロール部
７５ モニタ
７７ フレームメモリ
１００ 光断層干渉光学系（ＯＣＴ光学系）
１０８ 光スキャナ
３００ 固視標投影ユニット

Claims (1)

1. 被検眼眼底に測定光を照射し、被検眼眼底で反射した光束を受光する撮影光学系と、
   測定光の走査位置のずれを検出する検出手段からの検出結果に基づいて、光スキャナの駆動を制御し、前記ずれがキャンセルされるように、測定光の走査位置を補正するトラッキングユニットと、を有し、前記トラッキングユニットによって、測定光の走査位置を補正した位置でサブピクセル単位でのずれを有する複数のフレーム分の眼底画像データを取得する眼底撮影手段と、
   前記眼底撮影手段によって取得された前記複数のフレーム分の眼底画像データを複合処理することによって、眼底画像データの取得時より解像度の高い高解像度画像を取得する画像処理部と、
   を備え、
   前記眼底撮影手段は、
   前記複数のフレーム分の眼底画像データを取得する際に、各眼底画像データを取得する毎に、前記光スキャナの駆動を制御することによって眼底上における走査位置をサブピクセル単位で変更し、
   サブピクセル単位で変更した位置で眼底画像データを取得することで、サブピクセル単位でのずれを有する複数のフレーム分の眼底画像データを取得することを特徴とする眼底撮影装置。