JP7508216B2 - 撮影装置およびその制御方法 - Google Patents
撮影装置およびその制御方法 Download PDFInfo
- Publication number
- JP7508216B2 JP7508216B2 JP2019215790A JP2019215790A JP7508216B2 JP 7508216 B2 JP7508216 B2 JP 7508216B2 JP 2019215790 A JP2019215790 A JP 2019215790A JP 2019215790 A JP2019215790 A JP 2019215790A JP 7508216 B2 JP7508216 B2 JP 7508216B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- measurement light
- beam diameter
- resolution
- wavefront
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000012937 correction Methods 0.000 claims description 71
- 238000005259 measurement Methods 0.000 claims description 65
- 238000012360 testing method Methods 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 230000001678 irradiating effect Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 230000004075 alteration Effects 0.000 description 62
- 238000012545 processing Methods 0.000 description 42
- 230000003287 optical effect Effects 0.000 description 38
- 238000013527 convolutional neural network Methods 0.000 description 17
- 238000012549 training Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000003044 adaptive effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000012014 optical coherence tomography Methods 0.000 description 8
- 210000000695 crystalline len Anatomy 0.000 description 7
- 239000013307 optical fiber Substances 0.000 description 7
- 230000010287 polarization Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000000964 retinal cone photoreceptor cell Anatomy 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Description
本発明は、撮影装置およびその制御方法に関する。
近年、眼科用の撮影装置として、眼底に2次元的にレーザ光を照射してその戻り光を受光して画像化するSLO(Scanning Laser Ophthalmoscope:走査レーザ検眼鏡)や、低コヒーレンス光の干渉を利用したイメージング装置が開発されている。低コヒーレンス光の干渉を利用したイメージング装置は、OCT(Optical Coherence Tomography:光干渉断層像装置あるいは光干渉断層像法)と呼ばれ、特に、眼底あるいはその近傍の断層像を得る目的で用いられている。OCTの種類としては、TD-OCT(Time Domain OCT:タイムドメイン法)や、SD-OCT(Spectral Domain OCT:スペクトラルドメイン法)等を含め、種々のものが開発されてきている。
特に、このような眼科用の撮影装置は、近年において、照射レーザの高NA化等によってさらなる高解像度化が進められている。しかしながら、眼底を撮影する場合には、角膜や水晶体等の眼の光学組織を通して撮影をしなければならない。そのため、高解像度化が進むにつれて、これら角膜や水晶体による収差が撮影画像の画質に大きく影響するようになってきた。そこで、眼による収差を測定し、その収差を補正する補償光学(Adaptive Optics:AO)機能を光学系に組み込んだ、AO-SLOやAO-OCTの研究が進められている。例えば、非特許文献1に、AO-OCTの例が示されている。
これらAO-SLOやAO-OCTは、一般的にはシャックハルトマン波面センサー方式によって戻り光の波面を測定する。シャックハルトマン波面センサー方式とは、眼に測定光を入射し、その戻り光を、マイクロレンズアレイを通してCCDカメラに受光することによって戻り光の波面を測定するものである。測定した波面を補正するように可変形状ミラーや、空間位相変調器を駆動し、それらを通して眼底の撮影を行うことにより、AO-SLOやAO-OCTは眼底の高分解能な平面画像や断層画像の撮影が可能となる(特許文献1)。
Zhang,et al.,"High-speed volumetric imaging of cone photoreceptors with adaptive optics spectral-domain optical coherence tomography",Optics Express,May 15,2006,pages 4380-4394,Vol.14,No.10
しかしながら、波面補正デバイスや関係する光学系を設ける必要があるため、眼底撮影装置の制御が複雑化すること、装置が大型化すること、更には高コスト化を招くことといったデメリットがある。
本発明は、このような課題を解決するためになされたものであり、その目的は、比較的簡素な構成で高い分解能の画像の取得が可能な撮影装置を提供することにある。
本発明の撮影装置の構成は、測定光を被検眼に照射することにより得られる戻り光に基づき、前記被検眼の第1の画像を生成する生成手段と、第1の分解能の前記第1の画像と前記第1の画像の分解能より高い分解能の第3の画像と学習済モデルとを用いて、前記第1の分解能の前記第1の画像を、前記測定光の波面を補正して前記被検眼に照射することにより得られる前記第1の分解能より高い分解能である第2の分解能の第2の画像に変換する変換手段とを有することを特徴とする。
本発明によれば、高分解能な画質を得るための波面収差の補正光学系を用いた撮影装置に比べて装置の小型化を実現できる。
本発明を実施するための形態を、以下の実施形態により説明する。但し、以下の実施形態の構成は、特許請求の範囲にかかわる本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
[実施形態1]
実施形態1として、本発明を適用した眼底撮影装置の構成について図1から図9を用いて説明する。
実施形態1として、本発明を適用した眼底撮影装置の構成について図1から図9を用いて説明する。
なお、本実施形態においては、測定対象である被検体を眼とし、複数の被検眼のそれぞれの被検眼の収差を補正していない状態の低分解能な画像と、収差補正を行った状態の高分解能な画像とを用いて予め学習して画像処理パラメータを取得する。その学習された画像処理パラメータによって収差補正せずに撮影した低解像度の画像を処理するようにした一例について説明する。なお、低分解能、高分解能とは、相対的なものであり特定の数値を表すものではない。
<教師データ作成装置説明>
まず、画像処理パラメータを学習するための教師データとなる画像の取得方法について説明する。まず、教師データとなる眼底画像を撮影する撮影装置について、図1を用いて説明する。
まず、画像処理パラメータを学習するための教師データとなる画像の取得方法について説明する。まず、教師データとなる眼底画像を撮影する撮影装置について、図1を用いて説明する。
図1において、101は光源であり、波長795nmのSLD光源(Super Luminescent Diode)を用いた。光源101の波長は特に制限されるものではないが、眼底撮影用としては被検者の眩しさの軽減と分解能維持のために、750~1500nm程度が好適に用いられる。本実施形態においてはSLD光源を用いたが、その他にレーザ等も用いられる。本実施形態では眼底撮影と波面測定のための光源を共用しているが、それぞれを別光源とし、光路の途中で合波する構成としても良い。
光源101から照射された光は、単一モード光ファイバー102を通って、コリメータ103により、平行光線(測定光105)として照射される。照射される光の偏光は、単一モード光ファイバー102の経路に具備された不図示の偏光調整器により調整される。別の構成としては、コリメータ103から出射された後の光路に偏光を調整する光学部品を配置する構成がある。本実施形態においては、コリメータ103から出射される光の偏光が図の紙面に水平な偏光成分となるように偏光調整器が調整される。
照射された測定光105はビームスプリッターからなる光分割部104を透過し、補償光学の光学系に導光される。
補償光学系は、光分割部106、波面センサー115、波面補正デバイス108および、それらに導光するための反射ミラー107-1~4から構成される。
ここで、反射ミラー107-1~4は、少なくとも被検眼111の瞳と波面センサー115、波面補正デバイス108とが光学的に共役関係になるように設置されている。また、光分割部106として、本実施形態ではビームスプリッターを用いた。
光分割部106を透過した測定光105は、反射ミラー107-1と107-2で反射されて波面補正デバイス108に入射する。波面補正デバイス108で反射された測定光105は、さらに反射ミラー107-3と107-4で反射され、走査光学系に導光される。
本実施形態では、波面補正デバイス108として可変形状ミラーを用いた。可変形状ミラーは反射面が複数領域に分割されており、各領域の反射面の角度を変えることにより、戻り光の波面を変化させることができるミラーである。波面補正デバイス108としては、可変形状ミラーの代わりに液晶素子を用いた空間位相変調器を用いることも可能である。その場合、被検眼111からの光の両偏光を補正するために、2つの空間位相変調器を用いる場合もある。
図1において、反射ミラー107-3、4で反射された測定光105は、走査光学系109-1によって、1次元もしくは2次元に走査される。本実施形態では走査光学系109-1に主走査用(眼底水平方向)と副走査用(眼底垂直方向)として一つの共振スキャナーと一つのガルバノスキャナーを用いた。別の構成では、走査光学系109-1に二つのガルバノスキャナーを用いることもある。走査光学系109-1内の各スキャナーを光学的な共役状態にするために、各スキャナーの間にミラーやレンズといった光学素子を用いる装置構成の場合もある。走査光学系はさらにトラッキングミラー109-2を持つ場合もある。トラッキングミラー109-2は2つのガルバノスキャナーから構成され、撮影領域をさらに2方向に移動させることが可能である。別の構成では、走査光学系109-1がトラッキングミラー109-2を兼ねる構成、トラッキングミラー109-2が走査光学系109-1の共振スキャナー方向のみの構成、トラッキングミラー109-2が2次元ミラーである構成もある。また、109-1と109-2を光学的に共役関係とするために、不図示のリレー光学系が用いられてもよい。
走査光学系109-1および109-2で走査された測定光105は、接眼レンズ110-1および110-2を通して被検眼111に入射される。なお、本実施形態において被検眼に入射される測定光105のビーム径は6mmに設定されており、理想的に収差が補正された場合は眼底上で3.5μmのスポットを形成するが、この設定の数値はあくまでも一例である。被検眼111に入射された測定光105は眼底で反射もしくは散乱される。接眼レンズ110-1および110-2の位置を調整することによって、被検眼111の視度にあわせて最適な測定箇所の照射を行うことが可能となる。ここでは、接眼部にレンズを用いたが、球面ミラー等で構成しても良い。
被検眼111の眼底の網膜から反射もしくは散乱された戻り光は、入射した時の経路を逆向きに進行し、光分割部106によって一部は波面センサー115に反射され、光線の波面を測定するために用いられる。光分割部106で波面センサー115に向けて反射された光線は、リレー光学系119-1、119-2を通り、波面センサー115に入射する。リレー光学系119-1と119-2の間にはアパーチャー120が設置されており、レンズ等からの不要な反射散乱光を波面センサーに入射させないようにする。
本実施形態では、波面センサー115としてシャックハルトマンセンサーを用いた。図2にシャックハルトマンセンサーの模式図を示す。131が波面を測定される光線であり、マイクロレンズアレイ132を通して、CCDセンサー133上の焦点面134に集光される。図2の(a)のA―A‘で示す位置から見た様子を示す図が図2の(b)であり、マイクロレンズアレイ132が、複数のマイクロレンズ135から構成されている様子を示したものである。光線131は各マイクロレンズ135を通してCCDセンサー133上に集光されるため、光線131は、光線131が通過したマイクロレンズ135の個数分のスポットに分割されて集光される。
図3にCCDセンサー133上に集光された状態を示す。各マイクロレンズを通過した光線はスポット136に集光される。そして、この各スポット136の位置から、入射した光線の波面を計算する。収差を含まない光が入射したときのスポットの基準の位置と測定されたスポットの位置の差から各収差測定点における波面の傾きが算出される。この傾きを積分することによって、各収差測定点における位相情報が得られる。また、各基準位置と測定されたスポットの位置の差からZernike係数を算出することも可能である。
例えば、図4に球面収差を持つ波面を測定した場合の模式図を示す。光線131は137で図4の(a)で示すような波面で形成されている。光線131はマイクロレンズアレイ132によって、波面の局所的な垂線方向の位置に集光される。この場合のCCDセンサー133の集光状態を図4の(b)に示す。光線131が球面収差を持つため、スポット136は中央部に偏った状態で集光される。この位置を計算することによって、光線131の波面が分かる。
本実施形態においては、30×40個のマイクロレンズアレイを有するシャックハルトマンセンサーを用いた。
図1において、光分割部106を透過した戻り光は光分割部104によって一部が反射され、コリメータ112、光ファイバー113を通して光強度センサー114に導光される。光強度センサー114で戻り光はその強度に応じた電気信号に変換され、制御部117によって眼底画像として画像に構成されて、ディスプレイ118に表示される。
波面センサー115は補償光学制御部116に接続され、受光した波面を補償光学制御部116に伝える。波面補正デバイス108も補償光学制御部116に接続されており、補償光学制御部116から指示された変調を行う。補償光学制御部116は波面センサー115の測定結果による取得された波面を基に、収差のない波面へと補正するような波面補正デバイス108の各領域の反射面ごとの変調量(補正量)を計算し、波面補正デバイス108にそのように変調するように指令する。波面の測定と波面補正デバイスへの指示は繰り返し実行され、常に最適な波面となるようにフィードバック制御が行われる。
本実施形態のように接眼レンズ110-1、110-2で被検眼の視度に対応するような光学系がある場合には、接眼レンズ110-1、110-2が視度に応じて良好に調整されていることが重要である。そうすることで収差補正処理実行時に、被検眼の収差の大部分を占めるデフォーカス成分を収差補正器で補正する必要がなくなる。
また、波面センサー115の直前のアパーチャー120によって不要光をカットすることで正しい収差を測定することが可能となる。しかしながら、眼の収差のデフォーカスが補正されていないと、本来は通過させるべき網膜からの信号光もアパーチャー120の部分で広がった状態となり、大部分がアパーチャー120でカットされてしまうことになる。
さらに、収差補正を最大限動作させるためには、正しい位置に被検眼を配置することが重要であり、不図示の前眼部モニターや波面センサー115の信号を見ながら、被検眼の位置を調整する。なお、表示される波面センサー115からの信号は、例えば、図2の(b)に示したハルトマン像と呼ばれる画像である。
次に、本実施形態の学習用の教師データとなる波面補正していない眼底像と波面補正された眼底像の撮影制御フローに関して、図5のフローチャートを用いて説明する。
図5の(a)のステップS101において、被検眼111への光照射を開始する。本実施形態では、撮影光と波面測定光が同一の光(測定光105)であるため、ステップS101で撮影と波面測定が可能な状態となる。
ステップS102において、被検眼111の顔位置調整、フォーカス調整を行う。フォーカス値はあらかじめ別の装置で測定した値を入力する構成でもよい。ステップS103において波面センサー115でハルトマン像を取得する。ステップS104において、ディスプレイ118に表示されたハルトマン像も参照しつつ装置に対する被検眼位置を精密に調整する。
ここで、ステップS105でSLO撮影を行い第一の画像を取得する。SLO撮影は図5の(c)のステップS121からステップS125に示すフローで行われる。まず、ステップS121でスタートし、S122において光強度センサー114からの出力に基づいて、画像信号を取得する。ステップS123で取得した画像信号を記憶装置に記録する。記録するデータは取得した電圧データでもよいし、変換および加工した画像信号でもよい。連続した画像を取得することも可能であるので、取得ステップS124で終了か否かを確認し、終了要求が来るまでステップS122、S123を繰り返して連続画像として記録する。終了要求が来た場合にはステップS125で終了する。得られた連続動画は動画のままでもよいし、平均処理を行って単一の静止画像として使用することも可能である。
その後、図5の(a)のステップS106において収差補正を行う。収差補正ステップS106は収差補正のフローであり、図5の(b)のステップS111からステップS117より構成される。ステップS111で制御を開始する。ステップS112において波面センサー115により収差を測定して収差情報を測定する。測定した結果を元にステップS113において補償光学制御部116により補正量を計算し、ステップS114において補償光学制御部116の制御に基づき補正デバイス108を駆動する。そして、補正デバイス108の駆動が行われた後、ステップS115において収差を測定する。
この測定はシャックハルトマンセンサーのスポットを計測し、各測定点のスポット位置の基準位置からの移動量(ずれ量)を算出することで行う。ステップS113からステップS115までの処理が繰り返し行われることになる。一般的移動量はX方向とY方向の変位量であらわされる。本実施形態では、40×30のマイクロレンズアレイのシャックハルトマンセンサーを使用しているので、全レンズアレイに測定光が入射している場合には、40×30で1200の測定点におけるスポットの移動量が算出される。このスポットの移動量データからステップS113において補正量を計算する。この方法以外にも、測定したスポットの移動量から波面を表現するためのZernike係数を算出する事も可能で、それを基に補正デバイス108を制御することが可能であることは言うまでもない。
ステップS116において収差量が所定の値以下になったことを判断することにより完了確認を行い、収差補正が完了していない場合には、ステップS113からステップS115の補償光学の処理が再度行われる。ステップS116において完了が確認された場合には、ステップS117で収差補正を終了する。また、収差補正完了後も、涙等による眼収差の変動に対応するために、ステップS113からステップS115の収差補正処理を継続する場合もある。この場合、ある程度の収差量に達した時点でステップS117に進み元の撮影ステップに戻るが、それと並行して収差補正の処理が継続し、撮影終了まで収差補正が行われる。
収差補正が完了すると、図5の(a)のステップS107においてSLO撮影を行い第二の画像を取得する。SLO撮影は第一の画像取得と同様で、ステップS121からステップS125に示すフローで行われる。得られた連続動画は動画のままでもよいし、平均処理を行って単一の静止画像として使用することも可能である。
ステップS108に進み、終了要求が来ている場合にはS109に進み撮影を終了する。終了要求が来ていない場合には、ステップS102に戻り、SLO撮影を継続する。
このようにして、教師データとして、収差補正されていない状態で撮影した第一の画像と、収差補正された状態で撮影した第二の画像が得られる。なお、この処理は複数の異なる被検眼に対して言実行され、複数の被検眼から複数の第一の画像と第二の画像を取得して教師データとしている。
<学習>
次に、図5を用いて説明したように取得された第一の画像と第二の画像を用いて、第一の画像から第二の画像を生成する処理パラメータを学習させる例について説明する。
次に、図5を用いて説明したように取得された第一の画像と第二の画像を用いて、第一の画像から第二の画像を生成する処理パラメータを学習させる例について説明する。
図6に画像処理部600の機能構成を示す。画像処理部600は制御部117に含まれ、画像取得部601と、CNN処理部602と、学習部603を備えている。画像取得部601は、制御部117より同一被検眼の第一の画像および第二の画像を取得する。
CNN処理部602は、畳み込みニューラルネットワークを用いて画像処理を行って、入力となる第一の画像から、第二の画像を生成する。
学習部603は、CNN処理部602が参照する畳み込みニューラルネットワークの学習処理を行う。本実施形態では、ディープラーニング(深層学習)の一種であるCNN(Convolutional Neural Network)によってモデルを学習する。
画像を変換するCNNの構成例に関して図7を用いて説明する。
当該CNNの構成には、複数の畳み込み処理ブロック700群が含まれる。畳み込み処理ブロック700は、畳み込み(Convolution)層701と、バッチ正規化層(Batch Normalization)層702と、正規化線形関数を用いた活性化層(Activation)703を含む。当該CNNの構成には、合成(Merger)層704と最後の畳み込み層705が含まれる。合成層704は、畳み込み処理ブロック700の出力値群と画像を構成する画素値群とを連結したり加算したりして合成する。最後の畳み込み層705は、合成層704で合成された高分解能な第二の画像om702を構成する画素値群を出力する。このような構成では、入力された第一の画像im701を構成する画素値群が畳み込み処理ブロック700を経て出力された値群と、入力された画像im701を構成する画素値群とが、合成層704で合成される。その後、合成された画素値群は最後の畳み込み層705で高画質・高分解能な第二の画像om702に形成される。なお、画素密度等の自由度を向上させるために、途中でダウンサンプリング層やアップサンプリング層を設けても良い。
学習データとしては、入力として波面補正デバイスによる波面の収差補正を行っていない第一の画像と、出力として、波面補正デバイスによる波面の収差補正を行った第二の画像を学習データとする。この学習データは、可能な限り短い時間で撮影されたものを用いることとする。この学習データを用いて、モデルを機械学習(深層学習)し、学習した学習済モデルを用いて画像処理を行うネットワークパラメータを得る。
<CNNによる画像処理を用いた撮影>
次に、前述の学習結果(学習済モデル)を用いて、眼底像を撮影する方法について説明する。
次に、前述の学習結果(学習済モデル)を用いて、眼底像を撮影する方法について説明する。
図8は、本実施形態において、波面補正デバイスを用いることなしに、学習データから画像処理を実施する眼底観察装置の実施形態である。図8の眼底観察装置は、図1における眼底観察装置から波面補正デバイス108、波面センサー115および、それらに導光するための反射ミラー107-3~107-4等の光学素子群、収差補正制御システム116を除いた構成となっている。また、図8の眼底観察装置を構成する部材及びその配置は、図1の対応する部材と光学特性が同一ないしはほぼ同一であることが望ましいが、異なる光学特性であってもかまわない。
前述の教師データ作成時の眼底観察と同様に、光源101から照射された光は、単一モード光ファイバー102を通って、コリメータ103により、平行光線(測定光105)として照射される。照射された測定光105はビームスプリッターからなる光分割部104を透過し、走査光学系109-1、109-2や接眼レンズ110-1および110-2を通して被検眼111に入射される。
被検眼111に入射された測定光は眼底で走査され反射もしくは散乱されて戻り光となる。接眼レンズ110-1および110-2の位置を調整することによって、被検眼111の視度にあわせて適切な測定位置へ照射を行うことが可能となる。
被検眼111の眼底の網膜から反射もしくは散乱された戻り光は、入射した時の経路を逆向きに進行し、光分割部104によってその一部が反射され、コリメータ112、光ファイバー113を通して光強度センサー114に導光される。光強度センサー114で受光した光の強度に応じた電気信号に変換され、制御部117によって眼底画像として画像に構成される。また、画像処理部118を介して、ディスプレイ119に表示される。
このような撮影手法により第一の画像から第二の画像を生成する際のステップに関して図9のフローチャートを用いて説明する。
図9の(a)のステップS201において光照射を開始する。ステップS202において装置に対する被検眼111の顔位置調整、フォーカス調整を行う。
ここで、ステップS203においてSLO撮影を行い第一の画像を取得する。SLO撮影の処理は、図5の(c)のステップS121からS125で説明したとおりである。
次に、第一の画像を用いてステップS204において画像処理を行う。画像処理のステップを図9の(b)のステップS211からS215で説明する。ステップS212において撮影装置から第一の画像を取得し、前述の学習済モデルを用いてステップS213において画像を高分解能化・高画質化する。得られた画像をステップS214において出力する。
ステップS205以降の処理は図5の(a)のS108以降のフローの説明と同様である。
このようにして、比較的安易な構成の装置を用いて撮影した第一の画像より、高画質・高分解能な第二の画像を得ることが可能となる。
[実施形態2]
次に実施形態1で説明した測定光のビーム径とは異なるビーム径の測定光で撮影を行って取得する第三の画像も用いて学習し、第三の画像から高分解能な第二の画像を得る例について説明する。
次に実施形態1で説明した測定光のビーム径とは異なるビーム径の測定光で撮影を行って取得する第三の画像も用いて学習し、第三の画像から高分解能な第二の画像を得る例について説明する。
図10が本実施形態の撮影装置である。ビーム径変換素子1001以外は実施形態1と同じ構成である。ビーム径変換素子1001は測定光105のビーム径を変換する。
例えば、コリメータ103から出射された測定光は第一のビーム径であるφ6.5mm程度であり、収差補正されれば高分解能な眼底画像が得られる。一方で、φ6.5mmの測定光は被検眼の収差の影響を大きく受け、収差補正機構がなければ高分解能な画像が得られない。ビーム径変換素子1001はコリメータ側から入力した第一のビーム径φ6.5mmの測定光を第二のビーム径φ2.5mm程度に変換して被検眼111側に照射する。ビーム変換素子1001は2枚以上のレンズ群で構成しても良いし、ミラー等を組み合わせて構築しても良い。φ2.5mm程度であれば、眼の収差の影響はそれほど大きくなく、ある程度の画像は得られる。ただし、分解能はφ6.5mmの測定光で収差補正して撮影したほどよくない。
ビーム変換素子1001を光学系から抜去することで、ビーム径を変換しない状態での撮影が可能となる。ビーム変換素子をズーム光学系等で構成することにより、素子を抜去することなく動的にビーム径の変換方法を変更することも可能である。なお、眼底で反射散乱された戻り光は、ビーム変換素子1001を往路とは逆向きに通過することにより、第二のビーム径から第一のビーム径に変換される。図10では、ビーム変換素子1001を収差補正素子108や波面センサー115よりも被検眼側に設置したが、設置位置はこの位置に限定されるものではない。ただし、波面補正素子108と波面センサー115の間に設置した場合には、収差補正素子の有無により波面センサー115と波面補正素子108の関係性が変化するので、収差補正制御を変更する必要がある。
<教師データ作成>
本実施形態の学習用の教師データとなる、第一のビーム径の測定光の波面補正せずに撮影することにより得られる第一の画像と収差補正して撮影することにより得られる第二の画像、第二のビーム径の測定光で撮影する第三の画像を取得する撮影制御フローに関して、図11のフローチャートを用いて説明する。
本実施形態の学習用の教師データとなる、第一のビーム径の測定光の波面補正せずに撮影することにより得られる第一の画像と収差補正して撮影することにより得られる第二の画像、第二のビーム径の測定光で撮影する第三の画像を取得する撮影制御フローに関して、図11のフローチャートを用いて説明する。
ステップS1100において撮影を開始し、ステップS1101において光照射を開始する。本実施形態では、撮影光と波面測定光が同一の測定光であるため、ステップS1101において撮影と波面測定が可能な状態となる。
まず、ビーム変換素子1001を光路から抜去し、第一のビーム径の測定光105とする。本実施形態では第一のビーム径をφ6.5mmとする。
ステップS1103からステップS1108は実施形態1のステップS102からステップS107と同様であり、収差補正していない時点での第一の画像と、収差補正後の第二の画像が得られる。SLO撮影の処理も実施形態1と同様であり、連続動画や重ね合わせて静止画像を得ることが可能である。
第二の画像が取得できれば、ステップS1109において収差補正を終了する。
次に、ステップS1110において光路にビーム変換素子1001を光路中に挿入し、測定光のビーム径をφ6.5mmからφ2.5mmに変換する。その後、ステップS1111において第三の画像(収差補正は行われていない画像)を取得する。
ステップS1112に進み、終了要求が来ている場合にはS1113に進み撮影を終了する。終了要求が来ていない場合には、ステップS1102に戻り、SLO撮影を継続する。
このようにして、教師データとして、収差補正されていない状態で撮影した第一の画像と、収差補正された状態で撮影した第二の画像、第二のビーム径で撮影した第三の画像が得られる。第三の画像の分解能は、第一の画像の分解能よりも高く、第二の画像の分解能より低い。なお、教師データとして、複数の異なる被検眼の第一の画像、第二の画像、第三の画像を取得し記録している。
<学習>
次に、第一のビーム径で収差補正されていない状態で撮影した第一の画像、第一のビーム径で収差補正を行ったうえで撮影した第二の画像、および、第二のビーム径で撮影した第三の画像を用いて、第一の画像および第三の画像から第二の画像を生成する処理パラメータを学習させる例について説明する。
次に、第一のビーム径で収差補正されていない状態で撮影した第一の画像、第一のビーム径で収差補正を行ったうえで撮影した第二の画像、および、第二のビーム径で撮影した第三の画像を用いて、第一の画像および第三の画像から第二の画像を生成する処理パラメータを学習させる例について説明する。
本例も実施形態1と同様にCNN(深層学習)によってモデルを学習する構成とする。画像を変換するCNNの構成例に関して図12を用いて説明する。
当該CNNの構成には、実施形態1と同様に複数の畳み込み処理ブロック群が含まれる。収差補正していない第一のビーム径の第一の画像im701をもとに処理を行う畳み込み処理ブロック群700と、第二のビーム径の第三の画像をもとに処理を行う畳み込み処理ブロック群1200とで構成される。
畳み込み処理ブロック700および1200は、畳み込み(Convolution)層701、1201と、バッチ正規化層(Batch Normalization)層702、1202と、正規化線形関数を用いた活性化層(Activation)703、1203を含む。
両フローより得られた結果は、合成(Merger)層704により統合され、最後の畳み込み層705が実行される。合成層704は、各畳み込み処理ブロックの出力値群と画像を構成する画素値群とを連結したり加算したりして合成する。最後の畳み込み層705は、合成層704で合成された高分解能な第二の画像om702を構成する画素値群を出力する。その後、合成された画素値群は最後の畳み込み層705で高画質・高分解能な第二の画像om702に形成される。なお、画素密度等の自由度を向上させるために、途中でダウンサンプリング層やアップサンプリング層を設けても良い。
学習データとしては、入力として第一のビーム径による波面補正デバイスによる波面の収差補正を行っていない第一の画像と、第二のビーム径の第三の画像、出力として、波面補正デバイスによる波面の収差補正を行った第二の画像を学習データとする。この学習データは、可能な限り短い時間で撮影されたものを用いることとする。この学習データを用いて、モデルを機械学習し、学習したモデルを用いて画像処理を行うネットワークパラメータを得る。
<CNNによる画像処理を用いた撮影>
次に、前述の学習結果を用いて、眼底像を撮影する方法について説明する。
次に、前述の学習結果を用いて、眼底像を撮影する方法について説明する。
図13は、本実施例において、波面補正を用いることなしに、学習データから画像処理を実施する眼底観察装置の実施例である。図13の眼底観察装置は、図10における眼底観察装置から波面補正デバイス108、波面センサー115および、それらに導光するための反射ミラー107-3~107-4等の光学素子群、収差補正制御システム116をのぞいた構成となっている。また、図13の眼底観察装置を構成する部材及びその配置は、図10の対応する部材と光学特性が同一ないしはほぼ同一であることが望ましいが、異なる光学特性であってもかまわない。
前述の教師データ作成時の眼底観察と同様に、光源101から照射された光は、単一モード光ファイバー102を通って、コリメータ103により、平行光線(測定光105)として照射される。照射された測定光105はビームスプリッターからなる光分割部104を透過し、走査光学系109-1、109-2や接眼レンズ110-1および110-2を通して被検眼111に照射される。
被検眼111に照射された測定光は眼底で走査され反射もしくは散乱されて戻り光となる。接眼レンズ110-1および110-2の位置を調整することによって、被検眼111の視度にあわせて適切な測定位置の照射を行うことが可能となる。
被検眼111の網膜から反射もしくは散乱された戻り光は、入射した時の経路を逆向きに進行し、光分割部104によってその一部が反射され、コリメータ112、光ファイバー113を通して光強度センサー114に導光される。光強度センサー114で受光した光の強度に応じた電気信号に変換され、制御部117によって眼底画像として画像に構成される。また、画像処理部118を介して、ディスプレイ119に表示される。
まず、ビーム変換素子1301を抜去した状態でφ6.5mmの第一のビーム径にて撮影を行い、第一の画像を取得する。次にビーム変換素子1301を光路に挿入し、φ2.5mmの第二のビーム径にて撮影を行い、第三の画像を取得する。
このような撮影手法により、第一の画像および第三の画像から第二の画像を生成する際のフローに関して図14のフローチャートを用いて説明する。
図14の(a)のステップS1401において光照射を開始する。ステップS1402において被検眼の顔位置調整、フォーカス調整を行う。
ここで、ステップS1403においてビーム径をφ6.5mmに設定する。その後、ステップS1404において第一の画像を取得する。
次に、ステップS1405において光路にビーム変換素子1301を光路中に挿入し、ビーム径をφ6.5mmからφ2.5mmに変換する。その後、ステップS1406において第三の画像を取得する。
次に、第一の画像を用いてステップS1407において画像処理を行う。画像処理のフローを図14の(b)のステップS1410からS1415で説明する。ステップS1411において撮影装置から第一の画像を取得し、ステップS1412において第三の画像を取得する。
前述の学習済モデルを用いて、ステップS1413において画像を高分解能化・高画質化する。得られた画像をステップS1314で出力する。
ステップS1408以降の処理は図11のS1112以降のフローの説明と同様である。
このようにして、比較的安易な構成の装置を用いて撮影した第一の画像および第三の画像より、高画質・高分解能な第二の画像を得ることが可能となる。
また、本実施形態では第一の画像と第三の画像を入力とし第二の画像を出力としたが、第三の画像のみ入力とし、第二の画像を出力とする構成でもよい。
(その他の実施形態)
上述したそれぞれの実施形態は、本発明を撮影装置として実現したものである。しかしながら、本発明の実施形態は、撮影装置、或いは、実施形態において述べた撮影方法のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。また、撮影装置のCPUは、RAMやROMに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、撮影装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現し、画像処理時に行われる各工程を実行することもできる。
上述したそれぞれの実施形態は、本発明を撮影装置として実現したものである。しかしながら、本発明の実施形態は、撮影装置、或いは、実施形態において述べた撮影方法のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。また、撮影装置のCPUは、RAMやROMに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、撮影装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現し、画像処理時に行われる各工程を実行することもできる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、実施形態を参照して本発明について説明したが、本発明は上記実施形態に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
Claims (9)
- 測定光を被検眼に照射することにより得られる戻り光に基づき、前記被検眼の第1の画像を生成する生成手段と、
第1の分解能の前記第1の画像と前記第1の画像の分解能より高い分解能の第3の画像と学習済モデルとを用いて、前記第1の分解能の前記第1の画像を、前記測定光の波面を補正して前記被検眼に照射することにより得られる前記第1の分解能より高い分解能である第2の分解能の第2の画像に変換する変換手段と
を有することを特徴とする撮影装置。 - 前記変換手段が、前記第3の画像から学習済モデルを用いて、前記第3の画像を前記第2の分解能の第2の画像に変換すること
を特徴とする請求項1に記載の撮影装置。 - 前記学習済モデルは、前記生成手段により生成された、第1のビーム径の測定光に対応する第1の画像、前記第1のビーム径の波面を補正した測定光に対応する第2の画像、及び、前記第1のビーム径より細い第2のビーム径の測定光に対応する第3の画像を用いて深層学習することにより得られるモデルであること
を特徴とする請求項1又は2に記載の撮影装置。 - 前記学習済モデルは、前記生成手段により生成された、第1のビーム径の測定光に対応する第1の画像と前記第1のビーム径より細い第2のビーム径の測定光に対応する第3の画像の組み合わせ、及び、前記第1のビーム径の波面を補正した測定光に対応する第2の画像と前記第3の画像の組み合わせを用いて深層学習することにより得られるモデルであること
を特徴とする請求項1乃至3のいずれか1項に記載の撮影装置。 - 前記学習済モデルは、前記生成手段により生成された、第1のビーム径の波面を補正した測定光に対応する第2の画像と前記第1のビーム径より細い第2のビーム径の測定光に対応する第3の画像の組み合わせを用いて深層学習することにより得られるモデルであること
を特徴とする請求項1乃至4のいずれか1項に記載の撮影装置。 - 前記第1の画像、前記第2の画像、及び、前記第3の画像は、測定光の波面を測定する測定手段と、前記波面を補正する補正手段と、測定光のビーム径を設定する設定手段とを有する撮影装置により生成された画像であり、
前記第1の画像は、前記設定手段により前記測定光を前記第1のビーム径に設定し、前記補正手段による補正を行わずに生成した画像であり、
前記第2の画像は、前記設定手段により前記測定光を前記第1のビーム径に設定し、前記補正手段による補正を行い生成した画像であり、
前記第3の画像は、前記設定手段により前記測定光を前記第2のビーム径に設定し、前記補正手段による補正を行わずに生成した画像であること
を特徴とする請求項3乃至5のいずれか1項に記載の撮影装置。 - 測定光を被検眼に照射することにより得られる戻り光に基づき、前記被検眼の第1の画像を生成する生成工程と、
第1の分解能の前記第1の画像と前記第1の画像の分解能より高い分解能の第3の画像と学習済モデルとを用いて、前記第1の分解能の前記第1の画像を、前記測定光の波面を補正して前記被検眼に照射することにより得られる前記第1の分解能より高い分解能である第2の分解能の第2の画像に変換する変換工程と
を有することを特徴とする撮影装置の制御方法。 - 前記変換工程が、前記第3の画像から学習済モデルを用いて、前記第3の画像を前記第2の分解能の第2の画像に変換すること
を特徴とする請求項7に記載の撮影装置の制御方法。 - 請求項7又は8に記載の撮影装置の制御方法をコンピュータに実行させるコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019215790A JP7508216B2 (ja) | 2019-11-28 | 撮影装置およびその制御方法 | |
PCT/JP2020/043562 WO2021106824A1 (ja) | 2019-11-28 | 2020-11-24 | 撮影装置およびその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019215790A JP7508216B2 (ja) | 2019-11-28 | 撮影装置およびその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021083781A JP2021083781A (ja) | 2021-06-03 |
JP7508216B2 true JP7508216B2 (ja) | 2024-07-01 |
Family
ID=
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012235834A (ja) | 2011-05-10 | 2012-12-06 | Canon Inc | 収差補正方法、および該方法を用いた眼底撮像方法、および眼底撮像装置 |
JP2017189219A (ja) | 2016-04-11 | 2017-10-19 | 株式会社トプコン | 眼科撮影装置 |
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012235834A (ja) | 2011-05-10 | 2012-12-06 | Canon Inc | 収差補正方法、および該方法を用いた眼底撮像方法、および眼底撮像装置 |
JP2017189219A (ja) | 2016-04-11 | 2017-10-19 | 株式会社トプコン | 眼科撮影装置 |
Non-Patent Citations (1)
Title |
---|
FEI X et al.,Deblurring adaptive optics retinal images using deep convolutional neural networks,BIOMEDICAL OPTICS EXPRESS,2017年11月16日,Vol. 8, No. 12,pp. 5675-5687 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9131841B2 (en) | Image acquisition apparatus | |
JP5511324B2 (ja) | 補償光学装置、補償光学方法、撮像装置、撮像方法 | |
US20120133888A1 (en) | scanning ophthalmoscopes | |
US8955970B2 (en) | Fundus imaging method, fundus imaging apparatus, and storage medium | |
JP6097542B2 (ja) | 補償光学装置、補償光学装置の制御方法、画像取得装置およびプログラム | |
JP5517571B2 (ja) | 撮像装置および撮像方法 | |
US9107619B2 (en) | Optical-image pickup apparatus and method for controlling the same | |
US9211063B2 (en) | Compensation optical apparatus and image sensing apparatus | |
US9339185B2 (en) | Imaging apparatus that acquires a first image and, via an aberration correction unit, a second image of an area corresponding to a part of the first image | |
JP2014108212A (ja) | 撮像装置 | |
US10213106B2 (en) | System and method for eye tracking during retinal imaging | |
JP7508216B2 (ja) | 撮影装置およびその制御方法 | |
US9468375B2 (en) | Imaging method and imaging apparatus | |
JP2021153786A (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2021106824A1 (ja) | 撮影装置およびその制御方法 | |
JP2020131017A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR101422731B1 (ko) | 쥐과 망막의 단층 촬영을 위한 촬상 장치 | |
WO2020166465A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5943953B2 (ja) | 撮像装置及びその制御方法 | |
JP2021137256A (ja) | 眼科装置、眼科装置の作動方法、及びプログラム | |
JP2020022569A (ja) | 眼底撮像装置、眼底撮像方法およびプログラム | |
JP2018166713A (ja) | 眼底撮影装置およびその制御方法 |