WO2020166465A1

WO2020166465A1 - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: WO2020166465A1
Application number: PCT/JP2020/004457
Authority: WO
Inventors: 小野　光洋; 田中　信也; 宏治野里; 耕平竹野; 和英宮田
Original assignee: キヤノン株式会社
Priority date: 2019-02-13
Filing date: 2020-02-06
Publication date: 2020-08-20

Abstract

簡素な構成で高い分解能の画像を取得する。　本発明の一態様に係る画像処理装置は、被検眼の第１の分解能の画像を取得する画像取得手段と、被検眼の収差に関する情報を取得する収差取得手段と、学習済モデルを用いて、第１の分解能の画像と収差に関する情報とから、第１の分解能の画像よりも高い分解能の第２の分解能の画像を生成する画像処理手段と、を備える。

Description

画像処理装置、画像処理方法、及びプログラム

　本発明は、画像処理装置、画像処理方法及びプログラム、更には眼科撮影システムに関する。

　近年、眼科用の撮影装置として、眼底に２次元的にレーザ光を照射してその戻り光を受光して画像化するＳＬＯ（ＳｃａｎｎｉｎｇＬａｓｅｒＯｐｈｔｈａｌｍｏｓｃｏｐｅ：走査レーザ検眼鏡）が利用されている。また、低コヒーレンス光の干渉を利用したイメージング装置が開発されている。低コヒーレンス光の干渉を利用したＯＣＴ（ＯｐｔｉｃａｌＣｏｈｅｒｅｎｃｅＴｏｍｏｇｒａｐｈｙ：光干渉断層像装置或いは光干渉断層像法）も実用化されている。ＯＣＴは、特に、眼底或いはその近傍の断層像を得る目的で用いられている。ＯＣＴの種類としては、ＴＤ－ＯＣＴ（ＴｉｍｅＤｏｍａｉｎＯＣＴ：タイムドメイン法）や、ＳＤ－ＯＣＴ（ＳｐｅｃｔｒａｌＤｏｍａｉｎＯＣＴ：スペクトラルドメイン法）等を含め、種々のものが開発されてきている。

　特に、このような眼科用の撮影装置は、近年において、照射レーザの高ＮＡ化によって、より狭い領域に対してより詳細な観察を可能とする技術の開発が進められている。
　しかしながら、眼底を撮影する場合には、角膜や水晶体等の眼の光学組織を通して撮影をしなければならない。そのため、高ＮＡ化を進める場合、これら角膜や水晶体による収差の影響で撮影画像に不明瞭に見える部分が生じる等によって、より詳細な観察が難しくなる。

　そこで、眼による収差を測定し、その収差を補正する補償光学（ＡｄａｐｔｉｖｅＯｐｔｉｃｓ：ＡＯ）機能を光学系に組み込んだ、ＡＯ－ＳＬＯやＡＯ－ＯＣＴの研究が進められている。例えば、非特許文献１に、ＡＯ－ＯＣＴの例が示されている。これらＡＯ－ＳＬＯやＡＯ－ＯＣＴは、一般的にはシャックハルトマン波面センサー方式によって戻り光の波面を測定する。シャックハルトマン波面センサー方式とは、眼に測定光を入射し、その戻り光を、マイクロレンズアレイを通してＣＣＤカメラで受光することによって戻り光の波面を測定するものである。測定した波面を補正するように、可変形状ミラーや空間位相変調器を駆動し、それらを通して眼底の撮影を行う。これにより、ＡＯ－ＳＬＯやＡＯ－ＯＣＴでは、撮影画像中の不明瞭に見える部分を低減した、眼底の高い分解能を有した平面像や断層像の撮影が可能となる（特許文献１）。

特開２０１５－２２１０９１号公報

ＺＨＡＮＧ，ｅｔａｌ．，"Ｈｉｇｈ－ｓｐｅｅｄｖｏｌｕｍｅｔｒｉｃｉｍａｇｉｎｇｏｆｃｏｎｅｐｈｏｔｏｒｅｃｅｐｔｏｒｓｗｉｔｈａｄａｐｔｉｖｅｏｐｔｉｃｓｓｐｅｃｔｒａｌ－ｄｏｍａｉｎｏｐｔｉｃａｌｃｏｈｅｒｅｎｃｅｔｏｍｏｇｒａｐｈｙ"，ＯｐｔｉｃｓＥｘｐｒｅｓｓ，Ｍａｙ１５，２００６，ｐａｇｅｓ４３８０－４３９４，Ｖｏｌ．１４，Ｎｏ．１０

　しかしながら、波面補正デバイスや関係する光学系の追加は、眼科撮影装置の制御が複雑化すること、装置が大型化すること、更には高コスト化を招いてしまう。そのため、波面補正デバイス等を用いない簡素な構成で、高い分解能の画像が得られる手法の確立が望まれる。

　本発明は、このような状況に鑑みてなされたものであり、その目的の一つは、簡素な構成で高い分解能の画像を取得することである。

　上記課題を解決するために、本発明の一態様に係る画像処理装置は、
　被検眼の第１の分解能の画像を取得する画像取得手段と、
　前記被検眼の収差に関する情報を取得する収差取得手段と、
　学習済モデルを用いて、前記第１の分解能の画像と前記収差に関する情報とから、前記第１の分解能よりも高い分解能の第２の分解能の画像を生成する画像処理手段と、を備えることを特徴とする。

　本発明によれば、簡素な構成で高い分解能の画像を取得することが可能となる。

教師データとなる眼底像を撮影する眼科撮影装置の一例の概略構成を示す。図１に示す眼科撮影装置におけるシャックハルトマンセンサーの模式図を示す。図２Ａに示すシャックハルトマンセンサーをＡ－Ａ’で示す位置から見た状態を模式的に示す。図２Ａに示すシャックハルトマンセンサーにおいて、ＣＣＤセンサー上に光が集光された状態を模式的に示す。図２Ａ乃至２Ｃに示すシャックハルトマンセンサーで測定された波面の模式図を示す。収差を持つ光がシャックハルトマンセンサーのＣＣＤセンサー上に集光された状態を模式的に示す。図１に示す眼科撮影装置の画像処理部の構成を説明するブロック図を示す。実施例１で用いる学習済モデルの生成に用いる学習データを得る際の撮影制御処理を説明するフローチャートを示す。図５Ａにおける収差補正処理を説明するフローチャートを示す。図４に示したＣＮＮ処理部で実行される処理を説明するフローチャートを示す。実施例１に係る、眼底像を撮影する眼科撮影装置の一例の概略構成を示す。変形例１に係る画像処理部の構成を説明するブロック図を示す。変形例２に係る画像処理部の構成を説明するブロック図を示す。実施例１に係る撮影制御処理を説明するフローチャートを示す。教師データとなる断層像を撮影する眼科撮影装置の一例の概略構成を示す。実施例３で用いる学習済モデルの生成に用いる学習データを得る際の撮影制御処理を説明するフローチャートを示す。実施例３に係る、断層像を撮影する眼科撮影装置の一例の概略構成を示す。変形例１に係る画像処理部の構成を説明するブロック図を示す。変形例２に係る画像処理部の構成を説明するブロック図を示す。実施例３に係る撮影制御処理を説明するフローチャートを示す。実施例４に係る撮影制御処理を説明するフローチャートを示す。

　以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。なお、上述した高ＮＡ化した眼科装置により、例えば以下の実施例で述べるように眼底を観察する場合、観察対象には例えば視細胞があげられる。しかし、収差の影響が顕著な場合、解像度が高い撮像系を用いた場合であっても、視細胞の像自体が滲んだりぼやけたり歪んだりしてしまい、不明瞭な視細胞の像しか観察できない場合が生じる。個々の視細胞の細胞壁等が視認（判別）できないような不明瞭な部分を含む画像を、本明細書では分解能の低い画像と称する。本実施例では、このような分解能の低い画像に対して後述する学習済モデルを用いた画像処理を施すことにより、例えば明瞭な視細胞の像を観察できる、分解能が高くなった画像を提供することを可能とする。なお、本明細書において、分解能とは並べられた２本の線を撮影し、これら線が２本であることが視認できる際のこれらの線間の距離として測定できる、定量的に評価できる値を意味する。上述した例では、２つの視細胞の細胞壁がこれに対応するものと例示できる。高い分解能の画像であれば個々の視細胞の存在が視認でき、低い分解能の画像であれば視細胞の細胞壁を視認できずに個々の視細胞を区別できなくなる。

［実施例１］
　以下、図１乃至８を参照して、本発明の実施例１に係る画像処理装置について説明する。
　なお、本実施例においては、測定対象である被検査物を眼とし、該被検眼を撮影して得た画像（例えば、眼底像）における該被検眼の収差の影響を低減するために、該眼底像の補正を行う処理に用いる学習済モデルを予め生成しておく。そして、生成された学習済モデルを用いて、撮影された眼底像における被検眼で発生した収差の影響を低減するための画像補正をするようにした一例について説明する。なお、本実施例等においては、学習済モデルを用いて撮影された被検眼眼底像に画像処理を施すことで、実際に収差補正を行いながら該被検眼の眼底を撮影することで得られる可能性の高い眼底像、即ち収差補正後に得られるような眼底像を得ている。

＜学習データ作成装置＞
　まず、画像処理パラメータを学習するために用いる入力データと教師データとからなる学習データの取得方法について説明する。ここでは、学習データとなる眼底像等の取得に用いられる眼科撮影装置について説明する。なお、実施例１は、ＡＯ－ＳＬＯを用いて眼底像を得る場合の画像処理に関するものであり、図１は収差補正された眼底像を得るＡＯ－ＳＬＯの概略構成を示している。

　図１に示すＡＯ－ＳＬＯ（眼科撮影装置１）には、光源１０１、補償光学系、走査光学系１０９－１、追尾制御系、光強度センサー１１４、制御部１１７、画像処理部１１８、及びディスプレイ１１９が設けられる。補償光学系には、波面測定系と収差補正系とが含まれる。波面測定系は被検眼１１１に照射された光の眼底からの戻り光の波面形状を測定する。収差補正系は、測定された波面形状に応じて、被検眼１１１により生じた収差を補正する。走査光学系は、被検眼１１１に照射する光により眼底を走査する。制御部１１７はこれら光源１０１、波面測定系、収差補正系、及び走査光学系を制御し、光強度センサー１１４は戻り光より眼底像を生成するための信号を出力する。制御部１１７は光強度センサー１１４の出力を用いて眼底像等を生成する。画像処理部１１８は、光強度センサー１１４等より得られた各種情報を用いて、上述した学習データの生成等を実行する。ディスプレイ１１９は、制御部１１７や画像処理部１１８により生成された画像等を表示する。

　なお、ここでは眼科撮影装置１が画像処理部１１８やディスプレイ１１９と一体となった形態を例示しているが、これらを部分的或いは全てを別体としてもよい。更に画像処理部１１８のみを画像処理装置としてもよい。この場合、更に、インターネット等の任意のネットワークを介して複数の眼科撮影装置と接続してもよい。更には、後述する学習済モデルをクラウドシステムに有し、第１の分解能の画像と収差に関する情報をシステムサーバを介して送信し、第２の分解能の画像を受信する構成としてもよい。また、図１に示す眼科撮影装置１は補償光学機能を備えた眼底撮影装置の一例であって、補償光学機能を有するその他の公知の眼底撮影装置を用いることもできる。以下、例示するこれら各構成について詳述する。

　図１に示す眼科撮影装置１において、光源１０１には波長７９５ｎｍのＳＬＤ光源（ＳｕｐｅｒＬｕｍｉｎｅｓｃｅｎｔＤｉｏｄｅ）を用いた。光源１０１の波長は特に制限されるものではないが、眼底撮影用としては被検者の眩しさの軽減と分解能維持のために、７５０～１５００ｎｍ程度が好適に用いられる。なお、ここではＳＬＤ光源を用いたが、その他のレーザ等も用いられる。また、ここでは光源１０１から出射された光を眼底撮影と波面測定とに共用しているが、それぞれ別光源から出射された光を用い、光路の途中でこれら光を合波する構成としてもよい。

　光源１０１から出射された光は、単一モード光ファイバー１０２を通って、コリメータ１０３により、平行光線（測定光１０５）として出射される。なお、出射される光の偏光は、単一モード光ファイバー１０２の経路に具備された不図示の偏光調整器により調整されるとよい。或いは別の構成として、コリメータ１０３から出射された後の光路に偏光を調整する光学部品を配置してもよい。ここでは、コリメータ１０３から出射される光の偏光が図の紙面に水平な偏光成分となるように偏光調整器を調整している。

　出射された測定光１０５はビームスプリッターからなる第１光分割部１０４を透過し、補償光学系に導光される。補償光学系は、第２光分割部１０６、波面センサー１１５、波面補正デバイス１０８及び、測定光等をこれに導光するための反射ミラー１０７－１～１０７－４から構成される。ここで、反射ミラー１０７－１～１０７－４は、少なくとも被検眼１１１の瞳と波面センサー１１５、波面補正デバイス１０８とが光学的に共役関係になるように設置される。また、第２光分割部１０６として、ここではビームスプリッターを用いる。

　第２光分割部１０６を透過した測定光１０５は、反射ミラー１０７－１と１０７－２で反射されて波面補正デバイス１０８に入射する。波面補正デバイス１０８で反射された測定光１０５は、更に反射ミラー１０７－３と１０７－４で反射され、走査光学系に導光される。

　なお、例示した眼科撮影装置１では、波面補正デバイス１０８として可変形状ミラーを用いた。可変形状ミラーは反射面が複数領域に分割されており、各領域の角度を変えることにより、反射される被検眼からの戻り光或いは測定光１０５の波面を変化させることができるミラーである。しかし、波面補正デバイスとして、可変形状ミラーの代わりに液晶素子を用いた空間位相変調器を用いることも可能である。その場合、被検眼からの戻り光の全偏光成分を補正するために、２つの空間位相変調器を用いるとよい。

　図１において、反射ミラー１０７－３，１０７－４で反射された測定光１０５は、走査光学系１０９－１によって、１次元もしくは２次元に走査される。例示した眼科撮影装置１では、走査光学系１０９－１に主走査用（眼底水平方向）と副走査用（眼底垂直方向）として一つの共振スキャナーと一つのガルバノスキャナーを用いた。しかし、走査光学系１０９－１に用いるスキャナーはこの態様に限られず、二つのガルバノスキャナーを用いることもできる。また、公知の他のスキャナーを用いることもできる。また、走査光学系１０９－１内の各スキャナーを光学的な共役状態にするために、各スキャナーの間にミラーやレンズといった光学素子を用いる構成としてもよい。

　例示する眼科撮影装置１では、走査光学系に加え、追尾制御系として、更にトラッキングミラー１０９－２を配している。トラッキングミラー１０９－２は、追尾制御部１２０に接続されており、眼の運動の影響を取得画像において補正するように測定光の走査位置の変更指示を追尾制御部１２０から受ける。トラッキングミラー１０９－２は２つのガルバノスキャナーから構成され、撮影領域を更に２方向に移動させることが可能である。しかし、走査光学系１０９－１がトラッキングミラー１０９－２を兼ねる構成としてもよい。或いは、トラッキングミラー１０９－２が走査光学系１０９－１の共振スキャナーによる走査方向にのみ対応する構成、トラッキングミラー１０９－２が２次元ミラーである構成としてもよい。また、走査光学系１０９－１とトラッキングミラー１０９－２を光学的に共役関係とするために、不図示のリレー光学系を用いてもよい。

　走査光学系１０９－１及びトラッキングミラー１０９－２で偏向された測定光１０５は、対物レンズ１１０－１，１１０－２を通して被検眼１１１に照射される。被検眼１１１に照射された測定光１０５は眼底で走査され、反射もしくは散乱されて戻り光となる。対物レンズ１１０－１，１１０－２の位置を調整することによって、被検眼１１１の視度にあわせて、測定光１０５の適切な照射を行うことが可能となる。なお、対物部にレンズを用いたが、これらを球面ミラー等で構成してもよい。ここで、本実施例において、被検眼１１１に照射される測定光１０５のビ－ム径は６ｍｍであり、波面収差が補正された場合は眼底上では直径３．５μｍのスポットを形成する。

　被検眼１１１の網膜から反射もしくは散乱された戻り光は、入射した時の経路を逆向きに進行し、第２光分割部１０６によってその一部は波面センサー１１５に反射され、戻り光の波面を測定するために用いられる。第２光分割部１０６で波面センサー１１５に向けて反射された光は、リレー光学系を通り、波面センサー１１５に入射する。リレー光学系の間にはアパーチャー１２１が設置されており、レンズ等からの不要な戻り光が波面センサー１１５に入射しないようにされている。

　なお、例示した眼科撮影装置１では、戻り光の波面形状を計測する波面センサー１１５として、シャックハルトマンセンサーを用いた。以下に図２Ａ乃至２Ｃを参照してシャックハルトマンセンサーについて説明する。まず、図２Ａにシャックハルトマンセンサーの模式図を示す。シャックハルトマンセンサーでは、波面を測定する光２０１は、マイクロレンズアレイ２０２を通して、ＣＣＤセンサー２０３上の焦点面２０４に集光される。図２ＡのＡ－Ａ’で示す位置から見た様子を示す図が図２Ｂであり、マイクロレンズアレイ２０２は、複数のマイクロレンズ２０５から構成されている。光２０１は各マイクロレンズ２０５を通してＣＣＤセンサー２０３上に集光されるため、光２０１は、光２０１が通過したマイクロレンズ２０５の個数分のスポットに分割されて集光される。

　図２ＣにＣＣＤセンサー２０３上に光２０１がスポット状に集光された状態を示す。各マイクロレンズを通過することにより光は光束となり、スポット２０６として各々集光される。そして、この各スポット２０６の位置から、入射した光の波面を計算する。各スポットの波面に収差がない場合の基準位置と測定された集光位置との差から、各収差測定点における波面の傾きが算出される。この傾きを積分することによって、各収差測定点における位相情報が得られる。また、各スポットの基準位置と測定された位置の差からＺｅｒｎｉｋｅ係数（ゼルニケ係数）を算出することも可能である。

　例えば、図３Ａに球面収差を持つ光の波面を測定した場合の模式図を示す。図示した例では、光２０１は破線２０７で示すような球面状の波面で形成されているとする。この場合、光２０１はマイクロレンズアレイ２０２によって、波面の局所的な垂線方向の位置に集光される。得られたＣＣＤセンサー２０３上での各スポット２０６の集光状態を、図３Ｂに示す。光２０１が球面収差を持つため、スポット２０６は中央部に偏った状態で集光される。得られたスポット２０６それぞれの位置を計算することによって、光２０１の波面が分かる。なお、例示した眼科撮影装置１では、３０×４０個のマイクロレンズアレイを有するシャックハルトマンセンサーを用いたが、用いる波面計測装置はこれに限られず、公知の種々の波面計測装置を用いることができる。

　図１において、第２光分割部１０６を透過した戻り光は第１光分割部１０４によってその一部が反射され、コリメータ１１２及び光ファイバー１１３を通して光強度センサー１１４に導光される。光強度センサー１１４は、受光した光を、その強度に応じた電気信号に変換する。光強度センサー１１４は制御部１１７に接続されており、制御部１１７に送られたこの電気信号は制御部１１７によって眼底像として画像化される。制御部１１７は画像処理部１１８にも接続されており、構成された眼底像は画像処理部１１８を介してディスプレイ１１９に表示される。

　波面センサー１１５は補償光学制御部１１６に接続されており、測定した波面を補償光学制御部１１６に伝える。補償光学制御部１１６は波面補正デバイス１０８にも接続されており、波面補正デバイス１０８は補償光学制御部１１６から指示された波面の変調を行う。即ち、補償光学制御部１１６は波面センサー１１５の測定結果として取得された波面を基に、収差のない波面へと補正するような波面補正デバイス１０８の領域ごとの変調量（補正量）を計算する。そして、波面補正デバイス１０８にそのように変調するように指令する。このような波面の測定と波面補正デバイス１０８への指示は繰り返し実行され、常に最適な波面となるようにフィードバック制御が行われる。

　例示した眼科撮影装置１のように対物レンズ１１０－１，１１０－２で被検眼の視度に対応するような光学系がある場合には、対物レンズ１１０－１，１１０－２が良好に調整されていることが重要である。適切にその位置が調整されることで、収差補正処理の実行時に、被検眼の収差の大部分を占めるデフォーカス成分を波面補正デバイス１０８で補正する必要がなくなる。

　また、眼科撮影装置１では、波面センサー１１５の直前に配置されたアパーチャー１２１によって不要光をカットすることでより正確に収差を測定できるようにしている。しかしながら、被検眼１１１の収差のデフォーカスが補正されていないと、本来は通過させるべき網膜からの戻り光もアパーチャー１２１部分で広がった状態となり、大部分がアパーチャー１２１でカットされてしまうことになる。

　更に、収差補正処理を最大限有効に動作させるためには、正しい位置に被検眼１１１を配置することが重要であり、不図示の前眼部モニターや波面センサー１１５の信号を見ながら、被検眼の位置を調整する必要がある。なお、図示される波面センサー１１５からは、例えば、図３Ｂに示したハルトマン像と呼ばれる画像が得られる。

　次に、上述した眼科撮影装置１に付随して学習データを実際に生成する、本実施例に係る画像処理部１１８の詳細について、その機能構成をブロック図として示す図４を参照して説明する。画像処理部１１８は、画像取得部４０１、ＣＮＮ処理部４０２、学習処理部４０３、及び記憶部４０４を備えている。画像取得部４０１は、制御部１１７を介して、眼底の撮影データ、後述するハルトマン像等の眼科撮影装置１を介して取得されたデータを取得する。画像取得部４０１は、ハルトマン像等からなる収差情報を取得する収差情報取得部４０５を含む。なお、収差情報取得部４０５は画像取得部４０１とは独立して設けられてもよい。ＣＮＮ処理部４０２は、後述する畳み込みニューラルネットワークを用いた画像処理を実行し、入力される収差補正前の眼底像と収差に関する情報とから、収差補正を行った眼底像を生成する。学習処理部４０３は、ＣＮＮ処理部４０２が参照する畳み込みニューラルネットワークの学習処理を行い、後述する学習済モデルを生成する。記憶部４０４は、制御部１１７を介して取得した上述した各種データを各々関連付けて記憶でき、学習処理部４０３が生成した学習済モデルを記憶できる。

　本実施例では、画像処理部１１８が、上述した眼科撮影装置１を用いて取得した学習データを用いることにより、学習済モデルを生成している。次に、本実施例に係る、学習用の教師データとなる波面補正された眼底像を得るための撮影制御フローに関して、図５Ａ及び５Ｂのフローチャートを用いて説明する。

　図５Ａに示すように、まず、ステップＳ５０１では、検査者の指示を受けた制御部１１７が光源１０１を動作させ、光の出射を開始させる。なお、ステップＳ５０１の処理の実行に際し、予め公知の手法により被検眼１１１に対して眼科撮影装置１が大まかに位置合わせされていることとする。また、本実施例では、画像撮影用の光と波面測定用の光が同一であるため、ステップＳ５０１の処理の実行により、眼底の撮影と戻り光の波面測定とが可能な状態となる。

　次に、ステップＳ５０２において、制御部１１７は光強度センサー１１４の出力に基づいて眼底像（眼底平面像）を生成し、ディスプレイ１１９に表示させる。本ステップにおいて、制御部１１７は、ディスプレイ１１９に表示される眼底像に基づく検査者の入力に応じて不図示の電動ステージを移動させ、眼科撮影装置１におけるおよそのフォーカス調整（ラフフォーカス調整）を行う。フォーカス調整は、例えば眼底像の輝度値を最大とすることで行われる。なお、このラフフォーカス調整は検査者により行われるが、上述する輝度値に基づいて、制御部１１７によって実行されてもよい。

　また、ステップＳ５０２において、制御部１１７は更に、被検眼１１１に対する撮影部のＸＹファインアライメントを行う。その際、検査者は、ディスプレイ１１９に表示される波面センサー１１５のハルトマン像を観察する。例示した眼科撮影装置１におけるＸＹファインアライメントでは、ハルトマン像の位置を観察した検査者の入力に応じて、被検眼１１１に対する眼科撮影装置１のＸ方向及びＹ方向の細密な位置合わせを行う。ここで波面センサー１１５は、その中心位置が眼科撮影装置１等の光軸と合うように調整されている。そのため、検査者はハルトマン像が波面センサー１１５の中心に合うように、被検眼１１１に対して眼科撮影装置１の位置を調整することで、Ｘ方向及びＹ方向の位置合わせを行うことができる。

　ステップＳ５０３では、制御部１１７は、波面センサー１１５を用いて眼底からの戻り光からハルトマン像を取得する。その際、制御部１１７は、ハルトマン像より得られるスポット像を認識し、その数や配置を取得する。そして、取得されたスポット像の数や配置に基づいて、補償光学制御部１１６は波面補正のための指示を波面補正デバイス１０８へ出力する。

　ステップＳ５０４において、制御部１１７は、補償光学制御部１１６より出力されたハルトマン像に含まれるスポット像の数（スポット数ｎ）を算出する。続くステップＳ５０５では、制御部１１７はスポット数が十分な数であるか否かを判定する。撮影に十分なスポット数（スポット数ｎ≧所定数Ｎ）となった場合には、フローは次のステップＳ５０６へ移行する。スポット数が十分でない場合は、フローは一定時間経過後にステップＳ５０２へ戻り、ステップＳ５０２の位置調整の処理以降を繰り返す。

　ステップＳ５０６では、測定されたスポットから、制御部１１７が公知の手法でフォーカス値Ｆを算出する。続くステップＳ５０７では、制御部１１７は、算出されたフォーカス値Ｆが十分小さくなるようにフォーカス位置が補正されているか否かを判定する。具体的には、算出されたフォーカス値Ｆが、Ｆ≦所定のフォーカス値Ｆ’を満たすか否かの判定を実行する。フォーカス値が十分小さく補正されていると、フローは次のステップＳ５０８へ移行する。フォーカス値が十分小さく補正されていない場合は、フローは一定時間経過後にステップＳ５０２へ戻り、ステップＳ５０２の位置調整以降の処理を繰り返す。

　ステップＳ５０８において、制御部１１７は、まずは収差を補正しない状態での眼底の撮影を行う。なお、撮影は、フローが本ステップＳ５０８に到達したことを検査者に通知し、検査者が開始を判断してもよいし、制御部１１７が撮影の実行を判断してもよい。この時に、補償光学制御部１１６の制御に基づき、波面補正デバイス１０８は収差を補正しない初期状態にセットされ、撮影が実行される。また、その際に、撮影のパラメータも設定される。撮影パラメータとしては、眼底像の撮影領域の位置、大きさ、動画像の場合のフレーム数、フレームレート、録画の有無等である。これら撮影パラメータは検査者により設定されてもよく、予め設定されているパラメータによる等、制御部１１７により所定の設定とされてもよい。収差補正なしで撮影した眼底像を取得した後、フローはステップＳ５０９に移行する。

　ステップＳ５０９において、制御部１１７は補償光学制御部１１６を介して波面補正デバイス１０８を制御し、収差補正処理を行う。収差補正処理の実行後、フローはステップＳ５１０に移行する。ステップＳ５１０では、制御部１１７は、収差が補正された状態での眼底の撮影を行う。その際、撮影のパラメータは、ステップＳ５０８で設定したパラメータが用いられる。また、ステップＳ５１０において、制御部１１７は、ステップＳ５０９で波面補正をする際に得たハルトマン像に例示される収差情報も合わせて取得し、これを入力データとするために記憶部４０４に記憶させてもよい。なお、この場合の収差情報は、対物レンズ１１０－１，１１０－２の位置の調整によるフォーカス調整後の、波面補正デバイス１０８により収差補正を行う前の収差情報であることが望ましい。眼底の撮影後、フローはステップＳ５１１に移行する。

　ステップＳ５１１では、例えば検査者による撮影終了の指示等、の有無が制御部１１７により判断される。撮影終了の指示を受けていない場合、フローはステップＳ５０８に戻る。そして、ステップＳ５０８からステップＳ５１０までの収差補正のない状態の撮影と、収差補正処理と、収差補正のある状態での撮影とが撮影終了の指示が有るまで繰り返し実行される。また、ステップＳ５１１で、制御部１１７により撮影終了の指示があったと判断された場合には、一連の撮影処理を終了する。

　次に、ステップＳ５０７において実行される収差補正処理について、図５Ｂに示すフローチャートを参照して説明する。収差補正処理が開始されると、まずステップＳ５２１において、補償光学制御部１１６は、波面センサー１１５により戻り光の収差を測定して収差情報を取得する。次のステップＳ５２２では、測定した結果を元に、補償光学制御部１１６は、波面補正デバイス１０８で補正する収差の補正量を計算する。

　続くステップＳ５２３では、補償光学制御部１１６は、求めた補正量に基づいて波面補正デバイス１０８を駆動させる。ここで、ステップＳ５２１での収差の測定は、シャックハルトマンセンサーのスポットを計測し、各測定点のスポット位置の基準位置からの移動量（ずれ量）を算出することで行う。一般的に、この移動量はＸ方向とＹ方向の変位量で表される。例示した眼科撮影装置１では、３０×４０のマイクロレンズアレイのシャックハルトマンセンサーを使用している。従って、全レンズアレイに測定光が入射している場合には、３０×４０で１２００の測定点におけるスポットの移動量が算出される。このスポット移動量のデータを用い、補償光学制御部１１６は、ステップＳ５２２で補正量を計算する。

　なお、ここでは、収差補正において、シャックハルトマンセンサーにより得られるスポットの移動量に基づいて収差の補正量を得、当該補正量に基づいて波面補正デバイス１０８を制御している。しかし収差の補正方法は当該方法に限られない。この方法以外にも、例えば、測定したスポットの移動量から波面を表現するためのゼルニケ係数を算出する事も可能である。よって、求めたゼルニケ係数を基に波面補正デバイス１０８を制御することとしてもよい。

　ここで、Ｓ５２１で得られたハルトマン像等の収差情報、ステップＳ５０８で得られた収差補正前に撮像された眼底像、及びステップＳ５１０で得られた収差補正後に撮影された眼底像は、各々対応付けて記憶部４０４に記憶される。更に、撮影された時刻情報もこれら情報と合わせて記憶させることで、概ね同時刻に得られたハルトマン像と眼底像とをリンクさせることができる。また、被検眼１１１の収差は、時間の経過と共に刻々と変化する。このため、収差補正されない眼底像とハルトマン像とは略同時刻に取得されたうえで関連付けられることが望ましい。また、収差情報及び眼底像と、収差補正後の眼底像は、各々対応付けて学習ペアとされ、これら学習ペアから学習済モデルを生成することで好適に収差の影響を低減した眼底像が生成できる。

＜学習済モデルの生成＞
　次に、上述した眼科撮影装置１により得られた眼底像等の学習データを用い、画像処理部１１８を用いて、ディープラーニング等の機械学習アルゴリズムに従った機械学習モデルである学習済モデルを生成する方法について説明する。なお、この学習済モデルは、学習処理部４０３により生成される。画像取得部４０１は、上述した収差補正前に取得した眼底像、及び収差補正後に取得した眼底像を取得する。また、本実施例では、画像取得部４０１に含まれる収差情報取得部４０５は、ハルトマン像を収差情報として取得する。画像取得部４０１及び収差情報取得部４０５により取得された画像は、学習処理部４０３に送られる。収差補正前に取得された眼底像及びハルトマン像は後述する入力データとなる入力画像として、収差補正後に取得された眼底像は後述する教師データとなる出力画像として、学習処理部４０３で用いられる。

　なお、ここで述べる学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行うことで得られるモデルである。学習データは、一つ以上の、入力データと教師データとのペア群で構成される。本実施例では、入力データ（入力画像）として収差補正せずに撮影した眼底像及びハルトマン像を用い、教師データ（出力画像）として収差補正して撮影された眼底像を用いる。

　本実施例において、学習処理部４０３は、上述した学習データを用いてディープラーニングの一種であるＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）処理によって学習済モデルを生成する。図６は、学習処理部４０３で用いられる学習済モデルの構成を示す図である。本実施例に係る学習済モデルは、眼底像エンコーダネットワーク６０１、結合処理部６０２、デコーダネットワーク６０３、ハルトマン画像エンコーダネットワーク６０４、及び特徴抽出ネットワーク６０５を備える。図に示される学習済モデルは、入力データ群を加工して出力する処理を担う複数の層群によって構成される。複数の層群の種類としては、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、活性化層（Ａｃｔｉｖａｔｉｏｎ）、ダウンサンプリング（Ｐｏｏｌｉｎｇ）層、アップサンプリング（ＵｐＳａｍｐｌｉｎｇ）層、合成（Ｍｅｒｇｅｒ）層がある。

　畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタ数、ストライド値、ダイレーション値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、このフィルタのカーネルサイズを、入力画像の次元数に応じて変更する構成にしてもよい。活性化層は、入力信号の総和の活性化について決定し、例えばステップ関数、シグモイド関数やＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅａｒ　Ｕｎｉｔ）で構成される。ダウンサンプリング（Ｐｏｏｌｉｎｇ）層は、例えば、Ｍａｘ　Ｐｏｏｌｉｎｇ処理等、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。アップサンプリング層は、線形補間処理等、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。合成層は、ある層の出力値群や画像を構成する画素値群等の値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。

　眼底像エンコーダネットワーク６０１とハルトマン画像エンコーダネットワーク６０４は、入力データの収差補正（波面補正）されていない眼底像とハルトマン像に対して複数のエンコード層による畳み込み演算を行う。各エンコード層は、１以上の畳み込み処理部とプーリング処理部を有し、各層の結果が内部的に保持できるように構成される。

　特徴抽出ネットワーク６０５は、入力データとされた画像から収差を示す特徴データを抽出してベクトルデータとして出力することができる。結合処理部６０２は、特徴抽出ネットワーク６０５の出力を結合時のサイズに合わせて複製し、眼底像エンコーダネットワーク６０１に結合することができる。

　上述したように、入力データとしては、波面補正デバイス１０８による波面の収差補正を行わずに得た眼底像と、収差の情報が含まれるハルトマン像とを用いる。また、教師データとして、波面補正デバイス１０８による波面の収差補正を行って得た眼底像を用いる。なお、被検眼の収差は、例えば検査時の眼の疲労等により時間の経過に応じて変化する可能性がある。従って、これら学習データとしては、可能な限り短い時間間隔で撮影された画像群を用いることが好ましい。本実施例では、これら学習データを用いて、学習済モデルを機械学習し、この学習済モデルを用いて収差を補正するネットワークパラメータを得る。

＜ＣＮＮによる収差補正を用いた撮影＞
　次に、上述した学習処理部４０３で得た学習済モデルを用いて、眼底像を撮影する方法について、図７Ａを参照して説明する。図７Ａは、本実施例において、図１に示した波面補正デバイス１０８を用いることなしに、学習済モデルを用いて波面補正を実施する眼科撮影装置７００の概略構成を示す。なお、眼科撮影装置７００において図１に示した眼科撮影装置１と同様の機能を呈する構成については、同一の参照符号を用いて示すこととし、ここでの説明は省略する。

　図７Ａに示す眼科撮影装置７００は、図１に示す眼科撮影装置１から、波面補正デバイス１０８、及びこれに導光するための反射ミラー１０７－１～１０７－４をのぞいた構成となっている。具体的には、本実施例では、波面補正デバイス１０８が存在しないことから、補償光学制御部７１６はその制御を行わない。また、制御部７１７も波面補正に関連する制御を行わない。画像処理部７１８は上述した画像処理部１１８で生成した学習済モデルを用いるが新たな学習済モデルの生成を実行せず、従って当該画像処理部７１８は画像処理部１１８における学習処理部４０３を含まなくともよい。なお、ここで例示した眼科撮影装置７００では、波面補正デバイス１０８、及び反射ミラー１０７－１～１０７－４をのぞく構成として例示している。しかし、これら構成は例示であって、対応する部材及び配置が、同一又はほぼ同一の光学特性を有するように構成をのぞくこととしてもよい。

　眼科撮影装置７００において、光源１０１から照射された光は、単一モード光ファイバー１０２を通り、コリメータ１０３により平行光線（測定光１０５）として測定光の光路に出射される。出射された測定光１０５は、ビームスプリッターからなる第１光分割部１０４を透過し、補償光学系に導光される。眼科撮影装置７００において、補償光学系は、第２光分割部１０６及び波面センサー１１５から構成される。

　第２光分割部１０６を透過した測定光１０５は走査光学系１０９－１に導光され、該走査光学系１０９－１によって、１次元もしくは２次元に走査される。走査光学系１０９－１及びトラッキングミラー１０９－２で偏向された測定光１０５は、対物レンズ１１０－１，１１０－２を介して被検眼１１１に、ビーム径６ｍｍの光として照射される。被検眼１１１に照射された測定光は眼底で走査され反射もしくは散乱されて戻り光となる。対物レンズ１１０－１，１１０－２の位置を調整することによって、被検眼１１１の視度にあわせて被検眼１１１の眼底の適切な測定位置の照射を行うことが可能となる。

　被検眼１１１の眼底の網膜から反射もしくは散乱された戻り光は、入射した時の経路を逆向きに進行し、第２光分割部１０６によってその一部は波面センサー１１５に反射され、戻り光の波面を測定するために用いられる。第２光分割部１０６で波面センサー１１５に向けて反射された光は、リレー光学系を通り、波面センサー１１５に入射する。リレー光学系の間にはアパーチャー１２１が設置されている。

　第２光分割部１０６を透過した戻り光は第１光分割部１０４によってその一部が反射され、コリメータ１１２及び光ファイバー１１３を介して光強度センサー１１４に導光される。光強度センサー１１４は、受光した光をその強度に応じた電気信号に変換し、これを制御部７１７に出力する。制御部７１７は、得られた電気信号を眼底像として画像化する。また、生成された画像は、画像処理部７１８を介し、ディスプレイ１１９に表示される。

　波面センサー１１５は補償光学制御部７１６に接続され、該波面センサー１１５が測定した波面に関する情報（収差情報）を補償光学制御部７１６に伝える。ここで、ハルトマン像と呼ばれる画像情報として得られた収差情報と、制御部７１７によって生成された眼底像とは、それぞれ記憶部４０４により記憶される。その際に、これら情報及び画像を、これらを取得した時刻情報も付加して記憶することで、概ね同時刻に得られたハルトマン像と眼底像とをリンクさせることができる。

　これにより、本実施例では、上述した眼科撮影装置１により生成した学習済モデルを用い、波面補正デバイス１０８を用いることなく、収差補正を行って取得したような眼底像を取得することが可能となる。以下に、本実施例に係る撮影制御フローに関して、図８のフローチャートを用いて説明する。

　図８に示すように、ステップＳ８０１からステップＳ８０７では、図５Ａで述べたステップＳ５０１からステップＳ５０７で行われた処理と同様の処理が実行される。ステップＳ８０７において、制御部７１７によって、算出されたフォーカス値Ｆが十分小さく補正されていると判定される、フローはステップＳ８０８に移行する。ステップＳ８０８では、波面センサー１１５により戻り光の収差を測定して収差情報を取得する。得られた収差情報は、ハルトマン像という画像情報として記憶部４０４に記憶される。

　次のステップＳ８０９において、制御部７１７は眼底の撮影を行い、眼底像を取得する。その際、図５ＡにおけるステップＳ５０８と同様に、上述した撮影のパラメータも設定される。眼底像の取得後、フローはステップＳ８１０に移行する。ステップＳ８１０では、ステップＳ８０３において得られたハルトマン像と、ステップＳ８０９において得られた眼底像とを、学習済モデルとして作成されたネットワークへ入力する。画像処理部７１８は、入力された眼底像及びハルトマン像から、学習済モデルを用いることで眼底像の画像補正を実行し、収差が補正された状態で得られるような眼底像を生成する。ステップＳ８１０の処理の終了後、フローはステップＳ８１１に移行される。なお、ステップＳ８１１で実行される処理は、上述したステップＳ５１１で実行される処理と同様であるため、ここでの説明は割愛する。

　以上に述べたように、本実施例では、取得した眼底像とハルトマン像（収差に関する情報）とから収差補正後に得られるような眼底像を生成している。そして、これにより、波面補正デバイス１０８及びこれに導光するための反射ミラー１０７－１～１０７－４を必要とせずに収差の補正された状態で取得される可能性の高い眼底像を得ることができる。

　なお、補償光学系は、補正量が小さい高次の収差の補正には好適であるが、大きな補正量を要する低次の収差についてはこれを高精度に補正することは難しい。そのため、例えば、クロスシリンダーを用いて低次の収差を補正した（低減した）状態で入力データと教師データとを得ておき、これらから生成した学習済モデルに対して低次の収差を補正した眼底像等を入力することで、好適に収差補正された眼底像が得られる。この場合、入力される収差に関する情報は、高次の収差に関する情報となる。なお、クロスシリンダーとは、２つのシリンダーレンズの組み合わせからなり、これらの相対角度と組み合わせの全体角度とを変えることにより非点収差等の低次の収差を補正する機能を有する光学部材である。また、該クロスシリンダーは、例えば対物レンズ１１０－１，１１０－２の配置に設けてもよく、これら対物レンズにその役割を担わすこともできる。

　また、上述した実施例で述べた収差補正後に取得される可能性の高い眼底像を生成する処理は、ハルトマン像が好適に得られていることを前提としている。従って、例えばステップＳ８０３で取得されたハルトマン像におけるスポットの数が入力データよりも少ない、もしくは各スポットの位置ずれ量が入力データよりも大きい場合には、使用者に警告を出すようにしてもよい。この場合、制御部７１７は、予め閾値として設定されたスポットの数或いは各スポットの位置ずれ量と実際に測定されたそれらとを比較して、いずれか又は両者が閾値を超えた場合に例えばディスプレイ１１９にこれを表示させるとよい。

　また、上述した実施例では、眼科撮影装置１に付随させた画像処理部１１８において学習済モデルを生成している。学習済モデルを生成する画像処理部１１８と眼科撮影装置１とが一体として配置されることにより、学習データとしての画像セットを撮影するタイミングが揃え易くなる。しかし、これらは別体とすることも可能であり、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の演算装置として構成することもできる。この場合、学習済モデルを生成する装置として画像処理部１１８を単独の装置として構築し、ネットワーク等を介して複数の眼科撮影装置や記憶装置からこれら画像群を取得し、学習済モデルを生成してもよい。この場合、これら画像群が可能な限り短い時間間隔で取得されており、互いに関連付けられていればよい。

　また、ＣＮＮ処理部４０２及び学習処理部４０３は、例えば汎用のコンピュータを用いて構成されてもよく、眼科撮影装置１，７００の専用のコンピュータを用いて構成されてもよい。また、これら処理部を不図示のＣＰＵやＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、から構成し、記憶部４０４を光学ディスクやＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等のメモリを含む記憶媒体から構成してもよい。画像処理部（１１８，７１８）の記憶部４０４以外の各構成要素は、ＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。記憶部４０４は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてもよい。

　なお、制御部（１１７，７１７）が備えるＣＰＵ等のプロセッサー及びＲＯＭ等の記憶媒体は１つであってもよいし複数であってもよい。そのため、制御部（１１７，７１７）の各構成要素は、少なくとも１以上のプロセッサーと少なくとも１つの記憶媒体とが接続され、該プロセッサーが該記憶媒体に記憶されたプログラムを実行した場合に機能するように構成されてもよい。なお、プロセッサーはＣＰＵやＭＰＵに限定されるものではなく、ＧＰＵ等であってもよい。

　上述したように、本実施例に係る画像処理装置は、画像取得手段（画像取得部４０１）、収差取得手段（収差情報取得部４０５）、及び画像処理手段（ＣＮＮ処理部）を備える。画像取得手段は、収差補正前の例えば眼底像を、被検眼１１１の第１の分解能の画像として取得する。また、収差取得手段は、ハルトマン像に例示される被検眼１１１の収差に関する情報を取得する。画像処理手段は、上述した学習済モデルを用いて、第１の分解能の画像と収差に関する情報とに基づいて、第１の分解能の画像に含まれる収差或いはその影響を低減することで、高い分解能の第２の分解能の画像を生成する。この第２の分解能の画像は、収差補正を行った状態で被検眼の眼底像を取得することで得られる可能性の高い、第１の分解能の画像より高い解像感を有する画像である。例えば、第１の分解能の画像が被検眼の視細胞を含む画像である場合、第2の分解能の画像も該視細胞を含む画像となる。しかし、第２の分解能の画像は第１の分解能の画像よりも高い分解能を有することから、第２の分解能の画像における視細胞領域は、第１の分解能の画像における視細胞領域よりも判別が容易となる。なお、本実施例において、分解能の高い、低いは相対的なものであり、高い分解能の画像が低い分解能の画像よりも個々の視細胞の判別が容易となる例を示している。具体的な数値例として、本実施例においては、個々の視細胞の判別が容易となる約５μｍ程度の分解能を高い分解能と呼び、個々の視細胞の判別が容易ではない約２０μｍ程度の分解能を低い分解能とするが、数値はこれに限定されない。

　また、上述した画像処理装置は、記憶手段（記憶部４０４）を更に備えるとよい。記憶手段は、収差補正前の第１の分解能の画像を取得した際に取得されたハルトマン像等を、該第１の分解能の画像に関連付けて記憶する。被検眼の収差は、時間の経過に伴って変化する場合が多く、収差補正前の画像と該画像の取得とほぼ同時刻に取得したハルトマン像とを関連付けて記憶するとよい。この場合、学習済モデルの生成に際し、更に、これらの取得時から極短い時間間隔で得た教師データ用の収差補正後の画像を用いることで、より的確に収差の影響を低減して取得できるような眼底像が得られる。

　また、本実施例において眼科撮影装置７００として例示したように、上述した画像処理部１１８は、画像生成手段と収差情報生成手段とを更に備えて、眼科撮影システムを構成する。ＡＯ－ＳＬＯとして眼底像を取得する画像生成手段（光強度センサー１１４，制御部７１７）は、ＡＯ－ＳＬＯとして、照明光が照射された被検眼１１１からの戻り光を用いて眼底像を生成する。収差情報生成手段（波面センサー１１５，補償光学制御部１１６）は、上述した収差に関する情報を生成する。なお、収差に関する情報は、被検眼１１１に照射した光の戻り光より得られるハルトマン像、又は該ハルトマン像から得られるゼルニケ係数であるとよい。

　更に、本実施例は、学習済モデルとしても発明を構成できる。この場合、学習済モデルは入力データと教師データとを用いて得られる。入力データは、被検眼１１１の眼底像と該眼底像と関連付けて取得された被検眼の収差に関する情報とからなる。教師データは、収差を低減した状態で、被検眼１１１において入力データとして得た眼底像と対応するように取得された眼底像からなる。更に、図１で示した眼科撮影装置１は、学習済モデルの生成装置を構成できる。学習済モデル生成装置は、上述した入力データを取得する入力データ取得手段と、教師データを取得する教師データ取得手段と、これら入力データ及び教師データを用いて学習済モデルを生成する学習処理手段（学習手段）を備える。入力データ取得手段は、例えば図５ＡのステップＳ５０８の処理を実行する構成と、図５ＢのステップＳ５１１の処理を実行する構成とを有する。また、教師データ取得手段は、図５ＡのステップＳ５０８の処理を実行する構成を有する。

［実施例１の変形例１］
　上述した実施例１では、学習済モデルを用い、収差補正なしで得た眼底像と、該眼底像を得る際に取得したハルトマン像とから収差補正後に取得できるような眼底像を得る例について説明した。しかし、ＡＯ－ＳＬＯの場合、撮影部位が黄斑や視神経乳頭である場合と、これら以外の領域の場合、撮影される画像自体が相違するため、同一の学習済モデルでの対応は望ましくない。また、フォーカスを合わせる対象は網膜表面のみならず、網膜における視細胞層や視神経線維層といった深さ方向において異なる位置にフォーカスして画像を得ることも診断上多く行われる。上述した学習済モデルが例えば網膜表面を対象として生成されたものの場合、網膜のより深い位置にフォーカスした場合に得られる画像については、この学習済モデルを用いても上述した眼底像が好適に得られない場合もある。本変形例では、このような場合に対処できる学習済モデルについて説明する。

　本変形例では、撮影位置、或いはフォーカスを合わせる層毎に、上述した学習済モデルを生成しておく。撮影位置としては、例えば、上述した黄斑及びその近傍、視神経乳頭及びその近傍、並びにこれら以外の眼底上の領域が例示される。また、フォーカスを合わせる層としては、例えば、視細胞（内節、外節）層及びその近傍、並びに視神経線維層及びその近傍の少なくとも２つが例示される。学習済モデルの生成に際しては、これら撮影位置、或いはフォーカスを合わせる層毎に、収差補正前の画像と略同時に得られるハルトマン像とを入力データとする。また各々の入力データに対応するように、撮影位置、或いはフォーカスを合わせる層毎に収差補正後の画像を取得し、これらを教師データとする。

　実際に図７Ａに例示した眼科撮影装置７００を用いて任意の撮影位置及び層の収差補正後の画像を生成する際には、予め当該撮影位置及び層に対して生成された学習済モデルを選択しておく。そして、当該撮影位置及び層についての収差補正前の画像と当該画像の取得時に得たハルトマン像とを画像処理部７１８に入力する。これにより、適切な学習済モデルを用いて、当該撮影位置及び層における収差補正後に取得できるような画像が好適に得られる。この場合、例えば検査者が撮影を実行する際に行われる撮影モード等の指示に対応して、記憶部４０４に記憶されるこれら学習済モデルを、画像処理部７１８が選択するとよい。本変形例に係る画像処理部７１８について、図４と同様の様式にてその機能構成をブロック図として図７Ｂに示す。図７Ｂに示すように、本変形例における画像処理部７１８は選択部４０６を更に含み、該選択部４０６は検査者等からの入力に応じて、学習処理部４０３で生成した学習済モデルを選択し、ＣＮＮ処理部４０２にこれを用いさせる。

　なお、学習済モデルの生成に際し、考慮すべき検査対象物に関する情報は、上述した撮影位置（部位）及び層（網膜層）に限られない。眼底を撮影して当該画像に基づいて診断を行う場合、例えば網膜中における特定の対象物についての情報が求められることもある。例えば、フォーカスを合わせる対象が視細胞の場合と、網膜毛細血管の場合とでは同一の学習済モデルでは少なくともいずれかが対応できないことも考えられる。従って、撮影対象物が、視細胞と網膜毛細血管、網膜主要血管、脈絡膜血管、及び毛細血管を走る白血球の影のうちの少なくとも一つである場合、予めこれらに対応した学習済モデルを生成しておくとよい。更に、撮影対象物がこれらの内の一つである場合には、当該一つが写った画像のみを選別して得られた入力データと教師データとを用い、これに対応した学習済モデルを得ておくとよい。このようにして生成された学習済モデルを用いることにより、撮影対象物についての収差補正されることで得られる可能性の高い画像（収差補正後に取得できるような画像）が好適に得られる。

　以上に述べたように、撮影部位等に応じて適切に収差を低減した画像を得るためには、複数の学習済モデルから、画像処理部７１８によって用いられる学習済モデルを選択する選択手段を更に備えるとよい。この場合、複数の学習済モデルは、眼底像の取得位置、眼底像を取得する際の眼科撮影装置７００のフォーカスを合わせた位置、及び眼底像を取得する際の被検眼１１１での画像取得の対象物、の少なくともいずれかに応じた学習済モデルを含むとよい。これにより、撮影部位等に応じて適切に収差の影響を低減することで取得できるような画像が得られる。

［実施例１の変形例２］
　上述した変形例１では、撮影部位やフォーカスを合わせる層毎、更には撮影対象物毎に学習済モデルを生成しておき、撮影時にはこの個々の学習済モデルを選択して用いて、収差補正後に取得できるような画像を好適に得ている。これに対し、本変形例では、入力データに対し、撮影した画像及びハルトマン像に加え、撮影部位やフォーカスを合わせる層、或いは撮影対象物に関する情報も加えている。教師データは、これら入力データに対応し、撮影部位やフォーカスを合わせる層、或いは撮影対象物における収差補正された画像となる。即ち、本変形例において生成される学習済モデルでは、入力された、撮影部位やフォーカスを合わせる層、或いは撮影対象物に関する情報に応じて、画像処理部７１８による教師データの選択が行われる。本変形例に係る画像処理部７１８について、図４と同様の様式にてその機能構成をブロック図として図７Ｃに示す。図７Ｃに示すように、本変形例における画像取得部４０１は画像情報取得部４０６’を更に含む。画像情報取得部４０６’は、学習処理部４０３が学習済モデルを生成する際に用いる撮影部位やフォーカスを合わせる層、或いは撮影対象物に関する情報等の画像撮影に関する情報を取得する。学習処理部４０３は、学習済モデルの生成に際し、これら画像撮影に関する情報を、入力データの一つとして取得する。

　従って、本変形例によれば、被検眼における任意の部位や位置を眼科撮影装置７００により撮影した場合であっても、学習済モデルを介することにより、入力された撮影部位やフォーカスを合わせる層、或いは撮影対象物を選択する処理を省くことができる。即ち、取得した画像、略同時に取得したハルトマン像、及び撮影部位等に関する情報を入力することにより、これら部位や位置に合わせて収差補正を行った場合に取得できるような画像を得ることができる。

　以上に述べたように、単一の学習済モデルを用いて撮影部位等に応じて適切に収差を低減した画像を得るためには、眼底像とハルトマン像とに加え、更に撮影部位等に関する情報も学習済モデルのネットワークに入力されるとよい。この場合、撮影部位等に関する情報としては、例えば、眼底像の取得位置、眼底像を取得する際のフォーカスを合わせた位置、及び画像を取得する際の被検眼１１１での画像取得の対象物、の少なくともいずれかを含むとよい。

　なお、上述した実施例１並びに変形例１及び２では、入力データ及び入力する画像に、波面（収差）に関する情報としてハルトマン像を含めている。ハルトマン像は戻り光の波面形状を表す像であり、当該画像により波面の収差を容易に知ることができる。しかし、戻り光に含まれる収差情報は、収差補正されていない画像にも含まれている。従って、収差補正されておらず波面収差の影響を示す画像を入力データとし、収差補正後の収差の影響が低減された画像を教師データとして学習済モデルを得ることもできる。即ち、収差補正前の画像であって、収差の影響が判別し得る画像を対象とした場合であれば、ハルトマン像を用いることなく画像処理部７１８により収差補正後に取得できるような画像を得ることもできる。このように、学習データ、より詳細には教師データとして収差による影響が低減された画像を含む学習済モデルを用いて、収差補正された状態で取得できるような画像を得ることもできる。

［実施例２］
　上述したように、実施例１及びその変形例では、入力データ及び学習済モデルに入力する収差に関する情報として、ハルトマン像と呼ばれる画像を用いている。これに対し、本実施例では、ハルトマン像ではなく、収差を表す数値データである、例えばゼルニケ係数を入力データ等に用いる例について説明する。

＜学習データの作成と学習＞
　本実施例では、入力データに、収差の補正を行っていない眼底像と、収差を表すゼルニケ係数とを用いる。また、教師データには、収差の補正を行って撮影した眼底像を用いる。なお、本実施例では、この教師データの作成には、例えば実施例１で例示した眼科撮影装置１を用いることができる。ゼルニケ係数は、数値データであるため、任意に設定することができる。また、学習済モデルにおいて入力する収差に関する情報が実施例１の画像からゼルニケ係数に変更された点が異なるのみで、眼科撮影装置７００における構成は実施例１の場合と異ならないため、ここでの説明は省略する。

　ここで、ゼルニケ係数は、収差情報を多項式にて表すことによって得られたものであり、これを入力データとする場合に何次の係数まで用いるかを選択する必要があり、用いなかった次数の係数の情報は反映されない。これに対し、ハルトマン像を用いた場合には、収差の情報を全て反映させ、これを補償した眼底像を得ることができる。

　しかし、ゼルニケ係数を用いた場合には、ゼルニケ係数によって画像変換を行うことで、任意に収差の影響が生じている画像が作成できる。従って、例えば学習済モデルの生成に用いるデータを作成する際に、収差補正後の画像に対して異なる複数種類のゼルニケ係数を用いた画像変換を行うことで、用いたゼルニケ係数に応じた複数の収差補正前の画像を得ることができる。このために、実際の収差補正前の眼底を撮影する必要がなくなるため、実施例１で用いた補償光学系を備えた眼科撮影装置１により得た単一の教師データに対し、ゼルニケ係数に応じ複数の補正前の画像が得られる。即ち、ゼルニケ係数を用いて、収差補正後の画像（教師データ）から収差補正前の画像、即ち学習データにおける入力データが任意に得られる。具体的には、任意のゼルニケ係数（収差係数）から２次元のＰＳＦ（点像分布関数）を求め、予め取得している収差補正後の画像と求めたＰＳＦのコンボリューションをとる。これにより、ゼルニケ係数に応じた収差補正前の画像が得られる。即ち、教師データである元の収差補正後の画像に対して、入力データとなるゼルニケ係数と該ゼルニケ係数に応じた入力画像とを、変化させたゼルニケ係数の数に応じた数だけ得ることができる。本実施例では、このようにして得られた学習データから学習済モデルを生成し、これを用いて撮影を行う。

＜ゼルニケ係数の算出方法＞
　なお、ゼルニケ係数は、例えば、眼科撮影装置１により取得されたハルトマン像を制御部１１７において変換することで得られる。具体的には、マイクロレンズアレイ２０２の各マイクロレンズの焦点位置と、対応する参照点位置（無収差の場合の焦点位置）とのずれ量Δｘ、Δｙ、及びマイクロレンズの焦点距離ｆを取得する。そして取得したずれ量や焦点距離の値を、制御部１１７を通じて記憶部４０４に保存する。眼底からの反射光の波面をＷ（Ｘ、Ｙ）とすると、Ｗはゼルニケ多項式により以下の式（１）のように多項式近似できる。

　更に、測定されたずれ量と波面は次の偏微分方程式式（２）及び式（３）で表される。

取得されたずれ量及び焦点距離ｆと、式（１）を式（２）及び（３）に代入した近似式の自乗誤差を最小とする最小二乗近似により、ゼルニケ係数Ｃｉｊを算出する。

　こうして取得したゼルニケ係数Ｃｉｊと撮影された眼底像とを学習済みのＣＮＮに入力する。そして、ＣＮＮ処理部４０２において学習済モデルを用いて、画像変換することで、収差補正後に取得できるような眼底像を得ることができる。なお、その際に、学習済モデルの生成時に使用した係数よりも大きな係数が入力された場合に、該学習済モデルにおける係数を超えたことを使用者に通知してもよい。

　以上に述べたように、収差補正情報としてゼルニケ係数を用い、学習済モデルを用いて収差補正前の眼底像を変換することにより、波面補正デバイスを用いなくとも収差補正後に取得できるような画像が好適に得られる。また、収差補正情報としてゼルニケ係数を用いることにより、実際に収差補正前の画像が無くとも、適切な学習済モデルを生成するための学習データを好適に得ることができる。即ち、学習データとして実際に補償光学を用いて撮影したデータ以外の任意のデータも学習に用いることができるため、データ数を容易に増やすことができる。このため、学習済モデルを用いて収差補正後に取得できるような画像を得た場合における、実際に収差補正を行って得られる画像との類似度の向上が可能となる。

　更に、本実施例は、学習済モデルとしても発明を構成できる。この場合、学習済モデルは入力データと教師データとを用いて得られる。本実施例の場合、教師データは、収差を低減した状態で被検眼１１１から取得された眼底像となる。また、入力データは、被検眼１１１の収差を示すゼルニケ係数を用いて収差低減後の眼底像から生成された収差補正前の眼底像と、該ゼルニケ係数となる。更に、この学習済モデルを生成する学習済モデル生成装置も本発明を構成する。この場合、学習済モデル生成装置は、上述した入力データを取得する入力データ取得手段と、教師データを取得する教師データ取得手段と、これら入力データ及び教師データを用いて学習済モデルを生成する学習処理手段（学習手段）を備える。教師データ取得手段は、例えば、図５ＡのステップＳ５０８の処理を実行する構成を有する。入力データ取得手段は、任意のゼルニケ係数を用いて教師データ取得手段が得た眼底像を変換して、収差低減前の眼底像を生成する。

［実施例３］
　実施例１では、補償光学系を有した眼科撮影装置（ＡＯ－ＳＬＯ）により撮影した眼底像を教師データとして生成した学習済モデルを用いて、補償光学系を用いずに得た眼底像の収差を補正する方法について説明した。これに対し、本実施例では、ＡＯ－ＳＬＯではなく、本発明を断層像の撮影（ＡＯ－ＯＣＴによる撮影）に適用した実施例について説明する。

＜学習データ作成装置＞
　まず、画像処理パラメータを学習するために用いる入力データと教師データとからなる学習データの取得方法について説明する。ここでは、学習データとなる眼底断層像の取得に用いられる眼科撮影装置について説明する。なお、以下に参照する図９において、実施例１（眼科撮影装置１）と同様の作用を呈する構成については同一の参照符号を用いて示すこととし、ここでの説明を省略する。実施例３は、ＡＯ－ＯＣＴを用いて眼底断層像を得る場合の画像処理に関するものであり、図９は、収差補正された眼底断層像を得るＡＯ－ＯＣＴの概略構成を示している。

　図９に示すＡＯ－ＯＣＴ（眼科撮影装置９００）は、図１に示した眼科撮影装置１の主要部として示されたＳＬＯ撮影部に対して、更にＯＣＴ撮影部を加えている。以下では、加えられたＯＣＴ撮影部について説明する。ＯＣＴ撮影部は、ＯＣＴ光源９０１、ファイバーカプラー９０３、コリメータ９０６，９１０、光路長可変部９０７、分光器９０９、光分割部９１１、及びこれらの間で光を伝搬させる光ファイバーを備える。

　ＯＣＴ光源９０１には、例示する眼科撮影装置９００では波長８４０ｎｍのＳＬＤ光源を用いる。なお、ＯＣＴ光源９０１は低干渉性の光を出射するものであればよく、波長幅３０ｎｍ以上のＳＬＤ光源が好適に用いられる。また、チタンサファイアレーザの超短パルスレーザ等をＯＣＴ光源９０１に用いることもできる。ＯＣＴ光源９０１から出射された光は、単一モード光ファイバー９０２を通って、ファイバーカプラー９０３まで導光される。ファイバーカプラー９０３によって、ＯＣＴ光源９０１からの光の経路は、光ファイバー９０４の経路と光ファイバー９０５の経路とに分岐される。例示する眼科撮影装置９００において、ファイバーカプラーは１０：９０の分岐比のものを使用しており、投入光量の１０％が測定光として光ファイバー９０４に導かれ、残りの９０％が参照光として光ファイバー９０５に導かれる。

　光ファイバー９０４を通った測定光は、コリメータ９１０により平行な光として出射される。出射された測定光はビームスプリッターからなる光分割部９１１で反射され、補償光学系に導光される。以降の構成は眼科撮影装置１と同様であり、補償光学系や走査光学系を介して測定光は被検眼１１１に照射される。測定光の被検眼１１１の眼底からの反射散乱光は再度同様の経路を進み、光ファイバー９０４に導光されてファイバーカプラー９０３に到達する。

　一方、光ファイバー９０５を通った参照光はコリメータ９０６で出射され、光路長可変部９０７で反射して再度ファイバーカプラー９０３に戻る。ファイバーカプラー９０３に到達した測定光と参照光は合波され、光ファイバー９０８を通して分光器９０９に導光される。分光器９０９では合波によって得られた干渉光を更に周波数毎に分光し、周波数に応じた干渉信号を生成する。制御部９１７は、得られた干渉信号に対して公知の画像生成処理を施し、被検眼１１１の眼底の断層像を生成する。制御部９１７により、更に光路長可変部９０７を制御することで、被検眼１１１の網膜における所望の深さ位置の断層像を取得することができる。なお、図９に示す装置構成で走査光学系１０９－１による測定光の振り角を大きくし、補償光学制御部１１６が収差補正を行わないようにしてもよい。これにより図示する眼科撮影装置９００は、通常のＯＣＴとしても動作し、広画角な断層像（広画角画像）を撮像できる。

　また、例示した眼科撮影装置９００は、補償光学系を備えたＳＤ－ＯＣＴとして構成しているが、ＯＣＴの形態は例示したものに限らない。例えば、タイムドメインＯＣＴ、ＳＳ－ＯＣＴ（ＳｗｅｐｔＳｏｕｒｃｅＯｐｔｉｃａｌＣｏｈｅｒｅｎｃｅＴｏｍｏｇｒａｐｈｙ）等の公知のＯＣＴとすることができる。ＳＳ－ＯＣＴの場合には異なる波長の光を異なる時間で発生させる光源を用い、スペクトル情報を取得するための分光素子は不要となる。また、ＳＳ－ＯＣＴでは、網膜だけでなく脈絡膜も画像に含まれる高深達な画像を取得できる。

　例示した眼科撮影装置９００では、画像処理部９１８が、上述した眼科撮影装置９００を用いて取得した学習データを用いることにより、学習済モデルを生成している。次に、本実施形態の学習用の教師データとなる波面補正された断層像を撮影する撮影制御フローに関して、図１０のフローチャートを用いて説明する。

　図１０に示すように、まず。ステップＳ１００１では、検査者の指示を受けた制御部９１７がＯＣＴ光源９０１及びＳＬＯ撮影部の光源１０１を動作させ、光の出射を開始させる。なお、ステップＳ１００１の処理の実行に際し、予め公知の手法により被検眼１１１に対して眼科撮影装置９００が大まかに位置合わせされていることとする。なお、ＯＣＴ光源９０１を点灯するタイミングは、これに限らない。例えば、後述するステップＳ１００２のラフフォーカス調整の後にＯＣＴ光源９０１を点灯してもよい。

　ステップＳ１００２において、制御部９１７は光強度センサー１１４の出力に基づいて眼底像（眼底平面像）を生成し、ディスプレイ１１９に表示させる。本ステップにおいて、制御部９１７は、ディスプレイ１１９に表示される眼底像に基づく検査者の入力に応じて不図示の電動ステージを移動させ、ＳＬＯ撮影部及びＯＣＴ撮影部のおよそのフォーカス調整（ラフフォーカス調整）を行う。フォーカス調整は、例えば眼底像の輝度値を最大とすることで行われる。なお、このラフフォーカス調整は検査者により行われるが、上述する輝度値に基づいて、制御部９１７によって実行されてもよい。

　また、ステップＳ１００２において、制御部９１７は更に、被検眼１１１に対する撮影部のＸＹファインアライメントを行う。その際、検査者は、ディスプレイ１１９に表示される波面センサー１１５のハルトマン像を観察する。例示した眼科撮影装置９００におけるＸＹファインアライメントでは、ハルトマン像の位置を観察した検査者の入力に応じて、被検眼１１１に対するＳＬＯ撮影部及びＯＣＴ撮影部のＸ方向及びＹ方向の細密な位置合わせを行う。ここで波面センサー１１５は、その中心位置がＯＣＴ撮影部等の光軸と合うように調整されている。そのため、検査者はハルトマン像が波面センサー１１５の中心に合うように、被検眼１１１に対してＯＣＴ撮影部等の位置を調整することで、これら撮影部のＸ方向及びＹ方向の位置合わせを行うことができる。

　続く、ステップＳ１００３において、制御部９１７は、波面センサー１１５を用いて眼底からの戻り光からハルトマン像を取得する。その際、制御部９１７は、ハルトマン像より得られるスポット像を認識し、その数や配置を取得する。そして、取得されたスポット像の数や配置に基づいて、補償光学制御部１１６は波面補正のための指示を波面補正デバイス１０８へ出力する。

　ステップＳ１００４において、制御部９１７は、補償光学制御部１１６より出力されたハルトマン像に含まれるスポット像の数（スポット数ｎ）を算出する。続くステップＳ１００５では、制御部９１７はスポット数が十分な数であるか否かを判定する。撮影に十分なスポット数（スポット数ｎ≧所定数Ｎ）となった場合には、フローは次のステップＳ１００６へ移行する。スポット数が十分でない場合は、フローは一定時間経過後にステップＳ１００２へ戻り、ステップＳ１００２の位置調整の処理以降を繰り返す。

　ステップＳ１００６では、制御部９１７は光路長を調整する。具体的には、検査者がディスプレイ１１９上に表示された参照光路長調整バー（不図示）を動かすことに応じて、光路長可変部９０７を制御し、参照光の光路長を調整する。光路長の調整により、ＯＣＴ撮影部を用いて取得され、ディスプレイ１１９上に表示された断層像における所望の層の像を断層像表示領域内の所望の位置に表示させることができる。なお、ここでは検査者により光路長調整を行うこととしているが、例えば断層像から所定の層を特定する処理を組み合わせ、該所定の層が所望の位置に表示されるように制御部９１７が自動で光路長を調整することとしてもよい。光路長の調整後に所定の時間が経過すること、或いは調整終了の入力を受けることにより、フローはステップＳ１００７に移行する。

　次のステップＳ１００７において、制御部９１７が眼底トラッキングを開始する。具体的には、眼球運動検出手段として機能する制御部９１７は、ＳＬＯ撮影部を用いて取得した眼底像の特徴点から位置ずれ量（被検眼１１１の動き量）を算出する。制御部９１７は、算出した位置ずれ量に基づいて、追尾制御部１２０によりトラッキングミラー１０９－２を制御する。これにより、眼科撮影装置９００は、例えば断層像を重ね合わせてノイズ処理する際に用いる複数の断層像や、動画、３Ｄボリューム画像等を、位置ずれを小さく抑えて取得することができる。眼底トラッキングが開始されると、フローはステップＳ１００８に移行する。

　ステップＳ１００８において、制御部９１７は、まずは収差を補正しない状態での断層像の撮影を行う。なお、撮影は、フローが本ステップＳ１００８に到達したことを検査者に通知し、検査者が開始を判断してもよいし、制御部９１７が撮影の実行を判断してもよい。この時に、補償光学制御部１１６の制御に基づき、波面補正デバイス１０８は収差を補正しない初期状態にセットされ、撮影が実行される。また、その際に、撮影のパラメータも設定される。撮影パラメータとしては、断層像の撮影領域の位置、大きさ、動画像の場合のフレーム数、フレームレート、録画の有無等である。これら撮影パラメータは検査者により設定されてもよく、予め設定されているパラメータによる等、制御部９１７により所定の設定とされてもよい。

　実際の断層像の撮影では、測定光と参照光との干渉光は、分光器９０９で受光され、電圧信号に変換される。更に、得られた電圧信号群はデジタル値に変換されて、制御部９１７にてデータの保存及び処理が行われる。制御部９１７は干渉光に基づくデータを処理することで眼底の断層像を生成する。収差補正なしで撮影した眼底像を取得した後、フローはステップＳ１００９に移行する。

　ステップＳ１００９において、制御部９１７は補償光学制御部１１６を介して波面補正デバイス１０８を制御し、収差補正処理を行う。収差補正処理の実行後、フローはステップＳ１０１０に移行する。ステップＳ１０１０では、制御部９１７は、収差が補正された状態での断層像の撮影を行う。その際、撮影のパラメータは、ステップＳ１００８で設定したパラメータが用いられる。また、ステップＳ１０１０において、制御部９１７は、ステップＳ１００９の収差補正の際に得たハルトマン像に例示される収差情報も合わせて取得し、これを入力データとするために記憶部４０４に記憶させてもよい。断層像の撮影後、フローはステップＳ１０１１に移行する。

　ステップＳ１０１１では、例えば検査者による撮影終了の指示等、の有無が制御部９１７により判断される。撮影終了の指示を受けていない場合、フローはステップＳ１００８に戻る。そして、ステップＳ１００８からステップＳ１０１０までの収差補正のない状態の撮影と、収差補正処理と、収差補正のある状態での撮影とが撮影終了の指示まで繰り返し実行される。また、ステップＳ１０１１で、制御部９１７により撮影終了の指示があったと判断された場合には、一連の撮影処理を終了する。

　ここで、ステップＳ１００９で得られたハルトマン像等の収差情報、及びステップＳ１００８で得られた収差補正せずに撮像された眼底像は、略同時刻で撮影され、各々関連付けて記憶部４０４に記憶される。また、ステップＳ１０１０で得られた収差補正された眼底像は、先の収差情報及び眼底像と合わせて、対応付けて記憶部４０４に記憶される。更に、撮影された時刻情報もこれら情報と合わせて記憶させることで、概ね同時刻に得られたハルトマン像と収差補正前の眼底像、及び収差補正後の眼底像をリンクさせることができる。以上の処理により、ＡＯ－ＯＣＴにおける収差補正処理に用いる学習データが得られる。具体的には、入力データとしてハルトマン像等の収差情報と収差補正前の断層像が、教師データとして収差補正後の断層像が得られる。なお、学習済モデルの生成については実施例１で述べた処理と同様の処理が実行されるためにここでの説明を省略する。

＜ＣＮＮによる収差補正を用いた撮影＞
　次に、上述した学習データを用いて得た学習済モデルを用いて、眼底の断層像を撮影する方法について、図１１Ａを参照して説明する。図１１Ａは、本実施例において、図９に示した波面補正デバイス１０８を用いることなしに、学習済モデルを用いて波面補正を実施する眼科撮影装置１１００の概略構成を示す。なお、眼科撮影装置１１００において図９に示した眼科撮影装置９００と同様の機能を呈する構成については、同一の参照符号を用いて示すこととし、ここでの説明は省略する。

　図１１Ａに示す眼科撮影装置１１００は、図９に示す眼科撮影装置９００から、波面補正デバイス１０８、及びこれに導光するための反射ミラー１０７－１～１０７－４をのぞいた構成となっている。具体的には、本実施例では、波面補正デバイス１０８が存在しないことから、補償光学制御部１１１６はその制御を行わない。また、制御部１１１７も波面補正に関連する制御を行わない。画像処理部１１１８は上述した画像処理部９１８で生成した学習済モデルを用いるが新たな学習済モデルの生成を実行せず、従って当該画像処理部１１１８は図１に示す画像処理部１１８における学習処理部４０３を含まなくともよい。

　即ち、本実施例では、上述した眼科撮影装置９００により生成した学習済モデルを用い、波面補正デバイス１０８を用いることなく収差補正を行った眼底の断層像を取得することが可能となる。以下に、本実施例に係る撮影制御フローに関して、図１２のフローチャートを用いて説明する。

　図１２に示すように、ステップＳ１２０１からステップＳ１２０７では、図１０で述べたステップＳ１００１からステップＳ１００７と同様の処理が実行される。ステップＳ１２０７において眼底トラッキングが開始されると、フローはステップＳ１２０８に移行し、制御部１１１７により眼底の断層像の撮影が行われる。この時に、図１０におけるステップＳ１００８と同様に撮影のパラメータも設定される。断層像の取得後、フローはステップＳ１２０９に移行する。

　ステップＳ１２０９では、ステップＳ１２０３において得られたハルトマン像と、ステップＳ１２０８において得られた断層像とを、学習済モデルとして作成されたネットワークへ入力する。画像処理部１１１８は、入力された断層像及びハルトマン像から、学習済モデルを用いることで断層像の画像補正を実行し、収差補正後に取得される可能性の高い断層像（収差補正後に取得できるような断層像）を生成する。

　以上に述べたように、本実施例では、取得した断層像とハルトマン像（収差情報）とから収差補正後に取得できるような断層像を生成している。そして、これにより、波面補正デバイス１０８及びこれに導光するための反射ミラー１０７－１～１０７－４を必要とせずに収差補正後に取得できるような断層像を得ることが可能となる。

　なお、本実施例においても、実施例１と同様にクロスシリンダーを収差補正手段として用いて低次収差の補正を予め行っておき、低次収差補正後の戻り光からの断層像とハルトマン像とを得てこれらを入力データとして用いてもよい。また、例えばステップＳ１２０３にて取得したハルトマン像における各スポットの焦点位置が学習データにおいて得た焦点位置よりも大きくずれている場合には、検査者に警告を出すように構成してもよい。

　また、本実施例において眼科撮影装置１１００として例示したように、上述した画像処理部１１１８は、画像生成手段と収差情報生成手段とを更に備えて、眼科撮影システムを構成する。ＡＯ－ＯＣＴとして断層像を取得する画像生成手段（分光器９０９，制御部１１１７）は、ＡＯ－ＯＣＴとして、測定光が照射された被検眼１１１の眼底からの戻り光と、該測定光対応する参照光とから得た干渉光を用いて断層像（第１の画像）を生成する。収差情報生成手段（波面センサー１１５，補償光学制御部１１１６）は、上述した収差に関する情報を生成する。なお、収差に関する情報は、被検眼１１１に照射した光の戻り光より得られるハルトマン像、又は該ハルトマン像から得られるゼルニケ係数であるとよい。

［実施例３の変形例１］
　上述した実施例３では、学習済モデルを用い、収差補正なしで得た断層像と、該断層像を得る際に取得したハルトマン像とから収差補正後に取得できるような断層像を得る例について説明した。ここで、ＯＣＴでは、眼底表面上での撮影位置を変えながら複数の断層像を得ることで、眼底の３次元データを取得することができる。そして、この３次元データを例えば特定の層について深さ方向に積算して所謂ＥｎＦａｃｅ画像を生成し、該ＥｎＦａｃｅ画像により診断を行う場合がある。この場合、フォーカスを合わせる対象は網膜の深さ方向におけるＥｎＦａｃｅ画像を生成する層であることが望ましい。この場合、診断に用いられる画像がＥｎＦａｃｅ画像であることから、入力データとしてＥｎＦａｃｅ画像と収差に関する情報（ハルトマン像）と用い、教師データとして収差補正後のＥｎＦａｃｅ画像を用いるとよい。

　しかし、これらＥｎＦａｃｅ画像を用いて生成した学習済モデルが、例えば網膜の表層近傍を対象として生成されたものの場合、網膜のより深い位置にフォーカスした場合には収差補正後に取得できるようなＥｎＦａｃｅ画像が好適に得られない場合もある。本変形例では、このような場合に対処できる学習済モデルについて説明する。

　本変形例では、フォーカスを合わせる層毎に、或いは深さ毎に、上述したＥｎＦａｃｅ画像についての学習済モデルを生成しておく。フォーカスを合わせる層としては、例えば、網膜色素上皮とその近傍、脈絡膜層とその近傍等を加えた少なくとも２つ以上の眼底において存在する層が例示される。学習済モデルの生成に際しては、これらフォーカスを合わせる層毎に、収差補正前のＥｎＦａｃｅ画像と略同時に得られるハルトマン像とを入力データとする。また各々の入力データに対応するように、撮影位置、或いはフォーカスを合わせる層毎に収差補正後のＥｎＦａｃｅ画像を取得し、これらを教師データとする。

　実際に図１１Ａに例示した眼科撮影装置１１００を用いて任意の層の収差補正後のＥｎＦａｃｅ画像を生成する際には、予め当該層に対して生成された学習済モデルを選択しておく。そして、当該層についての収差補正前のＥｎＦａｃｅ画像と当該断層像の取得時に得たハルトマン像とを画像処理部９１８に入力する。これにより、適切な学習済モデルを用いて、当該層における収差補正後に取得できるようなＥｎＦａｃｅ画像が好適に得られる。この場合、例えば検査者が撮影を実行する際に行われる撮影モード等の指示に対応して、記憶部４０４に記憶されるこれら学習済モデルを、画像処理部１１１８が選択するとよい。本変形例に係る画像処理部１１１８について、図４と同様の様式にてその機能構成をブロック図として図１１Ｂに示す。図１１Ｂに示すように、本変形例における画像処理部１１１８は選択部４０６を更に含み、該選択部４０６は検査者等からの入力に応じて、学習処理部４０３で生成した学習済モデルを選択し、ＣＮＮ処理部４０２にこれを用いさせる。

　上述したように、本変形例において、収差補正前の画像として、被検眼１１１の眼底における３次元データを眼底の深さ方向に積算することで得たＥｎＦａｃｅ画像が、学習済モデルにおけるネットワークに入力される。また、画像処理により収差補正された画像として、収差が低減されたＥｎＦａｃｅ画像が出力される。

［実施例３の変形例２］
　上述した変形例１では、フォーカスを合わせる層毎に学習済モデルを生成しておき、撮影時にはこの個々の学習済モデルを選択して用いることで収差補正後に取得できるようなＥｎＦａｃｅ画像を好適に得ている。これに対し、本変形例では、入力データに対し、ＯＣＴにより取得した眼底の３次元データ及びハルトマン像に加え、フォーカスを合わせる層に関する情報も加えている。教師データは、これら入力データに対応し、フォーカスを合わせる層における収差補正されたＥｎＦａｃｅ画像となる。即ち、本変形例において生成される学習済モデルでは、入力されたフォーカスを合わせる層に関する情報に応じて、画像処理部１１１８により教師データの選択が行われる。本変形例に係る画像処理部１１１８について、図４と同様の様式にてその機能構成をブロック図として図１１Ｃに示す。図１１Ｃに示すように、本変形例における画像取得部４０１は画像情報取得部４０６’を更に含む。画像情報取得部４０６’は、学習処理部４０３が学習済モデルを生成する際に用いる撮影部位やフォーカスを合わせる層、或いは撮影対象物に関する情報等の画像撮影に関する情報を取得する。学習処理部４０３は、学習済モデルの生成に際し、これら画像撮影に関する情報を、入力データの一つとして取得する。

　従って、本変形例によれば、被検眼１１１における眼底の任意の深さ位置を眼科撮影装置１１００により撮影した場合であっても、学習済モデルを介することにより、入力されたフォーカスを合わせる層を選択する処理を省くことができる。即ち、取得した眼底の３次元データ、略同時に取得したハルトマン像、及び撮影部位等に関する情報を入力することにより、これら部位や位置に合わせて、収差補正後に取得できるようなＥｎＦａｃｅ画像を得ることができる。

　なお、上述した実施例３並びに変形例１及び２では、入力データ及び入力する画像に、波面（収差）に関する情報としてハルトマン像を含めている。ハルトマン像は戻り光の波面形状を表す像であり、当該画像により波面の収差を容易に知ることができる。しかし、戻り光に含まれる収差情報は、収差補正されていない画像にも含まれている。従って、収差補正されておらず波面収差の影響を示すＥｎＦａｃｅ画像を入力データとし、収差補正後のＥｎＦａｃｅ画像を教師データとして学習済モデルを得ることもできる。即ち、収差補正前のＥｎＦａｃｅ画像であって、収差の影響が判別し得るＥｎＦａｃｅ画像を対象とした場合であれば、ハルトマン像を用いることなく画像処理部１１１８により収差補正後に取得できるようなＥｎＦａｃｅ画像を得ることもできる。

　本変形例においては、収差補正前の画像として、被検眼１１１の眼底における３次元データより生成された３次元画像が、学習済モデルにおけるネットワークに入力される。また、画像処理により収差補正された画像として、収差が低減されたＥｎＦａｃｅ画像が出力される。

［実施例４］
　本実施例において用いる眼科撮影装置では、学習済モデルを生成する際に用いた波面補正デバイスの反射面の領域の分割数に比べて、反射面の領域の分割数が少ない波面補正デバイスが用いられる。そして、学習済モデルを用いて、眼科撮影装置により得られた眼底像と収差情報とから、用いた波面補正デバイスで得られる分解能よりも高い分解能の眼底像を得ることとしている。以下、その詳細について述べる。

＜学習データの生成と学習＞
　本実施例における学習データの生成とこれらを用いた学習済モデルの生成に関しては、実施例１で説明した通りであるので、ここでの説明は省略する。なお、学習データの生成に際しては、上述したように、実際に被検眼の眼底の撮影時に用いる眼科撮影装置で用いる波面補正デバイスに対して、反射面の分割数が多く、より高い分解能の眼底像が得られる波面補正デバイスが用いられる。

＜ＣＮＮによる収差補正を用いた撮影＞
　本実施例では、眼科撮影装置が、図１に示す眼科撮影装置１の波面補正デバイス１０８に対し、その反射面の分割数が少ない波面補正デバイスを用いている点が異なる。しかし、波面センサー等のその他の構成は図１で例示したものと同じであるため、ここでの詳細な説明は省略する。波面センサー１１５は、高い分解能に対応できるように、分割数の多い波面補正デバイスにも対応できるものを用いている。

　次に、上述の眼科撮影装置におけるＣＮＮによる収差補正を用いた撮影について、図１３のフローチャートを用いて説明する。なお、図１３に示すように、図１３のステップＳ１３０１からステップＳ１３０９では、図８で述べたステップＳ８０１～ステップＳ８０９で行われた処理と同様の処理が実行される。そして、ステップＳ１３１０では、上述した分割数の少ない波面補正デバイスによる収差の補正が行われる。続くステップＳ１３１１では、波面補正デバイスにより収差が補正された状態で、制御部７１７が再度波面センサー１１５による収差の測定を行う。その際、本実施例で用いた波面補正デバイスは、反射面の領域の分割数が少ないため、収差は好適な状態まで補正されていない。

　ステップＳ１３１２では、ステップＳ１３１０で得られている波面が補正された状態での眼底の撮影が、制御部７１７により行われる。眼底の撮影後、制御部７１７はフローをステップＳ１３１３に移行させる。ステップＳ１３１３では、ＣＮＮ処理部４０２が、ステップＳ１３１１で得られている残っている収差の情報（例えば実施例１のハルトマン像）と、ステップＳ１３１２で得られている眼底像とを、上述した学習済モデルとして作成されたネットワークへ入力する。画像処理部７１８は、入力された眼底像及びハルトマン像から、学習済モデルを用いることで眼底像の画像補正を実行し、収差が補正された状態で得られるような眼底像を生成する。ステップＳ１３１３の処理の終了後、フローはステップＳ１３１４に移行される。なお、ステップＳ１３１４で実行される処理は、上述したステップＳ５１１等で実行される処理と同様であるため、ここでの説明は割愛する。

　本実施例においても、収差補正デバイスを用いることが無くとも、実施例１と同様に学習済モデルとして作成されたネットワークのみを用いることでも収差が補正された状態で得られるような眼底像を得ることができる。しかし、本実施例のように、分割数の少ない波面補正デバイスによりある程度収差が補正された画像を入力データとすることにより、ＣＮＮの処理に要する時間を短縮することが可能となる。即ち、本実施例では、分割数の少ない収差補正デバイスを用いて得た画像、或いは収差補正をしない状態で得た画像である第１の分解能の画像と、該画像と対応するハルトマン画像とを入力データとする。また、分割数の多い収差補正デバイスによって収差補正することで得た、第１の分解能よりも高い第２の分解能の画像を教師データとする。本実施例で用いる学習済モデルは、このような学習データを用いて生成される。

　安価な波面補正デバイスであって、その反射面の分割数が少ない場合、得られる眼底像の分解能は十分に高くなく、個々の視細胞の判別が容易ではない状態の眼底像しか得られない。しかし、本実施例の如く、当該波面補正デバイスを介して得た眼底像と収差情報とを用いることで、視細胞の判別が容易となる高い分解能の眼底像が得られる。このような構成をとることにより、本実施例によれば、比較的簡単な構成、及び、比較的簡単な演算処理で高い分解能の画像を得ることができる。

　以上に述べたように、本発明の各実施例によれば、波面収差の補正光学系を用いた眼科撮影装置に比べて、装置の小型化、低コスト化を実現でき、高分解能な画質を得ることが可能となる。

（その他の実施例）
　上述したそれぞれの実施例は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施例は画像処理装置或いは、実施例において述べた画像処理方法のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。また、画像処理装置のＣＰＵは、ＲＡＭやＲＯＭに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現し、画像処理時に行われる各工程を実行することもできる。

　本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

　以上、実施例及び変形例を参照して本発明について説明したが、本発明は上記実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

　本願は、２０１９年２月１３日提出の日本国特許出願特願２０１９－０２３７２４、及び２０１９年１１月２７日提出の日本国特許出願特願２０１９－２１４３８１を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

１、７００、９００、１１００：眼科撮影装置、　１０１、光源、　１１４：光強度センサー、　１１６、７１６、１１１６：補償光学制御部、　１１７、７１７、９１７、１１１７：制御部、　１１８、７１８、９１８、１１１８：画像処理部、　１１９：ディスプレイ、４０１：画像取得部、　４０２：ＣＮＮ処理部、　４０３：学習処理部、　４０４：記憶部

Claims

　被検眼の第１の分解能の画像を取得する画像取得手段と、
　前記被検眼の収差に関する情報を取得する収差取得手段と、
　学習済モデルを用いて、前記第１の分解能の画像と前記収差に関する情報とから、前記第１の分解能よりも高い分解能の第２の分解能の画像を生成する画像処理手段と、
　を備えることを特徴とする画像処理装置。
　前記被検眼の収差に関する情報は、前記被検眼に照射した光の戻り光より得られるハルトマン像、又は前記ハルトマン像より得られるゼルニケ係数であることを特徴とする請求項１に記載の画像処理装置。
　前記学習済モデルは、被検眼の収差による影響が低減された画像を含む学習データにより得たモデルであることを特徴とする請求項１又は２に記載の画像処理装置。
　前記画像処理手段は、前記第１の分解能の画像と、前記第１の分解能の画像に関連付けて記憶された前記収差に関する情報とから、前記第２の分解能の画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
　前記学習済モデルが、第１の分解能の画像と、該画像と対応するハルトマン画像とを入力データとし、第２の分解能の画像を教師データとして学習することにより得られるモデルであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
　被検眼の第１の分解能の画像を取得する画像取得手段と、
　被検眼の収差による影響が低減された画像を含む学習データにより得た学習済モデルを用いて、前記第１の分解能の画像から、前記第１の分解能よりも高い分解能の第２の分解能の画像を生成する画像処理手段と、
　を備えることを特徴とする画像処理装置。
　複数の学習済モデルから、前記画像処理手段によって用いられる学習済モデルを選択する選択手段を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
　前記複数の学習済モデルは、被検眼での前記第１の分解能の画像の取得位置、前記第１の分解能の画像を取得する際の前記画像取得手段のフォーカスを合わせた位置、及び前記第１の分解能の画像を取得する際の被検眼での画像取得の対象物、の少なくともいずれかに応じたモデルを含むことを特徴とする請求項７に記載の画像処理装置。
　前記画像処理手段は、更に、被検眼での前記第１の分解能の画像の取得位置、前記第１の分解能の画像を取得する際のフォーカスを合わせた位置、及び前記第１の分解能の画像を取得する際の被検眼での画像取得の対象物、の少なくともいずれかに関する情報から、前記第２の分解能の画像を生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
　前記第１の分解能の画像は、前記被検眼の眼底における３次元データを前記眼底の深さ方向に積算することで得たＥｎＦａｃｅ画像であり、
　前記第２の分解能の画像は、収差の影響が低減されたＥｎＦａｃｅ画像であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
　前記第１の分解能の画像は、前記被検眼の眼底の３次元データから生成された３次元画像であり、
　前記第２の分解能の画像は、前記３次元データを前記眼底の深さ方向に積算することで得たＥｎＦａｃｅ画像であって、収差の影響が低減されたＥｎＦａｃｅ画像であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
　前記第１の分解能の画像は、前記被検眼の視細胞を含む画像であり、前記第２の分解能の画像における視細胞領域は、前記第１の分解能の画像における視細胞領域よりも、前記視細胞の判別が容易であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
　光が照射された前記被検眼の眼底からの戻り光を用いて前記第１の分解能の画像を生成する画像生成手段と、
　前記被検眼の収差に関する情報を生成する収差情報生成手段と、
請求項１乃至１２のいずれか１項に記載の画像処理装置と、を備えることを特徴とする眼科撮影システム。
　前記画像生成手段は、前記戻り光と参照光とから得た干渉光を用いて前記第１の分解能の画像を生成することを特徴とする請求項１３に記載の眼科撮影システム。
　前記被検眼の収差に関する情報は、高次の収差に関する情報であり、
　前記被検眼の低次の収差による影響を低減する収差補正手段を更に備えることを特徴とする請求項１３又は１４に記載の眼科撮影システム。
　被検眼の第１の分解能の画像と前記被検眼の収差に関する情報とを入力データとし、前記被検眼の収差による影響が低減された状態で取得された前記被検眼の第２の分解能の画像を教師データとする学習データを、ＣＮＮを用いて得られたことを特徴とする学習済モデル。
　ゼルニケ係数を用いて前記第２の分解能の画像から生成された前記収差による影響が生じている前記第１の分解能の画像と、前記収差に関する情報である前記ゼルニケ係数とを入力データとする学習データを、前記ＣＮＮを用いて得られたことを特徴とする請求項１６に記載の学習済モデル。
　被検眼の第１の分解能の画像と前記被検眼の収差に関する情報とを入力データとして取得する入力データ取得手段と、
　前記被検眼の収差による影響が低減された状態で、前記第１の分解能の画像と対応するように取得された前記被検眼の第２の分解能の画像を教師データとして取得する教師データ取得手段と、
　前記入力データと前記教師データとを含む学習データを用いて学習する学習手段と、
　を備えることを特徴とする学習済モデル生成装置。
　前記入力データ取得手段は、ゼルニケ係数を用いて前記第２の分解能の画像から生成された第１の分解能の画像であって、前記収差による影響が生じている第１の分解能の画像と、前記収差に関する情報である前記ゼルニケ係数とを入力データとして取得することを特徴とする請求項１８に記載の学習済モデル生成装置。
　被検眼の第１の分解能の画像を取得する工程と、
　前記被検眼の収差に関する情報を取得する工程と、
　学習済モデルを用いて、前記第１の分解能の画像と前記収差に関する情報とから、前記第１の分解能よりも高い分解能の第２の分解能の画像を生成する工程と、
　を含むことを特徴とする画像処理方法。
　被検眼の第１の分解能の画像を取得する工程と、
　被検眼の収差による影響が低減された画像を含む学習データにより得た学習済モデルを用いて、前記第１の分解能の画像から、前記第１の分解能よりも高い分解能の第２の分解能の画像を生成する工程と、
　を含むことを特徴とする画像処理方法。
　プロセッサーによって実行されると、該プロセッサーに請求項２０又は２１に記載の画像処理方法の各工程を実行させる、プログラム。