JP7205550B2 - 光学装置、及び制御装置 - Google Patents

Description

本発明は、光学装置、及び制御装置に関する。
本願は、２０１８年１２月１０日に、日本に出願された特願２０１８－２３０７７１号に基づき優先権を主張し、その内容をここに援用する。

例えば、特許文献１に開示された顕微鏡のような光学装置では、照明光学系と結像光学系とが備えられている。このような光学装置では結像性能を向上させることが求められている。

特開２０１５－７２３０３号公報

本発明の一態様は、被検体の像を形成する結像光学系と、前記結像光学系の結像面の互いに異なる位置に配置された第一画素と第二画素とを有し、前記結像光学系が形成する前記像のそれぞれ異なる領域における画像信号を出力する撮像素子と、互いに位置が異なる第一ピクセルと第二ピクセルとを有し、前記結像光学系の瞳面または前記瞳面の共役位置に配置され、前記結像光学系の瞳における波面の位相を変化させる空間変調素子と、前記第一画素から出力される前記像の第一領域における第一画像信号と前記第二画素から出力される前記像の第二領域における第二画像信号とに基づいて、前記第一ピクセルを制御し、かつ、前記第一及び第二画像信号とに基づいて前記第二ピクセルを制御する制御部とを備える光学装置である。

本発明の一態様は、被検体の像を形成する結像光学系の瞳面または前記瞳面の共役位置に配置され、互いに位置が異なる第一ピクセルと第二ピクセルによって前記結像光学系の瞳における波面の位相を変化させる空間変調素子を、前記結像光学系の結像面の互いに異なる位置に配置された第一画素と第二画素とを有する撮像素子が前記被検体の像のそれぞれ異なる領域を撮像して得られた信号である画像信号に基づいて制御する制御部を備える制御装置であって、前記制御部は、前記第一画素から出力される前記像の第一領域における第一画像信号と前記第二画素から出力される前記像の第二領域における第二画像信号とに基づいて、前記第一ピクセルを制御し、かつ、前記第一及び第二画像信号に基づいて前記第二ピクセルを制御する制御装置である。

本発明の第１の実施形態に係る撮像システムの一例を示す図である。 本発明の第１の実施形態に係る画像の一例を示す図である。 本発明の第１の実施形態に係る波面制御装置の波面状態の一例を示す図である。 本発明の第１の実施形態に係る学習装置の構成の一例を示す図である。 本発明の第１の実施形態に係る制御装置の構成の一例を示す図である。 本発明の第１の実施形態に係る学習処理の一例を示す図である。 本発明の第１の実施形態に係る光学系条件の一例を示す図である。 本発明の第１の実施形態に係る波面状態の一例を示す図である。 本発明の第１の実施形態に係る結像性能及び重みの一例を示す図である。 本発明の第１の実施形態に係る制御装置による波面制御装置の制御処理の一例を示す図である。 本発明の第１の実施形態の変形例に係る学習装置の構成の一例を示す図である。 本発明の第１の実施形態の変形例に係る学習処理の一例を示す図である。 本発明の第２の実施形態に係る制御装置の構成を示す図である。 本発明の第２の実施形態に係る制御装置による波面制御装置の制御処理の一例を示す図である。 本発明の第２の実施形態に係るアダプティブ学習処理の一例を示す図である。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図１は、本実施形態に係る撮像システムＳの一例を示す図である。また、撮像システムＳは、光学装置Ｄでもある。本実施形態において撮像システムＳ（光学装置Ｄ）とは、一例として、眼科顕微鏡である。なお撮像システムＳ（光学装置Ｄ）は、生物顕微鏡、工業顕微鏡、医用顕微鏡、監視カメラ、及び車載カメラなどであってもよい。
撮像システムＳは、結像光学系ＯＳと、波面制御装置３と、撮像素子６と、コンピュータ７と、表示部８と、入力部９とを備える。

結像光学系ＯＳは、被検体１の像を形成する。結像光学系ＯＳは、対物レンズ系２と、絞り４と、結像レンズ系５とを備える。波面制御装置３は、空間変調素子の一例である。

対物レンズ系２の焦点位置に被検体１が設置される。被検体１から出た光線はアフォーカル状態で波面制御装置３に投影される。波面制御装置３は、結像光学系ＯＳの瞳における波面の位相を変化させる。波面制御装置３は、絞り４と共役な位置または絞り４の近傍に設置されることによって、波面制御装置３の設置位置と瞳面とが一致する。つまり、波面制御装置３は、結像光学系ＯＳの瞳の共役位置に配置される。
波面制御装置３は、一例として、液晶位相変調素子（ＬＣＯＳ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）である。波面制御装置３は、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ミラーやデフォーマルミラーであってもよい。

光線は波面制御装置３を透過または反射したのちに、結像レンズ系５を通して撮像素子６に集光される。撮像素子６は、結像レンズ系５の焦点位置に設置される。撮像素子６は、結像光学系ＯＳによって形成される被検体１の像の画像信号ＩＳを出力する。撮像素子６によって出力される画像信号ＩＳは、コンピュータ７に伝送され、表示部８に画像Ｐとして表示される。

入力部９は、撮像システムＳのユーザからの入力を受け付ける。撮像システムＳのユーザは入力部９を介して、表示部８に表示されている画像Ｐに含まれる領域Ｒのうち注視したい特定領域ＲＣを指定する。

ここで図２を参照し、画像Ｐ及び領域Ｒについて説明する。
図２は、本実施形態に係る画像Ｐの一例を示す図である。画像Ｐは、一例として、手術中の網膜の画像である。本実施形態では、画像Ｐを領域Ｒ１～領域Ｒ２５に分割する。領域Ｒ１～領域Ｒ２５は、一例として、それぞれが画像Ｐの一部の領域であってそれぞれ等しい面積をもつ正方形の領域である。上述した領域Ｒは、領域Ｒ１～領域Ｒ２５の総称である。

図１に戻って、撮像システムＳの構成の説明を続ける。
入力部９は、一例として、マウスである。入力部９は、キーボードやタッチパネルであってもよい。入力部９は、撮像システムＳのユーザの視線を検出する立体ディスプレイや、ヘッドマウントディスプレイであってもよい。入力部９は、フットスイッチであってもよい。入力部９は、撮像システムＳのユーザの音声やジェスチャーを認識する認識装置であってもよい。

コンピュータ７は、学習装置７Ａと、制御装置７Ｂと、光学シミュレーション装置７Ｃと、網膜画像データベース７Ｄとを備える。学習装置７Ａと、制御装置７Ｂと、光学シミュレーション装置７Ｃとは、一例として、コンピュータ７のＣＰＵがＲＯＭからプログラムを読み込んで処理を実行することにより実現されるモジュールである。網膜画像データベース７Ｄは、コンピュータ７に備えられる記憶装置である。

制御装置７Ｂは、撮像素子６が出力する画像信号ＩＳに基づいて波面制御装置３を制御することによって、指定された特定領域ＲＣの結像性能ＰＹを向上させる。学習装置７Ａは、画像信号ＩＳと結像光学系ＯＳの瞳における波面の位相との関連性を予め学習する。
本実施形態では、制御装置７Ｂは、学習装置７Ａによる学習結果である波面状態テーブルＴに基づいて波面制御装置３を制御する。

ここで波面状態テーブルＴとは、光学系条件情報ＬＳ毎、及び特定の領域Ｒ毎に、波面状態θと結像性能評価値Ｙとが機械学習に基づいて対応づけられた表である。波面状態θは、波面制御装置３の波面状態をピクセル毎に示す。結像性能評価値Ｙは、画像Ｐの領域Ｒ毎に画像信号ＩＳの値に重みＷＹが乗じられて算出される。つまり、波面状態テーブルＴは、画像信号ＩＳに基づいて生成される。

ここで図３を参照し、波面制御装置３の波面状態について説明する。
図３は、本実施形態に係る波面制御装置３の波面状態の一例を示す図である。図３では、波面の位相の遅れが、３６個のピクセル毎に白黒の濃淡によって示されている。

次に図４及び図５を参照し、コンピュータ７の構成の詳細について説明する。
図４は、本実施形態に係る学習装置７Ａの構成の一例を示す図である。学習装置７Ａは、光学シミュレーション装置７Ｃによる光学シミュレーションに基づいて波面状態テーブルＴを生成し、制御装置７Ｂに供給する。学習装置７Ａは、波面状態テーブルＴを生成するために、網膜画像データベース７Ｄに記憶される網膜画像データＲＩを用いてよい。

学習装置７Ａは、波面状態テーブルＴを生成する処理において、光学シミュレーション装置７Ｃ、及び網膜画像データベース７Ｄを利用する。
なお、学習装置７Ａ、光学シミュレーション装置７Ｃ、及び網膜画像データベース７Ｄは、コンピュータ７に備えられる代わりに、コンピュータ７から独立した外部のコンピュータに備えられる構成であってもよい。
以下、波面状態テーブルＴを生成する処理を学習処理という。

学習装置７Ａは、学習画像信号取得部７１Ａと、学習波面制御信号生成部７２Ａと、学習部７４と、光学系条件取得部７５Ａとを備える。
学習画像信号取得部７１Ａは、撮像素子６から供給される学習画像信号ＬＩＳを取得する。学習画像信号ＬＩＳとは、学習処理において撮像素子６によって生成される画像Ｐの各画素の値を示す信号である。

学習波面制御信号生成部７２Ａは、光学シミュレーション装置７Ｃに学習波面制御信号ＬＷＳを供給する。学習波面制御信号ＬＷＳとは、学習処理において、光学シミュレーションにおける波面状態θを生成するための信号である。

光学系条件取得部７５Ａは、光学シミュレーション装置７Ｃから学習光学系条件情報ＬＬＳを取得する。学習光学系条件情報ＬＬＳとは、学習処理において、光学シミュレーションに用いられる光学系条件Λを示す情報である。光学系条件Λとは、例えば、結像光学系ＯＳのズーム倍率、対物レンズ系２や結像レンズ系５の種類、絞り４の大きさ、被検体１の種類などにより指定される。また、光学系条件Λは、眼科顕微鏡である撮像システムＳ（光学装置Ｄ）が、前眼部観察用であるか後眼部観察用であるかによっても指定される。

学習部７４は、波面状態テーブルＴを生成するための機械学習を実行する。
学習部７４は、特徴量算出部７４０と、評価値算出部７４１と、関係学習部７４２と、波面状態推定部７４３と、波面状態テーブル生成部７４４とを備える。

特徴量算出部７４０は、網膜画像データベース７Ｄに記憶される網膜画像データＲＩから網膜画像の特徴量を算出する。網膜画像の特徴量とは、一例として、網膜の周辺部や中心部についての特徴量である。
評価値算出部７４１は、撮像素子６から供給される学習画像信号ＬＩＳと、重みＷＹとに基づいて、結像性能評価値Ｙを算出する。評価値算出部７４１は、特徴量算出部７４０によって算出される特徴量に基づいて重みＷＹの値を変更してよい。

関係学習部７４２は、特定の領域Ｒについて、波面状態θと結像性能評価値Ｙとの関係を学習する。関係学習部７４２は、一例として、サポートベクター回帰（ＳＶＲ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｒｅｇｒｅｓｓｉｏｎ）などのアルゴリズムを用いた機械学習を用いる。
波面状態推定部７４３は、関係学習部７４２の学習結果に基づいて、特定の領域Ｒについて、結像性能評価値Ｙを最大にする波面状態θを推定する。
波面状態テーブル生成部７４４は、波面状態推定部７４３による推定結果に基づいて波面状態テーブルＴを生成する。

光学シミュレーション装置７Ｃは、結像光学系シミュレーション部７０Ｃと、波面制御シミュレーション部７１Ｃとを備える。
結像光学系シミュレーション部７０Ｃは、光学系データＤＴに基づいて結像光学系ＯＳの光学シミュレーションを実行する。光学系データＤＴとは、光学シミュレーションのための波面状態θと、光学系条件Λとの組である。結像光学系シミュレーション部７０Ｃは、光学系条件Λとして、所定の数だけ予め所定の条件を保持している。
結像光学系シミュレーション部７０Ｃは、光学系条件Λに基づいて学習光学系条件情報ＬＬＳを生成する。

波面制御シミュレーション部７１Ｃは、学習装置７Ａから供給される学習波面制御信号ＬＷＳに基づいて、光学シミュレーションのための波面状態θを生成し、結像光学系シミュレーション部７０Ｃに供給する。

次に図５を参照し、制御装置７Ｂの構成について説明する。
図５は、本実施形態に係る制御装置７Ｂの構成の一例を示す図である。制御装置７Ｂは、領域設定情報取得部７０Ｂと、光学系条件情報取得部７５Ｂと、波面制御信号生成部７２Ｂと、記憶部７３Ｂとを備える。

領域設定情報取得部７０Ｂは、入力部９から供給される領域設定指示ＲＳを取得する。領域設定指示ＲＳとは、撮像システムＳのユーザにより入力部９を介して指定される特定領域ＲＣを示す情報である。

光学系条件情報取得部７５Ｂは、結像光学系ＯＳから光学系条件情報ＬＳを取得する。光学系条件情報ＬＳとは、結像光学系ＯＳの光学系条件Λを示す情報である。
波面制御信号生成部７２Ｂは、波面制御装置３に波面制御信号ＷＳを供給する。波面制御信号ＷＳは、波面状態θを示す信号である。
記憶部７３Ｂには、波面状態テーブルＴが記憶される。波面状態テーブルＴは、上述したように、予め学習処理において学習装置７Ａにより生成される。

次に図６を参照し、学習装置７Ａ及び光学シミュレーション装置７Ｃによる学習処理について説明する。
図６は、本実施形態に係る学習処理の一例を示す図である。図６に示す学習処理は、制御装置７Ｂによる波面制御装置３の制御が実行される前に予め実行される。

ステップＳ１００：波面制御シミュレーション部７１Ｃは、光学シミュレーションのための波面状態θを生成する。ここで波面制御シミュレーション部７１Ｃは、学習波面制御信号生成部７２Ａから供給される学習波面制御信号ＬＷＳに基づいて波面状態θを生成する。波面制御シミュレーション部７１Ｃは、生成した波面状態θを結像光学系シミュレーション部７０Ｃに供給する。

学習波面制御信号生成部７２Ａは、学習波面制御信号ＬＷＳを、数Ｎ通りの波面状態θを示す信号として生成する。学習波面制御信号生成部７２Ａは、数Ｎ通りの波面状態θをランダムに生成する。学習波面制御信号生成部７２Ａが波面状態θをランダムに生成するパターンは、中心対称、素子を二分する線対称でもよいし、ゼルニケ近似多項式によって表現されるパターンでもよい。
数Ｎ通りの波面状態θの集合は、式（１）により示される。

ステップＳ１１０：結像光学系シミュレーション部７０Ｃは、保持している所定の条件のなかから光学系データＤＴに用いる光学系条件Λを選択する。結像光学系シミュレーション部７０Ｃは、保持している所定の条件のなかから１以上の光学系条件Λを選択する。

ここで図７を参照し、光学系条件Λの一例について説明する。
図７は、本実施形態に係る光学系条件Λの一例を示す図である。図７の光学系条件Λの例では、ズーム倍率として「２倍」が、前置きレンズとして「タイプＡ」が、被検体１として「ナバロアイモデル」が選択されている。

図６に戻って、学習処理の説明を続ける。
ステップＳ１２０：結像光学系シミュレーション部７０Ｃは、光学シミュレーションに用いる光学系データＤＴを設定する。ここで結像光学系シミュレーション部７０Ｃは、ステップＳ１００において波面制御シミュレーション部７１Ｃにより生成された数Ｎ通りの波面状態θのそれぞれと、ステップＳ１１０において選択した光学系条件Λとを組にして数Ｍ通りの光学系データＤＴを生成する。数Ｍは、ステップＳ１１０において選択された光学系条件Λの数と、数Ｎとの積に等しい。

ここで図８を参照し、波面状態θの一例について説明する。
図８は、本実施形態に係る波面状態θの一例を示す図である。図８の例では、波面制御装置３のピクセル毎に、結像光学系ＯＳの瞳における波面の位相の遅れの値が示されている。

図６に戻って、学習処理の説明を続ける。
ステップＳ１３０：結像光学系シミュレーション部７０Ｃは、光学シミュレーションを実行する。結像光学系シミュレーション部７０Ｃは、数Ｍ通りの光学系データＤＴそれぞれについて光学シミュレーションを実行する。つまり、結像光学系シミュレーション部７０Ｃは、ステップＳ１００においてランダムに生成された数Ｎ通りの波面状態θについて、光学シミュレーションを光学系条件Λ毎に実行する。
結像光学系シミュレーション部７０Ｃは、例えば、公知の光学設計解析ソフトウェアを用いて光学シミュレーションを実行する。

結像光学系シミュレーション部７０Ｃは、光学シミュレーションによって被検体１の像を生成する。撮像素子６は、生成された被検体１の像から画像Ｐを生成する。画像Ｐは、光学系条件Λ毎に、数Ｎ通りの波面状態θに対応して画像Ｐ１～画像ＰＮだけある。
撮像素子６は、光学系条件Λ毎の画像Ｐ１～画像ＰＮそれぞれの画素の値を、学習画像信号ＬＩＳに含め学習装置７Ａに出力する。
以下、画像Ｐ１～画像ＰＮのうちの１枚を代表させて画像Ｐｉという場合がある。

ステップＳ１４０：評価値算出部７４１は、撮像素子６から供給される学習画像信号ＬＩＳと、重みＷＹとに基づいて、結像性能評価値Ｙを算出する。
評価値算出部７４１は、学習画像信号ＬＩＳに含まれる画像Ｐｉの各画素の値に基づいて、画像Ｐｉの領域Ｒ毎の結像性能ＰＹを算出する。ここで画像Ｐの領域Ｒ毎の結像性能ＰＹとは、一例として点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の値である。なお、結像性能ＰＹは、コントラストの値や、線広がり関数（ＬＳＦ：Ｌｉｎｅ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）や、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）であってもよい。

評価値算出部７４１は、領域Ｒ毎に、当該領域Ｒの結像性能評価値Ｙが、領域Ｒのうち当該領域Ｒ以外の領域の結像性能評価値Ｙよりも相対的に大きくなるように重みＷＹを設定する。評価値算出部７４１は、領域Ｒ毎の結像性能ＰＹに、領域Ｒ毎に設定した重みＷＹを乗じて結像性能評価値Ｙを算出する。ここで結像性能評価値Ｙが大きいほど領域Ｒの結像性能ＰＹは大きい。
評価値算出部７４１は、ステップＳ１４０の処理を、光学系条件Λ毎に、画像Ｐ１～画像ＰＮについて繰り返す。

ここで図９を参照し、結像性能ＰＹ及び重みＷＹの具体例について説明する。
図９は、本実施形態に係る結像性能ＰＹ及び重みＷＹの一例を示す図である。図９では、領域Ｒ１～領域Ｒ２５それぞれについて、結像性能ＰＹとしてＰＳＦの値が示されている。また、図９では、領域Ｒ１～領域Ｒ２５それぞれについて重みＷＹ１～重みＷＹ２５の値が示されている。

図９の例では、領域Ｒ１に対する結像性能評価値Ｙ１は０．５と算出され、領域Ｒ２に対する結像性能評価値Ｙ２は１．５と算出され、領域Ｒ２５に対する結像性能評価値Ｙ２５は１．２と算出される。

図６に戻って、学習処理の説明を続ける。
結像性能評価値Ｙの集合は、式（２）により示される。

評価値算出部７４１は、特徴量算出部７４０により算出される特徴量に基づいて重みＷＹの値を変更してよい。例えば、評価値算出部７４１は、特徴量算出部７４０により算出される網膜の中心部の特徴量に基づいて、図２の画像Ｐの領域Ｒ１２、領域Ｒ１３、領域Ｒ１７、及び領域Ｒ１８に対応する重みＷＹ１２、重みＷＹ１３、重みＷＹ１７、及び重みＷＹ１８の値を、それぞれ元の値の１．２倍の値に変更してよい。

ステップＳ１５０：関係学習部７４２は、特定の領域Ｒについて、波面状態θと結像性能評価値Ｙの関係を学習する。ここで関係学習部７４２は、例えば、ＳＶＲを用いた機械学習を用いる。関係学習部７４２は、一例として、式（３）に基づいて、特定の領域Ｒについて波面状態θと結像性能評価値Ｙの関係を学習する。なお、式（３）における「Ｌｏｓｓ」は波面状態θと結像性能評価値Ｙの間の適当な距離を示し、例えば２乗距離などを用いてもよい。

ステップＳ１６０：波面状態推定部７４３は、特定の領域Ｒについて結像性能評価値Ｙを最大にする波面状態θを推定する。ここで波面状態推定部７４３は、ＳＶＲを用いた機械学習を用いて波面状態θを推定する。波面状態推定部７４３は、一例として、式（４）に基づいて、学習された波面状態θと結像性能評価値Ｙの関係ｆが最大となるような波面状態θを推定する。

なお、本実施形態では、ステップＳ１５０及びステップＳ１６０において機械学習のアルゴリズムとして、ＳＶＲが用いられる場合について説明したが、これに限らない。
ステップＳ１５０において、関係学習部７４２は、波面状態θと結像性能評価値Ｙの関係を学習するために、パラメトリックな回帰、及びノンパラメトリックな回帰のいずれを用いてもよい。なお、ＳＶＲは、非線形なノンパラメトリック回帰のアルゴリズムの一例である。
ステップＳ１６０において、波面状態推定部７４３は、波面状態θを推定するために、グリッドサーチや、マルコフ連鎖モンテカルロ法（ＭＣＭＣ：Ｍａｒｋｏｖ ｃｈａｉｎ Ｍｏｎｔｅ Ｃａｒｌｏ ｍｅｔｈｏｄｓ）を用いてもよい。

また、ステップＳ１５０及びステップＳ１６０において、ガウス過程回帰を利用したベイズ最適化が用いられてもよい。ガウス過程回帰を利用したベイズ最適化によって、解探索の効率が本実施形態に比べて向上する場合がある。解探索の効率とは、解の精度や、学習の収束速度である。
また、波面制御装置３の波面状態θは、ピクセルを単位として表現される代わりに、Ｚｅｒｎｉｋｅ係数を用いて表現されてもよい。波面制御装置３の波面状態θがＺｅｒｎｉｋｅ係数を用いて表現される場合、解探索の効率が本実施形態に比べて向上する場合がある。

ステップＳ１７０：波面状態テーブル生成部７４４は、ステップＳ１６０における波面状態推定部７４３による推定結果に基づいて波面状態テーブルＴを生成する。波面状態テーブル生成部７４４は、生成した波面状態テーブルＴを制御装置７Ｂに供給する。

次に図１０を参照し、制御装置７Ｂによる波面制御装置３の制御処理について説明する。
図１０は、本実施形態に係る制御装置７Ｂによる波面制御装置３の制御処理の一例を示す図である。図１０に示す制御処理は、図６に示した学習処理が実行された後に実行される。

ステップＳ２００：領域設定情報取得部７０Ｂは、入力部９から供給される領域設定指示ＲＳを取得する。領域設定情報取得部７０Ｂは、取得した領域設定指示ＲＳを波面制御信号生成部７２Ｂに供給する。

ステップＳ２１０：光学系条件情報取得部７５Ｂは、結像光学系ＯＳから光学系条件情報ＬＳを取得する。光学系条件情報取得部７５Ｂは、取得した光学系条件情報ＬＳを波面制御信号生成部７２Ｂに供給する。

ステップＳ２２０：波面制御信号生成部７２Ｂは、波面状態テーブルＴを選択する。ここで波面制御信号生成部７２Ｂは、領域設定情報取得部７０Ｂから供給される領域設定指示ＲＳに基づいて特定領域ＲＣを設定する。また、波面制御信号生成部７２Ｂは、光学系条件情報取得部７５Ｂから供給される光学系条件情報ＬＳに基づいて光学系条件Λを設定する。波面制御信号生成部７２Ｂは、記憶部７３Ｂに記憶される波面状態テーブルＴのなかから、設定した光学系条件Λ、及び設定した特定領域ＲＣに対応する波面状態テーブルＴを選択する。

ここで上述したように、領域設定指示ＲＳは撮像システムＳのユーザにより入力部９を介して指定される特定領域ＲＣを示す情報である。つまり、特定領域ＲＣは、入力部９が受け付けた入力に基づいて設定される。

ステップＳ２３０：波面制御信号生成部７２Ｂは、波面制御装置３の波面状態θを制御する。ここで波面制御信号生成部７２Ｂは、ステップＳ２２０において選択された波面状態テーブルＴに基づいて、波面状態θを判定する。波面制御信号生成部７２Ｂは、判定した波面状態θを示す波面制御信号ＷＳを生成する。波面制御信号生成部７２Ｂは、生成した波面制御信号ＷＳを波面制御装置３に供給することにより、波面制御装置３の波面状態θを制御する。

ステップＳ２２０において選択された波面状態テーブルＴは、画像信号ＩＳから得られた画像Ｐ中の特定領域ＲＣに対応する。波面制御信号生成部７２Ｂが、制御する波面制御装置３の波面状態θには、特定領域ＲＣに対応する領域の波面が含まれる。つまり、波面制御信号生成部７２Ｂは、結像光学系ＯＳの瞳のうち、画像信号ＩＳから得られた画像Ｐ中の特定領域ＲＣに対応する領域の波面の位相を変化させるように波面制御装置３を制御する。

上述したように、波面状態テーブルＴは、学習処理において撮像素子６が出力する画像信号ＩＳに基づいて学習装置７Ａによって生成される。波面制御信号生成部７２Ｂは、波面状態テーブルＴに基づいて波面制御装置３を制御する。つまり、制御装置７Ｂは、撮像素子６が出力する画像信号ＩＳに基づいて波面制御装置３を制御する。
以上において、制御装置７Ｂは、波面制御装置３の制御処理を終了する。

（第１の実施形態の変形例）
上述した第１の実施形態においては、波面状態テーブルＴの生成に、光学シミュレーションが用いられる場合について説明した。ここでは第１の実施形態の変形例として、波面状態テーブルＴの生成に、光学シミュレーションの代わりに実際の撮像システムＳ（光学装置Ｄ）による撮影が用いられる場合について説明する。
本変形例の学習装置を学習装置７Ａａという。

図１１は、本実施形態に係る学習装置７Ａの構成の一例を示す図である。本変形例に係る学習装置７Ａａ（図１１）と第１の実施形態に係る学習装置７Ａ（図４）とを比較すると、学習波面制御信号生成部７２Ａａと、光学系条件取得部７５Ａａと、光学シミュレーション装置７Ｃの代わりに結像光学系ＯＳ及び波面制御装置３が備えられる点とが異なる。ここで、学習装置７Ａの構成要素（学習画像信号取得部７１Ａ、及び学習部７４）が持つ機能は第１の実施形態と同じである。第１の実施形態と同じ機能の説明は省略し、変形例では、第１の実施形態と異なる部分を中心に説明する。

学習波面制御信号生成部７２Ａは、波面制御装置３に学習波面制御信号ＬＷＳを供給する。
光学系条件取得部７５Ａは、結像光学系ＯＳから学習光学系条件情報ＬＬＳを取得する。

ここで図１２を参照し、本変形例に係る学習処理について説明する。
図１２は、本変形例に係る学習処理の一例を示す図である。なお、ステップＳ３００、ステップＳ３１０、ステップＳ３３０、ステップＳ３４０、ステップＳ３５０、及びステップＳ３６０の各処理は、図６におけるステップＳ１００、ステップＳ１１０、ステップＳ１４０、ステップＳ１５０，ステップＳ１６０、及びステップＳ１７０の各処理と同様であるため、説明を省略する。

ステップＳ３２０：撮像素子６は、被検体１として、点、パターンを撮影する。ここで一例として、撮像システムＳにおいて、点やパターンが印刷された紙が被検体１として配置される。パターンには、一例として、解像力チャートが用いられてよい。撮像素子６は、数Ｍ通りの光学系データＤＴそれぞれについて点、パターンを撮影する。つまり、撮像素子６は、ステップＳ３００においてランダムに生成された数Ｎ通りの波面状態θについて、点、パターンを撮影する。

撮像素子６は、撮像した点、パターンの像から光学系条件Λ毎に画像Ｐ１～画像ＰＮを生成する。撮像素子６は、光学系条件Λ毎の画像Ｐ１～画像ＰＮそれぞれの画素の値を、学習画像信号ＬＩＳに含め学習装置７Ａに出力する。

本変形例では、波面状態テーブルＴの生成に、実際の撮像システムＳ（光学装置Ｄ）による撮影が用いられるため、撮像システムＳ（光学装置Ｄ）の製造公差が波面状態テーブルＴに反映されるため、製造公差の影響を受けずに波面制御装置３の波面状態θを制御できる。

以上に説明したように、本実施形態に係る光学装置Ｄは、結像光学系ＯＳと、撮像素子６と、空間変調素子（この一例において、波面制御装置３）と、制御部（この一例において、制御装置７Ｂ）とを備える。
結像光学系ＯＳは、被検体１の像を形成する。
撮像素子６は、結像光学系ＯＳによって形成される被検体１の像の画像信号ＩＳを出力する。
波面制御装置３は、結像光学系ＯＳの瞳における波面の位相を変化させる。
制御部（この一例において、制御装置７Ｂ）は、撮像素子６が出力する画像信号ＩＳに基づいて波面制御装置３を制御する。

この構成により、本実施形態に係る光学装置Ｄでは、画像信号ＩＳに基づいて波面制御装置３を制御できるため、波面測定装置を使わず、光学装置の結像性能を向上させることができる。

また、本実施形態に係る光学装置Ｄでは、波面制御装置３は、結像光学系ＯＳの瞳の共役位置に配置される。
この構成により、本実施形態に係る光学装置Ｄでは、結像光学系ＯＳの瞳における波面の位相を制御できる。

また、本実施形態に係る光学装置Ｄでは、制御部（この一例において、制御装置７Ｂ）は、瞳のうち、画像信号ＩＳから得られた画像Ｐ中の特定領域ＲＣに対応する領域の波面の位相を変化させるように波面制御装置３を制御する。
この構成により、本実施形態に係る光学装置Ｄでは、画像Ｐ中の特定領域ＲＣに対応する領域の波面の位相を変化させることができるため、画像Ｐ中の特定領域ＲＣの結像性能を向上させることができる。

また、本実施形態に係る光学装置Ｄでは、ユーザからの入力を受け付ける入力部９を有し、特定領域ＲＣは、入力部９が受け付けた入力に基づいて設定される。
本実施形態に係る光学装置Ｄでは、ユーザが特定領域ＲＣを設定できるため、ユーザは画像Ｐ中の注視したい画角の結像性能を向上させることができる。

（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
上記第１の実施形態では、撮像システム（光学装置）は、画像信号と結像光学系の瞳における波面の位相との関連性が予め学習された学習結果に基づいて波面制御装置を制御する場合について説明をした。本実施形態では、撮像システム（光学装置）が、使用中に画像信号と結像光学系の瞳における波面の位相との関連性が即時に学習され、学習結果が更新される場合について説明をする。
本実施形態に係る撮像システムを撮像システムＳｂといい、光学装置を光学装置Ｄｂという。

図１３は、本実施形態に係る制御装置７Ｅの構成を示す図である。本実施形態に係る制御装置７Ｅ（図１３）と第１の実施形態に係る制御装置７Ｂ（図５）とを比較すると、画像信号取得部７１Ｅ、波面制御信号生成部７２Ｅ、学習部７４Ｅ、記憶部７３Ｅ、見え方信号取得部７６Ｅ、及びモード設定管理部７７Ｅが異なる。ここで、他の構成要素（領域設定情報取得部７０Ｂ、及び光学系条件情報取得部７５Ｂ）が持つ機能は第１の実施形態と同じである。第１の実施形態と同じ機能の説明は省略し、第２の実施形態では、第１の実施形態と異なる部分を中心に説明する。

画像信号取得部７１Ｅは、撮像素子６から供給される手術画像ＯＰの画像信号ＩＳを取得する。画像信号ＩＳとは、撮像素子６によって生成される手術画像ＯＰの各画素の値を示す信号である。
波面制御信号生成部７２Ｅは、記憶部７３Ｅに記憶されるモード設定情報ＳＴに応じて、波面状態テーブルＴとして、プリセット波面状態テーブルＴＰと、アダプティブ波面状態テーブルＴＡとのいずれかを選択する。

見え方信号取得部７６Ｅは、入力部９から供給される見え方情報ＶＳを取得する。ここで見え方情報ＶＳとは、撮像システムＳｂ（光学装置Ｄｂ）のユーザの表示部８に表示される手術画像ＯＰの見え方についての判断結果を示す信号である。手術画像ＯＰの見え方についての判断結果には、「見える」と、「見えない」とがある。「見える」は、表示部８に表示される手術画像ＯＰのうちユーザが注視する領域の解像度が十分である場合の判断結果である。「見えない」は、表示部８に表示される手術画像ＯＰのうちユーザが注視する領域の解像度が十分でない場合の判断結果である。

モード設定情報ＳＴとは、波面状態テーブルＴとして、プリセット波面状態テーブルＴＰと、アダプティブ波面状態テーブルＴＡとのいずれを用いるかの設定を示す情報である。モード設定情報ＳＴの値には、プリセット波面状態テーブルＴＰを用いることを示す「プリセット」と、アダプティブ波面状態テーブルＴＡを用いることを示す「アダプティブ」がある。

プリセット波面状態テーブルＴＰは、波面状態テーブルＴ（図５）と同じテーブルであり、予め学習によって生成されて記憶部７３Ｅに記憶される。アダプティブ波面状態テーブルＴＡは、撮像システムＳｂ（光学装置Ｄｂ）によって撮像される患者の網膜の手術画像ＯＰに基づいて生成される。

学習部７４Ｅは、撮像システムＳｂ（光学装置Ｄｂ）の使用中に、画像信号と結像光学系の瞳における波面の位相との関連性を学習する。学習部７４Ｅは、学習結果としてアダプティブ波面状態テーブルＴＡを生成し、記憶部７３Ｅに記憶させる。
ここで学習部７４Ｅ（図１３）と、学習装置７Ａの学習部７４（図４）とを比較すると、波面状態推定部７４３Ｅと、波面状態テーブル生成部７４４Ｅと、解推定範囲管理部７４５Ｅとが異なる。他の構成要素（特徴量算出部７４０、評価値算出部７４１、関係学習部７４２）が持つ機能は学習部７４（図４）と同じである。

波面状態推定部７４３Ｅは、波面状態推定部７４３の機能を有し、かつ、関係学習部７４２の学習結果に基づいて、特定の領域Ｒについて、結像性能評価値Ｙを最大にする波面状態θを、解推定範囲管理部７４５Ｅによって設定される範囲内において推定する。
波面状態テーブル生成部７４４Ｅは、波面状態テーブル生成部７４４の機能を有し、かつ、波面状態推定部７４３Ｅによる推定結果に基づいてアダプティブ波面状態テーブルＴＡを生成する。
解推定範囲管理部７４５Ｅは、波面状態推定部７４３Ｅが推定する波面状態θの範囲を設定する。

記憶部７３Ｅには、プリセット波面状態テーブルＴＰと、アダプティブ波面状態テーブルＴＡと、モード設定情報ＳＴが記憶される。

モード設定管理部７７Ｅは、入力部９から供給されるモード設定指示ＭＳが示す設定に応じて、記憶部７３Ｅに記憶されるモード設定情報ＳＴを設定する。

図１４は、本実施形態に係る制御装置７Ｅによる波面制御装置３の制御処理の一例を示す図である。なお、ステップＳ４００、及びステップＳ４１０の各処理は、図１０におけるステップＳ２００、及びステップＳ２１０の各処理と同様であるため、説明を省略する。

ステップＳ４１５：解推定範囲管理部７４５Ｅは、波面状態推定部７４３Ｅが推定する波面状態θの解の範囲Ωを設定する。ここで解推定範囲管理部７４５Ｅは、ステップＳ４００において取得された領域設定指示ＲＳによって示される特定領域ＲＣと、ステップＳ４１０において取得された光学系条件Λ０と、プリセット波面状態テーブルＴＰとに基づいて、波面状態θ０の解の範囲Ωを設定する。
解推定範囲管理部７４５Ｅが設定する範囲Ωは、式（５）のように表される。式（５）におけるΔは、プリセット波面状態テーブルＴＰに対して幅を持たせておくための量であり、予め設定される。

ステップＳ４２０：波面制御信号生成部７２Ｅは、モード設定が「プリセット」に設定されているか否かを判定する。ここで波面制御信号生成部７２Ｅは、記憶部７３Ｅに記憶されるモード設定情報ＳＴを読み出し判定を行う。

波面制御信号生成部７２Ｅは、モード設定が「プリセット」に設定されていると判定する場合（ステップＳ４２０；ＹＥＳ）、ステップＳ４３０の処理を実行する。一方、波面制御信号生成部７２Ｅは、モード設定が「プリセット」に設定されていないと判定する場合（ステップＳ４２０；ＮＯ）、ステップＳ４７０の処理を実行する。

ステップＳ４３０：波面制御信号生成部７２Ｅは、波面状態テーブルＴとして、プリセット波面状態テーブルＴＰを選択する。

ステップＳ４４０：波面制御信号生成部７２Ｅは、波面制御装置３の波面状態θを制御する。ここで波面制御信号生成部７２Ｅは、ステップＳ４３０またはステップＳ４９０において選択された波面状態テーブルＴに基づいて、波面状態θを判定する。波面制御信号生成部７２Ｅは、判定した波面状態θを示す波面制御信号ＷＳを生成する。波面制御信号生成部７２Ｅは、生成した波面制御信号ＷＳを波面制御装置３に供給することにより、波面制御装置３の波面状態θを制御する。

プリセット波面状態テーブルＴＰまたはアダプティブ波面状態テーブルＴＡは、学習部７４Ｅの学習結果である。プリセット波面状態テーブルＴＰは、画像信号ＩＳと結像光学系ＯＳの瞳における波面の位相との関連性が予め学習された学習結果である。アダプティブ波面状態テーブルＴＡは、手術画像ＯＰの画像信号ＩＳと結像光学系ＯＳの瞳における波面の位相との関連性が手術中に即時に学習されて、プリセット波面状態テーブルＴＰが変更されることによって生成される。

つまり、制御装置７Ｅは、学習部７４Ｅの学習結果と、撮像素子６が出力する画像信号ＩＳとに基づいて波面制御装置３を制御する。ここで学習部７４Ｅは、画像信号ＩＳと結像光学系ＯＳの瞳における波面の位相との関連性が予め学習されている。

ステップＳ４５０：見え方信号取得部７６Ｅは、入力部９から供給される見え方情報ＶＳを取得する。見え方信号取得部７６Ｅは、取得した見え方情報ＶＳを波面制御信号生成部７２Ｅに供給する。

ステップＳ４６０：波面制御信号生成部７２Ｅは、撮像システムＳｂ（光学装置Ｄｂ）のユーザに、表示部８に表示される手術画像ＯＰの見え方が「見える」と判断されたか否かを判定する。波面制御信号生成部７２Ｅは、ステップＳ４５０において取得した見え方情報ＶＳが「見える」を示す場合、ユーザに手術画像ＯＰの見え方が「見える」と判断されたと判定する。一方、波面制御信号生成部７２Ｅは、ステップＳ４５０において取得した見え方情報ＶＳが「見えない」を示す場合、ユーザに手術画像ＯＰの見え方が「見えない」と判断されたと判定する。

波面制御信号生成部７２Ｅは、ユーザに手術画像ＯＰの見え方が「見える」と判断されたと判定する場合（ステップＳ４６０；ＹＥＳ）、ステップＳ４７０の処理を実行する。一方、制御装置７Ｅは、波面制御信号生成部７２Ｅがユーザに手術画像ＯＰの見え方が「見える」と判断されなかったと判定する場合（ステップＳ４６０；ＮＯ）、ステップＳ５００の処理を実行する。

ステップＳ４７０；波面制御信号生成部７２Ｅは、波面制御装置３の波面状態θを維持する。つまり、波面制御信号生成部７２Ｅは、ステップＳ４６０において、ユーザに手術画像ＯＰの見え方が「見える」と判断されたと判定する場合、波面制御装置３の波面状態θを維持する。したがって、制御装置７Ｂは、所定の条件に基づいて波面制御装置３が制御された状態を固定する。

ステップＳ４８０：学習部７４Ｅは、アダプティブ学習処理を実行する。
ここで図１５を参照し、学習部７４Ｅによるアダプティブ学習処理について説明する。
図１５は、本実施形態に係るアダプティブ学習処理の一例を示す図である。図１５に示すアダプティブ学習処理は、図１４のステップＳ４８０に対応する。

ステップＳ６００：解推定範囲管理部７４５Ｅは、ステップＳ４１５において設定された範囲Ωにおいて、ステップＳ４８０のアダプティブ学習処理において波面状態推定部７４３Ｅが推定する波面状態θの解の範囲を更新する。ここで解推定範囲管理部７４５Ｅは、波面状態推定部７４３Ｅが推定する波面状態θの解の範囲を、プリセット波面状態テーブルＴＰに基づいて選択される波面状態θから変化量δだけずらずことによって更新する。例えば、解推定範囲管理部７４５Ｅは、波面状態推定部７４３Ｅが推定する波面状態θの解の範囲を式（６）のように更新する。変化量δは予め設定される。

解推定範囲管理部７４５Ｅは、波面状態推定部７４３Ｅが推定する波面状態θの解の範囲を、ステップＳ４１５において設定された範囲Ωにおいて更新する。

ステップＳ６１０：波面状態推定部７４３Ｅは、ステップＳ６００において更新された波面状態θの解の範囲において、特定領域ＲＣについて結像性能評価値Ｙを最大にする波面状態θを式（７）のように推定する。

ステップＳ６１２：波面状態テーブル生成部７４４Ｅは、ステップＳ６１０における推定結果に基づいてアダプティブ波面状態テーブルＴＡを生成する。波面状態テーブル生成部７４４Ｅは、生成したアダプティブ波面状態テーブルＴＡによって記憶部７３Ｅに記憶されるアダプティブ波面状態テーブルＴＡを更新する。

図１４に戻って、制御装置７Ｅによる波面制御装置３の制御処理の説明を続ける。
ステップＳ４９０：波面制御信号生成部７２Ｅは、波面状態テーブルＴとして、アダプティブ波面状態テーブルＴＡを選択する。

ステップＳ５００：モード設定管理部７７Ｅは、モード設定情報ＳＴとして「プリセット」または「アダプティブ」を選択する。ここでモード設定管理部７７Ｅは、入力部９から供給されるモード設定指示ＭＳを取得する。モード設定管理部７７Ｅは、取得したモード設定指示ＭＳが示す設定に応じて、記憶部７３Ｅに記憶されるモード設定情報ＳＴを設定する。ここでモード設定指示ＭＳは、「プリセット」と、「アダプティブ」とのいずれかの設定を示す。

なお、上述した図１４及び図１５の処理においては、ステップＳ４６０において、表示部８に表示される手術画像ＯＰの見え方が「見える」と判断されない場合には、波面制御信号生成部７２Ｅは、波面制御装置３の波面状態θが均一となるように波面制御装置３を制御してもよい。

以上に説明したように、本実施形態に係る光学装置Ｄｂでは、制御部（この一例において、制御装置７Ｅ）は、所定の条件（ステップＳ４６０の判定条件）に基づいて波面制御装置３が制御された状態を固定する。
この構成により、本実施形態に係る光学装置Ｄｂでは、波面制御装置３が制御された状態を固定できるため、波面制御装置３の波面状態θを一度制御すれば、ユーザが望んだ結像性能をもつ手術画像ＯＰを取得し続けることができる。本実施形態に係る光学装置Ｄｂでは、画像処理によって画像を高精細にする場合と異なり１フレーム毎の処理を必要としない。本実施形態に係る光学装置Ｄｂでは、手術画像ＯＰを動画として即時に観察した場合に、光学装置の処理による遅れが生じない。

ここで眼科手術において、患者の眼の画像において中心部や周辺部の解像度が低いため、疾患を見逃すケースや、施術がしにくいことが問題となっている。中心部や周辺部などの注視したい領域は、例えば、位相物体などの障害物により不鮮明に表示されてしまう。

近年は画像処理技術の向上により、撮像素子が取得した像よりも高精細な画像を観察することが可能になっている。しかしながら、画像処理技術では、各フレームに処理や演算が必要であるため、眼科手術中にリアルタイムに動画観察を行う場合には観察した際に遅れが生じてしまう。また、電子ズームを用いて特定の領域を注視する場合は、センサーに投影される像は変化しないため、観察される画像は光学式ズームに比べて解像度が低くなってしまう。
本実施形態に係る光学装置Ｄｂでは、表示を拡大するだけではなく、波面も修正できるため、従来技術である電子ズームよりも高精細な像を取得することができる。

一方、顕微鏡などの撮像装置の位置を変更することによって患者の眼の画像の解像度を向上させることが考えられる。しかしながら、フォーカス、瞳アライメントの観点から容易に顕微鏡の位置を変えることはできない。また、顕微鏡をどのように動かしたら見たい像が得られるか分かりにくい。
本実施形態に係る光学装置Ｄｂでは、光学素子を自動で調整できる。本実施形態に係る光学装置Ｄｂでは、光学素子の調整の十分な知見をもたないユーザであっても、波面制御装置３の波面状態θを一度制御すれば、ユーザが望んだ結像性能をもつ手術画像ＯＰを取得し続けることができる。

また、本実施形態に係る光学装置Ｄｂは、学習部７４Ｅを有する。学習部７４Ｅは、画像信号ＩＳと結像光学系ＯＳの瞳における波面の位相との関連性が予め学習されている。また、制御部（この一例において、制御装置７Ｅ）は、学習部７４Ｅの学習結果と、撮像素子６が出力する画像信号ＩＳとに基づいて波面制御装置３を制御する。
この構成により、本実施形態に係る光学装置Ｄｂでは、画像信号ＩＳと結像光学系ＯＳの瞳における波面の位相との関連性が予め学習された学習結果と、撮像素子６が出力する画像信号ＩＳとに基づいて波面制御装置３を制御できるため、学習結果に基づかない場合に比べて光学装置の結像性能を向上させることができる。

また、上述した各実施形態における学習処理には、深層学習が用いられてもよい。学習処理において深層学習が用いられる場合、深層学習のニューラルネットワークの入力層に入力される値として撮像素子６に集光される光の強度が、重みとして波面状態θがそれぞれ用いられ、出力層から出力される値が結像性能評価値Ｙに対応する。
学習処理において深層学習が用いられる場合、画像信号ＩＳと結像光学系ＯＳの瞳における波面の位相との関連性が予め学習された学習結果は深層学習により得られた結果である。

なお、上述した各実施形態では、制御装置７Ｂ及び制御装置７Ｅは、波面制御装置３の波面状態θの制御に学習結果を用いる場合について説明したが、これに限らない。制御装置７Ｂ及び制御装置７Ｅは、撮像素子６から出力される画像信号ＩＳに基づいて波面制御装置３の波面状態θを制御してもよい。
例えば、制御装置７Ｂ及び制御装置７Ｅは、画像信号ＩＳを撮像素子６から逐次取得し、画像Ｐのうちの特定領域ＲＣの結像性能ＰＹが、現在よりも高くなる波面状態θを探索してもよい。

なお、上述した各実施形態では、評価値算出部７４１が結像性能ＰＹとしていずれの値を算出するかは、予め決められている場合について説明したが、これに限らない。評価値算出部７４１が結像性能ＰＹとしていずれの値を算出するかは、撮像システムＳ（光学装置Ｄ）のユーザによって設定されてもよい。

なお、上述した各実施形態では、光学系条件Λは、学習装置７Ａ、制御装置７Ｂ、学習装置７Ａａ、及び制御装置７Ｅにより、結像光学系ＯＳや、光学シミュレーション装置７Ｃから、光学系条件情報ＬＳや学習光学系条件情報ＬＬＳとして取得される場合について説明したが、これに限らない。光学系条件Λは、学習装置７Ａ、制御装置７Ｂ、学習装置７Ａａ、及び制御装置７Ｅにより設定されて、結像光学系ＯＳや、光学シミュレーション装置７Ｃに供給されてもよい。

なお、上述した実施形態における光学装置Ｄ及び光学装置Ｄｂの一部、例えば、学習装置７Ａ、７Ａａ、及び制御装置７Ｂ、７Ｅをコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、光学装置Ｄ及び光学装置Ｄｂに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における学習装置７Ａ、７Ａａ、及び制御装置７Ｂ、７Ｅの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。学習装置７Ａ、７Ａａ、及び制御装置７Ｂ、７Ｅの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

Ｓ、Ｓｂ…撮像システム、Ｄ、Ｄｂ…光学装置Ｄ、ＯＳ…結像光学系、１…被検体、２…対物レンズ系、３…波面制御装置、４…絞り、５…結像レンズ系、６…撮像素子、７…コンピュータ、８…表示部、９…入力部、７Ａ、７Ａａ…学習装置、７１Ａ…学習画像信号取得部、７２Ａａ…学習波面制御信号生成部、７４、７４Ｅ…学習部、７４０…特徴量算出部、７４１…評価値算出部、７４２…関係学習部、７４３、７４３Ｅ…波面状態推定部、７４４、７４４Ｅ…波面状態テーブル生成部、７４５Ｅ…解推定範囲管理部、７５Ａ、７５Ａａ…光学系条件取得部、７Ｃ…光学シミュレーション装置、７０Ｃ…結像光学系シミュレーション部、７１Ｃ…波面制御シミュレーション部、７Ｄ…網膜画像データベース、７Ｂ、７Ｅ…制御装置、７０Ｂ…領域設定情報取得部、７１Ｅ…画像信号取得部、７２Ｂ、７２Ｅ…波面制御信号生成部、７３Ｂ、７３Ｅ…記憶部、７５Ｂ、７５Ｅ…光学系条件情報取得部、７６Ｅ…見え方信号取得部、７７Ｅ…モード設定管理部

Claims (16)

1. 被検体の像を形成する結像光学系と、
   前記結像光学系の結像面の互いに異なる位置に配置された第一画素と第二画素とを有し、前記結像光学系が形成する前記像のそれぞれ異なる領域における画像信号を出力する撮像素子と、
   互いに位置が異なる第一ピクセルと第二ピクセルとを有し、前記結像光学系の瞳面または前記瞳面の共役位置に配置され、前記結像光学系の瞳における波面の位相を変化させる空間変調素子と、
   前記第一画素から出力される前記像の第一領域における第一画像信号と前記第二画素から出力される前記像の第二領域における第二画像信号とに基づいて、前記第一ピクセルを制御し、かつ、前記第一及び第二画像信号とに基づいて前記第二ピクセルを制御する制御部と
   を備える光学装置。
2. 前記撮像素子は、前記画像信号から前記被検体の画像を生成し、
   前記制御部は、前記画像中の特定領域に合わせて前記波面の位相を変化させるように前記空間変調素子を制御する
   請求項１に記載の光学装置。
3. 前記特定領域の指定に関するユーザからの入力を受け付ける領域指定部を有し、
   前記特定領域は、前記領域指定部が受け付けた入力に基づいて設定される
   請求項２に記載の光学装置。
4. 前記特定領域における、点広がり関数の値、コントラストの値、線広がり関数の値、及び、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の値のうち、少なくとも一つの値を含む結像性能を算出する評価値算出部を有し、
   前記制御部は前記結像性能に基づいて前記空間変調素子を制御する
   請求項２または請求項３に記載の光学装置。
5. 前記画像の見え方に関するユーザからの入力を受け付ける見え方情報入力部を有し、
   前記制御部は、前記見え方情報入力部が受け付けた入力に基づいて前記空間変調素子を制御する、
   請求項２に記載の光学装置。
6. 前記制御部は、所定の条件に基づいて前記空間変調素子が制御された状態を固定する
   請求項１から５のいずれか一項に記載の光学装置。
7. 前記画像信号と前記瞳における前記波面の位相との関連性が予め学習された学習部を有し、
   前記制御部は、前記学習部の学習結果と、前記撮像素子が出力する前記画像信号とに基づいて前記空間変調素子を制御する
   請求項１から６のいずれか一項に記載の光学装置。
8. 前記学習結果は深層学習により得られた結果である
   請求項７に記載の光学装置。
9. 被検体の像を形成する結像光学系の瞳面または前記瞳面の共役位置に配置され、互いに位置が異なる第一ピクセルと第二ピクセルによって前記結像光学系の瞳における波面の位相を変化させる空間変調素子を、前記結像光学系の結像面の互いに異なる位置に配置された第一画素と第二画素とを有する撮像素子が前記被検体の像のそれぞれ異なる領域を撮像して得られた信号である画像信号に基づいて制御する制御部
   を備える制御装置であって、
   前記制御部は、前記第一画素から出力される前記像の第一領域における第一画像信号と前記第二画素から出力される前記像の第二領域における第二画像信号とに基づいて、前記第一ピクセルを制御し、かつ、前記第一及び第二画像信号に基づいて前記第二ピクセルを制御する制御装置。
10. 前記制御部は、前記画像信号から得られた画像中の特定領域に合わせて前記空間変調素子を制御する
    請求項９に記載の制御装置。
11. 前記特定領域は、ユーザによって設定された領域である
    請求項１０に記載の制御装置。
12. 前記制御部は、前記特定領域において算出された、点広がり関数の値、コントラストの値、線広がり関数の値、及び、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の値のうち、少なくとも一つの値を含む結像性能に基づいて前記空間変調素子を制御する
    請求項１０または請求項１１に記載の制御装置。
13. 前記制御部は、ユーザによって入力された、前記画像の見え方に関する情報に基づいて前記空間変調素子を制御する、
    請求項１０に記載の制御装置。
14. 前記制御部は、所定の条件に基づいて前記空間変調素子が制御された状態を固定する
    請求項９から１３のいずれか一項に記載の制御装置。
15. 前記画像信号と前記瞳における前記波面の位相との関連性が予め学習された学習部の学習結果と、前記撮像素子が出力する前記画像信号とに基づいて前記空間変調素子を制御する
    請求項９から１４のいずれか一項に記載の制御装置。
16. 前記学習結果は深層学習により得られた結果である
    請求項１５に記載の制御装置。

Images