JP7796889B2 - 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法 - Google Patents

Description

本発明は、情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法等に関する。

内視鏡観察等において、被写体により近接して拡大観察をすることが望まれている。しかし、光学的には画素の微細化による高解像化に伴って被写界深度が狭くなるため、画像処理技術を用いて被写界深度を拡大する技術が求められている。特許文献１には、深層学習によって撮像系の光学的劣化を補正する技術が開示されている。

国際公開第２０１８／０３７５２１号

特許文献１では、予め撮影された参照画像に光学的劣化情報を付加したものを学習画像として用いているが、学習すべき光学的劣化情報は物体距離及び像高に応じて無数に存在するため、膨大な学習画像を要し、処理に必要なネットワーク規模が大きくなることから、処理能力の低下、実装コストの増加等が懸念される。

本開示の一態様は、学習画像群と正解画像とを含むデータセットによって機械学習された学習済みモデルを記憶する記憶部と、前記学習済みモデルを用いて、第１撮像系によって撮影された画像である処理対象画像の前記第１撮像系のデフォーカスによるボケを補正する処理部と、を含む情報処理システムであって、前記学習画像群は、任意の撮像系で撮像された所定被写体に前記任意の撮像系のフォーカスが合った所定被写体画像に対し、複数の物体距離における前記第１撮像系の伝達関数または点像分布関数に基づいて、前記第１撮像系のデフォーカスによるボケの影響をシミュレートするデフォーカスシミュレート処理が行われたことで生成される複数の学習画像を含み、前記複数の学習画像の各学習画像における前記第１撮像系の光軸上の領域及び前記光軸上以外の領域に対し、前記光軸上の前記伝達関数または前記点像分布関数に基づいて前記デフォーカスシミュレート処理が行われ、前記正解画像は、前記第１撮像系のフォーカスが合う物体距離における前記伝達関数または前記点像分布関数に基づいて、前記第１撮像系のフォーカスが合う状態を前記所定被写体画像に対しシミュレートするベストフォーカスシミュレート処理が行われたことで生成される画像、または、前記所定被写体画像そのものであり、前記学習済みモデルは、前記各学習画像が前記正解画像になるように機械学習される情報処理システムに関係する。

また本開示の他の態様は、上記に記載の情報処理システムを有するプロセッサユニットと、前記プロセッサユニットに接続され、前記処理対象画像を撮像する内視鏡スコープと、を含む内視鏡システムに関係する。

また本開示の更に他の態様は、学習済みモデルを記憶する記憶部と、入力部と、処理部と、出力部を含む情報処理システムに用いられ、学習画像群と正解画像とを含むデータセットによって機械学習された学習済みモデルであって、前記学習画像群は、任意の撮像系で撮像された所定被写体に前記任意の撮像系のフォーカスが合った所定被写体画像に対し、複数の物体距離における第１撮像系の伝達関数または点像分布関数に基づいて、前記第１撮像系のデフォーカスによるボケの影響をシミュレートするデフォーカスシミュレート処理が行われたことで生成される複数の学習画像を含み、前記複数の学習画像の各学習画像における前記第１撮像系の光軸上の領域及び前記光軸上以外の領域に対し、前記光軸上の前記伝達関数または前記点像分布関数に基づいて前記デフォーカスシミュレート処理が行われ、前記正解画像は、前記第１撮像系のフォーカスが合う物体距離における前記伝達関数または前記点像分布関数に基づいて、前記第１撮像系のフォーカスが合う状態を前記所定被写体画像に対しシミュレートするベストフォーカスシミュレート処理が行われたことで生成される画像、または、前記所定被写体画像そのものであり、前記学習済みモデルは、前記各学習画像が前記正解画像になるように機械学習され、前記入力部は、前記第１撮像系によって撮影された画像である処理対象画像を前記学習済みモデルに入力し、前記処理部は、前記学習済みモデルを用いて、前記処理対象画像の前記第１撮像系のデフォーカスによるボケを補正する補正処理を行い、前記出力部は、前記補正処理による補正画像を出力する学習済みモデルに関係する。

また本開示の更に他の態様は、上記に記載の学習済みモデルを記憶している情報記憶媒体に関係する。

また本開示の更に他の態様は、学習画像群と正解画像を含むデータセットによって機械学習された学習済みモデルによって、第１撮像系によって撮影された画像である処理対象画像の前記第１撮像系のデフォーカスによるボケを補正する情報処理方法であって、前記学習画像群は、任意の撮像系で撮像された所定被写体に前記任意の撮像系のフォーカスが合った所定被写体画像に対し、複数の物体距離における前記第１撮像系の伝達関数または点像分布関数に基づいて、前記第１撮像系のデフォーカスによるボケの影響をシミュレートするデフォーカスシミュレート処理が行われたことで生成される複数の学習画像を含み、前記複数の学習画像の各学習画像における前記第１撮像系の光軸上の領域及び前記光軸上以外の領域に対し、前記光軸上の前記伝達関数または前記点像分布関数に基づいて前記デフォーカスシミュレート処理が行われ、前記正解画像は、前記第１撮像系のフォーカスが合う物体距離における前記伝達関数または前記点像分布関数に基づいて、前記第１撮像系のフォーカスが合う状態を前記所定被写体画像に対しシミュレートするベストフォーカスシミュレート処理が行われたことで生成される画像、または、前記所定被写体画像そのものであり、前記学習済みモデルは、前記各学習画像が前記正解画像になるように機械学習される情報処理方法に関係する。

情報処理システムの構成例を説明するブロック図。 情報処理システムのより詳細な構成例を説明するブロック図。 情報処理システムの処理例を説明するフローチャート。 学習装置の構成例を説明するブロック図。 訓練モデルを説明する図。 ニューラルネットワークを説明する図。 学習済みモデル作成処理を説明するフローチャート。 本実施形態の機械学習の例を説明する図。 被写界深度と目標被写界深度の関係を説明する図。 画像データ生成処理の例について説明する図。 画像データ生成処理の別の例を説明する図。 伝達関数または点像分布関数を説明する図。 本実施形態のデフォーカスシミュレート処理を説明する図。 内視鏡システムの例を説明するブロック図。 内視鏡システムの別の例を説明するブロック図。 デフォーカスシミュレート処理に係る物体距離とＭＴＦの関係を説明する図。 デフォーカスシミュレート処理に係る物体距離とＭＴＦの関係を説明する別の図。 デフォーカスシミュレート処理の具体的な演算手法を説明する図。 デフォーカスシミュレート処理の具体的な演算手法を説明する別の図。 ベストフォーカスシミュレート処理の具体的な演算手法を説明する図。 ベストフォーカスシミュレート処理の具体的な演算手法を説明する別の図。 第１撮像系のレンズ構成の例を説明する図。 第１撮像系のレンズ構成の例を説明する別の図。 ディストーション量を説明する図。 位相変調素子を含むレンズ構成を説明する図。 位相変調素子を含むことによるＭＴＦの変化の例を説明する図。 画像データ生成処理の別の例を説明する図。 デフォーカスシミュレート処理の別の例を説明する図。 画像データ生成処理の別の例を説明する図。 デフォーカスシミュレート処理の別の例を説明する図。 ベストフォーカスシミュレート処理の別の例を説明する図。 情報処理システムの別の構成例を説明する図。 画像データ生成処理の別の例を説明する図。 デフォーカスシミュレート処理の別の例を説明する図。 モザイク処理とデモザイク処理の関係を説明する図。 ベストフォーカスシミュレート処理の別の例を説明する図。 情報処理システムの別の構成例を説明する図。 情報処理システムの別の処理例を説明するフローチャート。 第１学習済みモデル作成処理を説明するフローチャート。 第２学習済みモデル作成処理を説明するフローチャート。 画像データ生成処理の別の例を説明する図。 デフォーカスシミュレート処理の別の例を説明する図。 ベストフォーカスシミュレート処理の別の例を説明する図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。例えば、以下では情報処理システムを医療用内視鏡に適用する場合を例に説明するが、これに限定されず、本発明の情報処理システムを種々の撮影システム又は映像表示システムに適用できる。例えば、スチールカメラ、ビデオカメラ、テレビ受像機、顕微鏡、又は工業用内視鏡に、本発明の情報処理システムを適用できる。

図１は、本実施形態の情報処理システム１００の構成例を説明するブロック図である。本情報処理システム１００は、記憶部１１０と、処理部１３０を含む。記憶部１１０は、機械学習された学習済みモデル１２０を記憶する。学習済みモデル１２０は、処理対象画像のデフォーカスによるボケを補正した補正画像を出力するプログラムモジュールであり、後述の機械学習が行われることにより生成または更新される。処理対象画像とは、例えば図１に示すように第１撮像系１０１によって撮影された画像データであるが、これに限らず、詳細は後述する。なお、本実施形態において、デジタルデータとして処理可能な画像データを単に画像と呼ぶことがある。学習画像群３２Ｇとは、第１学習画像３２－１、第２学習画像３２－２、…、第Ｎ学習画像３２－Ｎからなる学習画像３２の集合であり、正解画像３６とともに詳細は後述する。つまり、本実施形態の処理部１３０は、学習済みモデル１２０を用いて、第１撮像系１０１によって撮影された画像である処理対象画像の第１撮像系１０１のデフォーカスによるボケを補正する。なお、記憶部１１０、処理部１３０を、それぞれ記憶装置、処理装置とも呼ぶ。

本実施形態における機械学習とは、例えば教師あり学習である。教師あり学習における訓練データは、入力データと正解ラベルとを対応付けたデータセットである。具体的には本実施形態の学習済みモデル１２０は、様々なボケの影響をシミュレートした学習画像３２からなる入力データと、フォーカスが合った正解画像３６からなる正解ラベルとを対応づけたデータセットに基づいた教師あり学習によって生成されている。

本実施形態の処理部１３０は、下記のハードウェアにより構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ等である。１又は複数の回路素子は例えば抵抗、キャパシタ等である。

また、処理部１３０は、下記のプロセッサにより実現されてもよい。本実施形態の処理部１３０は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。メモリは例えば記憶部１１０である。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。メモリは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリであってもよいし、レジスタであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピューターにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１３０の各部の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

また、本実施形態の学習済みモデル１２０は、図２の構成例に示す情報処理システム１００に用いられてもよい。つまり、本実施形態の学習済みモデル１２０は、学習済みモデル１２０を記憶する記憶部１１０と、入力部１４０と、処理部１３０と、出力部１５０を含む情報処理システム１００に用いられ、学習画像群３２Ｇと正解画像３６とを含むデータセットによって機械学習されている。

入力部１４０は、外部から処理対象画像を受信するインターフェースである。具体的には、例えば図１、図２に示すように第１撮像系１０１から画像データを処理対象画像として受信する画像データインターフェースである。例えば入力部１４０は、受信した処理対象画像を、学習済みモデル１２０への入力データとし、処理部１３０が後述する処理を行うことで、入力部１４０としての機能が果たされる。つまり、本実施形態の学習済みモデル１２０において、入力部１４０は、第１撮像系１０１によって撮影された画像である処理対象画像を学習済みモデル１２０に入力する。

出力部１５０は、前述の補正画像を外部に送信するインターフェースである。例えば学習済みモデル１２０からの出力データを、出力部１５０が送信した補正画像とすることで、出力部１５０としての機能を果たす。補正画像の送信先は、例えば情報処理システム１００に接続された所定の表示装置であり、例えば出力部１５０を当該所定の表示装置と接続可能なインターフェースとすることで表示装置に補正画像が表示され、出力部１５０としての機能を果たす。なお、補正画像の出力先は外部機器の記憶装置等であってもよい。

図３は、本実施形態の情報処理システム１００によって行われる手法を説明するフローチャートである。処理部１３０は、処理対象画像読み込み（ステップＳ１０）、学習済みモデル読み込み（ステップＳ２０）を行った後に、補正処理（ステップＳ３０）を行う。具体的には例えば処理部１３０は、入力部１４０を介して受信した処理対象画像を、記憶部１１０から読み出した学習済みモデル１２０に入力する処理を行う。学習済みモデル１２０は、入力データである処理対象画像が学習画像３２と共通していると判断した場合、出力すべきデータは正解画像３６と推定することから、処理対象画像が入力されると正解画像３６を出力する。処理対象画像と正解画像３６を比較すると、正解画像３６は、処理対象画像における第１撮像系１０１のデフォーカスによるボケを補正した画像という関係が成り立つ。つまり、処理部１３０は、学習済みモデル１２０を用いて、処理対象画像の第１撮像系１０１のデフォーカスによるボケを補正する補正処理（ステップＳ３０）を行う。

その後、処理部１３０は、補正画像出力（ステップＳ４０）を行う。具体的には、前述のように出力部１５０が機能することで、補正画像が所望の出力先に出力される。言い換えれば、出力部１５０は、補正処理による補正画像を出力する。

次に、学習済みモデル１２０の機械学習について説明する。機械学習は例えば学習装置１０によって行われる。図４は、学習装置１０の構成例を示すブロック図である。学習装置１０は、例えば通信部１２と学習装置処理部１６と学習装置記憶部１８を含む。

通信部１２は情報処理システム１００と所定の通信方式で通信可能な通信インターフェースである。所定の通信方式は例えばＷｉ－Ｆｉ（登録商標）等の無線通信規格に準拠した通信方式であるが、これに限らずＵＳＢ等の有線通信規格に準拠した通信方式であってもよい。これにより、学習装置１０は、後述する手法により機械学習した学習済みモデル１２０を情報処理システム１００に送信し、情報処理システム１００は学習済みモデル１２０を更新することができる。なお、図４は、学習装置１０と情報処理システム１００を別々にした例であるが、情報処理システム１００が学習装置１０に相当する学習サーバを含む構成例にすることを妨げるものではない。

学習装置処理部１６は、通信部１２、学習装置記憶部１８等の各機能部との間でデータの入出力制御を行う。学習装置処理部１６は、図１の処理部１３０と同様のプロセッサにより実現できる。学習装置処理部１６は、学習装置記憶部１８から読みだした所定のプログラム、図４に不図示の操作部からの操作入力信号等に基づいて、各種の演算処理を実行し、情報処理システム１００へのデータ出力動作等を制御する。ここでの所定のプログラムは、機械学習プログラムを含む。つまり、学習装置処理部１６は、学習装置記憶部１８から機械学習プログラムと必要なデータ等を読み出して実行することで、機械学習の機能を果たす。

学習装置記憶部１８は、不図示の機械学習プログラムのほか、訓練モデル２０、所定被写体画像３０、光学系情報４０を記憶する。学習装置記憶部１８は、前述の記憶部１１０と同様の半導体メモリ等により実現できる。なお、学習装置記憶部１８は、さらに他の情報を含んでもよい。他の情報とは、例えば後述の撮像素子情報５０等である。

所定被写体画像３０は、処理対象画像に係る被写体の画像であり、後述する学習画像３２及び正解画像３６は、所定被写体画像３０に基づき作成される。つまり、学習装置記憶部１８には、処理対象画像となり得る被写体の種類の数だけの所定被写体画像３０が予め記憶されている。より具体的な例を挙げると、情報処理システム１００が後述する内視鏡システム３００に用いられる場合、後述する内視鏡スコープ３１０により撮像される内腔等の撮像画像が、所定被写体画像３０となる。なお、以降の説明において、所定被写体画像３０を撮像する撮像系について特に問わない場合における撮像系を便宜上、任意の撮像系１０４と呼ぶことにする。撮像系を限定した上で所定被写体画像３０を撮像した場合については後述する。

訓練モデル２０は、学習装置処理部１６による機械学習の対象となるモデルである。ここでのモデルとは、推定対象データと推定結果データとの対応関係を導出する情報である。より具体的には、推定対象データである学習画像３２から、推定結果データである出力画像３４を導出する情報である。本実施形態の訓練モデル２０において、モデルの少なくとも一部にニューラルネットワークＮＮが含まれている。ニューラルネットワークＮＮの詳細については図６で後述する。なお、前述のように、情報処理システム１００と学習装置１０が一体化されている場合は、学習済みモデル１２０を対象に機械学習してもよい。

例えば第１学習画像３２－１が訓練モデル２０に入力されると、訓練モデル２０は、第１出力画像３４－１を出力する。同様に、第Ｎ学習画像３２－Ｎが訓練モデル２０に入力されると、訓練モデル２０は第Ｎ出力画像３４－Ｎを出力する。つまり、図５に示すように、本実施形態の学習装置１０において、第１学習画像３２－１～第Ｎ学習画像３２－ＮからなるＮ個の画像が学習画像群３２Ｇとして訓練モデル２０に入力される。

図６は、ニューラルネットワークＮＮを説明する模式図である。ニューラルネットワークＮＮは、データが入力される入力層と、入力層からの出力に基づいて演算を行う中間層と、中間層からの出力に基づいてデータを出力する出力層を有する。図６においては、中間層が２層であるネットワークを例示するが、中間層は１層であってもよいし、３層以上であってもよい。また各層に含まれるノードの数は図６の例に限定されず、種々の変形実施が可能である。図６に示すように、所与の層に含まれるノードは、隣接する層のノードと結合される。各結合には重み付け係数が設定されている。各ノードは、前段のノードの出力と重み付け係数を乗算し、乗算結果の合計値を求める。さらに各ノードは、合計値に対してバイアスを加算し、加算結果に活性化関数を適用することによって当該ノードの出力を求める。この処理を、入力層から出力層へ向けて順次実行することによって、ニューラルネットワークＮＮの出力が求められる。なお活性化関数としては、シグモイド関数やＲｅＬＵ関数等の種々の関数が知られており、本実施形態ではそれらを広く適用可能である。

ニューラルネットワークＮＮには種々の構成のモデルが知られており、本実施形態ではそれらを広く適用可能である。例えばニューラルネットワークＮＮは、ＣＮＮ（Convolutional Neural Network）であってもよいし、ＲＮＮ（Recurrent Neural Network）であってもよいし、他のモデルであってもよい。

図７は、学習済みモデル作成処理（ステップＳ１００）の処理例を説明するフローチャートである。学習済みモデル作成処理（ステップＳ１００）は機械学習により学習済みモデル１２０を作成または更新する処理である。学習装置処理部１６は、所定被写体画像読み込み（ステップＳ１１０）を行った後、画像データ生成処理（ステップＳ１２０）を行う。例えば学習装置処理部１６は、学習装置記憶部１８から所定被写体画像３０を読み出し、所定被写体画像３０を用いて学習画像３２と正解画像３６を生成する所定の処理を行う。所定の処理とは、デフォーカスシミュレート処理（ステップＳ２００）、ベストフォーカスシミュレート処理（ステップＳ３００）等であり、詳細は後述する。

その後、学習装置処理部１６は、補正学習処理（ステップＳ１３０）を行う。例えば学習装置処理部１６は、学習装置記憶部１８から訓練モデル２０を読み出す処理と、画像データ生成処理（ステップＳ１２０）で生成した学習画像３２を訓練モデル２０に入力する処理と、訓練モデル２０から出力された出力画像３４と正解画像３６に基づいて機械学習処理を行う。

出力画像３４と正解画像３６に基づく機械学習処理とは、例えば図８に示すように、第１出力画像３４－１～第Ｎ出力画像３４－Ｎを正解画像３６になるようにニューラルネットワークＮＮのネットワークパラメータを変更する処理である。ニューラルネットワークＮＮのネットワークパラメータを変更する処理とは、具体的には例えばニューラルネットワークＮＮにおける適切な重み付け係数の更新を行う処理である。ここでの重み付け係数は、バイアスを含む。重み付け係数の更新においては、例えば出力層から入力層に向かって重み付け係数を更新していく誤差逆伝播法を利用することができる。つまり、学習装置１０は、学習データのうちの入力データをモデルに入力し、そのときの重み付け係数を用いてモデル構成に従った順方向演算を行うことによって出力を求める。当該出力と、正解ラベルとに基づいて誤差関数が算出され、当該誤差関数を小さくするように、重み付け係数の更新が行われる。

より具体的には、例えば学習装置処理部１６は、訓練モデル２０に含まれるニューラルネットワークＮＮに、第１学習画像３２－１を入力データとして入力し、そのときの重み付け係数を用いた順方向の演算を行うことによって、出力データである第１出力画像３４－１を出力する。学習装置処理部１６は、第１出力画像３４－１と正解ラベルである正解画像３６に基づいて、誤差関数を演算する。そして誤差関数を小さくするように、重み付け係数を更新する処理を行う。また、学習装置処理部１６は、第２出力画像３４－２～第Ｎ出力画像３４－Ｎについても、同様の処理を繰り返し行う。このようにすることで、複数種類の学習画像３２に対して一の正解画像３６が出力できるように、訓練モデル２０は機械学習される。これにより、機械学習された訓練モデル２０を学習済みモデル１２０として情報処理システム１００に出力することで、記憶部１１０に記憶された学習済みモデル１２０は更新される。なお、図４では学習装置１０と情報処理システム１００は通信部１２を介して通信接続されているように図示しているが、学習装置１０と情報処理システム１００は通信接続されていなくてもよい。この場合、例えばユーザは、情報記憶媒体に訓練モデル２０を学習済みモデル１２０として一時的に記憶させる処理を学習装置１０に対して行い、当該情報記憶媒体を所持して情報処理システム１００の有る位置まで移動し、当該情報記憶媒体に基づき学習済みモデル１２０を更新する処理を情報処理システム１００に対して行うことで、学習済みモデル１２０の更新が実現できる。

図９は、本実施形態の第１撮像系１０１について、光軸を横軸にした場合における焦点深度と被写界深度の関係を説明する図である。なお、図９は便宜的な図示であり、第１撮像系１０１の具体的なレンズの構成を示すものではない。例えば図９において、ＤＰ１に示す範囲が、第１撮像系１０１の光学設計上の焦点深度に対応する被写界深度である。そのため、例えば被写体と第１撮像系１０１の距離がＤ１に示す第１物体距離であった場合、被写体は被写界深度の範囲外に位置していることから、第１撮像系１０１により撮像すると、デフォーカスによるボケの影響を含む処理対象画像が得られる。また、例えば被写体と第１撮像系１０１の距離がＤ２に示す第２物体距離であった場合、当該被写体は被写界深度内に位置していることから、フォーカスが合った処理対象画像となる。なお、例えば被写体と第１撮像系１０１の距離がＤ３に示す物体距離であった場合、つまり被写界深度において光軸上のＰ１に示す位置はベストフォーカス条件を満たす位置である。なお、図９では、Ｄ１に示す第１物体距離及びＤ２に示す第２物体距離はＰ１に示す位置から近点側に図示しているが、近点側に限定されるものではなく、遠点側であってもよい。以下の説明及び図示において、近点側の物体距離等を例示しつつ本実施形態の手法を説明するが、本実施形態の手法は遠点側の物体距離等を用いても適用できることを妨げるものではない。

例えば第１撮像系１０１を搭載するシステムにおいて、画素を微細化して高解像度化を図ると、被写界深度が狭くなるため、被写界深度の拡大が望まれる。また、例えば第１撮像系１０１を後述する内視鏡システム３００の内視鏡スコープ３１０に用いる場合、所望の被写体に対して内視鏡スコープ３１０をベストフォーカスの位置に合わせる作業は困難を伴うことから、被写界深度の拡大が望まれている。

そこで、本実施形態では、予め撮像した所定被写体画像３０に対してボケの影響をシミュレートした画像を学習画像３２とし、フォーカスが合った画像を正解画像３６とするデータセットとして図８等で前述した機械学習を行った学習済みモデル１２０が情報処理システム１００に組み込まれる。このようにすることで、デフォーカスによるボケの影響が付加された撮像画像を処理対象画像とし、図３の処理を行うことにより、フォーカスが合った補正画像として情報処理システム１００から出力される。これにより、第１撮像系１０１の被写界深度の範囲を実質的に拡大することができる。

より具体的には、被写界深度を図９のＤＰ１に示す範囲から、ＤＰ２に示す範囲まで実質的に拡大することができる。実質的に拡大するとは、光学的には被写界深度が拡大されていないが、情報処理システム１００が行う画像処理により、本来被写界深度の範囲外に位置する被写体を、あたかも被写界深度の範囲内に位置しているように撮像できる範囲まで、見かけ上被写界深度を拡大することである。つまり、第１撮像系１０１からＤ１に示す物体距離だけ離れた位置に被写体が位置すると、ボケが付加された処理対象画像が第１撮像系１０１から出力されるが、ＤＰ２に示す実質的な被写界深度の範囲内に、当該位置が位置しているため、当該処理対象画像は、フォーカスが合う補正画像に補正され、情報処理システム１００から出力される。また、以降の説明において、本実施形態の学習済みモデル１２０を用いて拡大した、図９のＤＰ２に示す実質的な被写界深度を目標被写界深度と呼ぶ。なお、ここでのフォーカスが合う補正画像とは、画像全体で厳密にフォーカスが合う必要は無い。例えば出力された補正画像の一部がボケていても、例えば内視鏡スコープ３１０を用いた処置等が実行可能であれば、情報処理システム１００の機能として足りるとユーザは判断してもよい。つまり、本実施形態の目標被写界深度の距離は、光学的に定まる被写界深度の距離より広い距離ではあるが、ユーザの許容度合い等に応じて変動し得る距離である。したがって、図９に示すＤＰ２は便宜的に示しているに過ぎず、一定の長さを示しているものではない。以降の説明においても同様である。

本実施形態の学習済みモデル１２０は、ＤＰ２に示す目標被写界深度とＤＰ１に示す被写界深度との差として、図９のＤＰ１０に示す範囲に位置した被写体を撮像して得られたボケ画像を、フォーカスが合う画像に補正できるよう機械学習されている。言い換えれば、ＤＰ１０に示す距離が、機械学習に必要な距離である。

当該機械学習に必要な学習画像３２と正解画像３６を生成するための画像データ生成処理（ステップＳ１２０）の手法について、図１０を用いて説明する。なお、画像データ生成処理の手法は図１０に限らず、後述するように種々の変形実施が可能である。そこで図１０に示す画像データ生成処理は、ステップＳ１２０－１とも呼ぶことができるものとする。

なお本実施形態の所定被写体画像３０はいずれの例においても、撮像した撮像系のフォーカスが合う物体距離によって撮像されているものとする。

学習装置処理部１６は、任意の撮像系１０４によって撮像された所定被写体画像３０に対してデフォーカスシミュレート処理（ステップＳ２００）を行うことにより学習画像３２を生成する。以降の説明において、例えば第１学習画像３２－１を生成するためのデフォーカスシミュレート処理はステップＳ２００－１とも呼ぶことができるものとし、同様に第Ｎ学習画像３２－Ｎを生成するためのデフォーカスシミュレート処理はステップＳ２００－Ｎと呼ぶことができるものとする。後述するステップＳ２０２、ステップＳ２０４、ステップＳ２０６、ステップＳ２０８、ステップＳ２１０、ステップＳ２２０、ステップＳ２３０も同様である。例えば学習装置処理部１６は、デフォーカスシミュレート処理（ステップＳ２００－１）によって第１学習画像３２－１を生成するにあたり、読み込んだ光学系情報４０から第１物体距離の情報を選択する。同様に、学習装置処理部１６は、ステップＳ２００－２によって第２学習画像３２－２を生成するにあたり、読み込んだ光学系情報４０から第２物体距離の情報を選択する。つまり、本実施形態において、第Ｎ学習画像３２－Ｎに対応する光学系情報４０は、第Ｎ物体距離であり、学習装置処理部１６は、第Ｎ学習画像３２－Ｎを生成するにあたり、光学系情報４０から対応する第Ｎ物体距離の情報を選択すると拡張して表現できる。以降の説明において、デフォーカスシミュレート処理は、第１学習画像３２－１を生成するための処理について例示するが、第２学習画像３２－２～第Ｎ学習画像３２－Ｎを生成する場合についても同様の処理となる。

また、学習装置処理部１６は、ベストフォーカスシミュレート処理（ステップＳ３００）を所定被写体画像３０に対して行うことにより正解画像３６を生成する。例えば学習装置処理部１６は、読み込んだ光学系情報４０から第１撮像系１０１のフォーカスが合う物体距離の情報を選択する。第１撮像系１０１のフォーカスが合う物体距離の情報は、例えばＤ３に示すように、第１撮像系１０１から図９のＰ１に示す点までの設計上の距離であり、いわゆるベストフォーカス条件に相当する物体距離である。

なお、本実施形態の画像データ生成処理は、図１１のようにしてもよい。図１１に示す画像データ生成処理は、ステップＳ１２０－２とも呼ぶことができるものとする。また、図１０と同様の処理については、説明を適宜省略する。

図１１のステップＳ１２０－２においては、ベストフォーカスシミュレート処理（ステップＳ３００）を行わず、正解画像３６を所定被写体画像３０そのものとする点で、図１０のステップＳ１２０－１と異なる。所定被写体画像３０が任意の撮像系１０４のフォーカスが合う物体距離で撮像されている画像であるならば、正解画像３６として利用可能だからである。

図１２、図１３を用いてデフォーカスシミュレート処理（ステップＳ２００）について説明する。デフォーカスシミュレート処理（ステップＳ２００）を行うにあたり読み込む光学系情報４０は、伝達関数または点像分布関数の情報を含む。伝達関数または点像分布関数は光軸方向のデフォーカス量と、光軸に垂直な平面における像高に依存して変化する。例えば、第１物体距離において、光軸に垂直な方向かつ所定被写体画像３０と同じサイズの領域を、領域ＦＣ１１－１、領域ＦＣ１２－１、領域ＦＣ１３－１、領域ＦＣ２１－１、領域ＦＣ２２－１、領域ＦＣ２３－１、領域ＦＣ３１－１、領域ＦＣ３２－１、領域ＦＣ３３－１に分割したとする。この場合、第１物体距離における伝達関数または点像分布関数は分割した領域ごとに異なる値を示し得る。同様に、例えば、第Ｎ物体距離において、光軸に垂直な方向かつ所定被写体画像３０と同じサイズの領域を、領域ＦＣ１１－Ｎ、領域ＦＣ１２－Ｎ、領域ＦＣ１３－Ｎ、領域ＦＣ２１－Ｎ、領域ＦＣ２２－Ｎ、領域ＦＣ２３－Ｎ、領域ＦＣ３１－Ｎ、領域ＦＣ３２－Ｎ、領域ＦＣ３３－Ｎに分割したとする。この場合、第Ｎ物体距離における伝達関数または点像分布関数は分割した領域ごとに異なる値を示し得る。また、領域ＦＣ１１－１の伝達関数または点像分布関数と領域ＦＣ１１－Ｎの伝達関数または点像分布関数は異なる値を示し得る。領域ＦＣ１２－１と領域ＦＣ１２－Ｎ、…、領域ＦＣ３３－１と領域ＦＣ３３－Ｎの場合についても同様である。このように、学習画像群３２ＧがＮ個からなる学習画像３２の集合であるならば、図１２に示すように、機械学習を行うにあたり伝達関数または点像分布関数の情報は膨大となる。

その点、本実施形態においては、機械学習を行うにあたり、光軸上の伝達関数または点像分布関数を用いる。本実施形態において、領域ＦＣ２２－１が第１撮像系１０１の光軸が通る領域とする。つまり、領域ＦＣ２２－１における伝達関数または点像分布関数が、第１物体距離における第１撮像系１０１の光軸上の伝達関数または点像分布関数である。同様に、領域ＦＣ２２－Ｎにおける第Ｎ物体距離における伝達関数または点像分布関数が、第Ｎ物体距離における第１撮像系１０１の光軸上の伝達関数または点像分布関数である。なお、図１２では伝達関数または点像分布関数を９分割しているが、あくまでも例示であり、図１３においても同様である。例えば図１２の領域ＦＣ２２－１～ＦＣ２２－Ｎは、縦方向と横方向にそれぞれ所定の画素数が含まれる集合であるが、１画素であってもよい。つまり、本実施形態における光軸上の伝達関数または点像分布関数とは、光軸を通る１画素分の面積または当該画素を含む所定の数の画素分の面積の少なくとも一方における、伝達関数または点像分布関数である。

図１３に示すように、デフォーカスシミュレート処理（ステップＳ２００）において、所定被写体画像３０に対して、第１撮像系１０１の光軸上の伝達関数または光軸上の点像分布関数に基づき、ボケの影響をシミュレートする処理（ステップＳ２１０）が行われる。なお、ステップＳ２１０の詳細は後述する。つまり、所定被写体画像３０の光軸上の以外の領域に対しても、第１撮像系１０１の光軸上の伝達関数または光軸上の点像分布関数に基づき、ステップＳ２１０が行われる。例えば所定被写体画像３０を図１２と同様に、領域ＡＲ１１、領域ＡＲ１２、領域ＡＲ１３、領域ＡＲ２１、領域ＡＲ２２、領域ＡＲ２３、領域ＡＲ３１、領域ＡＲ３２、領域ＡＲ３３に９分割したとする。例えば第１学習画像３２－１を生成する場合、学習装置処理部１６は、図１２のＦＣ２２－１に示す、光軸上の伝達関数または点像分布関数を用いて領域ＡＲ１１に対してステップＳ２１０－１の演算を行う。なお、以降の説明及び図１３の図示において、この演算をＡＲ１１＊ＦＣ２２－１と簡略して表記する。他の領域を用いるステップＳ２１０等の演算についても同様である。また、ここでの「＊」は、詳細は後述するが、例えば点像分布関数としてＰＳＦを用いる場合はコンボリューションを示す。また、例えば伝達関数としてＯＴＦを用いる場合は、「＊」は、領域ＡＲ１１をフーリエ変換した周波数特性に、領域ＦＣ２２－１のＯＴＦを乗算することを示す。

さらに、学習装置処理部１６は、領域ＡＲ１２～領域ＡＲ３３に対しても、ＦＣ２２－１に示す光軸上の伝達関数または点像分布関数を用いてステップＳ２１０－１を行う。つまり、図１３では一部省略しているが、学習装置処理部１６は、ＡＲ１２＊ＦＣ２２－１、ＡＲ１３＊ＦＣ２２－１、ＡＲ２１＊ＦＣ２２－１、ＡＲ２２＊ＦＣ２２－１、ＡＲ２３＊ＦＣ２２－１、ＡＲ３１＊ＦＣ２２－１、ＡＲ３２＊ＦＣ２２－１、ＡＲ３３＊ＦＣ２２－１を行っている。このように、学習装置処理部１６は、所定被写体画像３０と同一の領域を所望の数の領域に分割し、分割したうちの１つ領域の伝達関数または点像分布関数を用いて、ステップＳ２１０を行う。

同様に、生成された第１学習画像３２－１を、領域ＢＲ１１－１、領域ＢＲ１２－１、領域ＢＲ１３－１、領域ＢＲ２１－１、領域ＢＲ２２－１、領域ＢＲ２３－１、領域ＢＲ３１－１、領域ＢＲ３２－１、領域ＢＲ３３－１に９分割したとする。領域ＢＲ１１－１は、前述の領域ＡＲ１１に対してステップＳ２１０－１を行った結果に対応する。つまり、図１３に示すようにＢＲ１１－１＝ＡＲ１１＊ＦＣ２２－１となる。同様に、ＢＲ１２－１＝ＡＲ１２＊ＦＣ２２－１、ＢＲ１３－１＝ＡＲ１３＊ＦＣ２２－１、ＢＲ２１－１＝ＡＲ２１＊ＦＣ２２－１、ＢＲ２２－１＝ＡＲ２２＊ＦＣ２２－１、ＢＲ２３－１＝ＡＲ２３＊ＦＣ２２－１、ＢＲ３１－１＝ＡＲ３１＊ＦＣ２２－１、ＢＲ３２－１＝ＡＲ３２＊ＦＣ２２－１、ＢＲ３３－１＝ＡＲ３３＊ＦＣ２２－１となる。

この手法は、第Ｎ学習画像３２－Ｎを生成する場合においても同様である。つまり学習装置処理部１６は、図示は省略するが、ＢＲ１１－Ｎ＝ＡＲ１１＊ＦＣ２２－Ｎ、ＢＲ１２－Ｎ＝ＡＲ１２＊ＦＣ２２－Ｎ、…、ＢＲ２２－Ｎ＝ＡＲ２２＊ＦＣ２２－Ｎ、…、ＢＲ３２－Ｎ＝ＡＲ３２＊ＦＣ２２－Ｎ、ＢＲ３３－Ｎ＝ＡＲ３３＊ＦＣ２２－Ｎを行っている。以上のことから、各学習画像３２における第１撮像系１０１の光軸上の領域（ＢＲ２２）及び光軸上以外の領域（ＢＲ１１、…、ＢＲ２１、ＢＲ２３、…ＢＲ３３）に対し、光軸上の伝達関数または点像分布関数（ＦＣ２２）に基づいてデフォーカスシミュレート処理（ステップＳ２００）が行われる。

本実施形態の伝達関数とは、光学伝達関数またはＯＴＦとも言うことができる。ＯＴＦはOptical Transfer Functionの略である。また、本実施形態の点像分布関数は点広がり関数またはＰＳＦとも言うことができる。ＰＳＦはPoint Spread Functionの略である。ＯＴＦはＰＳＦをフーリエ変換した結果である。言い換えれば、ＰＳＦはＯＴＦを逆フーリエ変換した結果である。また、ＯＴＦは複素関数であり、ＯＴＦの絶対値は変調伝達関数、振幅伝達関数またはＭＴＦという。ＭＴＦはModulation Transfer Functionの略である。

以上のことから、本実施形態の情報処理システム１００は、学習画像群３２Ｇと正解画像３６とを含むデータセットによって機械学習された学習済みモデル１２０を記憶する記憶部１１０と、学習済みモデル１２０を用いて、第１撮像系１０１によって撮影された画像である処理対象画像の第１撮像系１０１のデフォーカスによるボケを補正する処理部１３０と、を含む。学習画像群３２Ｇは、任意の撮像系１０４で撮像された所定被写体に任意の撮像系１０４のフォーカスが合った所定被写体画像３０に対し、複数の物体距離における第１撮像系１０１の伝達関数または点像分布関数に基づいて、第１撮像系１０１のデフォーカスによるボケの影響をシミュレートするデフォーカスシミュレート処理（ステップＳ２００）が行われたことで生成される複数の学習画像３２を含む。複数の学習画像３２の各学習画像３２における第１撮像系１０１の光軸上の領域及び光軸上以外の領域に対し、光軸上の伝達関数または点像分布関数に基づいてデフォーカスシミュレート処理が行われる。正解画像３６は、第１撮像系１０１のフォーカスが合う物体距離における伝達関数または点像分布関数に基づいて、第１撮像系１０１のフォーカスが合う状態を所定被写体画像３０に対しシミュレートするベストフォーカスシミュレート処理（ステップＳ３００）が行われたことで生成される画像、または、所定被写体画像３０そのものである。学習済みモデル１２０は、各学習画像３２が正解画像３６になるように機械学習される。

このように、本実施形態の情報処理システム１００は、学習済みモデル１２０を記憶する記憶部１１０と処理部１３０を含むことから、第１撮像系１０１によって撮像された処理対象画像にデフォーカスによるボケの影響が含まれていても、ボケの影響を補正した補正画像を出力することができる。これにより、第１撮像系１０１の被写界深度を実質的に拡大することができる。また、学習画像群３２Ｇと正解画像３６を任意の撮像系１０４で撮像された所定被写体画像３０に基づき予め作成していることから、処理対象画像に係る被写体が、第１撮像系１０１で初めて撮像する被写体である場合において、予め機械学習した学習済みモデル１２０を用いることができる。また、各学習画像３２における第１撮像系１０１の光軸上の領域及び光軸上以外の領域に対し、光軸上の伝達関数または点像分布関数に基づいてデフォーカスシミュレート処理（ステップＳ２００）が行われていることから、デフォーカスシミュレート処理（ステップＳ２００）に必要な情報量を少なくすることができる。これにより、機械学習に必要なニューラルネットワークＮＮの規模を適切にした学習済みモデル１２０を作成することが出来る。これにより、学習済みモデル１２０を情報処理システム１００へ容易に実装することができる。

また、本実施形態の手法は、学習済みモデル１２０として実現することもできる。つまり、本実施形態の学習済みモデル１２０は、学習済みモデル１２０を記憶する記憶部１１０と、入力部１４０と、処理部１３０と、出力部１５０を含む情報処理システム１００に用いられ、学習画像群３２Ｇと正解画像３６とを含むデータセットによって機械学習されている。学習画像群３２Ｇは、任意の撮像系１０４で撮像された所定被写体に任意の撮像系１０４のフォーカスが合った所定被写体画像３０に対し、複数の物体距離における第１撮像系１０１の伝達関数または点像分布関数に基づいて、第１撮像系１０１のデフォーカスによるボケの影響をシミュレートするデフォーカスシミュレート処理が行われたことで生成される複数の学習画像３２を含む。複数の学習画像３２の各学習画像３２における第１撮像系１０１の光軸上の領域及び光軸上以外の領域に対し、光軸上の伝達関数または点像分布関数に基づいてデフォーカスシミュレート処理が行われる。正解画像３６は、第１撮像系１０１のフォーカスが合う物体距離における伝達関数または点像分布関数に基づいて、第１撮像系１０１のフォーカスが合う状態を所定被写体画像３０に対しシミュレートするベストフォーカスシミュレート処理が行われたことで生成される画像、または、所定被写体画像３０そのものである。学習済みモデル１２０は、各学習画像３２が正解画像３６になるように機械学習される。入力部１４０は、第１撮像系１０１によって撮影された画像である処理対象画像を学習済みモデル１２０に入力する。処理部１３０は、学習済みモデル１２０を用いて、処理対象画像の第１撮像系１０１のデフォーカスによるボケを補正する補正処理を行う。出力部１５０は、補正処理による補正画像を出力する。このようにすることで、上記と同様の効果を得ることができる。

また、本実施形態の手法は、情報処理方法として実現することもできる。つまり、本実施形態の情報処理方法は、学習画像群３２Ｇと正解画像３６を含むデータセットによって機械学習された学習済みモデル１２０によって、第１撮像系１０１によって撮影された画像である処理対象画像の第１撮像系１０１のデフォーカスによるボケを補正する。学習画像群３２Ｇは、任意の撮像系１０４で撮像された所定被写体に任意の撮像系１０４のフォーカスが合った所定被写体画像３０に対し、複数の物体距離における第１撮像系１０１の伝達関数または点像分布関数に基づいて、第１撮像系１０１のデフォーカスによるボケの影響をシミュレートするデフォーカスシミュレート処理が行われたことで生成される複数の学習画像３２を含む。複数の学習画像３２の各学習画像３２における第１撮像系１０１の光軸上の領域及び光軸上以外の領域に対し、光軸上の伝達関数または点像分布関数に基づいてデフォーカスシミュレート処理が行われる。正解画像３６は、第１撮像系１０１のフォーカスが合う物体距離における伝達関数または点像分布関数に基づいて、第１撮像系１０１のフォーカスが合う状態を所定被写体画像３０に対しシミュレートするベストフォーカスシミュレート処理が行われたことで生成される画像、または、所定被写体画像３０そのものである。学習済みモデル１２０は、各学習画像３２が正解画像３６になるように機械学習される。このようにすることで、上記と同様の効果を得ることができる。

また、本実施形態の手法は、学習済みモデル１２０記憶している情報記憶媒体として実現することもできる。このようにすることで、学習装置１０で機械学習した訓練モデル２０を当該情報記憶媒体に記憶させることができる。これにより、情報処理システム１００に当該情報記憶媒体を接続することで当該訓練モデル２０を最新の学習済みモデル１２０として更新することができる。これにより、所定の事情においても、上記と同様の効果を得る事ができる。所定の事情とは、例えば学習装置１０が位置する位置と情報処理システム１００が位置する位置が離れている事情、学習装置１０と情報処理システム１００間でデータの通信が出来ない事情等である。

また、本実施形態の手法は、内視鏡システム３００として実現してもよい。例えば本実施形態の内視鏡システム３００は、上記した情報処理システム１００を含むプロセッサユニット２００と、プロセッサユニット２００に接続され、処理対象画像を撮像する内視鏡スコープ３１０と、を含む。このようにすることで、上記の効果を有する情報処理システム１００を含む内視鏡システム３００を構築することができる。

内視鏡システム３００は、より詳細には例えば図１４のような構成例にすることができる。内視鏡システム３００は、内視鏡スコープ３１０と操作部３２０と表示部３３０とプロセッサユニット２００を含む。プロセッサユニット２００は、ストレージ部２１０と制御部２２０と情報処理システム１００を含む。図１４の情報処理システム１００は、図２で前述した構成の他、ストレージインターフェース１６０をさらに含む。なお、図２と同様の構成については説明を適宜省略する。

内視鏡スコープ３１０は、不図示の先端部に撮像装置を含む。当該撮像装置は、第１撮像系１０１を含む。内視鏡スコープ３１０の先端部は体腔内に挿入され、撮像装置が腹腔内の画像を撮影し、その撮像データが内視鏡スコープ３１０からプロセッサユニット２００へ送信される。操作部３２０は、ユーザが内視鏡システム３００を操作するための装置であり、例えばボタン、又はダイヤル、フットスイッチ、タッチパネル等である。表示部３３０は、内視鏡スコープ３１０が撮像した画像を表示する装置であり、例えば液晶ディスプレイであるが、例えばタッチパネルとして操作部３２０と一体的なハードウェアとしてもよい。

プロセッサユニット２００は、内視鏡システム３００における制御、画像処理等の各処理を行う。例えば制御部２２０は、操作部３２０から入力された情報に基づいて、内視鏡システム３００のモード切り替え、ズーム動作、表示切り替え等を行うことでプロセッサユニット２００としての機能が実現される。ストレージ部２１０は、内視鏡スコープ３１０が撮像した画像を記録する。ストレージ部２１０は、例えば半導体メモリ、ハードディスクドライブ、又は光学ドライブ等である。

なお、図１４に示す構成例では、内視鏡スコープ３１０のケーブルが接続されるコネクター又は撮像データを受信するインターフェース回路等を、入力部１４０にすることで、内視鏡スコープ３１０からの撮像データを受信する機能を実現しているが、プロセッサユニット２００にさらに撮像データを受信するインターフェース回路を設けてもよい。

ストレージインターフェース１６０は、ストレージ部２１０にアクセスするためのインターフェースである。ストレージインターフェース１６０は、入力部１４０が受信した画像データをストレージ部２１０に記録する。記録した画像データを再生する際には、ストレージインターフェース１６０は、ストレージ部２１０から画像データを読み出し、その画像データを処理部１３０に送信する。処理部１３０は、入力部１４０又はストレージインターフェース１６０からの画像データを処理対象画像として、図３で前述した処理を行う。これにより処理部１３０は、出力部１５０を介して補正画像を出力し、表示部３３０にはフォーカスが合っている補正画像が表示される。

なお、本実施形態の内視鏡システム３００は、例えば図１５に示す構成例にしてもよい。図１５の構成例は、情報処理システム１００とプロセッサユニット２００が別々に設けられる点で、図１４の構成例と異なる。情報処理システム１００とプロセッサユニット２００は、例えばＵＳＢ等の機器間通信により接続されてもよいし、或いはＬＡＮ又はＷＡＮ等のネットワーク通信により接続されてもよい。情報処理システム１００は、１又は複数の情報処理装置によって構成される。情報処理システム１００が複数の情報処理装置で構成される場合、情報処理システム１００は、ネットワークを介して接続された複数のＰＣ又は複数のサーバ等が並列処理を行うクラウドシステムであってもよい。図１５のストレージ部１７０は、図１４のストレージ部２１０に対応する。

プロセッサユニット２００は、制御部２２０と撮像データ受信部２３０と入力部２４０と出力部２５０と処理部２６０と表示インターフェース２７０を含む。撮像データ受信部２３０は、図１４の入力部１４０と同様のインターフェース回路等で構成され、内視鏡スコープ３１０からの撮像データを受信する。処理部２６０は、撮像データ受信部２３０が受信した画像データを、出力部２５０を介して情報処理システム１００に送信する。情報処理システム１００は、受信した画像データを処理対象画像として図３の処理を行い、補正画像を生成する。入力部２４０は、情報処理システム１００から出力部１５０を介して送信される補正画像を受信し、その補正画像を処理部２６０に出力する。処理部２６０は表示インターフェース２７０を介して補正画像を表示部３３０に出力する。これにより、表示部３３０に補正画像が表示される。図１５の表示インターフェース２７０は、図１４の出力部１５０と同様のハードウェアにより構成され、図１４の出力部１５０と同様の機能を実現させている。なお、図１５において、情報処理システム１００の入力部１４０と出力部１５０を別々のインターフェースで構成してもよいが、入力部１４０と出力部１５０の機能を単一の入出力インターフェースで実現してもよい。プロセッサユニット２００の入力部２４０と出力部２５０についても同様である。

本実施形態の手法は上記に限らず、種々の変形実施が可能である。例えば、光学系情報４０に含まれる各物体距離は、対応するＭＴＦの差に基づいて決定してもよい。例えば学習画像群３２Ｇは、第１物体距離の伝達関数または点像分布関数に基づきステップＳ２００－１を行った第１学習画像３２－１と、第２物体距離の伝達関数または点像分布関数に基づきステップＳ２００－２を行った第２学習画像３２－２から構成されているものとする。また、第１物体距離は第２物体距離と比べてデフォーカス量が大きい物体距離であるものとする。この場合において、ＭＴＦの空間周波数依存性を定性的に図示すると、第２物体距離に基づくＭＴＦは図１６のＡ０に示す通りとなり、第１物体距離に基づくＭＴＦはＡ１に示す通りとなる。そして、例えばＢ０に示す所定空間周波数を決めると、Ｃ０に示すようにＭＴＦの差が決まる。そこで、Ｃ０に示すＭＴＦの差が所定値よりも小さくなるように、第１物体距離と第２物体距離が決定される。

また、ここでのＭＴＦの差とは、隣接する物体距離におけるＭＴＦの差である。例えば学習画像群３２Ｇとして、第１学習画像３２－１と、第２学習画像３２－２と、第３学習画像３２－３があるとする。また、第１物体距離、第２物体距離、第３物体距離の順に、デフォーカス量が大きい物体距離であるものとする。この場合、図１７のＡ１０が第３物体距離におけるＭＴＦの周波数特性を示し、Ａ１１が第２物体距離におけるＭＴＦの周波数特性を示し、Ａ１２が第１物体距離におけるＭＴＦの周波数特性を示す。そして、Ｂ０に示す所定周波数において、Ｃ１０に示したＡ１０のＭＴＦとＡ１１のＭＴＦの差、Ｃ１１に示したＡ１１のＭＴＦとＡ１２のＭＴＦの差の両方が、所定値よりも低いものとする。言い換えれば、Ｂ０に示す所定周波数において、Ａ１０のＭＴＦとＡ１２のＭＴＦの差は、所定値として考慮していない。以上のことから、本実施形態の情報処理システム１００において、物体距離は、第１撮像系１０１のＭＴＦの所定空間周波数において、隣接する物体距離におけるＭＴＦの値の差が所定値以下であるように設定される。このようにすることで、機械学習におけるデータセットの組み合わせを適切にすることができる。前述したように、機械学習された学習済みモデル１２０は、第１学習画像３２－１と第２学習画像３２－２のいずれも正解画像３６に補正できるように補正処理（ステップＳ３０）を行う。さらに、第１物体距離と第２物体距離の間の物体距離で撮像された処理対象画像も、補正処理（ステップＳ３０）により正解画像３６に補正するには、第１学習画像３２－１と第２学習画像３２－２に付加されたボケの影響の差が一定範囲内であることが好ましい。その点、本実施形態の手法を適用することで、所定被写体画像３０に対してシミュレートするボケの影響度を示すＭＴＦに基づいて、各学習画像の物体距離を規定していることから、適切な学習画像群３２Ｇを生成することができる。これにより、機械学習において適切なデータセットとすることができる。

また、光学系情報４０は、第１撮像系１０１のベストフォーカス条件における物体距離を含んでもよい。ベストフォーカス条件における物体距離は、具体的には例えば図９のＤ３に示す距離である。例えば学習装置処理部１６は、所定被写体画像３０に対してベストフォーカス条件における物体距離を用いた伝達関数または点像分布関数を用いてベストフォーカスシミュレート処理（ステップＳ３００）を行うことにより、正解画像３６を生成してもよい。つまり本実施形態の情報処理システム１００において、フォーカスが合う物体距離は、ベストフォーカス条件における物体距離である。このようにすることで、適切な正解画像３６を生成することが出来る。

本実施形態において、物体距離に基づく伝達関数または点像分布関数と、学習画像３２は１対１に対応するようになっているものとする。より具体的には、例えばデフォーカスシミュレート処理（ステップＳ２００）において、１の所定被写体画像３０に対して、第１物体距離による伝達関数または点像分布関数と、第２物体距離による伝達関数または点像分布関数の両方を用いて、第３学習画像３２－３を生成する処理は行われないものとする。つまり、本実施形態の情報処理システム１００において、各学習画像３２は、複数の物体距離のうちいずれか１つの物体距離における伝達関数または点像分布関数に基づいて、所定被写体画像３０に対してデフォーカスシミュレート処理（ステップＳ２００）が行われたことで生成される画像である。このようにすることで、学習画像群３２Ｇにおける各学習画像３２の関係を明確にすることができる。

なお、一般的な光学系において、空間周波数が高くなるについてＭＴＦは低下し、かつ周期性をもって変化するが、ＭＴＦは絶対値であることから、図１７のＢ１に示す高空間周波数領域において、ＭＴＦは折り返されながら表示される。そのため、高空間周波数領域においては、１のＭＴＦがどの物体距離に対応するかを一義的に決めることができない。なお、例えば図９のＰ２に示す、目標拡大被写界深度の近点における物体距離よりも短い物体距離のＭＴＦは、Ｂ０に示す空間周波数において０になっても構わない。例えば図１７のＡ１２が目標拡大被写界深度の近点における物体距離におけるＭＴＦであると仮定した場合、折り返しが発生している最も低い空間周波数より低い空間周波数が、Ｂ０に示す空間周波数であればよい。目標被写界深度外の物体距離の伝達関数または点像分布関数は、本実施形態の機械学習にそもそも使用しないからである。なお、ここでの目標拡大被写界深度は、前述と同様、一定の値を示すものではない。以上のことから、本実施形態の情報処理システム１００において、処理部１３０は、学習済みモデル１２０を用いて、処理対象画像に対し第１撮像系１０１のデフォーカスによるボケを補正することで、第１撮像系１０１の被写界深度が、被写界深度より広い目標拡大被写界深度に拡大された画像を推定する。また、所定空間周波数は、目標拡大被写界深度の近点におけるＭＴＦの値がゼロになる、最も低い空間周波数よりも低い空間周波数である。このようにすることで、空間周波数とＭＴＦを１対１に対応づけるために必要な所定空間周波数の範囲を適切に決めることができる。

より具体的には、Ｂ０に示す所定空間周波数は、例えば規格化周波数として０．１であることが望まれる。つまり、本実施形態の情報処理システム１００において、所定空間周波数は、第１撮像系１０１の撮像素子のナイキスト周波数の１／５の空間周波数である。このようにすることで、多くの光学系について、空間周波数とＭＴＦを１対１に対応づけることができる。これにより、多くの種類の光学系が撮像した処理対象画像に対して本実施形態の手法を適用させることができる。

また、本実施形態の光学系情報４０は、被写界深度内の物体距離と被写界深度外の物体距離による組み合わせとしてもよい。具体的には例えば光学系情報４０は、図９のＤ１に示す被写界深度外の第１物体距離と、Ｄ２に示す第２物体距離を含んでもよい。言い換えれば、本実施形態の情報処理システム１００において、複数の物体距離のうち第１物体距離は、被写界深度外の物体距離であり、複数の物体距離のうち第２物体距離は、被写界深度内の物体距離である。このようにすることで、デフォーカスシミュレート処理（ステップＳ２００）により、ボケの影響を大きくシミュレートした第１学習画像３２－１と、ボケの影響を小さくシミュレートした第２学習画像３２－２を、正解画像３６と組み合わせたデータセットとすることができる。これにより、これらのデータセットで機械学習した学習済みモデル１２０は、広い範囲でボケの影響を受けた処理対象画像を補正処理（ステップＳ３０）によって補正することができる。

また、所定値は、学習画像群３２Ｇを構成する学習画像３２の数に基づいて決めてもよい。例えば図１６において、Ａ０に示すＭＴＦが、ベストフォーカス条件に対応する物体距離におけるＭＴＦであり、Ａ１に示すＭＴＦが目標被写界深度の近点に対応する物体距離におけるＭＴＦであるものとする。この場合、例えば空間周波数をＢ０に示す空間周波数に決定すると、Ｃ０に示す範囲を最大とするＭＴＦの範囲が一義的に決定される。そして、Ｃ０に示す範囲を、所望の学習画像３２の個数に基づき分割した値が所定値となって決定される。以上のことから、本実施形態の情報処理システム１００において、所定値は、２以上に設定可能な物体距離の個数に基づいて決定される。このようにすることで、機械学習の負荷を考慮して機械学習に必要なデータセットの数を決めることができる。

なお、前述のように空間周波数を固定するとＭＴＦの範囲が一義的に決定されることから、所定値を予め決定し、当該所定値に基づき学習画像３２の個数を決定してもよく、ユーザが事情に応じて機械学習の方針を決定すればよい。

なお、所定値は０．２以下であることが望ましい。つまり、本実施形態の情報処理システム１００において、所定値は、０．２以下であるように設定される。なお、一般的な光学系において、前述した空間周波数を望ましい範囲に決定すると、取り得るＭＴＦの範囲は０．２程度と考えられる。そのため、例えば所定値を０．２として設定すると、学習画像群３２Ｇを構成する学習画像３２の個数は２となる。また、この場合において、第１物体距離は被写界深度外の物体距離となり、第２物体距離は被写界深度内の物体距離になると考えられる。

また、所定値は０．１以下であることが望ましい。つまり、本実施形態の情報処理システム１００において、所定値は、０．１以下であるように設定される。さらに、所定値は０．０５以下であることが望ましい。つまり、本実施形態の情報処理システム１００において、所定値は、０．０５以下であるように設定される。このようにすることで、学習画像群３２Ｇを構成する学習画像３２の個数をより増やすことができる。これにより、学習済みモデル１２０は、機械学習に用いていない物体距離以外の物体距離で撮像された処理対象画像を入力した場合、ボケの影響を適切に除去した補正画像を出力できる可能性が高くなる。つまり、学習済みモデル１２０の補正処理（ステップＳ３０）の精度をより向上させることができる。なお、学習画像群３２Ｇを構成する学習画像３２の個数が増えると、機械学習の処理負担が大きくなる。そのため、学習画像群３２Ｇを構成する学習画像３２の適切な個数は、事情に応じて適宜決定される。

次に、学習装置処理部１６が点像分布関数によってデフォーカスシミュレート処理（ステップＳ２００）等を行う具体的な手法を説明する。例えばステップＳ２００－１によって第１学習画像３２－１を生成する場合において、図１８に示すように、学習装置処理部１６は、第１撮像系１０１の第１物体距離のＰＳＦを用いて、所定被写体画像３０に対してコンボリューション演算処理を行う。なおコンボリューションは、畳み込み積分とも呼ぶことができる。また、ここでの第１物体距離のＰＳＦは、図１２のＦＣ２２－１に示す領域からなるＰＳＦである。つまり、図１８の手法の場合、ＰＳＦのコンボリューション演算処理が図１３のステップＳ２１０に対応する。同様に、ステップＳ２００－Ｎによって第Ｎ学習画像３２－Ｎを生成する場合において、学習装置処理部１６は、第１撮像系１０１の第Ｎ物体距離のＰＳＦを用いて、所定被写体画像３０に対してコンボリューション演算する処理を行う。なお、ＰＳＦのコンボリューション演算処理に基づくデフォーカスシミュレート処理をステップＳ２００－Ａと呼ぶことができるものとする。以上のことから、本実施形態の情報処理システム１００において、デフォーカスシミュレート処理（ステップＳ２００）は、所定被写体画像３０に対し、第１撮像系１０１それぞれの物体距離におけるＰＳＦをコンボリューション演算する処理である。このようにすることで、ＰＳＦを用いた学習画像３２及び正解画像３６によるデータセットによって機械学習を行った学習済みモデル１２０を生成することができる。

次に、学習装置処理部１６が伝達関数によってデフォーカスシミュレート処理（ステップＳ２００）を行う具体的な手法を説明する。例えば第１学習画像３２－１を生成する場合において、図１９に示すように、学習装置処理部１６は、所定被写体画像３０をフーリエ変換する処理と、当該フーリエ変換の結果である周波数特性に対して第１撮像系１０１の第１物体距離のＯＴＦを乗算する処理と、当該乗算を行った周波数特性を逆フーリエ変換する処理を行う。また、ここでの第１物体距離のＯＴＦは、図１２のＦＣ２２－１に示す領域からなるＯＴＦである。つまり、図１９の手法の場合、ＯＴＦの乗算が図１３のステップＳ２１０に対応する。同様に、ステップＳ２００－Ｎによって第Ｎ学習画像３２－Ｎを生成する場合において、学習装置処理部１６は、所定被写体画像３０をフーリエ変換する処理と、当該フーリエ変換の結果である周波数特性対して第１撮像系１０１の第Ｎ物体距離のＯＴＦを乗算する処理と、当該乗算した周波数特性を逆フーリエ変換する処理を行う。なお、なお、ＯＴＦの乗算に基づくデフォーカスシミュレート処理をステップＳ２００－Ｂと呼ぶことができるものとする。以上のことから、本実施形態の情報処理システム１００において、デフォーカスシミュレート処理（ステップＳ２００）は、所定被写体画像３０にフーリエ変換を行い、当該フーリエ変換の結果である所定被写体画像３０の周波数特性に対し第１撮像系１０１のそれぞれの物体距離におけるＯＴＦを乗算し、乗算された周波数特性を逆フーリエ変換する処理である。このようにすることで、ＯＴＦを用いた学習画像３２及び正解画像３６によるデータセットによって機械学習を行った学習済みモデル１２０を生成することができる。

なお、ＰＳＦとＯＴＦの関係は前述した通りであるから、図１８の処理に関する演算処理結果と、図１９の処理に関する演算処理結果は、数学的に等価である。デフォーカスシミュレート処理（ステップＳ２００）において、ＰＳＦとＯＴＦのいずれを用いるかは、ユーザが適宜選択すればよい。

同様に、学習装置処理部１６は、点像分布関数を用いてベストフォーカスシミュレート処理（ステップＳ３００）を行ってもよい。例えば図２０に示すように、学習装置処理部１６は、第１撮像系１０１のフォーカスが合う物体距離のＰＳＦを用いて、所定被写体画像３０に対してコンボリューション演算処理を行うことにより、正解画像３６を生成する。なお、ＰＳＦのコンボリューション演算処理に基づくベストフォーカスシミュレート処理をステップＳ３００－Ａとも呼ぶことができるものとする。

また、学習装置処理部１６は、伝達関数を用いてベストフォーカスシミュレート処理（ステップＳ３００）を行ってもよい。例えば図２１に示すように、学習装置処理部１６は、所定被写体画像３０をフーリエ変換する処理と、当該フーリエ変換の結果である周波数特性に対して第１撮像系１０１のフォーカスが合う物体距離のＯＴＦを乗算する処理と、当該乗算を行った周波数特性を逆フーリエ変換する処理を行うことで、正解画像３６を生成する。なお、ＯＴＦの乗算に基づくベストフォーカスシミュレート処理をステップＳ３００－Ｂとも呼ぶことができるものとする。

なお、以降の説明においては、ＰＳＦを用いた手法を適用して学習画像３２及び正解画像３６を生成する例を代表として例示するが、ＯＴＦを用いた手法が適用できることを妨げるものではない。

また、例えば本実施形態の第１撮像系１０１は、レトロフォーカスタイプのレンズ構成であってもよい。レトロフォーカスタイプは、逆望遠タイプとも呼ばれる。例えば被写体側から負の屈曲力のレンズと、正の屈曲力のレンズを配置すること等により、レトロフォーカスタイプのレンズ構成は実現される。以降の説明において、被写体側のレンズ群を前レンズ群と呼び、像側のレンズ群を後レンズ群と呼ぶものとする。

レトロフォーカスタイプの具体的なレンズ構成は、種々の公知な構成を採用することができる。例えば図２２に示す光学系の場合、被写体側から順にＧ１に示す前レンズ群と、Ｓ１に示す明るさ絞りと、Ｇ２に示す後レンズ群と、ＣＧ１に示すカバーガラスで構成されている。なお、図２２において、説明の便宜上、光学系を構成する各レンズ等の間隔は正確に図示していない。例えば図２２において、Ｌ６に示す正レンズとＣＧ１に示すカバーガラスは、実際は接合されているが、便宜上間隔を空けて図示している。後述する図２３、図２５も同様である。

図２２において、Ｇ１に示す前レンズ群は、Ｌ１に示す物体側負レンズと、Ｌ２に示す正レンズを含み、全体として負の屈曲力を有する。Ｇ２に示す後レンズ群は、Ｌ３に示す正レンズと、Ｌ４に示す正レンズとＬ５に示す負レンズを接合したレンズと、Ｌ６に示す正レンズを含み、全体として正の屈曲力を有する。

なお、前レンズ群または後レンズ群は、複数のレンズ群から構成されてもよい。例えば図２３に示す第１撮像系１０１は、Ｇ１１に示すレンズ群が前レンズ群として機能し、Ｇ１２に示すレンズ群とＧ１３に示すレンズ群が、後レンズ群として機能する。例えばＧ１１に示すレンズ群は、被写体側から順に、Ｌ１１に示すような像側に凹面を向けた平凹レンズと、Ｌ１２に示すような負メニスカスレンズを含み、全体として負の屈折力を有する。

また、例えばＧ１２に示すレンズ群は、Ｌ１３に示す被写体側正レンズと、Ｌ１４に示す像側正レンズを含む。なお、Ｌ１３に示すレンズとＬ１４に示すレンズまでの間に、Ｓ１１に示す明るさ絞りをさらに配置してもよい。このようにすることで、当該明るさ絞りを挟んで屈折力が対称となるように光学系が構成されるため、コマ収差や非点収差を良好に補正することができる。

Ｇ１３に示すレンズ群は、全体として正の屈折力を有する。また、Ｇ１３に示すレンズ群は、Ｌ１５に示す正レンズとＬ１６に示す負レンズから構成される接合レンズを含んでもよい。これにより、球面収差とコマ収差を良好に補正することができる。また、Ｇ１３に示すレンズ群は、Ｌ１７に示す平凸レンズをさらに含んでもよい。これにより、広い視野を確保することができる。なお、図２３ではＬ１７に示す平凸レンズとＣＧ１１に示すカバーガラスを離して図示しているが、実際は接合されている。ＣＧ１１に示すカバーガラスは不図示の撮像素子に設けられ、Ｌ１７に示す平凸レンズは、当該撮像素子の位置決めに利用される。

また、例えば第１撮像系１０１は、平行平板をさらに含めてもよい。平行平板はフィルタとも呼ばれる。平行平板は例えば図２２のＦ１の位置、図２３のＦ１１の位置に配置されているが、他の位置に配置することもできる。平行平板は例えば像点の位置を調整する目的等に利用される。

また、上記したレトロフォーカスタイプのレンズ構成を含む第１撮像系１０１において、最大画角でのディストーション量は－３０％以下になることが望ましい。具体的には例えば、図２４のＥ１に示す被写体が、第１撮像系１０１によって図２４のＥ２に示す画像として撮像されたとする。この場合において、最大画角でのディストーション量（％）の値は、Ｅ１に示す被写体のＰＤに示す長さと、Ｅ２に示す画像のＡＤに示す長さを用いて、（ＡＤ－ＰＤ）／ＰＤ×１００として表すことができる。そして当該値が－３０より負の値であることが望ましい。以上のことから、本実施形態の情報処理システム１００において、第１撮像系１０１は、レトロフォーカスタイプのレンズ構成であり、最大画角でのディストーション量が－３０％以下である。このようにすることで、画像中心に比べて周辺の倍率が小さくなるため、光軸上以外の領域の伝達関数または点像分布関数を小さくすることができる。また、光軸上の領域の伝達関数または点像分布関数と、光軸上以外の領域の伝達関数または点像分布関数の差を小さくすることができる。これにより、ボケの影響のシミュレート結果がより正確な学習画像３２を生成することができる。

なお、前レンズ群または後レンズ群は、単一のレンズから構成されてもよい。例えば図２５に示す第１撮像系１０１は、Ｇ２１に示すレンズ群と、Ｇ２２に示すレンズ群と、Ｓ２１に示す明るさ絞りと、Ｇ２３に示すレンズ群と、ＣＧ２１に示すカバーガラスを含む。Ｇ２１に示すレンズ群は、Ｌ２１に示す単一の負レンズを含み、負の屈折力を有する。つまり、Ｇ２１に示すレンズ群は、前レンズ群の一部として機能する。なお、Ｇ２３に示すレンズ群は、Ｌ２３に示す正レンズと、Ｌ２４に示す正レンズとＬ２５に示す負レンズを接合したレンズと、Ｌ２６に示す正レンズを含み、全体として正の屈折力を有する。つまり、Ｇ２３に示すレンズ群は、後レンズ群として機能する。

また、本実施形態の第１撮像系１０１は、位相変調素子をさらに含んでもよい。例えば図２５の第２レンズ群Ｇ２は、Ｌ２２に示す正レンズと、Ｓ２１に示す明るさ絞りとＰＭに示す位相変調素子を含む。ＰＭに示す位相変調素子は第１撮像系１０１の瞳の位置に配置される。ＰＭに示す位相変調素子は、波面符号化（Wavefront Coding：ＷＦＣ）を適用した素子であり、例えばＰＭＳに示す位相変調面を有する。なお波面符号化は被写界深度拡大技術（Extended Depth of Field：ＥＤＯＦ）に用いられる公知な手法であるため詳細な説明は省略する。

なお、図２５において、ＰＭＳが示す位相変調面は、光軸に直交する座標を用いて所定の３次関数で表されるように図示しているが、位相変調面の表面形状はこれに限られず、他の表面形状を採用してもよい。また、図２５では位相変調面を像側に図示しているが、被写体側に有しても同様の効果を得ることができる。また、Ｇ２２に示すレンズ群は、全体として正の屈折力を有し、レトロフォーカスタイプの前レンズ群の一部としても機能する。

また、第１撮像系１０１のＭＴＦは、ＰＭに示す位相変調素子を含むことにより、デフォーカスに対する変化が鈍くなる。言い換えれば、当該位相変調素子を含むことにより、物体距離の変化に対して第１撮像系１０１のＭＴＦが一致するように作用する。より具体的には、例えば当該位相変調素子を含む第１撮像系１０１における第１物体距離のＭＴＦと第２物体距離のＭＴＦの差は、当該位相変調素子を含まない第１撮像系１０１における第１物体距離のＭＴＦと第２物体距離のＭＴＦの差に比べて、小さくなる。

例えば図２６に示すＭＴＦと空間周波数との関係において、Ａ２０はフォーカスが合う物体距離における第１撮像系１０１のＭＴＦであり、Ａ２１は、Ａ２０に係る物体距離よりもデフォーカス量が大きい物体距離のＭＴＦであり、Ａ２２は、Ａ２１に係る物体距離よりもデフォーカス量が大きい物体距離のＭＴＦであるものとする。また、Ａ２０～Ａ２２は、位相変調素子を含まない第１撮像系１０１のＭＴＦであるものとする。前述のＢ０に示す所定空間周波数を決定すると、Ａ２０のＭＴＦとＡ２１のＭＴＦの差はＣ２０に示す差となり、Ａ２１のＭＴＦとＡ２２のＭＴＦの差はＣ２１に示す差となる。なお、図２６において、Ｂ０に示す空間周波数より高周波数側のＭＴＦの図示を一部省略している。

ここで、第１撮像系１０１に、ＰＭに示す位相変調素子を含ませたことにより、Ａ２０に示すＭＴＦはＡ３０に示すＭＴＦに変化し、Ａ２１に示すＭＴＦはＡ３１に示すＭＴＦに変化し、Ａ２２に示すＭＴＦはＡ３２に示すＭＴＦに変化する。また、Ｃ２０に示すＭＴＦの差は、Ｃ３０に示すように小さくなり、Ｃ２１に示すＭＴＦの差はＣ３１に示すように小さくなる。以上のことから、本実施形態の情報処理システム１００において、第１撮像系１０１は、伝達関数または点像分布関数を変化させる光波面変調素子をさらに含む。このようにすることで、機械学習に必要な距離を短くすることができるため、機械学習に必要なデータセットの数を少なくすることができる。

なお、上記のデフォーカスシミュレート処理等（ステップＳ２００）の例は、任意の撮像系１０４で撮像された所定被写体画像３０に対し第１撮像系１０１の光学情報に基づき学習画像３２を生成するための処理例であるが、本実施形態の手法はこれらに限られない。例えば、学習装置処理部１６は、所定被写体画像３０から任意の撮像系１０４による撮像の影響の除去をシミュレートした処理をさらに含むようにデフォーカスシミュレート処理を行ってもよい。

図２７に、第１撮像系１０１で撮像された所定被写体画像３０－１に対して、第１撮像系１０１の影響の除去による撮像の影響の除去をシミュレートした処理をさらに含む場合における、画像データ生成処理の例を示す。なお、図２７に示す画像データ生成処理はステップＳ１２２とも呼ぶことができるものとする。図２７のステップＳ１２２と図１１のステップＳ１２０－２を比較すると、デフォーカスシミュレート処理の内容が異なる。なお、図２７において、ベストフォーカスシミュレート処理（ステップＳ３００）を行わずに、正解画像３６は所定被写体画像３０－１そのものとする点で、図１１と共通する。所定被写体画像３０－１は第１撮像系１０１のベストフォーカス条件によって撮像された画像だからであり、ステップＳ２０２と同様の処理を行う必要がそもそも無いからである。

図２８に、画像データ生成処理（ステップＳ１２２）におけるデフォーカスシミュレート処理（ステップＳ２０２－１）の例を示す。例えば第１学習画像３２－１を生成する場合、学習装置処理部１６は、所定被写体画像３０－１に対し、所定被写体画像３０－１の撮影時における第１撮像系１０１の影響の除去をシミュレートする処理（ステップＳ２２０－１）を行う。ステップＳ２２０－１は、第１撮像系１０１のフォーカスが合う物体距離における伝達関数または点像分布関数と、第１撮像系１０１の第１物体距離における伝達関数または点像分布関数に基づき行われる。

より具体的には、学習装置処理部１６は、例えば所定被写体画像３０に対し第１撮像系１０１のフォーカスが合う物体距離におけるＰＳＦをデコンボリューションする演算処理と、第１撮像系１０１の第１物体距離におけるＰＳＦをコンボリューションする演算処理（ステップＳ２００－Ａ）を、適宜組み合わせた演算処理を行う。適宜組み合わせた演算処理とは、一方の演算処理と他方の演算処理の一部または全部を、任意の順序で組み合わせた演算処理であるが、一方の演算処理と他方の演算処理を別々に行うことを妨げるものではなく、所定の事情に応じて適宜決定される。以降の説明においても同様である。なお、所定の事情とは、例えば機械学習に要する処理時間、プロセッサへの処理負担等である。つまり、ステップＳ２２０－１が行われることで、例えば所定被写体画像３０－１に対し第１撮像系１０１のフォーカスが合う物体距離におけるＰＳＦをデコンボリューションする演算処理の効果と、第１撮像系１０１の第１物体距離におけるＰＳＦをコンボリューションする演算処理（ステップＳ２００－Ａ）の効果の両方が反映された演算処理結果を得ることができる。

以上のことから、本実施形態の情報処理システム１００において、任意の撮像系１０４は第１撮像系１０１である。デフォーカスシミュレート処理（ステップＳ２０２）は、第１撮像系１０１のフォーカスが合う物体距離における伝達関数または点像分布関数と、第１撮像系１０１の複数の物体距離における伝達関数または点像分布関数に基づいて、所定被写体画像３０－１から第１撮像系１０１の影響を除く処理（ステップＳ２１２）をさらに含む。このようにすることで、より正確な学習画像３２を生成することができる。図１０、図１１に示す手法による学習画像３２及び正解画像３６は、任意の撮像系１０４の影響と第１撮像系１０１の両方の影響を所定被写体に与えているのに対し、図２７、図２８に示す手法による学習画像３２及び正解画像３６は、第１撮像系１０１のみの影響を所定被写体に与えている。これにより、より適切なデータセットによる機械学習を行うことができる。

同様に、任意の撮像系１０４の撮像の影響の除去をシミュレートした処理を含む、画像データ生成処理の例を図２９に示す。なお、図２９において、第２撮像系１０２を任意の撮像系１０４の代表として図示している。また、第２撮像系１０２は、第１撮像系１０１と比べて撮像素子の解像度が高い撮像系であるものとする。また、図２９に示す画像データ生成処理はステップＳ１２４とも呼ぶことができるものとし、ステップＳ１２４の元となる画像は所定被写体画像３０－２とも呼ぶことができるものとする。

図２９のステップＳ１２６は、図１０のステップＳ１２０－１を比較すると、撮像素子情報５０をさらに読み込んだ上で、デフォーカスシミュレート処理（ステップＳ２０４）とベストフォーカスシミュレート処理（ステップＳ３０４）を行う点で相違する。撮像素子情報５０は、第１撮像系１０１及び任意の撮像系１０４が有する撮像素子の解像度に関係する情報である。つまり、図２９の例の場合、学習装置記憶部１８には、図４には図示していない撮像素子情報５０がさらに記憶されている。なお、撮像素子情報５０は、デフォーカスシミュレート処理（ステップＳ２０４）及びベストフォーカスシミュレート処理（ステップＳ３０４）の演算処理にも用いられる。

図３０に、図２９に示す画像データ生成処理（ステップＳ１２４）におけるデフォーカスシミュレート処理の例を示す。図２９、図３０に示すデフォーカスシミュレート処理はステップＳ２０４とも呼ぶことができる。例えば第１学習画像３２－１を生成する場合、学習装置処理部１６は、所定被写体画像３０－２に対し、第２撮像系１０２と第１撮像系１０１の差をシミュレートする処理（ステップＳ２３０－１）と、所定被写体画像３０を縮小する処理（ステップＳ２４０）と、図３０に不図示の撮像素子情報５０に基づく演算処理を適宜組み合わせた演算処理を行う。ステップＳ２３０－１は、第２撮像系１０２のフォーカスが合う物体距離における伝達関数または点像分布関数と、第１撮像系１０１の第１物体距離における伝達関数または点像分布関数に基づき行われる。つまり、ステップＳ２３０－１が行われることで、例えば所定被写体画像３０－２に対し第２撮像系１０２のフォーカスが合う物体距離におけるＰＳＦをデコンボリューションする演算処理の効果と、第１撮像系１０１の第１物体距離におけるＰＳＦをコンボリューションする演算処理（ステップＳ２００－Ａ）の効果の両方が反映された演算処理結果を得ることができる。また、ステップＳ２０４－１が行われることで、ステップＳ２３０－１の演算処理の効果と、ステップＳ２４０の演算処理の効果と、撮像素子情報５０に基づく演算処理の効果が反映された演算処理結果を得ることができる。

図３１に、図２９に示すベストフォーカスシミュレート処理の例を示す。図２９、図３１に示すベストフォーカスシミュレート処理はステップＳ３０４とも呼ぶことができる。例えば学習装置処理部１６は、所定被写体画像３０－２に対し、第２撮像系１０２と第１撮像系１０１の差をシミュレートする処理（ステップＳ３３０）と、所定被写体画像３０－２を縮小する処理（ステップＳ３４０）と図３１に不図示の撮像素子情報５０に基づく演算処理を適宜組み合わせた処理を行う。これにより、学習装置処理部１６は、正解画像３６を生成することができる。図３１のステップＳ３３０は、第２撮像系１０２のフォーカスが合う物体距離における伝達関数または点像分布関数と、第１撮像系１０１のフォーカスが合う物体距離における伝達関数または点像分布関数に基づき行われる。つまり、ステップＳ３３０が行われることで、例えば所定被写体画像３０－２に対し第２撮像系１０２のフォーカスが合う物体距離におけるＰＳＦをデコンボリューションする演算処理の効果と、第１撮像系１０１のフォーカスが合う距離におけるＰＳＦをコンボリューションする演算処理（ステップＳ３００－Ａ）の効果の両方が反映された演算処理結果を得ることができる。また、図３１のステップＳ３４０は、図３０のステップＳ２４０と同様の演算処理である。また、ステップＳ３０４が行われることで、ステップＳ３３０の演算処理の効果と、ステップＳ３４０の演算処理の効果と、撮像素子情報５０に基づく演算処理の効果が反映された演算処理結果を得ることができる。なお、図３１のベストフォーカスシミュレート処理（ステップＳ３０４）からステップＳ３３０を省略した処理によって正解画像３６を生成してもよい。言い換えれば、正解画像３６は、所定被写体画像３０－２に対し、ステップＳ３４０に相当する処理を行うことによって生成してもよい。所定被写体画像３０－２が任意の撮像系１０４のフォーカスが合う物体距離で撮像されている画像であるならば、ステップＳ３４０により所定被写体画像３０－２の画素数を変更することで、正解画像３６にできる場合があるからである。

以上のことから、本実施形態の情報処理システム１００において、デフォーカスシミュレート処理（ステップＳ２０４）は、任意の撮像系１０４と第１撮像系１０１の差をシミュレートする処理（ステップＳ２３０）と、所定被写体画像３０－２を縮小する処理（ステップＳ２４０）をさらに含む。正解画像３６は、ベストフォーカスシミュレート処理（ステップＳ３０４）が行われたことで生成される画像、または、所定被写体画像３０－２を縮小した処理が行われたことで生成される画像である。デフォーカスシミュレート処理（ステップＳ２０４）における任意の撮像系１０４と第１撮像系１０１の差をシミュレートする処理（ステップＳ２３０）は、任意の撮像系１０４のフォーカスが合う物体距離における伝達関数または点像分布関数と、第１撮像系１０１の複数の物体距離における伝達関数または点像分布関数に基づく。ベストフォーカスシミュレート処理（ステップＳ３０４）は、任意の撮像系１０４と第１撮像系１０１の差をシミュレートする処理（ステップＳ３３０）と、所定被写体画像３０－２を縮小する処理（ステップＳ３４０）を、さらに含む。ベストフォーカスシミュレート処理（ステップＳ３０４）における任意の撮像系１０４と第１撮像系１０１の差をシミュレートする処理（ステップＳ３３０）は、任意の撮像系１０４のフォーカスが合う物体距離での伝達関数または点像分布関数と、第１撮像系１０１のフォーカスが合う物体距離での伝達関数または点像分布関数に基づく。

また、本実施形態の手法は、任意の撮像系１０４と第１撮像系１０１で撮像方式が異なる場合についても適用できる。例えば図３２に示すように、第１撮像系１０１は同時式撮像素子１０６を含むものとする。また、図３３に示すように、任意の撮像系１０４はモノクロ撮像素子１０８を含むものとする。図３３を用いて、この場合における画像データ生成処理の手法を説明する。なお、図３３の画像データ生成処理はステップＳ１２６とも呼ぶことができるものとし、ステップＳ１２６の元となる画像は所定被写体画像３０－３とも呼ぶことができるものとする。図３３は、デフォーカスシミュレート処理（ステップＳ２０６）及びベストフォーカスシミュレート処理（ステップＳ３０６）の内容と、ステップＳ２０６及びステップＳ３０６を行う前に、色ずれ判定処理（ステップＳ１９０）が行われることが、図２９と異なる。なお、図３３において、第２撮像系１０２は、任意の撮像系１０４の代表としての例示であることは、図２９の例と同じである。また、色ずれ判定処理（Ｓ１９０）は、例えば所定被写体画像３０－３の飽和部周辺等の色付き量を所定の閾値と比較する処理である。なお、色ずれとは、モノクロ撮像素子１０８を用いて被写体を撮像した場合、撮像タイミングの相違等によってＲ画像、Ｇ画像及びＢ画像の間に生じるずれである。なお、同時式撮像素子１０６で撮像される処理対象画像には色ずれは生じない。また、所定被写体画像３０－３の飽和部周辺等の色付き量とは、所定被写体画像３０－３の白色として写るエリアの周辺において、色ずれによって発生する色付き量である。つまり図３３のステップＳ２０６、ステップＳ３０６は、ステップＳ１９０によって、飽和部周辺等の色付き量が所定の閾値以下と判断された所定被写体画像３０－３を使用している。これにより、ステップＳ２０６が行われることにより、色ずれの影響を少なくした学習画像３２を生成することができる。同様に、ステップＳ３０６が行われることにより、色ずれの影響を少なくした正解画像３６を生成することができる。これにより、任意の撮像系１０４と第１撮像系１０１で撮像方式が異なる場合について、適切な学習画像３２と正解画像３６からなるデータセットを生成することができる。

図３４に、図３３に示す画像データ生成処理（ステップＳ１２６）におけるデフォーカスシミュレート処理の例を示す。図３３、図３４に示すデフォーカスシミュレート処理はステップＳ２０６とも呼ぶことができる。図３４は、所定被写体画像３０－３からモザイク画像を生成する処理（ステップＳ２５０）と、モザイク画像をデモザイキングする処理（ステップＳ２５２）をさらに含む点で、図３０と異なる。例えば第１学習画像３２－１を生成する場合、学習装置処理部１６は、所定被写体画像３０－３に対し、前述のステップＳ２３０－１と、前述のステップＳ２４０と、ステップＳ２５０と、ステップＳ２５２と、図３４に不図示の撮像素子情報５０に基づく演算処理を適宜組み合わせた演算処理を行う。つまり、ステップＳ２０６－１が行われることで、ステップＳ２３０－１の演算処理の効果と、ステップＳ２４０の演算処理の効果と、ステップＳ２５０の演算処理の効果と、ステップＳ２５２の演算処理の効果と、撮像素子情報５０に基づく演算処理の効果が反映された演算処理結果を得ることができる。

ステップＳ２５０とステップＳ２５２について具体的に説明する。所定被写体画像３０－３は、複数の波長帯域の光が順次に照射される場合において、それぞれの波長帯域の光が照射されるタイミングで、モノクロ撮像素子１０８により撮像された複数の画像を合成する処理によって得られる面順次式画像である。そして例えば図３５に示すように、前述のステップＳ２０６－１において、ステップＳ２５０を含む処理によって、モザイク画像が生成される。そして、ステップＳ２５２を含む処理によって、モザイク画像から再度面順次式画像が生成されることにより、第１学習画像３２－１が生成される。なお、図３５のステップＳ２０６－１において、ステップＳ２５０とステップＳ２５２以外の処理の図示は省略している。

図３６に、図３３に示す画像データ生成処理（ステップＳ１２６）におけるベストフォーカスシミュレート処理の例を示す。図３３、図３６に示すベストフォーカスシミュレート処理はステップＳ３０６とも呼ぶことができる。図３６は、所定被写体画像３０－３からモザイク画像を生成する処理（ステップＳ３５０）と、モザイク画像をデモザイキングする処理（ステップＳ３５２）をさらに含む点で、図３１と異なる。また、図３６のステップＳ３５０は、図３４のステップＳ２５０と同様の処理であり、図３６のステップＳ３５２は、図３４のステップＳ２５２と同様の処理である。例えば学習装置処理部１６は、前述のステップＳ３３０－１と、前述のステップＳ３４０と、ステップＳ３５０と、ステップＳ３５２と、図３６に不図示の撮像素子情報５０に基づく演算処理を適宜組み合わせた演算処理を行う。これにより、学習装置処理部１６は、正解画像３６を生成することができる。これにより、ステップＳ３０６が行われることで、ステップＳ３３０の演算処理の効果と、ステップＳ３４０の演算処理の効果と、ステップＳ３５０の演算処理の効果と、ステップＳ３５２の演算処理の効果と、撮像素子情報５０に基づく演算処理の効果が反映された演算処理結果を得ることができる。なお、ベストフォーカスシミュレート処理（ステップＳ３０６）からステップＳ３３０、ステップＳ３５０及びステップＳ３５２を省略した処理によって正解画像３６を生成してもよい。言い換えれば、正解画像３６は、所定被写体画像３０－３に対し、ステップＳ３４０に相当する処理を行うことによって生成してもよい。

以上のことから、本実施形態の情報処理システム１００において、任意の撮像系１０４は、モノクロ撮像素子１０８を含む。所定被写体画像３０－３は、複数の波長帯域の光が順次に照射される場合において、それぞれの波長帯域の光が照射されるタイミングで、モノクロ撮像素子１０８により撮像された複数の画像を合成する処理によって得られる面順次式画像である。第１撮像系１０１は、互いに色が異なる複数の画素を有し、かつ、それぞれの画素に１色が割り当てられた同時式撮像素子１０６を含む。デフォーカスシミュレート処理（ステップＳ２０６）は、所定被写体画像３０－３からそれぞれの画素に１色が割り当てられたモザイク画像を生成する処理と、モザイク画像をデモザイキングする処理と、任意の撮像系１０４と第１撮像系１０１の差をシミュレートする処理と、所定被写体画像３０－３を縮小する処理と、をさらに含む。デフォーカスシミュレート処理（ステップＳ２０６）における任意の撮像系１０４と第１撮像系１０１の差をシミュレートする処理は、任意の撮像系１０４のフォーカスが合う物体距離における伝達関数または点像分布関数と、第１撮像系１０１の複数の物体距離における伝達関数または点像分布関数に基づく。正解画像３６は、ベストフォーカスシミュレート処理（ステップＳ３０６）が行われたことで生成される画像、または、所定被写体画像３０－３を縮小した処理が行われたことにより生成される画像である。ベストフォーカスシミュレート処理（ステップＳ３０６）は、モザイク画像を生成する処理と、モザイク画像をデモザイキングする処理と、任意の撮像系１０４と第１撮像系１０１の差をシミュレートする処理と、所定被写体画像３０－３を縮小する処理を、さらに含む。ベストフォーカスシミュレート処理（ステップＳ３０６）における任意の撮像系１０４と第１撮像系１０１の差をシミュレートする処理は、任意の撮像系１０４のフォーカスが合う物体距離における伝達関数または点像分布関数と、第１撮像系１０１のフォーカスが合う物体距離における伝達関数または点像分布関数に基づく。このようにすることで、所定被写体画像３０の撮像方式と処理対象画像の撮像方式が異なった場合において、より適切な学習画像３２と正解画像３６のデータセットを生成することができる。

また、撮像方式によって、学習済みモデル１２０を使い分けるようにしてもよい。つまり、本実施形態の情報処理システム１００は、例えば図３７に示すように、記憶部１１０は、第１学習済みモデル１２１と、第２学習済みモデル１２２を記憶してもよい。

記憶部１１０が第１学習済みモデル１２１と第２学習済みモデル１２２を記憶する場合、図３に示したフローは、例えば図３８のフローにしてもよい。処理部１３０は、処理対象画像読み込み（ステップＳ１０）を行った後、第１撮像系１０１の撮像方式を確認する処理（ステップＳ１２）を行う。撮像方式が面順次式である場合、第１学習済みモデル読み込み（ステップＳ２１）、補正処理（ステップＳ３１）、補正画像出力（ステップＳ４１）を行う。一方、撮像方式がベイヤー同時式である場合、第２学習済みモデル読み込み（ステップＳ２２）、補正処理（ステップＳ３２）、補正画像出力（ステップＳ４２）を行う。なお、図３８のステップＳ２１及びステップＳ２２は、図３のステップＳ２０に対応する処理である。同様に、図３８のステップＳ３１及びステップＳ３２は、図３のステップＳ３０に対応する処理であり、図３８のステップＳ４１及びステップＳ４２は、図３のステップＳ４０に対応する処理である。

また、この場合において、図７のステップＳ１００は、図３９のステップＳ１０１及び図４０のステップＳ１０２のようにしてもよい。具体的には、図３９の第１学習済みモデル作成処理（ステップＳ１０１）は、図７のステップＳ１００に対して、画像データ生成処理を図２９のステップＳ１２４とすればよい。同様に、図４０の第２学習済みモデル作成処理（ステップＳ１０２）は、図７のステップＳ１００に対して、画像データ生成処理を図３３のステップＳ１２６とすればよい。

また、本実施形態の手法は、任意の撮像系１０４と第１撮像系１０１で観察方式が異なる場合についても適用できる。図４１を用いて、観察方式が異なる場合における画像データ生成処理の手法を説明する。なお、図４１の画像データ生成処理はステップＳ１２８とも呼ぶことができるものとし、ステップＳ１２８の元となる画像は所定被写体画像３０－４とも呼ぶことができるものとする。図４１のステップＳ１２８は、デフォーカスシミュレート処理（ステップＳ２０８）及びベストフォーカスシミュレート処理（ステップＳ３０８）の内容と、ステップＳ２０６及びステップＳ３０６を行う前に、観察方式情報６０を読み込む点で、図２９のステップＳ１２４と異なる。観察方式情報６０は、例えば第１撮像系１０１の観察方式に関する情報である。つまり、図４１の例の場合、学習装置記憶部１８には、図４には図示していない観察方式情報６０がさらに記憶されている。なお、図４１において、第２撮像系１０２は、任意の撮像系１０４の代表としての例示であることは、図２９の例と同じである。

観察方式とは観察モードとも呼ぶことができる。観察方式が異なる場合とは、例えば観察に用いる光源が異なる場合であるが、例えばユーザが被写体を撮像する処理を行ってから所定被写体画像３０－４を取得するまでの間に行われた画像処理の手法が異なる場合であってもよい。観察方式としては、例えば白色照明光を用いるＷＬＩ（White Light Imaging）モードと、白色光ではない特殊光を用いる特殊光観察モード等がある。特殊光観察モードは、２つの狭帯域光を用いるＮＢＩ（Narrow Band Imaging）モードがある。２つの狭帯域光は、青色の波長帯域に含まれる狭帯域光と、緑色の波長帯域に含まれる狭帯域光である。ＷＬＩとＮＢＩでは、撮像素子が出力する画像信号からカラー画像を生成する際の画像処理が異なる。例えば、デモザイク処理の内容、又は画像処理におけるパラメータが異なる。また、特殊光観察モードとして、例えばＲＤＩ（Red Dichromatic Imaging）モードを採用することもできる。ＲＤＩモードは、アンバー色の波長帯域に含まれる狭帯域光と、緑色の波長帯域に含まれる狭帯域光と、赤色の波長帯域に含まれる狭帯域光を用いる観察モードであり、例えば米国特許第９，７７５，４９７号Ｂ２等に開示されている技術が用いられる。

図４２に、所定被写体画像３０－４から第１学習画像３２－１を生成するデフォーカスシミュレート処理（ステップＳ２０８－１）の例を示す。図４２のステップＳ２０８－１は、図３０のステップＳ２０４－１と比較すると、ＷＬＩモード用処理（ステップＳ２６２）、ＮＢＩモード用処理（ステップＳ２６４）、ＲＤＩモード用処理（ステップＳ２６６）、ＴＸＩモード用処理（ステップＳ２６８）をさらに含む点で異なる。なお、ＴＸＩはTexture and Color Enhancement Imagingの略であり、詳細は後述する。

なお、図４１のステップＳ１２８は、図２９のＳ１２４に対し、上記した相違点となる処理等を追加した例としているが、これに限らず、例えば図３３のステップＳ１２６に対して上記相違点となる処理等を追加してもよい。この場合、図示は省略するが、ステップＳ２０８及びステップＳ３０８を行う前に、図３３の色ずれ判定処理（ステップＳ１９０）がさらに行われる。また、この場合における図４２のステップＳ２０８は、図３４のステップＳ２４０、ステップＳ２５０、ステップＳ２５２をさらに含む。同様に、この場合における図４３のステップＳ３０８は、図３６のステップＳ３４０、ステップＳ３５０、ステップＳ３５２をさらに含む。以降において、図２９のステップＳ１２４及び図３３のステップＳ１２６と重複する点については説明を適宜省略する。

例えば、フローチャートの図示は省略するが、学習装置処理部１６は、観察方式情報６０を読み込み、第１撮像系１０１に用いられた観察方式を取得する。そして学習装置処理部１６は、取得した観察方式に対応する処理としてステップＳ２６２、ステップＳ２６４、ステップＳ２６６、ステップＳ２６８のいずれかを選択する。

例えば、第１撮像系１０１がＴＸＩモードで撮像されている場合、その旨の情報が観察方式情報６０として、学習装置記憶部１８に記憶されている。そして学習装置処理部１６は、観察方式情報６０を読み込むことにより、所定被写体画像３０－４はＴＸＩモード用処理（ステップＳ３６８）を含むデフォーカスシミュレート処理（ステップＳ２０８）を行う。具体的には例えば、学習装置処理部１６は、所定被写体画像３０－４に対し、所定被写体画像３０－４の表面構造に係る画像部分であるテクスチャ画像部分と、テクスチャ画像部分以外のベース画像部分に分解する処理を行う。そして、学習装置処理部１６は、テクスチャ画像部分に係る表面構造を強調する第１処理と、ベース画像部分の明るさを最適化する第２処理と、第１処理に係る画像と第２処理に係る画像を合成した画像の色調を最適化する第３処理を行う。このようにすることで、所定被写体画像３０－４に対し、ＴＸＩモードによる撮像の効果をシミュレートした学習画像３２を得ることができる。これにより、より正確な学習画像３２を含むデータセットで機械学習を行うことができる。

また、例えば、図示は省略するが、第１撮像系１０１がＷＬＩモードまたはＮＢＩモードで撮像されている場合、その旨の情報が観察方式情報６０として、学習装置記憶部１８に記憶されている。そして学習装置処理部１６は、観察方式情報６０を読み込むことにより、所定被写体画像３０－４に対して光源に対応するよう色の補完を行う。また、色の補完は、例えば図３４のステップＳ２５２とともに行ってもよい。例えば学習装置処理部１６は、ＷＬＩモード用処理（ステップＳ２６２）を選択した場合、ステップＳ２５２とともにＧ画像を用いてＲ画像及びＢ画像を補間する処理を行う。また、例えば学習装置処理部１６は、ＮＢＩモード用処理（ステップＳ２６４）を選択した場合、ステップＳ２５２とともＧ画像とＢ画像をそれぞれ独立に補間する処理を行う。

図４３に、画像データ生成処理（ステップＳ１２８）において所定被写体画像３０－４から正解画像３６を生成するベストフォーカスシミュレート処理（ステップＳ３０８）の例を示す。図４３のステップＳ３０８は、図３１のステップＳ３０４と比較すると、ＷＬＩモード用処理（ステップＳ３６２）、ＮＢＩモード用処理（ステップＳ３６４）、ＲＤＩモード用処理（ステップＳ３６６）、ＴＸＩモード用処理（ステップＳ３６８）をさらに含む点で異なる。図４３のステップＳ３６２は、図４２のステップＳ２６２と同様の処理であり、図４３のステップＳ３６４は、図４２のステップＳ２６４と同様の処理であり、図４３のステップＳ３６６は、図４２のステップＳ２６６と同様の処理であり、図４３のステップＳ３６８は、図４２のステップＳ２６８と同様の処理である。なお、図４３のベストフォーカスシミュレート処理（ステップＳ３０８）からステップＳ３３０等を省略した処理によって、正解画像３６を生成してもよい。

なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１０…学習装置、１２…通信部、１６…学習装置処理部、１８…学習装置記憶部、２０…訓練モデル、３０…所定被写体画像、３２…学習画像、３２－１…第１学習画像、３２－２…第２学習画像、３２－Ｎ…第Ｎ学習画像、３２Ｇ…学習画像群、３４…出力画像、３４－１…第１出力画像、３４－Ｎ…第Ｎ出力画像、３６…正解画像、４０…光学系情報、５０…撮像素子情報、６０…観察方式情報、１００…情報処理システム、１０１…第１撮像系、１０２…第２撮像系、１０４…任意の撮像系、１０６…同次式撮像素子、１０８…モノクロ撮像素子、１１０…記憶部、１２０…学習済みモデル、１２１…第１学習済みモデル、１２２…第２学習済みモデル、１３０，２６０…処理部、１４０，２４０…入力部、１５０，２５０…出力部、１６０…ストレージインターフェース、１７０，２１０…ストレージ部、２００…プロセッサユニット、２２０…制御部、２３０…撮像データ受信部、２７０…表示インターフェース、３００…内視鏡システム、３１０…内視鏡スコープ、３２０…操作部、３３０…表示部、ＮＮ…ニューラルネットワーク

Claims (21)

1. 学習画像群と正解画像とを含むデータセットによって機械学習された学習済みモデルを記憶する記憶部と、
   前記学習済みモデルを用いて、第１撮像系によって撮影された画像である処理対象画像の前記第１撮像系のデフォーカスによるボケを補正する処理部と、
   を含む情報処理システムであって、
   前記学習画像群は、
   任意の撮像系で撮像された所定被写体に前記任意の撮像系のフォーカスが合った所定被写体画像に対し、複数の物体距離における前記第１撮像系の伝達関数または点像分布関数に基づいて、前記第１撮像系のデフォーカスによるボケの影響をシミュレートするデフォーカスシミュレート処理が行われたことで生成される複数の学習画像を含み、
   前記複数の学習画像の各学習画像における前記第１撮像系の光軸上の領域及び前記光軸上以外の領域に対し、前記光軸上の前記伝達関数または前記点像分布関数に基づいて前記デフォーカスシミュレート処理が行われ、
   前記正解画像は、
   前記第１撮像系のフォーカスが合う物体距離における前記伝達関数または前記点像分布関数に基づいて、前記第１撮像系のフォーカスが合う状態を前記所定被写体画像に対しシミュレートするベストフォーカスシミュレート処理が行われたことで生成される画像、または、前記所定被写体画像そのものであり、
   前記学習済みモデルは、
   前記各学習画像が前記正解画像になるように機械学習され、
   前記第１撮像系は、
   レトロフォーカスタイプのレンズ構成であり、
   最大画角でのディストーション量が－３０％以下であることを特徴とする情報処理システム。
2. 請求項１に記載の情報処理システムにおいて、
   前記各学習画像は、
   前記複数の物体距離のうちいずれか１つの前記物体距離における前記伝達関数または前記点像分布関数に基づいて、前記所定被写体画像に対して前記デフォーカスシミュレート処理が行われたことで生成される画像であることを特徴とする情報処理システム。
3. 請求項１に記載の情報処理システムにおいて、
   前記第１撮像系は、
   前記伝達関数または前記点像分布関数を変化させる光波面変調素子をさらに含むことを特徴とする情報処理システム。
4. 請求項１に記載の情報処理システムにおいて、
   前記物体距離は、
   前記第１撮像系のＭＴＦの所定空間周波数において、隣接する前記物体距離におけるＭＴＦの値の差が所定値以下であるように設定されることを特徴とする情報処理システム。
5. 請求項４に記載の情報処理システムにおいて、
   前記処理部は、
   前記学習済みモデルを用いて、前記処理対象画像に対し前記第１撮像系のデフォーカスによるボケを補正することで、前記第１撮像系の被写界深度が、前記被写界深度より広い目標拡大被写界深度に拡大された画像を推定し、
   前記所定空間周波数は、
   前記目標拡大被写界深度の近点における前記ＭＴＦの値がゼロになる、最も低い空間周波数よりも低い空間周波数であることを特徴とする情報処理システム。
6. 請求項４に記載の情報処理システムにおいて、
   前記所定空間周波数は、
   前記第１撮像系の撮像素子のナイキスト周波数の１／５の空間周波数であることを特徴とする情報処理システム。
7. 請求項４に記載の情報処理システムにおいて、
   前記所定値は、
   ２以上に設定可能な前記物体距離の個数に基づいて決定されることを特徴とする情報処理システム。
8. 請求項４に記載の情報処理システムにおいて、
   前記所定値は、
   ０．２以下であるように設定されることを特徴とする情報処理システム。
9. 請求項４に記載の情報処理システムにおいて、
   前記所定値は、
   ０．１以下であるように設定されることを特徴とする情報処理システム。
10. 請求項４に記載の情報処理システムにおいて、
    前記所定値は、
    ０．０５以下であるように設定されることを特徴とする情報処理システム。
11. 請求項１に記載の情報処理システムにおいて、
    前記デフォーカスシミュレート処理は、
    前記所定被写体画像に対し、前記第１撮像系のそれぞれの前記物体距離におけるＰＳＦをコンボリューション演算する処理であることを特徴とする情報処理システム。
12. 請求項１に記載の情報処理システムにおいて、
    前記デフォーカスシミュレート処理は、
    前記所定被写体画像にフーリエ変換を行い、当該フーリエ変換の結果である前記所定被写体画像の周波数特性に対し前記第１撮像系のそれぞれの前記物体距離におけるＯＴＦを乗算し、乗算された前記周波数特性を逆フーリエ変換する処理であることを特徴とする情報処理システム。
13. 請求項１に記載の情報処理システムにおいて、
    前記任意の撮像系は、
    前記第１撮像系であり、
    前記デフォーカスシミュレート処理は、
    前記第１撮像系の前記フォーカスが合う物体距離における前記伝達関数または前記点像分布関数と、前記第１撮像系の前記複数の物体距離における前記伝達関数または前記点像分布関数に基づいて、前記所定被写体画像から前記第１撮像系の影響を除く処理を、
    さらに含むことを特徴とする情報処理システム。
14. 請求項１に記載の情報処理システムにおいて、
    前記デフォーカスシミュレート処理は、
    前記任意の撮像系の前記フォーカスが合う物体距離における前記伝達関数または前記点像分布関数と、前記第１撮像系の前記複数の物体距離における前記伝達関数または前記点像分布関数に基づいて、前記任意の撮像系と前記第１撮像系の差をシミュレートする処理と、
    前記所定被写体画像を縮小する処理と、
    をさらに含み、
    前記正解画像は、
    前記ベストフォーカスシミュレート処理が行われたことで生成される画像、または、前記所定被写体画像を縮小した処理が行われたことで生成される画像であり、
    前記ベストフォーカスシミュレート処理は、
    前記任意の撮像系の前記フォーカスが合う物体距離での前記伝達関数または前記点像分布関数と、前記第１撮像系の前記フォーカスが合う物体距離での前記伝達関数または前記点像分布関数に基づいて、前記任意の撮像系と前記第１撮像系の差をシミュレートする処理と、
    前記所定被写体画像を縮小する処理を含む処理を、
    さらに含むことを特徴とする情報処理システム。
15. 請求項１に記載の情報処理システムにおいて、
    前記任意の撮像系は、
    モノクロ撮像素子を含み、
    前記所定被写体画像は、
    複数の波長帯域の光が順次に照射される場合において、それぞれの前記波長帯域の光が照射されるタイミングで、前記モノクロ撮像素子により撮像された複数の画像を合成する処理によって得られる面順次式画像であり、
    前記第１撮像系は、
    互いに色が異なる複数の画素を有し、かつ、それぞれの前記画素に１色が割り当てられた同時式撮像素子を含み、
    前記デフォーカスシミュレート処理は、
    前記所定被写体画像からそれぞれの前記画素に１色が割り当てられたモザイク画像を生成する処理と、
    前記モザイク画像をデモザイキングする処理と、
    前記任意の撮像系の前記フォーカスが合う物体距離における前記伝達関数または前記点像分布関数と、前記第１撮像系の前記複数の物体距離における前記伝達関数または前記点像分布関数に基づいて、前記任意の撮像系と前記第１撮像系の差をシミュレートする処理と、
    前記所定被写体画像を縮小する処理を、
    さらに含み、
    前記正解画像は、
    前記ベストフォーカスシミュレート処理が行われたことで生成される画像、または、前記所定被写体画像を縮小した処理が行われたことにより生成される画像であり、
    前記ベストフォーカスシミュレート処理は、
    前記モザイク画像を生成する処理と、
    前記モザイク画像をデモザイキングする処理と、
    前記任意の撮像系の前記フォーカスが合う物体距離における前記伝達関数または前記点像分布関数と、前記第１撮像系のフォーカスが合う物体距離での物体距離における前記伝達関数または前記点像分布関数に基づいて、前記任意の撮像系と前記第１撮像系の差をシミュレートする処理と、
    前記所定被写体画像を縮小する処理を含む処理を、
    さらに含むことを特徴とする情報処理システム。
16. 請求項１に記載の情報処理システムにおいて、
    前記フォーカスが合う物体距離は、
    ベストフォーカス条件における前記物体距離であることを特徴とする情報処理システム。
17. 請求項１に記載の情報処理システムにおいて、
    前記複数の物体距離のうち第１物体距離は、被写界深度外の前記物体距離であり、
    前記複数の物体距離のうち第２物体距離は、被写界深度内の前記物体距離であることを特徴とする情報処理システム。
18. 請求項１乃至１７のいずれか一項に記載の情報処理システムを有するプロセッサユニットと、
    前記プロセッサユニットに接続され、前記処理対象画像を撮像する内視鏡スコープと、
    を含むことを特徴とする内視鏡システム。
19. 学習済みモデルを記憶する記憶部と、入力部と、処理部と、出力部を含む情報処理システムに用いられ、学習画像群と正解画像とを含むデータセットによって機械学習された学習済みモデルであって、
    前記学習画像群は、
    任意の撮像系で撮像された所定被写体に前記任意の撮像系のフォーカスが合った所定被写体画像に対し、複数の物体距離における第１撮像系の伝達関数または点像分布関数に基づいて、前記第１撮像系のデフォーカスによるボケの影響をシミュレートするデフォーカスシミュレート処理が行われたことで生成される複数の学習画像を含み、
    前記複数の学習画像の各学習画像における前記第１撮像系の光軸上の領域及び前記光軸上以外の領域に対し、前記光軸上の前記伝達関数または前記点像分布関数に基づいて前記デフォーカスシミュレート処理が行われ、
    前記正解画像は、
    前記第１撮像系のフォーカスが合う物体距離における前記伝達関数または前記点像分布関数に基づいて、前記第１撮像系のフォーカスが合う状態を前記所定被写体画像に対しシミュレートするベストフォーカスシミュレート処理が行われたことで生成される画像、または、前記所定被写体画像そのものであり、
    前記学習済みモデルは、
    前記各学習画像が前記正解画像になるように機械学習され、
    前記入力部は、
    前記第１撮像系によって撮影された画像である処理対象画像を前記学習済みモデルに入力し、
    前記処理部は、
    前記学習済みモデルを用いて、前記処理対象画像の前記第１撮像系のデフォーカスによるボケを補正する補正処理を行い、
    前記出力部は、
    前記補正処理による補正画像を出力し、
    前記第１撮像系は、
    レトロフォーカスタイプのレンズ構成であり、
    最大画角でのディストーション量が－３０％以下であり、
    前記処理部が前記補正処理を行うように機能させることを特徴とする学習済みモデル。
20. 請求項１９に記載の学習済みモデルを記憶していることを特徴とする情報記憶媒体。
21. 学習画像群と正解画像を含むデータセットによって機械学習された学習済みモデルによって、第１撮像系によって撮影された画像である処理対象画像の前記第１撮像系のデフォーカスによるボケを補正する情報処理方法であって、
    前記学習画像群は、
    任意の撮像系で撮像された所定被写体に前記任意の撮像系のフォーカスが合った所定被写体画像に対し、複数の物体距離における前記第１撮像系の伝達関数または点像分布関数に基づいて、前記第１撮像系のデフォーカスによるボケの影響をシミュレートするデフォーカスシミュレート処理が行われたことで生成される複数の学習画像を含み、
    前記複数の学習画像の各学習画像における前記第１撮像系の光軸上の領域及び前記光軸上以外の領域に対し、前記光軸上の前記伝達関数または前記点像分布関数に基づいて前記デフォーカスシミュレート処理が行われ、
    前記正解画像は、
    前記第１撮像系のフォーカスが合う物体距離における前記伝達関数または前記点像分布関数に基づいて、前記第１撮像系のフォーカスが合う状態を前記所定被写体画像に対しシミュレートするベストフォーカスシミュレート処理が行われたことで生成される画像、または、前記所定被写体画像そのものであり、
    前記学習済みモデルは、
    前記各学習画像が前記正解画像になるように機械学習され、
    前記第１撮像系は、
    レトロフォーカスタイプのレンズ構成であり、
    最大画角でのディストーション量が－３０％以下であることを特徴とする情報処理方法。