JP7303896B2 - 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法 - Google Patents

Description

本発明は、情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法等に関する。

低解像撮像素子により撮像された入力画像から、あたかも高解像撮像素子により撮像されたかのような高解像画像を、画像処理によって生成する超解像技術が知られている。特許文献１には、深層学習によって得られた学習済みモデルを用いて、入力画像を超解像する技術が開示されている。学習段階では、実際に高解像撮像素子により撮像された高解像画像を教師データとし、その高解像画像を単純縮小することで、推論時の入力画像に相当する低解像画像を生成する。低解像画像を学習モデルに入力し、学習モデルが出力する出力画像と、教師データである高解像画像とに基づいて深層学習を行う。

特許第６２３６７３１号公報

上記のように、特許文献１では、高解像画像を単純縮小することで低解像画像を生成している。この低解像画像は、実際に低解像撮像素子で撮影した画像とは性質が異なる。具体的には、光学系を考慮していない等の理由により、単純縮小により生成された低解像画像と低解像撮像素子で撮影した画像とで、解像感が異なる。このように、単純縮小により生成された低解像画像は、推論時の入力画像に相当する解像感を正確に再現できていないため、その低解像画像を用いて学習された学習済みモデルでは、低解像撮像素子により撮像された入力画像から高解像画像を高精度に復元できないという課題がある。

本発明の一態様は、学習済みモデルを記憶する記憶部と、処理部と、第１撮像系よりも低解像の撮像を行う第２撮像系によって撮像される処理対象画像を、前記処理部に入力する入力部と、を含み、前記学習済みモデルは、低解像学習用画像を高解像学習用画像に解像復元するように学習された学習済みモデルであり、前記高解像学習用画像は、所定被写体が前記第１撮像系により撮影された高解像の画像であり、前記低解像学習用画像は、前記高解像学習用画像を、低解像度化処理することで生成され、前記低解像度化処理は、前記所定被写体が前記第２撮像系により撮像されたかのような低解像の画像を生成する処理であって、前記第２撮像系の光学系の解像特性をシミュレートする光学系シミュレート処理を含み、前記処理部は、前記学習済みモデルを用いて、前記処理対象画像を、前記第１撮像系で撮像されたときの解像度に解像復元する情報処理システムに関係する。

また本発明の他の態様は、上記に記載の情報処理システムを有するプロセッサユニットと、前記プロセッサユニットに接続され、前記処理対象画像を撮像して前記入力部に送信する内視鏡スコープと、を含む内視鏡システムに関係する。

また本発明の更に他の態様は、第１撮像系よりも低解像の撮像を行う第２撮像系によって撮像される処理対象画像を、前記第１撮像系で撮像されたときの解像度に解像復元するように、コンピュータを機能させる学習済みモデルであって、前記学習済みモデルは、低解像学習用画像を高解像学習用画像に解像復元するように学習され、前記高解像学習用画像は、所定被写体が前記第１撮像系により撮影された高解像の画像であり、前記低解像学習用画像は、前記高解像学習用画像を、低解像度化処理することで生成され、前記低解像度化処理は、前記所定被写体が前記第２撮像系により撮像されたかのような低解像の画像を生成する処理であって、前記第２撮像系の光学系の解像特性をシミュレートする光学系シミュレート処理を含む学習済みモデルに関係する。

また本発明の更に他の態様は、上記に記載の学習済みモデルを記憶した情報記憶媒体に関係する。

また本発明の更に他の態様は、学習済みモデルを用いて解像復元を行う情報処理方法であって、前記学習済みモデルは、低解像学習用画像を高解像学習用画像に解像復元するように学習され、前記高解像学習用画像は、所定被写体が第１撮像系により撮影された高解像の画像であり、前記低解像学習用画像は、前記高解像学習用画像を、低解像度化処理することで生成され、前記低解像度化処理は、前記所定被写体が前記第２撮像系により撮像されたかのような低解像の画像を生成する処理であって、前記第２撮像系の光学系の解像特性をシミュレートする光学系シミュレート処理を含み、前記学習済みモデルを用いて、前記第１撮像系よりも低解像の撮像を行う前記第２撮像系によって撮像される処理対象画像を、前記第１撮像系で撮像されたときの解像度に解像復元する情報処理方法に関係する。

第１実施形態における情報処理システムの構成例と、モデル作成処理の処理フロー。 解像復元処理の処理フロー。 モデル作成処理の処理フロー。 低解像度化処理の処理フロー。 第２実施形態における情報処理システムの構成例と、モデル作成処理の処理フロー。 モデル作成処理の処理フロー。 第２実施形態の変形例における情報処理システムの構成例と、モデル作成処理の処理フロー。 モデル作成処理の処理フロー。 第３実施形態における情報処理システムの構成例と、モデル作成処理の処理フロー。 撮像情報検出処理及び解像復元処理の処理フロー。 第４実施形態における内視鏡システムの構成例と、モデル作成処理の処理フロー。 撮像情報検出処理及び解像復元処理の処理フロー。 第１変形例における情報処理システムの構成例、及びモデル作成処理の処理フロー。 補色型撮像素子の例。 混在型撮像素子の例。 第６変形例における情報処理システムの構成例、及びモデル作成処理の処理フロー。 学習装置の構成例。 内視鏡システムの第１構成例。 内視鏡システムの第２構成例。 第１手法のボケ処理の処理フロー。 第２手法のボケ処理の処理フロー。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。例えば、以下では情報処理システムを医療用内視鏡に適用する場合を例に説明するが、これに限定されず、本発明の情報処理システムを種々の撮影システム又は映像表示システムに適用できる。例えば、スチールカメラ、ビデオカメラ、テレビ受像機、顕微鏡、又は工業用内視鏡に、本発明の情報処理システムを適用できる。

１．第１実施形態
上述したように、機械学習を用いた超解像において、適切な低解像画像を生成できないと超解像の精度が低下するという課題がある。この課題について、内視鏡システムを例にとって説明する。

内視鏡は、プローブ径が小さくなるほど患者に対して低侵襲な検査を行える利点がある。プローブ径が小さい内視鏡の一例は経鼻内視鏡である。一方でプローブ径が小さくなるほどイメージャのサイズが小型となるため、解像度が低下する。このため、画像処理の一種である超解像技術を用いて経鼻内視鏡の解像度を向上させ、あたかもプローブ径が大きい内視鏡で撮像したかのような画像を生成することが考えられる。

上述した特許文献１のように、近年、低解像カラー画像から高解像カラー画像を生成する超解像技術において、深層学習を用いた手法により高精度な処理が可能となっている。深層学習においては、解像復元のパラメータを決定するために、高解像画像と低解像画像のセットが必要となる。高解像画像と低解像画像をそれぞれ撮影して獲得するのは量的及び質的に困難であるため、高解像画像をバイキュービック等の手法で単純縮小して低解像画像を生成する手法が多く用いられている。

内視鏡画像へ超解像を応用する場合においても、体腔内の高解像画像と低解像画像を位置ずれが無く、且つ大量に撮影するのは困難であるため、高解像画像から低解像画像を生成する処理が必要となる。しかしながら、バイキュービック等を用いた画像縮小処理では、実際に内視鏡画像を撮影する撮像系を考慮していないため、画像縮小処理で得られた低解像画像の解像感は、内視鏡画像の解像感と異なっている。このため、小型イメージャのような低解像のイメージャで撮影した画像から、高精度な超解像画像を復元できないという課題がある。

図１は、第１実施形態における情報処理システム１００の構成例と、モデル作成処理Ｓ３００の処理フローである。情報処理システム１００は、処理対象画像１０を処理部３に入力する入力部１と、学習済みモデル２０を記憶する記憶部２と、解像復元処理を行う処理部３と、を含む。なお、入力部１、記憶部２、処理部３を、それぞれ入力装置、記憶装置、処理装置とも呼ぶ。

情報処理システム１００は、学習済みモデル２０を用いた推論を行うシステムである。本実施形態における推論は、処理対象画像１０から高解像画像を解像復元する処理である。学習済みモデル２０はモデル作成処理Ｓ３００によって生成され、記憶部２に格納される。モデル作成処理Ｓ３００は、例えば、情報処理システム１００とは別の学習装置によって実行される。或いは、情報処理システム１００は、学習段階においてモデル作成処理Ｓ３００を実行し、推論段階において、学習済みモデル２０を用いた推論を行ってもよい。この場合、情報処理システム１００が学習装置を兼ねることになり、例えば処理部３が学習処理を実行する。

まず、情報処理システム１００の構成を説明し、その後に推論処理のフロー及び学習処理のフローを説明する。

入力部１は、例えば撮像系から画像データを受信する画像データインターフェース、又はストレージから画像データを読み出すストレージインターフェース、又は情報処理システム１００の外部から画像データを受信する通信インターフェース等である。入力部１は、取得した画像データを処理対象画像１０として処理部３に入力する。入力部１が動画を取得する場合、動画のフレーム画像を処理対象画像１０として処理部３に入力する。

記憶部２は記憶装置であり、例えば半導体メモリ、又はハードディスクドライブ、光学ディスクドライブ等である。記憶部２には、モデル作成処理Ｓ３００により生成された学習済みモデル２０が予め記憶されている。或いは、サーバ等の外部装置からネットワークを介して学習済みモデル２０が情報処理システム１００に入力され、その学習済みモデル２０を記憶部２が記憶してもよい。

処理部３は、記憶部２に記憶された学習済みモデル２０を用いて、処理対象画像１０に対して解像復元処理Ｓ２００を行うことで、処理対象画像１０から高解像画像を復元する。復元された高解像画像は、処理対象画像１０と同一被写体が写る画像であり、処理対象画像１０よりも解像度が高い画像である。解像度とは、その画像に写る被写体がどれだけ微細に解像しているかを示す指標である。解像度は、例えば画像の画素数、撮像に用いられた光学系の性能、撮像に用いられた撮像素子の形式、及び画像に施される画像処理の内容等に依存する。

解像復元の目標となる解像度の撮像系を第１撮像系とする。処理対象画像１０は、第１撮像系よりも低解像な第２撮像系によって撮像される。処理対象画像１０から復元された高解像画像は、処理対象画像１０と同一な被写体を第１撮像系で撮像したかのような画像に相当する。撮像系は、被写体を結像させる光学系と、光学系により結像された被写体を撮像する撮像素子と、を含む。撮像素子をイメージャとも呼ぶ。撮像素子として、例えばモノクロ、ベイヤ型、補色型等の種々の形式を採用できる。例えば、第１撮像系は太径のスコープを備えた第１内視鏡の撮像系であり、第２撮像系は、第１内視鏡のスコープより細径のスコープを備えた第２内視鏡の撮像系である。

処理部３を構成するハードウェアは、例えば、ＣＰＵ等の汎用プロセッサである。この場合、記憶部２は、推論アルゴリズムが記述されたプログラムと、その推論アルゴリズムに用いられるパラメータと、を学習済みモデル２０として記憶する。或いは、処理部３は、推論アルゴリズムがハードウェア化された専用プロセッサであってもよい。専用プロセッサは例えばＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）等である。この場合、記憶部２は、推論アルゴリズムに用いられるパラメータを学習済みモデル２０として記憶する。

推論アルゴリズムはニューラルネットワークを適用することができる。ニューラルネットワークにおけるノード間接続の重み係数がパラメータである。ニューラルネットワークは、画像データが入力される入力層と、入力層を通じて入力されたデータに対し演算処理を行う中間層と、中間層から出力される演算結果に基づいて画像データを出力する出力層と、を含む。解像復元処理Ｓ２００に用いるニューラルネットワークとして、ＣＮＮ（Convolutional Neural Network）が好適である。但し、ＣＮＮに限らず、様々なＡＩ（Artificial Intelligence）技術を採用できる。

図２に、解像復元処理Ｓ２００の処理フローを示す。

ステップＳ２０１において、処理部３は、入力部１から処理対象画像１０を読み込む。ステップＳ２０２において、処理部３は、解像復元に用いる学習済みモデル２０を記憶部２から読み込む。そして、ステップＳ２０３において、ステップＳ２０１で取得した処理対象画像１０に対して、ステップＳ２０２で取得した学習済みモデル２０を用いて解像復元処理を行い、高解像画像を生成する。なお、Ｓ２０１とＳ２０２の順序は入れ替わってもよい。

図３に、モデル作成処理Ｓ３００の処理フローを示す。学習装置は、モデル作成処理Ｓ３００を実行する処理部を含む。以下、この処理部を学習処理部と呼ぶこととする。

ステップＳ３０１において、学習処理部は高解像学習用画像３０を読み込む。高解像学習用画像３０は、上述した第１撮像系によって撮像された画像である。ステップＳ３０２、Ｓ３０３において、学習処理部は、低解像学習用画像４０を生成する際に用いる光学系情報５０と撮像素子情報６０を読み込む。光学系情報５０は、第１撮像系及び第２撮像系が有する光学系の解像度に関係する情報である。撮像素子情報６０は、第１撮像系及び第２撮像系が有する撮像素子の解像度に関係する情報である。

ステップＳ３０４において、学習処理部は、ステップＳ３０２で取得した光学系情報及びステップＳ３０３で取得した撮像素子情報のうち少なくとも一方を用いて、ステップＳ３０１で取得した高解像学習用画像３０に対して低解像度化処理を行い、低解像学習用画像４０を生成する。低解像学習用画像４０は、高解像学習用画像３０と同一な被写体を第２撮像系で撮像したかのような画像に相当し、推論における処理対象画像１０と同一画素数である。

ステップＳ３０５において、学習処理部は、ステップＳ３０１で取得した高解像学習用画像３０とステップＳ３０４で取得した低解像学習用画像４０を用いて、学習モデルに対する解像復元学習処理を行う。学習処理部は、複数の高解像学習用画像３０を用いてステップＳ３０１～Ｓ３０５の学習処理を繰り返し実行し、その学習後の学習モデルを学習済みモデル２０として出力する。学習処理に用いる学習モデルは、推論に用いる学習済みモデル２０と同じアルゴリズムである。具体的には、学習モデルはＣＮＮであり、学習処理部は、ＣＮＮの各層の重み値とバイアス値を算出し、それらの値を学習済みモデル２０として保存する。

なお、ニューラルネットワークにおける機械学習のアルゴリズムとして、公知の種々な学習アルゴリズムを採用できる。例えば、誤差逆伝播法を用いた教師有り学習アルゴリズムを採用できる。

図４に、低解像度化処理Ｓ３０４の処理フローを示す。図４では、学習処理部は、光学系情報５０及び撮像素子情報６０を用いて、高解像学習用画像３０から低解像学習用画像４０を生成する。

ステップＳ４０１において、学習処理部は、高解像学習用画像３０を取得した際の光学系情報５０と、低解像学習用画像４０で用いる光学系情報５０を取得する。ここで、光学系情報５０とは光学系の焦点距離や絞りを指す。学習処理部は、これらの条件の場合のＰＳＦ（Point Spread Function）又はＯＴＦ（Optical Transfer Function）を取得する。即ち、学習処理部は、第１撮像系の点広がり関数と、第２撮像系の点広がり関数とを取得する、或いは第１撮像系の光学伝達関数と、第２撮像系の光学伝達関数とを取得する。

ステップＳ４０２において、学習処理部は、高解像学習用画像３０の画素数、低解像学習用画像４０の画素数、及び撮像方式等の情報を用いて、高解像学習用画像３０に対する低解像学習用画像４０の縮小倍率を設定する。例えば、高解像学習用画像３０が６４０×４８０［ピクセル］であり、低解像学習用画像４０が３２０×２４０［ピクセル］である場合、縮小倍率は縦横共に１／２である。なお、Ｓ４０１とＳ４０２の順序は入れ替わってもよい。

ステップＳ４０３において、学習処理部は、ステップＳ４０１で算出した光学系情報を用いて高解像学習用画像３０にボケを付加する。例えば、高解像学習用画像３０を取得した第１撮像系の光学系に比べて、低解像学習用画像４０に対応した第２撮像系の光学系の方が、性能が劣る。一般に、エイリアシング等を防ぐためにバイキュービック等フィルタを用いて事前に画像の高周波帯域を取り除く処理がなされる。これにより、縮小された画像の帯域は縮小前の画像よりも小さくなるが、この処理だけでは光学系が異なる場合の帯域の差異までは再現されない。このため、光学系の差異を補償するように画像にボケを付加する。学習処理部は、ステップＳ４０１で取得した第１撮像系と第２撮像系のＰＳＦ、又は第１撮像系と第２撮像系のＯＴＦを用いて、高解像学習用画像のボケを第２撮像系で撮像した画像のボケに類似するように補償する。なお、ボケ処理の詳細については後述する。

ステップＳ４０４において、学習処理部は、ステップＳ４０３で生成した画像に対して、ステップＳ４０２で算出した縮小倍率による縮小処理を行う。例えば、学習処理部は、バイキュービック又はバイリニア等の縮小処理を行う。学習処理部は、縮小処理後の画像を低解像学習用画像４０として、ステップＳ３０５の解像復元学習処理を実行する。なお、ステップＳ４０３のボケ処理と、ステップＳ４０４の縮小処理は、順序が逆であってもよい。即ち、学習処理部は、高解像学習用画像３０を縮小処理し、その縮小処理後の画像に対してボケ処理を行うことで、低解像学習用画像４０を生成してもよい。

本実施形態によれば、学習済みモデル２０は、低解像学習用画像４０を高解像学習用画像３０に解像復元するように学習される。高解像学習用画像３０は、所定被写体が第１撮像系により撮影された高解像の画像である。高解像学習用画像３０を低解像度化処理することで、低解像学習用画像４０が生成される。低解像度化処理は、所定被写体が第２撮像系により撮像されたかのような低解像の画像を生成する処理である。図４のＳ４０１～Ｓ４０３で説明したように、低解像度化処理は、第２撮像系の光学系の解像特性をシミュレートする光学系シミュレート処理を含む。光学系シミュレート処理は、例えば第１撮像系の光学系のＰＳＦと第２撮像系の光学系のＰＳＦの差異を補償するように、ＰＳＦを高解像学習用画像３０にコンボリューション演算する処理である。

このようにすれば、第２撮像系で撮像された処理対象画像１０から、第１撮像系で撮像されたかのような画像を高精度に解像復元できる。即ち、高解像学習用画像３０から低解像学習用画像４０に低解像化する際に、光学系の解像特性を考慮するため、第１撮像系で撮像される処理対象画像１０と同等な解像度を有する低解像学習用画像４０を生成できる。この低解像学習用画像４０を用いて復元パラメータを学習することで、高性能な超解像処理を実現できる。

ステップＳ４０３のボケ処理について説明する。ここでは、ボケ処理の一例として、第１、第２手法を説明する。

図２０に、第１手法のボケ処理の処理フローを示す。ステップＳ４１０に示すように、学習処理部は、高解像学習用画像３０に対して、高解像の第１撮像系と低解像の第２撮像系のＰＳＦを用いてボケを付加する。ＰＳＦは、光学系に対する単位インパルス応答を表す関数、即ち光学系が点光源を結像したときの像分布を表す関数である。ステップＳ４０４に示すように、学習処理部は、ステップＳ４１０で得られた画像に対して縮小処理を行い、その結果を低解像学習用画像４０として出力する。

ステップＳ４１０の詳細を説明する。学習処理部は、ステップＳ４１１に示すように高解像学習用画像３０に対して第１撮像系のＰＳＦをデコンボリューションし、ステップＳ４１２に示すように高解像学習用画像３０に対して第２撮像系のＰＳＦをコンボリューションする。具体的には、学習処理部は、下式（１）によりボケを付加する。下式（１）において、ｈ_１、ｈ_２はそれぞれステップＳ４０１で取得した第１撮像系の光学系のＰＳＦ、第２撮像系の光学系のＰＳＦであり、ｆは高解像学習用画像３０であり、ｇはボケが付加された画像であり、ｎはノイズ項である。＊はコンボリューション演算を表す。なおノイズ項ｎは省略されてもよい。

図２１に、第２手法のボケ処理の処理フローを示す。ステップＳ４２０に示すように、学習処理部は、高解像学習用画像３０に対して、高解像の第１撮像系と低解像の第２撮像系の光学系のＯＴＦを用いてボケを付加する。ＯＴＦは、光学系に対する単位インパルス周波数応答を表す関数、即ち光学系が点光源を結像したときの像分布の周波数特性を表す関数である。ステップＳ４０４に示すように、学習処理部は、ステップＳ４２０で得られた画像に対して縮小処理を行い、その結果を低解像学習用画像４０として出力する。

ステップＳ４２０の詳細を説明する。学習処理部は、第１撮像系の光学系と第２撮像系の光学系のそれぞれのＯＴＦを図１の光学系情報５０として読み込む。図２１のステップＳ４２１に示すように、学習処理部は、高解像学習用画像に対してＦＦＴ（Fast Fourier Transform）を行うことで高解像学習用画像３０の周波数特性を求める。ステップＳ４２２及びＳ４２３において、学習処理部は、高解像学習用画像３０の周波数特性を、第１撮像系のＯＴＦにより除算及び第２撮像系のＯＴＦにより乗算した結果を算出する。ステップＳ４２４において、学習処理部は、算出結果である周波数特性に対して逆ＦＦＴを行う。

本実施形態によれば、ＯＴＦを用いてボケ処理することで、ＰＳＦを用いた第１手法と実質的に同様な演算を実現できる。具体的には、下式（２）に示すようにＯＴＦとＰＳＦはフーリエ変換の関係にある。即ち、ＯＴＦの周波数応答は、実空間における光学系の単位インパルス応答（ＰＳＦ）と一致する。このため、図２１のステップＳ４２０に示すＯＴＦを用いたボケ処理を行うことで、図２０のステップＳ４１０に示すＰＳＦを用いたボケ処理と実質同様の結果を得ることができる。

なお、上記の実施形態では、ＰＳＦやＯＴＦといった伝達関数を用いて第２撮像系の光学系の解像特性をシミュレートしたが、これに限られるものではなく、既知の光学系の設計値に基づく計算や機械学習を用いることで第２撮像系の光学系の解像特性をシミュレートしてもよい。

２．第２実施形態
第２実施形態では、第２撮像系は同時式撮像素子を含み、その撮像素子の形式を考慮した低解像度化処理を行う。具体的には、ベイヤ配列を有する撮像素子により処理対象画像が撮影され、デモザイク処理による解像度低下を考慮した低解像度化処理を行う。以下では、ベイヤ型撮像素子を例に説明するが、同時式撮像素子はベイヤ型撮像素子に限定されない。なお、第１実施形態と同様な構成及び処理については説明を省略する。

図５は、第２実施形態における情報処理システム１００の構成例と、モデル作成処理Ｓ６００の処理フローである。情報処理システム１００の構成及び解像復元処理は、図１と図２に示す第１実施形態と同様である。

図６に、モデル作成処理Ｓ６００の処理フローを示す。ステップＳ６０１～Ｓ６０３は、第１実施形態のステップＳ３０１～Ｓ３０３と同じである。

ステップＳ６０４～Ｓ６０６は、図５のステップＳ６１０に示す低解像度化処理に対応する。ステップＳ６０４の縮小及びボケ処理は、図４に示す第１実施形態のステップＳ４０１～Ｓ４０４に対応する。即ち、ステップＳ６０４において、学習処理部は、光学系情報を用いて高解像学習用画像３０にボケを付加し、そのボケが付加された画像を、撮像素子情報を用いて縮小処理する。縮小処理後の画像は、各画素にＲＧＢ画素値が存在する低解像カラー画像４１である。

ステップＳ６０５において、学習処理部は、ステップＳ６０４で生成した低解像カラー画像４１に対してモザイク配置処理を行う。即ち、学習処理部は、ステップＳ６０３で取得した撮像素子情報６０を用いて、低解像カラー画像４１の画素値をベイヤ状にモザイク配置することで、低解像ベイヤ画像４２を生成する。低解像ベイヤ画像４２の各画素には、ＲＧＢいずれか１色が割り当てられている。例えば、低解像ベイヤ画像４２のＲ画素を例にとると、そのＲ画素と同じ位置の低解像カラー画像４１の画素からＲ画素値を抽出し、そのＲ画素値を低解像ベイヤ画像４２のＲ画素に割り当てる。低解像ベイヤ画像４２のＧ、Ｂ画素も同様である。

ステップＳ６０６において、学習処理部は、モザイク状の低解像ベイヤ画像４２に対してデモザイク処理を行うことで、低解像ベイヤ画像４２を再びカラー化する。このデモザイク処理後の画像が低解像学習用画像４０となる。例えば、デモザイク処理として、色相関を用いる補間又はバイリニア補間等の既存処理を採用できる。処理対象画像１０が生成される際のデモザイク処理がわかっている場合、ステップＳ６０６において、そのデモザイク処理と同様の処理を行うことが望ましい。

ステップＳ６０７において、第１実施形態のステップＳ３０５と同様に、ステップＳ６０１で取得した高解像学習用画像３０と、ステップＳ６０６で取得した低解像学習用画像４０とを用いて解像復元学習処理を行い、学習済みモデル２０を生成する。

本実施形態によれば、第１撮像系は、第１撮像方式の第１撮像素子を含む。第２撮像系は、第１撮像素子より低画素数であり且つ第１撮像方式と異なる第２撮像方式の第２撮像素子を含む。低解像度化処理Ｓ６１０は、第２撮像方式をシミュレートする撮像方式シミュレート処理を更に含む。撮像方式シミュレート処理は、第２撮像素子で取得された画像信号から処理対象画像１０を生成する際の画像処理をシミュレートする。例えば図５と図６に示すようにモザイク配置処理Ｓ６０５とデモザイク処理Ｓ６０６である。

撮像素子で取得された画像信号からカラー画像を生成する際の画像処理は、撮像方式に応じて異なっている。この画像処理はカラー画像の解像感に影響を与える。本実施形態によれば、低解像度化処理Ｓ６１０において撮像方式シミュレート処理を行うことで、処理対象画像１０の解像感を低解像学習用画像４０において再現できる。これにより、高性能な超解像を実現できる。

また本実施形態では、低解像度化処理Ｓ６１０は、第１撮像方式の高解像学習用画像３０を縮小処理し、縮小処理後の画像４１に撮像方式シミュレート処理を行う処理である。撮像方式シミュレート処理は、縮小処理後の画像４１から第２撮像方式の画像４２を生成（Ｓ６０５）し、生成した第２撮像方式の画像４２に対して、処理対象画像１０を生成する際の画像処理と同じ画像処理を実施（Ｓ６０６）することで、低解像学習用画像４０を生成する処理である。

このようにすれば、高解像学習用画像３０から第２撮像方式の画像４２を一旦生成した後に、その画像４２に対して、処理対象画像１０を生成する際の画像処理と同じ画像処理を実施する。これにより、第２撮像素子で取得された画像信号から処理対象画像１０を生成する際の画像処理をシミュレートできる。

また本実施形態では、第１撮像系は、複数の波長帯域の光が順次に照射される場合において各波長帯域の光が照射されるタイミングでモノクロ撮像素子により撮像することで、複数の画像を取得する。高解像学習用画像３０は、複数の画像が合成された面順次式画像である。第２撮像系は、互いに色が異なる複数の画素を有し且つ各画素に１色が割り当てられた同時式撮像素子を用いて、各画素に１色が割り当てられたベイヤ画像を取得する。低解像度化処理Ｓ６１０は、面順次式画像（３０）の画素数を減らす縮小処理を行い、縮小処理後の画像４１に対して撮像方式シミュレート処理を行う処理である。撮像方式シミュレート処理は、縮小処理後の画像４１から低解像ベイヤ画像４２を構成する（Ｓ６０５）。この低解像ベイヤ画像４２は、第２撮像系が取得するベイヤ画像に相当する。次に、撮像方式シミュレート処理は、低解像ベイヤ画像４２をデモザイク処理する（Ｓ６０６）ことで低解像学習用画像４０を生成する。

具体的には、第２撮像素子は、分光感度特性が異なる複数種類の画素を有する。高解像学習用画像３０は、モノクロ撮像素子を使用し、複数の波長帯域の光を順次照射撮像して取得された前記複数の波長帯域の光による撮像信号を合成することで生成された面順次式画像である。低解像学習用画像４０は、分光感度が異なる複数種類の画素を有する同時式撮像素子からなる第２の撮像系によって撮像された画像をシミュレートしたものである。低解像度化処理Ｓ６１０は、第２撮像方式をシミュレートする際に、同時式撮像素子の有する各画素の信号を、該各画素の位置に対応する位置のモノクロ撮像素子の画素で取得された複数の波長帯域の光による信号のうち、少なくとも１つの波長帯域の光による信号に基づき生成した後、デモザイク処理（Ｓ６０６）を行って、低解像学習用画像４０が生成される処理である。

このようにすれば、第１撮像系が面順次方式であり、第２撮像系が同時方式である場合に、低解像度化処理において、第２撮像方式である同時方式をシミュレートできる。同時方式におけるデモザイク処理は処理対象画像１０の解像感に影響を与える。本実施形態によれば、撮像方式シミュレート処理においてデモザイク処理を行うことで、処理対象画像１０の解像感を低解像学習用画像４０において再現できる。これにより、高性能な超解像を実現できる。

第２実施形態の変形例について説明する。変形例では、第２実施形態の学習処理に加えて、ノイズリダクション処理による解像度低下を考慮した低解像度化処理を行う。なお、第１、第２実施形態と同様な構成及び処理については説明を省略する。

図７は、第２実施形態の変形例における情報処理システム１００の構成例と、モデル作成処理Ｓ８００の処理フローである。情報処理システム１００の構成及び解像復元処理は、図１と図２に示す第１実施形態と同様である。

図８に、モデル作成処理Ｓ８００の処理フローを示す。ステップＳ８１０の低解像度化処理は、ステップＳ８０４～Ｓ８０７を含む。ステップＳ８０１～Ｓ８０５は、第２実施形態のステップＳ６０１～Ｓ６０５と同じである。

ステップＳ８０６において、学習処理部は、ステップＳ８０５で生成したモザイク状の低解像ベイヤ画像４２に対してノイズリダクション処理を行う。例えば、ベイヤ画像に対する既知のノイズリダクション処理を採用できる。ステップＳ８０７において、学習処理部は、第２実施形態のステップＳ６０６と同様に、ノイズリダクション処理後の画像に対してデモザイク処理を行うことで低解像学習用画像４０を生成する。ステップＳ８０８において、第１実施形態のステップＳ３０５と同様に、ステップＳ８０１で取得した高解像学習用画像３０と、ステップＳ８０７で取得した低解像学習用画像４０とを用いて解像復元学習処理を行い、学習済みモデル２０を生成する。

本実施形態によれば、撮像方式シミュレート処理は、低解像ベイヤ画像４２に対するノイズリダクション処理（Ｓ８０６）を更に含む。

ノイズリダクション処理は処理対象画像１０の解像感に影響を与える。本実施形態によれば、撮像方式シミュレート処理においてノイズリダクション処理を行うことで、処理対象画像１０の解像感を低解像学習用画像４０において再現できる。これにより、高性能な超解像を実現できる。

３．第３実施形態
第３実施形態では、処理対象画像を撮像した撮像系の種類を検出し、その検出結果に対応した解像復元を行う。以下では撮像系の種類に応じて撮像方式が異なる場合を例に説明するが、これに限定されず、撮像系の種類に応じて処理対象画像の解像度が異なっていればよい。例えば、撮像系の種類に応じて画素数、光学系等が異なってもよい。なお、第１、第２実施形態と同様な構成及び処理については説明を省略する。

図９は、第３実施形態における情報処理システム１００の構成例と、モデル作成処理Ｓ３００、Ｓ６００の処理フローである。入力部１の構成及び処理は第１実施形態と同様である。また、モデル作成処理Ｓ３００、Ｓ６００は第１、第２実施形態と同様である。

記憶部２は、第１学習済みモデル２１と第２学習済みモデル２２を記憶する。第１学習済みモデル２１は、第１実施形態で説明したモデル作成処理Ｓ３００により生成される。第２学習済みモデル２２は、第２実施形態で説明したモデル作成処理Ｓ６００により生成される。

処理部３は、撮像方式を検出する撮像情報検出処理Ｓ２５０と、その検出結果を用いて解像復元を行う解像復元処理Ｓ２００と、を行う。図１０に、撮像情報検出処理Ｓ２５０及び解像復元処理Ｓ２００の処理フローを示す。

ステップＳ１００１において、処理部３は、入力部１から処理対象画像１０を読み込む。ステップＳ１００２において、処理部３は、処理対象画像１０から撮像情報を検出し、その撮像情報に基づいて撮像方式を判断する。撮像情報は、例えば処理対象画像１０の色分布、面順次式によるエッジ部の色ずれ量、又は画素数等の画像情報である。撮像方式は、面順次方式又は同時方式である。処理対象画像１０が面順次方式で撮像されたとき、処理対象画像１０は、面順次方式に対応した撮像情報を有し、処理対象画像１０が同時方式で撮像されたとき、処理対象画像１０は、同時方式に対応した撮像情報を有する。

撮像方式について補足説明する。なお以下ではＲＧＢの白色画像を撮像する場合を例に説明する。面順次方式では、光源がＲ光、Ｇ光及びＢ光を順次に発光する。撮像系はモノクロ撮像素子を有し、光源がＲ光を発光したタイミングでＲ画像を撮像し、光源がＧ光を発光したタイミングでＧ画像を撮像し、光源がＢ光を発光したタイミングでＢ画像を撮像する。これら３色の画像が合成されることでカラー画像が生成される。同時方式では、光源が白色光を発光する。白色光は、例えば可視光域を覆う連続スペクトルを有する。撮像系はベイヤ型撮像素子を有し、ベイヤ配列の画像を撮像する。このベイヤ配列の画像がデモザイク処理されることでカラー画像が生成される。

撮像情報について補足説明する。まず色分布について説明する。上記のように、面順次方式と同時方式では光源が異なる。このため、例えば生体の赤味等、画像の色味が異なって写る。処理部３は、色相等を用いて画像の色味を判断することで、撮像方式を判断する。次にエッジ部の色ずれ量について説明する。上記のように、面順次方式ではＲＧＢの撮像タイミングが異なるため、ＲＧＢで被写体位置がずれている。処理部３は、マッチング処理等を用いてエッジ部の色ずれ量を検出し、その色ずれ量が所定値より大きい場合に、撮像方式が面順次方式であると判断する。次に画素数について説明する。上記のように、面順次方式と同時方式では撮像素子が異なるので、撮像画像の画素数が異なる場合がある。処理部３は、処理対象画像１０の画素数から撮像方式を判断する。

ステップＳ１００３において、処理部３は、ステップＳ１００２で判断された撮像方式に対応した学習済みモデルを記憶部２から読み出す。即ち、処理部３は、撮像方式が面順次方式であると判断したとき、記憶部２から第１学習済みモデル２１を読み出し、撮像方式が同時方式であると判断したとき、記憶部２から第２学習済みモデル２２を読み出す。

ステップＳ１００４において、処理部３は、ステップＳ１００１で取得した処理対象画像１０に対して、ステップＳ１００３で取得した学習済みモデルを用いて解像復元処理を行い、高解像画像を生成する。

本実施形態によれば、記憶部２は、第２撮像系に対応した学習済みモデルである第１学習済みモデル２１と、第１撮像系より低解像の撮像を行う第３撮像系に対応した第２学習済みモデル２２と、を記憶する。入力部１は、第２撮像系によって撮像される第１処理対象画像、又は第３撮像系によって撮像される第２処理対象画像を、処理対象画像１０として処理部３に入力する。処理部３は、第１処理対象画像に対する解像復元を、第１学習済みモデル２１を用いて行い、第２処理対象画像に対する解像復元を、第２学習済みモデル２２を用いて行う。

このようにすれば、処理対象画像１０が撮像された撮像系に応じた学習済みモデルが選択される。これにより、複数の撮像系に対応した高性能な超解像を実現できる。即ち、各撮像系に応じて適切な復元パラメータを有する学習済みモデルが選択されるので、撮像系に関わらず高性能な超解像を実現できる。

また本実施形態では、処理部３は、処理対象画像１０を撮像した撮像系の種類を、処理対象画像１０から検出する。処理部３は、検出結果に基づいて第１処理対象画像が入力されたと判断したとき、第１学習済みモデル２１を選択し、検出結果に基づいて第２処理対象画像が入力されたと判断したとき、第２学習済みモデル２２を選択する。

このようにすれば、処理対象画像１０から撮像系の種類を判断し、その撮像系の種類に対応した学習済みモデルを選択できる。

４．第４実施形態
第４実施形態では、情報処理システムを内視鏡システムに用いる。内視鏡システムは、各種の内視鏡スコープを着脱可能である。第４実施形態では、内視鏡システムに装着された内視鏡スコープに応じて解像復元を行う。具体的には、内視鏡スコープの撮像系の種類を検出し、その検出結果に対応した解像復元を行う。以下では撮像系の種類に応じて撮像方式が異なる場合を例に説明するが、これに限定されず、撮像系の種類に応じて処理対象画像の解像度が異なっていればよい。例えば、撮像系の種類に応じて画素数、光学系等が異なってもよい。なお、第１～第３実施形態と同様な構成及び処理については説明を省略する。

図１１は、第４実施形態における内視鏡システム２００の構成例と、モデル作成処理Ｓ３００、Ｓ６００の処理フローである。内視鏡システム２００は、プロセッサユニット４と、プロセッサユニット４に接続される内視鏡スコープ５とを含む。プロセッサユニット４は、入力部１と記憶部２と処理部３とを含む。入力部１は第１実施形態と同様であり、記憶部２は第３実施形態と同様であり、モデル作成処理Ｓ３００、Ｓ６００は第１、第２実施形態と同様である。

処理部３は、プロセッサユニット４に接続された内視鏡スコープ５の撮像方式を検出する撮像情報検出処理Ｓ２６０と、その検出結果を用いて解像復元を行う解像復元処理Ｓ２００と、を行う。図１２に、撮像情報検出処理Ｓ２６０及び解像復元処理Ｓ２００の処理フローを示す。

ステップＳ１２０１において、処理部３は、入力部１から処理対象画像１０を読み込む。ステップＳ１２０２において、処理部３は、内視鏡スコープ５のＩＤを検出する。ＩＤには、内視鏡スコープ５が有する撮像系の光学系情報と撮像方式情報が含まれる。ステップＳ１２０３において、処理部３は、ステップＳ１２０２で検出したＩＤに対応した学習済みモデルを記憶部２から読み込む。即ち、処理部３は、ＩＤが面順次方式を示す場合には第１学習済みモデル２１を記憶部２から読み出し、ＩＤが同時方式を示す場合には第２学習済みモデル２２を記憶部２から読み出す。ステップＳ１２０４において、処理部３は、ステップＳ１２０１で取得した処理対象画像１０に対して、ステップＳ１２０３で取得した学習済みモデルを用いて解像復元処理を行い、高解像画像を生成する。

本実施形態によれば、処理部３は、プロセッサユニット４に接続された内視鏡スコープ５のＩＤ情報を検出する。処理部３は、ＩＤ情報に基づいて内視鏡スコープ５が第２撮像系を含むと判断したとき、第１学習済みモデル２１を選択し、ＩＤ情報に基づいて内視鏡スコープ５が第３撮像系を含むと判断したとき、第２学習済みモデル２２を選択する。

このようにすれば、内視鏡スコープのＩＤ情報に応じた学習済みモデルが選択される。これにより、複数種類の内視鏡スコープに対応した高性能な超解像を実現できる。即ち、各種類の内視鏡スコープに応じて適切な復元パラメータを有する学習済みモデルが選択されるので、内視鏡スコープの種類に関わらず高性能な超解像を実現できる。

５．変形例
以下、種々の変形実施例について説明する。

第１変形例を説明する。第１～第４実施形態において、低解像度化処理は、光学系情報及び撮像素子情報の少なくとも一方を用いたが、更に光源の情報を用いてもよい。第１変形例では、処理対象画像を撮像する際の光源に応じて低解像度化処理を切り替える。具体的には、観察方式に応じて光源が異なっているため、光源に応じた切り替えは、観察方式に応じた切り替えとも言える。

観察方式は、観察モードとも呼ばれる。観察方式としては、例えば白色照明光を用いるＷＬＩ（White Light Imaging）、白色光ではない特殊光を用いる特殊光観察等がある。以下では、特殊光観察が、２つの狭帯域光を用いるＮＢＩ（Narrow Band Imaging）である場合を例に説明する。２つの狭帯域光は、青色の波長帯域に含まれる狭帯域光と、緑色の波長帯域に含まれる狭帯域光である。ＷＬＩとＮＢＩでは、撮像素子が出力する画像信号からカラー画像を生成する際の画像処理が異なる。例えば、デモザイク処理の内容、又は画像処理におけるパラメータが異なる。

図１３は、第１変形例における情報処理システム１００の構成例、及びモデル作成処理Ｓ５００の処理フローである。

モデル作成処理Ｓ５００の低解像度化処理Ｓ５１０において、学習処理部は観察方式情報７０を取得し、その観察方式情報７０に応じて処理を切り替える。観察方式情報７０は、処理対象画像１０が撮像される際の観察方式を示す情報である。学習処理部は、観察方式情報７０がＷＬＩを示す場合にはＷＬＩ用処理Ｓ５１１を選択し、観察方式情報がＮＢＩを示す場合にはＮＢＩ用処理Ｓ５１２を選択する。ＷＬＩ用処理Ｓ５１１及びＮＢＩ用処理Ｓ５１２は、高解像学習用画像３０を低解像学習用画像４０に低解像化する処理である。例えば、ＷＬＩ用処理Ｓ５１１は、デモザイク処理においてＧ画像を用いてＲ画像及びＢ画像を補間する。一方、ＮＢＩ用処理Ｓ５１２は、デモザイク処理においてＧ画像とＢ画像をそれぞれ独立に補間する。

第１変形例によれば、処理対象画像１０は、第１撮像系が撮像する際に用いた光源に対応した画像処理によって生成される。低解像度化処理Ｓ５１０は、光源に対応した画像処理（Ｓ５１１、Ｓ５１２）を含む。

このようにすれば、観察方式に関わらず高性能な超解像処理を実現可能となる。即ち、観察方式によって画像処理が異なるため、処理対象画像の解像感も変化する。第１変形例によれば、観察方式に応じて画像処理を切り替えることで、処理対象画像の解像感と同等な低解像学習用画像を生成できる。これにより、超解像の精度を向上できる。

第２変形例を説明する。第２実施形態において、ベイヤ画像を低解像学習用画像にする画像処理は、デモザイク処理、又はデモザイク処理及びノイズリダクション処理であるが、画像処理は、これらに限定されない。ベイヤ画像を低解像学習用画像にする画像処理は、欠陥画素の補正又はエッジ強調処理等の各種画像処理を含んでもよい。

第３変形例を説明する。第１実施形態において、光学系情報を反映した低解像学習用画像を生成するために２つの光学系のＰＳＦ又はＯＴＦを用いて画像にボケを付加したが、ボケ付加の手法はこれに限定されない。第１撮像系の光学系を用いて撮像した画像と、第２撮像系の光学系を用いて撮像した画像とを用いて、画像に付加するボケ量を実験的に決定してもよい。具体的には、ガウシアン等によりボケを近似した２次元フィルタを複数生成する。複数の２次元フィルタは、互いに異なるボケ量を近似する。第１撮像系の光学系を用いて撮像した画像に対して複数の２次元フィルタを生成し、得られた複数の画像と、第２撮像系の光学系を用いて撮像した画像とを比較する。その比較結果に基づいて、最適なボケ量を近似する２次元フィルタを選択する。

第３変形例によれば、簡易的に光学系情報を反映した低解像度化処理が可能となる。即ち、撮像系のＰＳＦ又はＯＴＦが分からない場合であっても、ガウシアン等の２次元フィルタによって光学系の解像特性を近似できる。

第４変形例を説明する。第２実施形態において、同時式撮像素子がベイヤ型撮像素子である例を説明したが、同時式撮像素子はこれに限定されず、どのような色配列を有する撮像素子であってもよい。例えば、同時式撮像素子は、図１４に示す補色配列を有してもよいし、又は図１５に示す原色画素と補色画素が混在した配列を有してもよい。図１４の補色型撮像素子では、２×２画素のユニット内にシアン（Ｃｙ）画素、マゼンダ（Ｍｇ）画素、イエロー（Ｙｅ）画素、及び緑（Ｇ）画素が配置され、そのユニットが繰り返し配置される。図１５の混在型撮像素子では、２×２画素のユニット内に赤（Ｒ）画素、緑（Ｇ）画素、青（Ｂ）画素、及びシアン（Ｃｙ）画素が配置され、そのユニットが繰り返し配置される。

第４変形例を考慮すると、同時式撮像素子は例えば次のような構成である。例えば、同時式撮像素子は、Ｃｙ、Ｍｇ、Ｙｅ、Ｇのカラーフィルタが設けられたＣｙ画素、Ｍｇ画素、Ｙｅ画素、Ｇ画素の４色の画素のうち少なくとも２色の画素を有してもよい。或いは、同時式撮像素子は、Ｃｙ、Ｍｇ、Ｙｅ、Ｇのカラーフィルタが設けられたＣｙ画素、Ｍｇ画素、Ｙｅ画素、Ｇ画素の４色の画素からなる補色系配列を有してもよい。或いは、同時式撮像素子は、Ｒ、Ｇ、Ｂの３色のカラーフィルタが設けられたＲ画素、Ｇ画素、Ｂ画素の３色の画素のうち少なくとも２色の画素を有してもよい。或いは、同時式撮像素子は、ベイヤ配列を有してもよい。

第５変形例を説明する。第３実施形態において、撮像系の種類を示す撮像情報を処理対象画像から検出したが、撮像情報を検出する方法は、これに限定されない。例えば、ユーザが予め処理対象画像の撮像情報を把握している場合、ユーザがその情報を情報処理システム１００に入力してもよい。

第６変形例を説明する。第２実施形態において、面順次式で撮影された高解像学習用画像をモザイク配置することで低解像ベイヤ画像を生成する。低解像ベイヤ画像は、同時式で撮影された画像を想定している。上述したように面順次式では色ずれが発生するが、同時式では色ずれが発生しないため、色ずれが多いシーンの画像から低解像ベイヤ画像を生成するのは、超解像精度の観点から望ましくない。

図１６は、第６変形例における情報処理システム１００の構成例、及びモデル作成処理Ｓ７００の処理フローである。情報処理システム１００の構成及び動作は第２実施形態と同様である。

モデル作成処理Ｓ７００において、学習処理部は、高解像学習用画像３０に対して色ずれ判定処理Ｓ７１０を行う。学習処理部は、色ずれ量が所定値より小さい高解像学習用画像３０に対して低解像度化処理Ｓ６１０を行い、低解像学習用画像４０を生成する。色ずれ判定処理Ｓ７１０では、例えば画像の飽和部周辺等の色付き量と所定の閾値を比較する。

第６変形例によれば、第１撮像系は、複数の波長帯域の光が順次に照射される場合において各波長帯域の光が照射されるタイミングでモノクロ撮像素子により撮像することで、複数の画像を取得する。高解像学習用画像３０は、複数の画像が合成された面順次式画像である。学習済みモデル２０は、面順次式画像における色ずれ量が、予め設定された閾値以下である面順次式画像（３０）を用いて学習される。

このようにすれば、色ずれが少ないシーンのみを用いて解像復元の学習を行うことができる。これにより、色ずれの影響を抑えながら、同時式の低解像撮像素子で撮影した画像に対しても高性能な超解像処理を実現できる。

第７変形例を説明する。第１実施形態において、高解像学習用画像３０に対し、低解像度化処理を行うことで低解像学習用画像４０を出力したが、高解像学習用画像３０に対し、低解像度化処理に加えて既知のグレースケール化処理を行い、モノクロの低解像学習用画像を出力してもよい。

モノクロの低解像学習用画像を用いて解像復元学習処理を行うことで、第２撮像系によって撮像される処理対象画像１０がモノクロであっても、学習済みモデルは、処理対象画像１０を解像復元するだけでなく、処理対象画像１０の被写体の実際の色味を再現できる。

６．学習装置、内視鏡システム
図１７は、上述したモデル作成処理を実行する学習装置３５０の構成例である。学習装置３５０は、処理部３５１と記憶部３５２と操作部３５３と表示部３５４とを含む。例えば、学習装置３５０はＰＣ又はサーバ等の情報処理装置である。処理部３５１はＣＰＵ等のプロセッサである。処理部３５１は、学習モデルに対する機械学習を行って学習済みモデルを生成する。記憶部３５２は半導体メモリ又はハードディスクドライブ等の記憶装置である。操作部３５３はマウス又はタッチパネル、キーボード等の種々の操作入力装置である。表示部３５４は液晶ディスプレイ等の表示装置である。なお学習装置３５０は、ネットワークで接続された複数の情報処理装置が並列処理を行うクラウドシステムであってもよい。或いは、図１等の情報処理システム１００が学習装置を兼ねてもよい。この場合、処理部３、記憶部２が、それぞれ学習装置３５０の処理部３５１、記憶部３５２を兼ねる。

学習装置３５０が生成した学習済みモデルは、情報処理システム１００の記憶部２に記憶される。なお、学習済みモデルは、コンピュータにより読み取り可能な媒体である情報記憶媒体に、格納されてもよい。情報記憶媒体は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリなどにより実現できる。半導体メモリは例えばＲＯＭである。情報処理システム１００は、情報記憶媒体に格納されるプログラムとデータを読み出し、そのプログラムとデータに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、本実施形態の学習済みモデルをコンピュータに実行させるためのプログラムとパラメータが記憶される。コンピュータは、入力装置、及び処理部、記憶部、出力部を備える装置である。プログラムは、学習済みモデルの推論アルゴリズムをコンピュータに実行させるためのプログラムである。パラメータは、推論アルゴリズムに用いられるパラメータであり、例えばニューラルネットワークにおけるノード間接続の重み係数である。情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク、不揮発性メモリやＲＡＭ等のメモリなど、コンピュータによって読み取り可能な種々の記録媒体を想定できる。

図１８は、情報処理システム１００を含む内視鏡システム２００の第１構成例である。内視鏡システム２００は、プロセッサユニット４と内視鏡スコープ５と操作部２３０と表示部２４０とを含む。

内視鏡スコープ５の先端部には撮像装置が設けられ、その先端部が体腔内に挿入される。撮像装置は、上述した第２撮像系である。撮像装置が腹腔内の画像を撮影し、その撮像データが内視鏡スコープ５からプロセッサユニット４へ送信される。

プロセッサユニット４は、内視鏡システム２００における種々の処理を行う装置である。例えばプロセッサユニット４は、内視鏡システム２００の制御、及び画像処理等を行う。プロセッサユニット４は、情報処理システム１００とストレージ部２１１と制御部２１２と出力部２１３とを含む。

制御部２１２は、内視鏡システム２００の各部を制御する。例えば操作部２３０から入力された情報に基づいて、内視鏡システム２００のモード切り替え、ズーム動作、表示切り替え等を行う。操作部２３０は、ユーザが内視鏡システム２００を操作するための装置である。例えば、操作部２３０は、ボタン、又はダイヤル、フットスイッチ、タッチパネル等である。なお制御部２１２と各部の接続の図示を省略している。

ストレージ部２１１は、内視鏡スコープ５が撮像した画像を記録する。ストレージ部２１１は、例えば半導体メモリ、ハードディスクドライブ、又は光学ドライブ等である。

情報処理システム１００は、撮像データ受信部１１０とストレージインターフェース１２０と処理部３と記憶部２とを含む。撮像データ受信部１１０は、内視鏡スコープ５からの撮像データを受信する。撮像データ受信部１１０は、例えば内視鏡スコープ５のケーブルが接続されるコネクター、又は、撮像データを受信するインターフェース回路等である。ストレージインターフェース１２０は、ストレージ部２１１にアクセスするためのインターフェースである。ストレージインターフェース１２０は、撮像データ受信部１１０が受信した画像データをストレージ部２１１に記録する。記録した画像データを再生する際には、ストレージインターフェース１２０は、ストレージ部２１１から画像データを読み出し、その画像データを処理部３に送信する。処理部３は、撮像データ受信部１１０又はストレージインターフェース１２０からの画像データを処理対象画像として解像復元処理を行う。処理部３は、復元後の高解像画像を出力する。

第１～第４実施形態における入力部１は、図１８において撮像データ受信部１１０又はストレージインターフェース１２０に対応する。

出力部２１３は、表示部２４０への画像表示を制御する表示コントローラーであり、処理部３から出力された高解像画像を表示部２４０に表示させる。表示部２４０は、出力部２１３から出力された画像を表示するモニタであり、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等の表示装置である。

なお、内視鏡システム２００は不図示の光源を含むことができる。光源は照明光を生成する。内視鏡スコープ５は、光源が生成した照明光をスコープ先端部に導光するライトガイドと、導光された照明光を拡散させる照明レンズとを含む。

図１９は、情報処理システム１００を含む内視鏡システム２００の第２構成例である。内視鏡システム２００は、情報処理システム１００とプロセッサユニット４と内視鏡スコープ５と操作部２３０と表示部２４０とを含む。

図１９では、情報処理システム１００がプロセッサユニット４の外部に設けられる。情報処理システム１００とプロセッサユニット４は、例えばＵＳＢ等の機器間通信により接続されてもよいし、或いはＬＡＮ又はＷＡＮ等のネットワーク通信により接続されてもよい。情報処理システム１００は、１又は複数の情報処理装置によって構成される。情報処理システム１００が複数の情報処理装置で構成される場合、情報処理システム１００は、ネットワークを介して接続された複数のＰＣ又は複数のサーバ等が並列処理を行うクラウドシステムであってもよい。

プロセッサユニット４は、撮像データ受信部１１０と処理部２１４と外部インターフェース２１５と制御部２１２と出力部２１３とを含む。処理部２１４は、撮像データ受信部１１０が受信した画像データを、外部インターフェース２１５を介して情報処理システム１００に送信する。情報処理システム１００は、受信した画像データを超解像処理して高解像画像を生成する。外部インターフェース２１５は、情報処理システム１００から送信される高解像画像を受信し、その高解像画像を処理部２１４に出力する。処理部２１４は高解像画像を出力部２１３に出力し、出力部２１３は高解像画像を表示部２４０に表示させる。

情報処理システム１００は、外部インターフェース１３０と処理部３と記憶部２とストレージインターフェース１２０とストレージ部２１１とを含む。外部インターフェース１３０は、プロセッサユニット４から送信される画像データを受信する。ストレージインターフェース１２０及びストレージ部２１１は第１構成例と同様である。処理部３は、外部インターフェース１３０又はストレージインターフェース１２０からの画像データを処理対象画像として解像復元処理を行う。処理部３は、復元後の高解像画像を外部インターフェース１３０に出力し、外部インターフェース１３０は高解像画像をプロセッサユニット４に送信する。

第１～第４実施形態における入力部１は、図１９において外部インターフェース１３０又はストレージインターフェース１２０に対応する。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１ 入力部、２ 記憶部、３ 処理部、４ プロセッサユニット、５ 内視鏡スコープ、１０ 処理対象画像、２０ 学習済みモデル、２１ 第１学習済みモデル、２２ 第２学習済みモデル、３０ 高解像学習用画像、４０ 低解像学習用画像、４１ 低解像カラー画像、４２ 低解像ベイヤ画像、５０ 光学系情報、６０ 撮像素子情報、７０ 観察方式情報、１００ 情報処理システム、１１０ 撮像データ受信部、１２０ ストレージインターフェース、１３０ 外部インターフェース、２００ 内視鏡システム、２１１ ストレージ部、２１２ 制御部、２１３ 出力部、２１４ 処理部、２１５ 外部インターフェース、２３０ 操作部、２４０ 表示部、３５０ 学習装置、３５１ 処理部、３５２ 記憶部、３５３ 操作部、３５４ 表示部

Claims (18)

1. 学習済みモデルを記憶する記憶部と、
   処理部と、
   第１撮像方式の第１撮像素子を含む第１撮像系よりも低画素数であり且つ前記第１撮像方式と異なる第２撮像方式の第２撮像素子を含む第２撮像系によって撮像される処理対象画像を、前記処理部に入力する入力部と、
   を含み、
   前記学習済みモデルは、
   低解像学習用画像を高解像学習用画像に解像復元するように学習された学習済みモデルであり、
   前記高解像学習用画像は、所定被写体が前記第１撮像系により撮影された高解像の画像であり、
   前記低解像学習用画像は、前記高解像学習用画像を、低解像度化処理することで生成され、
   前記低解像度化処理は、前記所定被写体が前記第２撮像系により撮像されたかのような低解像の画像を生成する処理及び前記第２撮像方式をシミュレートする撮像方式シミュレート処理であって、前記第２撮像系の光学系の解像特性をシミュレートする光学系シミュレート処理を含み、
   前記処理部は、
   前記学習済みモデルを用いて、前記処理対象画像を、前記第１撮像系で撮像されたときの解像度に解像復元することを特徴とする情報処理システム。
2. 請求項１において、
   前記低解像度化処理は、前記光学系シミュレート処理において、前記第２撮像系の伝達関数に基づいて前記解像特性をシミュレートすることを特徴とする情報処理システム。
3. 請求項２において、
   前記低解像度化処理は、前記高解像学習用画像に前記第１撮像系のＰＳＦ（PSF: Point Spread Function）をデコンボリューション演算及び前記第２撮像系のＰＳＦをコンボリューション演算することで、前記解像特性をシミュレートすることを特徴とする情報処理システム。
4. 請求項２において、
   前記低解像度化処理は、前記高解像学習用画像をフーリエ変換し、前記フーリエ変換の結果である前記高解像学習用画像の周波数特性を、前記第１撮像系のＯＴＦ（Optical Transfer Function）で除算及び前記第２撮像系のＯＴＦで乗算を行い、算出された、周波数特性を逆フーリエ変換することで、前記解像特性をシミュレートすることを特徴とする情報処理システム。
5. 請求項１において、
   前記第２撮像素子は、内視鏡の撮像素子であることを特徴とする情報処理システム。
6. 請求項１において、
   前記処理対象画像は、前記第２撮像方式の画像を画像処理することで生成された画像であり、
   前記低解像度化処理は、前記第１撮像方式の前記高解像学習用画像を縮小処理し、縮小処理後の画像に前記撮像方式シミュレート処理を行う処理であり、
   前記撮像方式シミュレート処理は、前記縮小処理後の画像から前記第２撮像方式の画像を生成し、生成した前記第２撮像方式の画像に対して、前記画像処理と同じ画像処理を実施することで、前記低解像学習用画像を生成する処理であることを特徴とする情報処理システム。
7. 請求項１において、
   前記第１撮像系は、複数の波長帯域の光が順次に照射される場合において各波長帯域の光が照射されるタイミングでモノクロ撮像素子により撮像することで、複数の画像を取得し、
   前記高解像学習用画像は、前記複数の画像が合成された面順次式画像であり、
   前記第２撮像系は、互いに色が異なる複数の画素を有し且つ各画素に１色が割り当てられた同時式撮像素子を用いて、各画素に１色が割り当てられたモザイク画像を取得し、
   前記低解像度化処理は、前記面順次式画像の画素数を減らす縮小処理を行い、縮小処理後の画像に対して前記撮像方式シミュレート処理を行う処理であり、
   前記撮像方式シミュレート処理は、前記縮小処理後の画像から前記モザイク画像を構成し、前記モザイク画像をデモザイキング処理することで前記低解像学習用画像を生成する処理であることを特徴とする情報処理システム。
8. 請求項７において、
   前記撮像方式シミュレート処理は、前記モザイク画像に対するノイズリダクション処理を更に含むことを特徴とする情報処理システム。
9. 請求項１において、
   前記処理対象画像は、前記第１撮像系が撮像する際に用いた光源に対応した画像処理によって生成され、
   前記低解像度化処理は、前記光源に対応した前記画像処理を含むことを特徴とする情報処理システム。
10. 請求項１において、
    前記第１撮像系は、複数の波長帯域の光が順次に照射される場合において各波長帯域の光が照射されるタイミングでモノクロ撮像素子により撮像することで、複数の画像を取得し、
    前記高解像学習用画像は、前記複数の画像が合成された面順次式画像であり、
    前記学習済みモデルは、
    前記面順次式画像における色ずれ量が、予め設定された閾値以下である前記面順次式画像を用いて学習されることを特徴とする情報処理システム。
11. 請求項１において、
    前記低解像学習用画像は、前記高解像学習用画像を、前記低解像度化処理及びグレースケール化処理することで生成されることを特徴とする情報処理システム。
12. 請求項１において、
    前記記憶部は、前記第２撮像系に対応した前記学習済みモデルである第１学習済みモデルと、前記第１撮像系より低解像の撮像を行う第３撮像系に対応した第２学習済みモデルと、を記憶し、
    前記入力部は、前記第２撮像系によって撮像される第１処理対象画像、又は前記第３撮像系によって撮像される第２処理対象画像を、前記処理対象画像として前記処理部に入力し、
    前記処理部は、
    前記第１処理対象画像に対する前記解像復元を、前記第１学習済みモデルを用いて行い、前記第２処理対象画像に対する前記解像復元を、前記第２学習済みモデルを用いて行うことを特徴とする情報処理システム。
13. 請求項１２において、
    前記処理部は、
    前記処理対象画像を撮像した撮像系の種類を、前記処理対象画像から検出し、検出結果に基づいて前記第１処理対象画像が入力されたと判断したとき、前記第１学習済みモデルを選択し、前記検出結果に基づいて前記第２処理対象画像が入力されたと判断したとき、前記第２学習済みモデルを選択することを特徴とする情報処理システム。
14. 請求項１２に記載の情報処理システムを有するプロセッサユニットと、
    前記プロセッサユニットに着脱可能であり、前記処理対象画像を撮像して前記入力部に送信する内視鏡スコープと、
    を含み、
    前記処理部は、
    前記プロセッサユニットに接続された前記内視鏡スコープのＩＤ情報を検出し、前記ＩＤ情報に基づいて前記内視鏡スコープが前記第２撮像系を含むと判断したとき、前記第１学習済みモデルを選択し、前記ＩＤ情報に基づいて前記内視鏡スコープが前記第３撮像系を含むと判断したとき、前記第２学習済みモデルを選択することを特徴とする内視鏡システム。
15. 請求項１に記載の情報処理システムを有するプロセッサユニットと、
    前記プロセッサユニットに接続され、前記処理対象画像を撮像して前記入力部に送信する内視鏡スコープと、
    を含むことを特徴とする内視鏡システム。
16. 第１撮像系よりも低解像の撮像を行う第２撮像系によって撮像される処理対象画像を、前記第１撮像系で撮像されたときの解像度に解像復元するように、コンピュータを機能させる学習済みモデルであって、
    前記学習済みモデルは、
    低解像学習用画像を高解像学習用画像に解像復元するように学習され、
    前記高解像学習用画像は、第１撮像方式の第１撮像素子を含む前記第１撮像系により所定被写体が撮影された高解像の画像であり、
    前記低解像学習用画像は、前記高解像学習用画像を、低解像度化処理することで生成され、
    前記低解像度化処理は、低画素数であり且つ前記第１撮像方式と異なる第２撮像方式の第２撮像素子を含む前記第２撮像系により前記所定被写体が撮像されたかのような低解像の画像を生成する処理及び前記第２撮像方式をシミュレートする撮像方式シミュレート処理であって、前記第２撮像系の光学系の解像特性をシミュレートする光学系シミュレート処理を含むことを特徴とする学習済みモデル。
17. 請求項１６に記載の学習済みモデルを記憶した情報記憶媒体。
18. 学習済みモデルを用いて解像復元を行う情報処理方法であって、
    前記学習済みモデルは、
    低解像学習用画像を高解像学習用画像に解像復元するように学習され、
    前記高解像学習用画像は、第１撮像方式の第１撮像素子を含む第１撮像系により所定被写体が撮影された高解像の画像であり、
    前記低解像学習用画像は、前記高解像学習用画像を、低解像度化処理することで生成され、
    前記低解像度化処理は、低画素数であり且つ前記第１撮像方式と異なる第２撮像方式の第２撮像素子を含む第２撮像系により前記所定被写体が撮像されたかのような低解像の画像を生成する処理及び前記第２撮像方式をシミュレートする撮像方式シミュレート処理であって、前記第２撮像系の光学系の解像特性をシミュレートする光学系シミュレート処理を含み、
    前記学習済みモデルを用いて、前記第１撮像系よりも低解像の撮像を行う前記第２撮像系によって撮像される処理対象画像を、前記第１撮像系で撮像されたときの解像度に解像復元することを特徴とする情報処理方法。
    

Images