JP7382930B2 - 医療画像処理装置 - Google Patents

Description

本発明は、学習装置及び学習方法、並びに、医療画像処理装置に係り、特に、医療画像に対して画像認識を行うモデルを生成するための学習装置及び学習方法、並びに、そのモデルを使用した医療画像処理装置に関する。

機械学習により生成した画像認識モデルを用いて、医療画像から病変を自動的に検出したり、病変を種類ごとに分類したりする技術が知られている。機械学習では、問題に応じた画像を大量に学習させることで、検出、分類といった画像認識が可能となる。

特許文献１には、学習用の画像の数が少ない場合であっても、精度の高い画像認識モデルを生成する方法として、学習対象の画像群の特性と類似する画像群によって事前学習し、その後、学習対象の画像群で本学習する方法が提案されている。具体的には、被写体の形状が類似している画像群、生体ファントムを撮像した画像群、被写体の組織構造が類似した画像群、同一の撮像系によって模倣臓器を撮像した画像群等によって事前学習し、その後、学習対象の画像群で本学習する方法が提案されている。

また、特許文献２には、第１フレームレートによって撮像された第１画像群によって第１の学習を行い、その後、第１フレームレートよりも低い第２フレームレートで撮像された第２画像群によって第２の学習を行う方法が提案されている。

国際公開第2017/221412号 国際公開第2017/175282号

ところで、機械学習では、学習に用意した画像の画質に偏りがあると、その画質の偏りも学習してしまう。このため、学習した画像群の画質の偏りから外れた画質の画像を画像認識させると、認識の精度が低下するという問題がある。特許文献１、２の学習方法では、画質を考慮した学習が行われていないため、学習した画像群の画質と異なる画質の画像を認識させると、認識精度が低下するという欠点がある。

一方、内視鏡等の医療画像を撮影する機器では、機種ごとに画質差が存在する場合がある。したがって、精度の高い画像認識モデルを生成するには、機種ごとに学習を最適化する必要がある。

しかしながら、機種ごとにゼロベースで画像認識モデルを生成することは、多大な手間及びコストがかかるという問題がある。

本発明は、このような事情に鑑みてなされたもので、特定の画質を有する医療画像に対して画像認識を行うモデルを効率よく生成できる学習装置及び学習方法、並びに、医療画像処理装置を提供することを目的とする。

上記課題を解決するための手段は、次のとおりである。

（１）第１画質の医療画像で構成される第１医療画像群を用いて学習することにより、第１画質の医療画像に対して画像認識を行う第１モデルを生成する第１学習部と、第１モデルを元に、第１画質と異なる第２画質の医療画像で構成される第２医療画像群を用いて学習することにより、第２画質の医療画像に対して画像認識を行う第２モデルを生成する第２学習部と、を備えた学習装置。

本態様によれば、まず、第１画質の第１医療画像群で第１の学習を行うことにより、第１モデルが生成される。その後、第１モデルを元に、第２画質の第２医療画像群で第２の学習を行うことにより、第２モデルが生成される。第２の学習は、第１の学習結果をベースに行われるので、学習用の画像の数が少ない場合であっても、精度のよいモデルを生成できる。したがって、特定の画質を有する医療画像に対して画像認識を行うモデルを生成する場合は、学習用の画像が豊富な第１医療画像群で第１の学習を行った後、目的の画質の医療画像群（第２医療画像群）で第２の学習を行うことにより、目的の画質の医療画像に対して画像認識を行うモデルを効率よく生成できる。

なお、医療画像を構成する画像には、動画及び静止画の双方が含まれる。動画は、複数のフレームを含む時系列の画像群と捉えることができる。また、ここでの画質は、動画においては、１フレームを構成する画像の画質を意味する。

（２）第１医療画像群が第１解像度の医療画像で構成され、第２医療画像群が第１解像度と異なる第２解像度の医療画像で構成される、上記（１）の学習装置。

本態様によれば、第１医療画像群が第１解像度の医療画像で構成され、第２医療画像群が第１解像度と異なる第２解像度の医療画像で構成される。これにより、特定の解像度を有する医療画像に対して画像認識を行うモデルを生成する場合に、対応する解像度の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。

（３）第２解像度が、第１解像度よりも低い解像度である、上記（２）の学習装置。

本態様によれば、第２医療画像群が、第１医療画像群を構成する医療画像の解像度（第１解像度）よりも低い解像度（第２解像度）の医療画像で構成される。これにより、特定の解像度の医療画像に対して画像認識を行うモデルを生成する場合に、対応する解像度の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。

（４）第１医療画像群が４Ｋ以上の解像度の医療画像で構成され、第２医療画像群が４Ｋ未満の解像度の医療画像で構成される、上記（３）の学習装置。

本態様によれば、第１医療画像群が、４Ｋ以上の解像度の医療画像で構成され、第２医療画像群が、４Ｋ未満の解像度の医療画像で構成される。これにより、４Ｋ未満の特定の解像度の医療画像に対して画像認識を行うモデルを生成する場合に、対応する解像度の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。

なお、４Ｋの画像とは、長辺の画素数が４０００程度の高精細画像をいう。特に、横×縦の画素数が４０００×２０００程度の画像をいう。一般に知られている「4K UHDTV（Ultra High Definition Television：超高精細度テレビジョン）」及び「DCI 4K」は、本明細書における「４Ｋ」に含まれる。「4K UHDTV」は、国際電気通信連合（International Telecommunication Union 、ＩＴＵ）が定める４Ｋであり、横３８４０×縦２１６０画素の４Ｋである。「DCI 4K」は、映画会社などが加盟する Digital Cinema Initiatives（ＤＣＩ）の定める４Ｋであり、横４０９６×縦２１６０画素の画像である。

（５）第１医療画像群が８Ｋ以上の解像度の医療画像で構成され、第２医療画像群が８Ｋ未満の解像度の医療画像で構成される、上記（３）の学習装置。

本態様によれば、第１医療画像群が、８Ｋ以上の解像度の医療画像で構成され、第２医療画像群が、８Ｋ未満の解像度の医療画像で構成される。これにより、８Ｋ未満の特定の解像度の医療画像に対して画像認識を行うモデルを生成する場合に、対応する解像度の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。

なお、８Ｋの画像とは、長辺の画素数が８０００程度の高精細画像をいう。特に、横×縦の画素数が８０００×４０００程度の画像をいう。一般に知られている「8K UHDTV」（8K Ultra-high-definition television、 8K Ultra HDTV、8K UHDTV、8K UHD、スーパーハイビジョン8Kなどとも称される）は、本明細書における「８Ｋ」に含まれる。「8K UHDTV」は、国際電気通信連合が定める８Ｋであり、横７６８０×縦４３２０画素の画像である。

（６）第２解像度が、第１解像度よりも高い解像度である、上記（２）の学習装置。

本態様によれば、第２医療画像群が、第１医療画像群を構成する医療画像の解像度（第１解像度）よりも高い解像度（第２解像度）の医療画像で構成される。これにより、特定の解像度の医療画像に対して画像認識を行うモデルを生成する場合に、対応する解像度の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。

（７）第１医療画像群が４Ｋ未満の解像度の医療画像で構成され、第２医療画像群が４Ｋ以上の解像度の医療画像で構成される、上記（６）の学習装置。

本態様によれば、第１医療画像群が、４Ｋ未満の解像度の医療画像で構成され、第２医療画像群が、４Ｋ以上の解像度の医療画像で構成される。これにより、４Ｋ以上の特定の解像度の医療画像に対して画像認識を行うモデルを生成する場合に、対応する解像度の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。

（８）第１医療画像群が８Ｋ未満の解像度の医療画像で構成され、第２医療画像群が８Ｋ以上の解像度の医療画像で構成される、上記（６）の学習装置。

本態様によれば、第１医療画像群が、８Ｋ未満の解像度の医療画像で構成され、第２医療画像群が、８Ｋ以上の解像度の医療画像で構成される。これにより、８Ｋ以上の特定の解像度の医療画像に対して画像認識を行うモデルを生成する場合に、対応する解像度の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。

（９）第１医療画像群が、第２医療画像群を構成する医療画像よりもノイズ量の少ない医療画像で構成される、上記（１）の学習装置。

本態様によれば、第１医療画像群が、第２医療画像群を構成する医療画像よりもノイズ量の少ない医療画像で構成される。これにより、特定のノイズ量の医療画像に対して画像認識を行うモデルを生成する場合に、対応するノイズ量の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。

（１０）第１医療画像群が、第２医療画像群を構成する医療画像よりもノイズ量の多い医療画像で構成される、上記（１）の学習装置。

本態様によれば、第１医療画像群が、第２医療画像群を構成する医療画像よりもノイズ量の多い医療画像で構成される。これにより、特定のノイズ量の医療画像に対して画像認識を行うモデルを生成する場合に、対応するノイズ量の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。

（１１）第１医療画像群が、第２医療画像群を構成する医療画像よりも広い画角の医療画像で構成される、上記（１）の学習装置。

本態様によれば、第１医療画像群が、第２医療画像群を構成する医療画像よりも広い画角の医療画像で構成される。これにより、切り出し等を行った画像で学習することなく、特定の画角の医療画像に対して画像認識を行うモデルを生成できる。

（１２）第１医療画像群が内視鏡で撮影された医療画像で構成され、第２医療画像群が第１医療画像群を撮影した内視鏡と異なる内視鏡で撮影された医療画像で構成される、上記（１）の学習装置。

本態様によれば、第１医療画像群が、内視鏡で撮影された医療画像で構成され、第２医療画像群が、第１医療画像群を撮影した内視鏡と異なる内視鏡で撮影された医療画像で構成される。これにより、特定の内視鏡で撮影された医療画像に対して画像認識を行うモデルを生成する場合に、当該内視鏡で撮影された学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。

（１３）第２医療画像群が第１医療画像群を構成する医療画像を撮影した内視鏡と異なる仕様の内視鏡で撮影された医療画像で構成される、上記（１２）の学習装置。

本態様によれば、第２医療画像群が、第１医療画像群を構成する医療画像を撮影した内視鏡と異なる仕様の内視鏡で撮影された医療画像で構成される。たとえば、搭載されているイメージセンサのサイズ、画素数等が異なる内視鏡、搭載されている光学系の焦点距離が異なる内視鏡、発生するノイズ量が異なる内視鏡等で撮影された医療画像で構成される。

（１４）第１モデル及び第２モデルが、畳み込みニューラルネットワークで構成される、上記（１）から（１３）のいずれか一の学習装置。

本態様によれば、第１モデル及び第２モデルが、畳み込みニューラルネットワークで構成される。

（１５）医療画像を取得する医療画像取得部と、上記（１）から（１４）のいずれか一の学習装置で生成された第２モデルで構成され、医療画像に対して画像認識を行うモデルと、を備えた医療画像処理装置。

本態様によれば、医療画像に対して画像認識を行うモデルが、上記（１）から（１４）のいずれか一の学習装置で生成された第２モデルで構成される。これにより、特定の画質を有する医療画像に対して精度よく画像認識を行うことができる。

（１６）複数のモデルと、使用するモデルを切り替えるモデル切替部と、を更に備えた上記（１５）の医療画像処理装置。

本態様によれば、画像認識を行うモデルが複数備えられ、切り替えて使用される。これにより、画質に応じて適切なモデルを用いて、画像認識できる。

（１７）医療画像を撮影した内視鏡の情報を取得する内視鏡情報取得部を更に備え、複数のモデルは、互いに異なる内視鏡で撮影された第２医療画像群を用いて第２学習部で学習することにより生成され、モデル切替部は、内視鏡情報取得部で取得される内視鏡の情報に基づいて、使用するモデルを切り替える上記（１６）の医療画像処理装置。

本態様によれば、画像認識を行うモデルが複数備えられる。各モデルは、互いに異なる内視鏡で撮影された第２医療画像群を用いて第２学習部で学習することにより生成され、認識対象とする医療画像を撮影した内視鏡に応じて、使用するモデルが自動的に切り替えられる。

（１８）複数のモデルは、互いに仕様の異なる内視鏡で撮影された第２医療画像群を用いて第２学習部で学習することにより生成される、上記（１７）の医療画像処理装置。

本態様によれば、複数のモデルが、互いに仕様の異なる内視鏡で撮影された第２医療画像群を用いて第２学習部で学習することにより生成される。

（１９）複数のモデルは、互いに解像度又はノイズ量の異なる内視鏡で撮影された第２医療画像群を用いて第２学習部で学習することにより生成される、上記（１８）の医療画像処理装置。

本態様によれば、複数のモデルが、互いに解像度又はノイズ量の異なる内視鏡で撮影された第２医療画像群を用いて第２学習部で学習することにより生成される。

（２０）第１画質の医療画像で構成される第１医療画像群を用いて学習することにより、第１画質の医療画像に対して画像認識を行う第１モデルを生成するステップと、第１モデルを元に、第１画質と異なる第２画質の医療画像で構成される第２医療画像群を用いて学習することにより、第２画質の医療画像に対して画像認識を行う第２モデルを生成するステップと、を備えた学習方法。

本態様によれば、まず、第１画質の第１医療画像群で第１の学習を行うことにより、第１モデルが生成される。その後、第１モデルを元に、第２画質の第２医療画像群で第２の学習を行うことにより、第２モデルが生成される。第２の学習は、第１の学習結果をベースに行われるので、学習用の画像の数が少ない場合であっても、精度のよいモデルを生成できる。したがって、特定の画質を有する医療画像に対して画像認識を行うモデルを生成する場合は、学習用の画像が豊富な第１医療画像群で第１の学習を行った後、目的の画質の医療画像群（第２医療画像群）で第２の学習を行うことにより、目的の画質の医療画像に対して画像認識を行うモデルを効率よく生成できる。

本発明によれば、特定の画質を有する医療画像に対して画像認識を行うモデルを効率よく生成できる。

学習装置の構成の一実施形態を示すブロック図 ＣＮＮの構成の一例を示す模式図 第１モデル及び第２モデルを構成するＣＮＮの設定の概念図 学習装置のハードウェア構成の一例を示す図 学習装置で行われる学習の手順を示すフローチャート 高解像度の学習用画像群による学習結果をベースにした学習の手順を示すフローチャート 低解像度の学習用画像群による学習結果をベースにした学習の手順を示すフローチャート 低ノイズの学習用画像群による学習結果をベースにした学習の手順を示すフローチャート 高ノイズの学習用画像群による学習結果をベースにした学習の手順を示すフローチャート 広角の学習用画像群による学習結果をベースにした学習の手順を示すフローチャート 異なる内視鏡で撮影された学習用画像群による学習結果をベースにした学習の手順を示すフローチャート 内視鏡画像処理装置の構成の一実施形態を示すブロック図 内視鏡画像処理装置のハードウェア構成の一例を示す図 内視鏡画像処理装置の変形例を示すブロック図 内視鏡画像処理装置の他の変形例を示すブロック図

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

［学習装置の構成］
図１は、学習装置の構成の一実施形態を示すブロック図である。

本実施の形態の学習装置１は、内視鏡検査で得られる内視鏡画像に対して画像認識を行うモデルを機械学習により生成する装置として構成される。内視鏡画像は、医療画像の一例である。特に、本実施の形態の学習装置１は、特定の画質を有する内視鏡画像に対して画像認識を行うモデルを機械学習により生成する装置として構成される。ここで行われる画像認識は、たとえば、画像に含まれる病変の検出、病変の種類ごとの分類等である。

図１に示すように、本実施の形態の学習装置１は、第１画質の内視鏡画像に対して画像認識を行う第１モデルＭ１を機械学習により生成する第１学習部１０と、第１学習部１０で生成された第１モデルＭ１を元に、第２画質の内視鏡画像に対して画像認識を行う第２モデルＭ２を生成する第２学習部２０と、学習装置１における全体の動作を統括制御する学習制御部３０と、を備える。また、第１学習部１０で学習するための第１学習用データセット１２及び第２学習部２０で学習するための第２学習用データセット２２を備える。

第１学習部１０は、第１学習用データセット１２を用いて学習することにより、第１画質の内視鏡画像に対して画像認識を行う第１モデルＭ１を生成する。第１モデルＭ１は、たとえば、畳み込みニューラルネットワーク（Convolutional Neural Network；ＣＮＮ）で構成される。第１学習部１０は、学習により第１モデルＭ１を構成するＣＮＮの各層の重みパラメータを最適化する。

第１学習用データセット１２は、学習用画像群である第１内視鏡画像群で構成される。第１内視鏡画像群は、第１医療画像群の一例であり、第１画質の内視鏡画像で構成される。

なお、内視鏡画像を構成する画像には、静止画及び動画の双方が含まれる。動画は、複数のフレームを含む時系列の画像群と捉えることができる。画像を構成するデータは、画素単位で、赤（Red，Ｒ）、緑（Green，Ｇ）及び青（Blue，Ｂ）の各強度値（輝度値）を有するデータである。また、画質は、動画の場合、１フレームを構成する画像の画質を意味する。

第２学習部２０は、第１学習部１０で生成された第１モデルＭ１を元に、第２学習用データセット２２を用いて学習することにより、第２画質の内視鏡画像に対して画像認識を行う第２モデルＭ２を生成する。第２モデルＭ２は、たとえば、ＣＮＮで構成される。この第２学習部２０で生成される第２モデルＭ２が、特定の画質を有する内視鏡画像に対して画像認識を行うモデルとなる。すなわち、この第２モデルＭ２を学習済みモデルとして使用して、画像認識の処理が行われる。第２学習部２０は、学習により第２モデルＭ２を構成するＣＮＮの各層の重みパラメータを最適化する。

第２学習用データセット２２は、学習用画像群である第２内視鏡画像群で構成される。第２内視鏡画像群は、第２医療画像群の一例であり、第１画質とは異なる第２画質の内視鏡画像で構成される。この第２内視鏡画像群を構成する内視鏡画像の画質（第２画質）は、画像認識を行う対象と同じ画質（同程度の画質を含む）とされる。

一方、第１学習用データセット１２は、第２画質とは異なる画質（第１画質）の内視鏡画像で構成される。したがって、画像認識を行う内視鏡画像の画質とは、異なる画質の内視鏡画像で構成される。具体的には、より高画質又はより低画質の内視鏡画像で構成される。

学習制御部３０は、第１学習部１０及び第２学習部２０の動作を制御して、学習装置１における全体の動作を統括制御する。また、学習制御部３０は、第１モデルＭ１及び第２モデルＭ２を構成するＣＮＮを設定する。

図２は、ＣＮＮの構成の一例を示す模式図である。

同図に示すように、ＣＮＮは、畳み込み層、正規化層、プーリング層などを積み重ねて構成された多層のニューラルネットワークで構成される。

図３は、第１モデル及び第２モデルを構成するＣＮＮの設定の概念図である。同図において、（Ａ）は、第１モデルＭ１を構成するＣＮＮの一例を示す図であり、（Ｂ）は、第２モデルＭ２を構成するＣＮＮの一例を示す図である。

学習制御部３０は、第１モデルＭ１を構成するＣＮＮを設定し、その学習済みの第１モデルＭ１を元に、第２モデルＭ２を構成するＣＮＮを設定する。本実施の形態では、学習済みの第１モデルＭ１を構成するＣＮＮの一部の層の重みパラメータをリセットしたものを第２モデルＭ２のＣＮＮとして設定する。重みパラメータをリセットする層は、出力に近い一部の層である。図３に示す例では、破線ＢＬで囲った最終の３つの層（全結合層、全結合層及びＳｏｆｔｍａｘ層）の重みパラメータをリセットして、第２モデルＭ２のＣＮＮを設定している。この場合、実線ＳＬで囲われた残りの層は、学習済みの第１モデルＭ１の重みパラメータが初期値として設定される。

［学習装置のハードウェア構成］
図４は、学習装置のハードウェア構成の一例を示す図である。

学習装置１は、サーバコンピュータ、クライアントコンピュータなどのコンピュータで構成され、ＣＰＵ（Central Processing Unit）５１、ＲＯＭ（Read Only Memory）５２、ＲＡＭ（Random Access Memory）５３、ＨＤＤ（Hard Disk Drive）５４、通信インターフェイス５５及び入出力インターフェイス５６等を備える。また、学習装置１は、入力装置５７及び表示装置５８等を備える。

ＣＰＵ５１は、プログラムを実行することにより、学習装置１の各部を制御し、学習装置１の各機能を実現する。ＲＯＭ５２は、ＣＰＵ５１が実行する各種プログラム及び各種データ等を記憶する。ＲＡＭ５３は、ＣＰＵ５１に作業領域を提供する。ＨＤＤ５４は、ＣＰＵ５１が実行する各種プログラム及び各種データを記憶する。通信インターフェイス５５は、学習装置１をＬＡＮ（Local Area Network）等のネットワーク５９に接続するためのインターフェイス（interface；I/F）である。学習装置１は、通信インターフェイス５５を介して外部装置と通信する。入出力インターフェイス５６は、学習装置１に入力装置５７、表示装置５８等の外部機器を接続するためのインターフェイスである。入力装置５７は、ユーザによる操作に応じた情報を学習装置１に入力する。入力装置５７は、たとえば、キーボード、マウス等で構成される。表示装置５８は、各種情報を表示する。表示装置５８は、たとえば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等で構成される。

学習装置１を構成する第１学習部１０、第２学習部２０及び学習制御部３０の各機能は、ＣＰＵ５１が所定のプログラムを実行することにより実現される。また、第１学習用データセット１２及び第２学習用データセット２２は、ＨＤＤ５４に格納される。

［学習方法］
《学習の基本手順》
図５は、学習装置で行われる学習の手順を示すフローチャートである。

まず、第１モデルＭ１を構成するＣＮＮが設定される（ステップＳ１）。

次に、設定されたＣＮＮに対して、第１学習用データセット１２を用いて第１の学習が行われる（ステップＳ２）。すなわち、第１画質の内視鏡画像で構成された第１内視鏡画像群で学習が行われる。これにより、第１画質の内視鏡画像に対して画像認識を行う第１モデルＭ１が生成される。

次に、学習済みの第１モデルＭ１を元に、第２モデルＭ２を構成するＣＮＮが設定される（ステップＳ３）。上記のように、本実施の形態では、学習済みの第１モデルＭ１の出力に近い一部の層の重みパラメータをリセットして、第２モデルＭ２のＣＮＮを設定する（図３参照）。

次に、設定されたＣＮＮに対して、第２学習用データセット２２を用いて第２の学習が行われる（ステップＳ４）。すなわち、第２画質の内視鏡画像で構成された第２内視鏡画像群で学習が行われる。これにより、第２画質の内視鏡画像に対して画像認識を行う第２モデルＭ２が生成される。

ここで、第２の学習で用いられる第２内視鏡画像群は、画像認識の対象とされる内視鏡画像（特定の画質を有する内視鏡画像）の画質と同じ画質（同程度の画質を含む）の内視鏡画像で構成される。この結果、第２の学習で生成される第２モデルＭ２は、画像認識の対象とされる内視鏡画像と同じ画質の内視鏡画像に対して画像認識が可能なモデルとなる。

このように、本実施の形態の学習装置１では、第１画質の内視鏡画像群で第１の学習を行った後、その第１の学習結果をベースに、第２画質の内視鏡画像群で第２の学習を行う。第２の学習は、第１の学習結果をベースに行われるので、学習用の画像の数が少ない場合であっても、精度のよいモデルを生成できる。したがって、たとえば、特定の画質を有する医療画像に対して画像認識を行うモデルを生成する場合は、学習用の画像が豊富な画質で第１の学習を行った後、目的の画質の医療画像群で第２の学習を行う。これにより、目的とするモデルを効率よく生成できる。

《実施例》
〈解像度の異なる学習用画像群での学習〉
特定の解像度を有する内視鏡画像に対して画像認識を行うモデルを生成する場合において、画像認識を行う内視鏡画像と異なる解像度（第１解像度）の内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像と同じ解像度（第２解像度）の内視鏡画像群で第２の学習を行う。この場合、（１）画像認識を行う内視鏡画像よりも高い解像度（第１解像度）の内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像と同じ解像度（第２解像度）の内視鏡画像群で第２の学習を行う方法と、（２）画像認識を行う内視鏡画像よりも低い解像度（第１解像度）の内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像と同じ解像度（第２解像度）の内視鏡画像群で第２の学習を行う方法と、がある。以下、（１）及び（２）の場合に分けて説明する。

（１）高解像度の学習用画像群による学習結果をベースにした学習
特定の解像度を有する内視鏡画像に対して画像認識を行うモデルを生成する場合において、画像認識を行う内視鏡画像の解像度よりも高い解像度の内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像の解像度と同じ解像度（同程度の解像度を含む）の内視鏡画像群で第２の学習を行う。

図６は、高解像度の学習用画像群による学習結果をベースにした学習の手順を示すフローチャートである。

まず、第１モデルＭ１を構成するＣＮＮを設定する（ステップＳ１１）。

次に、設定されたＣＮＮに対して、第１学習用データセット１２を用いて、第１の学習を行う（ステップＳ１２）。この第１学習用データセット１２は、画像認識の対象とされる内視鏡画像の解像度よりも相対的に高い解像度を有する内視鏡画像で構成される。この第１の学習により、相対的に高い解像度の内視鏡画像に対して画像認識を行う第１モデルＭ１が生成される。

次に、学習済みの第１モデルＭ１を元に、第２モデルＭ２を構成するＣＮＮを設定する（ステップＳ１３）。

次に、設定されたＣＮＮに対して、第２学習用データセット２２を用いて、第２の学習を行う（ステップＳ１４）。この第２学習用データセット２２は、画像認識の対象とされる内視鏡画像の解像度と同じ解像度（同程度の解像度を含む）の内視鏡画像で構成される。この第２の学習により、目的とする解像度の内視鏡画像に対して画像認識が可能なモデル（第２モデルＭ２）が生成される。

たとえば、４Ｋ未満の解像度の内視鏡画像に対して画像認識を行うモデルを生成する場合、４Ｋ以上の解像度の内視鏡画像群（たとえば、４Ｋ解像度又は８Ｋ解像度の内視鏡画像群等）で第１の学習を行い、その後、第１の学習結果をベースに、目的とする解像度（たとえば、２Ｋ解像度等）の内視鏡画像群で第２の学習を行うことが考えられる。たとえば、２Ｋ解像度の内視鏡画像に対して画像認識を行うモデルを生成する場合、４Ｋ解像度の内視鏡画像群で第１の学習を行い、その後、第１の学習結果をベースに、２Ｋ解像度の内視鏡画像群で第２の学習を行う。これにより、たとえば、２Ｋ解像度の学習用の内視鏡画像が不足する場合であっても、コストをかけずに効率よく目的とするモデルを生成できる。

なお、２Ｋの画像とは、長辺の画素数が２０００程度の高精細画像をいう。特に、横×縦の画素数が２０００×１０００程度の画像をいう。したがって、一般的なフルハイビジョン（横１９２０×縦１０８０）などは、ここでの２Ｋに含まれる。

また、たとえば、８Ｋ未満の解像度の内視鏡画像に対して画像認識を行うモデルを生成する場合、８Ｋ以上の解像度の内視鏡画像群（たとえば、８Ｋ解像度の内視鏡画像群）で第１の学習を行い、その後、第１の学習結果をベースに、目的とする解像度（たとえば、２Ｋ解像度又は４Ｋ解像度等）の内視鏡画像群で第２の学習を行うことが考えられる。たとえば、４Ｋ解像度の内視鏡画像に対して画像認識を行うモデルを生成する場合、８Ｋ解像度の内視鏡画像群で第１の学習を行い、その後、第１の学習結果をベースに、４Ｋ解像度の内視鏡画像群で第２の学習を行う。これにより、たとえば、４Ｋ解像度の学習用の内視鏡画像が不足する場合であっても、コストをかけずに効率よく目的とするモデルを生成できる。

一般に、大学病院などの大規模な病院は、比較的解像度の高い内視鏡（たとえば、経口内視鏡）が使用され、クリニックなどの小規模な病院では、比較的解像度の低い内視鏡（たとえば、経鼻内視鏡）が使用される。そして、小規模な病院では、大規模な病院に比べて検査数が少ないことから、学習用の画像を収集しにくいという問題がある。このため、目的とする解像度の学習用画像が不足する場合がある。

本態様の学習方法によれば、小規模な病院などで使用される解像度の低い内視鏡で撮影された内視鏡画像に対して画像認識を行うモデルを生成する場合であっても、少ないコストでモデルを最適化できる。

（２）低解像度の学習用画像群による学習結果をベースにした学習
特定の解像度を有する内視鏡画像に対して画像認識を行うモデルを生成する場合において、画像認識を行う内視鏡画像の解像度よりも低い解像度の内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像の解像度と同じ解像度（同程度の解像度を含む）の内視鏡画像群で第２の学習を行う。

図７は、低解像度の学習用画像群による学習結果をベースにした学習の手順を示すフローチャートである。

まず、第１モデルＭ１を構成するＣＮＮを設定する（ステップＳ２１）。

次に、設定されたＣＮＮに対して、第１学習用データセット１２を用いて、第１の学習を行う（ステップＳ２２）。この第１学習用データセット１２は、画像認識の対象とされる内視鏡画像の解像度よりも相対的に低い解像度を有する内視鏡画像で構成される。この第１の学習により、相対的に低い解像度の内視鏡画像に対して画像認識を行う第１モデルＭ１が生成される。

次に、学習済みの第１モデルＭ１を元に、第２モデルＭ２を構成するＣＮＮを設定する（ステップＳ２３）。

次に、設定されたＣＮＮに対して、第２学習用データセット２２を用いて、第２の学習を行う（ステップＳ２４）。この第２学習用データセット２２は、画像認識の対象とされる内視鏡画像の解像度と同じ解像度（同程度の解像度を含む）の内視鏡画像で構成される。この第２の学習により、目的とする解像度の内視鏡画像に対して画像認識が可能なモデル（第２モデルＭ２）が生成される。

たとえば、４Ｋ以上の解像度の内視鏡画像に対して画像認識を行うモデルを生成する場合、４Ｋ未満の解像度の内視鏡画像群（たとえば、２Ｋ解像度の内視鏡画像群等）で第１の学習を行い、その後、第１の学習結果をベースに、目的とする解像度（たとえば、４Ｋ解像度等）の内視鏡画像群で第２の学習を行うことが考えられる。たとえば、４Ｋ解像度の内視鏡画像に対して画像認識を行うモデルを生成する場合、２Ｋ解像度の内視鏡画像群で第１の学習を行い、その後、第１の学習結果をベースに、４Ｋ解像度の内視鏡画像群で第２の学習を行う。これにより、たとえば、４Ｋ解像度の学習用の内視鏡画像が不足する場合であっても、コストをかけずに効率よく目的とするモデルを生成できる。

また、たとえば、８Ｋ以上の解像度の内視鏡画像に対して画像認識を行うモデルを生成する場合、８Ｋ未満の解像度の内視鏡画像群（たとえば、４Ｋ解像度又は２Ｋ解像度の内視鏡画像群）で第１の学習を行い、その後、第１の学習結果をベースに、目的とする解像度（たとえば、８Ｋ解像度等）の内視鏡画像群で第２の学習を行うことが考えられる。たとえば、８Ｋ解像度の内視鏡画像に対して画像認識を行うモデルを生成する場合、４Ｋ解像度の内視鏡画像群で第１の学習を行い、その後、第１の学習結果をベースに、８Ｋ解像度の内視鏡画像群で第２の学習を行う。これにより、たとえば、８Ｋ解像度の学習用の内視鏡画像が不足する場合であっても、コストをかけずに効率よく目的とするモデルを生成できる。

内視鏡の発展により、今後、更に画像の高解像度化が進むことが予想される。その場合、学習に使用するための高解像度な画像が不足することが考えられる。

本態様の学習方法によれば、目的とする解像度の学習用画像が不足する場合であっても、既存の学習用の画像群を利用して、目的とする解像度のモデルを効率よく生成できる。

〈ノイズ量の異なる学習用画像群での学習〉
特定のノイズ量の内視鏡画像に対して画像認識を行うモデルを生成する場合において、画像認識を行う内視鏡画像と異なるノイズ量の内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像のノイズ量と同じノイズ量（同程度のノイズ量を含む）の内視鏡画像群で第２の学習を行う。この場合、（１）画像認識を行う内視鏡画像よりもノイズ量の少ない内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像のノイズ量と同じノイズ量（同程度のノイズ量を含む）の内視鏡画像群で第２の学習を行う方法と、（２）画像認識を行う内視鏡画像よりもノイズ量の多い内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像のノイズ量と同じノイズ量（同程度のノイズ量を含む）の内視鏡画像群で第２の学習を行う方法と、がある。以下、（１）及び（２）の場合に分けて説明する。

（１）低ノイズの学習用画像群による学習結果をベースにした学習
特定のノイズ量の内視鏡画像に対して画像認識を行うモデルを生成する場合において、画像認識を行う内視鏡画像よりも低ノイズの内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像のノイズ量と同じノイズ量（同程度のノイズ量を含む）の内視鏡画像群で第２の学習を行う。

図８は、低ノイズの学習用画像群による学習結果をベースにした学習の手順を示すフローチャートである。

まず、第１モデルＭ１を構成するＣＮＮを設定する（ステップＳ３１）。

次に、設定されたＣＮＮに対して、第１学習用データセット１２を用いて、第１の学習を行う（ステップＳ３２）。この第１学習用データセット１２は、画像認識の対象とされる内視鏡画像のノイズ量よりも相対的にノイズ量の少ない内視鏡画像で構成される。たとえば、ローエンドの内視鏡で撮影された内視鏡画像に対して画像認識を行うモデルを生成する場合、より低ノイズのハイエンドの内視鏡で撮影された内視鏡画像で第１学習用データセット１２を構成する。この第１の学習により、相対的に低ノイズの内視鏡画像に対して画像認識を行う第１モデルＭ１が生成される。

次に、学習済みの第１モデルＭ１を元に、第２モデルＭ２を構成するＣＮＮを設定する（ステップＳ３３）。

次に、設定されたＣＮＮに対して、第２学習用データセット２２を用いて、第２の学習を行う（ステップＳ３４）。この第２学習用データセット２２は、画像認識の対象とされる内視鏡画像のノイズ量と同じノイズ量（同程度のノイズ量を含む）のノイズ量の内視鏡画像で構成される。たとえば、ローエンドの内視鏡で撮影された内視鏡画像に対して画像認識を行うモデルを生成する場合、当該ローエンドの内視鏡で撮影された内視鏡画像で第２学習用データセット２２を構成する。この第２の学習により、目的とするノイズ量の内視鏡画像に対して画像認識が可能なモデル（第２モデルＭ２）が生成される。

一般に、大学病院などの大規模な病院は、比較的ノイズ量の少ない内視鏡（いわゆるハイエンドの内視鏡）が使用され、クリニックなどの小規模な病院では、それに比してノイズ量の多い内視鏡が使用される。そして、小規模な病院では、大規模な病院に比べて検査数が少ないことから、学習用の画像を収集しにくいという問題がある。このため、目的とするノイズ量の学習用画像が不足する場合がある。

本態様の学習方法によれば、小規模な病院などで使用される内視鏡（比較的ノイズ量の多い内視鏡）で撮影された内視鏡画像に対して画像認識を行うモデルを生成する場合であっても、少ないコストでモデルを最適化できる。

（２）高ノイズの学習用画像群による学習結果をベースにした学習
特定のノイズ量の内視鏡画像に対して画像認識を行うモデルを生成する場合において、画像認識を行う内視鏡画像よりも高ノイズの内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像のノイズ量と同じノイズ量（同程度のノイズ量を含む）の内視鏡画像群で第２の学習を行う。

図９は、高ノイズの学習用画像群による学習結果をベースにした学習の手順を示すフローチャートである。

まず、第１モデルＭ１を構成するＣＮＮを設定する（ステップＳ４１）。

次に、設定されたＣＮＮに対して、第１学習用データセット１２を用いて、第１の学習を行う（ステップＳ４２）。この第１学習用データセット１２は、画像認識の対象とされる内視鏡画像のノイズ量よりも相対的にノイズ量の多い内視鏡画像で構成される。この第１の学習により、相対的に高ノイズの内視鏡画像に対して画像認識を行う第１モデルＭ１が生成される。

次に、学習済みの第１モデルＭ１を元に、第２モデルＭ２を構成するＣＮＮを設定する（ステップＳ４３）。

次に、設定されたＣＮＮに対して、第２学習用データセット２２を用いて、第２の学習を行う（ステップＳ４４）。この第２学習用データセット２２は、画像認識の対象とされる内視鏡画像のノイズ量と同じノイズ量（同程度のノイズ量を含む）の内視鏡画像で構成される。この第２の学習により、目的とするノイズ量の内視鏡画像に対して画像認識が可能なモデル（第２モデルＭ２）が生成される。

内視鏡の発展により、今後、更に画像の低ノイズ化が進むことが予想される。その場合、学習に使用するための低ノイズの画像が不足することが考えられる。

本態様の学習方法によれば、目的とするノイズ量の学習用画像が不足する場合であっても、既存の学習用の画像群を利用して、目的とするノイズ量のモデルを効率よく生成できる。

〈広角の学習用画像群による学習結果をベースにした学習〉
特定の画角の内視鏡画像に対して画像認識を行うモデルを生成する場合において、画像認識を行う内視鏡画像よりも広い画角の内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像の画角と同じ画角（略同じ画角を含む）の内視鏡画像群で第２の学習を行う。

図１０は、広角の学習用画像群による学習結果をベースにした学習の手順を示すフローチャートである。

まず、第１モデルＭ１を構成するＣＮＮを設定する（ステップＳ５１）。

次に、設定されたＣＮＮに対して、第１学習用データセット１２を用いて、第１の学習を行う（ステップＳ５２）。この第１学習用データセット１２は、画像認識の対象とされる内視鏡画像の画角よりも相対的に広い画角の内視鏡画像で構成される。この第１の学習により、目的の内視鏡画像よりも広角の内視鏡画像に対して画像認識を行う第１モデルＭ１が生成される。

次に、学習済みの第１モデルＭ１を元に、第２モデルＭ２を構成するＣＮＮを設定する（ステップＳ５３）。

次に、設定されたＣＮＮに対して、第２学習用データセット２２を用いて、第２の学習を行う（ステップＳ５４）。この第２学習用データセット２２は、画像認識の対象とされる内視鏡画像の画角と同じ画角（略同じ画角を含む）の内視鏡画像で構成される。この第２の学習により、特定の内視鏡での使用に最適化された画像認識のモデル（第２モデルＭ２）が生成される。

このように、広角の学習用画像群による学習の結果をベースに、目的とする画角の学習用画像群で学習することにより、切り出し等を行った画像で再学習を行う必要がなく、より少ないコストで学習を行うことができる。

〈他の内視鏡で撮影された学習用画像群による学習結果をベースにした学習〉
特定の内視鏡で撮影された内視鏡画像に対して画像認識を行うモデルを生成する場合において、他の内視鏡で撮影された内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡で撮影された内視鏡画像群で第２の学習を行う。

図１１は、異なる内視鏡で撮影された学習用画像群による学習結果をベースにした学習の手順を示すフローチャートである。

まず、第１モデルＭ１を構成するＣＮＮを設定する（ステップＳ６１）。

次に、設定されたＣＮＮに対して、第１学習用データセット１２を用いて、第１の学習を行う（ステップＳ６２）。この第１学習用データセット１２は、画像認識を行う内視鏡とは異なる内視鏡（他の内視鏡）で撮影された内視鏡画像で構成される。たとえば、画像認識を行う内視鏡とは仕様（イメージセンサのサイズ、イメージセンサの解像度、イメージセンサの種類、撮影光学系の構成、光源種等）の異なる内視鏡で撮影された内視鏡で構成される。この第１の学習により、当該他の内視鏡で撮影された内視鏡画像に対して画像認識を行う第１モデルＭ１が生成される。

次に、学習済みの第１モデルＭ１を元に、第２モデルＭ２を構成するＣＮＮを設定する（ステップＳ６３）。

次に、設定されたＣＮＮに対して、第２学習用データセット２２を用いて、第２の学習を行う（ステップＳ６４）。この第２学習用データセット２２は、画像認識を行う内視鏡と同じ内視鏡（同じ機種及び同じ仕様の内視鏡を含む）で撮影された内視鏡画像で構成される。この第２の学習により、目的とする内視鏡画像に対して画像認識が可能なモデル（第２モデルＭ２）が生成される。

本態様の学習方法によれば、画像認識の対象となる内視鏡の学習用画像が不足する場合であっても、豊富に存在する他の内視鏡の学習用画像群を利用して、特定の内視鏡で撮影された内視鏡画像の画像認識を行うモデルを効率よく生成できる。

また、内視鏡は、同じ機種であっても個体差が存在する場合がある。本態様の学習方法によれば、個体差がある場合であっても、特定の内視鏡の画像認識モデルを効率よく生成できる。

［学習装置の変形例］
《学習装置のハードウェア構成の変形例》
上記実施の形態では、第１学習部１０及び第２学習部２０の機能を同一のコンピュータで実現する構成としているが、複数のコンピュータで実現する構成とすることもできる。たとえば、第１学習部１０及び第２学習部２０の機能を別々のコンピュータで実現することもできる。

《第１モデル及び第２モデルの構成》
上記実施の形態では、画像認識を行うモデルをＣＮＮで構成しているが、画像認識を行うモデルの構成は、これに限定されるものではない。機械学習で生成されるモデルであればよい。

《第２モデルの設定》
上記実施の形態では、学習済みの第１モデルＭ１を構成するＣＮＮの一部の層の重みパラメータをリセットしたものを第２モデルＭ２のＣＮＮとして設定しているが、第２モデルＭ２を設定する手法は、これに限定されるものではない。たとえば、学習済みの第１モデルＭ１の重みパラメータを初期値として、ＣＮＮ全体で学習し直す手法、学習済みの第１モデルＭ１の入力層及び出力層を置換して、第２の学習を行う手法、学習済みの第１モデルＭ１の一部の層（たとえば、特徴抽出を行う層）の重みパラメータを固定し、他の層（たとえば、認識を行う層）だけを学習する手法など、種々の手法を採用できる。

また、上記実施の形態のように、学習済みの第１モデルＭ１の一部の層の重みパラメータをリセットして、第２の学習を行う場合、各層で学習係数を変えてもよい。たとえば、重みパラメータをリセットした層では、学習が速く進むように、他の層に比べて学習係数を大きく設定して第２の学習を行うようにしてもよい。

この第２モデルの設定を含む第２の学習には、いわゆる転移学習（ファインチューニングなどとも称される）の手法を採用できる。

［内視鏡画像処理装置］
図１２は、内視鏡画像処理装置の構成の一実施形態を示すブロック図である。

内視鏡画像処理装置１００は、医療画像処理装置の一例である。内視鏡画像処理装置１００は、特定の画質を有する内視鏡画像を取得し、取得した内視鏡画像に対して画像認識（画像に含まれる病変の検出、病変の種類ごとの分類等）を行い、その結果を出力する。画像認識には、上記学習装置１で生成された画像認識のモデルが使用される。

図１２に示すように、内視鏡画像処理装置１００は、認識対象の内視鏡画像を取得する内視鏡画像取得部１１０、取得した内視鏡画像に対して画像認識を行う画像認識部１１２、認識結果を出力する認識結果出力部１１４、及び、全体を制御する画像処理制御部１１６を備える。

内視鏡画像取得部１１０は、医療画像取得部の一例であり、認識対象の内視鏡画像（医療画像）を取得する。この内視鏡画像は、特定の画質を有する内視鏡画像である。

画像認識部１１２は、内視鏡画像取得部１１０で取得された内視鏡画像に対して、画像認識（画像に含まれる病変の検出、病変の種類ごとの分類等）の処理を行う。画像認識部１１２は、上記学習装置１で生成された画像認識のモデル（学習済みモデル）で構成される。したがって、目的とする画質と異なる画質の学習用画像群（第１内視鏡画像群）で第１の学習を行い、その学習結果をベースに、目的とする画質の学習用画像群（第２内視鏡画像群）で学習して生成されたモデル（第２モデル）で構成される。

認識結果出力部１１４は、画像認識部１１２による認識結果を所定のフォーマットで出力する。たとえば、モニタに所定の表示フォーマットで出力する。

画像処理制御部１１６は、各部の動作を統括制御する。

［内視鏡画像処理装置のハードウェア構成］
図１３は、内視鏡画像処理装置のハードウェア構成の一例を示す図である。

内視鏡画像処理装置１００は、サーバコンピュータ、クライアントコンピュータなどのコンピュータで構成され、ＣＰＵ１２１、ＲＯＭ１２２、ＲＡＭ１２３、ＨＤＤ１２４、通信インターフェイス１２５及び入出力インターフェイス１２６等を備える。また、学習装置１は、入力装置１２７及び表示装置１２８等を備える。

ＣＰＵ１２１は、プログラムを実行することにより、内視鏡画像処理装置１００の各部を制御し、内視鏡画像処理装置１００の各機能を実現する。ＲＯＭ１２２は、ＣＰＵ１２１が実行する各種プログラム及び各種データ等を記憶する。ＲＡＭ１２３は、ＣＰＵ１２１に作業領域を提供する。ＨＤＤ１２４は、ＣＰＵ１２１が実行する各種プログラム及び各種データを記憶する。通信インターフェイス１２５は、内視鏡画像処理装置１００をＬＡＮ等のネットワーク５９に接続するためのインターフェイスである。内視鏡画像処理装置１００は、通信インターフェイス１２５を介して外部装置と通信する。入出力インターフェイス１２６は、内視鏡画像処理装置１００に入力装置１２７、表示装置１２８等の外部機器を接続するためのインターフェイスである。入力装置１２７は、ユーザによる操作に応じた情報を内視鏡画像処理装置１００に入力する。入力装置１２７は、たとえば、キーボード、マウス等で構成される。表示装置１２８は、各種情報を表示する。表示装置１２８は、たとえば、液晶ディスプレイ、有機ＥＬディスプレイ等で構成される。

内視鏡画像取得部１１０、画像認識部１１２及び認識結果出力部１１４の各機能は、ＣＰＵ１２１が所定のプログラムを実行することにより実現される。

認識対象の内視鏡画像は、たとえば、ＨＤＤ１２４に格納され、ＨＤＤ１２４から取得される。あるいは、ネットワーク５９を介して接続された外部の記憶装置に格納され、その外部の記憶装置からネットワーク５９を介して取得される。あるいは、ネットワーク５９を介して接続された内視鏡装置からネットワーク５９を介して取得される。内視鏡画像取得部１１０は、画像処理制御部１１６による制御の下、指定された取得先から認識対象の内視鏡画像を取得する。

認識結果は、たとえば、表示装置１２８に所定の表示フォーマットで表示される。認識結果出力部１１４は、画像処理制御部１１６による制御の下、画像認識部１１２の認識結果を所定のフォーマットで表示装置１２８に出力する。

［画像処理方法］
まず、内視鏡画像取得部１１０によって、認識対象の内視鏡画像が取得される。この内視鏡画像は、特定の画質の内視鏡画像である。次に、画像認識部１１２において、取得された内視鏡画像に対して画像認識が行われる。次に、認識結果出力部１１４によって、認識結果が出力される。

本実施の形態の内視鏡画像処理装置１００では、特定の画質に最適化されたモデルで画像認識が行われるため、精度の高い画像認識を行うことができる。

［内視鏡画像処理装置の変形例］
《内視鏡画像処理装置の変形例１》
図１４は、内視鏡画像処理装置の変形例を示すブロック図である。

同図に示すように、本例の内視鏡画像処理装置１００Ａは、画像認識に使用するモデルを切り替えるモデル切替部１３０を更に備える点で上記実施の形態の内視鏡画像処理装置１００と相違する。

画像認識部１１２は、内視鏡画像に対して画像認識を行うモデルが複数備えてられており、使用するモデルが、モデル切替部１３０によって切り替えられる。このモデルは、第２の学習を行うことにより、最適化されたモデルである。用意された複数のモデルは、たとえば、ＲＯＭ１２２又はＨＤＤ１２４に格納される。

モデル切替部１３０は、画像処理制御部１１６からの指示に応じて、使用するモデルを切り替える。画像処理制御部１１６は、ユーザからの指示に応じて、使用するモデルを切り替える。

たとえば、仕様の異なる複数の内視鏡を使い分けて検査する場合において、内視鏡ごとに最適化されたモデルを用意する。そして、検査に使用した内視鏡に応じて、画像認識に使用するモデルを切り替える。これにより、精度の高い画像認識が可能になる。

また、内視鏡は、同じ機種でも個体差が存在する場合があるので、内視鏡ごとに最適化されたモデルを用意し、検査に使用した内視鏡に応じて、画像認識に使用するモデルを切り替える。これにより、より精度の高い画像認識が可能になる。

また、一般に、内視鏡は、異なる機種であっても、プロセッサ装置（内視鏡から出力される撮像信号を処理し、画像データを生成する装置）は共用されることが多い。機種ごとに最適化されたモデルを用意し、検査に使用した内視鏡に応じて、画像認識に使用するモデルを切り替えることにより、より精度の高い画像認識が可能になる。

《内視鏡画像処理装置の変形例２》
図１５は、内視鏡画像処理装置の他の変形例を示すブロック図である。

本例の内視鏡画像処理装置１００Ｂは、認識対象の内視鏡画像を撮影した内視鏡の情報を取得する内視鏡情報取得部１４０を更に備える点で上記変形例１の内視鏡画像処理装置１００Ａと相違する。画像認識部１１２が、画像認識に使用するモデルは、検査に使用される内視鏡ごとに最適化されたものが複数用意される。

内視鏡情報取得部１４０は、認識対象の内視鏡画像を撮影した内視鏡の情報を取得し、画像処理制御部１１６に出力する。画像処理制御部１１６は、取得した内視鏡の情報に基づいて、対応するモデルが使用されるように、モデル切替部１３０に切り替えを指示する。モデル切替部１３０は、画像処理制御部１１６からの指示に応じて、使用するモデルを切り替える。たとえば、内視鏡の種類（機種）と、対応するモデルとが関連付けられたテーブルが用意され、そのテーブルを参照して、モデルの切り替えが行われる。

本例の内視鏡画像処理装置１００Ｂによれば、画像認識に適したモデルが自動的に切り替えられるので、常に高精度な画像認識が可能になる。

なお、切り替えて使用する複数のモデルは、内視鏡の仕様に応じたものが複数用意される態様の他、互いに解像度の異なる学習用画像群で第２の学習が行われて生成されたモデル、互いにノイズ量の異なる学習用画像群で第２の学習が行われて生成されたモデル、その組み合わせが異なる学習用画像群で第２の学習が行われて生成されたモデル等が用意される。そして、用途に応じて、適切なモデルが選択される。

［その他の実施の形態］
《医療画像》
上記実施の形態では、医療画像として内視鏡画像を対象に画像認識する場合を例に説明したが、本発明が適用可能な医療画像は、これに限定されるものではない。

本発明が適用可能な「医療画像」には、内視鏡画像の他、ＣＴ（Computerized Tomography）画像、Ｘ線画像、超音波診断画像、ＭＲＩ（Magnetic Resonance Imaging）画像、ＰＥＴ(Positron Emission Tomography)画像、ＳＰＥＣＴ(Single Photon Emission Computed Tomography）画像、又は、眼底画像など、様々な種類の画像が含まれる。

本開示の医療画像処理装置は、医師等による診察、治療、又は診断などを支援する診断支援装置として用いることができる。「診断支援」という用語は、診察支援及び／又は治療支援の概念を含む。

《ハードウェア構成について》
学習装置及び医療画像処理装置を実現するハードウェアは、次に示すような各種のプロセッサ（processor）で構成できる。

各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

《内視鏡》
内視鏡は、軟性内視鏡に限らず、硬性内視鏡であってもよいし、カプセル内視鏡であってもよい。

《内視鏡の観察光について》
内視鏡の観察光（照明光）は、白色光、あるいは１又は複数の特定の波長帯域の光、あるいはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。白色光は、白色の波長帯域の光又は複数の波長帯域の光である。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。

〈第１例〉
特定の波長帯域の第１例は、たとえば、可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、第１例の光は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域内又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。

〈第２例〉
特定の波長帯域の第２例は、たとえば、可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下の波長帯域又は６１０ｎｍ以上７３０ｎｍ以下の波長帯 域を含み、かつ、第２例の光は、５８５ｎｍ以上６１５ｎｍの波長帯域内以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。

〈第３例〉
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍの波長帯域、４７０±１０ｎｍの波長帯域、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域内にピーク波長を有する。

〈第４例〉
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ、かつ、この蛍光物質を励起させる励起光の波長帯域、たとえば、３９０ｎｍから４７０ｎｍである。

〈第５例〉
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、第５例の光は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域内又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域内にピーク波長を有する。

《内視鏡の観察光の切り替えについて》
光源の種類は、レーザ光源、キセノン光源、若しくは、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）又はこれらの適宜の組み合わせを採用できる。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また、観察の際は、被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ、及び／又は、切り替えることが好ましい。波長を切り替える場合、たとえば、光源の前方に配置され特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。

内視鏡に用いるイメージセンサは、各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、照明光の波長を順次切り替えて面順次（色順次）で撮像することができる。たとえば、出射する照明光の波長を、紫色、青色、緑色、及び赤色の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する照明光の波長を切り替えてもよい。また、１又は複数の狭帯域光を照射してロータリカラーフィルタにより出射する照明光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光でもよい。

《特殊光画像の生成例》
内視鏡の画像を処理するプロセッサ装置は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成には「取得」の概念が含まれる。プロセッサ装置１６は、特定の波長帯域の信号を、通常光画像に含まれる赤（Ｒ）、緑（Ｇ）、及び、青（Ｂ）、あるいは、シアン（Cyan,Ｃ）、マゼンタ（Magenta,Ｍ）、イエロ（Yellow,Ｙ）の色情報に基づく演算を行うことで得ることができる。

《コンピュータに学習装置及び医療画像処理装置の機能を実現させるプログラムについて》
上述の実施形態で説明した学習装置及び医療画像処理装置の機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。

また、上述の実施形態で説明した学習装置及び医療画像処理装置の機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。

１ 学習装置
１０ 第１学習部
１２ 第１学習用データセット
１６ プロセッサ装置
２０ 第２学習部
２２ 第２学習用データセット
３０ 学習制御部
５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ ＨＤＤ
５５ 通信インターフェイス
５６ 入出力インターフェイス
５７ 入力装置
５８ 表示装置
５９ ネットワーク
１００ 内視鏡画像処理装置
１００Ａ 内視鏡画像処理装置
１００Ｂ 内視鏡画像処理装置
１１０ 内視鏡画像取得部
１１２ 画像認識部
１１４ 認識結果出力部
１１６ 画像処理制御部
１２１ ＣＰＵ
１２２ ＲＯＭ
１２３ ＲＡＭ
１２４ ＨＤＤ
１２５ 通信インターフェイス
１２６ 入出力インターフェイス
１２７ 入力装置
１２８ 表示装置
１３０ モデル切替部
１４０ 内視鏡情報取得部
Ｍ１ 第１モデル
Ｍ２ 第２モデル
Ｓ１からＳ４ 学習の手順
Ｓ１１からＳ１４ 高解像度の学習用画像群による学習結果をベースにした学習の手順
Ｓ２１からＳ２４ 低解像度の学習用画像群による学習結果をベースにした学習の手順
Ｓ３１からＳ３４ 低ノイズの学習用画像群による学習結果をベースにした学習の手順
Ｓ４１からＳ４４ 高ノイズの学習用画像群による学習結果をベースにした学習の手順
Ｓ５１からＳ５４ 広角の学習用画像群による学習結果をベースにした学習の手順
Ｓ６１からＳ６４ 異なる内視鏡で撮影された学習用画像群による学習結果をベースにした学習の手順

Claims (7)

1. 内視鏡で撮影された医療画像を取得する医療画像取得部と、
   前記医療画像に対して画像認識を行う複数のモデルと、
   前記医療画像を撮影した前記内視鏡の機種の情報を取得する内視鏡情報取得部と、
   前記内視鏡の機種と対応する前記モデルとが関連付けられたテーブルを参照し、前記内視鏡情報取得部で取得される前記内視鏡の機種の情報に基づいて、画像認識に使用する前記モデルを切り替えるモデル切替部と、
   を備え、複数の前記モデルは、畳み込みニューラルネットワークで構成されるモデルを、第１画質の医療画像で構成される第１医療画像群を用いて学習することにより、前記第１画質の医療画像に対して画像認識を行う第１モデルを生成する第１学習部と、前記第１モデルの一部の層の重みパラメータをリセットしたモデルを、前記第１画質と少なくともノイズ量の異なる第２画質の医療画像で構成される第２医療画像群を用いて学習することにより、前記第２画質の医療画像に対して画像認識を行う第２モデルを生成する第２学習部と、を備えた学習装置で生成された前記第２モデルで構成され、かつ、それぞれ機種の異なる前記内視鏡で撮影された前記第２画質の医療画像で構成される前記第２医療画像群を用いて学習することにより生成された前記第２モデルで構成される、
   医療画像処理装置。
2. 前記内視鏡情報取得部は、更に、前記医療画像を撮影した前記内視鏡の仕様の情報を取得し、
   複数の前記モデルは、それぞれ機種及び仕様の異なる前記内視鏡で撮影された前記第２画質の医療画像で構成される前記第２医療画像群を用いて学習することにより生成された前記第２モデルで構成され、
   前記モデル切替部は、前記内視鏡情報取得部で取得される前記内視鏡の機種及び仕様の情報に基づいて、画像認識に使用する前記モデルを切り替える、
   請求項１に記載の医療画像処理装置。
3. 前記内視鏡情報取得部は、更に、前記医療画像を撮影した前記内視鏡の解像度の情報を取得し、
   複数の前記モデルは、それぞれ機種、仕様及び解像度の異なる前記内視鏡で撮影された前記第２画質の医療画像で構成される前記第２医療画像群を用いて学習することにより生成された前記第２モデルで構成され、
   前記モデル切替部は、前記内視鏡情報取得部で取得される前記内視鏡の機種、仕様及び解像度の情報に基づいて、画像認識に使用する前記モデルを切り替える、
   請求項２に記載の医療画像処理装置。
4. 前記学習装置において、前記重みパラメータをリセットする層が、出力に近い層である、
   請求項１から３のいずれか１項に記載の医療画像処理装置。
5. 前記学習装置において、前記重みパラメータをリセットする層が、終端の複数の層である、
   請求項４に記載の医療画像処理装置。
6. 前記学習装置において、前記第２学習部は、少なくとも一部の層の学習係数を変えて学習する、
   請求項１から５のいずれか１項に記載の医療画像処理装置。
7. 前記学習装置において、前記重みパラメータをリセットした層の学習係数を他の層よりも大きく設定する、
   請求項６に記載の医療画像処理装置。

Images