JPWO2020003991A1 - 医療画像学習装置、方法及びプログラム - Google Patents

Abstract

特殊光で撮像された医療画像に対して高精度な画像認識を行うモデルを生成することができる医療画像学習装置、方法及びプログラムを提供する。医療画像学習装置（１０−１）は、通常光で撮像された複数の通常光画像からなる通常光画像群を用いて学習することにより画像認識用の第１モデルを生成する第１学習部（３０）と、第１モデルを元に、特殊光で撮像された複数の特殊光画像からなる特殊光画像群を用いて学習することにより、特殊光画像に対する画像認識を行う第２モデルを生成する第２学習部（４０）と、を備える。第１学習部（３０）は、比較的多く集めることができる通常画像群を用いて事前学習を行うため、第１モデルを良好に生成することができる。第２学習部（４０）は、第１モデルを元に特殊光画像群を用いて再度学習を行うため、比較的データ数の少ない特殊光画像に対して適切な画像認識を行う第２モデルを生成することができる。

Description

本発明は医療画像学習装置、方法及びプログラムに係り、特に比較的少ないデータ数で精度のよい画像認識のための学習を行う技術に関する。

医療分野においては、内視鏡装置を用いた検査が行われている。近年においては、画像解析によって画像に含まれる病変を検出する、病変を種別ごとに分類する等の認識を行い、報知することで検査を支援することが知られている。

認識のための画像解析においては、深層学習（Deep Learning）をはじめとする画像の機械学習が広く使用されている（例えば、非特許文献１）。

深層学習では問題に応じた画像を大量に学習させることで分類、検出といった画像認識が可能となる。

ところで、医療画像には、通常光と呼ばれる光源により撮像される通常光画像の他に、特殊光と呼ばれる光源により撮像される特殊光画像がある。

目視による検査では、主に通常光画像が使用されるため、通常光画像は比較的多く集めることができる。

一方、特殊光画像は、観察目的に合わせて選択的に使用されるため、通常光画像に比べて、あまりデータ数が多くない。そのため、特殊光画像による学習を十分に行うことができず、学習済み認識器による特殊光画像に対する認識精度を上げることが困難であった。

これに対し、特許文献１には、学習対象の対象画像群に写る被写体の形状、対象画像群に写る被写体の組織構造及び対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて事前学習が行われ、事前学習の結果及び対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を出力する識別部を備える画像処理装置が提案されている。これにより、本学習に使用する対象画像群のデータ数が少量であっても、高精度な学習を行うことができるようにしている。

国際公開第２０１７／２２１４１２号

A. Krizhevsky, I. Sutskever, and G. Hinton. ImageNet classification with deep convolutional neural networks. In NIPS, 2012

特許文献１に記載の事前学習に使用する画像群は、学習対象の対象画像群と被写体の形状、被写体の組織構造及び撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群である。即ち、特許文献１には、学習対象の対象画像群と類似画像群とが、特殊光の観察光で撮像された特殊光画像群と通常光の観察光で撮像された通常光画像群であること（異なる観察光で撮像された画像群同士であること）が記載されていない。

本発明はこのような事情に鑑みてなされたもので、特殊光で撮像された医療画像に対して高精度な画像認識を行うモデルを生成することができる医療画像学習装置、方法及びプログラムを提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る医療画像学習装置は、通常光で撮像された複数の第１医療画像からなる第１画像群を少なくとも用いて学習することにより画像認識用の第１モデルを生成する第１学習部と、第１モデルを元に、特殊光で撮像された複数の第２医療画像からなる第２画像群を用いて学習することにより、第２医療画像に対する画像認識を行う第２モデルを生成する第２学習部と、を備える。

本発明の一の態様によれば、第１学習部は、比較的多く集めることができる通常光で撮像された第１医療画像からなる第１画像群を用いて学習（事前学習）を行うため、画像認識用の第１モデルを良好に生成することができる。そして、第２学習部は、第１モデルを元に、複数の第２医療画像からなる第２画像群を用いて学習（「ファインチューニング」ともいう）を行うため、比較的データ数の少ない第２画像群からでも第２医療画像に対して適切な画像認識を行う第２モデルを生成することができる。

本発明の他の態様に係る医療画像学習装置において、第１学習部は、第２医療画像も用いて第１モデルを生成することが好ましい。これにより、第１モデルの生成に使用する医療画像をより多くすることができる。

本発明の更に他の態様に係る医療画像学習装置において、複数の色チャンネルを有する第１医療画像を、１つの色チャンネルを有する第１医療画像に変換する画像処理部を備え、第１学習部は、変換された１つの色チャンネルを有する第１画像群を用いて学習することが好ましい。第１医療画像を、１つの色チャンネルを有する第１医療画像に変換することで、第１医療画像の特徴量を第２医療画像の特徴量に近づけることができ、第１モデルの生成をより適切に行うことができる。

本発明の更に他の態様に係る医療画像学習装置において、画像処理部は、複数の色チャンネルを有する第１医療画像を、輝度信号のみの第１医療画像に変換することで、１つの色チャンネルを有する第１医療画像とすることが好ましい。これにより、第１学習部は、複数の色チャンネルからなる色情報の影響を受けないエッジ等の基本的な特徴量、識別規則を抽出することができ、適切な第１モデルを生成することができる。

本発明の更に他の態様に係る医療画像学習装置において、複数の色チャンネルを有する第１医療画像及び第２医療画像を、それぞれ１つの色チャンネルを有する第１医療画像及び第２医療画像に変換する画像処理部を備え、第１学習部は、変換された１つの色チャンネルを有する第１画像群及び第２画像群を用いて学習することが好ましい。

第１学習部での学習に第１画像群及び第２画像群を使用する場合、複数の色チャンネルからなる第１画像群及び第２画像群を、それぞれ１つの色チャンネルを有する画像群に変換されたものを使用することで、第１モデルをより適正に生成できるようにしている。

本発明の更に他の態様に係る医療画像学習装置において、画像処理部は、複数の色チャンネルを有する第１医療画像及び第２医療画像を、輝度信号のみの第１医療画像及び第２医療画像に変換することで、１つの色チャンネルを有する第１医療画像及び第２医療画像とすることが好ましい。これにより、第１学習部は、複数の色チャンネルからなる色情報の影響を受けないエッジ等の基本的な特徴量を抽出することができ、適切な第１モデルを生成することができる。

本発明の更に他の態様に係る医療画像学習装置において、複数の色チャンネルを有する第１医療画像から、１つの色チャンネルを有する第１医療画像を抽出する抽出部を備え、第１学習部は、抽出された１つの色チャンネルを有する第１画像群を用いて学習することが好ましい。複数の色チャンネルからなる第１画像群から１つの色チャンネルを有する第１医療画像を抽出し、抽出した１つの色チャンネルを有する第１画像群を用いて学習することで、複数の色チャンネルからなる色情報の影響を受けないエッジ等の基本的な特徴量を抽出することができ、適切な第１モデルを生成することができる。

本発明の更に他の態様に係る医療画像学習装置において、複数の色チャンネルを有する第１医療画像及び第２医療画像から、１つの色チャンネルを有する第１医療画像及び第２医療画像をそれぞれ抽出する抽出部を備え、第１学習部は、抽出された１つの色チャンネルを有する第１画像群及び第２画像群を用いて学習することが好ましい。

第１学習部での学習に第１画像群及び第２画像群を使用する場合、複数の色チャンネルからなる第１画像群及び第２画像群から、それぞれ１つの色チャンネルを有する第１医療画像及び第２医療画像を抽出し、抽出した１つの色チャンネルの画像群を学習に使用することで、第１モデルをより適正に生成できるようにしている。

本発明の更に他の態様に係る医療画像学習装置において、複数の色チャンネルは、３原色の３チャンネル、又は輝度信号及び２つの色差信号の３チャンネルであることが好ましい。

本発明の更に他の態様に係る医療画像学習装置において、第１モデルを元に、第１画像群を用いて学習することにより、第１医療画像に対する画像認識を行う第３モデルを生成する第３学習部と、を備えることが好ましい。第１モデルは、第１医療画像に対する画像認識を行う第３モデルを生成する場合にも使用することができる。

本発明の更に他の態様に係る医療画像学習装置において、第１医療画像及び第２医療画像は、それぞれ内視鏡装置により撮像された画像であることが好ましい。

本発明の更に他の態様に係る医療画像学習装置において、第１モデル及び第２モデルが、畳み込みニューラルネットワークで構成されることが好ましい。

本発明の更に他の態様に係る医療画像学習方法は、通常光で撮像された複数の第１医療画像からなる第１画像群及び特殊光で撮像された複数の第２医療画像からなる第２画像群を準備するステップと、第１学習部が、第１画像群を少なくとも用いて学習することにより画像認識用の第１モデルを生成するステップと、第２学習部が、第１モデルを元に第２画像群を用いて学習することにより、第２医療画像に対する画像認識を行う第２モデルを生成するステップと、を含む。

本発明の更に他の態様に係る医療画像学習方法において、画像処理部が、複数の色チャンネルを有する第１医療画像を、１つの色チャンネルを有する第１医療画像に変換するステップを含み、第１モデルを生成するステップは、変換された１つの色チャンネルを有する第１画像群を用いて学習することが好ましい。

本発明の更に他の態様に係る医療画像学習方法において、画像処理部が、複数の色チャンネルを有する第１医療画像及び第２医療画像を、１つの色チャンネルを有する第１医療画像及び第２医療画像に変換するステップを含み、第１モデルを生成するステップは、変換された１つの色チャンネルを有する第１画像群及び第２画像群を用いて学習することが好ましい。

本発明の更に他の態様に係る医療画像学習方法において、抽出部が、複数の色チャンネルを有する第１医療画像から、１つの色チャンネルを有する第１医療画像を抽出するステップを含み、第１モデルを生成するステップは、抽出された１つの色チャンネルを有する第１画像群を用いて学習することが好ましい。

本発明の更に他の態様に係る医療画像学習方法において、抽出部が、複数の色チャンネルを有する第１医療画像及び第２医療画像から、１つの色チャンネルを有する第１医療画像及び第２医療画像をそれぞれ抽出するステップを含み、第１モデルを生成するステップは、抽出された１つの色チャンネルを有する第１画像群及び第２画像群を用いて学習することが好ましい。

本発明の更に他の態様に係る医療画像学習プログラムは、通常光で撮像された複数の第１医療画像からなる第１画像群及び特殊光で撮像された複数の第２医療画像からなる第２画像群をそれぞれ取得する機能と、第１画像群を少なくとも用いて学習することにより画像認識用の第１モデルを生成する機能と、第１モデルを元に第２画像群を用いて学習することにより、第２医療画像に対する画像認識を行う第２モデルを生成する機能と、をコンピュータに実現させる。

本発明によれば、比較的多く集めることができる通常光で撮像された第１医療画像からなる第１画像群を少なくとも用いて学習を行うことで、良好な第１モデルを生成し、この第１モデルを元に、特殊光で撮像された複数の第２医療画像からなる第２画像群を用いて学習を行うため、比較的データ数の少ない第２画像群からでも第２医療画像に対して適切な画像認識を行う第２モデルを生成することができる。

図１は、本発明に係る医療画像学習装置のハードウエア構成の一例を示すブロック図である。 図２は、本発明に係る医療画像学習装置１０−１の第１実施形態を示すブロック図である。 図３は、第１学習部３０の実施形態を示す機能ブロック図である。 図４は、本発明に係る医療画像学習装置１０−２の第２実施形態を示すブロック図である。 図５は、本発明に係る医療画像学習装置１０−３の第３実施形態を示すブロック図である。 図６は、本発明に係る医療画像学習装置１０−４の第４実施形態を示すブロック図である。 図７は、本発明に係る医療画像学習方法の実施形態を示すフローチャートである。 図８は、図７に示したステップＳ１４の第１変形例を示すステップＳ１４−１を示す図である。 図９は、図７に示したステップＳ１４の第２変形例を示すステップＳ１４−２を示す図である。

以下、添付図面に従って本発明に係る医療画像学習装置及び方法の好ましい実施形態について説明する。

［医療画像学習装置のハードウエア構成］
図１は、本発明に係る医療画像学習装置のハードウエア構成の一例を示すブロック図である。

図１に示す医療画像学習装置１０としては、パーソナルコンピュータ又はワークステーションを使用することができ、本例の医療画像学習装置１０は、主として通信部１２と、大容量のストレージもしくは第１データベース１４、第２データベース１６と、操作部１８と、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ(Random Access Memory)２２と、ＲＯＭ(Read Only Memory)２４と、表示部２６とから構成されている。

通信部１２は、有線又は無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行う部分である。

第１データベース１４は、通常光で撮像された複数の第１医療画像（通常光画像）からなる第１画像群（通常光画像群）と、各通常光画像の正しい画像認識結果を示す正解データとからなる画像認識用（学習用の）第１データセットを保存し、第２データベース１６は、特殊光で撮像された複数の第２医療画像（特殊光画像）からなる第２画像群（特殊光画像群）と、各特殊光画像の正しい画像認識結果を示す正解データとからなる画像認識用（学習用の）第２データセットを保存している。

ここで、通常光画像（第１医療画像）及び特殊光画像（第２医療画像）とは、内視鏡装置によりそれぞれ異なる光源下で撮像されたカラー画像である。

通常光は、可視光の全ての波長帯域の光がほぼ均等に混ざった光（白色光）であり、通常光画像は、通常観察に使用される。したがって、通常光画像群は、比較的多く集めることができる。

一方、特殊光は、１つの特定の波長帯域の光、又は複数の特定の波長帯域の光の組み合わせた、観察目的に応じた各種の波長帯域の光であり、白色の波長帯域よりも狭い帯域を有し、狭帯域観察（NBI(Narrow band imaging)、FICE(Flexible spectral imaging color enhancement)）に使用される。

特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。

特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。

特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。

特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。

特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。

このような特定の波長帯域を有する特殊光下で撮像された特殊光画像は病変が見にくいため、表面構造を観察したい等の観察目的に応じた場合にしか使用されず、データ数が多くない。

本例では、第１データベース１４に保存されている通常光画像群の第１データセットは、第２データベース１６に保存されている特殊光画像群の第２データセットよりも多く準備されているものとする。

また、第１データベース１４及び第２データベース１６において、各通常光画像及び各特殊光画像に関連付けて保存されている正解データは、例えば通常光画像及び特殊光画像内に写っている病変の種類、病変の位置を示したデータ、症例固有の識別情報などが考えられる。病変の分類においては、腫瘍性、非腫瘍性の２分類、NICE分類などが挙げられる。病変の位置を示すデータは、病変を囲む矩形の情報や、病変を覆い隠すようなマスクデータなどが考えられる。

本例では、第１データベース１４、第２データベース１６は、医療画像学習装置１０が備えているが、外部に設けられたものでもよい。この場合、通信部１２を介して外部のデータベースから学習用のデータセットを取得することができる。

操作部１８は、コンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、機械学習に当たって各種の操作入力を受け付ける。

ＣＰＵ２０は、ＲＯＭ２４又は図示しないハードディスク装置等に記憶された各種のプログラム（本発明に係る医療画像学習プログラムを含む）を読み出し、各種の処理を実行する。ＲＡＭ２２は、ＣＰＵ２０の作業領域として使用され、読み出されたプログラムや各種のデータを一時的に記憶する記憶部として用いられる。

表示部２６は、コンピュータに接続可能な液晶モニタ等の各種モニタが用いられ、操作部１８とともに、ユーザインターフェースの一部として使用される。

上記構成の医療画像学習装置１０は、操作部１８により指示入力によりＣＰＵ２０が、ＲＯＭ２４やハードディスク装置等に記憶されている医療画像学習プログラムを読み出し、医療画像学習プログラムを実行することにより、後述するように医療画像学習装置として機能する。

［医療画像学習装置の第１実施形態］
図２は、本発明に係る医療画像学習装置１０−１の第１実施形態を示すブロック図であり、図１に示した医療画像学習装置１０の主要な機能を示す機能ブロック図である。

図２に示す医療画像学習装置１０−１は、第１学習部３０と第２学習部４０とを備えている。

第１学習部３０は、第１データベース１４に保存された通常光画像のデータセットと、第２データベース１６に保存された特殊光画像のデータセットとを用いて学習することにより画像認識用の学習モデル（第１モデル）を生成する。本例では、学習モデルの一つである畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）を構築する。

図３は、第１学習部３０の実施形態を示す機能ブロック図である。

図３に示す第１学習部３０は、主としてＣＮＮ３２と、誤差算出部３４と、パラメータ更新部３６とから構成される。

ＣＮＮ３２は、例えば、医療画像に写っている病変の種類を画像認識する認識器に対応する部分であり、複数のレイヤー構造を有し、複数の重みパラメータを保持している。ＣＮＮ３２は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから学習済みモデルに変化しうる。

このＣＮＮ３２は、入力層３２Ａと、畳み込み層とプーリング層から構成された複数セット、及び全結合層を有する中間層３２Ｂと、出力層３２Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。

入力層３２Ａには、学習対象である通常光画像１４Ａが入力される。

中間層３２Ｂは、畳み込み層とプーリング層とを１セットとする複数セットと、全結合層とを有し、入力層から入力した画像から特徴を抽出する部分である。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。尚、中間層３２Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合や正規化層も含まれる。

出力層３２Ｃは、中間層３２Ｂにより抽出された特徴に基づき医療画像に写っている病変の種類を分類する認識結果を出力する部分である。学習済みＣＮＮ３２では、例えば、医療画像を、「腫瘍性」、「非腫瘍性」、「その他」の３つのカテゴリに分類し、認識結果は、「腫瘍性」、「非腫瘍性」及び「その他」に対応する３つのスコア（３つのスコアの合計は１００％）として出力する。

学習前のＣＮＮ３２の各畳み込み層に適用されるフィルタの係数やオフセット値、及び全結合層における次の層との接続の重みは、任意の初期値がセットされる。

誤差算出部３４は、ＣＮＮ３２の出力層３２Ｃから出力される認識結果と、通常光画像１４Ａに対する正解データとを取得し、両者間の誤差を算出する。誤差の算出方法は、例えばソフトマックスクロスエントロピー、シグモイドなどが考えられる。

パラメータ更新部３６は、誤差算出部３４により算出された誤差を元に、誤差逆伝播法によりＣＮＮ３０の重みパラメータを調整する。

このパラメータの調整処理を繰り返し行い、ＣＮＮ３２の出力と正解データとの差が小さくなるまで繰り返し学習を行う。

第１学習部３０は、第１データベース１４に保存された通常光画像群の全てのデータセットを使用し、ＣＮＮ３２の各パラメータを最適化する学習を行うことで、学習済みモデル（第１モデル）を生成する。

図２に戻って、第２学習部４０は、第１学習部３０により学習した学習済みモデルを元に（学習済みＣＮＮ３２のパラメータを初期値として使用し）、第２データベース１６に保存された特殊光画像のデータセットのみを用いて再度学習することにより、特殊光画像に対する画像認識を行う学習モデル（第２モデル）を生成する。

第２学習部４０は、図３に示した第１学習部３０と同様に構成されるため、その詳細な説明は省略する。尚、第２学習部４０は、第１学習部３０と同一の学習部により構成されていてもよい。

第１実施形態の医療画像学習装置１０−１によれば、第１学習部３０により比較的多く集めることができる通常光画像のデータセットを用いて学習（事前学習）を行うため、画像認識用の学習モデルを良好に生成することができる。そして、第２学習部４０は、第１学習部３０により生成された学習モデルを元に、特殊光画像群のみを用いて学習（「ファインチューニング」ともいう）を行うため、比較的データ数の少ない特殊光画像群からでも特殊光画像に対して適切な画像認識を行う学習モデルを生成することができる。

尚、第１実施形態の医療画像学習装置１０−１の第１学習部３０は、通常光画像のデータセットと特殊光画像のデータセットとを用いて学習するが、通常光画像のデータセットのみを用いて学習してもよい。

［医療画像学習装置の第２実施形態］
図４は、本発明に係る医療画像学習装置１０−２の第２実施形態を示すブロック図である。尚、図４に示す医療画像学習装置１０−２において、図２に示した第１実施形態の医療画像学習装置１０−１と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図４に示す第２実施形態の医療画像学習装置１０−２は、主として画像処理部５０が追加されている点で、図２に示した第１実施形態の医療画像学習装置１０−１と相違する。

第１データベース１４に保存されている通常光画像及び第２データベース１６に保存されている特殊光画像は、それぞれ赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色チャンネルからなるカラー画像とする。

画像処理部５０は、第１データベース１４に保存されているＲＧＢの３つの色チャンネルを有する通常光画像、及び第２データベース１６に保存されているＲＧＢの３つの色チャンネルを有する特殊光画像を、それぞれ１つの色チャンネルを有する通常光画像及び特殊光画像に変換し、変換後の１つの色チャンネルを有する通常光画像及び特殊光画像を、学習用のデータセットとして第１学習部３０に出力する。

画像処理部５０は、ＲＧＢのカラー画像をモノクロ処理することで、１つの色チャンネルを有する通常光画像及び特殊光画像に変換する。

ここで、モノクロ処理の一例としては、例えば、ＲＧＢの色信号（Ｒ信号、Ｇ信号、Ｂ信号）から、次式により輝度信号（Ｙ信号）を生成する処理が考えられる。

［数１］
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ
第１学習部３０は、画像処理部５０により変換された１つの色チャンネルを有する通常光画像及び特殊光画像（モノクロ画像）を、学習用のデータセットとして取得し、取得したデータセットにより画像認識用の学習モデル（第１モデル）を生成する。

第２学習部４０は、第１学習部３０により学習した学習済みＣＮＮのパラメータを初期値として使用し、第２データベース１６に保存されたＲＧＢの特殊光画像のデータセットのみを用いて再度学習することにより、特殊光画像に対する画像認識を行う学習モデルを生成する。

ここで、第１学習部３０での学習に用いるデータセットは、１チャンネルの画像（モノクロ画像）であるため、少なくともＣＮＮの最初の畳み込み層で使用されるフィルタも１チャンネルになる。一方、第２学習部４０での学習に用いるデータセットは、複数の色チャンネル（ＲＧＢ）の特殊光画像であるため、少なくともＣＮＮの最初の畳み込み層で使用されるフィルタも複数チャンネル（３チャンネル）になる。したがって、第２学習部４０のＣＮＮの最初の畳み込み層で使用される３チャンネルのフィルタには、それぞれ同じパラメータを初期値として使用する。

第２実施形態の医療画像学習装置１０−２によれば、通常光画像の特徴量を特殊光画像の特徴量に近づけて事前学習することができ、第２学習部４０での特殊光画像のデータセットのみによる再学習をより適切に行うことができる。

尚、第２実施形態の医療画像学習装置１０−２の画像処理部５０は、通常光画像及び特殊光画像をそれぞれモノクロ処理しているが、通常光画像のみをモノクロ処理し、第１学習部３０は、モノクロ処理された通常光画像のデータセットのみを用いて学習してもよい。

また、画像処理部５０は、輝度信号からなる「白黒画像」を生成する場合に限らず、単一色（１チャンネル）の画像を生成するものであればよく、特殊光画像の色相に近似したモノクロ画像を生成することが好ましい。

［医療画像学習装置の第３実施形態］
図５は、本発明に係る医療画像学習装置１０−３の第３実施形態を示すブロック図である。尚、図５に示す医療画像学習装置１０−３において、図２に示した第１実施形態の医療画像学習装置１０−１と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図５に示す第３実施形態の医療画像学習装置１０−３は、主として抽出部６０が追加されている点で、図２に示した第１実施形態の医療画像学習装置１０−１と相違する。

第１データベース１４に保存されている通常光画像及び第２データベース１６に保存されている特殊光画像は、それぞれＲＧＢの３つの色チャンネルからなるカラー画像とする。

抽出部６０は、第１データベース１４に保存されているＲＧＢの３つの色チャンネルを有する通常光画像、及び第２データベース１６に保存されているＲＧＢの３つの色チャンネルを有する特殊光画像から、それぞれ１つの色チャンネルを有する通常光画像及び特殊光画像を抽出する。

ここで、第２データベース１６に保存されている特殊光画像が、青色又は青紫の波長帯域にピーク波長を有する特殊光により撮像された内視鏡画像の場合、抽出部６０は、Ｂの１チャンネルのみの通常光画像及び特殊光画像を抽出することが好ましい。また、第２データベース１６に保存されている特殊光画像が、赤色又は近赤外の波長帯域にピーク波長を有する特殊光により撮像された内視鏡画像の場合、抽出部６０は、Ｒの１チャンネルのみの通常光画像及び特殊光画像を抽出することが好ましい。即ち、抽出部６０は、ＲＧＢの３つの色チャンネルを有する通常光画像及び特殊光画像から、特殊光画像の色味に近い１つの色チャンネルの画像を抽出することが好ましい。

第１学習部３０は、抽出部６０により抽出された１つの色チャンネルを有する通常光画像及び特殊光画像を、学習用のデータセットとして取得し、取得したデータセットにより画像認識用の学習モデル（第１モデル）を生成する。

第２学習部４０は、第１学習部３０により学習した学習済みＣＮＮのパラメータを初期値として使用し、第２データベース１６に保存されたＲＧＢの特殊光画像のデータセットのみを用いて再度学習することにより、特殊光画像に対する画像認識を行う学習モデルを生成する。

第３実施形態の医療画像学習装置１０−３によれば、通常光画像の特徴量を特殊光画像の特徴量に近づけて事前学習することができ、第２学習部４０での特殊光画像のデータセットのみによる再学習をより適切に行うことができる。

尚、第３実施形態の医療画像学習装置１０−３の抽出部６０は、ＲＧＢの通常光画像及び特殊光画像から１つの色チャンネルを有する通常光画像及び特殊光画像を抽出しているが、ＲＧＢの通常光画像から１つの色チャンネルを有する通常光画像のみを抽出し、第１学習部３０は、抽出された１つの色チャンネルを有する通常光画像のデータセットのみを用いて学習してもよい。

［医療画像学習装置の第４実施形態］
図６は、本発明に係る医療画像学習装置１０−４の第４実施形態を示すブロック図である。尚、図６に示す医療画像学習装置１０−４において、図４に示した第２実施形態の医療画像学習装置１０−２と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図６に示す第４実施形態の医療画像学習装置１０−４は、主として第３学習部７０が追加されている点で、図４に示した第２実施形態の医療画像学習装置１０−２と相違する。

第３学習部７０は、第１学習部３０により学習した学習済みＣＮＮのパラメータを初期値として使用し、第１データベース１４に保存されたＲＧＢの通常光画像のデータセットのみを用いて再度学習することにより、通常光画像に対する画像認識を行う学習モデル（第３モデル）を生成する。

第４実施形態の医療画像学習装置１０−４によれば、第１学習部３０により学習した学習済みＣＮＮのパラメータを初期値として使用するため、第３学習部７０は、任意の初期値から通常光画像のデータセットのみを用いて学習する場合に比べて学習時間の短縮化を図ることができる。

尚、第３学習部７０は、図５に示した第３実施形態の医療画像学習装置１０−３の第１学習部３０により学習した学習済みＣＮＮのパラメータを初期値として使用するようにしてもよい。

本実施形態の第１データベース１４及び第２データベース１６に保存されている通常光画像及び特殊光画像は、それぞれＲＧＢの「光の３原色」のカラー画像としたが、これに限らず、ＲＧＢの補色の関係にあるシアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）の「色の３原色」のカラー画像でもよい。

また、第１データベース１４及び第２データベース１６に保存されている通常光画像及び特殊光画像は、ＲＧＢの色信号から生成される輝度信号（Ｙ）と２つの色差信号（Ｃｒ，Ｃｂ）からなる３チャンネルのカラー画像でもよい。

尚、ＲＧＢ、ＣＭＹ、ＹＣｒＣｂのカラー画像は、相互に変換できることは言うまでもない。

［医療画像学習方法］
図７は、本発明に係る医療画像学習方法の実施形態を示すフローチャートであり、図２に示した第１実施形態の医療画像学習装置１０−１の各部の処理手順に関して示している。

第１データベース１４及び第２データベース１６には、学習用の通常光画像群のデータセット及び特殊光画像群のデータセットが事前に格納される（データセットを準備するステップ）。

第１学習部３０は、第１データベース１４及び第２データベース１６から通常光画像群のデータセット及び特殊光画像群のデータセットを取得する（ステップＳ１０、Ｓ１２）。第１学習部３０は、１０〜１００前後のミニバッチ単位でデータセットを取得してもよいし、１枚ずつ取得するようにしてもよい。

第１学習部３０は、取得した通常光画像及び特殊光画像のデータセットを用いて学習することにより画像認識用の学習モデル（第１モデル）を生成する（ステップＳ１４）。本例では、学習モデルの一つである学習済みＣＮＮを構築する。

続いて、第２学習部４０は、第１学習部３０により学習した学習済みモデルを元に（学習済みＣＮＮのパラメータを初期値として使用し）、第２データベース１６に保存された特殊光画像のデータセットのみを用いて再度学習することにより、特殊光画像に対する画像認識を行う学習モデル（第２モデル）を生成する（ステップＳ１６）。

この実施形態の医療画像学習方法によれば、第１学習部３０により比較的多く集めることができる通常光画像のデータセットを用いて学習（事前学習）を行うため、画像認識用の学習モデルを良好に生成することができる。そして、第２学習部４０は、第１学習部３０により生成された学習モデルを元に、特殊光画像群のみを用いて再学習を行うため、比較的データ数の少ない特殊光画像群からでも特殊光画像に対して適切な画像認識を行う学習モデルを生成することができる。

尚、ステップＳ１４では、第１学習部３０は、通常光画像及び特殊光画像のデータセットを用いて学習することにより画像認識用の学習モデルを生成するが、通常光画像のデータセットのみを用いて学習してもよい。

＜第１変形例＞
図８は、図７に示したステップＳ１４の第１変形例を示すステップＳ１４−１を示す図である。

図８において、画像処理部５０（図４）は、第１データベース１４に保存されているＲＧＢの３つの色チャンネルを有する通常光画像、及び第２データベース１６に保存されているＲＧＢの３つの色チャンネルを有する特殊光画像を、それぞれ１つの色チャンネルを有する通常光画像及び特殊光画像（モノクロ画像）に変換する（ステップＳ２０）。

第１学習部３０は、画像処理部５０により変換されたモノクロ画像を、学習用のデータセットとして取得し、取得したデータセットにより画像認識用の学習モデルの一つであるＣＮＮの学習モデル（第１モデル）を生成する（ステップＳ２２）。尚、ステップＳ２２により学習された学習済みＣＮＮのパラメータは、図７に示すステップＳ１６において、第２学習部４０のＣＮＮの初期値として使用される。

＜第２変形例＞
図９は、図７に示したステップＳ１４の第２変形例を示すステップＳ１４−２を示す図である。

図９において、抽出部６０（図５）は、第１データベース１４に保存されているＲＧＢの３つの色チャンネルを有する通常光画像、及び第２データベース１６に保存されているＲＧＢの３つの色チャンネルを有する特殊光画像から、それぞれ１つの色チャンネルを有する通常光画像及び特殊光画像を抽出する（ステップＳ３０）。抽出部６０は、ＲＧＢの３つの色チャンネルを有する通常光画像及び特殊光画像から、特殊光画像の色味に近い１つの色チャンネルの画像を抽出することが好ましい。

第１学習部３０は、抽出部６０により抽出された１つの色チャンネルを有する通常光画像及び特殊光画像を、学習用のデータセットとして取得し、取得したデータセットにより画像認識用の学習モデルの一つであるＣＮＮの学習モデル（第１モデル）を生成する（ステップＳ３２）。尚、ステップＳ３２により学習された学習済みＣＮＮのパラメータは、図７に示すステップＳ１６において、第２学習部４０のＣＮＮの初期値として使用される。

［その他］
図３に示したＣＮＮ３２は、医療画像に写っている病変の種類を画像認識する学習モデルであるが、医療画像に写っている病変の位置（病変領域）を認識するセグメンテーションを行う学習モデルでもよい。この場合のＣＮＮは、ＣＮＮの一種である全層畳み込みネットワーク（ＦＣＮ：Fully Convolution Network）を適用し、医療画像に写っている病変の位置を画素レベルで把握できるものが好ましい。

また、本発明は、例えばＤＢＮ（Deep Belief Network）、ＳＶＭ（Support Vector Machine）などのＣＮＮ以外の機械学習のモデルにも適用できる。

更に本実施形態の医療画像学習装置１０の各種制御を実行するハードウエア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウエア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

更にまた、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

また、本発明は、コンピュータにインストールされることにより、本発明に係る医療画像学習装置として機能させる医療画像学習プログラム、及びこの医療画像学習プログラムが記録された記録媒体を含む。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０、１０−１、１０−２、１０−３、１０−４ 医療画像学習装置
１２ 通信部
１４ 第１データベース
１４Ａ 通常光画像
１６ 第２データベース
１８ 操作部
２０ ＣＰＵ
２２ ＲＡＭ
２４ ＲＯＭ
２６ 表示部
３０ 第１学習部
３２Ａ 入力層
３２Ｂ 中間層
３２Ｃ 出力層
３４ 誤差算出部
３６ パラメータ更新部
４０ 第２学習部
５０ 画像処理部
６０ 抽出部
７０ 第３学習部
Ｓ１０、Ｓ１２、Ｓ１４、Ｓ１４−１、Ｓ１４−２、Ｓ１６、Ｓ２０、Ｓ２２、Ｓ３０、Ｓ３２ ステップ

Claims (19)

1. 通常光で撮像された複数の第１医療画像からなる第１画像群を少なくとも用いて学習することにより画像認識用の第１モデルを生成する第１学習部と、
   前記第１モデルを元に、特殊光で撮像された複数の第２医療画像からなる第２画像群を用いて学習することにより、前記第２医療画像に対する画像認識を行う第２モデルを生成する第２学習部と、
   を備えた医療画像学習装置。
2. 前記第１学習部は、前記第２医療画像も用いて前記第１モデルを生成する請求項１に記載の医療画像学習装置。
3. 複数の色チャンネルを有する前記第１医療画像を、１つの色チャンネルを有する前記第１医療画像に変換する画像処理部を備え、
   前記第１学習部は、前記変換された１つの色チャンネルを有する前記第１画像群を用いて学習する請求項１に記載の医療画像学習装置。
4. 前記画像処理部は、前記複数の色チャンネルを有する前記第１医療画像を、輝度信号のみの前記第１医療画像に変換することで、前記１つの色チャンネルを有する前記第１医療画像とする請求項３に記載の医療画像学習装置。
5. 複数の色チャンネルを有する前記第１医療画像及び前記第２医療画像を、それぞれ１つの色チャンネルを有する前記第１医療画像及び前記第２医療画像に変換する画像処理部を備え、
   前記第１学習部は、前記変換された１つの色チャンネルを有する前記第１画像群及び前記第２画像群を用いて学習する請求項２に記載の医療画像学習装置。
6. 前記画像処理部は、前記複数の色チャンネルを有する前記第１医療画像及び前記第２医療画像を、輝度信号のみの前記第１医療画像及び前記第２医療画像に変換することで、前記１つの色チャンネルを有する前記第１医療画像及び前記第２医療画像とする請求項５に記載の医療画像学習装置。
7. 複数の色チャンネルを有する前記第１医療画像から、１つの色チャンネルを有する前記第１医療画像を抽出する抽出部を備え、
   前記第１学習部は、前記抽出された１つの色チャンネルを有する前記第１画像群を用いて学習する請求項１に記載の医療画像学習装置。
8. 複数の色チャンネルを有する前記第１医療画像及び前記第２医療画像から、１つの色チャンネルを有する前記第１医療画像及び前記第２医療画像をそれぞれ抽出する抽出部を備え、
   前記第１学習部は、前記抽出された１つの色チャンネルを有する前記第１画像群及び前記第２画像群を用いて学習する請求項２に記載の医療画像学習装置。
9. 前記複数の色チャンネルは、３原色の３チャンネル、又は輝度信号及び２つの色差信号の３チャンネルである請求項３から８のいずれか１項に記載の医療画像学習装置。
10. 前記第１モデルを元に、前記第１画像群を用いて学習することにより、前記第１医療画像に対する画像認識を行う第３モデルを生成する第３学習部と、
    を備えた請求項３から９のいずれか１項に記載の医療画像学習装置。
11. 前記第１医療画像及び前記第２医療画像は、それぞれ内視鏡装置により撮像された画像である請求項１から１０のいずれか１項に記載の医療画像学習装置。
12. 前記第１モデル及び前記第２モデルが、畳み込みニューラルネットワークで構成される請求項１から１１のいずれか１項に記載の医療画像学習装置。
13. 通常光で撮像された複数の第１医療画像からなる第１画像群及び特殊光で撮像された複数の第２医療画像からなる第２画像群を準備するステップと、
    第１学習部が、前記第１画像群を少なくとも用いて学習することにより画像認識用の第１モデルを生成するステップと、
    第２学習部が、前記第１モデルを元に前記第２画像群を用いて学習することにより、前記第２医療画像に対する画像認識を行う第２モデルを生成するステップと、
    を含む医療画像学習方法。
14. 画像処理部が、複数の色チャンネルを有する前記第１医療画像を、１つの色チャンネルを有する前記第１医療画像に変換するステップを含み、
    前記第１モデルを生成するステップは、前記変換された１つの色チャンネルを有する前記第１画像群を用いて学習する請求項１３に記載の医療画像学習方法。
15. 画像処理部が、複数の色チャンネルを有する前記第１医療画像及び前記第２医療画像を、１つの色チャンネルを有する前記第１医療画像及び前記第２医療画像に変換するステップを含み、
    前記第１モデルを生成するステップは、前記変換された１つの色チャンネルを有する前記第１画像群及び前記第２画像群を用いて学習する請求項１３に記載の医療画像学習方法。
16. 抽出部が、複数の色チャンネルを有する前記第１医療画像から、１つの色チャンネルを有する前記第１医療画像を抽出するステップを含み、
    前記第１モデルを生成するステップは、前記抽出された１つの色チャンネルを有する前記第１画像群を用いて学習する請求項１３に記載の医療画像学習方法。
17. 抽出部が、複数の色チャンネルを有する前記第１医療画像及び前記第２医療画像から、１つの色チャンネルを有する前記第１医療画像及び前記第２医療画像をそれぞれ抽出するステップを含み、
    前記第１モデルを生成するステップは、前記抽出された１つの色チャンネルを有する前記第１画像群及び前記第２画像群を用いて学習する請求項１３に記載の医療画像学習方法。
18. 通常光で撮像された複数の第１医療画像からなる第１画像群及び特殊光で撮像された複数の第２医療画像からなる第２画像群をそれぞれ取得する機能と、
    前記第１画像群を少なくとも用いて学習することにより画像認識用の第１モデルを生成する機能と、
    前記第１モデルを元に、前記第２画像群を用いて学習することにより、前記第２医療画像に対する画像認識を行う第２モデルを生成する機能と、
    をコンピュータに実現させる医療画像学習プログラム。
19. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    通常光で撮像された複数の第１医療画像からなる第１画像群及び特殊光で撮像された複数の第２医療画像からなる第２画像群をそれぞれ取得する機能と、
    前記第１画像群を少なくとも用いて学習することにより画像認識用の第１モデルを生成する機能と、
    前記第１モデルを元に、前記第２画像群を用いて学習することにより、前記第２医療画像に対する画像認識を行う第２モデルを生成する機能と、
    を含む医療画像学習機能をコンピュータに実行させる記録媒体。

Images