JP7167515B2 - 特定装置、プログラム、特定方法、情報処理装置及び特定器 - Google Patents

Description

本開示は、特定装置、プログラム、特定方法、情報処理装置及び特定器に関する。

医療分野では、Ｘ線撮影、ＣＴ（Computed Tomography：コンピュータ断層撮影法）、ＭＲＩ（Magnetic Resonance Imaging：磁気共鳴画像法）、ＰＥＴ（Positron Emission Tomography：陽電子放出断層撮影法）、ＰＥＴ－ＣＴ等の撮像装置を用いて患者を撮影し、得られた医用画像に基づいて病変の診断が行われている。撮像装置はその種類や備えられている画像化手段によって異なった観点から生体組織を観察できるようになるので、医師は、それぞれの装置で撮影した医用画像を比較しながら診断を行っている。特許文献１では、Ｘ線ＣＴ画像データとＭＲＩ画像データとを互いに重ね合わせるように統合させた統合画像を生成する装置が開示されている。特許文献１に開示された装置では、２種類の医用画像を統合して表示できるので、それぞれの医用画像中に含まれる所望の生体組織の情報を１枚の統合画像として確認できる。

特開２０１４－１８２号公報

特許文献１に開示された装置は、同一対象を異なる画像化手段で撮像した２つの画像を統合して表示するものの、複数の画像に基づいて観察対象の状態を特定するものではない。

本開示は、このような事情に鑑みてなされたものであり、その目的とするところは、画像に基づいて撮影対象の状態を特定することが可能な特定装置等を提供することにある。

本開示の一態様に係る特定装置は、撮影対象の状態を特定する特定装置であって、撮影対象に対して異なる方法によって画像化された複数種類の画像をそれぞれ取得する複数の画像取得部と、前記画像の種類毎に設けられ、前記画像及び該画像における撮影対象の状態を含む教師データに基づいて学習した学習モデルを用いて、前記画像取得部のそれぞれが取得した前記画像における撮影対象の状態をそれぞれ判別する複数の判別部と、前記判別部のそれぞれによる判別結果に基づいて、前記撮影対象の状態を特定する特定部と、前記画像取得部のそれぞれが取得した前記画像から、所定の画素数で構成される画素ブロックを複数抽出する複数の抽出部と、前記複数の抽出部のそれぞれが抽出した画素ブロックにおける撮影対象の状態を、前記画像の種類毎に設けられた前記学習モデルを用いて判別する複数のブロック判別部とを備え、前記判別部のそれぞれは、前記ブロック判別部のそれぞれによる各画素ブロックに対する判別結果に基づいて、前記画素ブロックを抽出した前記画像における撮影対象の状態を判別する。

本開示にあっては、画像に基づいて撮影対象の状態を特定することできる。

診断支援システムの構成例を示す模式図である。 学習装置の構成例を示すブロック図である。 マンモグラフィ画像の例を示す模式図である。 フィルタ処理後の画像の例を示す模式図である。 学習装置の制御部によって実現される機能を示すブロック図である、 学習装置が行う学習処理の説明図である。 特定装置の構成例を示すブロック図である。 特定装置の制御部によって実現される機能を示すブロック図である。 特定装置が行う特定処理の説明図である。 学習装置による学習処理の手順を示すフローチャートである。 特定装置による特定処理の手順を示すフローチャートである。 Ｔ２強調画像の例を示す模式図である。 Ｔ１ＣＥ画像の例を示す模式図である。 実施形態３の学習装置の制御部によって実現される機能を示すブロック図である。 実施形態３の学習装置が行う学習処理の説明図である。 実施形態３の学習装置が行う学習処理の説明図である。 実施形態３の特定装置の制御部によって実現される機能を示すブロック図である。 実施形態３の特定装置が行う特定処理の説明図である。 実施形態３の特定装置が行う特定処理の説明図である。 実施形態３の特定装置が行う特定処理の説明図である。 実施形態３の学習装置による学習処理の手順を示すフローチャートである。 実施形態３の特定装置による特定処理の手順を示すフローチャートである。 実施形態３の特定装置による特定処理の手順を示すフローチャートである。 テストデータの構成を示す図表である。 特定装置による判別精度を示す図表である。 マンモグラフィ画像の例を示す模式図である。 差分画像の例を示す模式図である。 実施形態５の特定装置の制御部によって実現される機能を示すブロック図である。 実施形態５の特定装置による特定処理の手順の一部を示すフローチャートである。

以下に、本開示の特定装置、プログラム、特定方法、情報処理装置及び特定器について、Ｘ線撮影、ＣＴ、ＭＲＩ、ＰＥＴ、ＰＥＴ－ＣＴ等の撮像装置を用いて患者の患部を撮影した医用画像に基づいて患者の患部の状態を判別する診断処理を支援する診断支援システムに適用した実施形態を示す図面に基づいて詳述する。なお、本開示は、好適には、乳房腫瘤、肺癌、脳腫瘍等、各種の病変を撮影した医用画像に基づいて病変の状態を判別する診断処理を支援するシステムに適用できるが、医用画像を対象に限定するものでもなく、診断支援システムへの適用に限定するものでもない。

（実施形態１）
乳房腫瘤の疑いがある患者の乳房をマンモグラフィで撮影して得られた医用画像（Ｘ線画像）に基づいて腫瘤であるか否かを判別する診断支援システムについて説明する。図１は診断支援システムの構成例を示す模式図である。本実施形態の診断支援システムは、学習装置１０と、医療機関に設置された特定装置２０とを含み、学習装置１０及び特定装置２０は、インターネット等のネットワークに接続可能である。なお、学習装置１０は、医用画像に基づいて乳房腫瘤であるか否かを判別する分類器（学習モデル）を、後述する教師データを用いて学習させる装置であり、特定装置２０は、学習装置１０にて学習済みの分類器を用いて、患者の医用画像に基づいて乳房腫瘤であるか否かを判別（特定）する装置である。特定装置２０は学習装置１０から学習済みの分類器を取得する場合、例えばネットワーク経由、又は、ＵＳＢ（Universal Serial Bus）メモリ、ＣＤ－Ｒ（compact disc recordable ）等の可搬型記憶媒体を用いて取得する。

図２は、学習装置１０の構成例を示すブロック図である。学習装置１０は、パーソナルコンピュータ、サーバコンピュータ等である。学習装置１０は、制御部１１、記憶部１２、表示部１３、入力部１４、通信部１５等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラムを適宜実行することにより、学習装置１０が行うべき種々の情報処理、制御処理等を行う。

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。記憶部１２に記憶される制御プログラムには、第１分類器１２ｂ及び第２分類器１２ｄの学習処理を実行するための学習プログラム１２ａが含まれる。また記憶部１２は、例えば機械学習処理によって構築されたＣＮＮ（Convolution Neural Network）モデルである第１分類器１２ｂ及び第２分類器１２ｄを記憶している。記憶部１２に記憶されるデータには、第１分類器１２ｂを学習させるための第１教師データが蓄積された第１教師データＤＢ１２ｃ、第２分類器１２ｄを学習させるための第２教師データが蓄積された第２教師データＤＢ１２ｅが含まれる。

記憶部１２に記憶される制御プログラム及びデータは、例えば通信部１５を介してネットワーク経由で外部装置から取得されて記憶部１２に記憶される。また、学習装置１０が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、記憶部１２に記憶される制御プログラム及びデータは、可搬型記憶媒体から読み出されて記憶部１２に記憶されてもよい。また、第１教師データＤＢ１２ｃ及び第２教師データＤＢ１２ｅは、学習装置１０に接続された外部の記憶装置に記憶されてもよく、ネットワークを介して学習装置１０と通信可能な記憶装置に記憶されてもよい。

表示部１３は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１３及び入力部１４は一体として構成されたタッチパネルであってもよい。通信部１５は、有線通信又は無線通信によってネットワークに接続するためのインタフェースであり、ネットワークを介して外部装置との間で情報の送受信を行う。

以下に、本実施形態の診断支援システムで用いる医用画像について説明する。マンモグラフィで撮影して得られた撮影画像（以下、マンモグラフィ画像という）に対して、異なる画像処理フィルタを用いたフィルタ処理を行うことによって異なる種類の医用画像を得ることができる。本実施形態の診断支援システムでは、マンモグラフィ画像に対して、ガボールフィルタによるフィルタ処理を行ったガボールフィルタ適用後画像（以下、ガボール画像という）と、アイリスフィルタによるフィルタ処理を行ったアイリスフィルタ適用後画像（以下、アイリス画像という）とを用いて、撮影対象の状態が腫瘤であるか否かを判断（判別）する。なお、判断に用いる医用画像はこれらに限定されず、他のフィルタを用いたフィルタ処理を行った医用画像を用いてもよい。また、判断に用いる複数種類の医用画像は、同じ撮影対象（患者の乳房）を同じ状態で撮影した撮影画像であればよく、同一の撮像装置にて同じ撮影タイミングでパラメータを異ならせて撮影されたものであってもよく、異なる撮像装置にて撮影されたものであってもよい。

図３はマンモグラフィ画像の例を示す模式図、図４はフィルタ処理後の画像の例を示す模式図である。図３Ａはマンモグラフィ画像の例を示し、図３Ｂは、マンモグラフィ画像から抽出された腫瘤領域を含む腫瘤画像Ｔ及び正常領域を含む正常画像Ｎの例を示す。本実施形態では、教師データを生成する際に、腫瘤を有する患者のマンモグラフィ画像から腫瘤領域を含む腫瘤画像Ｔと、腫瘤がない正常領域を含む正常画像Ｎとを抽出する。そして、抽出した腫瘤画像Ｔ及び正常画像Ｎのそれぞれに対して、ガボールフィルタによるフィルタ処理を行ってガボール画像を生成し、アイリスフィルタによるフィルタ処理を行ってアイリス画像を生成する。図４Ａは、図３Ｂに示す腫瘤画像Ｔ及び正常画像Ｎから生成されたガボール画像の例を示し、図４Ｂは、図３Ｂに示す腫瘤画像Ｔ及び正常画像Ｎから生成されたアイリス画像の例を示す。ガボール画像及びアイリス画像のサイズは例えば１２８画素×１２８画素とすることができるが、これに限定されない。本実施形態の診断支援システムでは、判別対象の状態の種類として、撮影対象の病変の状態が腫瘤であるか正常であるか（腫瘤でないか）を判別する。よって、第１分類器１２ｂは、患者のガボール画像に基づいて、撮影対象の病変の状態が腫瘤であるか正常であるかを判別する分類器であり、第２分類器１２ｄは、患者のアイリス画像に基づいて、撮影対象の病変の状態が腫瘤であるか正常であるかを判別する分類器である。

第１教師データＤＢ１２ｃには、腫瘤領域の画像（腫瘤画像）として、図４Ａの左側に示すようなガボール画像が多数蓄積されており、正常領域の画像（正常画像）として、図４Ａの右側に示すようなガボール画像が多数蓄積されている。第１教師データＤＢ１２ｃにおいて、１つのガボール画像と、このガボール画像に対応付けられた腫瘤又は正常を示す情報とのセットを第１教師データという。第２教師データＤＢ１２ｅには、腫瘤領域の画像として、図４Ｂの左側に示すようなアイリス画像が多数蓄積されており、正常領域の画像として、図４Ｂの右側に示すようなアイリス画像が多数蓄積されている。第２教師データＤＢ１２ｅにおいて、１つのアイリス画像と、このアイリス画像に対応付けられた腫瘤又は正常を示す情報とのセットを第２教師データという。学習装置１０は、図４Ａに示すようなガボール画像による第１教師データに基づいて第１分類器１２ｂを学習させ、図４Ｂに示すようなアイリス画像による第２教師データに基づいて第２分類器１２ｄを学習させる。

次に、学習装置１０において制御部１１が学習プログラム１２ａを実行することによって実現される機能について説明する。図５は、学習装置１０の制御部１１によって実現される機能を示すブロック図、図６は、学習装置１０が行う学習処理の説明図である。学習装置１０の制御部１１は、記憶部１２に記憶してある学習プログラム１２ａを実行した場合、第１教師データ取得部１０１、第１学習部１０４、第２教師データ取得部１１１、第２学習部１１４の各機能を実現する。なお、本実施形態では、これらの各機能を制御部１１が学習プログラム１２ａを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。

第１教師データ取得部１０１は、第１教師データＤＢ１２ｃに記憶されている第１教師データを順次取得する。第１教師データには、腫瘤又は正常を示す情報と、図４Ａに示すようなガボール画像とが含まれる。
第１学習部１０４は、第１教師データ取得部１０１が第１教師データＤＢ１２ｃから取得した腫瘤又は正常を示す情報とガボール画像とに基づいて、第１分類器１２ｂを学習させる。ここで、第１分類器１２ｂについて説明する。図６は本実施形態の第１分類器１２ｂの構成例を示す模式図である。図６に示す第１分類器１２ｂは、畳み込みニューラルネットワークモデル（ＣＮＮ）で構成したものである。第１分類器１２ｂの構成は、図６に示すように多層のニューラルネットワーク（深層学習）に限定されるものではなく、他の機械学習のアルゴリズムを用いることもできる。

図６に示すように、第１分類器１２ｂは、入力層、中間層及び出力層から構成されている。中間層は畳み込み層、プーリング層及び全結合層を含む。本実施形態の第１分類器１２ｂでは、入力層のノード数は１６，３８４（チャンネル数は１）であり、出力層のノード数は２であり、上述したようなガボール画像が、学習済みの第１分類器１２ｂの入力データとして与えられる。入力層のノードに与えられたガボール画像は中間層に入力され、中間層において、畳み込み層でフィルタ処理等によって画像特徴量が抽出されて特徴マップが生成され、プーリング層で圧縮されて情報量を削減される。畳み込み層及びプーリング層は複数層繰り返し設けられており、複数の畳み込み層及びプーリング層によって生成された特徴マップは、全結合層に入力される。全結合層は複数層（図６では２層）設けられており、入力された特徴マップに基づいて、重み及び各種の関数を用いて各層のノードの出力値を算出し、算出した出力値を順次後の層のノードに入力する。全結合層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に出力層の各ノードにそれぞれの出力値を与える。畳み込み層、プーリング層及び全結合層のそれぞれの層数は図６に示す例に限定されない。出力層の各ノードは、腫瘤又は正常のそれぞれに対する分類確率を出力する。例えば入力されたガボール画像が腫瘤領域の画像である確率をノード０が出力し、正常領域の画像である確率をノード１が出力する。出力層の各ノードの出力値は例えば０～１．０の値であり、２つのノードから出力された確率の合計が１．０（１００％）となる。

第１学習部１０４は、第１教師データ取得部１０１が第１教師データＤＢ１２ｃから取得したガボール画像を、第１分類器１２ｂの入力層のノードに入力し、出力層において、このガボール画像の腫瘤又は正常を示す情報に応じたノードの出力値が１．０に近づき、他方のノードの出力値が０に近づくように、第１分類器１２ｂを学習させる。即ち、第１学習部１０４は、入力層のノードに入力したガボール画像が腫瘤画像である場合、ノード０の出力値が１．０に近づき、ノード１の出力値が０に近づくように、第１分類器１２ｂを学習させる。第１学習部１０４は、例えば全結合層の各層のノードを結合する重み及び関数を学習アルゴリズムによって最適化して第１分類器１２ｂを学習させる。第１学習部１０４は、第１教師データＤＢ１２ｃに記憶してある全ての第１教師データを用いて第１分類器１２ｂを学習させる。これにより、学習済みの第１分類器１２ｂが生成される。

第２教師データ取得部１１１及び第２学習部１１４のそれぞれは、第１教師データ取得部１０１及び第１学習部１０４とは処理対象の画像が異なるが、それぞれ同様の処理を行う。また、第２分類器１２ｄは第１分類器１２ｂと同様の構成を有する。よって、これらについての詳細な説明は省略する。第２教師データ取得部１１１は、第２教師データＤＢ１２ｅに記憶されている第２教師データを順次取得する。第２教師データには、腫瘤又は正常を示す情報と、図４Ｂに示すようなアイリス画像とが含まれる。第２学習部１１４は、第２教師データＤＢ１２ｅに記憶してある全ての第２教師データを用いて第２分類器１２ｄを学習させる。これにより、学習済みの第２分類器１２ｄが生成される。

以下に、上述したように学習装置１０にて学習した第１分類器１２ｂ及び第２分類器１２ｄを用いて、診断対象の患者の医用画像に基づいて、撮影対象の病変の状態が腫瘤であるか正常であるか（腫瘤でないか）を判別する特定装置２０について説明する。図７は、特定装置２０の構成例を示すブロック図である。特定装置２０は、パーソナルコンピュータ、サーバコンピュータ等であり、学習装置１０と同様の構成を有するので詳細については省略する。特定装置２０は、制御部２１、記憶部２２、表示部２３、入力部２４、通信部２５等を含み、これらの各部はバスを介して相互に接続されている。なお、特定装置２０の記憶部２２には、本開示のプログラムである特定プログラム２２ａ、学習装置１０にて学習済みの第１分類器２２ｂ及び第２分類器２２ｃが記憶されている。学習装置１０にて学習済みの第１分類器１２ｂ及び第２分類器１２ｄはまとめて特定器として提供される。

第１分類器２２ｂ及び第２分類器２２ｃは、学習装置１０で学習した第１分類器１２ｂ及び第２分類器１２ｄである。特定装置２０は、例えば通信部２５を介してネットワーク経由で学習装置１０から第１分類器２２ｂ及び第２分類器２２ｃを取得して記憶部２２に記憶する。また特定装置２０が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、特定装置２０は、第１分類器２２ｂ及び第２分類器２２ｃを可搬型記憶媒体から読み出して記憶部２２に記憶してもよい。また特定装置２０は、特定プログラム２２ａを第１分類器２２ｂ及び第２分類器２２ｃと共に、ネットワーク経由で取得してもよいし、可搬型記憶媒体を用いて取得してもよい。

次に、特定装置２０において制御部２１が特定プログラム２２ａを実行することによって実現される機能について説明する。図８は、特定装置２０の制御部２１によって実現される機能を示すブロック図、図９は、特定装置２０が行う特定処理の説明図である。特定装置２０の制御部２１は、記憶部２２に記憶してある特定プログラム２２ａを実行した場合、第１画像取得部２０１、第１腫瘤領域抽出部２０２、第１判別部２０５、第２画像取得部２１１、第２腫瘤領域抽出部２１２、第２判別部２１５、特定部２２１、出力部２２２の各機能を実現する。なお、本実施形態では、これらの各機能を制御部２１が特定プログラム２２ａを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。

第１画像取得部２０１は、乳房腫瘤の疑いがある診断対象の患者のガボール画像を取得する。ここでのガボール画像は、患者のマンモグラフィ画像に対してガボールフィルタによるフィルタ処理を行って生成されたガボール画像である。特定装置２０は、患者のガボール画像を、例えばネットワーク経由又は可搬型記憶媒体経由で予め取得して記憶部２２に記憶しておき、第１画像取得部２０１は、診断対象のガボール画像を記憶部２２から読み出す。なお、特定装置２０が、患者のマンモグラフィ画像をネットワーク経由又は可搬型記憶媒体経由で取得して記憶部２２に記憶している場合、第１画像取得部２０１は、診断対象のマンモグラフィ画像を記憶部２２から読み出す。そして、第１画像取得部２０１は、読み出したマンモグラフィ画像に対してガボールフィルタによるフィルタ処理を行ってガボール画像を生成し、患者のガボール画像を取得する。

第１腫瘤領域抽出部２０２は、第１画像取得部２０１が取得したガボール画像から腫瘤領域を抽出する。第１腫瘤領域抽出部２０２は、例えば入力部２４を介したユーザ（医師等）の入力操作による指定に基づいて、乳房全体のガボール画像から腫瘤領域を抽出する。これにより、図４Ａの左側に示すような腫瘤領域（腫瘤画像）が抽出される。また、第１腫瘤領域抽出部２０２は、例えばディープラーニングによる学習済みの認識モデルを用いて、第１画像取得部２０１が取得したガボール画像中の腫瘤領域を認識して抽出してもよい。

第１判別部２０５は、第１腫瘤領域抽出部２０２が抽出した腫瘤領域（腫瘤画像）に基づいて、撮影対象の状態が腫瘤であるか正常であるかを第１分類器２２ｂを用いて判別する。具体的には、第１判別部２０５は、抽出した腫瘤領域を第１分類器２２ｂに入力し、第１分類器２２ｂからの出力値を取得する。第１分類器２２ｂの出力値は、腫瘤又は正常に対する分類確率である。第１判別部２０５は、判別結果を例えば記憶部２２に記憶する。

第２画像取得部２１１、第２腫瘤領域抽出部２１２及び第２判別部２１５のそれぞれは、第１画像取得部２０１、第１腫瘤領域抽出部２０２及び第１判別部２０５とは処理対象の画像が異なるが、それぞれ同様の処理を行う。よって、詳細については説明を省略する。なお、第１画像取得部２０１が取得するガボール画像と、第２画像取得部２１１が取得するアイリス画像とは、同じ患者の乳房（撮影対象）の撮影画像である。

第２画像取得部２１１は、診断対象の患者のアイリス画像を取得する。ここでも、特定装置２０は、患者のアイリス画像をネットワーク経由又は可搬型記憶媒体経由で取得して記憶部２２に記憶しておき、第２画像取得部２１１は、診断対象のアイリス画像を記憶部２２から読み出す。また、特定装置２０が患者のマンモグラフィ画像を記憶部２２に記憶している場合、第２画像取得部２１１は、診断対象のマンモグラフィ画像を記憶部２２から読み出し、アイリスフィルタによるフィルタ処理を行ってアイリス画像を生成してもよい。第２腫瘤領域抽出部２１２は、第２画像取得部２１１が取得したアイリス画像から腫瘤領域を抽出する。第２判別部２１５は、第２腫瘤領域抽出部２１２が抽出した腫瘤領域（腫瘤画像）を第２分類器２２ｃに入力し、第２分類器２２ｃからの出力である腫瘤又は正常に対する分類確率を取得する。第２判別部２１５は判別結果を例えば記憶部２２に記憶する。

特定部２２１は、患者のガボール画像に基づいて第１判別部２０５が取得した腫瘤又は正常に対する分類確率と、患者のアイリス画像に基づいて第２判別部２１５が取得した腫瘤又は正常に対する分類確率とに基づいて、この患者の病変の状態が腫瘤であるか正常であるかを特定する。具体的には、特定部（算出部）２２１は、第１判別部２０５が取得した腫瘤又は正常に対する分類確率と、第２判別部２１５が取得した腫瘤又は正常に対する分類確率とを統合して、この患者における腫瘤又は正常に対する分類確率（判別確率）を算出する。例えば特定部２２１は、判別対象である腫瘤又は正常のそれぞれについて、ガボール画像に基づいて取得された分類確率と、アイリス画像に基づいて取得された分類確率との平均値を算出し、統合された確率とする。特定部２２１は、統合した腫瘤又は正常に対する分類確率において、高い分類確率であった判別結果を、この患者の病変の状態として特定する。

出力部２２２は、特定部２２１による特定結果を出力する。例えば出力部２２２は、特定部２２１による特定結果を表示するための表示情報を生成し、生成した表示情報に基づいて特定結果画面を表示部２３に表示する。図９は特定結果画面の例を示しており、図９に示す画面には、特定部２２１が最終的に算出した、この患者における腫瘤又は正常に対する分類確率（判別確率）が表示され、特定部２２１が特定した判別結果に下線が付されて目立つように表示されている。また、図９に示す画面には、診断に用いたガボール画像及びアイリス画像が表示されている。よって、出力部２２２は、ガボール画像及びアイリス画像と、特定部２２１が算出した腫瘤又は正常に対する分類確率とを表示する特定結果画面を生成する。

表示部２３に表示される画面は、図９に示す例に限定されず、例えば、特定部２２１が最終的に算出した腫瘤又は正常に対する分類確率のみを表示する画面でもよい。また、例えば、特定部２２１が特定した判別結果について第１判別部２０５及び第２判別部２１５で取得された分類確率が高い方の画像（ガボール画像又はアイリス画像）を表示してもよい。また、腫瘤領域の大きさが大きい方の画像（ガボール画像又はアイリス画像）を表示してもよい。このような画像は、特定部２２１が特定した判別結果であることを判断し易い画像である可能性が高い。また、ガボール画像及びアイリス画像を表示する場合に、ガボール画像及びアイリス画像中の腫瘤領域を目立つように表示してもよい。なお、出力部２２２は、特定部２２１による特定結果を表示部２３に表示するほかに、音声で出力してもよいし、所定の端末装置に送信してもよい。

次に、診断支援システムにおいて学習装置１０による学習処理についてフローチャートに基づいて説明する。図１０は学習装置１０による学習処理の手順を示すフローチャートである。以下の処理は、学習装置１０の記憶部１２に記憶してある学習プログラム１２ａを含む制御プログラムに従って制御部１１によって実行される。学習装置１０は、第１教師データＤＢ１２ｃに記憶されているガボール画像の第１教師データを用いて第１分類器１２ｂを学習させ、第２教師データＤＢ１２ｅに記憶されているアイリス画像の第２教師データを用いて第２分類器１２ｄを学習させる。第１分類器１２ｂの学習処理と第２分類器１２ｄの学習処理とは同じ処理であり、図１０には第１分類器１２ｂの学習処理のみを示す。

学習装置１０の制御部１１は、第１教師データＤＢ１２ｃからガボール画像の第１教師データを１つ取得する（Ｓ１１）。第１教師データには、腫瘤又は正常を示す情報と、図４Ａに示すようなガボール画像とが含まれる。制御部１１は、第１教師データに含まれる腫瘤又は正常を示す情報とガボール画像とを用いて、第１分類器１２ｂを学習させる（Ｓ１２）。ここでは、制御部１１は、ガボール画像を第１分類器１２ｂの入力層のノードに入力し、出力層において、このガボール画像が腫瘤画像（又は正常画像）である場合、ノード０（又はノード１）の出力値が１．０に近づき、ノード１（又はノード０）の出力値が０に近づくように、第１分類器１２ｂを学習させる。

制御部１１は、第１教師データＤＢ１２ｃに記憶してある全ての第１教師データに基づく処理を終了したか否かを判断する（Ｓ１３）。全ての第１教師データに基づく処理を終了していないと判断した場合（Ｓ１３：ＮＯ）、制御部１１は、ステップＳ１１の処理に戻り、未処理の第１教師データを１つ取得する（Ｓ１１）。制御部１１は、取得した第１教師データに基づいてステップＳ１２の処理を行う。全ての第１教師データに基づく処理を終了したと判断した場合（Ｓ１３：ＹＥＳ）、制御部１１は、第１分類器１２ｂの学習処理を終了する。

学習装置１０の制御部１１は、図１０に示す処理と同様の処理によって、第２教師データＤＢ１２ｅに記憶されているアイリス画像の第２教師データを用いて第２分類器１２ｄを学習させる。なお、第２分類器１２ｄの学習処理では、図１０中のステップＳ１１で、制御部１１は、第２教師データＤＢ１２ｅからアイリス画像の第２教師データを取得する。またステップＳ１２で、制御部１１は、第２教師データに含まれる腫瘤又は正常を示す情報とアイリス画像とを用いて第２分類器１２ｄを学習させる。
上述した処理により、ガボール画像に基づいて患者の病変の状態が腫瘤であるか否かを判別する第１分類器１２ｂと、アイリス画像に基づいて患者の病変の状態が腫瘤であるか否かを判別する第２分類器１２ｄとを学習させることができる。よって、学習済みの第１分類器１２ｂ及び第２分類器１２ｄが得られる。

次に、診断支援システムにおいて特定装置２０による特定処理についてフローチャートに基づいて説明する。図１１は、特定装置２０による特定処理の手順を示すフローチャートである。以下の処理は、特定装置２０の記憶部２２に記憶してある特定プログラム２２ａを含む制御プログラムに従って制御部２１によって実行される。特定装置２０の記憶部２２には、学習装置１０によって学習済みの第１分類器２２ｂ及び第２分類器２２ｃが記憶されている。また、記憶部２２には、診断対象の患者の乳房のガボール画像及びアイリス画像が記憶されている。なお、ガボール画像及びアイリス画像の代わりにマンモグラフィ画像が記憶部２２に記憶されていてもよい。図１１に示す処理では、特定装置２０の制御部２１は、ステップＳ２１～Ｓ２４の処理とステップＳ３１～Ｓ３４の処理とを並列に実行するが、一方の処理を実行した後に他方の処理を実行してもよい。

特定装置２０の制御部２１は、診断対象の患者のガボール画像を取得する（Ｓ２１）。なお、記憶部２２にマンモグラフィ画像が記憶されている場合、制御部２１は、マンモグラフィ画像に対してガボールフィルタによるフィルタ処理を行ってガボール画像を取得する。制御部２１は、取得したガボール画像から腫瘤領域を抽出し（Ｓ２２）、抽出した腫瘤領域に対して、腫瘤領域における病変の状態が腫瘤であるか正常であるかを第１分類器２２ｂにて判別し（Ｓ２３）、判別結果を記憶部２２に記憶する（Ｓ２４）。具体的には、第１分類器２２ｂは、ガボール画像における病変の状態が腫瘤であるとする判別結果と、正常であるとする判別結果とのそれぞれに対する分類確率を出力し、制御部２１は、第１分類器２２ｂから出力された腫瘤又は正常に対する分類確率を記憶部２２に記憶する。

一方、制御部２１は、患者のアイリス画像を取得し（Ｓ３１）、取得したアイリス画像から腫瘤領域を抽出し（Ｓ３２）、抽出した腫瘤領域に対する腫瘤又は正常の判別を第２分類器２２ｃにて行い（Ｓ３３）、判別結果を記憶部２２に記憶する（Ｓ３４）。ここでは、第２分類器２２ｃは、アイリス画像における病変の状態が腫瘤であるとする判別結果と、正常であるとする判別結果とのそれぞれに対する分類確率を出力し、制御部２１は、第２分類器２２ｃから出力された腫瘤又は正常に対する分類確率を記憶部２２に記憶する。

制御部２１は、ステップＳ２３でガボール画像に基づいて取得した腫瘤又は正常に対する分類確率と、ステップＳ３３でアイリス画像に基づいて取得した腫瘤又は正常に対する分類確率とを統合して、この患者における腫瘤又は正常に対する分類確率を算出する（Ｓ４１）。制御部２１は、算出した患者における腫瘤又は正常に対する分類確率を判別結果として表示するための表示情報を生成する（Ｓ４２）。例えば、制御部２１は、この患者における腫瘤又は正常に対する分類確率を表示するための表示情報を生成する。そして、制御部２１は、生成した表示情報に基づいて、特定装置２０による判別結果を表示部２３に表示する（Ｓ４３）。これにより、例えば図９に示すような画面が表示部２３に表示され、特定装置２０による判別結果が通知される。

本実施形態では、患者のガボール画像及びアイリス画像に基づいて、撮影対象の病変が腫瘤である可能性を示す分類確率と、正常である可能性を示す分類確率とを算出できる。よって、病変の状態が腫瘤又は正常である可能性を通知できるので、医師は、マンモグラフィ画像に基づいて病変の状態を診断する際に考慮でき、医師による診断を支援できる。医師が医用画像の情報を目視で正確に読み取ることは困難であるが、特定装置２０は医用画像に基づいて判別を行うので、医用画像を有効に利用できる。

本実施形態では、第１分類器２２ｂを用いたガボール画像に基づく判別結果と、第２分類器２２ｃを用いたアイリス画像に基づく判別結果とを統合して、患者の病変が腫瘤であるか正常であるかを判別する。これにより、判別精度が向上する。出願人は、特定装置２０による判別処理の精度を評価するための評価実験を行った。比較対象として、第１分類器２２ｂを用いてガボール画像に基づいて病変の状態が腫瘤であるか否かを判別した場合、例えば４８枚のガボール画像のテストデータに対して正解であると判別できた割合（分類精度）は６４．６％であった。また、第２分類器２２ｃを用いてアイリス画像に基づいて病変の状態が腫瘤であるか否かを判別した場合、例えば４８枚のアイリス画像のテストデータに対して正解であると判別できた割合（分類精度）は６２．５％であった。更に出願人は、ガボール画像及びアイリス画像の２つの画像を入力し、２つの画像に基づいて撮影対象の病変の状態が腫瘤であるか否かを判別する分類器を用いた判別処理を行った。この場合、例えばそれぞれ４８枚のガボール画像及びアイリス画像のテストデータに対して正解であると判別できた割合（分類精度）は５８．３％であった。これに対して、本実施形態の特定装置２０による判別処理における分類精度は６６．７％であった。このように、第１分類器２２ｂ又は第２分類器２２ｃの一方のみを用いた判別処理による分類精度や、２つの画像を入力して判別する判別処理による分類精度と比較して、第１分類器２２ｂ及び第２分類器２２ｃによる判別結果を統合して判別する判別処理による分類精度が高い値となっている。よって、異なる種類の医用画像に対して、それぞれの医用画像用の分類器を用いた判別処理を行い、それぞれの判別結果を統合して最終的な判別結果を特定することによって、判別精度を向上させることができる。

本実施形態では、診断に用いる画像としてマンモグラフィ画像からフィルタ処理によって得られるガボール画像及びアイリス画像を用いたが、これらに限定されない。また、分類器２２ｂ，２２ｃによる判別対象は、腫瘤又は正常の２種別に限定されない。例えば、乳癌、乳腺線維腺腫、乳腺症、乳腺炎、葉状腫瘍等の各種の病変について、それぞれの教師データを用いて分類器２２ｂ，２２ｃに学習させることによって病変の種類の判別が可能となる。

本実施形態において、学習装置１０は、教師データのガボール画像及びアイリス画像をそのまま用いて分類器１２ｂ，１２ｄを学習させる代わりに、教師データのガボール画像及びアイリス画像からそれぞれ、所定の画素数の画素を有するパッチ画像を複数抽出し、パッチ画像にて分類器１２ｂ，１２ｄを学習させてもよい。この場合、特定装置２０は、診断対象の患者のガボール画像及びアイリス画像をそのまま用いて分類器２２ｂ，２２ｃによる判別処理を行う代わりに、ガボール画像及びアイリス画像からパッチ画像を複数抽出し、パッチ画像にて分類器２２ｂ，２２ｃによる判別処理を行ってもよい。画像から抽出したパッチ画像を教師データに用いる場合、１枚の画像から複数のパッチ画像（教師データ）を生成できるので、教師データ数を増やすことができ、その結果、学習精度を向上させることができる。また、画像から抽出したパッチ画像を用いて判別処理を行う場合、判別対象のデータ数を増やすことができるので、判別精度を向上させることができる。

本実施形態において、３種別以上の画像を用いて患者の病変の状態を判別するように構成することもできる。この場合、学習装置１０は、画像の種類毎に、教師データを用いて分類器（学習モデル）を学習させ、特定装置２０は、画像の種類毎に分類器を用いた判別処理を行い、画像の種類毎の判別結果を統合して、患者の病変の状態を判別する。このような構成とした場合、判別精度の更なる向上が期待できる。

（実施形態２）
肺癌の疑いがある患者の肺をＰＥＴ－ＣＴで撮影して得られた医用画像（ＰＥＴ画像及びＣＴ画像）に基づいて、肺の所定部位の状態として肺癌であるか否かを判別する診断支援システムについて説明する。本実施形態においては異なる種類の画像を取得するために、異なる撮像方式に基づいた画像（ＰＥＴ画像及びＣＴ画像）を使用する。本実施形態の診断支援システムの各装置は、実施形態１の各装置と同じ構成を有するので、構成については説明を省略する。本実施形態では、ＰＥＴ－ＣＴで撮影して得られたＰＥＴ画像及びＣＴ画像を用いて、撮影対象の状態が肺癌であるか否かを判断（判別）する。なお、判断に用いる医用画像はこれらに限定されず、他の種類の医用画像を用いてもよい。また、判断に用いる複数種類の医用画像は、同じ撮影対象（患者の肺）を撮影した撮影画像であればよく、ＰＥＴ－ＣＴにて同時に撮影されたものであってもよく、ＰＥＴ及びＣＴのそれぞれの装置にて各別に撮影されたものであってもよい。

本実施形態では、第１分類器１２ｂ，２２ｂは、患者のＰＥＴ画像に基づいて、撮影対象の病変の状態が肺癌であるか正常であるかを判別する分類器であり、第２分類器１２ｄ，２２ｃは、患者のＣＴ画像に基づいて、撮影対象の病変の状態が肺癌であるか正常であるかを判別する分類器である。よって、第１教師データＤＢ１２ｃには、肺癌患者のＰＥＴ画像から抽出された腫瘤領域（肺癌領域）を含む腫瘤画像と、腫瘤（肺癌）がない正常領域を含む正常画像とによる第１教師データが多数蓄積されており、第２教師データＤＢ１２ｅには、肺癌患者のＣＴ画像から抽出された腫瘤領域（肺癌領域）を含む腫瘤画像と、腫瘤（肺癌）がない正常領域を含む正常画像とによる第２教師データが多数蓄積されている。そして、本実施形態の学習装置１０は、ＰＥＴ画像による第１教師データに基づいて第１分類器１２ｂを学習させ、ＣＴ画像による第２教師データに基づいて第２分類器１２ｄを学習させる。

本実施形態の学習装置１０では、制御部１１は学習プログラム１２ａを実行することによって図５に示した各機能を実現する。なお、本実施形態において、第１教師データ取得部１０１は、第１教師データＤＢ１２ｃからＰＥＴ画像による第１教師データを取得する。第１学習部１０４は、第１教師データに含まれる肺癌又は正常を示す情報とＰＥＴ画像とに基づいて第１分類器１２ｂを学習させる。また、第２教師データ取得部１１１は、第２教師データＤＢ１２ｅからＣＴ画像による第２教師データを取得する。また第２学習部１１４は、第２教師データに含まれる肺癌又は正常を示す情報とＣＴ画像とに基づいて第２分類器１２ｄを学習させる。

本実施形態の特定装置２０では、制御部２１は特定プログラム２２ａを実行することによって図８に示した各機能を実現する。なお、本実施形態において、第１画像取得部２０１は、診断対象の患者のＰＥＴ画像を取得し、第１腫瘤領域抽出部２０２は、ＰＥＴ画像から腫瘤領域を抽出する。第１判別部２０５は、ＰＥＴ画像から抽出した腫瘤領域に対して第１分類器２２ｂが出力した肺癌又は正常に対する分類確率を取得する。また、第２画像取得部２１１は、診断対象の患者のＣＴ画像を取得し、第２腫瘤領域抽出部２１２は、ＣＴ画像から腫瘤領域を抽出する。第２判別部２１５は、ＣＴ画像から抽出した腫瘤領域に対して第２分類器２２ｃが出力した肺癌又は正常に対する分類確率を取得する。その他の機能は実施形態１と同様であるので説明を省略する。

本実施形態において、学習装置１０は、図１０に示した処理と同様の処理を行う。なお、本実施形態では、図１０中のステップＳ１１で、制御部１１は、第１教師データＤＢ１２ｃからＰＥＴ画像による第１教師データを取得し、ステップＳ１２で、第１教師データに含まれるＰＥＴ画像と、肺癌又は正常を示す情報とを用いて、第１分類器１２ｂを学習させる。その他の処理は実施形態１と同様であるので説明を省略する。また、本実施形態の学習装置１０の制御部１１は、図１０に示す処理と同様の処理によって、第２教師データＤＢ１２ｅに記憶されているＣＴ画像の第２教師データを用いて第２分類器１２ｄを学習させる。これにより、学習済みの第１分類器１２ｂ及び第２分類器１２ｄが得られる。

本実施形態において、特定装置２０は、図１１に示した処理と同様の処理を行う。なお、本実施形態では、図１１中のステップＳ２１で、制御部２１は、診断対象の患者のＰＥＴ画像を取得し、ステップＳ２２で、取得したＰＥＴ画像から腫瘤領域を抽出する。またステップＳ２３で、制御部２１は、ＰＥＴ画像から抽出した腫瘤領域に対して、病変の状態が肺癌であるか正常であるかを第１分類器２２ｂにて判別する。また、制御部２１は、ステップＳ３１で診断対象の患者のＣＴ画像を取得し、ステップＳ３２で、取得したＣＴ画像から腫瘤領域を抽出する。またステップＳ３３で、制御部２１は、ＣＴ画像から抽出した腫瘤領域に対して、病変の状態が肺癌であるか正常であるかを第２分類器２２ｃにて判別する。その他の処理は実施形態１と同様であるので説明を省略する。

本実施形態では、上述した実施形態１と同様の効果が得られる。よって、患者の病変の状態が肺癌である可能性及び肺癌でない（正常である）可能性を通知できるので、医師は、ＰＥＴ画像及びＣＴ画像に基づいて病変の状態を診断する際に考慮でき、医師による診断を支援できる。また、第１分類器２２ｂを用いたＰＥＴ画像に基づく判別結果と、第２分類器２２ｃを用いたＣＴ画像に基づく判別結果とを統合して、患者の病変が肺癌であるか否かを判別するので、判別精度が向上する。

本実施形態においても、診断に用いる医用画像はＰＥＴ画像及びＣＴ画像に限定されない。また、分類器２２ｂ，２２ｃによる判別対象は、肺癌又は正常の２種別に限定されない。例えば、肺癌のほかに、転移性肺腫瘍、過誤腫、硬化性血管腫等の各種の病変について、それぞれの教師データを用いて分類器２２ｂ，２２ｃに学習させることによって病変の種類の判別が可能となる。また、本実施形態においても、実施形態１で説明した変形例の適応が可能である。即ち、学習装置１０は、教師データのＰＥＴ画像及びＣＴ画像からそれぞれ複数のパッチ画像を抽出し、パッチ画像にて分類器１２ｂ，１２ｄを学習させてもよく、特定装置２０は、診断対象の患者のＰＥＴ画像及びＣＴ画像からそれぞれ複数のパッチ画像を抽出し、パッチ画像にて分類器２２ｂ，２２ｃによる判別処理を行ってもよい。また、本実施形態の診断支援システムを、３種別以上の画像を用いて患者の病変の状態を判別するように構成してもよい。

（実施形態３）
脳腫瘍の患者の脳をＭＲＩで撮影して得られた医用画像（ＭＲＩ画像）に基づいて、撮影対象である脳腫瘍の状態（種別）を判別する診断支援システムについて説明する。本実施形態の診断支援システムの各装置は、実施形態１の各装置と同じ構成を有するので、構成については説明を省略する。本実施形態では、ＭＲＩで撮影して得られたＭＲＩ画像を用いて、撮影対象の脳腫瘍の種別を判別する。

ＭＲＩは、撮影時のパラメータを異ならせることによって異なる種類のＭＲＩ画像を得ることができる。本実施形態の診断支援システムでは、造影剤を用いずに水、脂肪及び腫瘍が白く写る方法で撮影して得られたＴ２強調画像と、造影剤を用いて脂肪及び造影剤が白く写り、水及び腫瘍が黒く写る方法で撮影して得られたＴ１ＣＥ画像とを用いて、撮影対象の脳腫瘍の種別を判別する。脳腫瘍の種別の判別に用いる医用画像はこれらに限定されず、他の種類の医用画像を用いてもよい。ＭＲＩは、患者の頭（撮影対象の脳）を上下方向に走査しつつ前後左右方向の平面で切った断面画像（スライス画像）を取得する装置であり、１人の患者の脳に対して、Ｔ２強調画像であれば例えば２０枚程度撮影し、Ｔ１ＣＥ画像であれば例えば２００程度撮影する。ＭＲＩによる撮影枚数はこれらの枚数に限定されない。

図１２はＴ２強調画像の例を示す模式図、図１３はＴ１ＣＥ画像の例を示す模式図である。Ｔ２強調画像及びＴ１ＣＥ画像のサイズは例えば５１２画素×５１２画素とすることができるが、これに限定されない。Ｔ２強調画像では病変（腫瘍）の領域を認識し易く、Ｔ１ＣＥ画像では病変（腫瘍）の輪郭を認識し易い。図１２には、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫の５種別の脳腫瘍のＴ２強調画像の例を示し、図１３には、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫の５種別の脳腫瘍のＴ１ＣＥ画像の例を示す。本実施形態の診断支援システムでは、判別対象の脳腫瘍の種別として、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫の５種別のいずれであるかを判別する。よって、第１分類器１２ｂ，２２ｂは、患者のＴ２強調画像に基づいて、このＴ２強調画像に対する脳腫瘍の種別を判別する分類器であり、第２分類器１２ｄ，２２ｃは、患者のＴ１ＣＥ画像に基づいて、このＴ１ＣＥ画像に対する脳腫瘍の種別を判別する分類器である。

従って、本実施形態の第１教師データＤＢ１２ｃには、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫のそれぞれに対応付けて、図１２に示すようなＴ２強調画像が多数蓄積されている。また、第２教師データＤＢ１２ｅには、脳腫瘍の種別のそれぞれに対応付けて、図１３に示すようなＴ１ＣＥ画像が多数蓄積されている。なお、第１教師データＤＢ１２ｃにおいて、１つのＴ２強調画像（スライス画像）と、このＴ２強調画像に対応付けられた脳腫瘍の種別（膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍又は神経鞘腫）を示す情報とのセットを第１教師データという。また、第２教師データＤＢ１２ｅにおいて、１つのＴ１ＣＥ画像（スライス画像）と、このＴ１ＣＥ画像に対応付けられた脳腫瘍の種別を示す情報とのセットを第２教師データという。本実施形態の学習装置１０は、図１２に示すようなＴ２強調画像による第１教師データに基づいて第１分類器１２ｂを学習させ、図１３に示すようなＴ１ＣＥ画像による第２教師データに基づいて第２分類器１２ｄを学習させる。

図１４は、実施形態３の学習装置１０の制御部１１によって実現される機能を示すブロック図、図１５及び図１６は、実施形態３の学習装置１０が行う学習処理の説明図である。本実施形態の学習装置１０では、制御部１１は学習プログラム１２ａを実行した場合、第１教師データ取得部１０１、第１腫瘤領域抽出部１０２、第１パッチ画像抽出部１０３、第１学習部１０４、第２教師データ取得部１１１、第２腫瘤領域抽出部１１２、第２パッチ画像抽出部１１３、第２学習部１１４の各機能を実現する。なお、これらの各機能の一部を専用のハードウェア回路で実現してもよい。第１教師データ取得部１０１、第１学習部１０４、第２教師データ取得部１１１及び第２学習部１１４は、図５に示した実施形態１の各機能と同様の処理を行う。

本実施形態において、第１教師データ取得部１０１は、第１教師データＤＢ１２ｃからＴ２強調画像による第１教師データを取得する。第１教師データには、脳腫瘍の種別を示す情報とＴ２強調画像（スライス画像）とが含まれる。第１腫瘤領域抽出部１０２は、第１教師データ取得部１０１が取得したＴ２強調画像から腫瘤領域（脳腫瘍領域）を抽出する。第１教師データＤＢ１２ｃに記憶されるＴ２強調画像は脳全体の画像であり、第１腫瘤領域抽出部１０２は、例えば入力部１４を介したユーザの入力操作による指定に基づいて脳腫瘍領域を抽出する。また、第１腫瘤領域抽出部１０２は、例えばディープラーニングによる学習済みの認識モデルを用いて、第１教師データ取得部１０１が取得したＴ２強調画像中の脳腫瘍領域を認識して抽出してもよい。図１５Ａに示す例では、破線の閉曲線で囲まれた領域Ｒが脳腫瘍領域として抽出されている。

第１パッチ画像抽出部１０３は、第１腫瘤領域抽出部１０２が抽出した腫瘤領域に対して、所定の画素数の画素を含む矩形のパッチ画像（画素ブロック）を複数抽出する。パッチ画像のサイズは例えば１２８画素×１２８画素とすることができるが、これに限定されない。第１パッチ画像抽出部１０３は、第１腫瘤領域抽出部１０２が抽出した腫瘤領域内の所定間隔を隔てた各位置をそれぞれ中央位置とするパッチ画像を、１枚のＴ２強調画像（腫瘤領域）から例えば１００～２００枚程度抽出する。図１５Ｂに示す例では、それぞれの矩形で囲まれた領域Ｐがパッチ画像として抽出されている。

第１学習部１０４は、第１教師データに含まれる脳腫瘍の種別を示す情報と、Ｔ２強調画像から抽出された複数のパッチ画像（Ｔ２強調画像のパッチ画像）とに基づいて第１分類器１２ｂを学習させる。ここで、本実施形態の第１分類器１２ｂについて説明する。図１６は本実施形態の第１分類器１２ｂを示し、図１６に示す第１分類器１２ｂは、実施形態１の第１分類器１２ｂと同様にＣＮＮで構成されている。図１６に示すように、本実施形態の第１分類器１２ｂでは、入力層のノード数は１６，３８４（チャンネル数は１）であり、出力層のノード数は５である。本実施形態の第１分類器１２ｂには、上述したようなパッチ画像が入力データとして与えられる。出力層の各ノードは、５種別の脳腫瘍のそれぞれに対する分類確率を出力する。例えば入力されたパッチ画像が膠芽腫の画像である確率をノード０が出力し、悪性リンパ腫の画像である確率をノード１が出力し、髄膜腫の画像である確率をノード２が出力し、転移性腫瘍の画像である確率をノード３が出力し、神経鞘腫の画像である確率をノード４が出力する。出力層の各ノードの出力値は例えば０～１．０の値であり、５つのノードから出力された確率の合計が１．０（１００％）となる。本実施形態の第２分類器１２ｄも第１分類器１２ｂと同様の構成を有する。

本実施形態の第１学習部１０４は、Ｔ２強調画像から抽出したパッチ画像を第１分類器１２ｂの入力層のノードに入力し、出力層において、このパッチ画像（Ｔ２強調画像）の脳腫瘍の種別に応じたノードの出力値が１．０に近づき、その他のノードの出力値が０に近づくように、第１分類器１２ｂを学習させる。即ち、第１学習部１０４は、入力層のノードに入力したパッチ画像が膠芽腫の画像である場合、ノード０の出力値が１．０に近づき、ノード１～４の出力値が０に近づくように第１分類器１２ｂを学習させる。

本実施形態において、第２教師データ取得部１１１、第２腫瘤領域抽出部１１２、第２パッチ画像抽出部１１３及び第２学習部１１４のそれぞれは、第１教師データ取得部１０１、第１腫瘤領域抽出部１０２、第１パッチ画像抽出部１０３及び第１学習部１０４とは処理対象の画像が異なるが、それぞれ同様の処理を行う。また、第２分類器１２ｄは第１分類器１２ｂと同様の構成を有する。よって、これらについての詳細な説明は省略する。第２教師データ取得部１１１は、第２教師データＤＢ１２ｅからＴ１ＣＥ画像による第２教師データを取得し、第２腫瘤領域抽出部１１２は、Ｔ１ＣＥ画像から腫瘤領域（脳腫瘍領域）を抽出する。また第２パッチ画像抽出部１１３は、Ｔ１ＣＥ画像から抽出された脳腫瘍領域から複数のパッチ画像を抽出する。第２学習部１１４は、第２教師データに含まれる脳腫瘍の種別を示す情報と、Ｔ１ＣＥ画像から抽出された複数のパッチ画像とに基づいて第２分類器１２ｄを学習させる。

図１７は、実施形態３の特定装置２０の制御部２１によって実現される機能を示すブロック図、図１８～図２０は、実施形態３の特定装置２０が行う特定処理の説明図である。本実施形態の特定装置２０の制御部２１は、記憶部２２に記憶してある特定プログラム２２ａを実行した場合、第１画像取得部２０１、第１腫瘤領域抽出部２０２、第１パッチ画像抽出部２０３、第１パッチ判別部２０４、第１判別部２０５、第２画像取得部２１１、第２腫瘤領域抽出部２１２、第２パッチ画像抽出部２１３、第２パッチ判別部２１４、第２判別部２１５、特定部２２１、出力部２２２の各機能を実現する。なお、本実施形態では、これらの各機能の一部を専用のハードウェア回路で実現してもよい。第１画像取得部２０１、第１腫瘤領域抽出部２０２、第２画像取得部２１１、第２腫瘤領域抽出部２１２、特定部２２１、出力部２２２は、図８に示した実施形態１の各機能と同様の処理を行う。

本実施形態において、第１画像取得部２０１は、診断対象の患者のＴ２強調画像（スライス画像）を取得する。なお、Ｔ２強調画像は、患者の脳を上下方向に走査しつつ撮影した断面画像であり、１人の患者に対して複数枚のＴ２強調画像が１セットとして処理される。よって、第１画像取得部２０１は、１人の患者から得られた複数のＴ２強調画像を取得する。第１腫瘤領域抽出部２０２は、第１画像取得部２０１が取得したＴ２強調画像のそれぞれから脳腫瘍領域を抽出する。

第１パッチ画像抽出部２０３は、学習装置１０の制御部１１が実現する第１パッチ画像抽出部１０３と同様の処理を行う。即ち、第１パッチ画像抽出部２０３は、第１腫瘤領域抽出部２０２が抽出した腫瘤領域のそれぞれから複数のパッチ画像を抽出する。第１パッチ判別部２０４は、第１パッチ画像抽出部２０３が抽出したパッチ画像（Ｔ２強調画像のパッチ画像）に基づいて、それぞれのパッチ画像に対する脳腫瘍の種別を第１分類器２２ｂを用いて判別する。具体的には、第１パッチ判別部２０４は、パッチ画像のそれぞれを第１分類器２２ｂに入力し、第１分類器２２ｂからの出力値を取得する。第１分類器２２ｂの出力値は、５種別の脳腫瘍（膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫）のそれぞれに対する分類確率である。第１パッチ判別部２０４は、１人の患者における複数のＴ２強調画像のそれぞれから第１パッチ画像抽出部２０３が抽出したパッチ画像についてそれぞれ判別処理を行う。第１パッチ判別部２０４は、それぞれのパッチ画像に対する判別結果を例えば記憶部２２に記憶する。図１８は、第１パッチ判別部２０４による判別結果を示す模式図である。図１８に示すテーブルには、患者ＩＤ、Ｔ２強調画像ＩＤ、パッチＩＤ、分類確率が対応付けて記憶されている。患者ＩＤは各患者に割り当てられた識別情報であり、Ｔ２強調画像ＩＤは、患者のＴ２強調画像に割り当てられた識別情報であり、パッチＩＤは、Ｔ２強調画像から抽出されたパッチ画像のそれぞれに割り当てられた識別情報である。分類確率は、それぞれのパッチ画像に基づいて第１分類器２２ｂが出力した脳腫瘍の各種別に対する分類確率である。

第１判別部２０５は、第１パッチ判別部２０４による判別結果に基づいて、それぞれのＴ２強調画像（スライス画像）について、脳腫瘍の各種別に対する分類確率を算出する。即ち、第１判別部２０５は、第１分類器２２ｂが各パッチ画像に対して出力した脳腫瘍の種別毎の分類確率に基づいて、このパッチ画像が抽出されたＴ２強調画像（スライス画像）における脳腫瘍の種別毎の分類確率を算出する。例えば第１判別部２０５は、１枚のＴ２強調画像から抽出されたパッチ画像のそれぞれに対して出力された脳腫瘍の各種別に対する分類確率の平均値をそれぞれ算出して、このＴ２強調画像における脳腫瘍の種別毎の分類確率としてもよい。Ｔ２強調画像における脳腫瘍の種別毎の分類確率の算出方法はこれに限定されない。例えば、一部のパッチ画像における脳腫瘍の種別毎の分類確率の平均値を、Ｔ２強調画像における脳腫瘍の種別毎の分類確率としてもよい。第１判別部２０５は、１人の患者における全てのＴ２強調画像に対して、脳腫瘍の種別毎の分類確率を算出し、例えば記憶部２２に記憶する。

そして、本実施形態の第１判別部２０５は、それぞれのＴ２強調画像（スライス画像）について算出した脳腫瘍の種別毎の分類確率に基づいて、この患者の脳腫瘍の種別を判別する。具体的には、第１判別部２０５は、それぞれのＴ２強調画像における脳腫瘍の種別毎の分類確率に基づいて、この患者における脳腫瘍の種別毎の分類確率を算出する。ここで、第１判別部２０５は、例えば、それぞれのＴ２強調画像における脳腫瘍領域の大きさ（面積）に応じた重み付けを行って、脳腫瘍の各種別に対する分類確率の加重平均値（重み付き平均）を算出し、患者における脳腫瘍の種別毎の分類確率とする。

図１９は、Ｔ２強調画像における脳腫瘍領域の大きさに応じた重み付けを説明するための模式図である。図１９Ａ～Ｄには、Ｔ２強調画像と、それぞれＴ２強調画像中の脳腫瘍領域（腫瘍領域）とを示している。図１９Ａ～Ｄに示すＴ２強調画像において、それぞれの脳腫瘍領域の面積がａ１～ａ４であり、最大面積がａ２であったとする。この場合、図１９Ａ～Ｄに示すＴ２強調画像における脳腫瘍領域の大きさに応じた係数（重み係数）はそれぞれ、ａ１／ａ２，１，ａ３／ａ２，ａ４／ａ２とすることができる。そして、第１判別部２０５は、脳腫瘍の種別毎に、それぞれのＴ２強調画像における分類確率に、脳腫瘍領域の大きさに応じた係数を掛け算した上で加算し、その合計値を係数の合計値で割り算し、得られた商を、この患者における分類確率とする。Ｔ２強調画像における分類確率から患者の分類確率を算出する方法はこれに限定されない。例えば、一部のＴ２強調画像における分類確率を用いて患者の分類確率を算出してもよい。第１判別部２０５は、判別対象の脳腫瘍のそれぞれについて、患者における分類確率を算出する。

第２画像取得部２１１、第２腫瘤領域抽出部２１２、第２パッチ画像抽出部２１３、第２パッチ判別部２１４及び第２判別部２１５のそれぞれは、第１画像取得部２０１、第１腫瘤領域抽出部２０２、第１パッチ画像抽出部２０３、第１パッチ判別部２０４及び第１判別部２０５とは処理対象の画像が異なるが、それぞれ同様の処理を行う。よって、詳細については説明を省略する。なお、第１画像取得部２０１が取得するＴ２強調画像と、第２画像取得部２１１が取得するＴ１ＣＥ画像とは、同じ患者の脳（撮影対象）の同じ箇所での断面画像である。このようなＴ２強調画像及びＴ１ＣＥ画像は、同一の撮像装置にて同じ撮影タイミングでパラメータを異ならせて撮影されたものであってもよく、異なる撮像装置にて撮影されたものであってもよく、１つの撮像装置にて撮影した後に異なる画像処理を行うことによって生成されたものでもよい。

第２画像取得部２１１は、１人の患者から得られた複数のＴ１ＣＥ画像（スライス画像）を取得する。第２腫瘤領域抽出部２１２は、第２画像取得部２１１が取得したＴ１ＣＥ画像のそれぞれから脳腫瘍領域を抽出する。第２パッチ画像抽出部２１３は、第２腫瘤領域抽出部２１２が抽出した脳腫瘍領域のそれぞれから複数のパッチ画像を抽出する。

本実施形態において、第２パッチ判別部２１４は、Ｔ１ＣＥ画像（脳腫瘍領域）から抽出したパッチ画像のそれぞれを第２分類器２２ｃに入力し、第２分類器２２ｃからの出力である５種別の脳腫瘍のそれぞれに対する分類確率を取得する。第２パッチ判別部２１４は、１人の患者における複数のＴ１ＣＥ画像のそれぞれから抽出されたパッチ画像についてそれぞれ判別処理を行い、図１８に示すテーブルと同様の構成のテーブルに判別結果を記憶する。なお、第２パッチ判別部２１４が判別結果を記憶するテーブルは、図１８に示すテーブルにおいてＴ２強調画像ＩＤの代わりにＴ１ＣＥ画像ＩＤが記憶される。

第２判別部２１５は、第２分類器２２ｃが各パッチ画像に対して出力した脳腫瘍の種別毎の分類確率に基づいて、このパッチ画像が抽出されたＴ１ＣＥ画像（スライス画像）における脳腫瘍の種別毎の分類確率を算出する。そして、第２判別部２１５は、それぞれのＴ１ＣＥ画像（スライス画像）について算出した脳腫瘍の種別毎の分類確率に基づいて、この患者における脳腫瘍の種別毎の分類確率を算出する。ここでも、第２判別部２１５は、Ｔ１ＣＥ画像における脳腫瘍領域の大きさに応じた重み係数を用いて、患者における脳腫瘍の種別毎の分類確率を算出してもよい。第２判別部２１５は、１人の患者に対して、判別対象の脳腫瘍の種別毎の分類確率を算出し、例えば記憶部２２に記憶する。

本実施形態の特定部２２１は、患者のＴ２強調画像に基づいて第１判別部２０５が算出した脳腫瘍の種別毎の分類確率と、患者のＴ１ＣＥ画像に基づいて第２判別部２１５が算出した脳腫瘍の種別毎の分類確率とに基づいて、この患者における脳腫瘍の種別を特定する。具体的には、特定部２２１は、第１判別部２０５が算出した脳腫瘍の種別毎の分類確率と、第２判別部２１５が算出した脳腫瘍の種別毎の分類確率とを統合して、この患者における脳腫瘍の種別毎の分類確率（判別確率）を算出する。例えば特定部２２１は、脳腫瘍の種別毎に、Ｔ２強調画像に基づいて算出された分類確率と、Ｔ１ＣＥ画像に基づいて算出された分類確率との平均値をそれぞれ算出し、統合された確率とする。特定部２２１は、統合した脳腫瘍の種別毎の分類確率のうちで最高の分類確率であった脳腫瘍を、この患者の脳腫瘍に特定する。

本実施形態の出力部２２２は、特定部２２１による特定結果を表示するための表示情報を生成し、生成した表示情報に基づいて、図２０に示すような特定結果画面を表示部２３に表示する。図２０に示す画面には、特定部２２１が最終的に算出した、この患者における脳腫瘍の種別毎の分類確率（判別確率）が表示され、特定部２２１が特定した脳腫瘍に下線が付されて、他の脳腫瘍よりも目立つように表示されている。また、図２０に示す画面には、例えば、診断対象のＴ２強調画像のうちで、特定部２２１が特定した脳腫瘍（図２０では転移性腫瘍）について、第１判別部２０５で算出された分類確率が最高であったＴ２強調画像が表示されている。このようなＴ２強調画像は、特定部２２１が特定した脳腫瘍であることを判断し易い画像である可能性が高い。同様に、図２０に示す画面には、診断対象のＴ１ＣＥ画像のうちで、特定部２２１が特定した脳腫瘍について、第２判別部２１５で算出された分類確率が最高であったＴ１ＣＥ画像が表示されている。よって、出力部２２２は、上述したようなＴ２強調画像及びＴ１ＣＥ画像をそれぞれ選択し、この患者における脳腫瘍の種別毎に算出された分類確率と共に表示する特定結果画面を生成する。

表示部２３に表示される画面は、図２０に示す例に限定されず、例えば、この患者における脳腫瘍の種別毎の分類確率のみを表示する画面でもよい。また、例えば、特定部２２１が特定した脳腫瘍について第１判別部２０５で算出された分類確率が高いＴ２強調画像のうちで、脳腫瘍領域の大きさが最も大きいＴ２強調画像を表示してもよい。同様に、特定部２２１が特定した脳腫瘍について第２判別部２１５で算出された分類確率が高いＴ１ＣＥ強調画像のうちで、脳腫瘍領域の大きさが最も大きいＴ１ＣＥ画像を表示してもよい。また、例えば、特定部２２１が特定した脳腫瘍について、第１パッチ判別部２０４で算出された分類確率が所定値以上であったＴ２強調画像のパッチ画像を表示してもよい。同様に、特定部２２１が特定した脳腫瘍について、第２パッチ判別部２１４で算出された分類確率が所定値以上であったＴ１ＣＥ画像のパッチ画像を表示してもよい。更に、それぞれ表示されるスライス画像（Ｔ２強調画像及びＴ１ＣＥ画像）に対して、脳腫瘍領域をハイライト表示してもよい。

図２１は、実施形態３の学習装置１０による学習処理の手順を示すフローチャートである。本実施形態の学習装置１０は、第１教師データＤＢ１２ｃに記憶されているＴ２強調画像の第１教師データを用いて第１分類器１２ｂを学習させ、第２教師データＤＢ１２ｅに記憶されているＴ１ＣＥ画像の第２教師データを用いて第２分類器１２ｄを学習させる。第１分類器１２ｂの学習処理と第２分類器１２ｄの学習処理とは同じ処理であり、図２１には第１分類器１２ｂの学習処理のみを示す。

本実施形態の学習装置１０において、制御部１１は、第１教師データＤＢ１２ｃからＴ２強調画像の第１教師データを１つ取得する（Ｓ９１）。第１教師データには、脳腫瘍の種別を示す情報とＴ２強調画像（スライス画像）とが含まれる。制御部１１は、取得したＴ２強調画像から腫瘤領域（脳腫瘍領域）を抽出し（Ｓ９２）、抽出した腫瘤領域に対して、所定の画素数の画素を含むパッチ画像を抽出する（Ｓ９３）。そして、制御部１１は、１つのパッチ画像と、第１教師データに含まれる脳腫瘍の種別を示す情報とを用いて、第１分類器１２ｂを学習させる（Ｓ９４）。ここでは、制御部１１は、パッチ画像を第１分類器１２ｂの入力層のノードに入力し、出力層において、このパッチ画像の脳腫瘍の種別に応じたノードの出力値が１．０に近づき、その他のノードの出力値が０に近づくように、第１分類器１２ｂを学習させる。

制御部１１は、ステップＳ９３でＴ２強調画像から抽出した全てのパッチ画像に対して処理を終了したか否かを判断し（Ｓ９５）、終了していないと判断した場合（Ｓ９５：ＮＯ）、ステップＳ９４の処理に戻り、未処理のパッチ画像を用いて第１分類器１２ｂを学習させる（Ｓ９４）。全てのパッチ画像に対して処理を終了したと判断した場合（９５：ＹＥＳ）、制御部１１は、第１教師データＤＢ１２ｃに記憶してある全ての第１教師データに基づく処理を終了したか否かを判断する（Ｓ９６）。全ての第１教師データに基づく処理を終了していないと判断した場合（Ｓ９６：ＮＯ）、制御部１１は、ステップＳ９１の処理に戻り、未処理の第１教師データを１つ取得する（Ｓ９１）。制御部１１は、取得した第１教師データに基づいてステップＳ９２～Ｓ９５の処理を行う。全ての第１教師データに基づく処理を終了したと判断した場合（Ｓ９６：ＹＥＳ）、制御部１１は、第１分類器１２ｂの学習処理を終了する。

本実施形態の学習装置１０の制御部１１は、図２１に示す処理と同様の処理によって、第２教師データＤＢ１２ｅに記憶されているＴ１ＣＥ画像の第２教師データを用いて第２分類器１２ｄを学習させる。なお、第２分類器１２ｄの学習処理では、図２１中のステップＳ９１で、制御部１１は、第２教師データＤＢ１２ｅからＴ１ＣＥ画像の第２教師データを取得する。またステップＳ９４で、制御部１１は、Ｔ１ＣＥ画像から抽出されたパッチ画像と、第２教師データに含まれる脳腫瘍の種別を示す情報とを用いて第２分類器１２ｄを学習させる。上述した処理により、Ｔ２強調画像に基づいて患者の脳腫瘍の種別を判別する第１分類器１２ｂと、Ｔ１ＣＥ画像に基づいて患者の脳腫瘍の種別を判別する第２分類器１２ｄとを学習させることができる。よって、学習済みの第１分類器１２ｂ及び第２分類器１２ｄが得られる。

図２２及び図２３は、実施形態３の特定装置２０による特定処理の手順を示すフローチャートである。特定装置２０の記憶部２２には、学習装置１０によって学習済みの第１分類器２２ｂ及び第２分類器２２ｃが記憶されている。また、記憶部２２には、診断対象の患者の脳のＴ２強調画像及びＴ１ＣＥ画像がそれぞれ複数枚ずつ記憶されている。図２２に示す処理では、特定装置２０の制御部２１は、ステップＳ５１～Ｓ５９の処理とステップＳ６１～Ｓ６９の処理とを並列に実行するが、一方の処理を実行した後に他方の処理を実行してもよい。

本実施形態において、特定装置２０の制御部２１は、診断対象の患者のＴ２強調画像のうちの１つを取得する（Ｓ５１）。制御部２１は、取得したＴ２強調画像から脳腫瘍領域を抽出し（Ｓ５２）、抽出した脳腫瘍領域から複数のパッチ画像を抽出する（Ｓ５３）。そして、制御部２１は、１つのパッチ画像に対する脳腫瘍の種別を第１分類器２２ｂにて判別し（Ｓ５４）、判別結果を記憶部２２に記憶する（Ｓ５５）。判別結果とは、第１分類器２２ｂから出力される脳腫瘍の種別毎の分類確率である。制御部２１は、ステップＳ５３でＴ２強調画像から抽出した全てのパッチ画像に対して処理を終了したか否かを判断し（Ｓ５６）、終了していないと判断した場合（Ｓ５６：ＮＯ）、ステップＳ５４の処理に戻り、未処理のパッチ画像に対してステップＳ５４～Ｓ５５の処理を行う。

全てのパッチ画像に対して処理を終了したと判断した場合（Ｓ５６：ＹＥＳ）、制御部２１は、記憶部２２に記憶した各パッチ画像に対する脳腫瘍の種別毎の分類確率に基づいて、ステップＳ５１で取得したＴ２強調画像（スライス画像）に対する脳腫瘍の種別毎の分類確率を算出する（Ｓ５７）。例えば制御部２１は、脳腫瘍の種別毎に、各パッチ画像に基づく分類確率の平均値を算出し、スライス画像（Ｔ２強調画像）に対する分類確率とする。制御部２１は、１つのＴ２強調画像に対して算出した脳腫瘍の種別毎の分類確率を記憶部２２に記憶しておく。

制御部２１は、全てのＴ２強調画像に対して処理を終了したか否かを判断する（Ｓ５８）。全てのＴ２強調画像に対して処理を終了していないと判断した場合（Ｓ５８：ＮＯ）、制御部２１は、ステップＳ５１の処理に戻り、未処理のＴ２強調画像を１つ取得する（Ｓ５１）。制御部２１は、取得したＴ２強調画像に対してステップＳ５２～Ｓ５７の処理を行う。全てのＴ２強調画像に対して処理を終了したと判断した場合（Ｓ５８：ＹＥＳ）、制御部２１は、それぞれのＴ２強調画像に対する脳腫瘍の種別毎の分類確率に基づいて、この患者に対する脳腫瘍の種別毎の分類確率を算出する（Ｓ５９）。ここでは、制御部２１は、脳腫瘍の種別毎に、それぞれのＴ２強調画像に基づく分類確率から、それぞれのＴ２強調画像中の脳腫瘍領域の大きさに応じた重み係数を用いた加重平均値を算出し、患者に対する分類確率とする。

一方、制御部２１は、患者のＴ１ＣＥ画像のうちの１つを取得し（Ｓ６１）、取得したＴ１ＣＥ画像から脳腫瘍領域を抽出し（Ｓ６２）、抽出した脳腫瘍領域から複数のパッチ画像を抽出する（Ｓ６３）。そして、制御部２１は、１つのパッチ画像に対する脳腫瘍の種別を第２分類器２２ｃにて判別し（Ｓ６４）、判別結果を記憶部２２に記憶する（Ｓ６５）。制御部２１は、全てのパッチ画像に対して処理を終了したか否かを判断し（Ｓ６６）、終了していないと判断した場合（Ｓ６６：ＮＯ）、ステップＳ６４の処理に戻り、未処理のパッチ画像に対してステップＳ６４～Ｓ６５の処理を行う。

全てのパッチ画像に対して処理を終了したと判断した場合（Ｓ６６：ＹＥＳ）、制御部２１は、記憶部２２に記憶した各パッチ画像に対する脳腫瘍の種別毎の分類確率に基づいて、ステップＳ６１で取得したＴ１ＣＥ画像（スライス画像）に対する脳腫瘍の種別毎の分類確率を算出する（Ｓ６７）。制御部２１は、全てのＴ１ＣＥ画像に対して処理を終了したか否かを判断する（Ｓ６８）。全てのＴ１ＣＥ画像に対して処理を終了していないと判断した場合（Ｓ６８：ＮＯ）、制御部２１は、ステップＳ６１の処理に戻り、未処理のＴ１ＣＥ画像を１つ取得する（Ｓ６１）。制御部２１は、取得したＴ１ＣＥ画像に対して、ステップＳ６２～Ｓ６７の処理を行う。全てのＴ１ＣＥ画像に対して処理を終了したと判断した場合（Ｓ６８：ＹＥＳ）、制御部２１は、各Ｔ１ＣＥ画像に対する脳腫瘍の種別毎の分類確率に基づいて、この患者に対する脳腫瘍の種別毎の分類確率を算出する（Ｓ６９）。

制御部２１は、ステップＳ５９でＴ２強調画像に基づいて算出した脳腫瘍の種別毎の分類確率と、ステップＳ６９でＴ１ＣＥ画像に基づいて算出した脳腫瘍の種別毎の分類確率とを統合して、この患者に対する脳腫瘍の種別毎の分類確率を算出する（Ｓ７１）。制御部２１は、算出した患者に対する脳腫瘍の種別毎の分類確率を判別結果として表示するための表示情報を生成する（Ｓ７２）。そして、制御部２１は、生成した表示情報に基づいて、特定装置２０による判別結果を表示部２３に表示する（Ｓ７３）。これにより、例えば図２０に示すような画面が表示部２３に表示され、特定装置２０による判別結果が通知される。

本実施形態では、実施形態１と同様の効果が得られる。即ち、本実施形態では、患者のＴ２強調画像及びＴ１ＣＥ画像に基づいて、少なくとも５種別に分類される脳腫瘍のそれぞれについて、この患者の脳腫瘍である可能性を通知できる。よって、医師は、Ｔ２強調画像及びＴ１ＣＥ画像に基づいてどういった脳腫瘍であるかを診断する際に考慮でき、医師による診断を支援できる。医師が全ての医用画像を目視で確認することは困難であるが、特定装置２０は全ての医用画像を用いて判別を行うので、医用画像を有効に利用できる。また、特定装置２０による判別結果として、患者の脳腫瘍である可能性が高い脳腫瘍であることを判断し易いスライス画像（Ｔ２強調画像又はＴ１ＣＥ画像）を通知することができる。よって、通知されたスライス画像に基づいて診断を行うことができた場合、医師は全ての画像を確認する必要がなく、医師による診断の負担を軽減できる。

本実施形態の特定装置２０は、第１分類器２２ｂを用いたＴ２強調画像に基づく判別結果と、第２分類器２２ｃを用いたＴ１ＣＥ画像に基づく判別結果とを統合して、患者の脳腫瘍の種別を判別する。これにより、判別精度が向上する。出願人は、特定装置２０による判別処理の精度を評価するための評価実験を行った。図２４はテストデータの構成を示す図表、図２５は特定装置２０による判別精度を示す図表である。評価実験では、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍及び神経鞘腫のそれぞれの脳腫瘍に対して、図２４に示すスライス画像数のＴ２強調画像及びＴ１ＣＥ画像（スライス画像）をそれぞれテストデータとして用いた。また、テストデータのＴ２強調画像及びＴ１ＣＥ画像のそれぞれから、図２４に示すパッチ画像数のパッチ画像が抽出されて判別処理に用いられた。

特定装置２０は、図２４に示すようなテストデータを用いて判別処理を行い、図２５に示すような結果が得られた。感度は、それぞれの患者のＴ２強調画像及びＴ１ＣＥ画像（テストデータ）に基づいて、正解の脳腫瘍に対して正解の脳腫瘍であると判別できた割合（正解の脳腫瘍に対して最高の分類確率を出力できた割合）を示す。特異度は、それぞれの患者のＴ２強調画像及びＴ１ＣＥ画像に基づいて、不正解の脳腫瘍に対して不正解の脳腫瘍であると判別できた割合（不正解の脳腫瘍に対して低い分類確率を出力できた割合）を示す。分類精度は、各テストデータの患者に対して、Ｔ２強調画像に基づいて正解の脳腫瘍であると判別できた割合、Ｔ１ＣＥ画像に基づいて正解の脳腫瘍であると判別できた割合、第１分類器２２ｂ及び第２分類器２２ｃによる判別結果を統合した分類確率に基づいて正解の脳腫瘍であると判別できた割合をそれぞれ示す。図２５に示す結果では、Ｔ２強調画像に基づいて正解の脳腫瘍を判別できた割合及びＴ１ＣＥ画像に基づいて正解の脳腫瘍を判別できた割合と比較して、第１分類器２２ｂ及び第２分類器２２ｃによる判別結果を統合して最終的に正解の脳腫瘍を判別できた割合が高い値となっている。よって、異なる医用画像に対して、それぞれの医用画像用の分類器を用いた判別処理を行い、それぞれの判別結果を統合して最終的な判別を行うことによって、判別精度を向上させることができる。

本実施形態では、複数のスライス画像（Ｔ２強調画像／Ｔ１ＣＥ画像）のそれぞれに基づいて算出した脳腫瘍の種別毎の分類確率に対して、それぞれの画像中の脳腫瘍領域の大きさに応じた重み付けを行って、患者に対する脳腫瘍の種別毎の分類確率を算出した。画像中の脳腫瘍領域が大きいほど、このスライス画像から算出した脳腫瘍の種別毎の分類確率の信頼性が高いと考えられる。よって、画像中の脳腫瘍領域が大きいほど大きい重み係数とすることにより、算出される患者における脳腫瘍の種別毎の分類確率の信頼性を向上させることができる。

本実施形態においても、診断に用いる医用画像はＴ２強調画像及びＴ１ＣＥ画像に限定されない。また、分類器２２ｂ，２２ｃによる判別対象の脳腫瘍は、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫の５種別に限定されない。これら以外の脳腫瘍についても分類器２２ｂ，２２ｃに学習させることによって判別可能となる。また、脳腫瘍以外の疾病についても、それぞれの教師データを用いて分類器に学習させることによって判別可能となる。また、本実施形態においても、学習装置１０は、教師データのＴ２強調画像及びＴ１ＣＥ画像をそのまま用いて分類器１２ｂ，１２ｄを学習させてもよく、特定装置２０は、診断対象の患者のＴ２強調画像及びＴ１ＣＥ画像をそのまま用いて分類器２２ｂ，２２ｃによる判別処理を行ってもよい。また、本実施形態の診断支援システムを、３種別以上の画像を用いて患者の脳腫瘍の種別を判別するように構成してもよい。

（実施形態４）
乳房腫瘤の疑いがある患者の乳房をマンモグラフィで撮影した医用画像（マンモグラフィ画像）に基づいて腫瘤であるか否かを判別する診断支援システムについて説明する。本実施形態の診断支援システムの各装置は、実施形態１の各装置と同じ構成を有するので、構成については説明を省略する。本実施形態では、１人の同一患者の左右の乳房をそれぞれ撮影した２枚のマンモグラフィ画像（以下、左乳房画像及び右乳房画像という）と、２枚のマンモグラフィ画像の差分画像との２種類の画像を用いて、撮影対象の状態が腫瘤であるか否かを判別する。

図２６はマンモグラフィ画像の例を示す模式図、図２７は差分画像の例を示す模式図である。図２６は１人の患者の左乳房画像及び右乳房画像を示し、図２６の左側に右乳房画像を、右側に左乳房画像をそれぞれ示す。本実施形態では、教師データを生成する際に、左右乳房のいずれかに腫瘤を有する患者の乳房画像において、腫瘤がある乳房画像（左乳房画像又は右乳房画像）から腫瘤領域を含む腫瘤画像Ｔ１を抽出し、腫瘤がない乳房画像（右乳房画像又は左乳房画像）から、腫瘤画像Ｔ１に対応する対応画像Ｔ２を抽出する。腫瘤画像Ｔ１と対応画像Ｔ２とは、患者の身体の上下方向の中心軸に対して左右対称の領域の画像である。また、本実施形態では、腫瘤がある乳房画像中の正常領域を含む正常画像Ｎ１を抽出し、腫瘤がない乳房画像から、正常画像Ｎ１に対応する対応画像Ｎ２を抽出する。正常画像Ｎ１及び対応画像Ｎ２も患者の身体において左右対称の領域の画像である。図２６に示す例では、右乳房に腫瘤があるので、右乳房画像から腫瘤画像Ｔ１と正常画像Ｎ１とを抽出し、左乳房画像から対応画像Ｔ２，Ｎ２を抽出する。腫瘤画像Ｔ１、正常画像Ｎ１及び対応画像Ｔ２，Ｎ２のサイズは例えば１２８画素×１２８画素とすることができるが、これに限定されない。

本実施形態では、抽出した腫瘤画像Ｔ１及び対応画像Ｔ２の差分画像Ｔ３を生成し、抽出した正常画像Ｎ１及び対応画像Ｎ２の差分画像Ｎ３を生成する。例えば、腫瘤画像Ｔ１及び正常画像Ｎ１中の各画素値から対応画像Ｔ２，Ｎ２中の各画素値を引いた各値の絶対値を差分画像Ｔ３，Ｎ３の各画素値とする。図２７Ａは腫瘤画像Ｔ１、対応画像Ｔ２、腫瘤画像Ｔ１及び対応画像Ｔ２の差分画像Ｔ３の例を示し、図２７Ｂは正常画像Ｎ１、対応画像Ｎ２、正常画像Ｎ１及び対応画像Ｎ２の差分画像Ｎ３の例を示す。
第１教師データＤＢ１２ｃには、腫瘤領域の画像として、図２７Ａの左側に示すような腫瘤画像Ｔ１（マンモグラフィ画像）が多数蓄積されており、正常領域の画像として、図２７Ｂの左側に示すような正常画像Ｎ１（マンモグラフィ画像）が多数蓄積されている。第１教師データＤＢ１２ｃにおいて、１つのマンモグラフィ画像と、この画像に対応付けられた腫瘤又は正常を示す情報とのセットを第１教師データという。第２教師データＤＢ１２ｅには、腫瘤領域の画像として、図２７Ａの右側に示すような差分画像Ｔ３が多数蓄積されており、正常領域の画像として、図２７Ｂの右側に示すような差分画像Ｎ３が多数蓄積されている。第２教師データＤＢ１２ｅにおいて、１つの差分画像と、この差分画像に対応付けられた腫瘤又は正常を示す情報とのセットを第２教師データという。学習装置１０は、マンモグラフィ画像による第１教師データに基づいて第１分類器１２ｂを学習させ、マンモグラフィ画像から生成された差分画像による第２教師データに基づいて第２分類器１２ｄを学習させる。

本実施形態の診断支援システムでは、判別対象の状態として、撮影対象である病変が腫瘤であるか正常であるか（腫瘤でないか）を判別する。よって、第１分類器１２ｂ，２２ｂは、患者のマンモグラフィ画像に基づいて、撮影対象の病変が腫瘤であるか正常であるかを判別する分類器である。第２分類器１２ｄ，２２ｃは、患者の差分画像に基づいて、撮影対象の病変が腫瘤であるか正常であるかを判別する分類器である。

本実施形態の学習装置１０では、制御部１１は学習プログラム１２ａを実行することによって図５に示した各機能を実現する。なお、本実施形態において、第１教師データ取得部１０１は、第１教師データＤＢ１２ｃからマンモグラフィ画像による第１教師データを取得し、第１学習部１０４は、第１教師データに含まれる腫瘤又は正常を示す情報とマンモグラフィ画像とに基づいて第１分類器１２ｂを学習させる。また、第２教師データ取得部１１１は、第２教師データＤＢ１２ｅから差分画像による第２教師データを取得し、第２学習部１１４は、第２教師データに含まれる腫瘤又は正常を示す情報と差分画像とに基づいて第２分類器１２ｄを学習させる。

本実施形態の特定装置２０では、制御部２１は特定プログラム２２ａを実行することによって図８に示した各機能を実現する。なお、本実施形態において、第１画像取得部２０１は、診断対象の患者のマンモグラフィ画像を取得し、第１腫瘤領域抽出部２０２は、マンモグラフィ画像から腫瘤領域を抽出する。第１判別部２０５は、マンモグラフィ画像から抽出された腫瘤領域に対して第１分類器２２ｂが出力した腫瘤又は正常に対する分類確率を取得する。また、第２画像取得部２１１は、診断対象の患者の差分画像を取得し、第２腫瘤領域抽出部２１２は、差分画像から腫瘤領域を抽出する。第２判別部２１５は、差分画像から抽出された腫瘤領域に対して第２分類器２２ｃが出力した腫瘤又は正常に対する分類確率を取得する。その他の機能は実施形態１と同様であるので説明を省略する。

本実施形態において、学習装置１０は、図１０に示した処理と同様の処理を行う。なお、本実施形態では、図１０中のステップＳ１１で、制御部１１は、第１教師データＤＢ１２ｃからマンモグラフィ画像による第１教師データを取得し、ステップＳ１２で、第１教師データに含まれる腫瘤又は正常を示す情報とマンモグラフィ画像とを用いて、第１分類器１２ｂを学習させる。その他の処理は実施形態１と同様であるので説明を省略する。また、本実施形態の学習装置１０の制御部１１は、図１０に示す処理と同様の処理によって、第２教師データＤＢ１２ｅに記憶されている差分画像の第２教師データを用いて第２分類器１２ｄを学習させる。これにより、学習済みの第１分類器１２ｂ及び第２分類器１２ｄが得られる。

本実施形態において、特定装置２０は、図１１に示した処理と同様の処理を行う。なお、本実施形態では、図１１中のステップＳ２１で、制御部２１は、診断対象の患者のマンモグラフィ画像を取得し、ステップＳ２２で、取得したマンモグラフィ画像から腫瘤領域を抽出する。またステップＳ２３で、制御部２１は、マンモグラフィ画像から抽出した腫瘤領域に対して、病変の状態が腫瘤であるか正常であるかを第１分類器２２ｂにて判別する。また、制御部２１は、ステップＳ３１で診断対象の患者の差分画像を取得し、ステップＳ３２で、取得した差分画像から腫瘤領域を抽出する。またステップＳ３３で、制御部２１は、差分画像から抽出した腫瘤領域に対して、病変の状態が腫瘤であるか正常であるかを第２分類器２２ｃにて判別する。その他の処理は実施形態１と同様であるので説明を省略する。

本実施形態では、上述した実施形態１と同様の効果が得られる。よって、患者の病変の状態が乳癌腫瘤である可能性及び正常である可能性を通知できるので、医師は、マンモグラフィ画像に基づいて病変の状態を診断する際に考慮でき、医師による診断を支援できる。また、第１分類器２２ｂを用いたマンモグラフィ画像に基づく判別結果と、第２分類器２２ｃを用いた差分画像に基づく判別結果とを統合して、患者の病変が腫瘤であるか否かを判別するので、判別精度が向上する。

（実施形態５）
実施形態１における特定装置２０の変形例について説明する。本実施形態の診断支援システムの各装置は、実施形態１の各装置と同じ構成を有するので、構成については説明を省略する。図２８は、実施形態５の特定装置２０の制御部２１によって実現される機能を示すブロック図である。本実施形態の特定装置２０の制御部２１は、特定プログラム２２ａを実行した場合、図８に示す各機能のほかに、第１腫瘤検出部２０６及び第２腫瘤検出部２１６の各機能を実現する。図２８では、第１画像取得部２０１、第１腫瘤領域抽出部２０２、第２画像取得部２１１、第２腫瘤領域抽出部２１２、第１腫瘤検出部２０６及び第２腫瘤検出部２１６以外の機能の図示を省略する。

本実施形態の特定装置２０において、第１腫瘤検出部２０６は、第１画像取得部２０１が取得したガボール画像に対して、腫瘤の疑いがある腫瘤領域の有無を検出する。なお、腫瘤領域とは、第１分類器２２ｂによって腫瘤か否かの判別が可能な腫瘤の領域である。第１腫瘤検出部２０６は、例えばディープラーニングによる学習済みの認識モデルを用いて、第１画像取得部２０１が取得したガボール画像中の腫瘤領域を検出する。よって、本実施形態の第１腫瘤領域抽出部２０２は、第１画像取得部２０１が取得したガボール画像から、第１腫瘤検出部２０６が検出した腫瘤領域を抽出する。同様に、第２腫瘤検出部２１６は、第２画像取得部２１１が取得したアイリス画像に対して腫瘤領域の有無を検出する。よって、本実施形態の第２腫瘤領域抽出部２１２は、第２画像取得部２１１が取得したアイリス画像から、第２腫瘤検出部２１６が検出した腫瘤領域を抽出する。

図２９は、実施形態５の特定装置２０による特定処理の手順の一部を示すフローチャートである。図２９に示す処理は、図１１に示した実施形態１の処理において、ステップＳ２１，Ｓ２２の処理の間にステップＳ８１，Ｓ８２の処理を追加し、ステップＳ３１，Ｓ３２の処理の間にステップＳ８３，Ｓ８４の処理を追加したものである。図２９では、図１１中のステップＳ２１，Ｓ２２，Ｓ３１，Ｓ３２以外のステップの図示を省略する。

本実施形態の特定装置２０では、制御部２１は、診断対象の患者のガボール画像を取得し（Ｓ２１）、取得したガボール画像に対して、乳房腫瘤の領域を検出する検出処理を実行する（Ｓ８１）。制御部２１は、検出処理によって腫瘤領域を検出できたか否かを判断し（Ｓ８２）、検出できたと判断した場合（Ｓ８２：ＹＥＳ）、取得したガボール画像から、ステップＳ８１で検出した腫瘤領域を抽出し（Ｓ２２）、ステップＳ２３以降の処理を行う。ガボール画像中に腫瘤領域を検出できないと判断した場合（Ｓ８２：ＮＯ）、制御部２１は、このガボール画像に対する以降の処理を終了する。また、制御部２１は、診断対象の患者のアイリス画像を取得し（Ｓ３１）、取得したアイリス画像に対して、乳房腫瘤の領域を検出する検出処理を実行する（Ｓ８３）。制御部２１は、検出処理によって腫瘤領域を検出できたか否かを判断し（Ｓ８４）、検出できたと判断した場合（Ｓ８４：ＹＥＳ）、取得したアイリス画像から、ステップＳ８３で検出した腫瘤領域を抽出し（Ｓ３２）、ステップＳ３３以降の処理を行う。アイリス画像中に腫瘤領域を検出できないと判断した場合（Ｓ８４：ＮＯ）、制御部２１は、このアイリス画像に対する以降の処理を終了する。

本実施形態では、上述した実施形態１と同様の効果が得られる。また本実施形態では、診断対象の医用画像（ガボール画像及びアイリス画像）中に腫瘤領域が有るか否かを判断し、有る場合に、この腫瘤領域（医用画像）に基づく判別処理を行う。よって、例えば健康診断や脳ドック等で多数の患者から撮影された膨大な医用画像を医師が確認する前に、特定装置２０による判別処理によって、何らかの腫瘤を有する可能性のある患者を抽出することができる。よって、医師は、何らかの腫瘤を有する可能性が高い患者の医用画像を優先的に確認することができ、医師による診断の負担を軽減できると共に、診断漏れを抑制できる。本実施形態の構成は実施形態２～４にも適用可能であり、実施形態２～４に適用した場合であっても同様の効果が得られる。

上述した実施形態１～５では、撮像装置を用いて患者を撮影した医用画像に基づいて、患者の病変の状態を特定するシステムについて説明したが、本開示は、その他のシステムにも適用できる。例えば、建物の外壁の状態を検出（特定）するシステムに適用できる。この場合、建物の外壁を撮影して複数種類の画像を取得し、それぞれの画像に応じた学習モデルを用いて、それぞれの画像について撮影対象の状態を判別し、判別結果を統合して外壁の状態を特定することによって外壁の状態を精度良く検出できる。

今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１０ 学習装置（情報処理装置）
２０ 特定装置
２１ 制御部
２２ 記憶部
１０１ 第１教師データ取得部（教師データ取得部）
１０３ 第１パッチ画像抽出部（抽出部）
１０４ 第１学習部（学習部）
１１１ 第２教師データ取得部（教師データ取得部）
１１３ 第２パッチ画像抽出部（抽出部）
１１４ 第２学習部（学習部）
２０１ 第１画像取得部（画像取得部）
２０２ 第１腫瘤領域抽出部
２０３ 第１パッチ画像抽出部（抽出部）
２０４ 第１パッチ判別部（ブロック判別部）
２０５ 第１判別部（判別部）
２１１ 第２画像取得部（画像取得部）
２１２ 第２腫瘤領域抽出部
２１３ 第２パッチ画像抽出部（抽出部）
２１４ 第２パッチ判別部（ブロック判別部）
２１５ 第２判別部（判別部）
２２１ 特定部
２２２ 出力部
１２ｂ，２２ｂ 第１分類器（学習モデル）
１２ｄ，２２ｃ 第２分類器（学習モデル）

Claims (10)

1. 撮影対象の状態を特定する特定装置であって、
   撮影対象に対して異なる方法によって画像化された複数種類の画像をそれぞれ取得する複数の画像取得部と、
   前記画像の種類毎に設けられ、前記画像及び該画像における撮影対象の状態を含む教師データに基づいて学習した学習モデルを用いて、前記画像取得部のそれぞれが取得した前記画像における撮影対象の状態をそれぞれ判別する複数の判別部と、
   前記判別部のそれぞれによる判別結果に基づいて、前記撮影対象の状態を特定する特定部と、
   前記画像取得部のそれぞれが取得した前記画像から、所定の画素数で構成される画素ブロックを複数抽出する複数の抽出部と、
   前記複数の抽出部のそれぞれが抽出した画素ブロックにおける撮影対象の状態を、前記画像の種類毎に設けられた前記学習モデルを用いて判別する複数のブロック判別部と
   を備え、
   前記判別部のそれぞれは、前記ブロック判別部のそれぞれによる各画素ブロックに対する判別結果に基づいて、前記画素ブロックを抽出した前記画像における撮影対象の状態を判別する特定装置。
2. 前記判別部のそれぞれは、前記画像取得部が取得した前記画像に対して、前記状態毎に前記状態である可能性を示す確率を算出し、
   前記判別部のそれぞれが前記状態毎に算出した前記確率に基づいて、前記状態毎の判別確率を算出する算出部を更に備え、
   前記特定部は、前記算出部が算出した前記状態毎の前記判別確率に基づいて、前記撮影対象の状態を特定する
   請求項１に記載の特定装置。
3. 前記算出部は、前記判別部のそれぞれが前記状態毎に算出した前記確率の平均値を、前記状態毎の判別確率として算出する
   請求項２に記載の特定装置。
4. 前記ブロック判別部のそれぞれは、前記抽出部が抽出した前記画素ブロックに対して、前記状態毎に前記状態である可能性を示す確率を算出し、
   前記ブロック判別部のそれぞれが前記状態毎に算出した前記確率の平均値をそれぞれ算出する複数の平均算出部を更に備え、
   前記判別部のそれぞれは、前記平均算出部のそれぞれが算出した前記平均値に基づいて、前記画素ブロックを抽出した前記画像における撮影対象の状態を判別する
   請求項１から３までのいずれかひとつに記載の特定装置。
5. 前記特定部が特定した状態であると前記判別部のそれぞれが判別した前記画像のうちで、前記特定部が特定した状態である可能性を示す確率が高い画像を出力する出力部
   を更に備える請求項１から４までのいずれかひとつに記載の特定装置。
6. 前記複数種類の画像は、前記撮影対象の同一部分に対して異なる方法によって画像化した画像である
   請求項１から５までのいずれかひとつに記載の特定装置。
7. コンピュータに、撮影対象の状態を特定する処理を実行させるプログラムであって、
   前記コンピュータに、
   撮影対象に対して異なる方法によって画像化された複数種類の画像をそれぞれ取得し、
   前記画像の種類毎に、前記画像及び該画像における撮影対象の状態を含む教師データに基づいて学習した学習モデルを用いて、取得した前記画像における撮影対象の状態を判別し、
   前記画像の種類毎に判別した判別結果に基づいて、前記撮影対象の状態を特定する
   処理であって、
   取得した前記複数種類の画像のそれぞれから、所定の画素数で構成される画素ブロックを複数抽出し、
   抽出した各画素ブロックにおける撮影対象の状態を、前記画像の種類毎に設けられた前記学習モデルを用いて判別し、
   各画素ブロックに対する判別結果に基づいて、前記画素ブロックを抽出した前記画像における撮影対象の状態を判別する
   処理を実行させるプログラム。
8. 撮影対象の状態を特定する特定装置による特定方法であって、
   前記特定装置が、
   撮影対象に対して異なる方法によって画像化された複数種類の画像をそれぞれ取得し、
   前記画像の種類毎に、前記画像及び該画像における撮影対象の状態を含む教師データに基づいて学習した学習モデルを用いて、取得した前記画像における撮影対象の状態を判別し、
   前記画像の種類毎に判別した判別結果に基づいて、前記撮影対象の状態を特定する
   処理であって、
   取得した前記複数種類の画像のそれぞれから、所定の画素数で構成される画素ブロックを複数抽出し、
   抽出した各画素ブロックにおける撮影対象の状態を、前記画像の種類毎に設けられた前記学習モデルを用いて判別し、
   各画素ブロックに対する判別結果に基づいて、前記画素ブロックを抽出した前記画像における撮影対象の状態を判別する
   処理を実行する特定方法。
9. 撮影対象に対して異なる方法によって画像化された複数種類の画像及び該画像における前記撮影対象の状態を含む教師データを、前記画像の種類毎に取得する教師データ取得部と、
   前記画像の種類毎に、前記画像における撮影対象の状態を判別する学習モデルを、前記教師データ取得部が取得した前記教師データに基づいて学習させる学習部と、
   前記画像の種類毎に、前記教師データ取得部が取得した前記画像から、所定の画素数で構成される画素ブロックを複数抽出する抽出部と
   を備え、
   前記学習部は、前記抽出部が抽出した前記画素ブロックと、前記画素ブロックを抽出した前記画像における前記撮影対象の状態とに基づいて、前記学習モデルを学習させる情報処理装置。
10. 撮影対象の状態を特定する特定器であって、
    前記撮影対象に対して異なる方法によって画像化された複数種類の画像のそれぞれから抽出された所定の画素数で構成される画素ブロック及び該画素ブロックを抽出した前記画像における前記撮影対象の状態を含む教師データに基づいて学習し、それぞれの種類の前記画像から抽出された前記画素ブロックにおける撮影対象の状態を判別する学習モデルを、前記画像の種類毎に備える特定器。

Images