以下に、本開示の医用画像診断支援装置、プログラム及び医用画像診断支援方法について、脳腫瘍の患者の脳を撮影した医用画像に基づいて脳腫瘍の種類を判別する診断処理を支援する診断支援システムに適用した実施形態を示す図面に基づいて詳述する。なお、本開示は、脳腫瘍以外の病変を撮影した医用画像に基づいて病変の種類を判別する診断処理を支援するシステムにも適用できる。
(実施形態1)
図1は診断支援システムの構成例を示す模式図である。本実施形態では、CTやMRI等の画像撮像装置を用いて脳腫瘍の患者の脳を撮影し、得られた医用画像に基づいて、この患者の脳腫瘍の種類を判別するシステムについて説明する。本実施形態の診断支援システムは、学習装置10と、医療機関に設置された特定装置20とを含み、学習装置10及び特定装置20は、インターネット等のネットワークNに接続可能である。なお、学習装置10は、医用画像に基づいて脳腫瘍の種類を判別する分類器(学習モデル)を、後述する教師データを用いて学習させる装置であり、特定装置20は、学習装置10にて学習済みの分類器を用いて、患者の医用画像に基づいて脳腫瘍の種類を判別(特定)する装置である。特定装置20は学習装置10から学習済みの分類器を取得する場合、例えばネットワークN経由、又は、USB(Universal Serial Bus)メモリ、CD-R(compact disc recordable )等の可搬型記憶媒体を用いて取得する。
図2は、学習装置10の構成例を示すブロック図である。学習装置10は、パーソナルコンピュータ、サーバコンピュータ等である。学習装置10は、制御部11、記憶部12、表示部13、入力部14、通信部15等を含み、これらの各部はバスを介して相互に接続されている。制御部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)又はGPU(Graphics Processing Unit)等の1又は複数のプロセッサを含む。制御部11は、記憶部12に記憶してある制御プログラムを適宜実行することにより、学習装置10が行うべき種々の情報処理、制御処理等を行う。
記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク、SSD(Solid State Drive)等を含む。記憶部12は、制御部11が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部12は、制御部11が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。記憶部12に記憶される制御プログラムには、分類器12bの学習処理を実行するための学習プログラム12aが含まれる。また記憶部12は、例えば機械学習処理によって構築されたCNN(Convolution Neural Network)モデルである分類器12bを記憶している。記憶部12に記憶されるデータには、分類器12bを学習させるための教師データが蓄積された教師データDB12cが含まれる。
記憶部12に記憶される制御プログラム及びデータは、例えば通信部15を介してネットワークN経由で外部装置から取得されて記憶部12に記憶される。また、学習装置10が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、記憶部12に記憶される制御プログラム及びデータは、可搬型記憶媒体から読み出されて記憶部12に記憶されてもよい。また、教師データDB12cは、学習装置10に接続された外部の記憶装置に記憶されてもよく、ネットワークNを介して学習装置10と通信可能な記憶装置に記憶されてもよい。
表示部13は、例えば液晶ディスプレイ、有機ELディスプレイ等であり、制御部11からの指示に従って各種の情報を表示する。入力部14は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部11へ送出する。表示部13及び入力部14は一体として構成されたタッチパネルであってもよい。通信部15は、有線通信又は無線通信によってネットワークNに接続するためのインタフェースであり、ネットワークNを介して外部装置との間で情報の送受信を行う。
以下に、本実施形態の診断支援システムで用いる医用画像について説明する。MRIは、撮影時のパラメータを異ならせることによって異なる種類のMRI画像を得ることができる。本実施形態の診断支援システムでは、造影剤を用いずに水、脂肪及び腫瘍が白く写る方法(第1方法)で撮影して得られたT2強調画像を用いて、撮影対象の脳腫瘍の種類を判別する。なお、T2強調画像のほかに、例えば、造影剤を用いて脂肪及び造影剤が白く写り、水及び腫瘍が黒く写る方法(第2方法)で撮影して得られたT1CE画像等、他の種類の医用画像を用いてもよい。MRIは、患者の頭(撮影対象の脳)を例えば上下方向に走査しつつ前後左右方向の平面で切った断面画像(スライス画像)を取得する装置であり、1人の患者の脳に対して、T2強調画像であれば例えば20枚程度撮影する。MRIによる撮影枚数はこれに限定されない。
図3はT2強調画像の例を示す模式図である。T2強調画像のサイズは例えば512画素×512画素とすることができるが、これに限定されない。T2強調画像は病変(腫瘍)の領域を認識し易い画像である。図3には、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫の5種類の脳腫瘍のT2強調画像の例を示す。本実施形態の診断支援システムでは、判別対象の脳腫瘍の種類として、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫の5種類のいずれであるかを判別する。よって、分類器12bは、患者のT2強調画像に基づいて、このT2強調画像に対する脳腫瘍の種類を判別する分類器である。
教師データDB12cには、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫のそれぞれに対応付けて、図3に示すようなT2強調画像が多数蓄積されている。教師データDB12cにおいて、1つのT2強調画像(スライス画像)と、このT2強調画像に対応付けられた脳腫瘍の種類(膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍及び神経鞘腫のいずれか)を示す情報とのセットを教師データという。学習装置10は、図3に示すようなT2強調画像による教師データに基づいて分類器12bを学習させる。
次に、学習装置10において制御部11が学習プログラム12aを実行することによって実現される機能について説明する。図4は、学習装置10の制御部11によって実現される機能を示すブロック図、図5及び図6は、学習装置10が行う学習処理の説明図である。学習装置10の制御部11は、記憶部12に記憶してある学習プログラム12aを実行した場合、教師データ取得部101、腫瘍領域抽出部102、パッチ画像抽出部103、学習部104の各機能を実現する。なお、本実施形態では、これらの各機能を制御部11が学習プログラム12aを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。
教師データ取得部101は、教師データDB12cに記憶されている教師データを順次取得する。教師データには、脳腫瘍の種類を示す情報とT2強調画像(スライス画像)とが含まれる。腫瘍領域抽出部102は、教師データ取得部101が取得したT2強調画像から脳腫瘍領域を抽出する。教師データDB12cに記憶されるT2強調画像は脳全体の画像であり、腫瘍領域抽出部102は、例えば入力部14を介したユーザの入力操作による指定に基づいて脳腫瘍領域を抽出する。また、腫瘍領域抽出部102は、例えばディープラーニングによる学習済みの認識モデルを用いて、教師データ取得部101が取得したT2強調画像中の脳腫瘍領域を認識して抽出してもよい。これにより、腫瘍領域抽出部102は、教師データ取得部101が教師データDB12cから取得した脳腫瘍の種類を示す情報と、T2強調画像から抽出した脳腫瘍領域(病変画像)とを含む教師データを取得する。図5Aに示す例では、破線の閉曲線で囲まれた領域Rが脳腫瘍領域として抽出されている。
パッチ画像抽出部103は、腫瘍領域抽出部102が抽出した脳腫瘍領域に対して、所定の画素数の画素を含む矩形のパッチ画像(画素ブロック)を複数抽出する。パッチ画像のサイズは例えば128画素×128画素とすることができるが、これに限定されない。パッチ画像抽出部103は、腫瘍領域抽出部102が抽出した脳腫瘍領域内の所定間隔を隔てた各位置をそれぞれ中央位置とするパッチ画像を、1枚のT2強調画像(脳腫瘍領域)から例えば100~200枚程度抽出する。図5Bに示す例では、それぞれの矩形で囲まれた領域Pがパッチ画像として抽出されている。
学習部104は、教師データ取得部101が教師データDB12cから取得した脳腫瘍の種類を示す情報と、パッチ画像抽出部103が抽出した複数のパッチ画像(T2強調画像のパッチ画像)とに基づいて、分類器12bを学習させる。ここで、分類器12bについて説明する。図6は分類器12bの構成例を示す模式図である。図6に示す分類器12bは、畳み込みニューラルネットワークモデル(CNN)で構成したものである。分類器12bの構成は、図6に示すように多層のニューラルネットワーク(深層学習)に限定されるものではなく、他の機械学習のアルゴリズムを用いることもできる。
図6に示すように、分類器12bは、入力層、中間層及び出力層から構成されている。中間層は畳み込み層、プーリング層及び全結合層を含む。本実施形態の分類器12bでは、入力層のノード数は16,384(チャンネル数は1)であり、出力層のノード数は5であり、上述したようなパッチ画像が、学習済みの分類器12bの入力データとして与えられる。入力層のノードに与えられたパッチ画像は中間層に入力され、中間層において、畳み込み層でフィルタ処理等によって画像特徴量が抽出されて特徴マップが生成され、プーリング層で圧縮されて情報量を削減される。畳み込み層及びプーリング層は複数層繰り返し設けられており、複数の畳み込み層及びプーリング層によって生成された特徴マップは、全結合層に入力される。全結合層は複数層(図6では2層)設けられており、入力された特徴マップに基づいて、重み及び各種の関数を用いて各層のノードの出力値を算出し、算出した出力値を順次後の層のノードに入力する。全結合層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に出力層の各ノードにそれぞれの出力値を与える。畳み込み層、プーリング層及び全結合層のそれぞれの層数は図6に示す例に限定されない。出力層の各ノードは、5種類の脳腫瘍のそれぞれに対する分類確率を出力する。例えば入力されたパッチ画像が膠芽腫の画像である確率をノード0が出力し、悪性リンパ腫の画像である確率をノード1が出力し、髄膜腫の画像である確率をノード2が出力し、転移性腫瘍の画像である確率をノード3が出力し、神経鞘腫の画像である確率をノード4が出力する。出力層の各ノードの出力値は例えば0~1.0の値であり、5つのノードから出力された確率の合計が1.0(100%)となる。
学習部104は、パッチ画像抽出部103が抽出したパッチ画像(T2強調画像のパッチ画像)を、分類器12bの入力層のノードに入力し、出力層において、このパッチ画像(T2強調画像)の脳腫瘍の種類に応じたノードの出力値が1.0に近づき、その他のノードの出力値が0に近づくように、分類器12bを学習させる。なお、学習部104は、例えば全結合層の各層のノードを結合する重み及び関数を学習アルゴリズムによって最適化して分類器12bを学習させる。学習部104は、教師データDB12cに記憶してある全ての教師データについて、パッチ画像抽出部103がそれぞれ抽出したパッチ画像を用いて分類器12bに学習させる。これにより、学習済みの分類器12bが生成される。
以下に、上述したように学習装置10にて学習した分類器12bを用いて、診断対象の患者の医用画像に基づいて脳腫瘍の種類を判別する特定装置20について説明する。図7は、特定装置20の構成例を示すブロック図である。特定装置20は、パーソナルコンピュータ、サーバコンピュータ等であり、学習装置10と同様の構成を有するので詳細については省略する。特定装置20は、制御部21、記憶部22、表示部23、入力部24、通信部25等を含み、これらの各部はバスを介して相互に接続されている。なお、特定装置20の記憶部22には、本開示のプログラムである特定プログラム22a、学習装置10にて学習済みの分類器22bが記憶されている。
分類器22bは、学習装置10で学習した分類器12bである。特定装置20は、例えば通信部25を介してネットワークN経由で学習装置10から分類器22bを取得して記憶部22に記憶する。また特定装置20が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、特定装置20は、分類器22bを可搬型記憶媒体から読み出して記憶部22に記憶してもよい。また特定装置20は、特定プログラム22aを分類器22bと共に、ネットワークN経由で取得してもよいし、可搬型記憶媒体を用いて取得してもよい。
次に、特定装置20において制御部21が特定プログラム22aを実行することによって実現される機能について説明する。図8は、特定装置20の制御部21によって実現される機能を示すブロック図、図9~図11は、特定装置20が行う特定処理の説明図である。特定装置20の制御部21は、記憶部22に記憶してある特定プログラム22aを実行した場合、画像取得部201、腫瘍領域抽出部202、パッチ画像抽出部203、パッチ判別部204、算出部205、判別部206、特定部207、出力部208の各機能を実現する。なお、本実施形態では、これらの各機能を制御部21が特定プログラム22aを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。
画像取得部201は、診断対象の患者のT2強調画像(スライス画像)を取得する。特定装置20は、患者のT2強調画像を、例えばネットワークN経由又は可搬型記憶媒体経由で予め取得して記憶部22に記憶しておき、画像取得部201は、診断対象のT2強調画像を記憶部22から読み出す。なお、T2強調画像は、患者の脳を例えば上下方向に走査しつつ撮影した断面画像であり、1人の患者に対して複数枚のT2強調画像が1セットとして処理される。よって、画像取得部201は、1人の患者から得られた複数のT2強調画像を取得する。
腫瘍領域抽出部202及びパッチ画像抽出部203は、学習装置10の制御部11が実現する腫瘍領域抽出部102及びパッチ画像抽出部103と同様の処理を行う。即ち、腫瘍領域抽出部202は、画像取得部201が取得したT2強調画像のそれぞれから脳腫瘍領域を抽出する。これにより、腫瘍領域抽出部202は、患者のT2強調画像のうちの脳腫瘍領域を取得する。パッチ画像抽出部(抽出部)203は、腫瘍領域抽出部202が抽出した脳腫瘍領域から複数のパッチ画像を抽出する。なお、特定装置20におけるパッチ画像抽出部203は、脳腫瘍領域内の所定間隔を隔てた各位置をそれぞれ中央位置とするパッチ画像を、脳腫瘍領域の全領域を網羅するように抽出する。よって、パッチ画像抽出部203によって抽出されるパッチ画像の数は、脳腫瘍領域の大きさによって増減する。
パッチ判別部(ブロック判別部)204は、パッチ画像抽出部203が抽出したパッチ画像(T2強調画像のパッチ画像)に基づいて、それぞれのパッチ画像に対する脳腫瘍の種類を分類器22bを用いて判別する。具体的には、パッチ判別部204は、パッチ画像のそれぞれを分類器22bに入力し、分類器22bからの出力値を取得する。分類器22bの出力値は、5種類の脳腫瘍(膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫)のそれぞれに対する分類確率である。パッチ判別部204は、1人の患者における複数のT2強調画像のそれぞれからパッチ画像抽出部203が抽出したパッチ画像のそれぞれについて判別処理を行う。パッチ判別部204は、それぞれのパッチ画像に対する判別結果を例えば記憶部22に記憶する。図9は、パッチ判別部204による判別結果を示す模式図である。図9に示すテーブルには、患者ID、T2強調画像ID、パッチID、分類確率が対応付けて記憶されている。患者IDは各患者に割り当てられた識別情報であり、T2強調画像IDは、患者のT2強調画像のそれぞれに割り当てられた識別情報であり、パッチIDは、それぞれのT2強調画像から抽出されたパッチ画像のそれぞれに割り当てられた識別情報である。分類確率は、それぞれのパッチ画像に基づいて分類器22bが出力した脳腫瘍の各種類に対する分類確率である。
算出部205は、パッチ判別部204による判別結果に基づいて、それぞれのT2強調画像(スライス画像)について、脳腫瘍の種類毎の分類確率を算出する。即ち、算出部205は、分類器22bが各パッチ画像に対して出力した脳腫瘍の種類毎の分類確率に基づいて、このパッチ画像が抽出されたT2強調画像(スライス画像)に対する脳腫瘍の種類毎の分類確率を算出する。例えば算出部(平均算出部)205は、1枚のT2強調画像から抽出されたパッチ画像のそれぞれに対して出力された脳腫瘍の種類毎の分類確率の平均値をそれぞれ算出して、このT2強調画像に対する脳腫瘍の種類毎の分類確率としてもよい。T2強調画像に対する脳腫瘍の種類毎の分類確率の算出方法はこれに限定されない。例えば、一部のパッチ画像における脳腫瘍の種類毎の分類確率の平均値を、T2強調画像における脳腫瘍の種類毎の分類確率としてもよい。算出部205は、1人の患者における全てのT2強調画像に対して、脳腫瘍の種類毎の分類確率を算出し、例えば記憶部22に記憶する。
判別部206は、算出部205がそれぞれのT2強調画像(スライス画像)について算出した脳腫瘍の種類毎の分類確率に基づいて、この患者の脳腫瘍の種類を判別する。具体的には、判別部206は、それぞれのT2強調画像に対する脳腫瘍の種類毎の分類確率に基づいて、この患者における脳腫瘍の種類毎の分類確率を算出する。ここで、判別部(加重平均算出部)206は、例えば、それぞれのT2強調画像における脳腫瘍領域(病変領域)の大きさ(面積)に応じた重み付けを行って、脳腫瘍の種類毎の分類確率の加重平均値(重み付き平均)を算出し、患者における脳腫瘍の種類毎の分類確率とする。
図10は、T2強調画像における脳腫瘍領域の大きさに応じた重み付けを説明するための模式図である。図10A~Dには、T2強調画像と、それぞれT2強調画像中の脳腫瘍領域(腫瘍領域)とを示している。図10A~Dに示すT2強調画像において、それぞれの脳腫瘍領域の面積がa1~a4であり、最大面積がa2であったとする。この場合、図10A~Dに示すT2強調画像における脳腫瘍領域の大きさに応じた係数(重み係数)はそれぞれ、a1/a2,1,a3/a2,a4/a2とすることができる。そして、判別部206は、判別対象の脳腫瘍の種類毎に、それぞれのT2強調画像における分類確率に、脳腫瘍領域の大きさに応じた係数を掛け算した上で加算し、その合計値を係数の合計値で割り算し、得られた商を、この患者における分類確率とする。それぞれのT2強調画像における分類確率から患者の分類確率を算出する方法はこれに限定されない。例えば、一部のT2強調画像における分類確率を用いて患者の分類確率を算出してもよい。判別部206は、判別対象の脳腫瘍のそれぞれについて、患者における分類確率を算出する。
特定部207は、患者のT2強調画像に基づいて判別部206が算出した患者における脳腫瘍の種類毎の分類確率に基づいて、この患者における脳腫瘍の種類を特定する。特定部207は、判別部206が算出した脳腫瘍の種類毎の分類確率のうちで最高の分類確率であった脳腫瘍を、この患者の脳腫瘍に特定する。
出力部208は、特定部207による特定結果を出力する。例えば出力部208は、特定部207による特定結果を表示するための表示情報を生成し、生成した表示情報に基づいて特定結果画面を表示部23に表示する。図11は特定結果画面の例を示しており、図11に示す画面には、判別部206が算出した、この患者における脳腫瘍の種類毎の分類確率が表示され、特定部207が特定した脳腫瘍に下線が付されて、他の脳腫瘍よりも目立つように表示されている。また、図11に示す画面には、例えば、診断対象のT2強調画像のうちで、特定部207が特定した脳腫瘍(図11では転移性腫瘍)について判別部206で算出された分類確率が最高であったT2強調画像が表示されている。このようなT2強調画像は、特定部207が特定した脳腫瘍であることを判断し易い画像である可能性が高い。よって、出力部208は、上述したようなT2強調画像を選択し、この患者における脳腫瘍の種類毎にて算出された分類確率と共に表示する特定結果画面を生成する。
表示部23に表示される画面は、図11に示す例に限定されず、例えば、この患者における脳腫瘍の種類毎の分類確率のみを表示する画面でもよい。また、例えば、特定部207が特定した脳腫瘍について判別部206で算出された分類確率が最高であったT2強調画像のうちで、脳腫瘍領域の大きさが最も大きいT2強調画像を表示してもよい。また、例えば、特定部207が特定した脳腫瘍について、パッチ判別部204で算出された分類確率が所定値以上であったT2強調画像のパッチ画像を表示してもよい。更に、表示されるT2強調画像(スライス画像)に対して、脳腫瘍領域をハイライト表示してもよい。なお、出力部208は、特定部207による特定結果を表示部23に表示するほかに、音声で出力してもよいし、所定の端末装置に送信してもよい。
次に、診断支援システムにおいて学習装置10による学習処理についてフローチャートに基づいて説明する。図12は学習装置10による学習処理の手順を示すフローチャートである。以下の処理は、学習装置10の記憶部12に記憶してある学習プログラム12aを含む制御プログラムに従って制御部11によって実行される。
学習装置10の制御部11は、教師データDB12cからT2強調画像の教師データを1つ取得する(S11)。教師データには、脳腫瘍の種類を示す情報とT2強調画像(スライス画像)とが含まれる。制御部11は、取得したT2強調画像から脳腫瘍領域を抽出し(S12)、抽出した脳腫瘍領域に対して、所定の画素数の画素を含むパッチ画像を抽出する(S13)。そして、制御部11は、1つのパッチ画像と、教師データに含まれる脳腫瘍の種類を示す情報とを用いて、分類器12bを学習させる(S14)。ここでは、制御部11は、パッチ画像を分類器12bの入力層のノードに入力し、出力層において、このパッチ画像の脳腫瘍の種類に応じたノードの出力値が1.0に近づき、その他のノードの出力値が0に近づくように分類器12bを学習させる。
制御部11は、ステップS13でT2強調画像から抽出した全てのパッチ画像に対して処理を終了したか否かを判断し(S15)、終了していないと判断した場合(S15:NO)、ステップS14の処理に戻り、未処理のパッチ画像を用いて分類器12bを学習させる(S14)。全てのパッチ画像に対して処理を終了したと判断した場合(15:YES)、制御部11は、教師データDB12cに記憶してある全ての教師データに基づく処理を終了したか否かを判断する(S16)。全ての教師データに基づく処理を終了していないと判断した場合(S16:NO)、制御部11は、ステップS11の処理に戻り、未処理の教師データを1つ取得する(S11)。制御部11は、取得した教師データに基づいてステップS12~S15の処理を行う。全ての教師データに基づく処理を終了したと判断した場合(S16:YES)、制御部11は、分類器12bの学習処理を終了する。これにより、T2強調画像に基づいて脳腫瘍の種類を判別する分類器12bを学習させることができ、学習済みの分類器12bが得られる。
次に、診断支援システムにおいて特定装置20による特定処理についてフローチャートに基づいて説明する。図13は、特定装置20による特定処理の手順を示すフローチャートである。以下の処理は、特定装置20の記憶部22に記憶してある特定プログラム22aを含む制御プログラムに従って制御部21によって実行される。特定装置20の記憶部22には、学習装置10によって学習済みの分類器22bが記憶されている。また、記憶部22には、診断対象の患者の脳のT2強調画像が複数枚記憶されている。
特定装置20の制御部21は、診断対象の患者のT2強調画像のうちの1つを取得する(S21)。制御部21は、取得したT2強調画像から脳腫瘍領域を抽出し(S22)、抽出した脳腫瘍領域から、所定の画素数の画素を含むパッチ画像を複数抽出する(S23)。そして、制御部21は、1つのパッチ画像に対する脳腫瘍の種類を分類器22bにて判別し(S24)、判別結果を記憶部22に記憶する(S25)。具体的には、分類器22bは、パッチ画像に対する脳腫瘍として、5種類の脳腫瘍のそれぞれに対する分類確率を出力し、制御部21は、分類器22bから出力された脳腫瘍の種類毎の分類確率を記憶部22に記憶する。
制御部21は、ステップS22でT2強調画像から抽出した全てのパッチ画像に対して処理を終了したか否かを判断し(S26)、終了していないと判断した場合(S26:NO)、ステップS24の処理に戻り、未処理のパッチ画像に対してステップS24~S25の処理を行う。全てのパッチ画像に対して処理を終了したと判断した場合(S26:YES)、制御部21は、記憶部22に記憶した各パッチ画像に対する脳腫瘍の種類毎の分類確率に基づいて、ステップS21で取得したT2強調画像(スライス画像)に対する脳腫瘍の種類毎の分類確率を算出する(S27)。例えば制御部21は、脳腫瘍の種類毎に、各パッチ画像に基づく分類確率の平均値を算出し、スライス画像(T2強調画像)に対する分類確率とする。制御部21は、1つのT2強調画像に対して算出した脳腫瘍の種類毎の分類確率を記憶部22に記憶しておく。
制御部21は、全てのT2強調画像に対して処理を終了したか否かを判断する(S28)。全てのT2強調画像に対して処理を終了していないと判断した場合(S28:NO)、制御部21は、ステップS21の処理に戻り、未処理のT2強調画像を1つ取得する(S21)。制御部21は、取得したT2強調画像に対してステップS22~S27の処理を行う。全てのT2強調画像に対して処理を終了したと判断した場合(S28:YES)、制御部21は、それぞれのT2強調画像に対する脳腫瘍の種類毎の分類確率に基づいて、この患者に対する脳腫瘍の種類毎の分類確率を算出する(S29)。ここでは、制御部21は、脳腫瘍の種類毎に、それぞれのT2強調画像に基づく分類確率から、それぞれのT2強調画像中の脳腫瘍領域の大きさに応じた重み係数を用いた加重平均値を算出し、患者に対する分類確率とする。
制御部21は、T2強調画像に基づいて算出した患者に対する脳腫瘍の種類毎の分類確率を判別結果として表示するための表示情報を生成する(S30)。例えば、制御部21は、この患者に対する脳腫瘍の種類毎の分類確率を表示するための表示情報を生成する。また、制御部21は、ここでの分類確率が最高である脳腫瘍について、ステップS29で算出した分類確率が最高であったT2強調画像を表示するための表示情報を生成する。そして、制御部21は、生成した表示情報に基づいて、特定装置20による判別結果を表示部23に表示する(S31)。これにより、例えば図11に示すような画面が表示部23に表示され、特定装置20による判別結果が通知される。
本実施形態では、患者のT2強調画像に基づいて、5種類の脳腫瘍のそれぞれについて、この患者の脳腫瘍である可能性を示す分類確率を算出できる。よって、5種類の脳腫瘍のそれぞれに対する可能性を通知できるので、医師は、T2強調画像に基づいて脳腫瘍の種類を診断する際に考慮でき、医師による診断を支援できる。医師が全てのT2強調画像(医用画像)を目視で確認することは困難であるが、特定装置20は全ての医用画像を用いて判別を行うので、医用画像を有効に利用できる。
本実施形態では、T2強調画像のそれぞれに基づいて算出した脳腫瘍の種類毎の分類確率に対して、それぞれの画像中の脳腫瘍領域の大きさに応じた重み付けを行って、患者における脳腫瘍の種類毎の分類確率を算出する。画像中の脳腫瘍領域が大きいほど、このT2強調画像から算出した脳腫瘍の種類毎の分類確率の信頼性が高いと考えられる。よって、画像中の脳腫瘍領域が大きいほど大きい重み係数とすることにより、算出される患者における脳腫瘍の種類毎の分類確率の信頼性を向上させることができる。また、特定装置20による判別結果として、患者の脳腫瘍である可能性が高い脳腫瘍(高い分類確率が算出された脳腫瘍)であることを判断し易いT2強調画像を通知することができる。よって、通知されたT2強調画像に基づいて診断を行うことができた場合、医師は全ての画像を確認する必要がなく、医師による診断の負担を軽減できる。
本実施形態では、診断対象の画像としてT2強調画像を用いたが、診断対象に用いる医用画像はこれらに限定されない。また、分類器22bによる判別対象の脳腫瘍は、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫の5種類に限定されない。これら以外の脳腫瘍についても分類器22bに学習させることによって判別可能となる。また、脳腫瘍以外の疾病についても、それぞれの教師データを用いて分類器に学習させることによって判別可能となる。
本実施形態において、学習装置10は、教師データのT2強調画像からそれぞれパッチ画像を抽出し、パッチ画像にて分類器12bを学習させる代わりに、教師データのT2強調画像をそのまま用いて分類器12bを学習させてもよい。同様に、特定装置20は、診断対象の患者のT2強調画像からそれぞれパッチ画像を抽出し、パッチ画像にて分類器22bによる判別処理を行う代わりに、T2強調画像をそのまま用いて分類器22bによる判別処理を行ってもよい。
(実施形態2)
実施形態2の診断支援システムについて説明する。本実施形態の診断支援システムの各装置は、実施形態1の各装置と同じ構成を有するので、同様の構成については説明を省略する。本実施形態の診断支援システムでは、T2強調画像(第1断面画像)だけでなくT1CE画像(第2断面画像)も用いて撮影対象の脳腫瘍の種類を判別する。具体的には、本実施形態の特定装置20は、実施形態1と同様に患者のT2強調画像に基づいて脳腫瘍の種類毎の分類確率を算出する。また、本実施形態の特定装置20は、患者のT1CE画像に基づいて脳腫瘍の種類毎の分類確率を算出し、T2強調画像及びT1CE画像のそれぞれに基づいて算出した脳腫瘍の種類毎の分類確率を統合して、患者の脳腫瘍の種類を判別する。なお、脳腫瘍の種類の判別に使用する医用画像は、T2強調画像及びT1CE画像に限定されない。
図14は、実施形態2の学習装置10の構成例を示すブロック図である。本実施形態の学習装置10は、実施形態1の学習装置10と同じ構成を有する。本実施形態の学習装置10において、記憶部12には、学習プログラム12a、第1分類器12b、第1教師データDB12c、第2分類器12d及び第2教師データDB12eが記憶されている。第1分類器12b及び第1教師データDB12cは、実施形態1の分類器12b及び教師データDB12cと同じものである。よって、第1分類器12bは、患者のT2強調画像に基づいて脳腫瘍の種類を判別する分類器であり、第1教師データDB12cには、第1分類器12bを学習させるための第1教師データが蓄積されている。第2分類器12dは、第1分類器12bと同様の構成を有しており、患者のT1CE画像に基づいて脳腫瘍の種類を判別する分類器である。第2教師データDB12eには、第2分類器12dを学習させるための第2教師データが蓄積されている。本実施形態の学習プログラム12aは、第1分類器12bの学習処理だけでなく第2分類器12dの学習処理も行うためのプログラムである。
図15はT1CE画像の例を示す模式図である。MRIは1人の患者の脳に対して例えば200枚程度のT1CE画像を撮影するが、MRIによる撮影枚数はこれに限定されない。T1CE画像のサイズは例えば512画素×512画素とすることができるが、これに限定されない。T1CE画像は病変(腫瘍)の輪郭を認識し易い画像である。図15には、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫の5種類の脳腫瘍のT1CE画像の例を示す。本実施形態の診断支援システムでは、第1分類器12b(第1学習モデル)は、患者のT2強調画像に基づいてこのT2強調画像に対する脳腫瘍の種類を判別し、第2分類器12d(第2学習モデル)は、患者のT1CE画像に基づいてこのT1CE画像に対する脳腫瘍の種類を判別する。
第2教師データDB12eには、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫のそれぞれに対応付けて、図15に示すようなT1CE画像が多数蓄積されている。第2教師データDB12eにおいて、1つのT1CE画像(スライス画像)と、このT1CE画像に対応付けられた脳腫瘍の種類を示す情報とのセットを第2教師データという。学習装置10は、図3に示すようなT2強調画像による第1教師データに基づいて第1分類器12bを学習させ、図15に示すようなT1CE画像による第2教師データに基づいて第2分類器12dを学習させる。
次に、本実施形態の学習装置10において制御部11が学習プログラム12aを実行することによって実現される機能について説明する。図16は、実施形態2の学習装置10の制御部11によって実現される機能を示すブロック図である。本実施形態の学習装置10の制御部11は、記憶部12に記憶してある学習プログラム12aを実行した場合、第1教師データ取得部101、第1腫瘍領域抽出部102、第1パッチ画像抽出部103、第1学習部104、第2教師データ取得部111、第2腫瘍領域抽出部112、第2パッチ画像抽出部113、第2学習部114の各機能を実現する。なお、本実施形態でも、これらの各機能の一部を専用のハードウェア回路で実現してもよい。
第1教師データ取得部101、第1腫瘍領域抽出部102、第1パッチ画像抽出部103及び第1学習部104のそれぞれは、実施形態1において図4に示した教師データ取得部101、腫瘍領域抽出部102、パッチ画像抽出部103及び学習部104のそれぞれと同じ処理を行う。即ち、第1教師データ取得部101は、第1教師データDB12cから第1教師データを順次取得し、第1腫瘍領域抽出部102は、第1教師データ取得部101が取得したT2強調画像から脳腫瘍領域を抽出する。第1パッチ画像抽出部103は、第1腫瘍領域抽出部102が抽出した脳腫瘍領域から複数のパッチ画像(画素ブロック)を抽出する。第1学習部104は、第1教師データ取得部101が第1教師データDB12cから取得した脳腫瘍の種類を示す情報と、第1パッチ画像抽出部103が抽出した複数のパッチ画像(T2強調画像のパッチ画像)とに基づいて、第1分類器12bを学習させる。
第2教師データ取得部111、第2腫瘍領域抽出部112、第2パッチ画像抽出部113及び第2学習部114のそれぞれは、第1教師データ取得部101、第1腫瘍領域抽出部102、第1パッチ画像抽出部103及び第1学習部104とは処理対象の画像が異なるが、それぞれ同様の処理を行う。即ち、第2教師データ取得部111は、第2教師データDB12eから第2教師データを順次取得する。なお、第2教師データには、脳腫瘍の種類を示す情報とT1CE画像(スライス画像)とが含まれる。第2腫瘍領域抽出部112は、第2教師データ取得部111が取得したT1CE画像から脳腫瘍領域を抽出し、第2パッチ画像抽出部113は、第2腫瘍領域抽出部112が抽出した脳腫瘍領域から複数のパッチ画像を抽出する。第2学習部114は、第2教師データ取得部111が第2教師データDB12eから取得した脳腫瘍の種類を示す情報と、第2パッチ画像抽出部113が抽出した複数のパッチ画像(T1CE画像のパッチ画像)とに基づいて、第2分類器12dを学習させる。
図17は、実施形態2の特定装置20の構成例を示すブロック図である。本実施形態の特定装置20は、実施形態1の特定装置20と同じ構成を有する。本実施形態の特定装置20において、記憶部22には、特定プログラム22a、第1分類器22b及び第2分類器22cが記憶されている。第1分類器22bは学習装置10にて学習済みの第1分類器12bであり、第2分類器22cは学習装置10にて学習済みの第2分類器12dである。
次に、本実施形態の特定装置20において制御部21が特定プログラム22aを実行することによって実現される機能について説明する。図18は、実施形態2の特定装置20の制御部21によって実現される機能を示すブロック図、図19は、特定装置20が行う特定処理の説明図である。本実施形態の特定装置20の制御部21は、記憶部22に記憶してある特定プログラム22aを実行した場合、第1画像取得部201、第1腫瘍領域抽出部202、第1パッチ画像抽出部203、第1パッチ判別部204、第1算出部205、第1判別部206、特定部207、出力部208、第2画像取得部211、第2腫瘍領域抽出部212、第2パッチ画像抽出部213、第2パッチ判別部214、第2算出部215、第2判別部216の各機能を実現する。なお、本実施形態でも、これらの各機能の一部を専用のハードウェア回路で実現してもよい。
第1画像取得部201、第1腫瘍領域抽出部202、第1パッチ画像抽出部203、第1パッチ判別部204、第1算出部205及び第1判別部206のそれぞれは、実施形態1において図8に示した画像取得部201、腫瘍領域抽出部202、パッチ画像抽出部203、パッチ判別部204、算出部205及び判別部206のそれぞれと同じ処理を行う。即ち、第1画像取得部201は、診断対象の患者のT2強調画像(スライス画像)を取得する。第1腫瘍領域抽出部202は、第1画像取得部201が取得したT2強調画像のそれぞれから脳腫瘍領域を抽出し、第1パッチ画像抽出部203は、第1腫瘍領域抽出部202が抽出した脳腫瘍領域から複数のパッチ画像を抽出する。
第1パッチ判別部204は、第1パッチ画像抽出部203が抽出したパッチ画像(T2強調画像のパッチ画像)のそれぞれを第1分類器22bに入力し、第1分類器22bからの出力値を取得する。第1分類器22bの出力値は、5種類の脳腫瘍(膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫)のそれぞれに対する分類確率である。第1パッチ判別部204は、1人の患者における複数のT2強調画像のそれぞれから抽出されたパッチ画像についてそれぞれ判別処理を行い、図9に示すテーブルのように判別結果(5種類の脳腫瘍に対する分類確率)を記憶する。第1算出部205は、第1パッチ判別部204による判別結果に基づいて、それぞれのT2強調画像(スライス画像)に対する脳腫瘍の種類毎の分類確率を算出する。
第1判別部206は、第1算出部205がそれぞれのT2強調画像(スライス画像)について算出した脳腫瘍の種類毎の分類確率に基づいて、この患者における脳腫瘍の種類毎の分類確率(第1確率)を算出する。ここでも、第1判別部206は、例えば、それぞれのT2強調画像における脳腫瘍領域の大きさ(面積)に応じた重み付けを行って、脳腫瘍の種類毎の分類確率の加重平均値を算出し、患者における脳腫瘍の種類毎の分類確率とする。
第2画像取得部211、第2腫瘍領域抽出部212、第2パッチ画像抽出部213、第2パッチ判別部214、第2算出部215及び第2判別部216のそれぞれは、第1画像取得部201、第1腫瘍領域抽出部202、第1パッチ画像抽出部203、第1パッチ判別部204、第1算出部205及び第1判別部206とは処理対象の画像が異なるが、それぞれ同様の処理を行う。よって、詳細については説明を省略する。なお、第1画像取得部201が取得するT2強調画像と、後述の第2画像取得部211が取得するT1CE画像とは、同じ患者の脳(撮影対象)の同じ箇所(同一部分)での断面画像である。このようなT2強調画像及びT1CE画像は、同一の画像撮像装置にて同じ撮影タイミングでパラメータを異ならせて撮影されたものであってもよく、異なる画像撮像装置にて同じ撮影タイミングで撮影されたものであってもよく、1つの画像撮像装置にて撮影した後に異なる画像処理を行うことによって生成されたものでもよい。
第2画像取得部211は、1人の患者から得られた複数のT1CE画像(スライス画像)を取得する。第2腫瘍領域抽出部212は、第2画像取得部211が取得したT1CE画像のそれぞれから脳腫瘍領域を抽出し、第2パッチ画像抽出部213は、第2腫瘍領域抽出部212が抽出した脳腫瘍領域から複数のパッチ画像を抽出する。第2パッチ判別部214は、第2パッチ画像抽出部213が抽出したパッチ画像(T1CE画像のパッチ画像)のそれぞれを第2分類器22cに入力し、第2分類器22cからの出力である5種類の脳腫瘍のそれぞれに対する分類確率を取得する。第2パッチ判別部214は、1人の患者における複数のT1CE画像のそれぞれから抽出されたパッチ画像についてそれぞれ判別処理を行い、図9に示すテーブルのように判別結果を記憶する。なお、第2パッチ判別部214が判別結果を記憶するテーブルは、図9に示すテーブルにおいてT2強調画像IDの代わりにT1CE画像IDが記憶される。
第2算出部215は、第2パッチ判別部214による判別結果に基づいて、それぞれのT1CE画像(スライス画像)に対する脳腫瘍の種類毎の分類確率を算出する。第2判別部216は、第2算出部215がそれぞれのT1CE画像について算出した脳腫瘍の種類毎の分類確率に基づいて、この患者における脳腫瘍の種類毎の分類確率(第2確率)を算出する。ここでも、第2判別部216は、T1CE画像における脳腫瘍領域の大きさに応じた重み係数を用いて、患者における脳腫瘍の種類毎の分類確率を算出してもよい。
本実施形態の特定部207は、患者のT2強調画像に基づいて第1判別部206が算出した脳腫瘍の種類毎の分類確率と、患者のT1CE画像に基づいて第2判別部216が算出した脳腫瘍の種類毎の分類確率とに基づいて、この患者における脳腫瘍の種類を特定する。具体的には、特定部(算出部)207は、第1判別部206が算出した脳腫瘍の種類毎の分類確率と、第2判別部216が算出した脳腫瘍の種類毎の分類確率とを統合して、この患者における脳腫瘍の種類毎の分類確率(判別確率)を算出する。例えば特定部207は、脳腫瘍の種類毎に、T2強調画像に基づいて算出された分類確率と、T1CE画像に基づいて算出された分類確率との平均値をそれぞれ算出し、統合された確率とする。特定部207は、統合した脳腫瘍の種類毎の分類確率のうちで最高の分類確率であった脳腫瘍を、この患者の脳腫瘍に特定する。
出力部208は、実施形態1において図8に示した出力部208と同じ処理を行う。例えば出力部208は、特定部207による特定結果を表示するための表示情報を生成し、生成した表示情報に基づいて、図19に示すような特定結果画面を表示部23に表示する。図19に示す画面には、特定部207が最終的に算出した、この患者における脳腫瘍の種類毎の分類確率(判別確率)が表示され、特定部207が特定した脳腫瘍に下線が付されている。また、図19に示す画面には、特定部207が特定した脳腫瘍であることを判断し易い画像として、診断対象のT2強調画像のうちで、特定部207が特定した脳腫瘍について、第1判別部206で最高の分類確率が算出されたT2強調画像と、診断対象のT1CE画像のうちで、特定部207が特定した脳腫瘍について、第2判別部216で最高の分類確率が算出されたT1CE画像とが表示されている。よって、出力部208は、上述したようなT2強調画像及びT1CE画像をそれぞれ選択し、特定部207が脳腫瘍の種類毎に算出した分類確率と共に表示する特定結果画面を生成する。
次に、本実施形態の診断支援システムにおいて学習装置10による学習処理についてフローチャートに基づいて説明する。図20は実施形態2の学習装置10による学習処理の手順を示すフローチャートである。以下の処理は、学習装置10の記憶部12に記憶してある学習プログラム12aを含む制御プログラムに従って制御部11によって実行される。本実施形態の学習装置10は、第1教師データDB12cに記憶されているT2強調画像の第1教師データを用いて第1分類器12bを学習させ、第2教師データDB12eに記憶されているT1CE画像の第2教師データを用いて第2分類器12dを学習させる。第1分類器12bの学習処理と第2分類器12dの学習処理とは同じ処理であり、図20には第1分類器12bの学習処理のみを示す。また、図20に示す処理は、実施形態1において図12に示した処理と同じであるので、詳細な説明は省略する。
学習装置10の制御部11は、第1教師データDB12cからT2強調画像の第1教師データを1つ取得し(S41)、取得したT2強調画像から脳腫瘍領域を抽出する(S42)。制御部11は、抽出した脳腫瘍領域から複数のパッチ画像を抽出し(S43)、1つのパッチ画像と、第1教師データに含まれる脳腫瘍の種類を示す情報とを用いて、第1分類器12bを学習させる(S44)。制御部11は、ステップS43でT2強調画像から抽出した全てのパッチ画像に対して処理を終了したか否かを判断し(S45)、終了していないと判断した場合(S45:NO)、ステップS44の処理に戻り、未処理のパッチ画像を用いて第1分類器12bを学習させる(S44)。全てのパッチ画像に対して処理を終了したと判断した場合(45:YES)、制御部11は、第1教師データDB12cに記憶してある全ての第1教師データに基づく処理を終了したか否かを判断する(S46)。全ての第1教師データに基づく処理を終了していないと判断した場合(S46:NO)、制御部11は、ステップS41の処理に戻り、未処理の第1教師データを1つ取得する(S41)。制御部11は、取得した第1教師データに基づいてステップS42~S45の処理を行う。全ての第1教師データに基づく処理を終了したと判断した場合(S46:YES)、制御部11は、第1分類器12bの学習処理を終了する。
学習装置10の制御部11は、図20に示す処理と同様の処理によって、第2教師データDB12eに記憶されているT1CE画像の第2教師データを用いて第2分類器12dを学習させる。なお、第2分類器12dの学習処理では、図20中のステップS41で、制御部11は、第2教師データDB12eからT1CE画像の第2教師データを取得する。またステップS44で、制御部11は、T1CE画像から抽出されたパッチ画像と、第2教師データに含まれる脳腫瘍の種類を示す情報とを用いて第2分類器12dを学習させる。上述した処理により、T2強調画像に基づいて脳腫瘍の種類を判別する第1分類器12bと、T1CE画像に基づいて脳腫瘍の種類を判別する第2分類器12dとを学習させることができ、学習済みの第1分類器12b及び第2分類器12dが得られる。
次に、本実施形態の診断支援システムにおいて特定装置20による特定処理についてフローチャートに基づいて説明する。図21及び図22は、特定装置20による特定処理の手順を示すフローチャートである。特定装置20の記憶部22には、学習装置10によって学習済みの第1分類器22b及び第2分類器22cが記憶されている。また、記憶部22には、診断対象の患者の脳のT2強調画像及びT1CE画像がそれぞれ複数枚ずつ記憶されている。図21に示す処理では、特定装置20の制御部21は、ステップS51~S59の処理とステップS61~S69の処理とを並列に実行するが、一方の処理を実行した後に他方の処理を実行してもよい。
特定装置20の制御部21は、診断対象の患者のT2強調画像のうちの1つを取得する(S51)。制御部21は、取得したT2強調画像から脳腫瘍領域を抽出し(S52)、抽出した脳腫瘍領域から複数のパッチ画像を抽出する(S53)。そして、制御部21は、1つのパッチ画像に対する脳腫瘍の種類を第1分類器22bにて判別し(S54)、判別結果を記憶部22に記憶する(S55)。判別結果とは、第1分類器22bから出力される脳腫瘍の種類毎の分類確率である。制御部21は、ステップS53でT2強調画像から抽出した全てのパッチ画像に対して処理を終了したか否かを判断し(S56)、終了していないと判断した場合(S56:NO)、ステップS54の処理に戻り、未処理のパッチ画像に対してステップS54~S55の処理を行う。
全てのパッチ画像に対して処理を終了したと判断した場合(S56:YES)、制御部21は、記憶部22に記憶した各パッチ画像に対する脳腫瘍の種類毎の分類確率に基づいて、ステップS51で取得したT2強調画像(スライス画像)に対する脳腫瘍の種類毎の分類確率を算出する(S57)。例えば制御部21は、脳腫瘍の種類毎に、各パッチ画像に基づく分類確率の平均値を算出し、スライス画像(T2強調画像)に対する分類確率とする。
制御部21は、全てのT2強調画像に対して処理を終了したか否かを判断する(S58)。全てのT2強調画像に対して処理を終了していないと判断した場合(S58:NO)、制御部21は、ステップS51の処理に戻り、未処理のT2強調画像を1つ取得する(S51)。制御部21は、取得したT2強調画像に対してステップS52~S57の処理を行う。全てのT2強調画像に対して処理を終了したと判断した場合(S58:YES)、制御部21は、各T2強調画像に対する脳腫瘍の種類毎の分類確率に基づいて、この患者に対する脳腫瘍の種類毎の分類確率を算出する(S59)。
一方、制御部21は、患者のT1CE画像のうちの1つを取得し(S61)、取得したT1CE画像から脳腫瘍領域を抽出し(S62)、抽出した脳腫瘍領域から複数のパッチ画像を抽出する(S63)。そして、制御部21は、1つのパッチ画像に対する脳腫瘍の種類を第2分類器22cにて判別し(S64)、判別結果を記憶部22に記憶する(S65)。制御部21は、全てのパッチ画像に対して処理を終了したか否かを判断し(S66)、終了していないと判断した場合(S66:NO)、ステップS64の処理に戻り、未処理のパッチ画像に対してステップS64~S65の処理を行う。
全てのパッチ画像に対して処理を終了したと判断した場合(S66:YES)、制御部21は、記憶部22に記憶した各パッチ画像に対する脳腫瘍の種類毎の分類確率に基づいて、ステップS61で取得したT1CE画像(スライス画像)に対する脳腫瘍の種類毎の分類確率を算出する(S67)。制御部21は、全てのT1CE画像に対して処理を終了したか否かを判断する(S68)。全てのT1CE画像に対して処理を終了していないと判断した場合(S68:NO)、制御部21は、ステップS61の処理に戻り、未処理のT1CE画像を1つ取得する(S61)。制御部21は、取得したT1CE画像に対して、ステップS62~S67の処理を行う。全てのT1CE画像に対して処理を終了したと判断した場合(S68:YES)、制御部21は、各T1CE画像に対する脳腫瘍の種類毎の分類確率に基づいて、この患者に対する脳腫瘍の種類毎の分類確率を算出する(S69)。
制御部21は、ステップS59でT2強調画像に基づいて算出した脳腫瘍の種類毎の分類確率と、ステップS69でT1CE画像に基づいて算出した脳腫瘍の種類毎の分類確率とを統合して、この患者に対する脳腫瘍の種類毎の分類確率を算出する(S71)。制御部21は、算出した患者に対する脳腫瘍の種類毎の分類確率を判別結果として表示するための表示情報を生成する(S72)。そして、制御部21は、生成した表示情報に基づいて、特定装置20による判別結果を表示部23に表示する(S73)。これにより、例えば図19に示すような画面が表示部23に表示され、特定装置20による判別結果が通知される。
本実施形態では、実施形態1と同様の効果が得られる。即ち、本実施形態では、患者のT2強調画像及びT1CE画像に基づいて、5種類の脳腫瘍のそれぞれについて、この患者の脳腫瘍である可能性を通知できる。よって、医師は、T2強調画像及びT1CE画像に基づいて脳腫瘍の種類を診断する際に考慮でき、医師による診断を支援できる。医師が全ての医用画像を目視で確認することは困難であるが、特定装置20は全ての医用画像を用いて判別を行うので、医用画像を有効に利用できる。また、特定装置20による判別結果として、可能性が高いと特定された脳腫瘍であることを判断し易いT2強調画像又はT1CE画像を通知することができる。よって、通知されたT2強調画像又はT1CE画像に基づいて診断を行うことができた場合、医師は全ての画像を確認する必要がなく、医師による診断の負担を軽減できる。
本実施形態の特定装置20は、第1分類器22bを用いたT2強調画像に基づく判別結果と、第2分類器22cを用いたT1CE画像に基づく判別結果とを統合して、患者の脳腫瘍の種類を判別する。これにより、判別精度が向上する。出願人は、特定装置20による判別処理の精度を評価するための評価実験を行った。図23はテストデータの構成を示す図表、図24は特定装置20による判別精度を示す図表である。評価実験では、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍及び神経鞘腫のそれぞれの脳腫瘍に対して、図23に示すスライス画像数のT2強調画像及びT1CE画像(スライス画像)をそれぞれテストデータとして用いた。また、テストデータのT2強調画像及びT1CE画像のそれぞれから、図23に示すパッチ画像数のパッチ画像が抽出されて判別処理に用いられた。
特定装置20は、図23に示すようなテストデータを5種類用いて判別処理を行い、図24に示すような結果が得られた。感度は、それぞれの患者のT2強調画像及びT1CE画像(テストデータ)に基づいて、正解の脳腫瘍に対して正解の脳腫瘍であると判別できた割合(正解の脳腫瘍に対して最高の分類確率を出力できた割合)を示す。特異度は、それぞれの患者のT2強調画像及びT1CE画像に基づいて、不正解の脳腫瘍に対して不正解の脳腫瘍であると判別できた割合(不正解の脳腫瘍に対して低い分類確率を出力できた割合)を示す。分類精度は、各テストデータの患者に対して、T2強調画像に基づいて正解の脳腫瘍であると判別できた割合、T1CE画像に基づいて正解の脳腫瘍であると判別できた割合、第1分類器22b及び第2分類器22cによる判別結果を統合した分類確率に基づいて正解の脳腫瘍であると判別できた割合をそれぞれ示す。図24に示す結果では、T2強調画像に基づいて正解の脳腫瘍を判別できた割合及びT1CE画像に基づいて正解の脳腫瘍を判別できた割合と比較して、第1分類器22b及び第2分類器22cによる判別結果を統合して最終的に正解の脳腫瘍を判別できた割合が高い値となっている。よって、異なる医用画像に対して、それぞれの医用画像用の分類器を用いた判別処理を行い、それぞれの判別結果を統合することによって、判別精度を向上させることができる。
本実施形態では、診断対象の画像としてT2強調画像及びT1CE画像を用いたが、診断対象に用いる医用画像はこの組合せに限定されない。また、本実施形態において、学習装置10は、教師データのT2強調画像及びT1CE画像からそれぞれパッチ画像を抽出し、パッチ画像にて分類器12b,12dを学習させる代わりに、教師データのT2強調画像及びT1CE画像をそのまま用いて分類器12b,12dを学習させてもよい。同様に、特定装置20は、診断対象の患者のT2強調画像及びT1CE画像からそれぞれパッチ画像を抽出し、パッチ画像にて分類器22b,22cによる判別処理を行う代わりに、T2強調画像及びT1CE画像をそのまま用いて分類器22b,22cによる判別処理を行ってもよい。
(実施形態3)
実施形態3の診断支援システムについて説明する。本実施形態の診断支援システムの各装置は、実施形態2の各装置と同じ構成を有するので、構成については説明を省略する。本実施形態では、特定装置20が、患者のT2強調画像に基づいて算出した脳腫瘍の種類毎の分類確率と、患者のT1CE画像に基づいて算出した脳腫瘍の種類毎の分類確率とを統合する際に、それぞれの分類確率に重み付けを行う。例えば、それぞれの脳腫瘍に対して算出した分類確率が同程度の値であった場合(例えば、全ての脳腫瘍の分類確率が20%程度であった場合)、この分類確率に対する重み係数を小さい値(例えば0)とする。全ての脳腫瘍の分類確率が同程度である場合とは、いずれの脳腫瘍であるかを判別できていない状況であり、この判別結果(分類確率)の確信度(有効度合)は低いと考えられる。よって、このような判別結果には小さい値の重み係数を設定する。
また、それぞれの脳腫瘍に対して算出した分類確率において、1つの脳腫瘍に対する分類確率が突出している場合(例えば、1つの脳腫瘍の分類確率が100%に近い値であった場合)、この分類確率に対する重み係数を大きい値(例えば1)とする。1つの脳腫瘍の分類確率が突出している場合とは、1つの脳腫瘍であると判別できている状況であり、この判別結果(分類確率)の確信度(有効度合)は高いと考えられる。よって、このような判別結果には大きい値の重み係数を設定する。更に、これら以外の場合、例えば、2つの脳腫瘍の分類確率が同程度の値であり、他の3つよりも高い値である場合、又は、3つの脳腫瘍の分類確率が同程度の値であり、他の2つよりも高い値である場合、この分類確率に対する重み係数を中間の値(例えば0.5)とする。
従って、本実施形態の特定装置20において、図18に示す特定部207は、患者のT2強調画像に基づいて第1判別部206が算出した脳腫瘍の種類毎の分類確率が、全て同程度であるか、1つだけ突出しているか、又はそれ以外であるかに応じて、例えば0、1又は0.5のいずれかの重み係数を設定する。同様に特定部207は、患者のT1CE画像に基づいて第2判別部216が算出した脳腫瘍の種類毎の分類確率が、全て同程度であるか、1つだけ突出しているか、又はそれ以外であるかに応じて、例えば0、1又は0.5のいずれかの重み係数を設定する。そして、特定部207は、脳腫瘍の種類毎に、T2強調画像に基づいて第1判別部206が算出した分類確率と、T1CE画像に基づいて第2判別部216が算出した分類確率と、それぞれに設定した重み係数とを用いて加重平均値を算出する。特定部207は、算出した加重平均値を、この患者における脳腫瘍の種類毎の最終的な分類確率とする。
本実施形態では、上述した実施形態2と同様の効果が得られる。また本実施形態では、患者のT2強調画像及びT1CE画像のそれぞれから算出した脳腫瘍の種類毎の分類確率を統合する際に、それぞれの分類確率の確信度(有効度合)に応じた重み付けを行うことができる。よって、確信度が低い判別結果の影響を小さくし、確信度が高い判別結果の影響を大きくした判別結果を得ることができ、判別結果の信頼性を向上させることができる。
(実施形態4)
実施形態4の診断支援システムについて説明する。本実施形態の診断支援システムの各装置は、実施形態2の各装置と同じ構成を有するので、構成については説明を省略する。
図25は、実施形態4の特定装置20の制御部21によって実現される機能を示すブロック図である。本実施形態の特定装置20の制御部21は、特定プログラム22aを実行した場合、第1画像取得部201、第1腫瘍領域抽出部202、第1パッチ画像抽出部203、第1パッチ判別部204、第1算出部205、第1判別部206、特定部207、出力部208、第2画像取得部211、第2腫瘍領域抽出部212、第2パッチ画像抽出部213、第2パッチ判別部214、第2算出部215、第2判別部216のほかに、第1腫瘍特定部209及び第2腫瘍特定部210の各機能を実現する。図25では、第1画像取得部201、第1腫瘍領域抽出部202、第2画像取得部211、第2腫瘍領域抽出部212、第1腫瘍特定部209及び第2腫瘍特定部210以外の機能の図示を省略する。
本実施形態の特定装置20において、第1腫瘍特定部209は、第1画像取得部201が取得したT2強調画像に対して、所定の脳腫瘍の有無を検出し、脳腫瘍を検出した場合、脳腫瘍の領域を特定する。所定の脳腫瘍とは、第1分類器22bによって判別可能な脳腫瘍である。第1腫瘍特定部209は、例えばディープラーニングによる学習済みの認識モデルを用いて、第1画像取得部201が取得したT2強調画像中の脳腫瘍領域を検出する。医師等によって所望の領域を脳腫瘍領域として特定装置20に指示してもよい。よって、本実施形態の第1腫瘍領域抽出部202は、第1画像取得部201が取得したT2強調画像から、第1腫瘍特定部209が特定した脳腫瘍領域を抽出する。同様に、第2腫瘍特定部210は、第2画像取得部211が取得したT1CE画像に対して、所定の脳腫瘍の有無を検出し、脳腫瘍を検出した場合、脳腫瘍の領域を特定する。よって、本実施形態の第2腫瘍領域抽出部212は、第2画像取得部211が取得したT1CE画像から、第2腫瘍特定部210が特定した脳腫瘍領域を抽出する。
図26は、実施形態4の特定装置20による特定処理の手順の一部を示すフローチャートである。図26に示す処理は、図21に示した実施形態2の処理において、ステップS51,S52の処理の間にステップS81,S82の処理を追加し、ステップS61,S62の処理の間にステップS83,S84の処理を追加したものである。図26では、図21中のステップS51,S52,S61,S62以外のステップの図示を省略する。
本実施形態の特定装置20では、制御部21は、診断対象の患者のT2強調画像のうちの1つを取得し(S51)、取得したT2強調画像に対して、脳腫瘍領域を特定する特定処理を実行する(S81)。制御部21は、特定処理によって脳腫瘍領域を特定できたか否かを判断し(S82)、特定できたと判断した場合(S82:YES)、取得したT2強調画像から、ステップS81で特定した脳腫瘍領域を抽出し(S52)、ステップS53以降の処理を行う。T2強調画像中に脳腫瘍領域を特定できないと判断した場合(S82:NO)、制御部21は、このT2強調画像に対する以降の処理を終了する。また、制御部21は、診断対象の患者のT1CE画像のうちの1つを取得し(S61)、取得したT1CE画像に対して、脳腫瘍領域を特定する特定処理を実行する(S83)。制御部21は、特定処理によって脳腫瘍領域を特定できたか否かを判断し(S84)、特定できたと判断した場合(S84:YES)、取得したT1CE画像から、ステップS83で特定した脳腫瘍領域を抽出し(S62)、ステップS63以降の処理を行う。T1CE画像中に脳腫瘍領域を特定できないと判断した場合(S84:NO)、制御部21は、このT1CE画像に対する以降の処理を終了する。
本実施形態では、上述した実施形態2と同様の効果が得られる。また本実施形態では、診断対象の医用画像(T2強調画像及びT1CE画像)中に脳腫瘍領域が有るか否かを判断し、有る場合に、この脳腫瘍領域(医用画像)に基づく判別処理を行う。よって、例えば脳ドック等で多数の患者から撮影された膨大な医用画像を医師が確認する前に、特定装置20による判別処理によって、脳腫瘍を患っている可能性のある患者を抽出することができる。よって、医師は、脳腫瘍の可能性が高い患者の医用画像を優先的に確認することができ、医師による診断の負担を軽減できると共に、診断漏れを抑制できる。本実施形態の構成は実施形態1,3にも適用可能であり、実施形態1,3に適用した場合であっても同様の効果が得られる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本開示の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。