JP6906347B2 - 医用画像分類装置、方法およびプログラム - Google Patents

Description

本発明は、医用画像を複数種類の症例領域に分類する医用画像分類装置、方法およびプログラムに関するものである。

被写体である患者の放射線画像および超音波画像を撮影することにより取得した医用画像を用いての画像診断が行われている。また、近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像が画像診断に用いられるようになってきている。

ところで、肺の疾患として間質性肺炎が知られている。間質性肺炎の患者のＣＴ画像を解析することにより、ＣＴ画像に含まれる蜂窩肺、網状影および嚢胞等の特定の症状を呈する病変を分類して定量化する手法が提案されている（非特許文献１，２参照）。このようにＣＴ画像を解析して病変を分類して定量化することにより、肺の疾患の程度を容易に判定することができる。また、このように分類して定量化した領域にそれぞれ異なる色を割り当てることにより、特定の症状の領域がどの程度画像内に含まれているかを、容易に診断できることとなる。

病変を分類する手法として、例えば上記非特許文献２においては、ＣＴ画像における判定対象となる画素を中心とした局所領域のヒストグラムを作成し、作成したヒストグラムと各種病変毎に予め作成されたサンプルのヒストグラムとの相関をとり、最も一致したサンプルヒストグラムに対応する病変に、判定対象となる画素を分類する手法が提案されている。また、診断対象となる画像から病変位置を検出し、検出されたすべての病変位置の特徴量を算出し、特徴量とデータベースに保存されたテクスチャ統計量等の統計量とに基づいて、検出された病変が特定の病名であることの確率を算出する手法が提案されている（特許文献１参照）。また、ディープラーニング等の手法により学習した判別器を用いて、病変を分類する手法も提案されている。

特開２００２−２３０５１８号公報

Evaluation of computer-based computer tomography stratification against outcome models in connective tissue disease-related interstitial lung disease: a patient outcome study、Joseph Jacob1ら、BMC Medicine (2016) 14:190、DOI 10.1186/s12916-016-0739-7 コンピュータによる間質性肺炎のCT画像の定量評価、岩澤多恵、断層映像研究会雑誌 第４１巻第２号、２０１４年８月

しかしながら、実際の医療においては、病変等の症例の定義は必ずしも明確ではなく、画像を見た医師により、または用途等により、症例の分類が微妙に異なる場合がある。また、病変は疾患に応じた特徴を有するが、疾患の評価には疾患の状態を明確に表すように、疾患毎に定義された症例の種類に応じた領域の大きさおよび変化等を評価することが重要である。このため、疾患毎に症例の定義を変更して管理する必要も生じる。上記非特許文献２および特許文献１に記載された手法は、サンプルヒストグラムおよび統計量等の予め定められた基準に基づいて症例を分類するものである。このため、医師または用途等に応じて、医用画像を症例領域に分類することは困難である。とくに、判別器を用いて症例領域を分類する場合、医師または用途に応じて教師データを用意して学習を行えば、適切に症例領域を分類できる。しかしながら、医師または用途に応じて学習のために大量の教師データを用意することは困難である。

本発明は上記事情に鑑みなされたものであり、医師または用途等に応じて、医用画像を複数種類の症例領域に適切に分類できるようにすることを目的とする。

本発明による医用画像分類装置は、医用画像の各画素を複数種類の症例領域に分類する医用画像分類装置であって、
医用画像の画素毎に、複数種類の症例領域のそれぞれであることの可能性を表す複数の評価値を出力する第１の分類手段と、
複数の評価値に基づく医用画像の各画素についての第１の分類結果を変換して、医用画像の各画素についての第２の分類結果を算出するための複数の変換定義情報を保存する保存手段と、
複数の変換定義情報から選択された変換定義情報に基づいて、第１の分類結果を変換して第２の分類結果を出力する第２の分類手段とを備えたことを特徴とするものである。

「症例領域」とは、医用画像内における特定の症状または特定の形態を呈する領域を意味する。このため、本実施形態においては、心臓および横隔膜等の特定の形態を呈する構造物そのものの領域も症例領域に含まれるものとする。

なお、本発明による医用画像分類装置においては、変換定義情報は、複数種類の症例領域を複数種類の症例領域よりも少ない種類の症例領域へのさらなる分類を定義し、第２の分類手段は、医用画像の各画素を、少ない種類の症例領域のいずれかに分類して第２の分類結果を出力するものであってもよい。

また、本発明による医用画像分類装置においては、第２の分類手段は、医用画像の各画素を複数種類の症例領域のいずれかに分類した第２の分類結果を出力するものであってもよい。

また、本発明による医用画像分類装置においては、変換定義情報は、複数種類の症例領域毎の重み係数を定義し、第２の分類手段は、複数の評価値に対して重み係数に基づく重み付け演算を行うことにより複数の重み付け評価値を算出し、重み付け評価値に基づいて、医用画像の各画素を複数種類の症例領域のいずれかに分類して第２の分類結果を出力するものであってもよい。

また、本発明による医用画像分類装置においては、保存手段は、患者毎の変換定義情報、病院毎の変換定義情報、用途毎の変換定義情報、および医師毎の変換定義情報の少なくとも１つを保存するものであってもよい。

また、本発明による医用画像分類装置においては、第１の分類手段は、医用画像の画素毎に複数種類の症例領域のそれぞれであることの可能性を表す複数の評価値を出力するように学習がなされた第１の判別器を有するものであってもよい。

また、本発明による医用画像分類装置においては、第１の判別器は深層学習方式により学習がなされた複数の階層を有し、複数の評価値は複数の階層のうちの最終の階層から出力されるものであり、
第２の分類手段は、第１の判別器における最終の階層の前段の階層の出力をさらに用いて第２の分類結果を出力するものであってもよい。

「最終の階層の前段」としては、最終の階層の直前の階層のみならず、さらに前段の階層をも含む。

また、本発明による医用画像分類装置においては、変換定義情報は、複数の評価値を入力とし、第２の分類結果を出力するように学習がなされた第２の判別器であってもよい。

また、本発明による医用画像分類装置においては、第２の分類結果を表示手段に表示する表示制御手段をさらに備えるものとしてもよい。

また、本発明による医用画像分類装置においては、第２の分類結果の修正の指示を受け付ける入力手段と、
修正の指示に基づいて選択された変換定義情報を修正する第１の修正手段とをさらに備えるものとしてもよい。

また、本発明による医用画像分類装置においては、第１の分類手段が変更された場合、第２の分類結果が、変更前の第１の分類手段が出力した複数の評価値を用いた場合と一致するように、複数の変換定義情報を修正する第２の修正手段をさらに備えるものとしてもよい。

本発明による医用画像分類方法は、医用画像の各画素を複数種類の症例領域に分類する医用画像分類方法であって、
医用画像の画素毎に、複数種類の症例領域のそれぞれであることの可能性を表す複数の評価値を出力し、
複数の評価値に基づく医用画像の各画素についての第１の分類結果を変換して、医用画像の各画素についての第２の分類結果を算出するための複数の変換定義情報から選択された変換定義情報に基づいて、第１の分類結果を変換して第２の分類結果を出力することを特徴とするものである。

なお、本発明による医用画像分類方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明による他の医用画像分類装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサであって、
医用画像の画素毎に、複数種類の症例領域のそれぞれであることの可能性を表す複数の評価値を出力し、
複数の評価値に基づく医用画像の各画素についての第１の分類結果を変換して、医用画像の各画素についての第２の分類結果を算出するための複数の変換定義情報から選択された変換定義情報に基づいて、第１の分類結果を変換して第２の分類結果を出力する処理を実行するプロセッサを備えたことを特徴とするものである。

本発明によれば、医用画像の画素毎に、複数種類の症例領域のそれぞれであることの可能性を表す複数の評価値が出力され、複数の評価値に基づく医用画像の各画素についての第１の分類結果を変換して、医用画像の各画素についての第２の分類結果を算出するための複数の変換定義情報から選択された変換定義情報に基づいて、第１の分類結果が変換されて第２の分類結果が出力される。このため、選択された変換定義情報に応じて、医用画像を複数種類の症例領域に適切に分類することができる。

本発明の第１の実施形態による医用画像分類装置を適用した、診断支援システムの概要を示すハードウェア構成図 第１の実施形態による医用画像分類装置の構成を示す概略ブロック図 多層ニューラルネットワークの一例を示す図 肺領域のある画素についての第１の分類結果を示す図 第１の変換定義情報を示す図 第２の変換定義情報をある画素における評価値とともに示す図 医師毎に定義される変換定義情報を示す図 ディスプレイに表示された第２の分類結果を示す図 第１の実施形態において行われる処理を示すフローチャート 第３の実施形態による医用画像分類装置の構成を示す概略ブロック図 第２の分類結果の修正を説明するための図 第４の実施形態による医用画像分類装置の構成を示す概略ブロック図 評価値の中間値を変換定義情報に定義した場合の第２の分類結果を示す図

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の第１の実施形態による医用画像分類装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による医用画像分類装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。

３次元画像撮影装置２は、被写体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。この３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被写体である患者の診断対象部位は肺であり、３次元画像撮影装置２はＣＴ装置であり、被写体の肺を含む胸部のＣＴ画像を３次元画像Ｖ０として生成する。なお、３次元画像Ｖ０が医用画像に対応する。

画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｖ０の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。

医用画像分類装置１は、１台のコンピュータに、本発明の医用画像分類プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。医用画像分類プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。

図２は、コンピュータに医用画像分類プログラムをインストールすることにより実現される第１の実施形態による医用画像分類装置の概略構成を示す図である。図２に示すように、医用画像分類装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、医用画像分類装置１には、ディスプレイ１４および、マウス等の入力部１５が接続されている。なお、入力部１５が入力手段に対応する。

ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、被写体の３次元画像、並びに処理に必要な情報を含む各種情報が記憶されている。

また、メモリ１２には、医用画像分類プログラムが記憶されている。医用画像分類プログラムは、ＣＰＵ１１に実行させる処理として、分類の対象となる３次元画像Ｖ０を取得する画像取得処理、３次元画像Ｖ０の画素毎に、複数種類の症例領域のそれぞれであることの可能性を表す複数の評価値を出力する第１の分類処理、複数の評価値に基づく３次元画像Ｖ０の各画素についての第１の分類結果を変換して、３次元画像Ｖ０の各画素についての第２の分類結果を算出するための複数の変換定義情報から選択された変換定義情報に基づいて、第１の分類結果を変換して第２の分類結果を出力する第２の分類処理、および第２の分類結果をディスプレイ１４に表示する表示制御処理を規定する。

そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２０、第１の分類部２１、第２の分類部２２、および表示制御部２３として機能する。なお、医用画像分類装置１は、画像取得処理、第１の分類処理、第２の分類処理および表示制御処理をそれぞれ行う複数のプロセッサまたは処理回路を備えるものであってもよい。また、本実施形態の医用画像分類装置１は、第１の分類部２１、第２の分類部２２、および表示制御部２３のみから構成されるものであってもよい。また、本実施形態においては、ストレージ１３および画像保管サーバ３が保存手段に対応する。

画像取得部２０は、分類の対象となる３次元画像Ｖ０を画像保管サーバ３から取得する。なお、３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、画像取得部２０は、ストレージ１３から３次元画像Ｖ０を取得するようにしてもよい。

第１の分類部２１は、３次元画像Ｖ０の各画素を複数種類の症例領域に分類する。本実施形態においては、第１の分類部２１は、３次元画像Ｖ０に含まれる肺領域に含まれる各画素を、複数種類の症例領域に分類できるようにディープラーニング（深層学習）がなされた多層ニューラルネットワークからなる判別器を有する。なお、第１の分類部２１が有する判別器が第１の判別器に対応する。多層ニューラルネットワークでは、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して、各層において各種カーネルを用いて演算処理を行い、これにより得られる特徴量のデータを取得し、特徴量のデータに対して次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力されたデータを複数のクラスに分類することができる。

なお、本実施形態においては、多層ニューラルネットワーク４０を３次元画像Ｖ０を入力として、肺領域の複数種類の症例領域への分類結果を出力するものとして説明するが、３次元画像Ｖ０を構成する被写体の各断層面を表す２次元の断層画像を入力とし、肺領域の複数種類の症例領域への分類結果を出力するように構成することも可能である。

図３は多層ニューラルネットワークの一例を示す図である。図３に示すように多層ニューラルネットワーク４０は、入力層４１および出力層４２を含む複数の階層からなる。なお、出力層４２の手前の階層には参照番号４３を付与している。本実施形態においては、３次元画像Ｖ０に含まれる肺領域を、正常肺、ＧＧＯ（ground glass opacity）腫瘤結節影、Ｍｉｘｅｄ腫瘤結節影、Ｓｏｌｉｄ腫瘤結節影、すりガラス影、淡いすりガラス影、小葉中心性すりガラス影、コンソリデーション、低吸収、小葉中心性気腫、汎小葉性気腫、正常肺気腫傾向、嚢胞、ＴＩＢ(tree-in-bud appearance)、小結節（非小葉中心性）、小葉中心性小結節影、小葉間隔壁肥厚、気管支壁肥厚、気管支拡張、細気管支拡張、気管支透亮像、牽引性気管支拡張、空洞浸潤影、空洞腫瘤、網状影、微細網状影、蜂窩肺、胸水、胸膜肥厚、胸壁、心臓、横隔膜、および血管の３３種類の症例領域に分類するように学習がなされている。なお、本実施形態においては、症例領域には、肺領域内における特定の症状または特定の形態を呈する領域を含む。このため、本実施形態においては、心臓および横隔膜等の特定の形態を呈する構造物そのものの領域も症例領域に含まれるものとする。

本実施形態においては、これら３３種類の症例について、多数の教師データを用いて、多層ニューラルネットワーク４０に学習させる。学習の際には症例が既知の３次元画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ×１．５ｃｍ）に正規化されたボクセル領域を切り出し、切り出したボクセル領域の画像を教師データとして用いる。そして、多層ニューラルネットワーク４０に教師データを入力して、症例領域の分類結果を出力させる。次いで、出力された結果を教師データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク４０の各層に含まれるユニット（図３に丸印で示す）の各階層間における結合の重みを修正する。そして、結合の重みの修正を、多数の教師データを用いて、予め定められた回数、または出力される分類結果の誤差が０％、または予め定められたしきい値以下になるまで繰り返し行い、学習を終了する。

第１の分類部２１は、分類のために、３次元画像Ｖ０から対象領域である肺領域を抽出する。肺領域を抽出する手法としては、３次元画像Ｖ０における画素毎の信号値をヒストグラム化し、肺をしきい値処理することにより抽出する方法、または肺を表すシード点に基づく領域拡張法(Region Growing)等、任意の手法を用いることができる。

第１の分類部２１は、上述したように学習がなされた多層ニューラルネットワーク４０からなる判別器に、抽出した肺領域から教師データと同一の領域を順次切り出して入力する。これにより、切り出した領域の中心画素について、３３種類の症例領域のそれぞれであることの可能性を表す３３の評価値が出力される。この評価値の出力を肺領域の全画素について行うことにより、肺領域の画素毎に、３３種類の症例領域のそれぞれであることの可能性を表す３３種類の評価値が出力される。なお、３３種類の評価値のうちの最も値が大きい症例領域に、肺領域の各画素を分類することも可能である。

図４は肺領域のある画素についての第１の分類結果を示す図である。なお、図４には、評価値が大きい上位４種類の症例と、評価値が小さい下位２種類の症例についての評価値を示している。図４に示すように、評価値は「網状影」が８．５と最も高く、以下、すりガラス影の７．６、気管支拡張の３．２、浸潤影の２．９と続いている。また、正常肺の評価値は−７．１、低吸収域（気腫）の評価値は−１２．３である。このため、図４に示す評価値が出力された画素は、症例領域として網状影に分類される。

第２の分類部２２は、複数の変換定義情報から選択された変換定義情報に基づいて、第１の分類結果を変換して第２の分類結果を出力する。このために、本実施形態においては、第１の分類部２１による第１の分類結果を変換して、３次元画像Ｖ０の肺領域の各画素についての第２の分類結果を算出するための複数の変換定義情報がストレージ１３に保存されている。

本実施形態においては、変換定義情報としては、
（１）３３種類の症例領域を３３種類の症例領域よりも少ない種類の症例領域へのさらなる分類を変換パラメータとして定義する第１の変換定義情報、および
（２）３３種類の症例領域毎の重み係数を変換パラメータとして定義する第２の変換定義情報、
の２種類の変換定義情報が用意される。以下、第１および第２の変換定義情報について説明する。まず、第１の変換定義情報について説明する。

例えば、肺気腫は肺胞の破壊等により気腫化が進行する。気腫化の進行状態はＣＴ画像では、低吸収化として現れる。軽度の肺気腫は、正常な肺よりもやや低吸収な病変である。肺気腫が進行すると、肺の小葉単位で中央が破壊され肺実質がない領域が存在する小葉中心性肺気腫と称される症状が現れる。中心性肺気腫がさらに進行すると、まとまった広範囲の領域が完全に破壊された汎小葉性肺気腫と称される状態に成長する。肺の診断においては、これら複数種類の症状と正常な肺領域とを正確に評価することが重要である。このために、肺領域をそれぞれの症状毎の症例領域に分類し、症例領域毎に体積を比較したり、ある特定の症例領域の大きさの変化を評価したりして、疾患の進行状況の確認および投薬等による治療の効果を評価する。一方、この時点で他の疾患に罹患していない患者においては、点状影およびすりガラス影等の病変は、過去の疾患の結果としてとして残っている陰影であることが多い。このような病変の症例領域は詳細に評価する必要はなく、纏めて１つのグループとして扱う方が診断上分かりやすい。

一方、間質性肺炎の進行例では、当初は胸壁近くに微細網状影が発生し、微細な網状の構造が徐々に大きくなり、より大きな網状の病変（蜂窩肺）に成長していく。間質性肺炎では、このような間質性の変化を中心に評価することが、診断上重要である。

また、診断の目的等により、症状の中間状態をどちらに含めるかなどの判断が変わってくる場合がある。

このため、第１の変換定義情報は、第１の分類結果に含まれる３３種類の症例領域をグループ化し、３３種類よりも少ない種類の症例領域へのさらなる分類を定義する。

図５は第１の変換定義情報を示す図である。なお、図５には複数種類の症例を、肺気腫用にさらに分類するための変換定義情報および間質性肺炎用にさらに分類するための変換定義情報が示されている。図５に示すように、肺気腫用の変換定義情報は、浸潤影および腫瘤影を「浸潤影等高濃度」の１つの症例に纏めて分類し、気管支拡張および気管支壁肥厚を「気管支」の１つの症例に纏めて分類し、すりガラス影、淡いすりガラス影、網状影および線状影を「すりガラス影等」の１つの症例に纏めて分類するように定義がなされている。なお、このような定義が変換定義情報の変換パラメータとなる。

また、間質性肺炎用の変換定義情報は、浸潤影および腫瘤影を「浸潤影等高濃度」の１つの症例に纏めて分類し、気管支拡張および気管支壁肥厚を「気管支」の１つの症例に纏めて分類し、軽度低吸収域、小葉中心性気腫および汎小葉中心性気腫を「低吸収域」の１つの症例領域に纏めて分類するように定義がなされている。

なお、上記では、例えば肺気腫用の変換定義情報において、すりガラス影、淡いすりガラス影、網状影および線状影を「すりガラス影等」の１つの症例に纏めて分類するように定義がなされている。しかしながら、すりガラス影、淡いすりガラス影、網状影および線状影のうちの最も評価値が高い１つの症例領域に分類するように、変換定義情報を定義してもよい。この場合、すりガラス影、淡いすりガラス影、網状影および線状影のそれぞれに分類された画素について、最大となった評価値の平均値を算出する。例えば、すりガラス影に分類された画素は、すりガラス影の評価値が最大となっているため、すりガラス影に分類された全画素における、すりガラス影についての評価値の平均値を算出する。また、淡いすりガラス影に分類された画素については、淡いすりガラス影に分類された全画素における、淡いすりガラス影についての評価値の平均値を算出する。また、網状影に分類された画素については、網状影に分類された全画素における、網状影についての評価値の平均値を算出する。線状影に分類された画素については、線状影に分類された全画素における、線状影についての評価値の平均値を算出する。そして、算出した平均値が最も大きい症例領域に、すりガラス影、淡いすりガラス影、網状影および線状影に分類された画素を分類する。例えば、すりガラス影、淡いすりガラス影、網状影および線状影のそれぞれについての評価値の平均値が、それぞれ５．０、６．２、４．５、３．７であった場合、これら４つの症例領域は最も平均値が大きい「淡いすりガラス影」の１つの症例領域に纏められて分類されることとなる。

次に、第２の変換定義情報について説明する。第２の変換定義情報は、３３種類の症例領域毎の重み係数を定義する。図６は第２の変換定義情報をある画素における評価値とともに示す図である。なお、図６には各症例領域に対する重み係数、第１の分類部２１による評価値および後述するように重み係数により変換された重み付け評価値を示す。また、図６には図４と同様の症例領域のみが示されている。図６に示すように、ある画素の重み係数が、図６の上から順に、０．８、１．１、０．８、１．０…１．２、０．９となっている。ここで、第１の分類部２１により出力された評価値は、網状影が最大である。しかしながら、評価値を重み係数により重み付けて重み付け評価値を算出すると、すりガラス影が最大となる。このため、図６に示す変換定義情報により、図６に示されている評価値を変換すると、変換前は網状影に分類されるものが、変換後はすりガラス影に分類されることとなる。なお、第２の変換定義情報においては、重み係数が変換パラメータとなる。

なお、上記第１および第２の変換定義情報は、疾患毎に定義しておくことも可能であるが、医師毎に定義しておくことも可能である。図７は医師毎に定義される変換定義情報を示す図である。図７には医師を特定する医師ＩＤおよび疾患名に対応づけられて変換定義情報の定義名、変換方式、および変換パラメータが示されている。なお、図７においてＣＯＰＤ（Chronic Obstructive Pulmonary Disease）は、慢性閉塞性肺疾患である。

図７において、医師ＩＤの欄における＜医師共通＞は全医師について共通の変換定義情報であることを示す。また、定義名で「Ａ医師専用」とは、医師ＩＤが１０９８０１のＡ医師の専用の変換定義情報であることを示す。また、「Ｂ医師専用」とは、医師ＩＤが１００３１１のＢ医師の専用の変換定義情報であることを示す。「Ｃ医師専用」とは、医師ＩＤが１００３０７のＣ医師の専用の変換定義情報であることを示す。

また、図７において、変換方式の欄における（１）は第１の変換定義情報であることを、（２）は第２の変換定義情報であることをそれぞれ示す。また、変換パラメータの欄における＜肺気腫用グループ定義＞および＜間質性肺炎用グループ定義＞は、図５に示した定義である。また、Ｗ０１，Ｗ０２…の値は第２の変換定義情報における重み係数である。重み係数の添え字の数値は、症例領域毎に定義された番号を示す。図７に示すように、医師毎に第２の変換定義情報における重み係数が異なるものとなっている。

なお、上述した変換定義情報は、本実施形態による医用画像分類装置において処理を行う際に、入力部１５を用いて操作者により選択される。そして、選択された変換定義情報がストレージ１３から読み出されて、第２の分類処理に供される。

第２の分類部２２は、選択された変換定義情報に基づいて、第１の分類結果を変換して第２の分類結果を出力する。具体的には、第１の変換定義情報が選択された場合は、３３種類の症例領域が、３３種類よりも少ない種類の症例領域に肺領域が分類されて、第２の分類結果が出力される。なお、第１の変換定義情報が選択された場合、第１の分類部２１は、肺領域の各画素の分類結果、すなわち各画素において評価値が最も大きい症例領域への分類結果を第１の分類結果として出力する。

一方、第２の変換定義情報が選択された場合は、３３種類の症例領域の評価値に重み係数が乗算され、重み付けされた評価値に基づいて、肺領域の各画素が分類されて第２の分類結果が出力される。なお、第２の変換定義情報が選択された場合、第１の分類部２１は、肺領域の各画素における３３種類の評価値を第１の分類結果として出力する。

なお、本実施形態においては、第１の変換定義情報および第２の変換定義情報の双方を選択できるようにしてもよい。この場合、第２の分類部２２は、第２の変換定義情報を用いて、３３種類の症例領域の評価値に重み係数を乗算し、重み付けされた評価値に基づいて、肺領域の各画素を分類する。さらに、第２の分類部２２は、第１の変換定義情報を用いて、重み付けされた評価値に基づいて分類された３３種類の症例領域を、３３種類よりも少ない種類の症例領域に分類して、第２の分類結果を出力する。

表示制御部２３は、第２の分類部２２が出力した第２の分類結果をディスプレイ１４に表示する。具体的には、表示制御部２３は、３次元画像Ｖ０に含まれる肺領域の各画素に対して、第２の分類結果により同一の分類とされた画素を抽出する。さらに、表示制御部２３は、同一の症例領域に分類された画素に対して同一の色を割り当てる。そして色を割り当てた３次元画像Ｖ０を第２の分類結果としてディスプレイ１４に表示する。図８はディスプレイ１４に表示された第２の分類結果を示す図である。なお、図８においては、３次元画像Ｖ０におけるある断層面の断層画像を示しているが参照符号としてＶ０を示している。なお、図８においては説明を容易なものとするために、第１の変換定義情報が選択され、３３種類の症例領域が、第２の分類部２２により、すりガラス影、正常影、気管支、蜂窩肺、網状影、コンソリデーション、低吸収域および嚢胞の８種類の症例領域に分類されたものとする。

図８に示すように、３３種類の症例領域は、すりガラス影、正常影、気管支、蜂窩肺、網状影、コンソリデーション、低吸収域および嚢胞の８種類の症例領域に纏められ、そのそれぞれに異なる色が割り当てられている。図８においては色が異なることを模様が異なることにより示している。また、図８には、各色がいずれの症例であるかを示すレファレンス５０を示している。

次いで、第１の実施形態において行われる処理について説明する。図９は第１の実施形態において行われる処理を示すフローチャートである。なお、使用する変換定義情報は操作者により選択されているものとする。まず、画像取得部２０が、３次元画像Ｖ０を取得し（ステップＳＴ１）、第１の分類部２１が、３次元画像Ｖ０の画素毎に、複数種類の症例領域のそれぞれであることの可能性を表す複数の評価値を出力する（第１の分類処理：ステップＳＴ２）。次いで、第２の分類部２２が、選択された変換定義情報に基づいて、複数の評価値に基づく３次元画像Ｖ０の各画素についての第１の分類結果を変換して、３次元画像Ｖ０の各画素についての第２の分類結果を出力する（第２の分類処理：ステップＳＴ３）。そして、表示制御部２３が、第２の分類結果をディスプレイ１４に表示し（ステップＳＴ４）、処理を終了する。

このように、第１の実施形態によれば、選択された変換定義情報に基づいて、第１の分類結果を変換して第２の分類結果を出力しているため、選択された変換定義情報に応じて、３次元画像Ｖ０を複数種類の症例領域に適切に分類することができる。

また、医師毎の変換定義情報を保存しておくことにより、医師に応じて３次元画像Ｖ０を複数種類の症例領域に適切に分類することができる。

なお、上記実施形態においては、第２の分類部２２において、変換定義情報に定義された変換パラメータに基づいて第１の分類結果を分類しているが、変換定義情報を、肺領域の各画素について、第１の分類部２１が出力する３３種類の評価値を入力とし、３３種類の評価値を改めて出力するように学習がなされた第２の判別器とし、複数の第２の判別器から選択された第２の判別器を変換定義情報として用いて、第２の分類部２２において第２の分類結果を出力するものとしてもよい。以下、これを第２の実施形態として説明する。

なお、説明のため、第１の分類部２１が有する判別器を以降第１の判別器と称する。第２の判別器は上述したように症例毎または医師毎に用意される。なお、第２の実施形態による医用画像分類装置の構成は、図２に示す第１の実施形態による医用画像分類装置の構成と同一であるため、ここでは装置についての詳細な説明は省略する。

第２の判別器は、第１の分類部２１と同様に、ディープラーニング（深層学習）がなされた多層ニューラルネットワークからなるものとしてもよいが、第２の判別器の学習に際して、第１の分類部２１が出力する複数の評価値を教師データとして多数用意することは困難である。このため、第２の実施形態においては、第２の判別器は比較的少数の教師データによっても分類が可能なように学習がなされた判別器とする。

第２の実施形態においては、第１の分類部２１が出力するある画素についての複数の評価値を入力とし、上述した第２の変換定義情報により第１の分類結果を変換した場合と同様の第２の分類結果が出力されるように、第２の判別器の学習を行う。

ここで、第１の判別器が出力した評価値を（Ｘ１，Ｘ２，Ｘ３，・・・Ｘｍ；ｍ＝３３）（以下第１の評価値とする）とすると、第２の判別器における１つのユニットの出力である評価値Ｙｎ（以下第２の評価値とする）は、下記の式（１）により表される。但し、α、βは学習により定まる定数である。第２の判別器からはｎ（＝ｍ）個の評価値（第２の評価値）が出力される。第２の実施形態は、上述したように第２の変換定義情報により第１の分類結果を変換した場合と同様の第２の分類結果が出力されるように、第２の判別器の学習を行うものである。第２の変換定義情報により第１の分類結果を変換した場合と同様の第２の分類結果は、第１の判別器が出力した評価値に重み係数を乗算した評価値である。ここで、式（１）における定数α、βは評価値Ｙｎ毎に学習により定められる。すなわち、第２の変換定義情報により第１の分類結果を変換した場合と同様の第２の分類結果が第２の判別器から出力されるように、式（１）におけるα、βの値が学習により定められる。

Yn=１／(１+exp(-(α+β1*X1+β2*X2+β3*X3+・・・・・+βm*Xm))) （１）
なお、論理的な回帰分析を用いた学習をすべての症例について行うと、過学習になりやすい。このため、学習の際には、評価値Ｙｎに対応する症例領域に関連する症例領域の第１の評価値Ｘのみを採用し、関連が小さい症例領域についての第１の評価値については、係数βの値を０とすることが好ましい。

このように、変換定義情報として第２の判別器を用いることにより、第１の実施形態のように、各変換定義情報に対して変換パラメータを設定するよりも比較的高い自由度により第１の分類結果を変換して第２の分類結果を出力できるようになる。

ここで、第１の分類部２１はディープラーニングにより学習がなされた第１の判別器を有し、３３種類の症例領域に応じた３３の評価値（Ｘ１，Ｘ２，Ｘ３，・・・Ｘｍ）を図３に示す出力層４２から出力する。その一方で、図３に示す出力層４２の手前の階層４３における各ユニットの出力（ｘ１，ｘ２，ｘ３，・・・ｘｋ；ｋは階層４３におけるユニットの数）は、症例領域の分類のために重要な値となっている。このため、第２の実施形態においては、出力層４２から出力される第１の評価値に加えて、出力層４２の１つ前の階層４３からの出力値（ｘ１，ｘ２，ｘ３，・・・ｘｋ）を用いて第２の判別器の学習を行ってもよい。この場合、評価値Ｙｎ（以下第２の評価値とする）は、下記の式（２）により表される。但し、α、β、γは定数である。

Yn=１／(１+exp(-(α+β1*X1+β2*X2+β3*X3+・・・・・+βm*Xm
+γ1*x1+γ2*x2+γ3*x3+・・・・・+γk*xk))) （２）
なお、１つ前の階層のみならず、さらに前の階層からの出力値を用いて、第２の判別器の学習を行ってもよい。

また、上記第１および第２の実施形態において、第２の分類結果をディスプレイ１４に表示しているが、操作者による第２の分類結果の修正の指示を受け付け、修正の指示に基づいて選択された変換定義情報を修正するようにしてもよい。以下これを第３の実施形態として説明する。

図１０は第３の実施形態による医用画像分類装置の構成を示す概略ブロック図である。なお、図１０において図２と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。図１０に示すように、第３の実施形態による医用画像分類装置は、操作者による第２の分類結果の修正の指示を受け付け、修正の指示に基づいて選択された変換定義情報を修正する修正部２４を備えた点が第１の実施形態と異なる。

図１１は第２の分類結果の修正を説明するための図である。なお、ここでは第２の分類結果は、第２の変換定義情報に基づいて第１の分類結果を変換することにより取得されたものとする。図１１の左側に示すように、第２の分類結果に症例領域Ａ０１および症例領域Ａ０２が含まれており、操作者が入力部１５を操作して、図１１の右側に示すように、症例領域Ａ０２を症例領域Ａ０１に含めるように、症例領域Ａ０１の境界線を変更したものとする。修正部２４は操作者による修正の指示を受け付け、症例領域Ａ０１の症例に対する重み係数（Ｗ０１とする）を大きくし、症例領域Ａ０２の症例に対する重み係数（Ｗ０２とする）を小さくするように、変換定義情報を修正する。詳細には、第１の分類部２１が出力した肺領域内の各画素における第１の評価値のうち、症例領域Ａ０１の第２の評価値が症例領域Ａ０２の第２の評価値よりも大きくなるように、重み係数Ｗ０１，Ｗ０２を修正する。

このように変換定義情報を修正することにより、次に同一の変換定義情報を用いて第２の分類処理を行った際に、症例領域Ａ０２の第１の評価値が最大となる画素について、第２の分類処理によって症例領域Ａ０１が最大となるように第２の評価値が出力される。このため、操作者により修正を反映させた第２の分類結果が得られることとなる。

なお、上述したように重み係数を修正すると、図１１に示した症例領域Ａ０１と症例領域Ａ０２との境界のみならず、他の症例領域においても分類結果が変わってしまう可能性がある。このため、第３の実施形態において修正された変換定義情報は、次回以降の処理において、症例領域Ａ０１，Ａ０２についての評価値が最大となった画素に対してのみ適用することが好ましい。

また、上記では、ディスプレイ１４に表示された第２の分類結果において、症例領域Ａ０１の境界を変更することにより変換定義情報を修正しているが、症例領域Ａ０１，Ａ０２に対する重み係数Ｗ０１，Ｗ０２を変更するように修正を行い、重み係数Ｗ０１，Ｗ０２が変更される都度、修正された変換定義情報に基づく第２の分類結果を表示して、変換定義情報を修正するようにしてもよい。

また、上記第１から第３の実施形態において、第１の分類部２１が有する第１の判別器が精度向上等によりバージョンアップされる場合がある。このような場合、変換定義情報も同時に修正することが好ましい。以下、これを第４の実施形態として説明する。

図１２は第４の実施形態による医用画像分類装置の構成を示す概略ブロック図である。なお、図１２において図１０と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。図１２に示すように、第４の実施形態による医用画像分類装置は、第３の実施形態による医用画像分類装置の修正部２４を第１の修正部２４とし、第１の分類部２１の変更に伴い、変換定義情報を修正する第２の修正部２５を備えた点が第３の実施形態と異なる。

ここで、第４の実施形態においては、上記第３の実施形態において、第１の修正部２４が行った、変換定義情報への修正を第１の修正情報としてストレージ１３に保存しておく。そして、第１の分類部２１の第１の判別器がバージョンアップされると、第２の修正部２５はストレージ１３に保存された第１の修正情報を参照して、変換定義情報を修正する。ここで、第３の実施形態においては、症例領域Ａ０１，Ａ０２についての重み係数Ｗ０１，Ｗ０２が修正されている、このため、第２の修正部２５は、第１の判別器のバージョンアップの状況に応じて、重み係数Ｗ０１，Ｗ０２を修正する。具体的には、第１の判別器のバージョンアップによる症例領域Ａ０１，Ａ０２についての第１の評価値の変更に拘わらず、第３の実施形態による修正された変換定義情報を用いた場合と同様の第２の分類結果が得られるように、変換定義情報を修正する。

なお、第１の分類部２１のバージョンアップ前の第２の分類結果と、バージョンアップされかつ変換定義情報が修正された後の第２の分類結果とを同時にディスプレイ１４に表示してもよい。これにより、操作者はさらなる修正が必要な場合に、適切に変換定義情報を修正することができる。また、この際に、バージョンアップの前後で第２の分類結果に大きな相違が生じた場合、その旨を警告するようにしてもよい。これにより、操作者は改めて変換定義情報を修正することができることとなる。

このように、第４の実施形態においては、第２の修正部２５により変換定義情報を修正しているため、第１の判別器がバージョンアップされても、以前と同様の第２の分類結果を得ることができる。

また、上記第４の実施形態においては、第３の実施形態に第２の修正部２５を設けているが、上記第１および第２の実施形態において第２の修正部２５を設けるようにしてもよい。この場合、とくに変換定義情報が第２の判別器である場合、第１の分類部２１の変更に伴い、保存されている前回の学習データを使用して、自動的に学習し直すことにより係数α、β、γの値を再度設定すれば、以前と同様の第２の分類結果を得ることができる。

なお、上記各実施形態においては、第１および第２の変換定義情報を用いているが、３３種類の症例領域について、中間の状態を定義したい場合がある。例えば、網状影とすりガラス影との中間状態を定義したい場合がある。この場合、「網状影・すりガラス影中間」の分類を追加するように定義された変換定義情報を用意することが好ましい。具体的には、変換定義情報として、網状影・すりガラス影中間＝２×（網状影の評価値）×（すりガラス影の評価値）／（（網状影の評価値）＋（すりガラス影の評価値））なる演算を定義しておく。なお、この演算は調和平均を算出するものとなる。これにより、図１３に示すように、「網状影・すりガラス影中間」の状態を第２の分類結果に追加することができる。なお、図１３においては第２の分類結果において、「網状影・すりガラス影中間」が最大値となるため、この画素は「網状影・すりガラス影中間」に分類されることとなる。

また、上記各実施形態においては、医師毎に変換定義情報を用意しているが、患者毎、病院毎または用途毎に変換定義情報を用意してもよい。

以下、本実施形態の作用効果について説明する。

患者毎の変換定義情報、病院毎の変換定義情報、用途毎の変換定義情報、および医師毎の変換定義情報の少なくとも１つを保存しておくことにより、患者毎、病院毎、用途毎、および医師毎の少なくとも１つに応じて、医用画像を複数種類の症例領域に適切に分類することができる。

表示手段に表示された第２の分類結果の修正の指示を受け付け、修正の指示に基づいて選択された変換定義情報を修正することにより、修正された変換定義情報を用いれば、修正する指示を行った者の意図を反映させて、医用画像を複数種類の症例領域に適切に分類することができる。

複数の評価値の算出のためのアルゴリズムが変更された場合、第２の分類結果が、変更前のアルゴリズムにより算出された複数の評価値を用いた場合と一致するように、複数の変換定義情報を修正することにより、評価値算出のためのアルゴリズムが変更されても、それまでの第２の分類結果を反映させて、医用画像を複数種類の症例領域に適切に分類することができる。

１ 医用画像分類装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ ディスプレイ
１５ 入力部
２０ 画像取得部
２１ 第１の分類部
２２ 第２の分類部
２３ 表示制御部
２４ （第１の）修正部
２５ 第２の修正部
４０ 多層ニューラルネットワーク
４１ 入力層
４２ 出力層
４３ 出力層の手前の階層
５０ レファレンス
Ａ０１，Ａ０２ 症例領域
Ｖ０ ３次元画像

Claims (8)

1. 医用画像の各画素を複数種類の症例領域のいずれかに分類する医用画像分類装置であって、
   前記医用画像の各画素についての第１の分類結果を変換して、前記医用画像の各画素についての第２の分類結果を算出するための複数の変換定義情報であって、（ｉ）前記複数種類の症例領域の該複数種類の症例領域よりも少ない種類の症例領域へのさらなる分類を定義した少なくとも１つの第１の変換定義情報、および（ｉｉ）前記複数種類の症例領域毎の重み係数を定義した少なくとも１つの第２の変換定義情報、を含む複数の変換定義情報を保存する保存手段と、
   前記第１の変換定義情報が選択された場合に、前記医用画像の画素毎に、前記複数種類の症例領域のうち該複数の症例領域のそれぞれであることの可能性を表す複数の評価値が最も大きい症例領域への分類結果を前記第１の分類結果として出力し、前記第２の変換定義情報が選択された場合に、前記医用画像の画素毎に、前記複数の評価値を前記第１の分類結果として出力する第１の分類手段と、
   前記複数の変換定義情報から前記第１の変換定義情報が選択された場合、選択された前記第１の変換定義情報に基づいて前記第１の分類結果を変換して、前記医用画像の各画素を前記少ない種類の症例領域のいずれかに分類した前記第２の分類結果を出力し、前記複数の変換定義情報から前記第２の変換定義情報が選択された場合、選択された前記第２の変換定義情報により定義される前記重み係数に基づいて、前記第１の分類結果である複数の評価値に対して重み付け演算を行うことにより複数の重み付け評価値を算出し、該重み付け評価値に基づいて、前記医用画像の各画素を前記複数種類の症例領域のいずれかに分類した第２の分類結果を出力する第２の分類手段とを備えたことを特徴とする医用画像分類装置。
2. 前記保存手段は、患者毎の前記第１および前記第２の変換定義情報、病院毎の前記第１および前記第２の変換定義情報、用途毎の前記第１および前記第２の変換定義情報、並びに医師毎の前記第１および前記第２の変換定義情報の少なくとも１つを保存する請求項１記載の医用画像分類装置。
3. 前記第１の分類手段は、前記医用画像の画素毎に前記複数種類の症例領域のそれぞれであることの可能性を表す複数の評価値を出力するように学習がなされた第１の判別器を有する請求項１または２記載の医用画像分類装置。
4. 前記第２の分類結果を表示手段に表示する表示制御手段をさらに備えた請求項１から３のいずれか１項記載の医用画像分類装置。
5. 前記第２の分類結果の修正の指示を受け付ける入力手段と、
   前記修正の指示に基づいて前記選択された変換定義情報を修正する第１の修正手段とをさらに備えた請求項１から４のいずれか１項記載の医用画像分類装置。
6. 前記第１の分類手段が、精度向上によりバージョンアップされた場合、前記第２の分類結果が、前記バージョンアップされる前の前記第１の分類手段が出力した前記第１の分類結果を用いた場合と一致するように、前記複数の変換定義情報を修正する第２の修正手段をさらに備えた請求項１から５のいずれか１項記載の医用画像分類装置。
7. 医用画像の各画素を複数種類の症例領域のいずれかに分類する医用画像分類方法であって、
   前記医用画像の各画素についての第１の分類結果を変換して、前記医用画像の各画素についての第２の分類結果を算出するための複数の変換定義情報であって、（ｉ）前記複数種類の症例領域の該複数種類の症例領域よりも少ない種類の症例領域へのさらなる分類を定義した少なくとも１つの第１の変換定義情報、および（ｉｉ）前記複数種類の症例領域毎の重み係数を定義した少なくとも１つの第２の変換定義情報、を含む複数の変換定義情報のうちの前記第１の変換定義情報が選択された場合に、前記医用画像の画素毎に、前記複数種類の症例領域のうち該複数の症例領域のそれぞれであることの可能性を表す複数の評価値が最も大きい症例領域への分類結果を前記第１の分類結果として出力し、前記第２の変換定義情報が選択された場合に、前記医用画像の画素毎に、前記複数の評価値を前記第１の分類結果として出力し、
   前記複数の変換定義情報から前記第１の変換定義情報が選択された場合、選択された前記第１の変換定義情報に基づいて前記第１の分類結果を変換して、前記医用画像の各画素を前記少ない種類の症例領域のいずれかに分類した前記第２の分類結果を出力し、前記複数の変換定義情報から前記第２の変換定義情報が選択された場合、選択された前記第２の変換定義情報により定義される前記重み係数に基づいて、前記第１の分類結果である複数の評価値に対して重み付け演算を行うことにより複数の重み付け評価値を算出し、該重み付け評価値に基づいて、前記医用画像の各画素を前記複数種類の症例領域のいずれかに分類した第２の分類結果を出力することを特徴とする医用画像分類方法。
8. 医用画像の各画素を複数種類の症例領域のいずれかに分類する医用画像分類方法をコンピュータに実行させるためのプログラムであって、
   前記医用画像の各画素についての第１の分類結果を変換して、前記医用画像の各画素についての第２の分類結果を算出するための複数の変換定義情報であって、（ｉ）前記複数種類の症例領域の該複数種類の症例領域よりも少ない種類の症例領域へのさらなる分類を定義した少なくとも１つの第１の変換定義情報、および（ｉｉ）前記複数種類の症例領域毎の重み係数を定義した少なくとも１つの第２の変換定義情報、を含む複数の変換定義情報のうちの前記第１の変換定義情報が選択された場合に、前記医用画像の画素毎に、前記複数種類の症例領域のうち該複数の症例領域のそれぞれであることの可能性を表す複数の評価値が最も大きい症例領域への分類結果を前記第１の分類結果として出力し、前記第２の変換定義情報が選択された場合に、前記医用画像の画素毎に、前記複数の評価値を前記第１の分類結果として出力し、
   前記複数の変換定義情報から前記第２の変換定義情報が選択された場合、選択された前記第２の変換定義情報により定義される前記重み係数に基づいて、前記第１の分類結果である複数の評価値に対して重み付け演算を行うことにより複数の重み付け評価値を算出し、該重み付け評価値に基づいて、前記医用画像の各画素を前記複数種類の症例領域のいずれかに分類した第２の分類結果を出力する手順とをコンピュータに実行させることを特徴とする医用画像分類プログラム。

Images