JPWO2020027228A1 - 診断支援システム及び診断支援方法 - Google Patents

Abstract

事前に取得された被検体の内部情報の画像を比較画像として複数保持する事前取得データ保持部（３）であって、複数の比較画像は、画像データと、生体組織情報や形状情報を表すラベル情報と、複数の比較画像同士の類似度を特定可能な特徴量情報とを備える、事前取得データ保持部（３）と；検査対象物としての被検体から取得された検査画像の画像データを、複数の比較画像を学習した学習済モデルに入力して検査画像の特徴量情報を計算する計算部（１３）と；複数の比較画像の特徴量情報と検査画像の特徴量情報とに基づいて、検査画像と複数の比較画像との間の類似性を表示する表示部（１６）と；を含む診断支援システム（１Ｓ）を提供する。これにより、診断支援装置による判定の根拠とした情報を表示することにより、診断の精度を高めることができる。

Description

本発明は、コンピュータによる画像診断支援判定結果の根拠表示に関する診断支援システム及び診断支援方法に関する。

ＣＴ、ＭＲＩ、超音波等の医療画像撮像装置は、生体を直接切開して観察する外科手術が必要ないため、被検体内部の情報を撮像する技術として、医療分野で広く用いられている。

医師は取得された画像を診断に用い腫瘍の存否等を判断するが、正確な読影には十分な経験を要する。また、撮像技術の発展に伴い被検体毎の画像枚数が増加し、ユーザーは大量の画像の中から判断対象を示唆する一部の画像を効果的に特定しなればならず、読影負担が増加している。また、例えば乳がん検診の場合、被検者群の中にがん患者が含まれる確率は０．５％程度である。このため多くの乳がんでない画像データの中から、たまに現れる乳がんデータを見落としなく見つけるのは、読影の負担が大きい。

読影を支援する装置として、医療画像撮像装置から検査画像を取得し、画像処理や機械学習処理を通じて画像中に含まれる腫瘍等の異常領域を検出し、医師等に提示することにより画像診断を支援する診断支援装置が開発されている。

例えば、検索部が検索した類似画像の検索に寄与した特徴量に対応する所見情報を類似画像と対応づけて所定の出力装置に出力する所見情報出力部を備える症例画像検索装置（特許文献１参照）、予め登録された病変パターンに対応する特徴量を算出する特徴量算出部と、特徴量に基づいて検索画像内に病変パターンが存在する確率を算出する確率算出部と、類似度を算出する類似度算出部とを備える類似画像検索装置（特許文献２参照）等が提案されている。

しかし、機械学習を利用した医師の画像診断支援表示においては、算出したがんの確率、類似画像は示されるものの、その表示内容の根拠は提示されない。

医師の診断を支援する場合、がんの確率が算出され表示されても、根拠が示されなければ、診断は行いにくい。また確率結果が示されてもその数値の根拠がわからなければ、診断結果は診断医の判断に依存することとなり、数値自体に意味がなくなってしまう。

また、類似症例が表示されても、表示された類似症例の検出根拠が示されないと、類似症例自体の正確さが判断しにくく、医師による診断の決定への寄与度が低くなる。

特開２０１１−１１８５４３号公報 特開２０１６−４５６６２号公報

本発明は前記の点に鑑みなされたものであり、診断支援装置による判定の根拠とした情報を表示することにより、診断の精度を高める診断支援システム及び診断支援方法を提供する。

上記課題を解決するために、本発明の第１の態様に係る診断支援システム１Ｓは、例えば図１に示すように、事前に取得された被検体の内部情報の画像を比較画像として複数保持する事前取得データ保持部３であって、前記複数の比較画像は、画像データと、生体組織情報や形状情報を表すラベル情報と、前記複数の比較画像同士の類似度を特定可能な特徴量情報とを備える、前記事前取得データ保持部３と；検査対象物としての被検体から取得された検査画像の画像データを、前記複数の比較画像を学習した学習済モデルに入力して前記検査画像の特徴量情報を計算する計算部１３と；前記複数の比較画像の前記特徴量情報と前記検査画像の前記特徴量情報とに基づいて、前記検査画像と前記複数の比較画像との間の類似性を表示する表示部１６と；を含むものである。

このように構成すると、表示部に検査画像と複数の比較画像との間の類似性を表示することにより、単にがんの確率や類似症例のみを表示する場合に比べて、医師による診断を支援できる有益な情報を付加的に提供することができるようになる。

本発明の第２の態様に係る診断支援システム１Ｓは、例えば図１及び図４に示すように、上記本発明の第１の態様に係る診断支援システム１Ｓにおいて、前記特徴量情報は、多次元のパラメータで構成された情報であり、前記特徴量情報を構成する前記多次元パラメータを座標とする特徴量空間５０上における、前記検査画像５３と前記複数の比較画像５１、５２との間の距離Ｌを、前記類似性を表す値として特定する制御部１２を更に含む。

このように構成すると、類似性を数値で表すことができるため、その類似性を確実に特定することができるようになる。

本発明の第３の態様に係る診断支援システム１Ｓは、例えば図１、図４乃至図７に示すように、上記本発明の第１の態様に係る診断支援システム１Ｓにおいて、前記特徴量情報は、多次元のパラメータで構成された情報であり、前記特徴量情報を利用して、前記類似性を視覚的に認識するための表示可能な次元数で構成された第１の仮想空間を生成するための仮想空間データ保持部１４を更に含み、前記表示部１６は、前記第１の仮想空間上に、前記複数の比較画像に加えて前記検査画像をプロットした第１の仮想空間画像を表示する。

このように構成すると、検査画像と複数の比較画像との間の類似性を表示する方法として、これらの画像を空間上にプロットした仮想空間画像を表示でき、その類似性を一見して理解することができるようになる。

本発明の第４の態様に係る診断支援システム１Ｓは、例えば図１に示すように、上記本発明の第１の態様に係る診断支援システム１Ｓにおいて、前記複数の特徴量情報は、前記複数の比較画像及び前記検査画像に対応する言語表現で構成された情報であり、前記特徴量情報を利用して、前記類似性を視覚的に認識するための第２の仮想空間を生成するための仮想空間データ保持部１４を更に備え、前記表示部１６は、前記第２の仮想空間上に、前記複数の比較画像に加えて前記検査画像をプロットした第２の仮想空間画像を表示する。

このように構成すると、検査画像と複数の比較画像との間の類似性を表示する方法として、これらの画像を空間上にプロットした仮想空間画像を表示でき、その類似性を一見して理解することができるようになる。

本発明の第５の態様に係る診断支援システム１Ｓは、例えば図１に示すように、上記本発明の第３又は第４の態様に係る診断支援システム１Ｓにおいて、前記類似性は、前記仮想空間画像内における、前記検査画像と前記複数の比較画像との間の距離に基づいて特定される。

このように構成すると、類似性を数値化することができ、類似性の理解を容易にすることができる。

本発明の第６の態様に係る診断支援システム１Ｓは、例えば図１及び図８に示すように、上記本発明の第１乃至第５の何れかの態様に係る診断支援システム１Ｓにおいて、前記表示部１６は、前記検査画像に対する前記類似性の高い１乃至複数の前記比較画像を表示する。

このように構成すると、類似性の高い比較画像を選定して表示でき、医師の診断をより容易にできる。

本発明の第７の態様に係る診断支援システム１Ｓは、例えば図１に示すように、上記本発明の第１乃至第６の何れかの態様に係る診断支援システム１Ｓにおいて、前記表示部１６は、前記ラベル情報に基づいて、前記複数の比較画像の表示に所定の視覚効果を付加する。

このように構成すると、比較画像のラベル情報を所定の視覚効果という形で付加的に表示することができるため、医師は診断に際し、比較画像の診断結果等を一見して理解できるようになる。

本発明の第８の態様に係る診断支援システム１Ｓは、例えば図１に示すように、上記本発明の第１乃至第７の何れかの態様に係る診断支援システム１Ｓにおいて、前記検査画像と前記複数の比較画像に基づいて、前記検査画像内に、予め設定された生体情報が含まれるか否かを推論する推論部１８を更に含む。

このように構成すると、検査画像に生体画像、例えば悪性腫瘍等が含まれるか否かを表示することができるため、医師の診断の決定をより容易にする。

本発明の第９の態様に係る診断支援システム１Ｓは、例えば図１に示すように、上記本発明の第１乃至第８の何れかの態様に係る診断支援システム１Ｓにおいて、前記検査画像の画像データを、前記計算部１３において前記特徴量情報が計算可能な形式に調整する前処理部１９を更に含む。

このように構成すると、例えば検査画像の画像データが、そのままでは計算部での特徴量情報の計算が困難であるデータ形式のものであっても、データ形式の調整を行うことができるようになり、検査画像の種類を問わず、診断支援を行うことが可能な診断支援システムを提供することができるようになる。

本発明の第１０の態様に係る診断支援方法は、例えば図２に示すように、コンピュータを用いた診断支援方法であって、事前に取得された被検体の内部情報の画像を比較画像として複数保持するステップＳ１０００であって、前記複数の比較画像は、画像データと前記複数の比較画像同士の類似度を特定可能な特徴量情報とを備える、ステップＳ１０００と；検査対象物としての被検体から取得された検査画像の画像データを、前記複数の比較画像を学習した学習済モデルに入力して前記検査画像の特徴量情報を計算するステップＳ１４００と；前記複数の比較画像の前記特徴量情報と前記検査画像の前記特徴量情報とに基づいて、前記検査画像と前記複数の比較画像との間の類似性を表示するステップＳ１５００と；を含むものである。

このように構成すると、検査画像と複数の比較画像との間の類似性を表示することにより、単にがんの確率や類似症例のみを表示する場合に比べて、医師による診断を支援できる有益な情報を付加的に提供することができるようになる。

本発明の診断支援システムによると、診断支援装置による判定の根拠とした情報を表示することにより診断の精度を高め、読影負担軽減を図ることができる。

本発明の第１の実施の形態に係る診断支援システムの構成を示す概略ブロック図である。 本発明の第１の実施の形態に係る診断支援システムの動作概要を示すフローチャートである。 本発明の第１の実施の形態に係る表示部の模式図である。 本発明の第１の実施の形態に係る仮想空間画像の第１模式図である。 本発明の第１の実施の形態に係る仮想空間画像の第２模式図である。 本発明の第１の実施の形態に係る仮想空間画像の第３模式図である。 本発明の第１の実施の形態に係る仮想空間画像の第４模式図である。 本発明の第１の実施の形態に係る表示部の他の模式図である。 本発明の第３の実施の形態に係る表示部の模式図である。

この出願は、日本国で２０１８年７月３１日に出願された特願２０１８−１４４５４９号に基づいており、その内容は本出願の内容としてその一部を形成する。
また、本発明は以下の詳細な説明によりさらに完全に理解できるであろう。本願のさらなる応用範囲は、以下の詳細な説明により明らかとなろう。しかしながら、詳細な説明及び特定の実例は、本発明の望ましい実施の形態であり、説明の目的のためにのみ記載されているものである。この詳細な説明から、種々の変更、改変が、本発明の精神と範囲内で、当業者にとって明らかであるからである。
出願人は、記載された実施の形態のいずれをも公衆に献上する意図はなく、開示された改変、代替案のうち、特許請求の範囲内に文言上含まれないかもしれないものも、均等論下での発明の一部とする。

初めに、機械学習を用いた分類の方法について、概略を説明する。機械学習を用いた分類を説明するために、まず比較対象として、Ｎ次元の正規直交基底Ｅ（ｅ_１，ｅ_２，．．．，ｅ_Ｎ）で張る空間上でデータを分類する方法の説明を行う。Ｅが正規直交基底である場合にはデータｄは下記数式（ｉ）のように基底を用いて表現することが可能である。

例えば三角関数を正規直交基底として用いることで、波形信号をフーリエ展開することは直交基底Ｅを用いて波形を分解し、重み値ｗ_ｉの分布（スペクトル）を用いて分類することが可能となる。フーリエ展開以外の方法としては、固有ベクトルの変換を行い、最もデータが分類できるような固有ベクトルを求める方法が長く研究されてきた。しかし、固有空間の表現力に限界があるため、人が識別可能な画像の分類も、長らく機械による判別は難しかった。近年、深層学習などの機械学習を用いることにより、その獲得表現の多様性から、分類の精度が向上してきたため、画像認識の分野は大きく注目されるようになった。いわゆるコンボリューションネットワークを介して、分類過程における分離精度の高い多次元空間上に投影を行い、この多次元空間上において、複数の集合間の境界が定義できれば、データの分類が可能となる。ただし、病変部と正常部位の分類や、複数の病変の中での分類など、境界線の設定が困難な場合がある。視覚的に境界線の曖昧さを表示することで、境界線の設定が難しい多次元空間においても、読影医に自身の判断が必要であることを認知させ、医師の診断判定に寄与することが、本発明の特徴である。

＜第１の実施の形態＞
図１を用いて本発明の第１の実施の形態に係る診断支援システムの概要を説明する。本発明の診断支援システムでは、事前に取得された症例等の比較画像を機械学習することにより、入力される画像からその画像の特徴量情報を出力することができるように生成された学習済モデルを用いている。そして、検査すべき検査画像の当該特徴量情報をこの学習済モデルを用いて計算し、この特徴量情報に基づいて、検査画像と比較画像の類似性を表示する。検査画像と比較画像の類似性を示す方法としては種々の方法が想定される。例えば、特徴量情報を多次元のパラメータで構成された情報とし、この多次元パラメータを座標とする特徴量空間上の距離を、検査画像と比較画像の類似性を表す値として特定して表示する方法を採用できる。また、他の方法としては、特徴量情報を多次元パラメータあるいは言語表現情報とし、これを利用して形成される仮想空間に、複数の比較画像及び検査画像を配置した図を仮想空間画像として表示することが挙げられる。この場合、更に、当該仮想空間画像上の任意の比較画像や領域を選択すると、各比較画像や各比較画像に付随する病変特徴情報（ラベル情報）も表示すると好ましい。ここで、仮想空間とは、特徴量情報を利用して検査画像と比較画像との類似性を視覚的に認識するための表示可能な次元数で構成された（表示のための）仮想の空間であり、仮想空間画像とは、この仮想空間上に検査画像及び比較画像の特徴量空間上の位置がプロットされることでこれらの類似性が視認可能に表示される画像である。また、病変特徴情報（ラベル情報）の例としては、腫瘍の位置（乳房内の位置、乳腺内の位置、皮膚との距離）、充実性か嚢胞性か、腫瘍内の構造の有無、後方陰影の有無、アスペクト比（回転楕円体で近似した場合のａ軸、ｂ軸、ｃ軸、それぞれの長さの比）、境界の性状（境界部のエコーが高エコーか、低エコーか、境界の形状が滑らかか、滑らかでないか）、周囲の正常組織の構築の乱れの有無、娘結節等複数腫瘤の存在の有無、石灰化の有無等に関する情報が含まれるがこれに限らない。一方、機械学習においては、結果的に複数の異なるラベル情報を有する画像が最も分離するように特徴量空間が決定されるので、必ずしも従来の臨床医が判断に用いていた特徴と同じではない。

この診断支援システムによって表示される類似性（特に、特徴量空間上、又は仮想空間上における比較画像と検査画像との距離）の確認が可能になることで、人に認識可能な既存の診断基準と機械学習を利用して計算される特徴量情報を組み合わせ、読影経験の浅いユーザーに対しても診断効率や精度の向上を支援することができる。また、診断支援システムが病変の有無や良悪性の判定をも行う場合には、その根拠となる情報として類似性に関する情報を参酌することで、診断支援システムの判定結果の妥当性を確認することが可能となる。なお、ここでいう判定結果とは、類似画像としての比較画像の表示や、これらの情報に基づいた検査画像内にがん（悪性腫瘍）が含まれる確率等を指すものである。

以下に、本発明の好ましい態様として、第１の実施の形態を詳細に説明する。図１は、本発明の第１の実施の形態に係る診断支援システム１Ｓの構成を表す概略ブロック図である。診断支援システム１Ｓは少なくとも、診断支援装置２と、事前取得データ保持部３とを含む。診断支援装置２には画像撮像装置４が接続される。診断支援装置２と画像撮像装置４との接続形態は、有線接続または無線接続のいずれでもよく、遠隔地の画像撮像装置４とはインターネット回線を介した接続とすることもできる。また、画像撮像装置４と診断支援装置２が同一装置として一体的に組み込まれていてもよい。

画像撮像装置４は、被検体についての医療画像を撮像し内部情報画像を取得する。本実施の形態にて例示の画像撮像装置４は、例えば、（国際公開第２０１７／０５１９０３号に記載のような）超音波診断装置が適用される。

この画像撮像装置４は、主に乳がんの腫瘍検査に用いられ、被検体としての乳房の内部情報を３Ｄ画像で取得することが可能である。当該プローブ３１の装置の挿入部に被検体である乳房が挿入される。そして、被検体の周囲に配置された超音波アレイは超音波を送受信しながら上下方向に走査し、被検体の内部情報の検査画像を生成する。画像撮像装置４は、プローブ３１の他、送受信制御部３２、画像生成部３３、装置制御部３４、記憶部３５等をはじめとする各部も備える。

送受信制御部３２は、プローブ３１からの超音波信号の送受信を制御する。装置制御部３４は、プローブ３１の走査等を含む画像撮像装置４の動作を制御する。画像生成部３３は、送受信制御部３２で受信した超音波信号を再構成し、検査画像を生成する。なお、ここで生成される検査画像は、被検体としての乳房全体を示す画像であってもよいし、被検体の一部、例えば病変推定部位のみを示す画像であってもよい。

記憶部３５は、取得した受信信号や被検体情報、撮像画像等を記憶し、随時呼び出し可能に蓄積する。記憶部３５は、ＨＤＤまたはＳＳＤ等の公知の記憶装置等である。なお、記憶部３５については、画像撮像装置４の内部に組み込むほか、画像撮像装置４の外部のサーバ等（図示せず）へ接続することにより、この外部のサーバ等で代替してもよい。

以下、本実施の形態においては、画像撮像装置４で取得された３次元の乳房の医療画像における乳がんの超音波画像診断支援について説明する。むろん、本発明の対象は当該装置による乳癌診断に限らない。例えば、対象部位は頭部、体躯、四肢等の内部情報であってよく、また、超音波診断に限らず２次元または３次元のＣＴ、ＭＲＩ、及びこれら他の撮像技術との組み合わせにも、応用される。

本実施の形態における診断支援システム１Ｓは、上述した通り、診断支援装置２と、事前取得データ保持部３とを含む。診断支援装置２は少なくとも、通信制御部１１、制御部１２、計算部１３、仮想空間データ保持部１４、表示制御部１５、表示部１６、及び入力部１７を含み、画像撮像装置４で取得された検査画像を用いて医療画像診断支援を行うものである。

事前取得データ保持部３は、検査画像を診断する際の比較対象となる複数の比較画像からなる群を保持している。当該比較画像のそれぞれは、事前に取得された生体内情報画像であり、２次元又は３次元のイメージデータ、あるいはイメージデータに変換される前のＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、高周波）データで構成された症例画像からなる画像データとすることができる。また、ここで保持される複数の比較画像は、さらに複数の比較画像同士の類似度を特定可能な特徴量情報を含んでいる。ただし、事前取得データ保持部３内の比較画像がこの特徴量情報（詳しくは、例えば後述するＮ次元パラメータ情報）を直接的に有している必要は必ずしもなく、比較画像のデータから、例えば後述する計算部１３を用いてこの特徴量情報を導き出すことができさえすればよい。さらに、この比較画像としては、症例画像のほか、コンピュータ演算によって取得された病巣症例シミュレーション画像、前記病巣症例シミュレーション画像の中間データ、所見や診断基準の画像、正常組織の画像等を採用することができる。さらにまた、比較画像は、被検体としての乳房全体を撮像した画像であってもよいし、被検体の一部、例えば病変推定部位のみを撮像した画像であってもよい。本実施の形態では超音波画像同士の画像比較を行うことを想定しているが、比較画像はこのような超音波画像に限らず、Ｘ線ＣＴ等他の種類によって取得された医療画像を比較画像としてもよい。

また、事前取得データ保持部３は、各比較画像の生体組織情報や（生体組織の）形状情報を表す情報、詳しくは当該比較画像のそれぞれについての病変特徴情報を含むラベル情報を保持し、これらは各比較画像と紐づけされている。当該病変特徴情報を含むラベル情報は被検体の診断支援に利用されるほか、診断支援判定結果の根拠を示す画像として比較画像を表示した際に、当該比較画像の属性を示すために読み出される。当該病変特徴情報を含むラベル情報は、例えば、診断基準や複数の診断基準を基に総合判定された所見や診断結果、針生検等による病理診断、また被検体の経時変化、治療の経歴等、医師による診断情報や被検体の生体情報等を含む。なお、このラベル情報は、事前取得データ保持部３内の複数の比較画像にそれぞれ紐づけされている必要があるが、事前取得データ保持部３内の全ての比較画像にラベル情報が紐づけられている必要は必ずしもない。

また、これら比較画像と画像病変特徴情報を含むラベル情報との紐づけにより、比較画像はタグ付きの教師データとして、後述する計算部１３の学習済モデルの学習用データセットを構成している。

なお、本実施の形態では事前取得データ保持部３は診断支援装置２の外部に接続されたサーバ等に配置されているが、診断支援装置２内部に組み込まれていてもよい（図示せず）。また、事前取得データ保持部３内の複数の比較画像は、ネットワークを介して、あるいは持ち運び可能な記録媒体を介して事前取得データ保持部３に提供されるものであってよい。

診断支援装置２は、制御部１２のＣＰＵ、ＧＰＵ、メインメモリ、その他のＬＳＩ、ＲＯＭ、ＲＡＭ等により構成される。またその動作はメインメモリにロードされた診断支援プログラム等により実現される。すなわち、診断支援装置２は、パーソナルコンピュータ（ＰＣ）、メインフレーム、ワークステーション、クラウドコンピューティングシステム等、種々のコンピュータ（計算リソース）を用いて実現できる。

診断支援装置２の各機能部をソフトウェアにより実現する場合、診断支援装置２は、各機能を実現するソフトウェアであるプログラムの命令を実行することで実現される。このプログラムを格納する記録媒体には、「一時的でない有形の媒体」、例えば、ＣＤ、ＤＶＤ、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、このプログラムは、当該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して診断支援装置２のコンピュータに供給されてもよい。

通信制御部１１は、画像診断装置４及び事前取得データ保持部３とのデータの送受信等を制御するインタフェースである。主に検査画像、比較画像群、及び比較画像の病変特徴情報を含むラベル情報等を取得する。

制御部１２は、ＣＰＵやＧＰＵ等のプロセッサを少なくとも備え、診断支援装置２内の各機能部全体を制御するものである。この制御部１２は、本実施の形態においては特に、検査画像と複数の比較画像との間の類似性を特定する機能を備えている。当該機能については後述する。

計算部１３は、通信制御部１１を介して受信した検査画像及び必要に応じて複数の比較画像の特徴量情報を計算により取得するためのものである。この計算部１３は、いわゆる分類器を構成するものであり、その内部に所定の学習済モデルを有している。この学習済モデルは、周知の機械学習手法、例えばニューラルネットワーク（好ましくは、畳み込みニューラルネットワーク（ＣＮＮ）を含む）モデルを用いた教師有り学習を経て生成されたものである。そして、この学習済モデルは、その入力層のニューロンに検査画像及び複数の比較画像のデータを入力することで、出力層のニューロンに特徴量情報を出力するよう学習（訓練）された学習済モデルである。なお、学習済モデルの機械学習手法は上記に限定されず、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ：ＳＶＭ）、モデルツリー、決定ツリー、多重線形回帰、局部的重み付け回帰、確立サーチ方法等の手法を代替的にあるいは適宜組み合わせて用いることもできる。

この計算部１３の学習済モデルは、事前取得データ保持部３に保持された、それぞれに紐づけられたラベル情報を含む複数の比較画像の一部乃至全部を学習用データセットとして学習を行ったものである。したがって、この学習済モデルの入力層のニューロンに入力するデータは、複数の比較画像と同一の形式のデータである必要があることは特に留意すべきである。例えば、比較画像が３次元のイメージデータを含むものである場合には、入力層の各ニューロンに入力されるデータとしては、例えばこの３次元のイメージデータを構成する各ボクセルの（８ビットの）グレースケール値とすることができる。同様に、比較画像が２次元のイメージデータを含むものである場合には、入力層の各ニューロンに入力されるデータとしては、例えばこの２次元のイメージデータを構成する各ピクセルのグレースケール値とすることができる。なお、入力層のニューロンに入力されるデータはこれらに限定されず、比較画像を構成するデータ形式や付加情報の有無等に合わせて適宜変更することができる。

また、この計算部１３の学習済モデルの出力層に出力される特徴量情報は、機械学習のネットワークにおいて画像の特徴を特定することができる情報を含み、その形式や数は限定されない。本実施の形態においては、特徴量情報を、上記学習段階において特定された特徴量の値である、多次元、例えばＮ（Ｎ＝２以上の自然数）次元のパラメータで構成された情報とする。なお、上述した通り、この学習済モデルは比較画像及びこれに紐づけられたラベル情報からなる学習用データセットを機械学習することで生成されるものである。ラベル情報の分類としては、診断基準などユーザーが認識可能な値、例えば画像内における所定以上の大きさの白色化領域の有無、白色化領域の大きさ及び位置、周囲の血管の太さ等を示す値を採用することもできる。

仮想空間データ保持部１４は、後述する計算部１７が備える学習済モデルが出力するＮ次元パラメータを利用して、所定の仮想空間（第１の仮想空間）を生成するためのものである。この仮想空間データ保持部１４は、複数の比較画像及び検査画像を、この仮想空間上の所定の座標位置にプロットするための各種データを保持している。ここでいう各種データとは、計算部１７が計算するＮ次元パラメータの値を調整することで、表示可能な次元数（例えば、１〜３次元）の仮想空間上に画像をプロットするための計算式等を含む。この計算式を具体的に例示すると、例えば計算部１７が、複数の比較画像の特徴量情報として、１０次元のパラメータ情報を出力し、且つ仮想空間として２次元空間上に複数の比較画像をプロットしたい場合には、１０次元のパラメータ情報を２つに分け、これらに必要に応じて予め設定した重み値を乗算した上でそれぞれ加算することで、２次元の値を特定する計算式や、１０次元のパラメータ情報に対して周知の多変量解析手法を用いて２次元の値を特定する計算式等であってよい。当然ながら、このような仮想空間に複数の比較画像をプロットする場合には、各比較画像の座標が、比較画像に紐づけられたそれぞれの関連情報（すなわち、診断結果）と一定の相関関係を有している必要がある。したがって、例えば計算部１７が出力するパラメータ情報やこの仮想空間データ保持部１４の計算式に含まれる重み値等は、比較画像の診断結果に基づいて調整される。なお、当然のことであるが、計算部１７で出力するＮ次元パラメータの次元数が少ない（例えば３次元である）場合には、別途の計算等を行うことなく比較画像及び検査画像を（同一の次元数の）仮想空間上にプロットすることができる。結果として、この場合には仮想空間と特徴量空間とは同一の空間を構成する。

また、本実施の形態においては、複数の比較画像のＮ次元パラメータを、その都度計算部１３で計算することを例示しているが、比較画像は頻繁に追加や変更等される画像ではないから、複数の比較画像及びそのＮ次元パラメータを、この仮想空間データ保持部１４内に保持しておいてもよい。このようにすれば、仮想空間を生成する際に計算部１３による計算量を削減でき、計算部１３及び制御部１２に対する負荷を削減することができる。

ここで、制御部１２による類似性の特定手法の一例を簡単に説明する。制御部１２は、計算部１３によって計算された複数の比較画像の特徴量情報としてのＮ次元パラメータと、同じく計算部１３によって計算された検査画像の特徴量情報としてのＮ次元パラメータとを呼び出し、Ｎ次元パラメータを座標とするＮ次元空間で構成される特徴量空間上に、それぞれプロットする。そして、この特徴量空間上に配置された比較画像にラベル付けされた診断基準や診断結果のラベル情報を読み込むことで、特徴量空間上に例えば良悪性の境界線を形成する。ここで特徴量空間はＮ個の軸を有しているから、検査画像の特徴量空間上での座標がベクトルＸ＝（ｘ_１，ｘ_２，．．．，ｘ_Ｎ）であり、距離を計算する対象となる比較画像の特徴量空間上での座標がベクトルＹ＝（ｙ_１，ｙ_２，．．．，ｙ_Ｎ）であるとすると、距離Ｌは次に表す数式（ｉｉ）で計算される。さらに、特徴量空間上の成分ごとに重みを付けて、数式（ｉｉｉ）のようにしてもよい。

ここで特定される距離Ｌは、検査画像と複数の比較画像との間の類似性を表す値である。そして、良性腫瘍（腫瘤）や悪性腫瘍等集合との距離は、集合に属する各比較画像と距離の総和で計算される。もちろん、集合への距離の計算は、集合に属する全ての比較画像との距離の総和ではなく集合の中で検査画像に近い比較画像から上位Ｍ個を選んで和をとっても良いし、境界線までの距離としても良く、何ら限定されない。また、上記の距離Ｌは特徴量空間上における距離として特定される値であるが、距離を測定する空間はこの特徴量空間に限定されない。例えば、上記仮想空間データ保持部１４を参照して得られるｍ（１≦ｍ＜Ｎ）次元の仮想空間に、計算されたＮ次元パラメータを利用して各比較画像及び検査画像をプロットし、この仮想空間上での距離を上述した数式（ｉｉ）あるいは数式（ｉｉｉ）と同様の数式を用いて計算してもよい。仮想空間上での距離を検査画像と複数の比較画像との間の類似性を示す値として採用することは、特に後述する仮想空間画像４５を表示する場合に有利である。詳しくは、この場合、仮想空間画像４５上で示される検査画像と複数の比較画像との間の距離と、検査画像と複数の比較画像との間の類似性を示す値としての距離とが一致しているため、仮想空間画像４５を見ただけで類似性を正確に把握することができる。

特徴量空間又は仮想空間の正確性は、計算部１３の学習済モデルを生成するための学習用データセットである比較画像及びこの比較画像に紐づけられたラベル情報の質と量に依存する。検査画像が特徴量空間又は仮想空間の良悪性それぞれの比較画像の集合から等距離に配置された場合、比較画像を増加させることにより、良悪性等の属性分布図が変わり、異なる属性との境界に位置する検査画像の判断がより容易になる。一方、比較画像数の種類と数が増加することで、特徴量空間又は仮想空間上において、異なる属性の集合が重なる部分が出てくる可能性がある。このように特徴量空間又は仮想空間上での判定が困難な場合、診断判定の曖昧度が高くなり、判定の確率の数値等に意味がなくなる。このような場合には、機械による診断判定を下さず、仮想空間画像のみを示し、医師自身の判断を加えることで、より正確な診断判定を下すことが可能となる。上記の記載から分かる通り、比較画像の数は計算部の出力に影響を与えることから、診断支援装置２の出力が使用に伴って変化することのないよう、この学習済モデルを生成する際にはあらかじめ準備された学習用データセットを用いたバッチ学習のみを採用すればよく、検査画像等を学習に利用して学習済モデルを更新する、いわゆるオンライン学習は採用しなくてよい。

表示制御部１５は、制御部１２で判定された診断判定結果の根拠を示す画像を生成する。当該根拠を示す画像とは、例えば、制御部１２で特定した類似性を表す数値のみであってもよいし、類似性に基づいた表示レイアウトを採用することであってもよいし、あるいは制御部１２が仮想空間データ保持部１４を参酌して特徴量空間や仮想空間上に複数の比較画像及び検査画像を配置した仮想空間画像であってもよい。その他、特徴量空間又は仮想空間上の検査画像と各比較画像とのユークリッド距離の相関関係を示したり、当該比較画像それぞれの座標の関数を表したりした表示例もあり、これらに限られない。また、この表示制御部１５は、仮想空間上にプロットされる比較画像を示す点に対し、所定の視覚効果を付加することができる。この視覚効果としては、例えば各比較情報に紐づけられている病変特徴情報等のラベル情報を参酌し、ラベル情報に「悪性腫瘍」を含む旨の情報が含まれている比較画像（悪性症例画像）の点を赤色表記し、「良性腫瘍」を含む旨の情報が含まれている比較画像（良性症例画像）の点を青色表記し、「正常」である旨の情報が含まれている比較画像（正常組織画像）の点を黒色表記することができる。なお、視覚効果は上述したものに限定されるものではなく、他の種々の視覚効果を採用することができる。こうして、検査画像と比較画像との類似性を、医師等に視覚を通じて把握できる形式で表示することで、検査画像に対する複数の比較画像の相対的な類似性が明確化される。これを機械による診断判定の根拠として、ユーザーは診断支援システム１Ｓの診断判定への信頼度を判断し、読影の診断結果を効果的に導くことができる。

表示部１６は、ディスプレイ等の表示装置である。この表示部１６には、通信制御部１１によって取得された検査画像、制御部１２において取得された判定結果、表示制御部１５で生成された当該判定結果の根拠となる類似性を示す情報（例えば、仮想空間画像等）を表示する。すなわち、比較により生じた判定結果（例えば、類似する所定数の比較画像や、後述する推論部１８の推論結果）の表示に留まらず、その判定結果が導き出された根拠を示す特徴量空間上の距離の値や仮想空間画像等も併せて表示される。また、診断支援システム１Ｓの操作をはじめとする必要情報の表示のための画像合成等も行う。表示の詳細については、後述の模式図にて説明する。なお、本実施の形態では表示部１６は診断支援装置２に組み込まれているが、外部のＰＣ端末や携帯端末等の表示部にインターネット等を介して接続されていてもよい。

入力部１７は操作用のキーボードやタッチパネル、マウス等である。診断支援装置２の操作のための入力の他、検査画像の検査領域の指定、表示パターンの選択、ワークステーションへの所見コメントの入力等も行うことができる。

また、本実施の形態に係る診断支援装置２は、推論部１８と、前処理部１９とを更に備えていてもよい。

推論部１８は、検査画像内に、予め設定された所定の生体情報、詳しくは悪性腫瘍等が含まれているか否かを推論するためのものである。この推論部１８は、計算部１３と同様に、学習済モデルを含んでいる。この推論部１８の学習済モデルとしては、計算部１３の学習済モデルと同様に、周知の機械学習手法、例えばニューラルネットワークモデルを用いた教師有り学習を経て生成されたものである。そして、この学習済モデルは、例えば事前取得データ保持部２に保持された複数の比較画像と、各比較画像に紐づけられたラベル情報の特に診断結果としての生体情報の有無とをセットとした学習用データセットを用いて機械学習を行うことにより生成することができる。このようにして生成された学習済モデルは、その入力層のニューロンに検査画像（の画像データ）を入力することで、出力層のニューロンに所定の生体情報が含まれるか否か、あるいは所定の生体情報が含まれる確率（コンフィデンス値ともいう）を出力するよう学習された学習済モデルである。なお、入力層のニューロンに入力するデータを、検査画像の画像データとしてのイメージデータに代えて、検査画像に対して計算部１３にて計算されたＮ次元パラメータ情報や、検査画像のＲＦデータとしてもよい。また、この学習済モデルの機械学習手法は上記に限定されず、ＳＶＭ、モデルツリー、決定ツリー、多重線形回帰、局部的重み付け回帰、確立サーチ方法等の手法を代替的にあるいは適宜組み合わせて用いることもできる。また、ここでいう生体情報としては、悪性腫瘍のみならず、良性腫瘍やアーチファクトをも含み、推論部１８の学習済モデルは、これらの生体情報のいずれが含まれているか、あるいはこれらの生体情報それぞれに対して、検査画像に含まれる確率を出力できるものであってよい。このような推論部１８を採用することで、診断支援装置２は検査画像と複数の比較画像との類似性に加えて、検査画像に所定の生体情報が含まれる確率を、診断支援システム１Ｓの判定結果としてユーザーに提供することができるようになる。したがって、医師の診断効率を更に向上させることができる。

前処理部１９は、通信制御部１１が受信した検査画像のデータを、その特徴量情報を計算部１３にて計算することができるよう、計算部１３で計算する前にそのデータ形式を調整するためのものである。この前処理としては機械学習装置の技術分野において通常行われる処理（例えばノイズフィルタリング、データ量調整、ＦＦＴ等）に加えて、種々の処理が含まれる。この種々の処理について具体的に例示すれば、計算部１３の学習済モデルが２次元のイメージデータを入力することで特徴量情報を出力できるよう学習されたものであって、且つ通信制御部１１で受信した検査画像が３次元のイメージデータである場合に、３次元のイメージデータから１乃至複数の２次元スライスデータを（自動的に、あるいはユーザーによる操作を介して）生成する処理を実行すること、また、計算部１３の学習済モデルが２次元のイメージデータを入力することで特徴量情報を出力できるよう学習されたものであって、且つ通信制御部１１で受信した検査画像がＲＦデータである場合に、ＲＦデータから２次元のイメージデータを生成する処理を実行すること、さらに、計算部１３の学習済モデルが後述する言語表現情報を入力することで特徴量情報を出力できるよう学習されたものであって、且つ通信制御部１１で受信した検査画像が２次元又は３次元のイメージデータである場合に、イメージデータから言語表現情報を生成する処理を実行すること、等を挙げることができる。学習済モデルは機械学習の際の学習用データセットのデータ構成によってその入出力情報が特定されるものであるから、このような前処理部１９を採用することで、検査画像のデータ形式に合わせて学習済モデルを複数準備する必要がなくなる。

図２は本発明の第１の実施の形態に係る診断支援システムの動作概要を示すフローチャートである。ここに示す診断支援方法は、診断支援システムを構成する各種コンピュータによって実現されるものであり、比較画像保持ステップ（Ｓ１０００）、比較画像の多次元パラメータ生成ステップ（Ｓ１１００）、検査画像取得ステップ（Ｓ１２００）、比較画像及び多次元パラメータ取得ステップ（Ｓ１３００）、検査画像の多次元パラメータ計算ステップ（Ｓ１４００）、仮想空間画像形成表示ステップ（Ｓ１５００）、及び比較画像表示ステップ（Ｓ１６００）を含む。その他、診断支援方法には記憶、格納、蓄積、演算等の図示しないステップも含んでいる。

まず、診断支援のための事前準備として、比較画像保持ステップ（Ｓ１０００）において、事前に収集された複数の比較画像を、事前取得データ保持部３に保持しておく。ここで事前に収集されている複数の比較画像は、例えば主に３次元のイメージデータで構成されたものである。次に、比較画像の多次元パラメータ生成ステップ（Ｓ１１００）において、計算部１３により、比較画像の特徴量情報としての多次元（Ｎ次元）パラメータが生成され、仮想空間データ保持部１４に記憶される。なお、複数の比較画像多次元パラメータを事前に生成しておき、各比較画像とこの多次元パラメータとをセットとして事前取得データ保持部３に記憶しておく構成とすることもできる。その場合にはこの比較画像の多次元パラメータ生成ステップ（Ｓ１１００）は省略することができる。また、上述した比較画像保持ステップ（Ｓ１０００）及び比較画像の多次元パラメータ生成ステップ（Ｓ１１００）は、検査の度に行ってもよいが、比較画像の内容は頻繁に変更されるものではないため、比較画像の内容の更新のタイミングにのみ行うようにしてもよい。

次に、検査画像取得ステップ（Ｓ１２００）において、画像撮像装置４で撮像された、検査対象物となる検査画像が通信制御部１１を介して取得される。この検査データも、例えば３次元のイメージデータで構成されたものである。さらに比較画像及び多次元パラメータ取得ステップ（Ｓ１３００）において、複数の比較画像とそれらに対応する多次元パラメータとのセットが事前取得データ保持部３又は仮想空間データ保持部１４より取得される。そして、取得された検査画像は、計算部１３によって特徴量情報としての多次元パラメータが計算され（検査画像の多次元パラメータ計算ステップ（Ｓ１４００））、さらに仮想空間画像形成表示ステップ（Ｓ１５００）において、仮想空間データ保持部１４内の各種データに基づいて、制御部１２及び表示制御部１５により表示用の仮想空間画像が形成され、表示部１６に表示される。本実施の形態においては、このように仮想空間画像上に比較画像と検査画像とが特定の座標位置にプロットされることで、両者の類似性が表示される。更に任意には、ユーザーは当該仮想空間画像上の比較画像の座標を選択することで、当該比較画像の画像や病変特徴情報等のラベル情報を表示させることができるようにすると好ましい（比較画像表示ステップ（Ｓ１６００））。

以上のように、本実施の形態に係る診断支援システムでは、判定結果として、例えば比較画像のうち検査画像に類似すると判断した類似画像を表示する際に、その選定の根拠として仮想空間画像等の画像間の類似性を示す情報を表示することで、このシステムによる判定の妥当性をユーザーが確認でき、診断効率を向上させることができる。

なお、検査画像取得ステップ（Ｓ１２００）及び多次元パラメータを含む比較画像取得ステップ（Ｓ１３００）は並列で行われてもよいし相前後してもよい。また、上記仮想空間画像形成表示ステップ（Ｓ１５００）に代えて、検査画像と複数の比較画像のそれぞれの多次元パラメータから、特徴量空間上の距離を特定し、当該距離を、類似性を表す値として表示部１６に表示することもできる。

また、教育用途で診断支援装置が使用される際等には、ユーザーは、機械による診断判定を表示しないモードを予め選択することも可能である。

上記仮想空間データ保持部１４としては、特徴量情報としてのＮ次元パラメータを利用して第１の仮想空間を生成するものを例示しているが、本実施の形態に係る仮想空間データ保持部１４はこれに限定されない。他の形態としては、特徴量情報として各画像に対応する言語表現情報を採用し、この言語表現情報で構成される言語空間を第２の仮想空間として生成するようにしてもよい。この場合、表示部１６は、検査画像と複数の比較画像の言語空間上での距離を基準に計算される類似性を表示することとなる。

言語空間は例えば、比較画像に紐づけされた読影レポート表現等の言語表現に基づくことができる。まず、制御部１２は、比較画像を、計算部１３の学習済モデルを利用して当該比較画像が包含する読影言語に変換し、当該言語情報として読み込む。同様にして検査画像も読影言語に変換して読み込む。当該読影言語は、例えば、腫瘍の進行度は「２」である等の画像から判断される言語情報、所見、さらには自然言語データ等への変換された言語データである。ここで、所見には、上述した病変特徴情報と同様の情報、すなわち、腫瘍の位置（乳房内の位置、乳腺内の位置、皮膚との距離）、充実性か嚢胞性か、腫瘍内の構造の有無、後方陰影の有無、アスペクト比（回転楕円体で近似した場合のａ軸、ｂ軸、ｃ軸、それぞれの長さの比）、境界の性状（境界部のエコーが高エコーか、低エコーか、境界の形状が滑らかか、滑らかでないか）、周囲の正常組織の構築の乱れの有無、娘結節等複数腫瘤の存在の有無、石灰化の有無等に関する情報が含まれてよい。その後、制御部１２により検査画像及び比較画像は言語空間上（第２の仮想空間）の指標に置換され、当該言語空間上にて、検査画像と比較画像との類似性を視覚的に認識するべく表示が行われる。加えて、検査画像と比較画像との距離分布の計測を行って両者の類似性を数値として特定することもできる。

この例では、比較画像の画像と病変特徴情報を含むラベル情報とを学習用データセットとして機械学習を実行することにより、検査画像内の病変推定部位について既存の診断基準に対応する特徴量を言語化して抽出することが可能な学習済モデルが提供される。そこで、これまで人の目には明らかではなかった新たな診断基準を言語化することも可能となる。

次に、本実施の形態における表示部１６の表示内容について、具体的に説明する。図３の模式図は、表示部１６のディスプレイへの表示の一例である。このうち、図３（ａ）には、画像撮像装置４から通信制御部１１を通じて取得した被検体としての乳房の３次元検査画像４０を、表示部１６の中央部分に表示しているものを示している。この検査画像４０の内部には、注視すべき腫瘍の可能性の高い特徴領域４１が存在している。このとき、視認性を高める目的で、特徴領域４１を含む領域を病変推定部位４６として線で囲む等の視覚効果を付加してもよい。また、この特徴領域４１及び病変推定部位４６を特定する方法としては、ユーザーによる選択だけでなく、周知の画像認識技術や機械学習技術を用いて自動的に特定することもできる。さらに、ここで用いられる機械学習技術としては、例えばニューラルネットワークモデル、詳しくは入力層のニューロンに画像データを入力することで、出力層に予め設定された生体情報に合致する領域を示す座標を出力するような学習済モデルを採用することができる。図３（ａ）に示す表示部１６のディスプレイにはまた、その右下部分に、比較画像と検査画像との間の類似性を示す、２次元マップで構成された仮想空間画像４５が表示される。

図３（ｂ）は、ポインタ４２により仮想空間画像４５内の特定の比較画像の座標が指定された後の表示の一例を示した模式図である。このように、比較画像の座標が指定されると、この指定された比較画像４４は類似症例として表示部１６の中央部分に表示される。また、仮想空間上における検査画像から一定の距離に配置される他の比較画像４４も並置して表示されてもよい。また、表示部１６には、併せて特徴領域４１に対する判定結果４３が示される。この判定結果４３としては、例えば、推論部１８が推論した生体情報が含まれる確率や、良悪性鑑別判定、該当する診断名等であるがこれらに限られない。また、判定結果４３の表示方法として、テキスト情報に代えて、特徴領域４１を強調表示する等、任意の視覚効果を用いた方法によるものであってもよい。

このように、仮想空間画像４５が判定結果の根拠を示す画像として表示されることで、医師等は判定結果の曖昧さの判断を下し、診断確定に利用することができる。また、類似症例に該当するいくつかの比較画像が表示部１６に判定結果４３と併せて表示されることで、診断効率を向上させることができる。

表示部１６のディスプレイには、各種画像の他、例えば患者情報表示部４７や撮像条件表示部４８等も表示される。なお表示情報の種類、配置等は例示であり、これに限られるものではない。また、検査画像及び比較画像を共に３次元画像で比較する場合、表示される比較画像が３次元となってよい。

また、各種データを表示するウィンドウは１つである必要はなく、検査画像４０や仮想空間画像４５等が、入力指示に応じて別ウィンドウやタブ表示で現れてもよい。

次に、根拠を示す画像の他の表示例について、図４乃至図７を用いて説明する。診断支援システム１Ｓによる判定結果の根拠を示す画像は、例えば、図３の仮想空間画像４５として表示される。また、仮想空間画像は複数を並置してもよい。

図４の模式図は、特徴量空間と特徴量空間が投影されて生成される仮想空間画像４５として、マップ表示を採用した場合の一例を示したものである。図４（ａ）は特徴量空間５０を表現している。なお、この図４（ａ）に示す特徴量空間５０は、説明を容易にするべく、計算部１３により出力される特徴量情報が２次元のパラメータで構成された場合であって、この２つのパラメータをそれぞれ縦軸及び横軸と規定した２次元空間で構成されたものを例示している。そして、検査画像を示す点５３が、計算部１３において計算された結果得られた２次元のパラメータに基づき、特徴量空間５０上に配置されている。なお、ここで示す特徴量空間５０の次元数については何ら限定されるものではない。図４（ａ）の特徴量空間５０には、検査画像を示す点５３と同様に、複数の比較画像に対応する点がプロットされているが、これらの点は、例として、複数の悪性症例画像に対応する点５１を黒丸で、複数の良性症例画像に対応する点５２を白丸でそれぞれ示している。ここで、悪性症例とは乳がん等の悪性腫瘍を指し、悪性症例画像とは悪性腫瘍を含む比較画像である。同様に、良性症例とは良性腫瘍を指し、良性症例画像とは良性腫瘍を含む比較画像である。また、この特徴量空間５０内には、これらの点５１及び５２の配置に基づき、特徴量空間５０内に良性・悪性判別ライン５４を規定することができる。これにより、例えば、上述した検査画像と比較画像との間の類似性を示す距離として、特徴量空間５０における点５３の位置と良性・悪性判別ライン５４との間の距離や、検査画像に対応する点５３からの距離が一定範囲５５内に存在する比較画像の数やその特徴（良性症例か悪性症例か）が特定でき、これらの情報を示すことによって、医師による検査画像の診断支援を行うことができる。表示制御部１５は、この特徴量空間５０の情報に基づき、１次元や２次元、３次元の仮想空間画像を、判定結果４３の根拠を示す画像として生成し、表示部１６に表示させることもできる。

図４（ｂ）は、図４（ａ）に示す特徴量空間５０等の情報に基づいて生成された、１次元仮想空間画像５６を示す例である。比較画像は、その比較画像が悪性症例を示すものであるのか良性症例を示すものであるのかが分かるように、視覚効果が付された上でプロットされている。この１次元仮想空間画像５６は、検査画像に対応する点５３が中心に配置され、その左右方向をそれぞれ良性方向（＋の向き）及び悪性方向（−の向き）とした領域内に、それぞれの比較画像に対応する点５１、５２が表示されている。この比較画像に対応する点５１、５２を、図示しないポインタ等で選択すると、比較画像が表示されるようにしてもよい。表示の位置は、例えば検査画像に対応する点５３からのユークリッド距離に基づく。図４（ｂ）の表示の利点は、相対的なユークリッド距離を判別しやすいことである。

図５に示す模式図は、仮想空間画像４５としてヒストグラム表示を採用した場合の一例を示したものである。図５（ａ）乃至図５（ｄ）は特徴量空間５０内において、検査画像に対応する５３を中心とした所定の範囲５５内に存在する比較画像の数と距離をヒストグラムで表したものである。ここで、図５（ａ）乃至図５（ｄ）における横軸は、特徴量空間５０における検査画像に対応する点５３から比較画像に対応する点までのユークリッド距離であり、縦軸は比較画像の個数（データ数）である。また、悪性症例画像に対応する点６１の数の推移を示す線は点線、良性症例画像に対応する点６２の数の推移を示す線は実線でそれぞれ表されている。そして、当該ヒストグラムの原点の位置に、基準となる検査画像に対応する点５３が設定される。

図５（ａ）に示すヒストグラムは、検査画像に対応する点５３に近い側に悪性症例画像に対応する点５１の数が多く、反対に遠い側に良性症例画像に対応する点５２が多いことが理解できるであろう。従って当該検査画像５３については、悪性である可能性が高いことがこの画像から分かる。反対に、図５（ｄ）に示すヒストグラムは、検査画像に対応する点５３は良性の確率が高いことが分かる。また、図５（ｂ）に示すヒストグラムは、検査画像に対応する点５３が、悪性症例画像に対応する点５１からも良性症例画像に対応する点５２からも遠く、以って検査画像内にそもそも腫瘍等が存在しない可能性が示唆される。しかし、図５（ｃ）に示すヒストグラムは、検査画像に対応する点５３から良性症例画像に対応する点５２と悪性症例画像に対応する点５１の両方の比較画像が近い位置に多く存在している。そのため、この場合には、診断支援システム１Ｓによる支援情報の精度は低く、病理診断等の更なる検査手段の必要性が示唆される。本表示例では、医師は、検査画像と多量の比較画像との総体的関係が一目で把握できる利点がある。また、比較画像は全てを表示する以外にも、デンスブレストか否か、年齢、遺伝的情報等、画像情報とは別の視点から検査対象者に類似する特性をもつ比較画像だけを表示する等の方法もある。

図６に示す模式図は、仮想空間画像４５としてヒストグラム表示を採用した場合の他の一例を示したものである。図６（ａ）は各属性の比較画像と検査画像のデータ数と距離の相関をヒストグラムで表している。ここで、比較画像として４種類のものが示される。この４種類とは、悪性症例画像に対応する点６１、良性症例画像に対応する点６２、アーチファクト画像に対応する点６３、及び正常組織画像に対応する点６４であり、この種類は各比較画像に紐づけられたラベル情報に基づいて特定される。ここで、アーチファクトとは腫瘍や腫瘤ではなくノイズ等が原因で撮像された虚像を指し、アーチファクト画像とはこのアーチファクトを含む比較画像である。また、正常組織画像とはデータ中に腫瘍、腫瘤及びアーチファクトのいずれも含まない比較画像である。図６（ａ）のもののように、複数種類の比較画像をヒストグラム表示することで、より詳細な診断支援の根拠となる情報を提供することができる。また、図６（ｂ）は４種類の比較画像と検査画像とのユークリッド距離の相関関係を示した図である。ここで、図６（ｂ）の縦軸及び横軸はいずれもユークリッド距離であるが、ユークリッド距離を計算した特徴量空間が異なっている。すなわち、まず良性と悪性の区別が最もはっきりするように機械学習を行った結果得られた計算部を用いて出力された特徴量情報により決定された特徴量空間上でのユークリッド距離を横軸（ユークリッド距離（１））として、良性悪性の和集合とそれ以外（所見ナシ）の区別が最もはっきりするように機械学習を行った結果得られた計算部を用いて出力された特徴量情報により決定された特徴量空間上でのユークリッド距離を縦軸（ユークリッド距離（２））とした仮想空間画像を生成する。これはＢＩ−ＲＡＤＳ（Ｂｒｅａｓｔ Ｉｍａｇｉｎｇ−Ｒｅｐｏｒｔｉｎｇ ａｎｄ Ｄａｔａ Ｓｙｓｔｅｍ）を用いた乳癌の診断において、カテゴリー３はおそらく良性（悪性確率２％以下）、カテゴリー４は悪性確率２~９５％という診断になるので、画像だけでは良悪性の鑑別は完全ではない。このまま機械学習のラベル情報として利用することには難しさがあるので、１回目の機械学習は良性と悪性の識別が最も高くなるように機械学習を行うが、同じ画像データを使った別の機械学習では、カテゴリー１と２以上が区分けされるように機械学習を行うことも有効である。ちなみにカテゴリー１は陰性、２は良性である。このように複数の特徴量空間によって出力される情報を組み合わせることで判定結果の信頼度が向上する。

ここまでは、いずれも図４（ａ）に示す特徴量空間５０等の情報のみに基づいて生成されたものであるが、本実施の形態における仮想空間画像はこのような態様に限定されない。例えば、図４（ｂ）に示すような１次元仮想空間画像５６に、縦軸として人になじみやすい指標、例えば周知の画像認識技術によって特定される特徴領域の大きさや特徴領域のグレースケール値の平均値を組み合わせて２次元の画像を生成し、表示することもできる。

図７は異なる仮想空間を組み合わせて表示した場合の模式図である。図７（ａ）に示す仮想空間は、特徴量情報としてのＮ次元パラメータを利用して生成された２次元の仮想空間であって、検査画像と比較画像がプロットされている。これに対し、図７（ｂ）に示す仮想空間は、従前から用いられている診断指標等を利用して生成された２次元の仮想空間であって、同じく検査画像と比較画像がプロットされている。ここでいう診断指標等には、見た目の近似具合による診断データ、医師等による所見、診断上のガイドラインの根拠に基づいた指標が含まれる。つまり、図７（ａ）に示す仮想空間は、学習済モデルが計算する特徴量情報に基づいて形成されているといえる。これに対し、図７（ｂ）に示す仮想空間は、医師等の人になじみやすい特徴量情報に基づいて形成されているといえる。

好ましくは、これらの仮想空間同士の関連性が理解できるよう、仮想空間内の情報に対して関連付けが行われる。ここでいう関連付けとしては、異なる仮想空間に表示された情報間の関係を特定するための処理であれば種々の処理を採用することができる。この処理としては、例えば、これら２つの仮想空間内にプロットされる同一の比較画像の点に対して、その形状や色を共通化する等といった、同一の視覚効果を付加する処理を挙げることができる。こうすることで、一方の仮想空間では分離できないような特徴について、さらに別の仮想空間を提示し、ユーザーによる診断判定を補うことが可能となる。

図８の模式図は、表示部１６のディスプレイへの表示の他の一例である。図８においては、計算される多次元パラメータに基づいて、検査画像と距離が近いと判断された比較画像を並置表示している。本例においては、検査画像と良性及び悪性の類似症例画像とを併せて表示する。例えば、仮想空間画像４５（図３参照）において特定の領域をユーザーが指定することにより、その領域内に存在する比較画像の中から、類似度の高い比較画像、言い換えれば検査画像との距離が近い比較画像が抽出される。類似症例としての比較画像としては、特徴量空間５０において検査画像を中心とした所定範囲内で最も近い悪性症例画像が所定数、同じく良性症例画像が所定数抽出される。例えば、検査画像２０が表示部１６の中央に表示され、その両側に設けられた良性症例画像表示領域２６と悪性症例画像表示領域２４とに、抽出された良性症例画像２７及び悪性症例画像２５がその類似度合いに沿ってそれぞれ表示される。このように表示された画像同士を並列して表示することで、これらの間の類似性を視覚的に捉えることができる。なお、ここでいう良性症例画像２７には、良性腫瘍を含む比較画像に加えて、アーチファクトを含む比較画像や、腫瘍等を含まない比較画像をも含んでいてよい。

図８（ａ）に示す表示は、仮想空間の検査画像を中心とした所定範囲内において、検査画像に近い良性症例画像は複数存在するものの、悪性症例画像は検出されなかったときの表示例である。良性症例画像表示領域２６には良性症例画像２７が３つ示されている。これに対し、悪性症例画像表示領域２４には表示される画像は存在しない。この場合、悪性症例画像に類似画像がないことが明示されているので、医師にとって特徴領域２１部分は悪性腫瘍でない可能性が高いことが一目瞭然であり、診断支援システム１Ｓによる診断判定結果に疑いの余地はない。また、図８（ｃ）に示す表示は、類似症例として悪性症例画像２５のみが悪性症例画像表示領域２４に表示されたときの表示例である。この場合も同様に、医師にとって特徴領域２１が悪性腫瘍である可能性が高いことは明確に判断でき、診断支援システム１Ｓによる診断判定結果に疑いの余地はない。

他方、図８（ｂ）に示す表示は、特徴量空間５０上において良悪性の鑑別が曖昧な場合の表示例である。検査画像２０の悪性症例画像表示領域２４と良性症例画像表示領域２６とには、悪性症例画像２５と良性症例画像２７とがそれぞれ３つずつ表示される。図８（ｂ）に示すような表示の場合は、良性と悪性を明確に判別できない場合である。このような場合、無理に診断支援システム１Ｓによる判定結果を提供するよりは、当該事例は曖昧事例であるとして、医師に判断を委ねることが得策といえる。医師は、各症例画像を選択し、症例情報を読むことができる。こうすると、医師は当該事例の検査画像の判定は曖昧であることを意識して、さらに組織生検、経過観察等の判断を下すことが容易になる。

図８に示すように、表示部１６に悪性症例画像２５及び良性症例画像２７を表示するに際しては、選定されたこれらの画像の検査画像に対する類似性が一見して理解できるよう、類似性の高さに応じて昇順で表示したり、制御部１２で特定された類似性を表す値を併記したり、あるいは類似性の高さに応じた視覚効果を付加したりすると好ましい。

このように、比較画像として良性（正常）と悪性の性状等、二以上の種類の画像を並列表示することで、医師等は機械による診断の妥当性を確認することができる。なお、仮想空間画像４５の所定の領域をユーザーが指定するのではなく、制御部１２が予め計算し並置表示する比較画像を選定し表示させても構わない。この場合は、特徴量情報のみから特徴量空間における距離は特定できるため、必ずしも仮想空間画像４５を表示する必要はない。また、図８に示す表示の形態と、図３に示す表示の形態とを、例えばユーザーが選択することで適宜変更して表示できるようにしてもよい。

＜第２の実施の形態＞
以上の第１の実施の形態では、検査画像と比較画像が比較され、診断判定が導出された際に、３次元のイメージデータからなる比較画像を表示する例を説明した。別の表示例として、比較画像を表示する際に、表示された画像内の病変推定部位に対し、例えばヒートマップ等の、画素毎の特徴をより顕著に表す視覚効果を有する図が追加され、各画像中に示されるようにしてもよい。このとき、画像と当該ヒートマップ等の図は重畳させてもよいし並置させてもよい。

比較画像には、３次元画像の中の腫瘤の位置や病変推定部位が事前に規定されており、これらの情報はラベル情報として比較画像に紐づけされている。したがって、このラベル情報を参照することで、ヒートマップ等の図を付加的に示すことができる。一方、ユーザーが確認する検査画像では、確認すべき部位の特定がされていない。本実施の形態によれば、ユーザーは、例えば機械学習技術によって推定された病変推定部位を参考に、３次元検査画像の中から確認すべき病変推定部位を効率的に特定できるため、読影負担を軽減することが可能である。

なお、比較画像が正常組織等であった場合には病変部位を示せない。しかし、機械学習の過程で偽病変と推定された部分は示すことで、偽陽性の判定を低減できる。この実施の形態はいわゆるＣＡＤｅ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｔｅｃｔｉｏｎ）に本発明を適用した例に相当する。

＜第３の実施の形態＞
第１の実施の形態及び第２の実施の形態では、機械学習技術を用いて病変推定部位を推定したのちに、ユーザーが判定の妥当性について判断した。別の実施の形態では、ユーザーが先に検査画像内の病変推定部位を特定したのち、その特定部位と類似する比較画像を示してもよい。

図９の模式図は、本実施の形態の表示部１６のディスプレイへの表示の一例である。図９（ａ）は、表示部１６の右側に画像撮像装置４から通信制御部１１を通じて取得した被検体としての乳房の３次元検査画像４０を表示する。検査画像４０の内部には注視すべき腫瘍の可能性の高い特徴領域４１が存在している。表示部１６の中央には３次元検査画像中のある一断面又は一領域（検査画像４０ａ、特徴領域４１ａ）が表示される。検査画像４０ａとして表示されている断面の３次元検査画像４０中の角度や位置は、３次元検査画像４０に対して示された表示断面位置を表すライン４９を用いて示されている。このライン４９は、医師等によって、図示しないマウス等の操作によりポインタ４２で位置や角度を変更でき、任意の断面を選択できる。なお、この検査画像４０ａとして表示されている断面は、腫瘍存在確率の高い部位を示すよう制御部１２によって自動的に決定されてもよい。

図９（ｂ）は、ポインタ４２で特定の断面の表示を選択して表示された検査画像４０ａの特徴領域４１ａについて、診断判定を行った表示例であり、表示部１６の右下位置に判定結果４３が示されている。判定結果は、例えば、腫瘍の存否確率、良悪性鑑別判定、該当する診断名等であるがこれらに限られない。また、判定結果４３の表示方法として、テキスト情報に代えて、特徴領域４１ａを強調表示する等、任意の視覚効果を用いた方法によるものであってもよい。さらに、判定結果の根拠を示す図として、表示部１６の右下には仮想空間画像４５が表示され、当該仮想空間画像４５中でポインタ４２によって医師等が指定した比較画像が類似症例を示す比較画像４４として表示部１６の中央下に表示されている。

本実施の形態によれば、ユーザーが検査したい部位を特定でき、その病変部位に対する類似症例を抽出するため、特定された病変の種類を特定するようなユーザーによる鑑別作業の効率を向上させることができる。この実施の形態はいわゆるＣＡＤｘ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｉｇａｎｏｓｉｓ）に本発明を適用した例に相当する。

本明細書中で引用する刊行物、特許出願及び特許を含むすべての文献を、各文献を個々に具体的に示し、参照して組み込むのと、また、その内容のすべてをここで述べるのと同じ限度で、ここで参照して組み込む。

本発明の説明に関連して（特に以下の請求項に関連して）用いられる名詞及び同様な指示語の使用は、本明細書中で特に指摘したり、明らかに文脈と矛盾したりしない限り、単数及び複数の両方に及ぶものと解釈される。語句「備える」、「有する」、「含む」及び「包含する」は、特に断りのない限り、オープンエンドターム（すなわち「〜を含むが限らない」という意味）として解釈される。本明細書中の数値範囲の具陳は、本明細書中で特に指摘しない限り、単にその範囲内に該当する各値を個々に言及するための略記法としての役割を果たすことだけを意図しており、各値は、本明細書中で個々に列挙されたかのように、明細書に組み込まれる。本明細書中で説明されるすべての方法は、本明細書中で特に指摘したり、明らかに文脈と矛盾したりしない限り、あらゆる適切な順番で行うことができる。本明細書中で使用するあらゆる例又は例示的な言い回し（例えば「など」）は、特に主張しない限り、単に本発明をよりよく説明することだけを意図し、本発明の範囲に対する制限を設けるものではない。明細書中のいかなる言い回しも、請求項に記載されていない要素を、本発明の実施に不可欠であるものとして示すものとは解釈されないものとする。

本明細書中では、本発明を実施するため本発明者が知っている最良の形態を含め、本発明の好ましい実施の形態について説明している。当業者にとっては、上記説明を読めば、これらの好ましい実施の形態の変形が明らかとなろう。本発明者は、熟練者が適宜このような変形を適用することを期待しており、本明細書中で具体的に説明される以外の方法で本発明が実施されることを予定している。したがって本発明は、準拠法で許されているように、本明細書に添付された請求項に記載の内容の修正及び均等物をすべて含む。さらに、本明細書中で特に指摘したり、明らかに文脈と矛盾したりしない限り、すべての変形における上記要素のいずれの組合せも本発明に包含される。

本発明の診断支援システム及び診断支援方法によると、判定結果としての類似画像の表示や生体情報が含まれる確率の表示の根拠として、検査画像と複数の比較画像との間の類似性を合わせてユーザーに提供することで、診断の効率の向上に寄与する。

１Ｓ 診断支援システム
２ 診断支援装置
３ 事前取得データ保持部
４ 画像撮像装置
１１ 通信制御部
１２ 制御部
１３ 計算部
１４ 仮想空間データ保持部
１５ 表示制御部
１６ 表示部
１７ 入力部
１８ 推論部
１９ 前処理部
２０、４０、４０ａ、５３ 検査画像
２１、４１、４１ａ 特徴領域
２４ 悪性側表示欄
２５ 悪性症例画像
２６ 良性側表示欄
２７ 良性症例画像
４２ ポインタ
４３ 判定結果
４４ （類似症例としての）比較画像
４５ 仮想空間画像
４６ 病変推定部位
４７ 患者情報表示部
４８ 撮像条件表示部
４９ ライン
５０ 特徴量空間
５１、６１ 悪性症例画像に対応する点
５２、６２ 良性症例画像に対応する点
５４ 悪性・良性判別ライン
５６ １次元仮想空間画像
５７ ２次元仮想空間画像
６３ アーチファクト画像に対応する点
６４ 正常組織画像に対応する点

Claims (10)

1. 事前に取得された被検体の内部情報の画像を比較画像として複数保持する事前取得データ保持部であって、前記複数の比較画像は、画像データと、生体組織情報や形状情報を表すラベル情報と、前記複数の比較画像同士の類似度を特定可能な特徴量情報とを備える、前記事前取得データ保持部と；
   検査対象物としての被検体から取得された検査画像の画像データを、前記複数の比較画像を学習した学習済モデルに入力して前記検査画像の特徴量情報を計算する計算部と；
   前記複数の比較画像の前記特徴量情報と前記検査画像の前記特徴量情報とに基づいて、前記検査画像と前記複数の比較画像との間の類似性を表示する表示部と；を備える、
   診断支援システム。
2. 前記特徴量情報は、多次元のパラメータで構成された情報であり、
   前記特徴量情報を構成する前記多次元パラメータを座標とする特徴量空間上における、前記検査画像と前記複数の比較画像との間の距離を、前記類似性を表す値として特定する制御部を更に備える、
   請求項１に記載の診断支援システム。
3. 前記特徴量情報は、多次元のパラメータで構成された情報であり、
   前記特徴量情報を利用して、前記類似性を視覚的に認識するための表示可能な次元数で構成された第１の仮想空間を生成するための仮想空間データ保持部を更に備え、
   前記表示部は、前記第１の仮想空間上に、前記複数の比較画像に加えて前記検査画像をプロットした第１の仮想空間画像を表示する、
   請求項１に記載の診断支援システム。
4. 前記複数の特徴量情報は、前記複数の比較画像及び前記検査画像に対応する言語表現で構成された情報であり、
   前記特徴量情報を利用して、前記類似性を視覚的に認識するための第２の仮想空間を生成するための仮想空間データ保持部を更に備え、
   前記表示部は、前記第２の仮想空間上に、前記複数の比較画像に加えて前記検査画像をプロットした第２の仮想空間画像を表示する、
   請求項１に記載の診断支援システム。
5. 前記類似性は、前記仮想空間画像内における、前記検査画像と前記複数の比較画像との間の距離に基づいて特定される、
   請求項３又は請求項４に記載の診断支援システム。
6. 前記表示部は、前記検査画像に対する前記類似性の高い１乃至複数の前記比較画像を表示する、
   請求項１乃至請求項５のいずれか１項に記載の診断支援システム。
7. 前記表示部は、前記ラベル情報に基づいて、前記複数の比較画像の表示に所定の視覚効果を付加する、
   請求項１乃至請求項６のいずれか１項に記載の診断支援システム。
8. 前記検査画像と前記複数の比較画像に基づいて、前記検査画像内に、予め設定された生体情報が含まれるか否かを推論する推論部を更に備える、
   請求項１乃至請求項７のいずれか１項に記載の診断支援システム。
9. 前記検査画像の画像データを、前記計算部において前記特徴量情報が計算可能な形式に調整する前処理部を更に備える、
   請求項１乃至請求項８のいずれか１項に記載の診断支援システム。
10. コンピュータを用いた診断支援方法であって、
    事前に取得された被検体の内部情報の画像を比較画像として複数保持するステップであって、前記複数の比較画像は、画像データと前記複数の比較画像同士の類似度を特定可能な特徴量情報とを備える、ステップと；
    検査対象物としての被検体から取得された検査画像の画像データを、前記複数の比較画像を学習した学習済モデルに入力して前記検査画像の特徴量情報を計算するステップと；
    前記複数の比較画像の前記特徴量情報と前記検査画像の前記特徴量情報とに基づいて、前記検査画像と前記複数の比較画像との間の類似性を表示するステップと；を備える、
    診断支援方法。

Images