JP7843989B2 - 医用画像診断支援装置、医用画像診断支援方法およびプログラム - Google Patents
医用画像診断支援装置、医用画像診断支援方法およびプログラムInfo
- Publication number
- JP7843989B2 JP7843989B2 JP2021153427A JP2021153427A JP7843989B2 JP 7843989 B2 JP7843989 B2 JP 7843989B2 JP 2021153427 A JP2021153427 A JP 2021153427A JP 2021153427 A JP2021153427 A JP 2021153427A JP 7843989 B2 JP7843989 B2 JP 7843989B2
- Authority
- JP
- Japan
- Prior art keywords
- medical image
- diagnostic support
- learning
- support device
- image diagnostic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
本発明は、医用画像診断支援装置、医用画像診断支援方法およびプログラムに関する。
従来から、医師による画像の診断を支援する画像診断支援装置が知られている（例えば特許文献１参照）。特許文献１に記載された技術では、畳み込みニューラルネットワーク（ＣＮＮ）が有する内視鏡画像の診断能力が使用される。詳細には、特許文献１に記載された技術では、病変推定部が、畳み込みニューラルネットワークを用い、内視鏡画像データにより表される内視鏡画像内に存在する病変の病変名および病変位置と、病変名および病変位置の確度とを推定する。また、特許文献１に記載された技術では、あらかじめ経験豊富な内視鏡医によってマーキング処理されたレファレンスデータ（教師データ）を用い、畳み込みニューラルネットワークの学習処理が行われる。
ところで、医療分野においては、ＡＩ（人工知能）のブラックボックス問題を考慮する必要がある。つまり、特許文献１に記載された画像診断支援装置のような画像診断支援用ＡＩのブラックボックス問題を考慮する必要がある。
ところで、医療分野においては、ＡＩ（人工知能）のブラックボックス問題を考慮する必要がある。つまり、特許文献１に記載された画像診断支援装置のような画像診断支援用ＡＩのブラックボックス問題を考慮する必要がある。
そこで、本発明者等は、鋭意研究において、医用画像として胸部Ｘ線画像を用い、畳み込みニューラルネットワークと、畳み込みニューラルネットワークの注目領域を可視化するアテンションブランチネットワーク（ＡＢＮ）とによって、胸部Ｘ線画像から疾患の有無を分類する分類モデルを構成し、畳み込みニューラルネットワークの注目領域について検証した。その結果、本発明者等は、畳み込みニューラルネットワークが、胸部Ｘ線画像のうちの疾患の有無の分類に不必要な領域に注目してしまうおそれがあることを見い出した。
このように、胸部Ｘ線画像のうちの疾患の有無の分類に不必要な領域に注目してしまう医療用ＡＩでは、例えば専門医の信頼などのような、医療現場の信頼を得ることができないと本発明者等は考え、研究を更に進めた。
このように、胸部Ｘ線画像のうちの疾患の有無の分類に不必要な領域に注目してしまう医療用ＡＩでは、例えば専門医の信頼などのような、医療現場の信頼を得ることができないと本発明者等は考え、研究を更に進めた。
具体的には、本発明者等は、鋭意研究において、胸部Ｘ線画像のうちの疾患の有無の分類に必要な領域を示す事前情報をアテンションブランチネットワークに対して与えた。その結果、畳み込みニューラルネットワークが胸部Ｘ線画像のうちの疾患の有無の分類に不必要な領域に注目しないようにすることができたのである。
つまり、本発明は、畳み込みニューラルネットワークが医用画像のうちの疾患の有無の分類に不必要な領域に注目しないようにすることができる医用画像診断支援装置、医用画像診断支援方法およびプログラムを提供することを目的とする。
本発明の一態様は、医用画像の診断を支援する医用画像診断支援装置であって、前記医用画像から少なくとも疾患の有無を分類する分類モデルと、前記分類モデルを用いた予測を行う予測部と、前記予測部によって前記分類モデルが用いられる前に、前記分類モデルの教師あり学習を行う学習部とを備え、前記学習部によって行われる教師あり学習では、少なくとも疾患の有無が既知の学習用医用画像が教師データとして用いられ、前記分類モデルは、畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークの注目領域を可視化するアテンションブランチネットワークとによって構成され、前記学習部によって前記分類モデルの教師あり学習が行われる段階で、前記アテンションブランチネットワークには、前記学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域を示す事前情報が与えられる、医用画像診断支援装置である。
本発明の一態様の医用画像診断支援装置では、前記アテンションブランチネットワークは、前記医用画像の分類に必要な特徴量を抽出し、特徴量マップを生成する特徴抽出器と、クラスアクティベーションマッピングによるアテンションマップを生成するアテンションブランチと、パーセプションブランチとを備え、前記学習部によって前記分類モデルの教師あり学習が行われる段階では、前記アテンションブランチにより生成された前記アテンションマップは、前記特徴抽出器によって生成された前記特徴量マップに反映させられ、前記パーセプションブランチは、前記アテンションマップによって重み付けされた前記特徴量マップを、前記学習用医用画像の分類結果として出力し、前記アテンションブランチネットワークの損失関数は、前記アテンションブランチの学習誤差と、前記パーセプションブランチの学習誤差と、正則化項との総和であり、前記正則化項は、前記アテンションマップと重みマップとのアダマール積によって得られた行列のフロベニウスノルムであり、前記重みマップは、前記分類用領域に対応してもよい。
本発明の一態様の医用画像診断支援装置では、前記学習部によって前記分類モデルの教師あり学習が行われる段階では、前記アテンションブランチネットワークは、前記分類用領域の一部である第１部分のセグメンテーション画像に凸包処理を行うことによって作成された前記重みマップを受け付けてもよい。
本発明の一態様の医用画像診断支援装置では、前記学習部によって前記分類モデルの教師あり学習が行われる段階では、前記アテンションブランチネットワークは、前記分類用領域の一部である第１部分のセグメンテーション画像と、前記分類用領域の他の一部である第２部分のセグメンテーション画像とを組み合わせることによって作成された前記重みマップを受け付けてもよい。
本発明の一態様の医用画像診断支援装置では、前記第１部分のセグメンテーション画像および／または前記第１部分のセグメンテーション画像と前記分類用領域の他の一部である第２部分のセグメンテーション画像とを組み合わせたものは、Ｕ－Ｎｅｔを使用することによって生成されてもよい。
本発明の一態様の医用画像診断支援装置では、前記畳み込みニューラルネットワークとして、ＶＧＧ１６、ＲｅｓＮｅｔ５０およびＤｅｎｓｅＮｅｔ１２１のいずれかを用いてもよい。
本発明の一態様の医用画像診断支援装置では、前記アテンションブランチネットワークは、前記医用画像の分類に必要な特徴量を抽出し、特徴量マップを生成する特徴抽出器と、クラスアクティベーションマッピングによるアテンションマップを生成するアテンションブランチと、パーセプションブランチとを備え、前記アテンションブランチにより生成された前記アテンションマップは、前記特徴抽出器によって生成された前記特徴量マップに反映させられ、前記パーセプションブランチは、前記アテンションマップによって重み付けされた前記特徴量マップを、前記医用画像の分類結果として出力し、前記アテンションブランチネットワークの損失関数は、前記アテンションブランチの学習誤差と、前記パーセプションブランチの学習誤差と、正則化項との総和であり、前記正則化項は、前記アテンションマップと重みマップとのアダマール積によって得られた行列のフロベニウスノルムであり、前記重みマップは、前記予測用領域に対応してもよい。
本発明の一態様は、医用画像の診断を支援する医用画像診断支援方法であって、前記医用画像から少なくとも疾患の有無を分類する分類モデルを用いた予測を行う予測ステップと、前記予測ステップが実行される前に、前記分類モデルの教師あり学習を行う学習ステップとを備え、前記学習ステップにおいて行われる教師あり学習では、少なくとも疾患の有無が既知の学習用医用画像が教師データとして用いられ、前記分類モデルは、畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークの注目領域を可視化するアテンションブランチネットワークとによって構成され、前記学習ステップでは、前記アテンションブランチネットワークには、前記学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域を示す事前情報が与えられる、医用画像診断支援方法である。
本発明の一態様は、コンピュータに、医用画像から少なくとも疾患の有無を分類する分類モデルを用いた予測を行う予測ステップと、前記予測ステップが実行される前に、前記分類モデルの教師あり学習を行う学習ステップとを実行させるためのプログラムであって、前記学習ステップにおいて行われる教師あり学習では、少なくとも疾患の有無が既知の学習用医用画像が教師データとして用いられ、前記分類モデルは、畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークの注目領域を可視化するアテンションブランチネットワークとによって構成され、前記学習ステップでは、前記アテンションブランチネットワークには、前記学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域を示す事前情報が与えられる、プログラムである。
本発明によれば、畳み込みニューラルネットワークが医用画像のうちの疾患の有無の分類に不必要な領域に注目しないようにすることができる医用画像診断支援装置、医用画像診断支援方法およびプログラムを提供することができる。
以下、図面を参照し、本発明の医用画像診断支援装置、医用画像診断支援方法およびプログラムの実施形態について説明する。
［第１実施形態］
図１は第１実施形態の医用画像診断支援装置１の構成の一例を示す図である。
図１に示す例では、第１実施形態の医用画像診断支援装置１が、例えば専門医などによる医用画像の診断を支援する。医用画像診断支援装置１による診断支援対象の医用画像には、例えば胸部Ｘ線画像などのようなＸ線画像、エコー画像、ＭＲＩ（Magnetic Resonance Imaging）画像、ＣＴ（computed tomography）画像、眼底画像などが含まれる。
医用画像診断支援装置１は、予測部１１と、学習部１２と、分類モデル１Ａとを備えている。分類モデル１Ａは、医用画像から疾患の有無を分類する。つまり、分類モデル１Ａは、疾患を有するか否の診断が必要な医用画像を、疾患を有する医用画像と、疾患を有さない医用画像とに分類する。予測部１１は分類モデル１Ａを用いた予測を行う。学習部１２は、予測部１１によって分類モデル１Ａが用いられる前に、分類モデル１Ａの教師あり学習を行う。学習部１２によって行われる教師あり学習では、疾患の有無が既知の学習用医用画像が教師データとして用いられる。
図１に示す例では、学習部１２が分類モデル１Ａの教師あり学習を行う学習段階において、疾患の有無が既知の学習用医用画像が、教師データとして医用画像診断支援装置１に入力される。つまり、分類モデル１Ａの教師あり学習に用いられる教師データは、学習用医用画像と、その学習用医用画像の撮像対象者がその学習用医用画像内に疾患を有するか否かを示す情報との組である。
予測部１１が分類モデル１Ａを用いることによって医用画像から疾患の有無を予測する予測段階においては、分類モデル１Ａによる分類対象の医用画像が医用画像診断支援装置１に入力され、分類モデル１Ａは、入力された医用画像を、疾患を有する医用画像と、疾患を有さない医用画像とに分類する。更に、分類モデル１Ａによる分類結果（つまり、各医用画像が疾患を有する画像であるか、あるいは、疾患を有さない画像であるかを示す情報）が、医用画像診断支援装置１から出力される。
図１は第１実施形態の医用画像診断支援装置１の構成の一例を示す図である。
図１に示す例では、第１実施形態の医用画像診断支援装置１が、例えば専門医などによる医用画像の診断を支援する。医用画像診断支援装置１による診断支援対象の医用画像には、例えば胸部Ｘ線画像などのようなＸ線画像、エコー画像、ＭＲＩ（Magnetic Resonance Imaging）画像、ＣＴ（computed tomography）画像、眼底画像などが含まれる。
医用画像診断支援装置１は、予測部１１と、学習部１２と、分類モデル１Ａとを備えている。分類モデル１Ａは、医用画像から疾患の有無を分類する。つまり、分類モデル１Ａは、疾患を有するか否の診断が必要な医用画像を、疾患を有する医用画像と、疾患を有さない医用画像とに分類する。予測部１１は分類モデル１Ａを用いた予測を行う。学習部１２は、予測部１１によって分類モデル１Ａが用いられる前に、分類モデル１Ａの教師あり学習を行う。学習部１２によって行われる教師あり学習では、疾患の有無が既知の学習用医用画像が教師データとして用いられる。
図１に示す例では、学習部１２が分類モデル１Ａの教師あり学習を行う学習段階において、疾患の有無が既知の学習用医用画像が、教師データとして医用画像診断支援装置１に入力される。つまり、分類モデル１Ａの教師あり学習に用いられる教師データは、学習用医用画像と、その学習用医用画像の撮像対象者がその学習用医用画像内に疾患を有するか否かを示す情報との組である。
予測部１１が分類モデル１Ａを用いることによって医用画像から疾患の有無を予測する予測段階においては、分類モデル１Ａによる分類対象の医用画像が医用画像診断支援装置１に入力され、分類モデル１Ａは、入力された医用画像を、疾患を有する医用画像と、疾患を有さない医用画像とに分類する。更に、分類モデル１Ａによる分類結果（つまり、各医用画像が疾患を有する画像であるか、あるいは、疾患を有さない画像であるかを示す情報）が、医用画像診断支援装置１から出力される。
上述したように、医療分野においては、ＡＩのブラックボックス問題を考慮する必要がある。詳細には、医療用ＡＩが医用画像のうちのどの領域に注目しているかを、医療用ＡＩを利用する専門医などが把握できるようにしなければ、専門医などが医療用ＡＩを信頼して利用しないおそれがある。
そこで、図１に示す例では、分類モデル１Ａが、畳み込みニューラルネットワーク１Ａ１と、畳み込みニューラルネットワーク１Ａ１の注目領域を可視化するアテンションブランチネットワーク１Ａ２とによって構成されている。アテンションブランチネットワーク１Ａ２は、視覚的説明による畳み込みニューラルネットワーク１Ａ１の注目領域の可視化と予測精度向上とを同時に実現した分類モデルである。アテンションブランチネットワーク１Ａ２の詳細については、例えば下記の文献に記載されている。
H. Fukui, T. Hirakawa, T. Yamashita, and H. Fujiyoshi, “Attention branch network: Learning of attention mechanism for visual explanation,” Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., vol. 2019-June, pp. 10697-10706, 2019, doi: 10.1109/CVPR.2019.01096.
そこで、図１に示す例では、分類モデル１Ａが、畳み込みニューラルネットワーク１Ａ１と、畳み込みニューラルネットワーク１Ａ１の注目領域を可視化するアテンションブランチネットワーク１Ａ２とによって構成されている。アテンションブランチネットワーク１Ａ２は、視覚的説明による畳み込みニューラルネットワーク１Ａ１の注目領域の可視化と予測精度向上とを同時に実現した分類モデルである。アテンションブランチネットワーク１Ａ２の詳細については、例えば下記の文献に記載されている。
H. Fukui, T. Hirakawa, T. Yamashita, and H. Fujiyoshi, “Attention branch network: Learning of attention mechanism for visual explanation,” Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., vol. 2019-June, pp. 10697-10706, 2019, doi: 10.1109/CVPR.2019.01096.
図２は図１に示すアテンションブランチネットワーク１Ａ２の構成の一例を示す図である。
図２に示す例では、アテンションブランチネットワーク１Ａ２が、特徴抽出器１Ａ２１と、アテンションブランチ１Ａ２２と、パーセプションブランチ１Ａ２３とを備えている。
例えば、学習部１２によって分類モデル１Ａの教師あり学習が行われる段階では、特徴抽出器１Ａ２１は、アテンションブランチネットワーク１Ａ２に入力された学習用医用画像から学習用医用画像の分類に必要な特徴量を抽出し、特徴量マップを生成する。
アテンションブランチ１Ａ２２は、特徴抽出器１Ａ２１によって生成された特徴量マップから、クラスアクティベーションマッピング（ＣＡＭ）によるアテンションマップを生成する。アテンションブランチネットワーク１Ａ２では、アテンションブランチ１Ａ２２により生成されたアテンションマップが、特徴抽出器１Ａ２１によって生成された特徴量マップに反映させられる（つまり、特徴量マップが、アテンションマップによって重み付けされる）。
パーセプションブランチ１Ａ２３は、アテンションマップによって重み付けされた特徴量マップの分類を行い、アテンションブランチネットワーク１Ａ２に入力された学習用医用画像の分類結果として出力する。
図２に示す例では、アテンションブランチネットワーク１Ａ２が、特徴抽出器１Ａ２１と、アテンションブランチ１Ａ２２と、パーセプションブランチ１Ａ２３とを備えている。
例えば、学習部１２によって分類モデル１Ａの教師あり学習が行われる段階では、特徴抽出器１Ａ２１は、アテンションブランチネットワーク１Ａ２に入力された学習用医用画像から学習用医用画像の分類に必要な特徴量を抽出し、特徴量マップを生成する。
アテンションブランチ１Ａ２２は、特徴抽出器１Ａ２１によって生成された特徴量マップから、クラスアクティベーションマッピング（ＣＡＭ）によるアテンションマップを生成する。アテンションブランチネットワーク１Ａ２では、アテンションブランチ１Ａ２２により生成されたアテンションマップが、特徴抽出器１Ａ２１によって生成された特徴量マップに反映させられる（つまり、特徴量マップが、アテンションマップによって重み付けされる）。
パーセプションブランチ１Ａ２３は、アテンションマップによって重み付けされた特徴量マップの分類を行い、アテンションブランチネットワーク１Ａ２に入力された学習用医用画像の分類結果として出力する。
一般的なアテンションブランチネットワークにおいては、アテンションブランチネットワークの損失関数Ｌｏｓｓが下記の式（１）によって表される。式（１）において、ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓａｔｔはアテンションブランチの学習誤差を示しており、ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓｐｅｒはパーセプションブランチの学習誤差を示している。
つまり、一般的なアテンションブランチネットワークにおいては、アテンションブランチネットワークの損失関数Ｌｏｓｓが、アテンションブランチの学習誤差ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓａｔｔとパーセプションブランチの学習誤差ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓｐｅｒとの総和である。
つまり、一般的なアテンションブランチネットワークにおいては、アテンションブランチネットワークの損失関数Ｌｏｓｓが、アテンションブランチの学習誤差ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓａｔｔとパーセプションブランチの学習誤差ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓｐｅｒとの総和である。
本発明者等は、鋭意研究において、アテンションブランチネットワーク１Ａ２の損失関数Ｌｏｓｓとして、式（１）に示すアテンションブランチネットワークの損失関数Ｌｏｓｓを用いると、畳み込みニューラルネットワーク１Ａ１が、胸部Ｘ線画像のうちの疾患の有無の分類に不必要な領域に注目してしまうのに対し、アテンションブランチネットワーク１Ａ２の損失関数Ｌｏｓｓとして、下記の式（２）に示すアテンションブランチネットワーク１Ａ２の損失関数Ｌｏｓｓを用いることによって、畳み込みニューラルネットワーク１Ａ１が、胸部Ｘ線画像のうちの疾患の有無の分類に不必要な領域に注目しなくなることを見い出したのである。
詳細には、本発明者等は、研究において、アテンションブランチ１Ａ２２から出力されるアテンションマップが、学習用医用画像内における位置に対応した情報を持つことに注目した。更に、本発明者等は、畳み込みニューラルネットワーク１Ａ１が胸部Ｘ線画像のうちの肺野や心臓の領域に注目するように、かつ、畳み込みニューラルネットワーク１Ａ１が胸部Ｘ線画像のうちの肺野、心臓以外の領域に注目した場合に高い罰則が付くように、アテンションブランチネットワーク１Ａ２の損失関数Ｌｏｓｓに、正則化項（式（２）の右辺の第３項）を追加した。その結果、畳み込みニューラルネットワーク１Ａ１が、胸部Ｘ線画像のうちの疾患の有無の分類に不必要な領域に注目しなくなったのである。
詳細には、本発明者等は、研究において、アテンションブランチ１Ａ２２から出力されるアテンションマップが、学習用医用画像内における位置に対応した情報を持つことに注目した。更に、本発明者等は、畳み込みニューラルネットワーク１Ａ１が胸部Ｘ線画像のうちの肺野や心臓の領域に注目するように、かつ、畳み込みニューラルネットワーク１Ａ１が胸部Ｘ線画像のうちの肺野、心臓以外の領域に注目した場合に高い罰則が付くように、アテンションブランチネットワーク１Ａ２の損失関数Ｌｏｓｓに、正則化項（式（２）の右辺の第３項）を追加した。その結果、畳み込みニューラルネットワーク１Ａ１が、胸部Ｘ線画像のうちの疾患の有無の分類に不必要な領域に注目しなくなったのである。
つまり、式（２）に示すアテンションブランチネットワーク１Ａ２の損失関数Ｌｏｓｓは、アテンションブランチ１Ａ２２の学習誤差ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓａｔｔと、パーセプションブランチ１Ａ２３の学習誤差ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓｐｅｒと、正則化項との総和である。詳細には、正則化項は、アテンションブランチ１Ａ２２から出力されるアテンションマップＭと重みマップＷとのアダマール積（アテンションマップＭと重みマップＷとの成分ごとの積）によって得られた行列のフロベニウスノルムである。
式（２）において、正則化パラメータλは、学習の都度チューニングが必要なハイパーパラメータである。
重みマップＷは、畳み込みニューラルネットワーク１Ａ１に注目して欲しい領域（分類用領域）に対応する。つまり、重みマップＷは、医用画像診断支援装置１に入力される学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域に対応する。
式（２）において、正則化パラメータλは、学習の都度チューニングが必要なハイパーパラメータである。
重みマップＷは、畳み込みニューラルネットワーク１Ａ１に注目して欲しい領域（分類用領域）に対応する。つまり、重みマップＷは、医用画像診断支援装置１に入力される学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域に対応する。
すなわち、図２に示す例では、医用画像診断支援装置１に入力される学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域を示す事前情報が、アテンションブランチネットワーク１Ａ２に与えられる。
その結果、図１および図２に示す例では、畳み込みニューラルネットワーク１Ａ１が学習用医用画像のうちの疾患の有無の分類に不必要な領域に注目しないようにすることができる。つまり、畳み込みニューラルネットワーク１Ａ１が学習用医用画像のうちの疾患の有無の分類に不必要な領域に注目してしまうことに伴って、医用画像診断支援装置１が専門医などに信頼されなくなるおそれを抑制することができる。
図１および図２に示す例では、分類モデル１Ａが予後の分類（つまり、医用画像を、予後が良い医用画像と、予後が悪い医用画像とに分類すること）を行わないが、他の例では、分類モデル１Ａが予後の分類を行ってもよい。この例では、教師データとして、疾患の有無が既知であって、予後に関する情報が既知である学習用医用画像が用いられる。
その結果、図１および図２に示す例では、畳み込みニューラルネットワーク１Ａ１が学習用医用画像のうちの疾患の有無の分類に不必要な領域に注目しないようにすることができる。つまり、畳み込みニューラルネットワーク１Ａ１が学習用医用画像のうちの疾患の有無の分類に不必要な領域に注目してしまうことに伴って、医用画像診断支援装置１が専門医などに信頼されなくなるおそれを抑制することができる。
図１および図２に示す例では、分類モデル１Ａが予後の分類（つまり、医用画像を、予後が良い医用画像と、予後が悪い医用画像とに分類すること）を行わないが、他の例では、分類モデル１Ａが予後の分類を行ってもよい。この例では、教師データとして、疾患の有無が既知であって、予後に関する情報が既知である学習用医用画像が用いられる。
図３は第１実施形態の医用画像診断支援装置１の第１例における重みマップＷの作成手法を説明するための図である。詳細には、図３（Ａ）は医用画像診断支援装置１に入力される学習用医用画像（入力画像）の一例を示しており、図３（Ｂ）は図３（Ａ）に示す学習用医用画像（胸部Ｘ線画像）のうちの疾患の有無の分類に必要な領域（分類用領域）の一部（肺野）のセグメンテーション画像を示しており、図３（Ｃ）は図３（Ｂ）に示すセグメンテーション画像から作成される重みマップＷを示している。
図３に示す例では、分類用領域（具体的には、図３（Ａ）に示す胸部Ｘ線画像のうちの疾患の有無の分類に必要な領域）の一部である第１部分（具体的には、肺野）のセグメンテーション画像（図３（Ｂ）参照）に凸包処理を行うことによって、図３（Ｃ）に示す重みマップＷが作成される。図３（Ｃ）に示す重みマップＷは、例えば医用画像診断支援装置１の管理者（例えば専門医など）によって作成される。学習部１２によって分類モデル１Ａの教師あり学習が行われる段階において、医用画像診断支援装置１のアテンションブランチネットワーク１Ａ２は、その重みマップＷの入力を受け付け、上述した正則化項を得るためにその重みマップＷを利用する（つまり、その重みマップＷが、アテンションブランチネットワーク１Ａ２に入力され、正則化項を得るために利用される）。
他の例では、医用画像診断支援装置１が、図３（Ｃ）に示す重みマップＷを作成するための機能を備えていてもよい。
図３に示す例では、分類用領域（具体的には、図３（Ａ）に示す胸部Ｘ線画像のうちの疾患の有無の分類に必要な領域）の一部である第１部分（具体的には、肺野）のセグメンテーション画像（図３（Ｂ）参照）に凸包処理を行うことによって、図３（Ｃ）に示す重みマップＷが作成される。図３（Ｃ）に示す重みマップＷは、例えば医用画像診断支援装置１の管理者（例えば専門医など）によって作成される。学習部１２によって分類モデル１Ａの教師あり学習が行われる段階において、医用画像診断支援装置１のアテンションブランチネットワーク１Ａ２は、その重みマップＷの入力を受け付け、上述した正則化項を得るためにその重みマップＷを利用する（つまり、その重みマップＷが、アテンションブランチネットワーク１Ａ２に入力され、正則化項を得るために利用される）。
他の例では、医用画像診断支援装置１が、図３（Ｃ）に示す重みマップＷを作成するための機能を備えていてもよい。
図４は第１実施形態の医用画像診断支援装置１の第２例における重みマップＷの作成手法を説明するための図である。詳細には、図４（Ａ）は医用画像診断支援装置１に入力される学習用医用画像（入力画像）の一例を示しており、図４（Ｂ）は図４（Ａ）に示す学習用医用画像（胸部Ｘ線画像）のうちの疾患の有無の分類に必要な領域（分類用領域）の一部（肺野）のセグメンテーション画像と他の一部（心臓）のセグメンテーション画像とを組み合わせたものを示しており、図４（Ｃ）は図４（Ｂ）に示す肺野のセグメンテーション画像と心臓のセグメンテーション画像とを組み合わせたものから作成される重みマップＷを示している。
図４に示す例では、分類用領域（具体的には、図４（Ａ）に示す胸部Ｘ線画像のうちの疾患の有無の分類に必要な領域）の一部である第１部分（具体的には、肺野）のセグメンテーション画像と、分類用領域の他の一部である第２部分（具体的には、心臓）のセグメンテーション画像とを組み合わせたもの（図４（Ｂ）参照）を生成することによって、図４（Ｃ）に示す重みマップＷが作成される。学習部１２によって分類モデル１Ａの教師あり学習が行われる段階において、医用画像診断支援装置１のアテンションブランチネットワーク１Ａ２は、その重みマップＷの入力を受け付け、上述した正則化項を得るためにその重みマップＷを利用する（つまり、その重みマップＷが、アテンションブランチネットワーク１Ａ２に入力され、正則化項を得るために利用される）。
他の例では、医用画像診断支援装置１が、図４（Ｃ）に示す重みマップＷを作成するための機能を備えていてもよい。
図４に示す例では、分類用領域（具体的には、図４（Ａ）に示す胸部Ｘ線画像のうちの疾患の有無の分類に必要な領域）の一部である第１部分（具体的には、肺野）のセグメンテーション画像と、分類用領域の他の一部である第２部分（具体的には、心臓）のセグメンテーション画像とを組み合わせたもの（図４（Ｂ）参照）を生成することによって、図４（Ｃ）に示す重みマップＷが作成される。学習部１２によって分類モデル１Ａの教師あり学習が行われる段階において、医用画像診断支援装置１のアテンションブランチネットワーク１Ａ２は、その重みマップＷの入力を受け付け、上述した正則化項を得るためにその重みマップＷを利用する（つまり、その重みマップＷが、アテンションブランチネットワーク１Ａ２に入力され、正則化項を得るために利用される）。
他の例では、医用画像診断支援装置１が、図４（Ｃ）に示す重みマップＷを作成するための機能を備えていてもよい。
詳細には、本発明者等は、研究において、Ｕ－Ｎｅｔを使用することによって、図３（Ｂ）に示すセグメンテーション画像（肺野のセグメンテーション画像）と、図４（Ｂ）に示すセグメンテーション画像（肺野のセグメンテーション画像と心臓のセグメンテーション画像とを組み合わせたもの）とを生成した。
Ｕ－Ｎｅｔについては、下記の文献に記載されている。
O. Ronneberger, P. Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 9351, pp. 234-241, 2015, doi: 10.1007/978-3-319-24574-4_28.
Ｕ－Ｎｅｔについては、下記の文献に記載されている。
O. Ronneberger, P. Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 9351, pp. 234-241, 2015, doi: 10.1007/978-3-319-24574-4_28.
また、本発明者等は、研究において、肺野の教師データに、Montgomery Country-Chest X-ray databaseの胸部Ｘ線画像７０４例を使用した。Montgomery Country-Chest X-ray databaseの胸部Ｘ線画像７０４例については、下記の２つの文献に記載されている。
S. Candemir et al., “Lung segmentation in chest radiographs using anatomical atlases with nonrigid registration,” IEEE Trans. Med. Imaging, vol. 33, no. 2, pp. 577-590, 2014, doi: 10.1109/TMI.2013.2290491.
S. Jaeger et al., “Automatic Tuberculosis Screening Using Chest Radiographs,” IEEE Trans. Med. Imaging, vol. 33, no. 2, pp. 233-245, Feb. 2014, doi: 10.1109/TMI.2013.2284099.
S. Candemir et al., “Lung segmentation in chest radiographs using anatomical atlases with nonrigid registration,” IEEE Trans. Med. Imaging, vol. 33, no. 2, pp. 577-590, 2014, doi: 10.1109/TMI.2013.2290491.
S. Jaeger et al., “Automatic Tuberculosis Screening Using Chest Radiographs,” IEEE Trans. Med. Imaging, vol. 33, no. 2, pp. 233-245, Feb. 2014, doi: 10.1109/TMI.2013.2284099.
また、本発明者等は、研究において、心臓の教師データに、JSRTの胸部Ｘ線画像２４７例を使用した。JSRTの胸部Ｘ線画像２４７例については、下記の２つの文献に記載されている。
P. (Project leader) T. U. of C. Junji Shiraishi et al., “Standard Digital Image Database:Chest Lung Nodules and Non-Nodules Created by the Japanese Society of Radiological Technology (JSRT) In cooperation with the Japanese Radiological Society (JRS),” 1997.
B. van Ginneken, M. B. Stegmann, and M. Loog, “Segmentation of anatomical structures in chest radiographs using supervised methods: A comparative study on a public database,” Med. Image Anal., vol. 10, no. 1, pp. 19-40, 2006, doi: 10.1016/j.media.2005.02.002.
P. (Project leader) T. U. of C. Junji Shiraishi et al., “Standard Digital Image Database:Chest Lung Nodules and Non-Nodules Created by the Japanese Society of Radiological Technology (JSRT) In cooperation with the Japanese Radiological Society (JRS),” 1997.
B. van Ginneken, M. B. Stegmann, and M. Loog, “Segmentation of anatomical structures in chest radiographs using supervised methods: A comparative study on a public database,” Med. Image Anal., vol. 10, no. 1, pp. 19-40, 2006, doi: 10.1016/j.media.2005.02.002.
図５は第１実施形態の医用画像診断支援装置１における正則化項の計算過程を説明するための図である。
第１実施形態の医用画像診断支援装置１では、上述した式（２）および図５に示すように、正則化項は、アテンションマップＭと重みマップＷとのアダマール積（アテンションマップＭと重みマップＷとの成分ごとの積）によって得られた行列のフロベニウスノルムとして計算される。
第１実施形態の医用画像診断支援装置１では、上述した式（２）および図５に示すように、正則化項は、アテンションマップＭと重みマップＷとのアダマール積（アテンションマップＭと重みマップＷとの成分ごとの積）によって得られた行列のフロベニウスノルムとして計算される。
＜使用したデータ＞
本発明者等は、第１実施形態の医用画像診断支援装置１を検証する研究において、帝京大学医学部付属病院で撮像された胸部Ｘ線画像３０３２例を使用した。データの構成は、正常（つまり、その胸部Ｘ線画像の撮像対象者がその胸部Ｘ線画像内に疾患を有さない）が２００２例、異常（つまり、その胸部Ｘ線画像の撮像対象者がその胸部Ｘ線画像内に疾患を有する）が１０３０例から構成される。なお、異常例の中には、撮像体位が座位や臥位で撮像された画像も含まれている。画像サイズは分類モデルの推奨されている入力サイズに合わせて、胸部Ｘ線画像を２２４×２２４にリサイズした。
本発明者等は、第１実施形態の医用画像診断支援装置１を検証する研究において、帝京大学医学部付属病院で撮像された胸部Ｘ線画像３０３２例を使用した。データの構成は、正常（つまり、その胸部Ｘ線画像の撮像対象者がその胸部Ｘ線画像内に疾患を有さない）が２００２例、異常（つまり、その胸部Ｘ線画像の撮像対象者がその胸部Ｘ線画像内に疾患を有する）が１０３０例から構成される。なお、異常例の中には、撮像体位が座位や臥位で撮像された画像も含まれている。画像サイズは分類モデルの推奨されている入力サイズに合わせて、胸部Ｘ線画像を２２４×２２４にリサイズした。
＜分類性能＞
本発明者等は、第１実施形態の医用画像診断支援装置１を検証する研究において、層化抽出法１０分割交差検証を用いて、帝京大学胸部Ｘ線データセットの学習および精度の評価を行った。分類モデルとして典型的な３種のＣＮＮ（ＶＧＧ１６、ＲｅｓＮｅｔ５０、ＤｅｎｓｅＮｅｔ１２１）をベースとしたアテンションブランチネットワークを構築することにより、第１実施形態の医用画像診断支援装置１の学習および精度の評価を行った。Accuracy（Balanced Accuracy）、Sensitivity、Specificity、ＡＵＣ（Area Under the Curve）の平均および標準偏差を下記の表１に示す。表１において、「Weightmap1」は肺野のセグメンテーション画像に凸包処理を施した重みマップＷ（図３（Ｃ）参照）を示しており、「weightmap2」は肺野のセグメンテーション画像と心臓のセグメンテーション画像とを組み合わせた重みマップＷ（図４（Ｃ）参照）を示している。
本発明者等は、第１実施形態の医用画像診断支援装置１を検証する研究において、層化抽出法１０分割交差検証を用いて、帝京大学胸部Ｘ線データセットの学習および精度の評価を行った。分類モデルとして典型的な３種のＣＮＮ（ＶＧＧ１６、ＲｅｓＮｅｔ５０、ＤｅｎｓｅＮｅｔ１２１）をベースとしたアテンションブランチネットワークを構築することにより、第１実施形態の医用画像診断支援装置１の学習および精度の評価を行った。Accuracy（Balanced Accuracy）、Sensitivity、Specificity、ＡＵＣ（Area Under the Curve）の平均および標準偏差を下記の表１に示す。表１において、「Weightmap1」は肺野のセグメンテーション画像に凸包処理を施した重みマップＷ（図３（Ｃ）参照）を示しており、「weightmap2」は肺野のセグメンテーション画像と心臓のセグメンテーション画像とを組み合わせた重みマップＷ（図４（Ｃ）参照）を示している。
詳細には、表１の「VGG16」の行は、ＣＮＮとしてＶＧＧ１６が用いられ、かつ、ＡＢＮが適用されていない比較例の医用画像診断支援装置の評価結果を示している。表１の「VGG16+ABN」の行は、ＣＮＮとしてＶＧＧ１６が用いられ、かつ、ＡＢＮが適用されているものの、事前情報（重みマップＷ）がＡＢＮに与えられていない比較例の医用画像診断支援装置の評価結果を示している。表１の「VGG16+ABN+weightmap1」の行は、畳み込みニューラルネットワーク１Ａ１としてＶＧＧ１６が用いられ、かつ、図３（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第１例の評価結果を示している。表１の「VGG16+ABN+weightmap2」の行は、畳み込みニューラルネットワーク１Ａ１としてＶＧＧ１６が用いられ、かつ、図４（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第２例の評価結果を示している。
表１の「Resnet50」の行は、ＣＮＮとしてＲｅｓＮｅｔ５０が用いられ、かつ、ＡＢＮが適用されていない比較例の医用画像診断支援装置の評価結果を示している。表１の「Resnet50+ABN」の行は、ＣＮＮとしてＲｅｓＮｅｔ５０が用いられ、かつ、ＡＢＮが適用されているものの、事前情報（重みマップＷ）がＡＢＮに与えられていない比較例の医用画像診断支援装置の評価結果を示している。表１の「Resnet50+ABN+weightmap1」の行は、畳み込みニューラルネットワーク１Ａ１としてＲｅｓＮｅｔ５０が用いられ、かつ、図３（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第１例の評価結果を示している。表１の「Resnet50+ABN+weightmap2」の行は、畳み込みニューラルネットワーク１Ａ１としてＲｅｓＮｅｔ５０が用いられ、かつ、図４（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第２例の評価結果を示している。
表１の「Densenet121」の行は、ＣＮＮとしてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、ＡＢＮが適用されていない比較例の医用画像診断支援装置の評価結果を示している。表１の「Densenet121+ABN」の行は、ＣＮＮとしてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、ＡＢＮが適用されているものの、事前情報（重みマップＷ）がＡＢＮに与えられていない比較例の医用画像診断支援装置の評価結果を示している。表１の「Densenet121+ABN+weightmap1」の行は、畳み込みニューラルネットワーク１Ａ１としてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、図３（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第１例の評価結果を示している。表１の「Densenet121+ABN+weightmap2」の行は、畳み込みニューラルネットワーク１Ａ１としてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、図４（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第２例の評価結果を示している。
表１の「Resnet50」の行は、ＣＮＮとしてＲｅｓＮｅｔ５０が用いられ、かつ、ＡＢＮが適用されていない比較例の医用画像診断支援装置の評価結果を示している。表１の「Resnet50+ABN」の行は、ＣＮＮとしてＲｅｓＮｅｔ５０が用いられ、かつ、ＡＢＮが適用されているものの、事前情報（重みマップＷ）がＡＢＮに与えられていない比較例の医用画像診断支援装置の評価結果を示している。表１の「Resnet50+ABN+weightmap1」の行は、畳み込みニューラルネットワーク１Ａ１としてＲｅｓＮｅｔ５０が用いられ、かつ、図３（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第１例の評価結果を示している。表１の「Resnet50+ABN+weightmap2」の行は、畳み込みニューラルネットワーク１Ａ１としてＲｅｓＮｅｔ５０が用いられ、かつ、図４（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第２例の評価結果を示している。
表１の「Densenet121」の行は、ＣＮＮとしてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、ＡＢＮが適用されていない比較例の医用画像診断支援装置の評価結果を示している。表１の「Densenet121+ABN」の行は、ＣＮＮとしてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、ＡＢＮが適用されているものの、事前情報（重みマップＷ）がＡＢＮに与えられていない比較例の医用画像診断支援装置の評価結果を示している。表１の「Densenet121+ABN+weightmap1」の行は、畳み込みニューラルネットワーク１Ａ１としてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、図３（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第１例の評価結果を示している。表１の「Densenet121+ABN+weightmap2」の行は、畳み込みニューラルネットワーク１Ａ１としてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、図４（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第２例の評価結果を示している。
評価指標にはクラス間におけるデータ数の偏りを適切に評価するために、Balanced Accuracyを使用した。Balanced Accuracyは、下記の式（３）によって表される。式（３）において、ＴＰはTrue Positiveであり、ＴＮはTrue Negativeであり、ＦＰはFalse Positiveであり、ＦＮはFalse Negativeである。
表１の「VGG16+ABN+weightmap1」の行に示す例、表１の「VGG16+ABN+weightmap2」の行に示す例、表１の「Resnet50+ABN+weightmap1」の行に示す例、表１の「Resnet50+ABN+weightmap2」の行に示す例、表１の「Densenet121+ABN+weightmap1」の行に示す例、および、表１の「Densenet121+ABN+weightmap2」の行に示す例のいずれにおいても、第１実施形態の医用画像診断支援装置１の正則化項を付け加えたことに伴う性能低下は見られなかった。
また、本発明者等は、第１実施形態の医用画像診断支援装置１の学習および精度の評価を行う研究において、National Institute of Healthが公開している大規模胸部Ｘ線データセットＮＩＨ１４を用いた。表１の場合と同様に、分類モデルとして典型的な３種のＣＮＮ（ＶＧＧ１６、ＲｅｓＮｅｔ５０、ＤｅｎｓｅＮｅｔ１２１）をベースとしたアテンションブランチネットワークを構築することにより、第１実施形態の医用画像診断支援装置１の学習および精度の評価を行った。Accuracy、Sensitivity、Specificity、ＡＵＣの平均および標準偏差を下記の表２に示す。表２において、「Weightmap1」は肺野のセグメンテーション画像に凸包処理を施した重みマップＷ（図３（Ｃ）参照）を示しており、「weightmap2」は肺野のセグメンテーション画像と心臓のセグメンテーション画像とを組み合わせた重みマップＷ（図４（Ｃ）参照）を示している。
ＮＩＨ１４では、１枚の画像につき１４疾患（Atelectasis、 Cardiomegaly、Consolidation、Edema、Effusion、Emphysema、Fibrosis、Hernia、Infiltration、Mass、Nodule、Pleural Thickening、Pneumonia、Pneumothorax）の有無が［０，１］で付与されている。表２に示す結果は、１４疾患の平均値である。
ＮＩＨ１４では、１枚の画像につき１４疾患（Atelectasis、 Cardiomegaly、Consolidation、Edema、Effusion、Emphysema、Fibrosis、Hernia、Infiltration、Mass、Nodule、Pleural Thickening、Pneumonia、Pneumothorax）の有無が［０，１］で付与されている。表２に示す結果は、１４疾患の平均値である。
詳細には、表２の「VGG16」の行は、ＣＮＮとしてＶＧＧ１６が用いられ、かつ、ＡＢＮが適用されていない比較例の医用画像診断支援装置の評価結果を示している。表２の「VGG16+ABN」の行は、ＣＮＮとしてＶＧＧ１６が用いられ、かつ、ＡＢＮが適用されているものの、事前情報（重みマップＷ）がＡＢＮに与えられていない比較例の医用画像診断支援装置の評価結果を示している。表２の「VGG16+ABN+weightmap1」の行は、畳み込みニューラルネットワーク１Ａ１としてＶＧＧ１６が用いられ、かつ、図３（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第１例の評価結果を示している。表２の「VGG16+ABN+weightmap2」の行は、畳み込みニューラルネットワーク１Ａ１としてＶＧＧ１６が用いられ、かつ、図４（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第２例の評価結果を示している。
表２の「Resnet50」の行は、ＣＮＮとしてＲｅｓＮｅｔ５０が用いられ、かつ、ＡＢＮが適用されていない比較例の医用画像診断支援装置の評価結果を示している。表２の「Resnet50+ABN」の行は、ＣＮＮとしてＲｅｓＮｅｔ５０が用いられ、かつ、ＡＢＮが適用されているものの、事前情報（重みマップＷ）がＡＢＮに与えられていない比較例の医用画像診断支援装置の評価結果を示している。表２の「Resnet50+ABN+weightmap1」の行は、畳み込みニューラルネットワーク１Ａ１としてＲｅｓＮｅｔ５０が用いられ、かつ、図３（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第１例の評価結果を示している。表２の「Resnet50+ABN+weightmap2」の行は、畳み込みニューラルネットワーク１Ａ１としてＲｅｓＮｅｔ５０が用いられ、かつ、図４（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第２例の評価結果を示している。
表２の「Densenet121」の行は、ＣＮＮとしてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、ＡＢＮが適用されていない比較例の医用画像診断支援装置の評価結果を示している。表２の「Densenet121+ABN」の行は、ＣＮＮとしてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、ＡＢＮが適用されているものの、事前情報（重みマップＷ）がＡＢＮに与えられていない比較例の医用画像診断支援装置の評価結果を示している。表２の「Densenet121+ABN+weightmap1」の行は、畳み込みニューラルネットワーク１Ａ１としてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、図３（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第１例の評価結果を示している。表２の「Densenet121+ABN+weightmap2」の行は、畳み込みニューラルネットワーク１Ａ１としてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、図４（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第２例の評価結果を示している。
表２の「Resnet50」の行は、ＣＮＮとしてＲｅｓＮｅｔ５０が用いられ、かつ、ＡＢＮが適用されていない比較例の医用画像診断支援装置の評価結果を示している。表２の「Resnet50+ABN」の行は、ＣＮＮとしてＲｅｓＮｅｔ５０が用いられ、かつ、ＡＢＮが適用されているものの、事前情報（重みマップＷ）がＡＢＮに与えられていない比較例の医用画像診断支援装置の評価結果を示している。表２の「Resnet50+ABN+weightmap1」の行は、畳み込みニューラルネットワーク１Ａ１としてＲｅｓＮｅｔ５０が用いられ、かつ、図３（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第１例の評価結果を示している。表２の「Resnet50+ABN+weightmap2」の行は、畳み込みニューラルネットワーク１Ａ１としてＲｅｓＮｅｔ５０が用いられ、かつ、図４（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第２例の評価結果を示している。
表２の「Densenet121」の行は、ＣＮＮとしてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、ＡＢＮが適用されていない比較例の医用画像診断支援装置の評価結果を示している。表２の「Densenet121+ABN」の行は、ＣＮＮとしてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、ＡＢＮが適用されているものの、事前情報（重みマップＷ）がＡＢＮに与えられていない比較例の医用画像診断支援装置の評価結果を示している。表２の「Densenet121+ABN+weightmap1」の行は、畳み込みニューラルネットワーク１Ａ１としてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、図３（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第１例の評価結果を示している。表２の「Densenet121+ABN+weightmap2」の行は、畳み込みニューラルネットワーク１Ａ１としてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、図４（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第２例の評価結果を示している。
表２の「VGG16+ABN+weightmap1」の行に示す例、表２の「VGG16+ABN+weightmap2」の行に示す例、表２の「Resnet50+ABN+weightmap1」の行に示す例、表２の「Resnet50+ABN+weightmap2」の行に示す例、表２の「Densenet121+ABN+weightmap1」の行に示す例、および、表２の「Densenet121+ABN+weightmap2」の行に示す例のいずれにおいても、第１実施形態の医用画像診断支援装置１の正則化項を付け加えたことに伴う性能低下は見られなかった。
＜判断根拠の可視化＞
図６は第１実施形態の医用画像診断支援装置１の畳み込みニューラルネットワーク１Ａ１の注目領域などを説明するための図である。詳細には、図６（Ａ）は第１実施形態の医用画像診断支援装置１およびＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置に入力された医用画像（入力画像）を示しており、図６（Ｂ）はＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置のＣＮＮの注目領域を示しており、図６（Ｃ）はアテンションブランチネットワーク１Ａ２に事前情報（重みマップＷ（詳細には、肺野のセグメンテーション画像と心臓のセグメンテーション画像とを組み合わせた重みマップＷ））が与えられた第１実施形態の医用画像診断支援装置１の畳み込みニューラルネットワーク１Ａ１の注目領域を示している。
図６に示す例では、第１実施形態の医用画像診断支援装置１およびＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置に入力される学習用医用画像（入力画像）（図６（Ａ）参照）として、帝京大学胸部Ｘ線データセットが用いられた。
図６は第１実施形態の医用画像診断支援装置１の畳み込みニューラルネットワーク１Ａ１の注目領域などを説明するための図である。詳細には、図６（Ａ）は第１実施形態の医用画像診断支援装置１およびＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置に入力された医用画像（入力画像）を示しており、図６（Ｂ）はＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置のＣＮＮの注目領域を示しており、図６（Ｃ）はアテンションブランチネットワーク１Ａ２に事前情報（重みマップＷ（詳細には、肺野のセグメンテーション画像と心臓のセグメンテーション画像とを組み合わせた重みマップＷ））が与えられた第１実施形態の医用画像診断支援装置１の畳み込みニューラルネットワーク１Ａ１の注目領域を示している。
図６に示す例では、第１実施形態の医用画像診断支援装置１およびＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置に入力される学習用医用画像（入力画像）（図６（Ａ）参照）として、帝京大学胸部Ｘ線データセットが用いられた。
ＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置では、図６（Ｂ）に示すように、ＡＢＮのアテンションマップは、ＣＮＮが入力画像の全体に注目していることを示した。詳細には、図６（Ｂ）の最も上側の例では、ＡＢＮのアテンションマップは、ＣＮＮが入力画像のうちの上側部分（肺野および心臓を含む部分）よりも下側部分（肺野および心臓を含まない部分）に強く注目していることを示した。図６（Ｂ）の上から２番目の例では、ＡＢＮのアテンションマップは、ＣＮＮが入力画像のうちの注目すべき部分（肺野および心臓を含む部分）と同等に注目すべきではない部分（肺野および心臓を含まない部分）にも注目していることを示した。図６（Ｂ）の最も下側の例では、ＡＢＮのアテンションマップは、ＣＮＮが入力画像のうちの心臓の部分にあまり注目していないことを示した。
それに対し、アテンションブランチネットワーク１Ａ２に事前情報（重みマップＷ）が与えられた第１実施形態の医用画像診断支援装置１では、図６（Ｃ）に示すように、アテンションブランチネットワーク１Ａ２のアテンションマップは、畳み込みニューラルネットワーク１Ａ１が入力画像のうちの肺野内に注目していることを示した。
それに対し、アテンションブランチネットワーク１Ａ２に事前情報（重みマップＷ）が与えられた第１実施形態の医用画像診断支援装置１では、図６（Ｃ）に示すように、アテンションブランチネットワーク１Ａ２のアテンションマップは、畳み込みニューラルネットワーク１Ａ１が入力画像のうちの肺野内に注目していることを示した。
図７は第１実施形態の医用画像診断支援装置１において実行される処理の一例を示すフローチャートである。
図７に示す例では、ステップＳ１において、学習部１２が、畳み込みニューラルネットワーク１Ａ１と、畳み込みニューラルネットワーク１Ａ１の注目領域を可視化するアテンションブランチネットワーク１Ａ２とによって構成される分類モデル１Ａの教師あり学習を行う。ステップＳ１において行われる教師あり学習では、疾患の有無が既知の学習用医用画像が教師データとして用いられる。ステップＳ１では、学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域（重みマップＷ）を示す情報が、アテンションブランチネットワーク１Ａ２に与えられる。
次いで、ステップＳ２では、予測部１１が、学習済みの分類モデル１Ａを用いることによって、医用画像診断支援装置１に入力された医用画像から、疾患の有無を分類する。
図７に示す例では、ステップＳ１において、学習部１２が、畳み込みニューラルネットワーク１Ａ１と、畳み込みニューラルネットワーク１Ａ１の注目領域を可視化するアテンションブランチネットワーク１Ａ２とによって構成される分類モデル１Ａの教師あり学習を行う。ステップＳ１において行われる教師あり学習では、疾患の有無が既知の学習用医用画像が教師データとして用いられる。ステップＳ１では、学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域（重みマップＷ）を示す情報が、アテンションブランチネットワーク１Ａ２に与えられる。
次いで、ステップＳ２では、予測部１１が、学習済みの分類モデル１Ａを用いることによって、医用画像診断支援装置１に入力された医用画像から、疾患の有無を分類する。
図７に示す例では、ステップＳ１において重みマップＷを示す事前情報が、アテンションブランチネットワーク１Ａ２に与えられるが、他の例では、ステップＳ１のみならず、ステップＳ２においても、重みマップＷを示す事前情報が、アテンションブランチネットワーク１Ａ２に与えられてもよい。
［第２実施形態］
以下、本発明の医用画像診断支援装置、医用画像診断支援方法およびプログラムの第２実施形態について説明する。
第２実施形態の医用画像診断支援装置１は、後述する点を除き、上述した第１実施形態の医用画像診断支援装置１と同様に構成されている。従って、第２実施形態の医用画像診断支援装置１によれば、後述する点を除き、上述した第１実施形態の医用画像診断支援装置１と同様の効果を奏することができる。
以下、本発明の医用画像診断支援装置、医用画像診断支援方法およびプログラムの第２実施形態について説明する。
第２実施形態の医用画像診断支援装置１は、後述する点を除き、上述した第１実施形態の医用画像診断支援装置１と同様に構成されている。従って、第２実施形態の医用画像診断支援装置１によれば、後述する点を除き、上述した第１実施形態の医用画像診断支援装置１と同様の効果を奏することができる。
第２実施形態の医用画像診断支援装置１は、図１に示す第１実施形態の医用画像診断支援装置１と同様に構成されている。つまり、第２実施形態の医用画像診断支援装置１は、予測部１１と、学習部１２と、分類モデル１Ａとを備えている。分類モデル１Ａは、畳み込みニューラルネットワーク１Ａ１と、畳み込みニューラルネットワーク１Ａ１の注目領域を可視化するアテンションブランチネットワーク１Ａ２とによって構成されている。
第２実施形態の医用画像診断支援装置１のアテンションブランチネットワーク１Ａ２は、図２に示す第１実施形態の医用画像診断支援装置１のアテンションブランチネットワーク１Ａ２と同様に構成されている。
つまり、第２実施形態の医用画像診断支援装置１のアテンションブランチネットワーク１Ａ２は、例えば学習部１２によって分類モデル１Ａの教師あり学習が行われる段階において学習用医用画像の分類に必要な特徴量を抽出し、特徴量マップを生成する特徴抽出器１Ａ２１と、アテンションブランチ１Ａ２２と、パーセプションブランチ１Ａ２３とを備えている。
詳細には、第２実施形態の医用画像診断支援装置１では、パーセプションブランチ１Ａ２３からの出力にＧｒａｄ－ＣＡＭを適用することによって、パーセプションブランチ１Ａ２３からの出力の可視化が行われる。
つまり、第２実施形態の医用画像診断支援装置１のアテンションブランチネットワーク１Ａ２は、例えば学習部１２によって分類モデル１Ａの教師あり学習が行われる段階において学習用医用画像の分類に必要な特徴量を抽出し、特徴量マップを生成する特徴抽出器１Ａ２１と、アテンションブランチ１Ａ２２と、パーセプションブランチ１Ａ２３とを備えている。
詳細には、第２実施形態の医用画像診断支援装置１では、パーセプションブランチ１Ａ２３からの出力にＧｒａｄ－ＣＡＭを適用することによって、パーセプションブランチ１Ａ２３からの出力の可視化が行われる。
第２実施形態の医用画像診断支援装置１では、第１実施形態の医用画像診断支援装置１と同様に、アテンションブランチネットワーク１Ａ２の損失関数Ｌｏｓｓが、アテンションブランチ１Ａ２２の学習誤差ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓａｔｔと、パーセプションブランチ１Ａ２３の学習誤差ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓｐｅｒと、正則化項との総和である。
第２実施形態の医用画像診断支援装置１では、第１実施形態の医用画像診断支援装置１と同様に、正則化項が、アテンションブランチ１Ａ２２から出力されるアテンションマップＭと重みマップＷとのアダマール積によって得られた行列のフロベニウスノルムである。
第２実施形態の医用画像診断支援装置１では、第１実施形態の医用画像診断支援装置１と同様に、重みマップＷが、畳み込みニューラルネットワーク１Ａ１に注目して欲しい領域（分類用領域）に対応する。つまり、重みマップＷは、医用画像診断支援装置１に入力される学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域に対応する。
第２実施形態の医用画像診断支援装置１では、第１実施形態の医用画像診断支援装置１と同様に、正則化項が、アテンションブランチ１Ａ２２から出力されるアテンションマップＭと重みマップＷとのアダマール積によって得られた行列のフロベニウスノルムである。
第２実施形態の医用画像診断支援装置１では、第１実施形態の医用画像診断支援装置１と同様に、重みマップＷが、畳み込みニューラルネットワーク１Ａ１に注目して欲しい領域（分類用領域）に対応する。つまり、重みマップＷは、医用画像診断支援装置１に入力される学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域に対応する。
図８は第２実施形態の医用画像診断支援装置１の畳み込みニューラルネットワーク１Ａ１の注目領域などを説明するための図（Ｇｒａｄ－ＣＡＭ）である。詳細には、図８（Ａ）は第２実施形態の医用画像診断支援装置１、ＡＢＮが適用されていない比較例の医用画像診断支援装置、および、ＡＢＮが適用されているもののＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置に入力された医用画像（入力画像）を示しており、図８（Ｂ）はＡＢＮが適用されていない比較例の医用画像診断支援装置のＣＮＮの注目領域を示しており、図８（Ｃ）はＡＢＮが適用されているもののＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置のＣＮＮの注目領域を示しており、図８（Ｄ）はアテンションブランチネットワーク１Ａ２に事前情報（重みマップＷ）が与えられた第２実施形態の医用画像診断支援装置１の畳み込みニューラルネットワーク１Ａ１の注目領域を示している。
図８に示す例では、第２実施形態の医用画像診断支援装置１、ＡＢＮが適用されていない比較例の医用画像診断支援装置、および、ＡＢＮが適用されているもののＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置に入力される医用画像（入力画像）（図８（Ａ）参照）として、帝京大学胸部Ｘ線データセットが用いられた。
図８に示す例では、第２実施形態の医用画像診断支援装置１、ＡＢＮが適用されていない比較例の医用画像診断支援装置、および、ＡＢＮが適用されているもののＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置に入力される医用画像（入力画像）（図８（Ａ）参照）として、帝京大学胸部Ｘ線データセットが用いられた。
学習部１２によって分類モデル１Ａの教師あり学習が行われる段階でアテンションブランチネットワーク１Ａ２に事前情報（重みマップＷ）が与えられた第２実施形態の医用画像診断支援装置１では、図８（Ｄ）に示すように（図６（Ｃ）に示す第１実施形態の医用画像診断支援装置１と同様に）、アテンションブランチネットワーク１Ａ２のアテンションマップは、畳み込みニューラルネットワーク１Ａ１が入力画像のうちの肺野内に注目していることを示した。
＜適用例＞
上述した例では、第１および第２実施形態の医用画像診断支援装置１が胸部Ｘ線画像に適用されているが、他の例では、第１または第２実施形態の医用画像診断支援装置１が胸部Ｘ線画像以外のＸ線画像に適用されてもよい。
他の例では、第１または第２実施形態の医用画像診断支援装置１がエコー画像に適用されてもよい。具体的には、畳み込みニューラルネットワーク１Ａ１が心臓の壁に注目することによって、分類モデル１Ａが心筋梗塞の有無を分類することができる。また、畳み込みニューラルネットワーク１Ａ１が乳腺に注目することによって、分類モデル１Ａが乳癌の有無を分類することができる。
更に他の例では、第１または第２実施形態の医用画像診断支援装置１がＭＲＩ画像に適用されてもよい。具体的には、畳み込みニューラルネットワーク１Ａ１が頭蓋内の領域のみに注目することによって、分類モデル１Ａが脳梗塞の有無を分類することができる。また、畳み込みニューラルネットワーク１Ａ１が前立腺の領域のみに注目することによって、分類モデル１Ａが前立腺癌の有無を分類することができる。
更に他の例では、第１または第２実施形態の医用画像診断支援装置１がＣＴ画像に適用されてもよい。具体的には、畳み込みニューラルネットワーク１Ａ１が肺野の部位のみに注目することによって、分類モデル１Ａが肺炎、結節、腫瘍などの有無を分類することができる。また、畳み込みニューラルネットワーク１Ａ１が頭蓋内の領域のみに注目することによって、分類モデル１Ａが脳出血の有無を分類することができる。
更に他の例では、第１または第２実施形態の医用画像診断支援装置１が眼底画像に適用されてもよい。具体的には、畳み込みニューラルネットワーク１Ａ１が視神経乳頭に注目することによって、分類モデル１Ａが緑内障の有無を分類することができる。
上述した例では、第１および第２実施形態の医用画像診断支援装置１が胸部Ｘ線画像に適用されているが、他の例では、第１または第２実施形態の医用画像診断支援装置１が胸部Ｘ線画像以外のＸ線画像に適用されてもよい。
他の例では、第１または第２実施形態の医用画像診断支援装置１がエコー画像に適用されてもよい。具体的には、畳み込みニューラルネットワーク１Ａ１が心臓の壁に注目することによって、分類モデル１Ａが心筋梗塞の有無を分類することができる。また、畳み込みニューラルネットワーク１Ａ１が乳腺に注目することによって、分類モデル１Ａが乳癌の有無を分類することができる。
更に他の例では、第１または第２実施形態の医用画像診断支援装置１がＭＲＩ画像に適用されてもよい。具体的には、畳み込みニューラルネットワーク１Ａ１が頭蓋内の領域のみに注目することによって、分類モデル１Ａが脳梗塞の有無を分類することができる。また、畳み込みニューラルネットワーク１Ａ１が前立腺の領域のみに注目することによって、分類モデル１Ａが前立腺癌の有無を分類することができる。
更に他の例では、第１または第２実施形態の医用画像診断支援装置１がＣＴ画像に適用されてもよい。具体的には、畳み込みニューラルネットワーク１Ａ１が肺野の部位のみに注目することによって、分類モデル１Ａが肺炎、結節、腫瘍などの有無を分類することができる。また、畳み込みニューラルネットワーク１Ａ１が頭蓋内の領域のみに注目することによって、分類モデル１Ａが脳出血の有無を分類することができる。
更に他の例では、第１または第２実施形態の医用画像診断支援装置１が眼底画像に適用されてもよい。具体的には、畳み込みニューラルネットワーク１Ａ１が視神経乳頭に注目することによって、分類モデル１Ａが緑内障の有無を分類することができる。
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態および各例に記載の構成を組み合わせてもよい。
なお、上記の実施形態における医用画像診断支援装置１の全部または一部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、医用画像診断支援装置１の全部または一部は、メモリおよびＣＰＵ（中央演算装置）により構成され、各システムが備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
なお、医用画像診断支援装置１の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
なお、医用画像診断支援装置１の全部または一部は、メモリおよびＣＰＵ（中央演算装置）により構成され、各システムが備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
なお、医用画像診断支援装置１の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
１…医用画像診断支援装置、１１…予測部、１２…学習部、１Ａ…分類モデル、１Ａ１…畳み込みニューラルネットワーク、１Ａ２…アテンションブランチネットワーク、１Ａ２１…特徴抽出器、１Ａ２２…アテンションブランチ、１Ａ２３…パーセプションブランチ
Claims (9)
- 医用画像の診断を支援する医用画像診断支援装置であって、
前記医用画像から少なくとも疾患の有無を分類する分類モデルと、
前記分類モデルを用いた予測を行う予測部と、
前記予測部によって前記分類モデルが用いられる前に、前記分類モデルの教師あり学習を行う学習部とを備え、
前記学習部によって行われる教師あり学習では、少なくとも疾患の有無が既知の学習用医用画像が教師データとして用いられ、
前記分類モデルは、畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークの注目領域を可視化するアテンションブランチネットワークとによって構成され、
前記学習部によって前記分類モデルの教師あり学習が行われる段階で、前記アテンションブランチネットワークには、前記学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域を示す重みマップである事前情報が与えられる、
医用画像診断支援装置。 - 前記アテンションブランチネットワークは、
前記医用画像の分類に必要な特徴量を抽出し、特徴量マップを生成する特徴抽出器と、
クラスアクティベーションマッピングによるアテンションマップを生成するアテンションブランチと、
パーセプションブランチとを備え、
前記学習部によって前記分類モデルの教師あり学習が行われる段階では、
前記アテンションブランチにより生成された前記アテンションマップは、前記特徴抽出器によって生成された前記特徴量マップに反映させられ、
前記パーセプションブランチは、前記アテンションマップによって重み付けされた前記特徴量マップを、前記学習用医用画像の分類結果として出力し、
前記アテンションブランチネットワークの損失関数は、
前記アテンションブランチの学習誤差と、
前記パーセプションブランチの学習誤差と、
正則化項との総和であり、
前記正則化項は、前記アテンションマップと前記重みマップとのアダマール積によって得られた行列のフロベニウスノルムである、
請求項１に記載の医用画像診断支援装置。 - 前記学習部によって前記分類モデルの教師あり学習が行われる段階では、
前記アテンションブランチネットワークは、
前記分類用領域の一部である第１部分のセグメンテーション画像に凸包処理を行うことによって作成された前記重みマップを受け付ける、
請求項２に記載の医用画像診断支援装置。 - 前記学習部によって前記分類モデルの教師あり学習が行われる段階では、
前記アテンションブランチネットワークは、
前記分類用領域の一部である第１部分のセグメンテーション画像と、前記分類用領域の他の一部である第２部分のセグメンテーション画像とを組み合わせることによって作成された前記重みマップを受け付ける、
請求項２に記載の医用画像診断支援装置。 - 前記第１部分のセグメンテーション画像および／または前記第１部分のセグメンテーション画像と前記分類用領域の他の一部である第２部分のセグメンテーション画像とを組み合わせたものは、Ｕ－Ｎｅｔを使用することによって生成される、
請求項３または請求項４に記載の医用画像診断支援装置。 - 前記畳み込みニューラルネットワークとして、ＶＧＧ１６、ＲｅｓＮｅｔ５０およびＤｅｎｓｅＮｅｔ１２１のいずれかを用いる、
請求項１に記載の医用画像診断支援装置。 - 前記パーセプションブランチからの出力にＧｒａｄ－ＣＡＭを適用することによって、前記パーセプションブランチからの出力の可視化を行う、
請求項２に記載の医用画像診断支援装置。 - 医用画像の診断を支援する医用画像診断支援方法であって、
前記医用画像から少なくとも疾患の有無を分類する分類モデルを用いた予測を行う予測ステップと、
前記予測ステップが実行される前に、前記分類モデルの教師あり学習を行う学習ステップとを備え、
前記学習ステップにおいて行われる教師あり学習では、少なくとも疾患の有無が既知の学習用医用画像が教師データとして用いられ、
前記分類モデルは、畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークの注目領域を可視化するアテンションブランチネットワークとによって構成され、
前記学習ステップでは、前記アテンションブランチネットワークには、前記学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域を示す重みマップである事前情報が与えられる、
医用画像診断支援方法。 - コンピュータに、
医用画像から少なくとも疾患の有無を分類する分類モデルを用いた予測を行う予測ステップと、
前記予測ステップが実行される前に、前記分類モデルの教師あり学習を行う学習ステップとを実行させるためのプログラムであって、
前記学習ステップにおいて行われる教師あり学習では、少なくとも疾患の有無が既知の学習用医用画像が教師データとして用いられ、
前記分類モデルは、畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークの注目領域を可視化するアテンションブランチネットワークとによって構成され、
前記学習ステップでは、前記アテンションブランチネットワークには、前記学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域を示す重みマップである事前情報が与えられる、
プログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021153427A JP7843989B2 (ja) | 2021-09-21 | 2021-09-21 | 医用画像診断支援装置、医用画像診断支援方法およびプログラム |
| PCT/JP2022/033653 WO2023047963A1 (ja) | 2021-09-21 | 2022-09-08 | 医用画像診断支援装置、医用画像診断支援方法およびプログラム |
| US18/692,756 US20240378725A1 (en) | 2021-09-21 | 2022-09-08 | Medical image diagnostics assistance device, medical image diagnostics assistance method, and program |
| CN202280063383.XA CN118076296A (zh) | 2021-09-21 | 2022-09-08 | 医用图像诊断辅助装置、医用图像诊断辅助方法以及程序 |
| EP22872719.4A EP4407554A4 (en) | 2021-09-21 | 2022-09-08 | MEDICAL IMAGE DIAGNOSIS ASSISTANCE DEVICE, MEDICAL IMAGE DIAGNOSIS ASSISTANCE METHOD, AND PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021153427A JP7843989B2 (ja) | 2021-09-21 | 2021-09-21 | 医用画像診断支援装置、医用画像診断支援方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023045168A JP2023045168A (ja) | 2023-04-03 |
| JP7843989B2 true JP7843989B2 (ja) | 2026-04-13 |
Family
ID=85720579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021153427A Active JP7843989B2 (ja) | 2021-09-21 | 2021-09-21 | 医用画像診断支援装置、医用画像診断支援方法およびプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240378725A1 (ja) |
| EP (1) | EP4407554A4 (ja) |
| JP (1) | JP7843989B2 (ja) |
| CN (1) | CN118076296A (ja) |
| WO (1) | WO2023047963A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022172817A1 (ja) * | 2021-02-10 | 2022-08-18 | 富士フイルム株式会社 | 学習装置、学習方法、学習済みモデル、及びプログラム |
| CN116030078B (zh) * | 2023-03-29 | 2023-06-30 | 之江实验室 | 多任务学习框架下结合注意力的肺叶分割方法及系统 |
| CN116681958B (zh) * | 2023-08-04 | 2023-10-20 | 首都医科大学附属北京妇产医院 | 基于机器学习的胎儿肺脏超声影像成熟度预测方法 |
| US20250118062A1 (en) * | 2023-10-06 | 2025-04-10 | GE Precision Healthcare LLC | Explainable visual attention for deep learning |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018117883A (ja) | 2017-01-25 | 2018-08-02 | 国立大学法人大阪大学 | 学習装置、識別装置、識別方法、及びプログラム |
| US10430946B1 (en) | 2019-03-14 | 2019-10-01 | Inception Institute of Artificial Intelligence, Ltd. | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques |
| US20190362183A1 (en) | 2018-05-23 | 2019-11-28 | Idemia Identity & Security France | Method for processing a stream of video images |
| JP6657480B2 (ja) | 2017-10-30 | 2020-03-04 | 公益財団法人がん研究会 | 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム |
| JP2020119154A (ja) | 2019-01-22 | 2020-08-06 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP2021022368A (ja) | 2019-07-25 | 2021-02-18 | 学校法人中部大学 | ニューラルネットワークを用いた画像認識装置およびトレーニング装置 |
| US20210090247A1 (en) | 2019-09-23 | 2021-03-25 | Samsung Sds Co., Ltd. | Apparatus and method for medical diagnostic |
| CN112700434A (zh) | 2021-01-12 | 2021-04-23 | 苏州斯玛维科技有限公司 | 医学图像的分类方法及其分类装置 |
| US20210150728A1 (en) | 2019-11-15 | 2021-05-20 | Modiface Inc. | End-to-end merge for video object segmentation (vos) |
| JP2022179433A (ja) | 2021-05-19 | 2022-12-02 | キヤノンメディカルシステムズ株式会社 | 画像処理装置及び画像処理方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06251038A (ja) * | 1993-03-01 | 1994-09-09 | Toshiba Corp | 医用診断支援システム |
| JP7547063B2 (ja) | 2020-03-25 | 2024-09-09 | 昭和産業株式会社 | バッター生地加熱食品用組成物、及びバッター生地加熱食品の製造方法 |
| WO2022172817A1 (ja) * | 2021-02-10 | 2022-08-18 | 富士フイルム株式会社 | 学習装置、学習方法、学習済みモデル、及びプログラム |
-
2021
- 2021-09-21 JP JP2021153427A patent/JP7843989B2/ja active Active
-
2022
- 2022-09-08 EP EP22872719.4A patent/EP4407554A4/en active Pending
- 2022-09-08 CN CN202280063383.XA patent/CN118076296A/zh active Pending
- 2022-09-08 US US18/692,756 patent/US20240378725A1/en active Pending
- 2022-09-08 WO PCT/JP2022/033653 patent/WO2023047963A1/ja not_active Ceased
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018117883A (ja) | 2017-01-25 | 2018-08-02 | 国立大学法人大阪大学 | 学習装置、識別装置、識別方法、及びプログラム |
| JP6657480B2 (ja) | 2017-10-30 | 2020-03-04 | 公益財団法人がん研究会 | 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム |
| US20190362183A1 (en) | 2018-05-23 | 2019-11-28 | Idemia Identity & Security France | Method for processing a stream of video images |
| JP2020119154A (ja) | 2019-01-22 | 2020-08-06 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US10430946B1 (en) | 2019-03-14 | 2019-10-01 | Inception Institute of Artificial Intelligence, Ltd. | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques |
| JP2021022368A (ja) | 2019-07-25 | 2021-02-18 | 学校法人中部大学 | ニューラルネットワークを用いた画像認識装置およびトレーニング装置 |
| US20210090247A1 (en) | 2019-09-23 | 2021-03-25 | Samsung Sds Co., Ltd. | Apparatus and method for medical diagnostic |
| US20210150728A1 (en) | 2019-11-15 | 2021-05-20 | Modiface Inc. | End-to-end merge for video object segmentation (vos) |
| CN112700434A (zh) | 2021-01-12 | 2021-04-23 | 苏州斯玛维科技有限公司 | 医学图像的分类方法及其分类装置 |
| JP2022179433A (ja) | 2021-05-19 | 2022-12-02 | キヤノンメディカルシステムズ株式会社 | 画像処理装置及び画像処理方法 |
Non-Patent Citations (3)
| Title |
|---|
| FUKUI, Hiroshi et al.，Attention Branch Network: Learning of Attention Mechanism for Visual Explanation，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)，2019年，p. 10697-10706，[検索日：2022.10.05], <DOI: 10.1109/CVPR.2019.01096>, <https://ieeexplore.ieee.org/document/8953929 で閲覧可能> |
| OLAF, Ronneberger et al.，U-Net: Convolutional Networks for Biomedical Image Segmentation，Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015，2015年，p. 234-241，[検索日：2022.10.05], <https://link.springer.com/chapter/10.1007/978-3-319-24574-4_28 で閲覧可能> |
| TAHEREH, Hassanzadeh et al.，Evolutionary Attention Network for Medical Image Segmentation，2020 Digital Image Computing: Techniques and Applications (DICTA)，2020年，p. 1-8，[検索日：2022.10.05], <DOI: 10.1109/DICTA51227.2020.9363425>, <https://ieeexplore.ieee.org/document/9363425 で閲覧可能> |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023045168A (ja) | 2023-04-03 |
| CN118076296A (zh) | 2024-05-24 |
| US20240378725A1 (en) | 2024-11-14 |
| WO2023047963A1 (ja) | 2023-03-30 |
| EP4407554A1 (en) | 2024-07-31 |
| EP4407554A4 (en) | 2025-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7843989B2 (ja) | 医用画像診断支援装置、医用画像診断支援方法およびプログラム | |
| Kumar et al. | Medical images classification using deep learning: a survey | |
| CN111563523B (zh) | 利用机器训练的异常检测的copd分类 | |
| KR101898575B1 (ko) | 진행성 병변에 대한 미래 상태를 예측하는 방법 및 이를 이용한 장치 | |
| JP4895204B2 (ja) | 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム | |
| KR102237198B1 (ko) | 인공지능 기반의 의료영상 판독 서비스 시스템 | |
| US11816833B2 (en) | Method for reconstructing series of slice images and apparatus using same | |
| JP2020511190A (ja) | 超音波分析のためのシステムおよび方法 | |
| CN116580819B (zh) | 用于自动化地确定图像序列中的检查结果的方法和系统 | |
| Zhang et al. | Semi-supervised cardiac image segmentation via label propagation and style transfer | |
| JP2018175226A (ja) | 医用画像分類装置、方法およびプログラム | |
| JP7456928B2 (ja) | 胸部ｘ線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置 | |
| Chagas et al. | A new approach for the detection of pneumonia in children using CXR images based on an real-time IoT system | |
| CN116864109B (zh) | 一种医学影像人工智能辅助诊断系统 | |
| JP2020021228A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| KR20210098381A (ko) | 병변 이미지 시각화 장치 및 방법 | |
| US20210082567A1 (en) | Method for supporting viewing of images and apparatus using same | |
| KR20230030810A (ko) | 데이터 생성 방법 및 이를 이용한 학습방법 및 장치 | |
| JP2021077331A (ja) | データ処理装置及びデータ処理方法 | |
| KR102889317B1 (ko) | 의료 영상에서 병변의 시각화를 보조하는 방법 및 이를 이용한 장치 | |
| KR102222816B1 (ko) | 진행성 병변의 미래 영상을 생성하는 방법 및 이를 이용한 장치 | |
| JP2026020375A (ja) | 医用画像診断システム、医用画像診断システムの作動方法及びプログラム | |
| KR102556646B1 (ko) | 의료 영상 생성 방법 및 장치 | |
| Andreini et al. | Multi-stage synthetic image generation for the semantic segmentation of medical images | |
| Li et al. | Mask R-CNN assisted diagnosis of spinal tuberculosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250722 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20250918 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20251031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20251209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20260129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20260224 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20260325 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7843989 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |