JP7382306B2 - 診断支援装置、プログラム、学習済みモデル、および学習装置 - Google Patents
診断支援装置、プログラム、学習済みモデル、および学習装置 Download PDFInfo
- Publication number
- JP7382306B2 JP7382306B2 JP2020505016A JP2020505016A JP7382306B2 JP 7382306 B2 JP7382306 B2 JP 7382306B2 JP 2020505016 A JP2020505016 A JP 2020505016A JP 2020505016 A JP2020505016 A JP 2020505016A JP 7382306 B2 JP7382306 B2 JP 7382306B2
- Authority
- JP
- Japan
- Prior art keywords
- brain
- image
- nuclear medicine
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004556 brain Anatomy 0.000 claims description 128
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 60
- 201000010099 disease Diseases 0.000 claims description 59
- 238000009206 nuclear medicine Methods 0.000 claims description 59
- 238000003745 diagnosis Methods 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 11
- 230000004069 differentiation Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 210000003484 anatomy Anatomy 0.000 claims 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 14
- 238000007781 pre-processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000007619 statistical method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 206010012289 Dementia Diseases 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 208000024827 Alzheimer disease Diseases 0.000 description 5
- 210000004884 grey matter Anatomy 0.000 description 5
- 201000011240 Frontotemporal dementia Diseases 0.000 description 4
- 208000009829 Lewy Body Disease Diseases 0.000 description 4
- 201000002832 Lewy body dementia Diseases 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000002603 single-photon emission computed tomography Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 210000001638 cerebellum Anatomy 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002975 pon Anatomy 0.000 description 2
- 229940121896 radiopharmaceutical Drugs 0.000 description 2
- 239000012217 radiopharmaceutical Substances 0.000 description 2
- 230000002799 radiopharmaceutical effect Effects 0.000 description 2
- 210000001103 thalamus Anatomy 0.000 description 2
- 206010003694 Atrophy Diseases 0.000 description 1
- 206010019196 Head injury Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- 230000003727 cerebral blood flow Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 201000003077 normal pressure hydrocephalus Diseases 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
- G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
- G01T1/16—Measuring radiation intensity
- G01T1/161—Applications in the field of nuclear medicine, e.g. in vivo counting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- High Energy & Nuclear Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Nuclear Medicine (AREA)
Description
本発明は、診断支援装置、プログラム、学習済みモデル、および学習装置に関する。
従来から、微量の放射線を出す放射性医薬品を体内に投与し、身体の状態を画像で捉える核医学検査が行われている。核医学検査では、体内に投与された放射性医薬品が臓器や体内組織などに集まる様子を画像化し、疾病の診断、病期や予後の確認、治療効果の判定などに有用な情報が得られる。
認知症疾患には、アルツハイマー型認知症、レビー小体型認知症、前頭側頭型認知症等があるが、認知症の分類にも核医学画像を用いた診断が行われる。従来は、医師が核医学画像を読影して、他の臨床情報等も踏まえて、疾患の鑑別をしていた。
高村好実「認知症の画像診断」医学検査Vol.66 No.J-STAGE-2 認知症予防のための検査特集2017
近年、ＡＩ等の機械学習技術が発達し、医用画像の読影に機械学習を活用することが研究されている。しかし、機械学習を行って適切な診断を行なえるモデルを生成するためには、大量の教師データが必要である。しかしながら、核医学画像を撮影する施設は、Ｘ線やＣＴ等の撮影を行なえる施設よりも少なく、大量の教師データを集めることは容易ではない。
本開示は、上記背景に鑑み、画像に基づいて疾患を分類することができる診断支援装置を提供することを目的とする。
本開示に係る診断支援装置は、多数の被験者の脳画像に関するデータと当該被験者の疾患のデータとを教師データとして、ニューラルネットワークの重み付け係数が学習されて構成された学習済みモデルを記憶した記憶部と、診断対象者の脳画像を入力する入力部と、前記入力部にて入力された脳画像を解剖学的標準化および正規化する標準化部と、解剖学的標準化され、かつ、正規化された脳画像に関するデータを前記学習済みモデルに適用して、前記診断対象者の疾患を推論する推論部と、前記推論部にて推論された疾患のデータを出力する出力部とを備える。なお、脳画像は核医学画像であってもよく、その場合、学習済みモデルへの入力として、脳表画像または断層画像を用いてもよく、また、脳表画像に代えて、または加えて、診断対象者のＺスコア画像をはじめとする統計学的解析を行った画像を用いてもよく、さらには、臨床情報を用いてもよい。脳画像に関するデータには、ここで述べた脳表画像、断層画像、診断対象者のＺスコア画像をはじめとする統計学的解析を行った画像が含まれる。また、脳画像はＭＲＩ画像であってもよく、その場合、学習済みモデルへの入力として、ＭＲＩ画像から抽出した灰白質の脳画像や、診断対象者のＺスコア画像をはじめとする統計学的解析を行った画像、さらには、臨床情報を用いてもよい。
本開示に係るプログラムは、診断対象者の脳画像に関するデータに基づいて、診断対象者の疾患を鑑別する支援をするためのプログラムであって、コンピュータに、多数の被験者の脳画像に関するデータと当該被験者の疾患のデータとを教師データとして、ニューラルネットワークの重み付け係数が学習されて構成された学習済みモデルを記憶させておき、診断対象者の脳画像を入力するステップと、入力された脳画像を解剖学的標準化および正規化するステップと、解剖学的標準化され、かつ、正規化された脳画像に関するデータを前記学習済みモデルに適用して、前記診断対象者の疾患を推論するステップと、推論された疾患のデータを出力するステップとを実行させる。なお、脳画像を核医学画像であってもよく、その場合、学習済みモデルへの入力として、脳表画像または断層画像を用いてもよく、また、脳表画像に代えて、または加えて、診断対象者のＺスコア画像をはじめとする統計学的解析を行った画像を用いてもよく、さらには臨床情報を用いてもよい。また、脳画像はＭＲＩ画像であってもよく、その場合、学習済みモデルへの入力として、ＭＲＩ画像から抽出した灰白質の脳画像や、診断対象者のＺスコア画像をはじめとする統計学的解析を行った画像、さらには、臨床情報を用いてもよい。
本開示に係る学習済みモデルは、診断対象者の脳画像に関するデータに基づいて、診断対象者が罹患している疾患の鑑別を支援するよう、コンピュータを機能させるための学習済みモデルであって、多数の被験者の脳画像に対して解剖学的標準化および信号強度の正規化が行われた脳画像に関するデータと当該被験者の疾患のデータを教師データとして、ニューラルネットワークの重み付け係数が学習されて構成されたものであり、ニューラルネットワークの入力層に入力された診断対象者の脳画像に関するデータに対し、学習済みの重み付け係数に基づく演算を行い、診断対象者が罹患している疾患のデータを出力するよう、コンピュータを機能させるための学習済みモデルである。なお、脳画像は核医学画像であってもよく、その場合、学習済みモデルは、脳表画像または断層画像を用いて学習されて構成されてもよく、また、脳表画像に代えて、または加えて、診断対象者のＺスコア画像をはじめとする統計学的解析を行った画像を用いて学習されてもよく、さらには臨床情報を用いて学習されて構成されたものでもよい。また、脳画像はＭＲＩ画像であってもよく、その場合、学習済みモデルは、ＭＲＩ画像から抽出した灰白質の脳画像や、診断対象者のＺスコア画像をはじめとする統計学的解析を行った画像、さらには、臨床情報を用いて学習されて構成されたものでもよい。
本開示に係る学習装置は、多数の被験者の脳画像に関するデータと当該被験者の疾患のデータを教師データとして入力する入力部と、前記入力部にて入力された脳画像の解剖学的標準化および正規化を行う標準化部と、解剖学的標準化され、かつ、正規化された多数の脳画像に関するデータを順次ニューラルネットワークの入力層に入力すると共に、入力した脳画像に対応する前記被験者の疾患のデータをニューラルネットワークの出力層に入力し、逆誤差伝播法によってニューラルネットワークの重み付け係数を更新する処理を繰り返し行う学習部と、前記学習部によって学習されたニューラルネットワークを記憶する記憶部とを備える。なお、脳画像は核医学画像であってもよく、その場合、学習装置は、脳表画像または断層画像を用いて学習を行ってもよく、また、脳表画像に代えて、または加えて、診断対象者のＺスコア画像をはじめとする統計学的解析を行った画像を用いて学習を行ってもよく、さらには臨床情報を用いて学習を行ってもよい。また、脳画像はＭＲＩ画像であってもよく、その場合、学習装置は、ＭＲＩ画像から抽出した灰白質の脳画像や、診断対象者のＺスコア画像をはじめとする統計学的解析を行った画像、さらには、臨床情報を用いて学習を行ってもよい。
本開示によれば、被験者の脳画像を解剖学的標準化および正規化した脳表画像に関するデータを用いて生成された学習済みモデルを用いることにより、診断対象者の脳画像に基づいて、その診断対象者の疾患を適切に鑑別することができる。
以下、本発明の実施の形態の診断支援装置、学習装置、学習済みモデル等について説明する。
（第１の実施の形態）
図１は、第１の実施の形態の診断支援装置１の構成を示す図である。診断支援装置１は、入力部１０と、前処理部１１と、推論部１６と、出力部１７とを有している。入力部１０は、診断対象者の脳の核医学画像の入力を受け付ける機能を有する。核医学画像は、核医学検査装置にて撮影された画像を核医学検査装置から入力してもよいし、他の施設で撮影した核医学画像をネットワーク経由で受信してもよい。核医学検査装置として、例えば、ＰＥＴ装置やＳＰＥＣＴ装置がある。また、核医学画像は、ＰＥＴ装置で撮像されたＰＥＴ画像であってもよいし、ＳＰＥＣＴ装置で撮像されたＳＰＥＣＴ画像であってもよい。
図１は、第１の実施の形態の診断支援装置１の構成を示す図である。診断支援装置１は、入力部１０と、前処理部１１と、推論部１６と、出力部１７とを有している。入力部１０は、診断対象者の脳の核医学画像の入力を受け付ける機能を有する。核医学画像は、核医学検査装置にて撮影された画像を核医学検査装置から入力してもよいし、他の施設で撮影した核医学画像をネットワーク経由で受信してもよい。核医学検査装置として、例えば、ＰＥＴ装置やＳＰＥＣＴ装置がある。また、核医学画像は、ＰＥＴ装置で撮像されたＰＥＴ画像であってもよいし、ＳＰＥＣＴ装置で撮像されたＳＰＥＣＴ画像であってもよい。
前処理部１１は、撮影条件や個人差による違いがある核医学画像に基づいて、疾患の鑑別を適切に行えるように正規化等の処理を行う機能を有する。前処理部１１は、解剖学的標準化部１２と、脳表画像生成部１３と、正規化部１４と、Ｚスコア画像生成部１５とを有する。
解剖学的標準化部１２は、診断対象者の脳の画像を標準となる脳画像に合わせ込む処理を行う。脳表画像生成部１３は、診断対象者の脳の断層画像から脳表画像を生成する。具体的には、定位脳座標系で決められた脳表ピクセルから皮質内に画素値をみていき、皮質内における画素値のピークを脳表の画素値として抽出し、脳表へ投射することで脳表画像を生成する。
正規化部１４は、撮影条件によって異なる信号強度を正規化する処理である。正規化部１４は、核医学画像を脳の所定の参照部位の平均画素値で割ることで正規化を行う。参照部位としては、例えば、全脳、視床、小脳、橋、感覚運動野を用いることができる。
Ｚスコア画像生成部１５は、複数の健常者のデータを用いて、Ｚスコア画像を生成する。具体的には、次式を用いて、画素毎にＺスコアを求めることにより、Ｚスコア画像を生成できる。
Ｚスコア＝（健常者平均値－診断対象者の画素値）／（健常者標準偏差）
Ｚスコア＝（健常者平均値－診断対象者の画素値）／（健常者標準偏差）
Ｚスコアとは、標準偏差の数が母平均より上または下である度合いであり、上記式に示されるように、被験者のデータ及び複数の健常者のデータに対して統計学的解析を行うことにより、求めることができる。なお、ここでは複数の健常者のデータを用いる例を挙げたが、複数の健常者のデータの平均値と標準偏差が求められている場合には、複数の健常者のデータは不要である。核医学画像が脳血流画像の場合には、「３Ｄ－ＳＳＰ」というソフトウェアを用いて上記に説明した前処理部１１による処理を行ってもよい。
推論部１６は、学習済みモデル記憶部１８に記憶された学習済みモデルに、診断対象者の脳表画像およびＺスコア画像を適用することにより、診断対象者の疾患を推論する機能を有する。
図２は、学習済みモデル記憶部１８に記憶された学習済みモデルの例を示す図である。学習済みモデルは、ニューラルネットワークの一種であるディープラーニングのモデルである。Ｃｏｎｖｏｌｕｔｉｏｎ層とＰｏｏｌｉｎｇ層の複数のセットと、その後段にある全結合層と、Ｓｏｆｔｍａｘ層とを有している。Ｃｏｎｖｏｌｕｔｉｏｎ層とＰｏｏｌｉｎｇ層の複数のセットは、診断対象者の正規化された画像が入力されると、畳み込みとプーリングを繰り返して入力された画像の特徴量を抽出する。全結合層は、抽出された特徴量を一つのノードに結合する。ｓｏｆｔｍａｘ層は、全結合層からの出力に基づいて各疾患の確率を出力する。
この学習済みモデルは、事前に、多数の被験者のデータを用いて重み係数の学習が行われている。具体的には、Ｃｏｎｖｏｌｕｔｉｏｎ層で用いるフィルタのパラメータや全結合層のノードの重みのパラメータの学習が行われている。学習済みモデルの生成については後述する。
本実施の形態の学習済みモデルは、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。本実施の形態の学習済みモデルは、ＣＰＵ及びメモリを備えるコンピュータにて用いられる。具体的には、コンピュータのＣＰＵが、メモリに記憶された学習済みモデルからの指令に従って、ニューラルネットワークの入力層（最初のＣｏｎｖｏｌｕｔｉｏｎ層）に入力された入力データ（脳表画像およびＺスコア画像）に対し、畳み込みおよびプーリングを行って画像の特徴量を求め、求めた特徴量に対して学習済みの重み付け係数に基づく演算を行い、出力層（Ｓｏｆｔｍａｘ層）から結果（各疾患を有する確率値）を出力するよう動作する。
出力部１７は、推論部１６にて推論された疾患のデータを出力する。出力部１７は、例えば、モニタに、推論された疾患名と共に、診断対象者の脳画像を表示してもよい。
図３は、診断支援装置１の動作を示すフローチャートである。診断支援装置１に、診断対象者の脳の核医学画像が入力されると（Ｓ１０）、診断支援装置１は、入力された診断対象者の脳画像の解剖学的標準化を行う（Ｓ１１）。続いて、診断支援装置１は、解剖学的標準化された画像を用いて脳表画像を生成し（Ｓ１２）、生成された脳表画像の信号強度の正規化を行う（Ｓ１３）。次に、診断支援装置１は、健常者のデータを用いてＺスコア画像を生成する（Ｓ１４）。その後、診断支援装置１は、脳表画像およびＺスコア画像を学習済みモデルに適用し、疾患の推論を行い（Ｓ１５）、推論された結果を出力する（Ｓ１６）。
次に、学習済みモデル記憶部１８に記憶された学習済みモデルの生成について説明する。図４は、学習済みモデルを生成する学習装置２の構成を示す図である。学習装置２は、入力部２０と、前処理部２１と、学習部２６と、モデル記憶部２７を有している。
入力部２０は、学習の教師データとして、多数の被験者の脳の核医学画像の入力を受け付ける機能を有する。被験者には、認知症の疾患を有する者の他、健常者も含まれる。入力する教師データは、学習済みモデルを用いて分類したい疾患を持つ被験者のデータであり、例えば、アルツハイマー型認知症、レビー小体型認知症、前頭側頭型認知症である。入力部２０は、こうした被験者の脳画像のデータと共に、被験者の疾患を特定するデータの入力を受け付ける。
前処理部２１は、入力された被験者の脳の核医学画像の前処理を行う。前処理部２１の構成および処理内容は、診断支援装置１の前処理部１１と同じである。
学習部２６は、教師データを用いて、モデル記憶部２７に記憶されたモデルの学習を行う機能を有する。モデル記憶部２７には、図２に示したモデルが記憶されている。モデル記憶部２７に記憶されたモデルに対して学習が行われたものが学習済みモデルである。すなわち、学習を行う前のモデルと行った後のモデルは、パラメータの重み付けが異なるが、基本的な構成は同じである。
学習部２６は、教師データの被験者の脳画像データから生成した脳表画像およびＺスコア画像を学習対象のモデルの入力層に適用し、その被験者の疾患をＳｏｆｔｍａｘ層に適用する。Ｓｏｆｔｍａｘ層は、アルツハイマー型認知症、レビー小体型認知症、前頭側頭型認知症、健常者のノードを有する。診断対象者の疾患の推論を行う際には、各疾患または健常者のノードには、その確率値が出力されるが、学習を行う際には、教師データである被験者の疾患に対応するノードに「１」を適用し、それ以外のノードに「０」を適用する。学習部２６は、逆誤差伝播法を用いて、モデルのパラメータ値の学習を行い、学習されたモデルをモデル記憶部２７に記憶する。
図５は、学習装置２の動作を示すフローチャートである。学習装置２は、多数の被験者の脳の核医学画像と当該被験者の疾患のデータを教師データとして入力する（Ｓ２０）。次に、学習装置２は、学習に用いる被験者の脳画像の解剖学的標準化を行い（Ｓ２１）、解剖学的標準化された脳の画像から脳表画像を生成する（Ｓ２２）。続いて、脳表画像の信号強度の正規化を行い（Ｓ２３）、正規化された脳表画像と複数の健常者の脳表画像とに基づいて、Ｚスコア画像を生成する（Ｓ２４）。
学習装置２は、複数の被験者の脳表画像とＺスコア画像を学習対象のモデルの入力層に適用すると共に、その被験者の疾患のデータをモデルの出力層に適用して、逆誤差伝播法を行うことによってモデルの学習を行う（Ｓ２５）。学習装置２は、他にも教師データがあるか否かを判定し（Ｓ２６）、他にも教師データがある場合には（Ｓ２６でＹＥＳ）、他の教師データを用いてモデルの学習を行う。具体的には、被験者の脳の解剖学的標準化のステップＳ２１に戻って処理を行う。入力された全ての教師データの処理が完了し、他に教師データがない場合には（Ｓ２６でＮＯ）、学習装置２は、モデルの学習の処理を終了する。
以上、本実施の形態の診断支援装置１、学習装置２の構成について説明したが、上記した診断支援装置１および学習装置２のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した診断支援装置１および学習装置２が実現される。このようなプログラムも本発明の範囲に含まれる。
本実施の形態の診断支援装置１は、核医学画像から疾患を推論するための学習済みモデルを有している。この学習済みモデルを使って、診断対象者の核医学画像から被験者の疾患を推論することにより、疾患の鑑別を支援することができる。また、学習済みモデルの生成に際しては、被験者の核医学画像から生成した信号強度を正規化した脳表画像を用いてモデルの学習を行うので、少ない教師データによって適切なモデルを生成することができる。
図６は、第１の実施の形態の変形例に係る学習装置２の動作を示すフローチャートである。変形例に係る動作は、基本的には図５を用いて説明した動作と同じであるが、信号強度の正規化の処理（Ｓ２３ａ）が異なる。
信号強度を正規化する際に、被験者の脳表画像を被験者の全脳、視床、小脳、橋、感覚運動野のそれぞれの平均画素値で割ることによって正規化の処理を行う。これにより、一の被験者の脳画像から５つの正規化画像が得られる。これらの５つの正規化画像を学習に用いることができるので、教師データが増えることになる。これにより、学習に用いる被験者のデータが少ない場合にも、教師データを増やして適切なモデルを生成することができる。
（第２の実施の形態）
図７は、第２の実施の形態の診断支援装置３の構成を示す図である。第２の診断支援装置３の基本的な構成は、第１の実施の形態と同じであるが、第２の診断支援装置３は、診断対象者の脳の核医学画像と共に、被験者のＭＭＳＥ結果のデータの入力を受け付け、ＭＭＳＥ結果をも用いて疾患の鑑別を行う点が異なる。なお、ＭＭＳＥは、ミニメンタルステート検査と呼ばれる認知症診断の検査であり、複数の質問項目に対する回答によって認知症の診断を行うものである。
図７は、第２の実施の形態の診断支援装置３の構成を示す図である。第２の診断支援装置３の基本的な構成は、第１の実施の形態と同じであるが、第２の診断支援装置３は、診断対象者の脳の核医学画像と共に、被験者のＭＭＳＥ結果のデータの入力を受け付け、ＭＭＳＥ結果をも用いて疾患の鑑別を行う点が異なる。なお、ＭＭＳＥは、ミニメンタルステート検査と呼ばれる認知症診断の検査であり、複数の質問項目に対する回答によって認知症の診断を行うものである。
図８は、第２の実施の形態の診断支援装置３で用いられる学習済みモデルを示す図である。第２の実施の形態の学習済みモデルは、第１の実施の形態の学習済みモデルに加えて全結合層にＭＭＳＥ結果が入力される構成を有している。
図９は、診断支援装置３の動作を示すフローチャートである。診断支援装置３に、診断対象者の脳の核医学画像とＭＭＳＥ結果が入力されると（Ｓ３０）、診断支援装置３は、入力された診断対象者の脳画像の解剖学的標準化を行う（Ｓ３１）。続いて、診断支援装置３は、解剖学的標準化された画像を用いて脳表画像を生成し（Ｓ３２）、生成された脳表画像の信号強度の正規化を行う（Ｓ３３）。次に、診断支援装置３は、健常者のデータを用いてＺスコア画像を生成する（Ｓ３４）。その後、診断支援装置３は、脳表画像およびＺスコア画像とＭＭＳＥ結果とを学習済みモデルに適用し、疾患の推論を行い（Ｓ３５）、推論された結果を出力する（Ｓ３６）。
次に、学習済みモデル記憶部２７に記憶された学習済みモデルの生成について説明する。図１０は、学習済みモデルを生成する学習装置４の構成を示す図である。第２の実施の形態の学習装置４の基本的な構成は、第１の実施の形態と同じであり、入力部１０と、前処理部２１と、学習部２６と、モデル記憶部２７を有している。第２の実施の形態の学習装置４によって学習するモデルは、図８に示すモデルである点が異なる。
入力部２０は、学習の教師データとして、多数の被験者の脳の核医学画像、ＭＭＳＥ結果のデータの入力を受け付ける機能を有する。入力部２０は、こうした被験者の脳画像およびＭＭＳＥ結果のデータと共に、被験者の疾患を特定するデータの入力を受け付ける。
前処理部２１は、入力された被験者の脳の核医学画像の前処理を行う。前処理部２１の構成および処理内容は、診断支援装置３の前処理部２１の処理と同じである。
学習部２６は、教師データを用いて、モデル記憶部２７に記憶されたモデルの学習を行う機能を有する。モデル記憶部２７には、図８に示したモデルが記憶されている。学習部２６は、教師データの被験者の脳画像データから生成した脳表画像およびＺスコア画像とＭＭＳＥ結果とを学習対象のモデルの入力層に適用し、その被験者の疾患をＳｏｆｔｍａｘ層に適用する。学習部２６は、逆誤差伝播法を用いて、モデルのパラメータ値の学習を行い、学習されたモデルをモデル記憶部２７に記憶する。
第２の実施の形態の診断支援装置３は、診断対象者の核医学画像に加えて、ＭＭＳＥ結果を用いて、疾患の推論を行うので、疾患鑑別の精度を高めることができる。なお、本実施の形態では、被験者および診断対象者の臨床情報としてＭＭＳＥを用いる例を挙げたが、ＭＭＳＥ以外の臨床情報を用いることとしてもよい。
（変形例）
上記した実施の形態では、被験者および診断対象者の脳画像として、脳表画像とＺスコア画像の両方を用いる例を挙げたが、脳表画像とＺスコア画像のいずれかを用いることとしてもよい。また、脳表画像に代えて、脳の断層画像を用いることとしてもよい。すなわち、解剖学的標準化された脳の核医学画像から断層画像を生成し、断層画像の信号強度を正規化して生成した断層画像を用いることにより、上記した実施の形態と同じく、少ない教師データによって適切なモデルを生成することができる。また、上記した実施の形態では、統計学的解析を行った画像の例としてＺスコア画像を挙げたが、Ｚスコア画像以外の統計学的解析処理を施した画像を教師データとして用いることも可能である。
上記した実施の形態では、被験者および診断対象者の脳画像として、脳表画像とＺスコア画像の両方を用いる例を挙げたが、脳表画像とＺスコア画像のいずれかを用いることとしてもよい。また、脳表画像に代えて、脳の断層画像を用いることとしてもよい。すなわち、解剖学的標準化された脳の核医学画像から断層画像を生成し、断層画像の信号強度を正規化して生成した断層画像を用いることにより、上記した実施の形態と同じく、少ない教師データによって適切なモデルを生成することができる。また、上記した実施の形態では、統計学的解析を行った画像の例としてＺスコア画像を挙げたが、Ｚスコア画像以外の統計学的解析処理を施した画像を教師データとして用いることも可能である。
上記した実施の形態では、アルツハイマー型認知症、レビー小体型認知症、前頭側頭型認知症の鑑別を行う例を挙げたが、本発明は、これら以外の認知症、例えば、脳腫瘍、慢性硬膜下血種、正常圧水頭症、頭部外傷後遺症等の鑑別にも用いることができる。
上記した実施の形態では、核医学画像を例として説明したが、本発明の診断支援装置は、ＭＲＩ画像、ｆＭＲＩ画像等にも適用することが可能である。例えば、ＭＲＩ画像を用いて早期アルツハイマー型認知症（ＡＤ）に特徴的に見られる内側側頭部の萎縮の形態情報の解析に用いる場合には、ＭＲＩ画像から抽出した灰白質の画像を解剖学的標準化および正規化した画像を用いることにより、上記した実施の形態と同じく、学習に用いる被験者のデータが少ない場合にも教師データを増やして適切なモデルを生成することができる。また、ＭＲＩ画像を用いる場合にも、統計学的解析によって得られた画像を用いてもよい。一例としては、解剖学的標準化および正規化した被験者のＭＲＩ画像を複数の健常者のＭＲＩ画像と比較して、Ｚスコア画像を生成し、Ｚスコア画像を用いてモデルの学習を行ってもよい。
上記した実施の形態では、ディープラーニングのモデルを用いる例を挙げたが、ニューラルネットワークのモデルを用いてもよいし、他の学習モデルを用いてもよい。
この出願は、２０１８年３月９日に出願された日本出願特願２０１８－０４３２４２号を基礎とする優先権を主張し、その開示の総てをここに取り込む。
Claims (8)
- 多数の被験者の脳の核医学画像に関するデータと当該被験者の疾患のデータとを教師データとして、ニューラルネットワークの重み付け係数が学習されて構成された学習済みモデルを記憶した記憶部と、
診断対象者の脳の核医学画像を入力する入力部と、
前記入力部にて入力された脳の核医学画像を解剖学的標準化および正規化する標準化部と、
解剖学的標準化され、かつ、正規化された脳の核医学画像に関するデータを前記学習済みモデルに適用して、前記診断対象者の疾患を推論する推論部と、
前記推論部にて推論された疾患のデータを出力する出力部と、
を備え、
前記学習済みモデルは、被験者の脳の核医学画像の画素値を参照部位である複数の解剖学的部位の各々の平均画素値で割ることによって正規化された複数の教師データを用いて学習されたものである診断支援装置。 - 前記標準化部は、
前記入力部にて入力された核医学画像を解剖学的標準化する解剖学的標準化部と、
前記解剖学的標準化された画像から脳表画像を生成する脳表画像生成部と、
前記脳表画像の信号強度を正規化する正規化部と、
を有し、
前記推論部は、前記正規化された脳表画像を前記学習済みモデルに適用して、前記診断対象者の疾患を推論する、請求項１に記載の診断支援装置。 - 前記正規化された脳表画像と複数の健常者の脳表画像とに基づいて、診断対象者のＺスコア画像を生成するＺスコア画像生成部を備え、
前記推論部は、前記脳表画像に代えて、または前記脳表画像に加えて、前記Ｚスコア画像を前記学習済みモデルに適用して、前記診断対象者の疾患を推論する請求項２に記載の診断支援装置。 - 前記標準化部は、
前記入力部にて入力された核医学画像を解剖学的標準化する解剖学的標準化部と、
前記解剖学的標準化された画像から断層画像を生成する断層画像生成部と、
前記断層画像の信号強度を正規化する正規化部と、
を有し、
前記推論部は、前記正規化された断層画像を前記学習済みモデルに適用して、前記診断
対象者の疾患を推論する、請求項１に記載の診断支援装置。 - 前記記憶部に記憶された学習済みモデルは、多数の被験者の脳の核医学画像に関するデータと当該被験者の疾患のデータに加えて、当該被験者の臨床情報を教師データとして、ニューラルネットワークの重み付け係数が学習されて構成された学習済みモデルであり、
前記入力部は、診断対象者の脳の核医学画像に加えて、前記診断対象者の臨床情報を入力し、
前記推論部は、入力された前記臨床情報をも前記学習済みモデルに適用して、前記診断対象者の疾患を推論する、請求項２乃至４いずれか一項に記載の診断支援装置。 - 診断対象者の脳の核医学画像に関するデータに基づいて、診断対象者の疾患を鑑別する支援をするためのプログラムであって、コンピュータに、
多数の被験者の脳の核医学画像に関するデータと当該被験者の疾患のデータとを教師データとし、被験者の脳の核医学画像の画素値を参照部位である複数の解剖学的部位の各々の平均画素値で割ることによって正規化され、正規化された複数の被験者の脳の核医学画像と当該被験者の疾患のデータとを用いて、ニューラルネットワークの重み付け係数が学習されて構成された学習済みモデルを記憶させておき、
診断対象者の脳の核医学画像を入力するステップと、
入力された脳の核医学画像を解剖学的標準化および正規化するステップと、
解剖学的標準化され、かつ、正規化された脳の核医学画像に関するデータを前記学習済みモデルに適用して、前記診断対象者の疾患を推論するステップと、
推論された疾患のデータを出力するステップと、
を実行させるプログラム。 - 診断対象者の脳の核医学画像に関するデータに基づいて、診断対象者が罹患している疾患の鑑別を支援するよう、コンピュータを機能させるための学習済みモデルであって、
多数の被験者の脳の核医学画像に対して解剖学的標準化と前記脳の核医学画像の画素値を参照部位である複数の解剖学的部位の各々の平均画素値で割る正規化とが行われ、正規化された複数の脳の核医学画像に関するデータと当該被験者の疾患のデータを教師データとして、ニューラルネットワークの重み付け係数が学習されて構成されたものであり、
ニューラルネットワークの入力層に入力された診断対象者の脳の核医学画像に関するデータに対し、学習済みの重み付け係数に基づく演算を行い、診断対象者が罹患している疾患のデータを出力するよう、コンピュータを機能させるための学習済みモデル。 - 多数の被験者の脳の核医学画像に関するデータと当該被験者の疾患のデータを教師データとして入力する入力部と、
前記入力部にて入力された脳の核医学画像の解剖学的標準化と前記脳の核医学画像の画素値を参照部位である複数の解剖学的部位の各々の平均画素値で割る正規化とを行う標準化部と、
解剖学的標準化され、かつ、正規化された多数の脳の核医学画像に関するデータを順次ニューラルネットワークの入力層に入力すると共に、入力した脳の核医学画像に対応する前記被験者の疾患のデータをニューラルネットワークの出力層に入力し、逆誤差伝播法によってニューラルネットワークの重み付け係数を更新する処理を繰り返し行う学習部と、
前記学習部によって学習されたニューラルネットワークを記憶する記憶部と、
を備える学習装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018043242 | 2018-03-09 | ||
| JP2018043242 | 2018-03-09 | ||
| PCT/JP2019/008378 WO2019172181A1 (ja) | 2018-03-09 | 2019-03-04 | 診断支援装置、プログラム、学習済みモデル、および学習装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019172181A1 JPWO2019172181A1 (ja) | 2021-03-25 |
| JP7382306B2 true JP7382306B2 (ja) | 2023-11-16 |
Family
ID=67846264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020505016A Active JP7382306B2 (ja) | 2018-03-09 | 2019-03-04 | 診断支援装置、プログラム、学習済みモデル、および学習装置 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7382306B2 (ja) |
| TW (1) | TW201941220A (ja) |
| WO (1) | WO2019172181A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230281889A1 (en) * | 2020-06-26 | 2023-09-07 | Shimadzu Corporation | Attenuation coefficient image generation method, nuclear medicine diagnostic apparatus, and trained model generation method |
| CN112185548B (zh) * | 2020-09-25 | 2022-10-28 | 智慧中医科技(广东)有限公司 | 一种基于神经网络算法的智能中医诊断方法及装置 |
| EP4218604A4 (en) | 2020-09-28 | 2024-04-10 | Fujifilm Corp | IMAGE PROCESSING DEVICE, OPERATING METHOD FOR IMAGE PROCESSING DEVICE AND OPERATING PROGRAM FOR IMAGE PROCESSING DEVICE |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005230456A (ja) | 2004-02-23 | 2005-09-02 | Kokuritsu Seishin Shinkei Center | 脳疾患の診断支援方法及び装置 |
| WO2008056638A1 (en) | 2006-11-06 | 2008-05-15 | Fujifilm Ri Pharma Co., Ltd. | Brain image diagnosis supporting method, program, and recording method |
| JP2010012176A (ja) | 2008-07-07 | 2010-01-21 | Hamamatsu Photonics Kk | 脳疾患診断システム |
| WO2019044078A1 (ja) | 2017-08-28 | 2019-03-07 | 富士フイルム株式会社 | 脳画像正規化装置、方法およびプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5113378B2 (ja) * | 2006-12-20 | 2013-01-09 | 富士フイルムＲｉファーマ株式会社 | 脳画像データに関する時系列データの解析方法、プログラムおよび記録媒体 |
| JP6013042B2 (ja) * | 2012-06-27 | 2016-10-25 | 富士フイルムＲｉファーマ株式会社 | 画像処理プログラム、記録媒体、画像処理装置、及び画像処理方法 |
| US9968585B2 (en) * | 2014-02-14 | 2018-05-15 | Toyama Chemical Co., Ltd. | Prevention or treatment agent for cerebral amyloid beta storage diseases |
| JP2018038515A (ja) * | 2016-09-06 | 2018-03-15 | 国立大学法人島根大学 | アルツハイマー病の診断支援装置、診断支援プログラムおよび診断支援方法 |
-
2019
- 2019-03-04 JP JP2020505016A patent/JP7382306B2/ja active Active
- 2019-03-04 TW TW108107088A patent/TW201941220A/zh unknown
- 2019-03-04 WO PCT/JP2019/008378 patent/WO2019172181A1/ja active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005230456A (ja) | 2004-02-23 | 2005-09-02 | Kokuritsu Seishin Shinkei Center | 脳疾患の診断支援方法及び装置 |
| WO2008056638A1 (en) | 2006-11-06 | 2008-05-15 | Fujifilm Ri Pharma Co., Ltd. | Brain image diagnosis supporting method, program, and recording method |
| JP2010012176A (ja) | 2008-07-07 | 2010-01-21 | Hamamatsu Photonics Kk | 脳疾患診断システム |
| WO2019044078A1 (ja) | 2017-08-28 | 2019-03-07 | 富士フイルム株式会社 | 脳画像正規化装置、方法およびプログラム |
Non-Patent Citations (4)
| Title |
|---|
| 「認知症疾患診療ガイドライン」作成委員会，[online],認知症疾患診療ガイドライン２０１７，第１版第３刷，2017年12月01日，ＣＱ２－３，ＣＱ２－７，https://www.neurology-jp.org/guidelinem/degl/degl_2017_02.pdf |
| CHOI, Hongyoon et al.，"Predicting Cognitive Decline with Deep Learning of Brain Metabolism and Amyloid Imaging"，[online]，arXiv:1704.06033，2017年04月20日，https://arxiv.org/abs/1704.06033 |
| 村上 剛，解剖学的標準化を応用した脳核医学の新しい解析法，日本放射線技術学会誌，2001年08月，５７巻８号，９１３‐９１９頁 |
| 石田 学，認知症をＡＩで早期発見，[online]，2018年03月05日，http://www.soumu.go.jp/main_content/000542895.pdf |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2019172181A1 (ja) | 2021-03-25 |
| WO2019172181A1 (ja) | 2019-09-12 |
| TW201941220A (zh) | 2019-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7051849B2 (ja) | ディープラーニング医療システムおよび医療処置のための方法 | |
| JP7309605B2 (ja) | ディープラーニング医療システムおよび画像収集のための方法 | |
| Hu et al. | Clinical decision support for Alzheimer's disease based on deep learning and brain network | |
| Yang et al. | A deep neural network study of the ABIDE repository on autism spectrum classification | |
| Chaki et al. | Deep learning for neurodegenerative disorder (2016 to 2022): A systematic review | |
| JP7382306B2 (ja) | 診断支援装置、プログラム、学習済みモデル、および学習装置 | |
| CN111133526A (zh) | 发掘可用于机器学习技术中的新颖特征，例如用于诊断医疗状况的机器学习技术 | |
| JP2023169313A (ja) | 診断支援システムおよび方法 | |
| Suk et al. | Supervised discriminative group sparse representation for mild cognitive impairment diagnosis | |
| JP2020042598A (ja) | 生体信号データからの個体特徴分離による状態予測方法および装置 | |
| Kumar et al. | Cardiovascular disease prognosis and severity analysis using hybrid heuristic methods | |
| Nour et al. | Diagnosis and classification of Parkinson's disease using ensemble learning and 1D-PDCovNN | |
| Jafari et al. | Empowering precision medicine: AI-driven schizophrenia diagnosis via EEG signals: A comprehensive review from 2002–2023 | |
| Sharma et al. | Classification of heart disease from MRI images using convolutional neural network | |
| WO2023119866A1 (ja) | 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム、予測モデル、学習装置、および学習方法 | |
| Wen et al. | Fine-Grained and Multiple Classification for Alzheimer's Disease With Wavelet Convolution Unit Network | |
| Prokopowicz et al. | Fuzzy-based description of computational complexity of central nervous systems | |
| Iram et al. | A classifier fusion strategy to improve the early detection of neurodegenerative diseases | |
| Namachivayam et al. | Computerized Brain Disease Classification Using Transfer Learning | |
| Matlani | BiLSTM-ANN: early diagnosis of Alzheimer’s disease using hybrid deep learning algorithms | |
| Tatarkanov et al. | Using a one-dimensional convolution neural network to detect atrial fibrillation | |
| Suyuti et al. | Pneumonia Classification of Thorax Images using Convolutional Neural Networks | |
| Subah et al. | A comprehensive study on atlas-based classification of autism spectrum disorder using functional connectivity features from resting-state functional magnetic resonance imaging | |
| Gupta et al. | Autism detection using r-fMRI: Subspace approximation and CNN based approach | |
| Fang et al. | Multimodal Identification of Alzheimer's Disease: A Review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230724 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231010 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231106 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7382306 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |