JPWO2019172181A1 - Diagnostic support devices, programs, trained models, and learning devices - Google Patents

Diagnostic support devices, programs, trained models, and learning devices Download PDF

Info

Publication number
JPWO2019172181A1
JPWO2019172181A1 JP2020505016A JP2020505016A JPWO2019172181A1 JP WO2019172181 A1 JPWO2019172181 A1 JP WO2019172181A1 JP 2020505016 A JP2020505016 A JP 2020505016A JP 2020505016 A JP2020505016 A JP 2020505016A JP WO2019172181 A1 JPWO2019172181 A1 JP WO2019172181A1
Authority
JP
Japan
Prior art keywords
image
brain
unit
data
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020505016A
Other languages
Japanese (ja)
Other versions
JP7382306B2 (en
Inventor
西川 和宏
和宏 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nihon Medi Physics Co Ltd
Original Assignee
Nihon Medi Physics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nihon Medi Physics Co Ltd filed Critical Nihon Medi Physics Co Ltd
Publication of JPWO2019172181A1 publication Critical patent/JPWO2019172181A1/en
Application granted granted Critical
Publication of JP7382306B2 publication Critical patent/JP7382306B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01TMEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16Measuring radiation intensity
    • G01T1/161Applications in the field of nuclear medicine, e.g. in vivo counting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Abstract

診断支援装置(1)は、多数の被験者の脳の核医学画像のデータと当該被験者の疾患のデータとを教師データとして、ニューラルネットワークの重み付け係数が学習されて構成された学習済みモデルを記憶した学習済みモデル記憶部(18)と、診断対象者の脳の核医学画像を入力する入力部(10)と、入力部(10)にて入力された核医学画像を解剖学的標準化する解剖学的標準化部(12)と、解剖学的標準化された画像から脳表画像を生成する脳表画像生成部(13)と、脳表画像の信号強度を正規化する正規化部(14)と、正規化された脳表画像と複数の健常者の脳表画像とに基づいて、診断対象者のZスコア画像を生成するZスコア画像生成部(15)と、正規化された脳表画像を学習済みモデルに適用して、診断対象者の疾患を推論する推論部(16)と、推論部(16)にて推論された疾患のデータを出力する出力部(17)とを備える。The diagnostic support device (1) stores a trained model constructed by learning the weighting coefficient of the neural network using the data of the nuclear medicine images of the brains of a large number of subjects and the data of the diseases of the subjects as teacher data. The trained model storage unit (18), the input unit (10) for inputting the nuclear medicine image of the brain of the person to be diagnosed, and the anatomy for anatomically standardizing the nuclear medicine image input in the input unit (10). A standardization unit (12), a brain surface image generation unit (13) that generates a brain surface image from an anatomically standardized image, and a normalization unit (14) that normalizes the signal strength of the brain surface image. Based on the normalized brain surface image and the brain surface images of a plurality of healthy subjects, the Z score image generation unit (15) that generates the Z score image of the diagnosis target and the normalized brain surface image are learned. It is provided with an inference unit (16) that infers the disease of the person to be diagnosed by applying it to the completed model, and an output unit (17) that outputs the data of the disease inferred by the inference unit (16).

Description

本発明は、診断支援装置、プログラム、学習済みモデル、および学習装置に関する。 The present invention relates to diagnostic support devices, programs, trained models, and learning devices.

従来から、微量の放射線を出す放射性医薬品を体内に投与し、身体の状態を画像で捉える核医学検査が行われている。核医学検査では、体内に投与された放射性医薬品が臓器や体内組織などに集まる様子を画像化し、疾病の診断、病期や予後の確認、治療効果の判定などに有用な情報が得られる。 Conventionally, nuclear medicine tests have been performed in which a radiopharmaceutical that emits a small amount of radiation is administered into the body and the state of the body is captured by an image. In the nuclear medicine test, it is possible to obtain useful information for diagnosing a disease, confirming the stage and prognosis, determining a therapeutic effect, etc. by imaging how radiopharmaceuticals administered in the body gather in organs and tissues.

認知症疾患には、アルツハイマー型認知症、レビー小体型認知症、前頭側頭型認知症等があるが、認知症の分類にも核医学画像を用いた診断が行われる。従来は、医師が核医学画像を読影して、他の臨床情報等も踏まえて、疾患の鑑別をしていた。 Dementia diseases include Alzheimer's disease, Lewy body dementias, frontotemporal dementia, etc., and diagnosis using nuclear medicine images is also performed to classify dementia. Conventionally, a doctor interprets a nuclear medicine image and distinguishes a disease based on other clinical information.

高村好実「認知症の画像診断」医学検査Vol.66 No.J-STAGE-2 認知症予防のための検査特集2017Yoshimi Takamura "Dementia Imaging" Medical Examination Vol.66 No.J-STAGE-2 Dementia Prevention Examination Special Feature 2017

近年、AI等の機械学習技術が発達し、医用画像の読影に機械学習を活用することが研究されている。しかし、機械学習を行って適切な診断を行なえるモデルを生成するためには、大量の教師データが必要である。しかしながら、核医学画像を撮影する施設は、X線やCT等の撮影を行なえる施設よりも少なく、大量の教師データを集めることは容易ではない。 In recent years, machine learning techniques such as AI have been developed, and research is being conducted to utilize machine learning for interpreting medical images. However, a large amount of teacher data is required to generate a model that can perform machine learning and make an appropriate diagnosis. However, the number of facilities that take nuclear medicine images is smaller than that of facilities that can take X-rays, CT, etc., and it is not easy to collect a large amount of teacher data.

本開示は、上記背景に鑑み、画像に基づいて疾患を分類することができる診断支援装置を提供することを目的とする。 In view of the above background, it is an object of the present disclosure to provide a diagnostic support device capable of classifying diseases based on images.

本開示に係る診断支援装置は、多数の被験者の脳画像に関するデータと当該被験者の疾患のデータとを教師データとして、ニューラルネットワークの重み付け係数が学習されて構成された学習済みモデルを記憶した記憶部と、診断対象者の脳画像を入力する入力部と、前記入力部にて入力された脳画像を解剖学的標準化および正規化する標準化部と、解剖学的標準化され、かつ、正規化された脳画像に関するデータを前記学習済みモデルに適用して、前記診断対象者の疾患を推論する推論部と、前記推論部にて推論された疾患のデータを出力する出力部とを備える。なお、脳画像は核医学画像であってもよく、その場合、学習済みモデルへの入力として、脳表画像または断層画像を用いてもよく、また、脳表画像に代えて、または加えて、診断対象者のZスコア画像をはじめとする統計学的解析を行った画像を用いてもよく、さらには、臨床情報を用いてもよい。脳画像に関するデータには、ここで述べた脳表画像、断層画像、診断対象者のZスコア画像をはじめとする統計学的解析を行った画像が含まれる。また、脳画像はMRI画像であってもよく、その場合、学習済みモデルへの入力として、MRI画像から抽出した灰白質の脳画像や、診断対象者のZスコア画像をはじめとする統計学的解析を行った画像、さらには、臨床情報を用いてもよい。 The diagnostic support device according to the present disclosure is a storage unit that stores a trained model configured by learning the weighting coefficient of the neural network using the data related to the brain images of a large number of subjects and the data of the diseases of the subjects as teacher data. An input unit for inputting the brain image of the person to be diagnosed, a standardization unit for anatomically standardizing and normalizing the brain image input in the input unit, and anatomically standardized and normalized. It includes an inference unit that infers the disease of the diagnosis target person by applying the data related to the brain image to the trained model, and an output unit that outputs the data of the disease inferred by the inference unit. The brain image may be a nuclear medicine image, in which case a brain surface image or a tomographic image may be used as an input to the trained model, and in place of or in addition to the brain surface image. An image obtained by statistical analysis such as a Z-score image of a person to be diagnosed may be used, and further, clinical information may be used. The data related to the brain image includes the image obtained by statistical analysis such as the brain surface image, the tomographic image, and the Z-score image of the person to be diagnosed described here. Further, the brain image may be an MRI image, and in that case, statistically including a gray matter brain image extracted from the MRI image and a Z-score image of the person to be diagnosed as input to the trained model. The analyzed image and clinical information may be used.

本開示に係るプログラムは、診断対象者の脳画像に関するデータに基づいて、診断対象者の疾患を鑑別する支援をするためのプログラムであって、コンピュータに、多数の被験者の脳画像に関するデータと当該被験者の疾患のデータとを教師データとして、ニューラルネットワークの重み付け係数が学習されて構成された学習済みモデルを記憶させておき、診断対象者の脳画像を入力するステップと、入力された脳画像を解剖学的標準化および正規化するステップと、解剖学的標準化され、かつ、正規化された脳画像に関するデータを前記学習済みモデルに適用して、前記診断対象者の疾患を推論するステップと、推論された疾患のデータを出力するステップとを実行させる。なお、脳画像を核医学画像であってもよく、その場合、学習済みモデルへの入力として、脳表画像または断層画像を用いてもよく、また、脳表画像に代えて、または加えて、診断対象者のZスコア画像をはじめとする統計学的解析を行った画像を用いてもよく、さらには臨床情報を用いてもよい。また、脳画像はMRI画像であってもよく、その場合、学習済みモデルへの入力として、MRI画像から抽出した灰白質の脳画像や、診断対象者のZスコア画像をはじめとする統計学的解析を行った画像、さらには、臨床情報を用いてもよい。 The program according to the present disclosure is a program for assisting in differentiating a disease of a diagnosis target person based on data related to the brain image of the diagnosis target person, and the data on the brain images of a large number of subjects and the said Using the subject's disease data as teacher data, the trained model constructed by learning the weighting coefficient of the neural network is stored, and the step of inputting the brain image of the diagnosis target and the input brain image are stored. Steps to anatomically standardize and normalize, and steps to infer the disease of the diagnosed subject by applying data on the anatomically standardized and normalized brain image to the trained model, and inference. Perform the steps to output the data of the disease. The brain image may be a nuclear medicine image, in which case a brain surface image or a tomographic image may be used as an input to the trained model, and in place of or in addition to the brain surface image. An image obtained by statistical analysis such as a Z-score image of a person to be diagnosed may be used, or clinical information may be used. Further, the brain image may be an MRI image, and in that case, statistically including a gray matter brain image extracted from the MRI image and a Z-score image of the person to be diagnosed as input to the trained model. The analyzed image and clinical information may be used.

本開示に係る学習済みモデルは、診断対象者の脳画像に関するデータに基づいて、診断対象者が罹患している疾患の鑑別を支援するよう、コンピュータを機能させるための学習済みモデルであって、多数の被験者の脳画像に対して解剖学的標準化および信号強度の正規化が行われた脳画像に関するデータと当該被験者の疾患のデータを教師データとして、ニューラルネットワークの重み付け係数が学習されて構成されたものであり、ニューラルネットワークの入力層に入力された診断対象者の脳画像に関するデータに対し、学習済みの重み付け係数に基づく演算を行い、診断対象者が罹患している疾患のデータを出力するよう、コンピュータを機能させるための学習済みモデルである。なお、脳画像は核医学画像であってもよく、その場合、学習済みモデルは、脳表画像または断層画像を用いて学習されて構成されてもよく、また、脳表画像に代えて、または加えて、診断対象者のZスコア画像をはじめとする統計学的解析を行った画像を用いて学習されてもよく、さらには臨床情報を用いて学習されて構成されたものでもよい。また、脳画像はMRI画像であってもよく、その場合、学習済みモデルは、MRI画像から抽出した灰白質の脳画像や、診断対象者のZスコア画像をはじめとする統計学的解析を行った画像、さらには、臨床情報を用いて学習されて構成されたものでもよい。 The trained model according to the present disclosure is a trained model for making a computer function so as to support the discrimination of the disease affected by the diagnosed subject based on the data on the brain image of the diagnosed subject. The weighting coefficient of the neural network is learned and constructed using the data related to the brain image obtained by anatomically standardizing and the signal strength normalization for the brain images of a large number of subjects and the data of the disease of the subject as teacher data. The data related to the brain image of the diagnosed subject input to the input layer of the neural network is calculated based on the learned weighting coefficient, and the data of the disease affected by the diagnosed subject is output. It is a trained model for making a computer work. The brain image may be a nuclear medicine image, in which case the trained model may be constructed by being trained using a brain surface image or a tomographic image, and may be substituted for the brain surface image or In addition, it may be learned by using an image obtained by statistical analysis such as a Z-score image of a person to be diagnosed, or may be learned by using clinical information. Further, the brain image may be an MRI image, and in that case, the trained model performs statistical analysis such as a gray matter brain image extracted from the MRI image and a Z-score image of the person to be diagnosed. It may be an image that has been learned and constructed using clinical information.

本開示に係る学習装置は、多数の被験者の脳画像に関するデータと当該被験者の疾患のデータを教師データとして入力する入力部と、前記入力部にて入力された脳画像の解剖学的標準化および正規化を行う標準化部と、解剖学的標準化され、かつ、正規化された多数の脳画像に関するデータを順次ニューラルネットワークの入力層に入力すると共に、入力した脳画像に対応する前記被験者の疾患のデータをニューラルネットワークの出力層に入力し、逆誤差伝播法によってニューラルネットワークの重み付け係数を更新する処理を繰り返し行う学習部と、前記学習部によって学習されたニューラルネットワークを記憶する記憶部とを備える。なお、脳画像は核医学画像であってもよく、その場合、学習装置は、脳表画像または断層画像を用いて学習を行ってもよく、また、脳表画像に代えて、または加えて、診断対象者のZスコア画像をはじめとする統計学的解析を行った画像を用いて学習を行ってもよく、さらには臨床情報を用いて学習を行ってもよい。また、脳画像はMRI画像であってもよく、その場合、学習装置は、MRI画像から抽出した灰白質の脳画像や、診断対象者のZスコア画像をはじめとする統計学的解析を行った画像、さらには、臨床情報を用いて学習を行ってもよい。 The learning device according to the present disclosure includes an input unit for inputting data on brain images of a large number of subjects and data on diseases of the subjects as teacher data, and anatomical standardization and normalization of brain images input by the input unit. Data on a large number of anatomically standardized and normalized brain images are sequentially input to the input layer of the neural network, and the data of the subject's disease corresponding to the input brain images. Is input to the output layer of the neural network, and a learning unit that repeatedly performs a process of updating the weighting coefficient of the neural network by the inverse error propagation method and a storage unit that stores the neural network learned by the learning unit are provided. The brain image may be a nuclear medicine image, in which case the learning device may perform learning using a brain surface image or a tomographic image, and in place of or in addition to the brain surface image, Learning may be performed using an image obtained by statistical analysis such as a Z-score image of a person to be diagnosed, and further, learning may be performed using clinical information. Further, the brain image may be an MRI image, and in that case, the learning device performs statistical analysis such as a gray matter brain image extracted from the MRI image and a Z-score image of the subject to be diagnosed. Learning may be performed using images and clinical information.

本開示によれば、被験者の脳画像を解剖学的標準化および正規化した脳表画像に関するデータを用いて生成された学習済みモデルを用いることにより、診断対象者の脳画像に基づいて、その診断対象者の疾患を適切に鑑別することができる。 According to the present disclosure, the diagnosis is made based on the brain image of the subject to be diagnosed by using a trained model generated by using the data on the brain surface image obtained by anatomically standardizing and normalizing the brain image of the subject. The disease of the subject can be appropriately differentiated.

図1は、第1の実施の形態の診断支援装置の構成を示す図である。FIG. 1 is a diagram showing a configuration of a diagnostic support device according to the first embodiment. 図2は、第1の実施の形態で用いられる学習済みモデルの構成の例を示す図である。FIG. 2 is a diagram showing an example of the configuration of the trained model used in the first embodiment. 図3は、第1の実施の形態の診断支援装置の動作を示すフローチャートである。FIG. 3 is a flowchart showing the operation of the diagnosis support device according to the first embodiment. 図4は、第1の実施の形態の学習装置の構成を示す図である。FIG. 4 is a diagram showing a configuration of a learning device according to the first embodiment. 図5は、第1の実施の形態の学習装置の動作を示すフローチャートである。FIG. 5 is a flowchart showing the operation of the learning device of the first embodiment. 図6は、変形例に係る学習装置の動作を示すフローチャートである。FIG. 6 is a flowchart showing the operation of the learning device according to the modified example. 図7は、第2の実施の形態の診断支援装置の構成を示す図である。FIG. 7 is a diagram showing the configuration of the diagnostic support device of the second embodiment. 図8は、第2の実施の形態で用いられる学習済みモデルの構成の例を示す図である。FIG. 8 is a diagram showing an example of the configuration of the trained model used in the second embodiment. 図9は、第2の実施の形態の診断支援装置の動作を示すフローチャートである。FIG. 9 is a flowchart showing the operation of the diagnosis support device according to the second embodiment. 図10は、第2の実施の形態の学習装置の構成を示す図である。FIG. 10 is a diagram showing the configuration of the learning device of the second embodiment.

以下、本発明の実施の形態の診断支援装置、学習装置、学習済みモデル等について説明する。 Hereinafter, the diagnostic support device, the learning device, the learned model, and the like according to the embodiment of the present invention will be described.

(第1の実施の形態)
図1は、第1の実施の形態の診断支援装置1の構成を示す図である。診断支援装置1は、入力部10と、前処理部11と、推論部16と、出力部17とを有している。入力部10は、診断対象者の脳の核医学画像の入力を受け付ける機能を有する。核医学画像は、核医学検査装置にて撮影された画像を核医学検査装置から入力してもよいし、他の施設で撮影した核医学画像をネットワーク経由で受信してもよい。核医学検査装置として、例えば、PET装置やSPECT装置がある。また、核医学画像は、PET装置で撮像されたPET画像であってもよいし、SPECT装置で撮像されたSPECT画像であってもよい。
(First Embodiment)
FIG. 1 is a diagram showing a configuration of a diagnosis support device 1 according to the first embodiment. The diagnosis support device 1 includes an input unit 10, a preprocessing unit 11, an inference unit 16, and an output unit 17. The input unit 10 has a function of accepting an input of a nuclear medicine image of the brain of the person to be diagnosed. As the nuclear medicine image, an image taken by the nuclear medicine examination device may be input from the nuclear medicine examination device, or a nuclear medicine image taken at another facility may be received via a network. Examples of the nuclear medicine examination device include a PET device and a SPECT device. Further, the nuclear medicine image may be a PET image captured by the PET apparatus or a SPECT image captured by the SPECT apparatus.

前処理部11は、撮影条件や個人差による違いがある核医学画像に基づいて、疾患の鑑別を適切に行えるように正規化等の処理を行う機能を有する。前処理部11は、解剖学的標準化部12と、脳表画像生成部13と、正規化部14と、Zスコア画像生成部15とを有する。 The pretreatment unit 11 has a function of performing processing such as normalization so that the disease can be appropriately differentiated based on the nuclear medicine image which is different depending on the imaging conditions and individual differences. The pretreatment unit 11 includes an anatomical standardization unit 12, a brain surface image generation unit 13, a normalization unit 14, and a Z-score image generation unit 15.

解剖学的標準化部12は、診断対象者の脳の画像を標準となる脳画像に合わせ込む処理を行う。脳表画像生成部13は、診断対象者の脳の断層画像から脳表画像を生成する。具体的には、定位脳座標系で決められた脳表ピクセルから皮質内に画素値をみていき、皮質内における画素値のピークを脳表の画素値として抽出し、脳表へ投射することで脳表画像を生成する。 The anatomical standardization unit 12 performs a process of matching the image of the brain of the person to be diagnosed with the standard brain image. The brain surface image generation unit 13 generates a brain surface image from a tomographic image of the brain of the diagnosis target person. Specifically, by looking at the pixel values in the cortex from the brain surface pixels determined by the stereotactic brain coordinate system, extracting the peak of the pixel value in the cortex as the pixel value of the brain surface, and projecting it to the brain surface. Generates a brain surface image.

正規化部14は、撮影条件によって異なる信号強度を正規化する処理である。正規化部14は、核医学画像を脳の所定の参照部位の平均画素値で割ることで正規化を行う。参照部位としては、例えば、全脳、視床、小脳、橋、感覚運動野を用いることができる。 The normalization unit 14 is a process for normalizing signal intensities that differ depending on the imaging conditions. The normalization unit 14 normalizes the nuclear medicine image by dividing it by the average pixel value of a predetermined reference site in the brain. As the reference site, for example, the whole brain, thalamus, cerebellum, pons, and sensorimotor cortex can be used.

Zスコア画像生成部15は、複数の健常者のデータを用いて、Zスコア画像を生成する。具体的には、次式を用いて、画素毎にZスコアを求めることにより、Zスコア画像を生成できる。
Zスコア=(健常者平均値−診断対象者の画素値)/(健常者標準偏差)
The Z-score image generation unit 15 generates a Z-score image using the data of a plurality of healthy subjects. Specifically, a Z-score image can be generated by obtaining a Z-score for each pixel using the following equation.
Z score = (mean value of healthy subjects-pixel value of diagnosed subjects) / (standard deviation of healthy subjects)

Zスコアとは、標準偏差の数が母平均より上または下である度合いであり、上記式に示されるように、被験者のデータ及び複数の健常者のデータに対して統計学的解析を行うことにより、求めることができる。なお、ここでは複数の健常者のデータを用いる例を挙げたが、複数の健常者のデータの平均値と標準偏差が求められている場合には、複数の健常者のデータは不要である。核医学画像が脳血流画像の場合には、「3D−SSP」というソフトウェアを用いて上記に説明した前処理部11による処理を行ってもよい。 The Z score is the degree to which the number of standard deviations is above or below the population mean, and as shown in the above formula, statistical analysis is performed on the data of the subject and the data of a plurality of healthy subjects. Can be obtained from. Although the example of using the data of a plurality of healthy subjects is given here, the data of the plurality of healthy subjects is unnecessary when the average value and the standard deviation of the data of the plurality of healthy subjects are obtained. When the nuclear medicine image is a cerebral blood flow image, processing by the preprocessing unit 11 described above may be performed using software called "3D-SSP".

推論部16は、学習済みモデル記憶部18に記憶された学習済みモデルに、診断対象者の脳表画像およびZスコア画像を適用することにより、診断対象者の疾患を推論する機能を有する。 The reasoning unit 16 has a function of inferring the disease of the diagnosed subject by applying the brain surface image and the Z score image of the diagnosed subject to the learned model stored in the learned model storage unit 18.

図2は、学習済みモデル記憶部18に記憶された学習済みモデルの例を示す図である。学習済みモデルは、ニューラルネットワークの一種であるディープラーニングのモデルである。Convolution層とPooling層の複数のセットと、その後段にある全結合層と、Softmax層とを有している。Convolution層とPooling層の複数のセットは、診断対象者の正規化された画像が入力されると、畳み込みとプーリングを繰り返して入力された画像の特徴量を抽出する。全結合層は、抽出された特徴量を一つのノードに結合する。softmax層は、全結合層からの出力に基づいて各疾患の確率を出力する。 FIG. 2 is a diagram showing an example of a trained model stored in the trained model storage unit 18. The trained model is a model of deep learning, which is a kind of neural network. It has a plurality of sets of a Convolution layer and a Pooling layer, a fully connected layer in the subsequent stage, and a Softmax layer. A plurality of sets of the Convolution layer and the Pooling layer extract the features of the input image by repeating convolution and pooling when the normalized image of the person to be diagnosed is input. The fully connected layer combines the extracted features into one node. The softmax layer outputs the probability of each disease based on the output from the fully connected layer.

この学習済みモデルは、事前に、多数の被験者のデータを用いて重み係数の学習が行われている。具体的には、Convolution層で用いるフィルタのパラメータや全結合層のノードの重みのパラメータの学習が行われている。学習済みモデルの生成については後述する。 In this trained model, the weighting coefficient is trained in advance using the data of a large number of subjects. Specifically, the parameters of the filter used in the Convolution layer and the parameters of the node weights of the fully connected layer are learned. The generation of the trained model will be described later.

本実施の形態の学習済みモデルは、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。本実施の形態の学習済みモデルは、CPU及びメモリを備えるコンピュータにて用いられる。具体的には、コンピュータのCPUが、メモリに記憶された学習済みモデルからの指令に従って、ニューラルネットワークの入力層(最初のConvolution層)に入力された入力データ(脳表画像およびZスコア画像)に対し、畳み込みおよびプーリングを行って画像の特徴量を求め、求めた特徴量に対して学習済みの重み付け係数に基づく演算を行い、出力層(Softmax層)から結果(各疾患を有する確率値)を出力するよう動作する。 The trained model of this embodiment is expected to be used as a program module that is a part of artificial intelligence software. The trained model of this embodiment is used in a computer including a CPU and a memory. Specifically, the CPU of the computer inputs the input data (brain surface image and Z-score image) input to the input layer (first Convolution layer) of the neural network according to the command from the trained model stored in the memory. On the other hand, the feature amount of the image is obtained by convolution and pooling, the calculated feature amount is calculated based on the learned weighting coefficient, and the result (probability value of having each disease) is obtained from the output layer (Softmax layer). Works to output.

出力部17は、推論部16にて推論された疾患のデータを出力する。出力部17は、例えば、モニタに、推論された疾患名と共に、診断対象者の脳画像を表示してもよい。 The output unit 17 outputs the disease data inferred by the inference unit 16. The output unit 17 may display, for example, a brain image of the person to be diagnosed on the monitor together with the inferred disease name.

図3は、診断支援装置1の動作を示すフローチャートである。診断支援装置1に、診断対象者の脳の核医学画像が入力されると(S10)、診断支援装置1は、入力された診断対象者の脳画像の解剖学的標準化を行う(S11)。続いて、診断支援装置1は、解剖学的標準化された画像を用いて脳表画像を生成し(S12)、生成された脳表画像の信号強度の正規化を行う(S13)。次に、診断支援装置1は、健常者のデータを用いてZスコア画像を生成する(S14)。その後、診断支援装置1は、脳表画像およびZスコア画像を学習済みモデルに適用し、疾患の推論を行い(S15)、推論された結果を出力する(S16)。 FIG. 3 is a flowchart showing the operation of the diagnosis support device 1. When a nuclear medicine image of the brain of the diagnosis target is input to the diagnosis support device 1 (S10), the diagnosis support device 1 performs anatomical standardization of the input brain image of the diagnosis target (S11). Subsequently, the diagnostic support device 1 generates a brain surface image using the anatomically standardized image (S12), and normalizes the signal intensity of the generated brain surface image (S13). Next, the diagnostic support device 1 generates a Z-score image using the data of a healthy person (S14). After that, the diagnostic support device 1 applies the brain surface image and the Z-score image to the trained model, infers the disease (S15), and outputs the inferred result (S16).

次に、学習済みモデル記憶部18に記憶された学習済みモデルの生成について説明する。図4は、学習済みモデルを生成する学習装置2の構成を示す図である。学習装置2は、入力部20と、前処理部21と、学習部26と、モデル記憶部27を有している。 Next, the generation of the trained model stored in the trained model storage unit 18 will be described. FIG. 4 is a diagram showing a configuration of a learning device 2 that generates a trained model. The learning device 2 has an input unit 20, a preprocessing unit 21, a learning unit 26, and a model storage unit 27.

入力部20は、学習の教師データとして、多数の被験者の脳の核医学画像の入力を受け付ける機能を有する。被験者には、認知症の疾患を有する者の他、健常者も含まれる。入力する教師データは、学習済みモデルを用いて分類したい疾患を持つ被験者のデータであり、例えば、アルツハイマー型認知症、レビー小体型認知症、前頭側頭型認知症である。入力部20は、こうした被験者の脳画像のデータと共に、被験者の疾患を特定するデータの入力を受け付ける。 The input unit 20 has a function of accepting input of nuclear medicine images of the brains of a large number of subjects as learning teacher data. The subjects include those with dementia diseases as well as healthy subjects. The teacher data to be input is data of a subject having a disease to be classified using a trained model, and is, for example, Alzheimer's dementia, Lewy body dementia, and frontotemporal dementia. The input unit 20 receives input of data for identifying the disease of the subject together with the data of the brain image of the subject.

前処理部21は、入力された被験者の脳の核医学画像の前処理を行う。前処理部21の構成および処理内容は、診断支援装置1の前処理部11と同じである。 The preprocessing unit 21 preprocesses the input nuclear medicine image of the subject's brain. The configuration and processing contents of the preprocessing unit 21 are the same as those of the preprocessing unit 11 of the diagnosis support device 1.

学習部26は、教師データを用いて、モデル記憶部27に記憶されたモデルの学習を行う機能を有する。モデル記憶部27には、図2に示したモデルが記憶されている。モデル記憶部27に記憶されたモデルに対して学習が行われたものが学習済みモデルである。すなわち、学習を行う前のモデルと行った後のモデルは、パラメータの重み付けが異なるが、基本的な構成は同じである。 The learning unit 26 has a function of learning the model stored in the model storage unit 27 by using the teacher data. The model shown in FIG. 2 is stored in the model storage unit 27. The trained model is the one in which the model stored in the model storage unit 27 is trained. That is, the model before the training and the model after the training differ in the weighting of the parameters, but the basic configuration is the same.

学習部26は、教師データの被験者の脳画像データから生成した脳表画像およびZスコア画像を学習対象のモデルの入力層に適用し、その被験者の疾患をSoftmax層に適用する。Softmax層は、アルツハイマー型認知症、レビー小体型認知症、前頭側頭型認知症、健常者のノードを有する。診断対象者の疾患の推論を行う際には、各疾患または健常者のノードには、その確率値が出力されるが、学習を行う際には、教師データである被験者の疾患に対応するノードに「1」を適用し、それ以外のノードに「0」を適用する。学習部26は、逆誤差伝播法を用いて、モデルのパラメータ値の学習を行い、学習されたモデルをモデル記憶部27に記憶する。 The learning unit 26 applies the brain surface image and the Z-score image generated from the subject's brain image data of the teacher data to the input layer of the model to be learned, and applies the subject's disease to the Softmax layer. The Softmax layer has nodes for Alzheimer's disease, Lewy body dementias, frontotemporal dementia, and healthy subjects. When inferring the disease of the person to be diagnosed, the probability value is output to each disease or the node of the healthy person, but when learning, the node corresponding to the disease of the subject, which is the teacher data. "1" is applied to, and "0" is applied to other nodes. The learning unit 26 learns the parameter values of the model by using the inverse error propagation method, and stores the learned model in the model storage unit 27.

図5は、学習装置2の動作を示すフローチャートである。学習装置2は、多数の被験者の脳の核医学画像と当該被験者の疾患のデータを教師データとして入力する(S20)。次に、学習装置2は、学習に用いる被験者の脳画像の解剖学的標準化を行い(S21)、解剖学的標準化された脳の画像から脳表画像を生成する(S22)。続いて、脳表画像の信号強度の正規化を行い(S23)、正規化された脳表画像と複数の健常者の脳表画像とに基づいて、Zスコア画像を生成する(S24)。 FIG. 5 is a flowchart showing the operation of the learning device 2. The learning device 2 inputs nuclear medicine images of the brains of a large number of subjects and data on the diseases of the subjects as teacher data (S20). Next, the learning device 2 performs anatomical standardization of the brain image of the subject used for learning (S21), and generates a brain surface image from the anatomically standardized brain image (S22). Subsequently, the signal intensity of the brain surface image is normalized (S23), and a Z-score image is generated based on the normalized brain surface image and the brain surface images of a plurality of healthy subjects (S24).

学習装置2は、複数の被験者の脳表画像とZスコア画像を学習対象のモデルの入力層に適用すると共に、その被験者の疾患のデータをモデルの出力層に適用して、逆誤差伝播法を行うことによってモデルの学習を行う(S25)。学習装置2は、他にも教師データがあるか否かを判定し(S26)、他にも教師データがある場合には(S26でYES)、他の教師データを用いてモデルの学習を行う。具体的には、被験者の脳の解剖学的標準化のステップS21に戻って処理を行う。入力された全ての教師データの処理が完了し、他に教師データがない場合には(S26でNO)、学習装置2は、モデルの学習の処理を終了する。 The learning device 2 applies the brain surface images and Z-score images of a plurality of subjects to the input layer of the model to be trained, and applies the disease data of the subjects to the output layer of the model to perform an inverse error propagation method. By doing so, the model is trained (S25). The learning device 2 determines whether or not there is other teacher data (S26), and if there is other teacher data (YES in S26), trains the model using the other teacher data. .. Specifically, the process returns to step S21 of the anatomical standardization of the subject's brain. When the processing of all the input teacher data is completed and there is no other teacher data (NO in S26), the learning device 2 ends the processing of learning the model.

以上、本実施の形態の診断支援装置1、学習装置2の構成について説明したが、上記した診断支援装置1および学習装置2のハードウェアの例は、CPU、RAM、ROM、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをRAMまたはROMに格納しておき、CPUによって当該プログラムを実行することによって、上記した診断支援装置1および学習装置2が実現される。このようなプログラムも本発明の範囲に含まれる。 The configurations of the diagnostic support device 1 and the learning device 2 of the present embodiment have been described above. However, the hardware examples of the diagnostic support device 1 and the learning device 2 described above include a CPU, RAM, ROM, hard disk, display, and keyboard. , Mouse, communication interface, etc. The above-mentioned diagnosis support device 1 and learning device 2 are realized by storing a program having a module that realizes each of the above-mentioned functions in a RAM or ROM and executing the program by a CPU. Such programs are also included in the scope of the present invention.

本実施の形態の診断支援装置1は、核医学画像から疾患を推論するための学習済みモデルを有している。この学習済みモデルを使って、診断対象者の核医学画像から被験者の疾患を推論することにより、疾患の鑑別を支援することができる。また、学習済みモデルの生成に際しては、被験者の核医学画像から生成した信号強度を正規化した脳表画像を用いてモデルの学習を行うので、少ない教師データによって適切なモデルを生成することができる。 The diagnostic support device 1 of the present embodiment has a trained model for inferring a disease from a nuclear medicine image. Using this trained model, it is possible to support the discrimination of diseases by inferring the disease of the subject from the nuclear medicine image of the diagnosed subject. Further, when generating the trained model, the model is trained using the brain surface image obtained by normalizing the signal strength generated from the nuclear medicine image of the subject, so that an appropriate model can be generated with a small amount of teacher data. ..

図6は、第1の実施の形態の変形例に係る学習装置2の動作を示すフローチャートである。変形例に係る動作は、基本的には図5を用いて説明した動作と同じであるが、信号強度の正規化の処理(S23a)が異なる。 FIG. 6 is a flowchart showing the operation of the learning device 2 according to the modified example of the first embodiment. The operation according to the modified example is basically the same as the operation described with reference to FIG. 5, but the signal strength normalization process (S23a) is different.

信号強度を正規化する際に、被験者の脳表画像を被験者の全脳、視床、小脳、橋、感覚運動野のそれぞれの平均画素値で割ることによって正規化の処理を行う。これにより、一の被験者の脳画像から5つの正規化画像が得られる。これらの5つの正規化画像を学習に用いることができるので、教師データが増えることになる。これにより、学習に用いる被験者のデータが少ない場合にも、教師データを増やして適切なモデルを生成することができる。 When normalizing the signal strength, the normalization process is performed by dividing the brain surface image of the subject by the average pixel value of each of the subject's whole brain, thalamus, cerebellum, pons, and sensorimotor cortex. As a result, five normalized images can be obtained from the brain image of one subject. Since these five normalized images can be used for learning, teacher data will increase. As a result, even when the data of the subjects used for learning is small, the teacher data can be increased to generate an appropriate model.

(第2の実施の形態)
図7は、第2の実施の形態の診断支援装置3の構成を示す図である。第2の診断支援装置3の基本的な構成は、第1の実施の形態と同じであるが、第2の診断支援装置3は、診断対象者の脳の核医学画像と共に、被験者のMMSE結果のデータの入力を受け付け、MMSE結果をも用いて疾患の鑑別を行う点が異なる。なお、MMSEは、ミニメンタルステート検査と呼ばれる認知症診断の検査であり、複数の質問項目に対する回答によって認知症の診断を行うものである。
(Second Embodiment)
FIG. 7 is a diagram showing the configuration of the diagnostic support device 3 of the second embodiment. The basic configuration of the second diagnostic support device 3 is the same as that of the first embodiment, but the second diagnostic support device 3 includes the nuclear medicine image of the brain of the subject to be diagnosed and the MMSE result of the subject. The difference is that the input of the above data is accepted and the disease is differentiated using the MMSE result as well. The MMSE is a test for diagnosing dementia called the Mini-Mental State Examination, and diagnoses dementia by answering a plurality of question items.

図8は、第2の実施の形態の診断支援装置3で用いられる学習済みモデルを示す図である。第2の実施の形態の学習済みモデルは、第1の実施の形態の学習済みモデルに加えて全結合層にMMSE結果が入力される構成を有している。 FIG. 8 is a diagram showing a trained model used in the diagnostic support device 3 of the second embodiment. The trained model of the second embodiment has a configuration in which the MMSE result is input to the fully connected layer in addition to the trained model of the first embodiment.

図9は、診断支援装置3の動作を示すフローチャートである。診断支援装置3に、診断対象者の脳の核医学画像とMMSE結果が入力されると(S30)、診断支援装置3は、入力された診断対象者の脳画像の解剖学的標準化を行う(S31)。続いて、診断支援装置3は、解剖学的標準化された画像を用いて脳表画像を生成し(S32)、生成された脳表画像の信号強度の正規化を行う(S33)。次に、診断支援装置3は、健常者のデータを用いてZスコア画像を生成する(S34)。その後、診断支援装置3は、脳表画像およびZスコア画像とMMSE結果とを学習済みモデルに適用し、疾患の推論を行い(S35)、推論された結果を出力する(S36)。 FIG. 9 is a flowchart showing the operation of the diagnosis support device 3. When the nuclear medicine image of the diagnosis target person's brain and the MMSE result are input to the diagnosis support device 3 (S30), the diagnosis support device 3 performs anatomical standardization of the input diagnosis target person's brain image (S30). S31). Subsequently, the diagnostic support device 3 generates a brain surface image using the anatomically standardized image (S32), and normalizes the signal intensity of the generated brain surface image (S33). Next, the diagnostic support device 3 generates a Z-score image using the data of a healthy person (S34). After that, the diagnostic support device 3 applies the brain surface image, the Z score image, and the MMSE result to the trained model, infers the disease (S35), and outputs the inferred result (S36).

次に、学習済みモデル記憶部27に記憶された学習済みモデルの生成について説明する。図10は、学習済みモデルを生成する学習装置4の構成を示す図である。第2の実施の形態の学習装置4の基本的な構成は、第1の実施の形態と同じであり、入力部10と、前処理部21と、学習部26と、モデル記憶部27を有している。第2の実施の形態の学習装置4によって学習するモデルは、図8に示すモデルである点が異なる。 Next, the generation of the trained model stored in the trained model storage unit 27 will be described. FIG. 10 is a diagram showing a configuration of a learning device 4 that generates a trained model. The basic configuration of the learning device 4 of the second embodiment is the same as that of the first embodiment, and includes an input unit 10, a preprocessing unit 21, a learning unit 26, and a model storage unit 27. are doing. The model to be learned by the learning device 4 of the second embodiment is different in that it is the model shown in FIG.

入力部20は、学習の教師データとして、多数の被験者の脳の核医学画像、MMSE結果のデータの入力を受け付ける機能を有する。入力部20は、こうした被験者の脳画像およびMMSE結果のデータと共に、被験者の疾患を特定するデータの入力を受け付ける。 The input unit 20 has a function of accepting input of nuclear medicine images of the brains of a large number of subjects and data of MMSE results as learning teacher data. The input unit 20 receives input of data for identifying the disease of the subject together with the data of the brain image of the subject and the MMSE result.

前処理部21は、入力された被験者の脳の核医学画像の前処理を行う。前処理部21の構成および処理内容は、診断支援装置3の前処理部21の処理と同じである。 The preprocessing unit 21 preprocesses the input nuclear medicine image of the subject's brain. The configuration and processing contents of the preprocessing unit 21 are the same as the processing of the preprocessing unit 21 of the diagnosis support device 3.

学習部26は、教師データを用いて、モデル記憶部27に記憶されたモデルの学習を行う機能を有する。モデル記憶部27には、図8に示したモデルが記憶されている。学習部26は、教師データの被験者の脳画像データから生成した脳表画像およびZスコア画像とMMSE結果とを学習対象のモデルの入力層に適用し、その被験者の疾患をSoftmax層に適用する。学習部26は、逆誤差伝播法を用いて、モデルのパラメータ値の学習を行い、学習されたモデルをモデル記憶部27に記憶する。 The learning unit 26 has a function of learning the model stored in the model storage unit 27 by using the teacher data. The model shown in FIG. 8 is stored in the model storage unit 27. The learning unit 26 applies the brain surface image and Z score image generated from the subject's brain image data of the teacher data and the MMSE result to the input layer of the model to be learned, and applies the subject's disease to the Softmax layer. The learning unit 26 learns the parameter values of the model by using the inverse error propagation method, and stores the learned model in the model storage unit 27.

第2の実施の形態の診断支援装置3は、診断対象者の核医学画像に加えて、MMSE結果を用いて、疾患の推論を行うので、疾患鑑別の精度を高めることができる。なお、本実施の形態では、被験者および診断対象者の臨床情報としてMMSEを用いる例を挙げたが、MMSE以外の臨床情報を用いることとしてもよい。 Since the diagnosis support device 3 of the second embodiment uses the MMSE result in addition to the nuclear medicine image of the person to be diagnosed to infer the disease, the accuracy of disease discrimination can be improved. In the present embodiment, an example in which the MMSE is used as clinical information of the subject and the subject to be diagnosed has been given, but clinical information other than the MMSE may be used.

(変形例)
上記した実施の形態では、被験者および診断対象者の脳画像として、脳表画像とZスコア画像の両方を用いる例を挙げたが、脳表画像とZスコア画像のいずれかを用いることとしてもよい。また、脳表画像に代えて、脳の断層画像を用いることとしてもよい。すなわち、解剖学的標準化された脳の核医学画像から断層画像を生成し、断層画像の信号強度を正規化して生成した断層画像を用いることにより、上記した実施の形態と同じく、少ない教師データによって適切なモデルを生成することができる。また、上記した実施の形態では、統計学的解析を行った画像の例としてZスコア画像を挙げたが、Zスコア画像以外の統計学的解析処理を施した画像を教師データとして用いることも可能である。
(Modification example)
In the above-described embodiment, both the brain surface image and the Z-score image are used as the brain images of the subject and the diagnosis target, but either the brain surface image or the Z-score image may be used. .. Further, a tomographic image of the brain may be used instead of the brain surface image. That is, by generating a tomographic image from an anatomically standardized nuclear medicine image of the brain and using the tomographic image generated by normalizing the signal intensity of the tomographic image, as in the above embodiment, with a small amount of teacher data. Appropriate models can be generated. Further, in the above-described embodiment, the Z-score image is given as an example of the image subjected to the statistical analysis, but an image subjected to the statistical analysis processing other than the Z-score image can also be used as the teacher data. Is.

上記した実施の形態では、アルツハイマー型認知症、レビー小体型認知症、前頭側頭型認知症の鑑別を行う例を挙げたが、本発明は、これら以外の認知症、例えば、脳腫瘍、慢性硬膜下血種、正常圧水頭症、頭部外傷後遺症等の鑑別にも用いることができる。 In the above-described embodiment, an example of differentiating Alzheimer's dementia, Levy body dementia, and frontotemporal dementia has been given, but the present invention has described other dementias such as brain tumor and chronic hard dementia. It can also be used to distinguish subdural blood species, normal pressure hydrocephalus, and aftereffects of head trauma.

上記した実施の形態では、核医学画像を例として説明したが、本発明の診断支援装置は、MRI画像、fMRI画像等にも適用することが可能である。例えば、MRI画像を用いて早期アルツハイマー型認知症(AD)に特徴的に見られる内側側頭部の萎縮の形態情報の解析に用いる場合には、MRI画像から抽出した灰白質の画像を解剖学的標準化および正規化した画像を用いることにより、上記した実施の形態と同じく、学習に用いる被験者のデータが少ない場合にも教師データを増やして適切なモデルを生成することができる。また、MRI画像を用いる場合にも、統計学的解析によって得られた画像を用いてもよい。一例としては、解剖学的標準化および正規化した被験者のMRI画像を複数の健常者のMRI画像と比較して、Zスコア画像を生成し、Zスコア画像を用いてモデルの学習を行ってもよい。 In the above-described embodiment, the nuclear medicine image has been described as an example, but the diagnostic support device of the present invention can also be applied to an MRI image, an fMRI image, and the like. For example, when MRI images are used to analyze morphological information of medial temporal atrophy characteristic of early Alzheimer's dementia (AD), anatomy of grayish images extracted from MRI images. By using the standardized and normalized images, it is possible to increase the teacher data and generate an appropriate model even when the data of the subject used for learning is small, as in the above-described embodiment. Further, when using an MRI image, an image obtained by statistical analysis may be used. As an example, the MRI image of the anatomically standardized and normalized subject may be compared with the MRI image of a plurality of healthy subjects to generate a Z-score image, and the model may be trained using the Z-score image. ..

上記した実施の形態では、ディープラーニングのモデルを用いる例を挙げたが、ニューラルネットワークのモデルを用いてもよいし、他の学習モデルを用いてもよい。 In the above-described embodiment, an example of using a deep learning model has been given, but a neural network model may be used, or another learning model may be used.

この出願は、2018年3月9日に出願された日本出願特願2018−043242号を基礎とする優先権を主張し、その開示の総てをここに取り込む。 This application claims priority on the basis of Japanese application Japanese Patent Application No. 2018-043242 filed on March 9, 2018, and incorporates all of its disclosures herein.

Claims (10)

多数の被験者の脳画像に関するデータと当該被験者の疾患のデータとを教師データとして、ニューラルネットワークの重み付け係数が学習されて構成された学習済みモデルを記憶した記憶部と、
診断対象者の脳画像を入力する入力部と、
前記入力部にて入力された脳画像を解剖学的標準化および正規化する標準化部と、
解剖学的標準化され、かつ、正規化された脳画像に関するデータを前記学習済みモデルに適用して、前記診断対象者の疾患を推論する推論部と、
前記推論部にて推論された疾患のデータを出力する出力部と、
を備える診断支援装置。
A storage unit that stores a trained model constructed by learning the weighting coefficient of the neural network using the data related to the brain images of a large number of subjects and the data of the disease of the subject as teacher data.
An input unit for inputting the brain image of the person to be diagnosed,
A standardization unit that anatomically standardizes and normalizes the brain image input by the input unit,
An inference unit that infers the disease of the diagnosed subject by applying data on the anatomically standardized and normalized brain image to the trained model.
An output unit that outputs the disease data inferred by the inference unit, and an output unit.
Diagnostic support device equipped with.
前記脳画像が、核医学画像またはMRI画像である、請求項1に記載の診断支援装置。 The diagnostic support device according to claim 1, wherein the brain image is a nuclear medicine image or an MRI image. 前記脳画像は、核医学画像であり、
前記標準化部は、
前記入力部にて入力された核医学画像を解剖学的標準化する解剖学的標準化部と、
前記解剖学的標準化された画像から脳表画像を生成する脳表画像生成部と、
前記脳表画像の信号強度を正規化する正規化部と、
を有し、
前記推論部は、前記正規化された脳表画像を前記学習済みモデルに適用して、前記診断対象者の疾患を推論する、請求項1または2に記載の診断支援装置。
The brain image is a nuclear medicine image and is
The standardization unit
An anatomical standardization unit that anatomically standardizes the nuclear medicine image input in the input unit,
A brain surface image generator that generates a brain surface image from the anatomically standardized image,
A normalization unit that normalizes the signal strength of the brain surface image,
Have,
The diagnostic support device according to claim 1 or 2, wherein the reasoning unit applies the normalized brain surface image to the trained model to infer the disease of the person to be diagnosed.
前記正規化された脳表画像と複数の健常者の脳表画像とに基づいて、診断対象者のZスコア画像を生成するZスコア画像生成部を備え、
前記推論部は、前記脳表画像に代えて、または前記脳表画像に加えて、前記Zスコア画像を前記学習済みモデルに適用して、前記診断対象者の疾患を推論する請求項3に記載の診断支援装置。
A Z-score image generation unit that generates a Z-score image of a diagnosis target based on the normalized brain surface image and the brain surface images of a plurality of healthy subjects is provided.
The inference unit according to claim 3, wherein the inference unit infers the disease of the diagnosis target person by applying the Z score image to the trained model in place of the brain surface image or in addition to the brain surface image. Diagnosis support device.
前記脳画像は、核医学画像であり、
前記標準化部は、
前記入力部にて入力された核医学画像を解剖学的標準化する解剖学的標準化部と、
前記解剖学的標準化された画像から断層画像を生成する断層画像生成部と、
前記断層画像の信号強度を正規化する正規化部と、
を有し、
前記推論部は、前記正規化された断層画像を前記学習済みモデルに適用して、前記診断対象者の疾患を推論する、請求項1または2に記載の診断支援装置。
The brain image is a nuclear medicine image and is
The standardization unit
An anatomical standardization unit that anatomically standardizes the nuclear medicine image input in the input unit,
A tomographic image generator that generates a tomographic image from the anatomically standardized image,
A normalization unit that normalizes the signal strength of the tomographic image,
Have,
The diagnostic support device according to claim 1 or 2, wherein the inference unit applies the normalized tomographic image to the trained model to infer the disease of the diagnosis target person.
前記記憶部に記憶された学習済みモデルは、多数の被験者の脳画像に関するデータと当該被験者の疾患のデータに加えて、当該被験者の臨床情報を教師データとして、ニューラルネットワークの重み付け係数が学習されて構成された学習済みモデルであり、
前記入力部は、診断対象者の脳の核医学画像に加えて、前記診断対象者の臨床情報を入力し、
前記推論部は、入力された前記臨床情報をも前記学習済みモデルに適用して、前記診断対象者の疾患を推論する、請求項3乃至5いずれか一項に記載の診断支援装置。
In the trained model stored in the storage unit, in addition to the data on the brain images of a large number of subjects and the data on the disease of the subject, the weighting coefficient of the neural network is learned by using the clinical information of the subject as the teacher data. It is a constructed trained model and
The input unit inputs clinical information of the diagnosis target in addition to the nuclear medicine image of the diagnosis target's brain.
The diagnostic support device according to any one of claims 3 to 5, wherein the inference unit infers the disease of the diagnosis target person by applying the input clinical information to the learned model.
前記脳画像は、MRI画像であり、
前記標準化部は、
前記入力部にて入力されたMRI画像から灰白質を抽出して灰白質の脳画像を生成する組織分割処理部と、
前記灰白質の脳画像を解剖学的標準化する解剖学的標準化部と、
前記灰白質の脳画像の信号強度を正規化する正規化部と、
を有し、
前記推論部は、前記正規化された灰白質の脳画像を前記学習済みモデルに適用して、前記診断対象者の疾患を推論する、請求項1または2に記載の診断支援装置。
The brain image is an MRI image and is
The standardization unit
A tissue division processing unit that extracts gray matter from the MRI image input by the input unit and generates a gray matter brain image, and a tissue division processing unit.
An anatomical standardization unit that anatomically standardizes the gray matter brain image,
A normalization unit that normalizes the signal intensity of the gray matter brain image,
Have,
The diagnostic support device according to claim 1 or 2, wherein the reasoning unit applies the normalized gray matter brain image to the trained model to infer the disease of the person to be diagnosed.
診断対象者の脳画像に関するデータに基づいて、診断対象者の疾患を鑑別する支援をするためのプログラムであって、コンピュータに、
多数の被験者の脳画像に関するデータと当該被験者の疾患のデータとを教師データとして、ニューラルネットワークの重み付け係数が学習されて構成された学習済みモデルを記憶させておき、
診断対象者の脳画像を入力するステップと、
入力された脳画像を解剖学的標準化および正規化するステップと、
解剖学的標準化され、かつ、正規化された脳画像に関するデータを前記学習済みモデルに適用して、前記診断対象者の疾患を推論するステップと、
推論された疾患のデータを出力するステップと、
を実行させるプログラム。
It is a program to support the discrimination of the disease of the diagnosed subject based on the data related to the brain image of the diagnosed subject, and it is a computer.
Using the data related to the brain images of a large number of subjects and the data of the disease of the subject as teacher data, a trained model constructed by learning the weighting coefficient of the neural network is stored.
Steps to input the brain image of the person to be diagnosed,
Steps to anatomically standardize and normalize the input brain image,
The steps of applying data on anatomically standardized and normalized brain images to the trained model to infer the disease of the diagnosed subject,
Steps to output inferred disease data,
A program that executes.
診断対象者の脳画像に関するデータに基づいて、診断対象者が罹患している疾患の鑑別を支援するよう、コンピュータを機能させるための学習済みモデルであって、
多数の被験者の脳画像に対して解剖学的標準化および信号強度の正規化が行われた脳画像に関するデータと当該被験者の疾患のデータを教師データとして、ニューラルネットワークの重み付け係数が学習されて構成されたものであり、
ニューラルネットワークの入力層に入力された診断対象者の脳画像に関するデータに対し、学習済みの重み付け係数に基づく演算を行い、診断対象者が罹患している疾患のデータを出力するよう、コンピュータを機能させるための学習済みモデル。
A trained model that allows a computer to function to assist in differentiating the disease that the diagnosed person is suffering from, based on data on the brain image of the diagnosed person.
The weighting coefficient of the neural network is learned and constructed using the data related to the brain image obtained by anatomically standardizing and the signal strength normalization for the brain images of a large number of subjects and the data of the disease of the subject as teacher data. And
The computer functions to output the data of the disease that the diagnosed subject is suffering from by performing the calculation based on the learned weighting coefficient on the data related to the brain image of the diagnosed subject input to the input layer of the neural network. Trained model to let.
多数の被験者の脳画像に関するデータと当該被験者の疾患のデータを教師データとして入力する入力部と、
前記入力部にて入力された脳画像の解剖学的標準化および正規化を行う標準化部と、
解剖学的標準化され、かつ、正規化された多数の脳画像に関するデータを順次ニューラルネットワークの入力層に入力すると共に、入力した脳画像に対応する前記被験者の疾患のデータをニューラルネットワークの出力層に入力し、逆誤差伝播法によってニューラルネットワークの重み付け係数を更新する処理を繰り返し行う学習部と、
前記学習部によって学習されたニューラルネットワークを記憶する記憶部と、
を備える学習装置。
An input unit for inputting data on brain images of a large number of subjects and data on the diseases of the subjects as teacher data,
A standardization unit that performs anatomical standardization and normalization of the brain image input by the input unit,
Data on a large number of anatomically standardized and normalized brain images are sequentially input to the input layer of the neural network, and the disease data of the subject corresponding to the input brain images is input to the output layer of the neural network. A learning unit that repeatedly inputs and updates the weighting coefficient of the neural network by the inverse error propagation method,
A storage unit that stores the neural network learned by the learning unit, and a storage unit.
A learning device equipped with.
JP2020505016A 2018-03-09 2019-03-04 Diagnostic support devices, programs, trained models, and learning devices Active JP7382306B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018043242 2018-03-09
JP2018043242 2018-03-09
PCT/JP2019/008378 WO2019172181A1 (en) 2018-03-09 2019-03-04 Diagnosis support device, program, learned model, and learning device

Publications (2)

Publication Number Publication Date
JPWO2019172181A1 true JPWO2019172181A1 (en) 2021-03-25
JP7382306B2 JP7382306B2 (en) 2023-11-16

Family

ID=67846264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020505016A Active JP7382306B2 (en) 2018-03-09 2019-03-04 Diagnostic support devices, programs, trained models, and learning devices

Country Status (3)

Country Link
JP (1) JP7382306B2 (en)
TW (1) TW201941220A (en)
WO (1) WO2019172181A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230281889A1 (en) * 2020-06-26 2023-09-07 Shimadzu Corporation Attenuation coefficient image generation method, nuclear medicine diagnostic apparatus, and trained model generation method
CN112185548B (en) * 2020-09-25 2022-10-28 智慧中医科技(广东)有限公司 Intelligent traditional Chinese medicine diagnosis method and device based on neural network algorithm
CN116209396A (en) * 2020-09-28 2023-06-02 富士胶片株式会社 Image processing device, method for operating image processing device, and program for operating image processing device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005230456A (en) * 2004-02-23 2005-09-02 Kokuritsu Seishin Shinkei Center Method and apparatus for supporting diagnosis of cerebropathy
WO2008056638A1 (en) * 2006-11-06 2008-05-15 Fujifilm Ri Pharma Co., Ltd. Brain image diagnosis supporting method, program, and recording method
JP2010012176A (en) * 2008-07-07 2010-01-21 Hamamatsu Photonics Kk Brain disease diagnosis system
WO2019044078A1 (en) * 2017-08-28 2019-03-07 富士フイルム株式会社 Brain image normalization device, method, and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5113378B2 (en) * 2006-12-20 2013-01-09 富士フイルムRiファーマ株式会社 Time-series data analysis method, program and recording medium for brain image data
JP6013042B2 (en) * 2012-06-27 2016-10-25 富士フイルムRiファーマ株式会社 Image processing program, recording medium, image processing apparatus, and image processing method
WO2015122524A1 (en) * 2014-02-14 2015-08-20 広二 柳本 Prevention or treatment agent for cerebral amyloid beta storage diseases
JP2018038515A (en) * 2016-09-06 2018-03-15 国立大学法人島根大学 Diagnosis support device, diagnosis support program, and diagnosis support method for alzheimer's disease

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005230456A (en) * 2004-02-23 2005-09-02 Kokuritsu Seishin Shinkei Center Method and apparatus for supporting diagnosis of cerebropathy
WO2008056638A1 (en) * 2006-11-06 2008-05-15 Fujifilm Ri Pharma Co., Ltd. Brain image diagnosis supporting method, program, and recording method
JP2010012176A (en) * 2008-07-07 2010-01-21 Hamamatsu Photonics Kk Brain disease diagnosis system
WO2019044078A1 (en) * 2017-08-28 2019-03-07 富士フイルム株式会社 Brain image normalization device, method, and program

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
「認知症疾患診療ガイドライン」作成委員会, [ONLINE],認知症疾患診療ガイドライン2017, vol. 第1版第3刷, JPN6019017948, 1 December 2017 (2017-12-01), pages 2 - 3, ISSN: 0004937406 *
CHOI, HONGYOON ET AL.: ""Predicting Cognitive Decline with Deep Learning of Brain Metabolism and Amyloid Imaging"", [ONLINE], vol. arXiv:1704.06033, JPN6019017947, 20 April 2017 (2017-04-20), ISSN: 0004937404 *
村上 剛: "解剖学的標準化を応用した脳核医学の新しい解析法", 日本放射線技術学会誌, vol. 57巻8号, JPN6019017951, August 2001 (2001-08-01), pages 913 - 919, ISSN: 0004937407 *
石田 学: "認知症をAIで早期発見", [ONLINE], JPN6019017950, 5 March 2018 (2018-03-05), ISSN: 0004937405 *

Also Published As

Publication number Publication date
JP7382306B2 (en) 2023-11-16
WO2019172181A1 (en) 2019-09-12
TW201941220A (en) 2019-10-16

Similar Documents

Publication Publication Date Title
Dey et al. Customized VGG19 architecture for pneumonia detection in chest X-rays
US11069056B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
Lei et al. Self-calibrated brain network estimation and joint non-convex multi-task learning for identification of early Alzheimer's disease
Tagaris et al. Machine learning for neurodegenerative disorder diagnosis—survey of practices and launch of benchmark dataset
US20200170524A1 (en) Apparatus and method for utilizing a brain feature activity map database to characterize content
JP7382306B2 (en) Diagnostic support devices, programs, trained models, and learning devices
JP7317306B2 (en) Method and apparatus for predicting cerebral cortex contraction rate by region based on CT image
JP2020042598A (en) State prediction method and device by individual characteristic separation from biological signal data
Antonakakis et al. Aberrant whole-brain transitions and dynamics of spontaneous network microstates in mild traumatic brain injury
Chagas et al. A new approach for the detection of pneumonia in children using CXR images based on an real-time IoT system
Kumar et al. Cardiovascular disease prognosis and severity analysis using hybrid heuristic methods
Krishnamoorthy et al. Framework to segment and evaluate multiple sclerosis lesion in MRI slices using VGG-UNet
WO2020179950A1 (en) Deep learning-based method and device for prediction of progression of brain disease
US10650521B2 (en) Classification by means of recordings
Yang et al. Exploring sMRI biomarkers for diagnosis of autism spectrum disorders based on multi class activation mapping models
Sharma et al. Classification of heart disease from MRI images using convolutional neural network
Jain et al. A review of deep learning-based disease detection in Alzheimer's patients
Obeidat et al. An MRI Based Algorithm for Detecting Multiple Sclerosis
Fang et al. Multimodal Identification of Alzheimer's Disease: A Review
Gautam et al. Medical Imaging and Schizophrenia: A Study on State-of-Art Applications
Di Giammarco et al. Explainable Deep Learning Methodologies for Biomedical Images Classification
JP7270975B2 (en) Diagnosis support system, diagnosis support method and program
Saroja et al. A Systematic Study About EEG Signal Data and Computer Aided Models for the Diagnosis of Alzheimer's Disease
Shukla et al. Yoga Practitioners and Non-yoga Practitioners to Deal Neurodegenerative Disease in Neuro Regions
Matlani BiLSTM-ANN: early diagnosis of Alzheimer’s disease using hybrid deep learning algorithms

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231106

R150 Certificate of patent or registration of utility model

Ref document number: 7382306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150