WO2022071159A1 - 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法 - Google Patents

診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法 Download PDF

Info

Publication number
WO2022071159A1
WO2022071159A1 PCT/JP2021/035195 JP2021035195W WO2022071159A1 WO 2022071159 A1 WO2022071159 A1 WO 2022071159A1 JP 2021035195 W JP2021035195 W JP 2021035195W WO 2022071159 A1 WO2022071159 A1 WO 2022071159A1
Authority
WO
WIPO (PCT)
Prior art keywords
derivation
dementia
contribution
output
finding
Prior art date
Application number
PCT/JP2021/035195
Other languages
English (en)
French (fr)
Inventor
元中 李
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP21875461.2A priority Critical patent/EP4223219A4/en
Priority to CN202180067506.2A priority patent/CN116322523A/zh
Priority to JP2022553915A priority patent/JPWO2022071159A1/ja
Publication of WO2022071159A1 publication Critical patent/WO2022071159A1/ja
Priority to US18/191,686 priority patent/US20230260630A1/en

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/096Transfer learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Definitions

  • the technology of the present disclosure relates to a diagnostic support device, an operation method of the diagnostic support device, an operation program of the diagnostic support device, and a dementia diagnosis support method.
  • a doctor In diagnosing a disease, for example, dementia represented by Alzheimer's disease, a doctor refers to a medical image such as a head MRI (Magnetic Response Imaging) image. For example, the doctor observes the degree of atrophy of the hippocampus, parahippocampal gyrus, amygdala, etc., the degree of white matter angiopathy, the presence or absence of decreased blood flow metabolism in the frontal lobe, temporal lobe, and occipital lobe, and makes findings of dementia. obtain.
  • MRI Magnetic Response Imaging
  • Patent No. 6438890 describes a diagnostic support device that derives the findings of dementia on a head MRI image by a machine learning model and provides it to a doctor.
  • the diagnostic support device described in Japanese Patent No. 6438890 extracts a plurality of anatomical areas according to Brodmann's brain map and the like from the head MRI image, and calculates a Z value indicating the degree of atrophy of each anatomical area. .. Then, the calculated Z value of each anatomical area is input to the machine learning model, and the findings of dementia are output from the machine learning model.
  • One embodiment according to the technique of the present disclosure is a diagnostic support capable of obtaining more accurate findings of a disease and knowing to what extent each dissected area of an organ contributes to the output of the findings.
  • the device, the operation method of the diagnosis support device, the operation program of the diagnosis support device, and the dementia diagnosis support method are provided.
  • the diagnostic assist device of the present disclosure comprises a processor and a memory connected to or built into the processor, the processor acquiring a medical image, extracting multiple anatomical areas of an organ from the medical image, and multiple anatomical areas.
  • the image of is input to a plurality of feature quantity derivation models prepared for each dissection area, multiple feature quantities for each dissection area are output from the feature quantity derivation model, and are output for each dissection area.
  • Multiple feature quantities are input to the disease finding derivation model, the disease findings are output from the disease findings derivation model, and the first contribution degree, which indicates the degree of contribution to the output of the findings, is derived for each anatomical area.
  • the derivation result of the first contribution degree for each dissected area is presented.
  • the processor presents the derivation results in descending order of the first contribution.
  • the disease-related information has multiple items, and the processor can derive the second contribution degree indicating the degree of contribution to the output of the findings for each item, and present the derivation result of the second contribution degree for each item. preferable.
  • the feature quantity derivation model preferably includes at least one of an autoencoder, a single-tasking convolutional neural network for class discrimination, and a multitasking convolutional neural network for class discrimination.
  • the processor inputs an image of one anatomical area into a plurality of different feature quantity derivation models and outputs a feature quantity from each of the plurality of feature quantity derivation models.
  • the disease finding derivation model is preferably constructed by any of the following methods: neural network, support vector machine, and boosting.
  • the processor performs a normalization process to match the acquired medical image with the standard medical image prior to the extraction of the dissected area.
  • the organ is the brain and the disease is dementia.
  • the dissecting area preferably comprises at least one of the hippocampus and the frontotemporal lobe.
  • the disease-related information preferably includes at least one of the volume of the dissected area, the score of the dementia test, the test result of the genetic test, the test result of the cerebrospinal fluid test, and the test result of the blood test. ..
  • the method of operating the diagnostic support device of the present disclosure is to acquire a medical image, extract a plurality of anatomical areas of an organ from the medical image, and prepare a plurality of images of a plurality of anatomical areas for each of the plurality of anatomical areas.
  • To output the disease findings from the disease findings derivation model to derive the first contribution degree indicating the degree of contribution to the output of the findings for each dissection area, and to derive the first contribution degree for each dissection area. Includes presenting the derivation results.
  • the operation program of the diagnostic support device of the present disclosure is to acquire a medical image, extract a plurality of anatomical areas of an organ from the medical image, and prepare a plurality of images of a plurality of anatomical areas for each of the plurality of anatomical areas.
  • To output the disease findings from the disease findings derivation model to derive the first contribution degree indicating the degree of contribution to the output of the findings for each dissection area, and to derive the first contribution degree for each dissection area.
  • the dementia diagnosis support method of the present disclosure is that a computer equipped with a processor and a memory connected to or built in the processor acquires a medical image showing the brain, and extracts multiple anatomical areas of the brain from the medical image.
  • a computer equipped with a processor and a memory connected to or built in the processor acquires a medical image showing the brain, and extracts multiple anatomical areas of the brain from the medical image.
  • the first in which multiple feature quantities output for each of multiple anatomical areas are input to the dementia findings derivation model, the dementia findings are output from the dementia findings derivation model, and the degree of contribution to the output of the findings is shown. Derivation of the contribution degree for each dissection area, and presentation of the findings and the derivation result of the first contribution degree for each dissection area.
  • a diagnostic support device and diagnostic support that can obtain more accurate findings of a disease and can know how much each dissecting area of an organ contributes to the output of the findings. It is possible to provide an operation method of the device, an operation program of the diagnosis support device, and a dementia diagnosis support method.
  • the medical system 2 includes an MRI apparatus 10, a PACS (Picture Archiving and Communication System) server 11, and a diagnostic support apparatus 12.
  • MRI apparatus 10 Magnetic Imaging apparatus
  • PACS server 11 Picture Archiving and Communication System
  • diagnostic support apparatus 12 are connected to a LAN (Local Area Network) 13 installed in a medical facility, and can communicate with each other via the LAN 13.
  • LAN Local Area Network
  • the MRI apparatus 10 photographs the head of patient P and outputs a head MRI image 15.
  • the head MRI image 15 is voxel data showing the three-dimensional shape of the head of the patient P.
  • FIG. 1 shows a head MRI image 15S of a sagittal cross section.
  • the MRI apparatus 10 transmits the head MRI image 15 to the PACS server 11.
  • the PACS server 11 stores and manages the head MRI image 15 from the MRI apparatus 10.
  • the head MRI image 15 is an example of a "medical image" according to the technique of the present disclosure.
  • the diagnostic support device 12 is, for example, a desktop personal computer, and includes a display 17 and an input device 18.
  • the input device 18 is a keyboard, a mouse, a touch panel, a microphone, or the like.
  • the doctor operates the input device 18 to send a delivery request for the head MRI image 15 of the patient P to the PACS server 11.
  • the PACS server 11 searches for the head MRI image 15 of the patient P requested to be delivered and delivers it to the diagnosis support device 12.
  • the diagnosis support device 12 displays the head MRI image 15 distributed from the PACS server 11 on the display 17. The doctor observes the brain of the patient P shown in the head MRI image 15 to make a diagnosis of dementia for the patient P.
  • the brain is an example of an "organ” according to the technique of the present disclosure
  • dementia is an example of a "disease” according to the technique of the present disclosure.
  • FIG. 1 only one MRI apparatus 10 and one diagnostic support apparatus 12 are drawn, but there may be a plurality of each of the MRI apparatus 10 and the diagnostic support apparatus 12.
  • the computer constituting the diagnostic support device 12 includes a storage 20, a memory 21, a CPU (Central Processing Unit) 22, and a communication unit 23 in addition to the display 17 and the input device 18 described above. I have. These are interconnected via a bus line 24.
  • the CPU 22 is an example of a "processor" according to the technique of the present disclosure.
  • the storage 20 is a hard disk drive built in the computer constituting the diagnostic support device 12 or connected via a cable or a network.
  • the storage 20 is a disk array in which a plurality of hard disk drives are connected.
  • the storage 20 stores control programs such as an operating system, various application programs, and various data associated with these programs.
  • a solid state drive may be used instead of the hard disk drive.
  • the memory 21 is a work memory for the CPU 22 to execute a process.
  • the CPU 22 loads the program stored in the storage 20 into the memory 21 and executes the process according to the program. As a result, the CPU 22 controls each part of the computer in an integrated manner.
  • the communication unit 23 controls the transmission of various information with an external device such as the PACS server 11.
  • the memory 21 may be built in the CPU 22.
  • the operation program 30 is stored in the storage 20 of the diagnostic support device 12.
  • the operation program 30 is an application program for making the computer function as the diagnostic support device 12. That is, the operation program 30 is an example of the "operation program of the diagnostic support device" according to the technique of the present disclosure.
  • the storage 20 also stores a head MRI image 15, a standard head MRI image 35, a segmentation model 36, a feature quantity derivation model group 38 composed of a plurality of feature quantity derivation models 37, and a dementia finding derivation model 39.
  • the CPU 22 of the computer constituting the diagnostic support device 12 cooperates with the memory 21 and the like to read / write (hereinafter abbreviated as RW (Read Write)) control unit 45 and normalization unit. It functions as 46, an extraction unit 47, a feature amount derivation unit 48, a dementia finding derivation unit 49, a contribution degree derivation unit 50, and a display control unit 51.
  • RW Read Write
  • the RW control unit 45 controls the storage of various data in the storage 20 and the reading of various data in the storage 20.
  • the RW control unit 45 receives the head MRI image 15 from the PACS server 11 and stores the received head MRI image 15 in the storage 20.
  • the RW control unit 45 receives the head MRI image 15 from the PACS server 11 and stores the received head MRI image 15 in the storage 20.
  • FIG. 3 only one head MRI image 15 is stored in the storage 20, but a plurality of head MRI images 15 may be stored in the storage 20.
  • the RW control unit 45 reads out the head MRI image 15 of the patient P designated by the doctor for diagnosing dementia from the storage 20, and outputs the read head MRI image 15 to the normalization unit 46 and the display control unit 51. do.
  • the RW control unit 45 has acquired the head MRI image 15 by reading the head MRI image 15 from the storage 20.
  • the RW control unit 45 reads the standard head MRI image 35 from the storage 20, and outputs the read standard head MRI image 35 to the normalization unit 46.
  • the RW control unit 45 reads the segmentation model 36 from the storage 20, and outputs the read segmentation model 36 to the extraction unit 47.
  • the RW control unit 45 reads out the feature amount derivation model group 38 from the storage 20, and outputs the read feature amount derivation model group 38 to the feature amount derivation unit 48.
  • the RW control unit 45 reads the dementia finding derivation model 39 from the storage 20, and outputs the read dementia finding derivation model 39 to the dementia finding derivation unit 49.
  • the normalization unit 46 performs a normalization process to match the head MRI image 15 with the standard head MRI image 35, and sets the head MRI image 15 as the normalized head MRI image 55.
  • the normalization unit 46 outputs the normalized head MRI image 55 to the extraction unit 47.
  • the standard head MRI image 35 is a head MRI image showing a brain having a standard shape, size, and density (pixel value).
  • the standard head MRI image 35 is, for example, an image generated by averaging the head MRI images 15 of a plurality of healthy subjects, or an image generated by computer graphics.
  • the standard head MRI image 35 is an example of a "standard medical image" according to the technique of the present disclosure.
  • the extraction unit 47 inputs the normalized head MRI image 55 into the segmentation model 36.
  • the segmentation model 36 is a machine learning model that performs so-called semantic segmentation, in which a label representing each anatomical area of the brain such as the hippocampus, amygdala, and frontal lobe is given to each pixel of the brain reflected in the normalized head MRI image 55.
  • the extraction unit 47 extracts an image (hereinafter referred to as an anatomical area image) 56 of a plurality of anatomical areas of the brain from the normalized head MRI image 55 based on the label given by the segmentation model 36.
  • the extraction unit 47 outputs the dissection area image group 57 composed of the plurality of dissection area images 56 for each of the plurality of dissection areas to the feature amount derivation unit 48, the contribution degree derivation unit 50, and the display control unit 51.
  • One feature amount derivation model 37 is prepared for each of a plurality of anatomical areas of the brain (see FIG. 6).
  • the feature amount derivation unit 48 inputs the dissected area image 56 into the corresponding feature amount derivation model 37. Then, the feature amount set 58 composed of a plurality of types of feature amounts Z (see FIG. 6) is output from the feature amount derivation model 37.
  • the feature amount derivation unit 48 outputs a feature amount set group 59 composed of a plurality of feature amount sets 58 corresponding to a plurality of anatomical areas to the dementia finding derivation unit 49 and the contribution degree derivation unit 50.
  • the dementia finding derivation unit 49 inputs the feature amount set group 59 into the dementia finding derivation model 39. Then, the dementia finding information 60 representing the dementia finding is output from the dementia finding derivation model 39. The dementia finding derivation unit 49 outputs the dementia finding information 60 to the contribution degree derivation unit 50 and the display control unit 51.
  • the dementia finding derivation model 39 is an example of the "disease finding derivation model" according to the technique of the present disclosure.
  • the contribution degree derivation unit 50 recognizes based on the anatomical area image group 57 from the extraction unit 47, the feature amount set group 59 from the feature amount derivation unit 48, and the dementia finding information 60 from the dementia finding derivation unit 49.
  • the first contribution degree indicating the degree of contribution to the output of the symptom finding information 60 is derived for each dissection area.
  • the method by Grad-CAM (Gradient-weighted Class Activity Mapping) ++ described in the following document is used. ⁇ Daniel Omeiza, etc. , Smooth Grad-CAM ++: An Enhanced Inference Level Visualization Technology for Deep Convolutional Neural Network Models, arXiv204, 1908. >
  • the contribution degree derivation unit 50 generates the first contribution degree information 61 from the derived first contribution degree.
  • the first contribution information 61 is an example of the “result of deriving the first contribution” according to the technique of the present disclosure.
  • the contribution degree derivation unit 50 outputs the first contribution degree information 61 to the display control unit 51.
  • the display control unit 51 controls the display of various screens on the display 17. On the various screens, a first display screen 75 (see FIG. 9) for instructing analysis by the segmentation model 36, the feature quantity derivation model 37, and the dementia finding derivation model 39, and a second dementia finding information 60 are displayed. A display screen 80 (see FIG. 10), a third display screen 85 (see FIG. 11) for displaying the first contribution information 61, and the like are included.
  • the normalization unit 46 performs shape normalization processing 65 and density normalization processing 66 as normalization processing on the head MRI image 15.
  • the shape normalization process 65 extracts, for example, a landmark that serves as a reference for alignment from the head MRI image 15 and the standard head MRI image 35, and the landmark of the head MRI image 15 and the standard head MRI image 35. This is a process of moving, rotating, and / or scaling the head MRI image 15 in parallel with the standard head MRI image 35 so as to maximize the correlation with the landmark.
  • the density normalization process 66 is, for example, a process of correcting the density histogram of the head MRI image 15 according to the density histogram of the standard head MRI image 35.
  • the extraction unit 47 has, as the anatomical area image 56, the anatomical area image 56_1 of the hippocampus, the anatomical area image 56_2 around the hippocampus, the anatomical area image 56_3 of the frontal lobe, and the anatomical area image of the anterior temporal lobe.
  • 56_4 anatomical area image 56_5 of the occipital lobe, anatomical area image 56_6 of the thorax, anatomical area image 56_7 of the lower part of the thorax, anatomical area image 56_8 of the tongue, anatomical area image 56_9 of the pituitary gland, and the like are extracted.
  • the extraction unit 47 extracts an anatomical area image 56 of each anatomical area such as the mammillary body, corpus callosum, fornix, and lateral ventricle.
  • the anatomical areas such as the hippocampus, frontotemporal lobe, frontotemporal lobe, and amygdala are paired left and right.
  • the anatomical area image 56 of each of the left and right anatomical areas is extracted from such a pair of left and right anatomical areas. For example, for the hippocampus, an anatomical area image 56_1 of the left hippocampus and an anatomical area image 56_1 of the right hippocampus are extracted.
  • the dissected areas it is preferable to include at least one of the hippocampus and the frontotemporal lobe, and it is more preferable to include all of the hippocampus and the frontotemporal lobe.
  • the frontotemporal lobe means the anterior part of the temporal lobe.
  • the feature amount derivation unit 48 inputs the hippocampal dissection area image 56_1 into the hippocampal feature amount derivation model 37_1, and outputs the hippocampal feature amount set 58_1 from the hippocampal feature amount derivation model 37_1.
  • the hippocampal feature amount set 58_1 is composed of a plurality of feature amounts Z1_1, Z2_1, ..., ZN_1. Note that N is the number of feature quantities, for example, tens to hundreds of thousands.
  • the feature amount derivation unit 48 inputs the parahippocampal feature amount derivation model 56_2 to the parahippocampal feature amount derivation model 37_2, and inputs the frontal lobe dissection area image 56_3 to the frontal lobe feature amount derivation model 37_3.
  • the frontal lobe dissection area image 56_4 is input to the frontal lobe feature amount derivation model 37_4.
  • the parahippocampal feature derivation model 37_2 outputs the parahippocampal feature set 58_2, and the frontal lobe feature derivation model 37_3 outputs the frontal lobe feature set 58_3, and the frontal lobe feature derivation model.
  • the feature amount set 58_4 of the frontal lobe is output from 37_4.
  • the parahippocampal feature set 58_2 is composed of a plurality of features Z1_2, Z2_2, ..., ZN_2, and the frontotemporal lobe feature set 58_2 is composed of a plurality of features Z1_3, Z2_3, ..., ZN_3.
  • the frontotemporal lobe feature amount set 58_4 is composed of a plurality of feature amounts Z1_4, Z2_4, ..., ZN_4.
  • the feature amount derivation unit 48 inputs the occipital lobe dissection area image 56_5 into the occipital lobe feature amount derivation model 37_5, and inputs the thalamus dissection area image 56_6 into the thalamus feature amount derivation model 37_6. Then, the occipital lobe feature amount set 58_5 is output from the occipital lobe feature amount derivation model 37_5, and the thalamus feature amount set 58_6 is output from the thalamus feature amount derivation model 37_6.
  • the occipital lobe feature amount set 58_5 is composed of a plurality of feature amounts Z1_5, Z2_5, ..., ZN_5, and the thalamic feature amount set 58_6 is composed of a plurality of feature amounts Z1_6, Z2_6, ..., ZN_6.
  • the plurality of dissected area images 56 are input to the corresponding feature amount derivation model 37, whereby the plurality of feature amount sets 58 for each dissection area image 56 are output from each feature amount derivation model 37.
  • the number of feature quantities Z may be the same in each dissection area as in the example N, or may be different in each dissection area.
  • the dementia finding derivation unit 49 inputs the feature amount set group 59 into the dementia finding derivation model 39. Then, from the dementia finding derivation model 39, any one of normal (NC; Normal Control), mild cognitive impairment (MCI; Mild Cognitive Impairment), and Alzheimer's disease (AD; Alzheimer's Disease) is used as the dementia finding information 60. Is output.
  • NC Normal Control
  • MCI Mild Cognitive Impairment
  • AD Alzheimer's disease
  • the first contribution information 61 has a first contribution map group 71 composed of a plurality of first contribution maps 70 for each dissection area, and a ranking table 72. ..
  • the first contribution map 70 includes a first contribution map 70_1 of the hippocampus, a first contribution map 70_3 of the frontal lobe, a first contribution map 70_1 of the occipital lobe, and the like.
  • the first contribution map 70 is, so to speak, a heat map of the first contribution, in which colors are assigned to each pixel of the dissected area image 56 according to the level of the first contribution. Specifically, warm colors such as red and orange are assigned to pixels having a relatively high first contribution, and cool colors such as purple and blue are assigned to pixels having a relatively low first contribution.
  • the ranking table 72 is a table in which the dissected areas are arranged in descending order of the first contribution.
  • FIG. 8 illustrates the case where the hippocampus is in the 1st place, the parahippocampal gyrus is in the 2nd place, the frontotemporal lobe is in the 3rd place, the frontotemporal lobe is in the 4th place, and so on.
  • FIG. 9 shows an example of the first display screen 75 for instructing the analysis by the segmentation model 36, the feature amount derivation model 37, and the dementia finding derivation model 39.
  • the head MRI image 15 of the patient P diagnosing dementia is displayed.
  • the head MRI image 15 is a head MRI image 15S having a sagittal cross section, a head MRI image 15A having an axial cross section, and a head MRI image 15C having a coronal cross section.
  • a button group 76 for switching the display is provided at the lower part of each of the head MRI images 15S, 15A, and 15C.
  • the analysis button 77 is provided on the first display screen 75.
  • the doctor selects the analysis button 77 when he / she wants to perform analysis by the segmentation model 36, the feature amount derivation model 37, and the dementia finding derivation model 39.
  • the CPU 22 accepts the instruction for analysis by the segmentation model 36, the feature amount derivation model 37, and the dementia finding derivation model 39.
  • FIG. 10 shows an example of a second display screen 80 displaying dementia finding information 60 obtained as a result of analysis by the segmentation model 36, the feature amount derivation model 37, and the dementia finding derivation model 39.
  • a message 81 corresponding to the dementia finding information 60 is displayed.
  • FIG. 10 shows an example in which the dementia finding information 60 is mild cognitive impairment (MCI) and "suspicion of mild cognitive impairment" is displayed as a message 81.
  • MCI mild cognitive impairment
  • the second display screen 80 is provided with a contribution derivation button 82.
  • a contribution derivation button 82 When the doctor wants to know how much each dissected area contributes to the output of the dementia finding information 60, he / she selects the contribution degree derivation button 82. As a result, the instruction for deriving the first contribution information 61 is accepted by the CPU 22.
  • the confirmation button 83 When the confirmation button 83 is selected, the display control unit 51 turns off the display of the message 81 and returns the second display screen 80 to the first display screen 75.
  • FIG. 11 shows an example of a third display screen 85 that displays the first contribution information 61 output by the contribution derivation unit 50.
  • the third display screen 85 in addition to the head MRI image 15 and the message 81 according to the dementia finding information 60, the message 86 indicating the order of the first contribution and the dissected area of the order, the dissected area image 56 , And the first contribution map 70 is displayed.
  • the dissected area image 56 and the first contribution map 70 are displayed side by side.
  • a button group 87 for switching the display is provided at the bottom of the dissected area image 56 and the first contribution map 70.
  • the display control unit 51 erases the display of the message 86, the dissection area image 56, and the first contribution map 70, and returns the third display screen 85 to the second display screen 80. ..
  • FIG. 12 shows an example in which the display is switched according to the ranking table 72 shown in FIG. Specifically, first the 1st place hippocampal dissection area image 56_1 and 1st contribution map 70_1, then the 2nd place parahippocampal dissection area image 56_1 and 1st contribution map 70_2, and then 3rd place. The display is sequentially switched between the dissected area image 56_3 of the frontal lobe, the first contribution map 70_3, and so on.
  • a compression unit 91 of an autoencoder (hereinafter abbreviated as AE (Auto Encoder)) 90 is used in the feature amount derivation model 37.
  • the AE90 has a compression unit 91 and a restoration unit 92.
  • An anatomical area image 56 is input to the compression unit 91.
  • the compression unit 91 converts the dissected area image 56 into a feature set 58.
  • the compression unit 91 passes the feature amount set 58 to the restoration unit 92.
  • the restoration unit 92 generates the restoration image 93 of the dissected area image 56 from the feature amount set 58.
  • the compression unit 91 converts the dissected area image 56 into the feature amount set 58 by performing a convolution operation as shown in FIG. 14 as an example.
  • the compression unit 91 has a convolution layer 200 represented by "conv (abbreviation of convolution)".
  • the convolution layer 200 applies, for example, a 3 ⁇ 3 filter 203 to the target data 202 having a plurality of elements 201 arranged in two dimensions. Then, the element value e of one of the elements 201 of interest and the element values a, b, c, d, f, g, h, and i of eight elements 201S adjacent to the element of interest 201I are convolved.
  • the convolution layer 200 sequentially performs a convolution operation on each element 201 of the target data 202 while shifting the element of interest 201I by one element, and outputs the element value of the element 204 of the operation data 205.
  • the operation data 205 having a plurality of elements 204 arranged in two dimensions can be obtained as in the target data 202.
  • the target data 202 first input to the convolution layer 200 is the dissection area image 56, and then the reduction calculation data 205S (see FIG. 16) described later is input to the convolution layer 200 as the target data 202.
  • the element 204I corresponding to the element of interest 201I of the operation data 205 which is the result of the convolution operation for the element of interest 201I.
  • One operation data 205 is output for one filter 203.
  • the operation data 205 is output for each filter 203. That is, as shown in FIG. 15 as an example, the arithmetic data 205 is generated for the number of filters 203 applied to the target data 202. Further, since the arithmetic data 205 has a plurality of elements 204 arranged in two dimensions, it has a width and a height. The number of arithmetic data 205 is called the number of channels.
  • FIG. 15 illustrates the four-channel arithmetic data 205 output by applying the four filters 203 to the target data 202.
  • the compression unit 91 has a pooling layer 210 represented by “pool (abbreviation of pooling)” in addition to the convolution layer 200.
  • the pooling layer 210 obtains a local statistic of the element value of the element 204 of the operation data 205, and generates the reduced operation data 205S having the obtained statistic as the element value.
  • the pooling layer 210 performs a maximum value pooling process for obtaining the maximum value of the element value in the block 211 of the 2 ⁇ 2 element as a local statistic. If the block 211 is processed while being shifted by one element in the width direction and the height direction, the reduction calculation data 205S is reduced to half the size of the original calculation data 205.
  • the element values a, b, e, and b in the block 211A, the element values b, c, f, and g in the block 211B, and the element values c and d in the block 211C are shown.
  • G, and h are exemplified when h is the maximum value, respectively. It should be noted that the mean value pooling process may be performed in which the mean value is obtained as a local statistic instead of the maximum value.
  • the compression unit 91 outputs the final calculation data 205 by repeating the convolution process by the convolution layer 200 and the pooling process by the pooling layer 210 a plurality of times.
  • the final calculated data 205 is the feature set 58
  • the element value of each element 204 of the final calculated data 205 is the feature Z.
  • the characteristic amount Z thus obtained represents the shape and texture characteristics of the dissected area, such as the degree of hippocampal atrophy, the degree of white matter angiopathy, and the presence or absence of decreased blood flow metabolism in the frontal lobe, frontotemporal lobe, and occipital lobe. There is.
  • each process is actually performed in three dimensions.
  • the AE90 is learned by inputting the learning anatomical area image 56L in the learning phase before diverting the compression unit 91 to the feature amount derivation model 37.
  • the AE90 outputs a learning restored image 93L with respect to the learning dissection area image 56L.
  • the loss calculation of AE90 using the loss function is performed.
  • various coefficients of the AE90 coefficients of the filter 203, etc.
  • the AE90 is updated according to the update settings.
  • the above series of processes of inputting the learning anatomical area image 56L to the AE90, outputting the learning restored image 93L from the AE90, loss calculation, update setting, and updating the AE90 is the learning anatomy.
  • the area image 56L is repeatedly exchanged and repeated. The repetition of the above series of processes ends when the restoration accuracy from the learning dissection area image 56L to the learning restoration image 93L reaches a predetermined set level.
  • the compression unit 91 of the AE90 whose restoration accuracy has reached the set level in this way is stored in the storage 20 and used as the learned feature amount derivation model 37.
  • the dementia finding derivation model 39 is constructed by any of a neural network, a support vector machine, and boosting.
  • the dementia finding derivation model 39 is trained given the learning data 100.
  • the learning data 100 is a set of a learning feature amount set group 59L and a correct answer dementia finding information 60CA corresponding to the learning feature amount set group 59L.
  • the learning feature amount set group 59L was obtained by inputting the anatomical area image 56 of a certain head MRI image 15 into the feature amount derivation model 37.
  • the correct dementia finding information 60CA is the result of the doctor actually diagnosing the dementia findings on the head MRI image 15 obtained with the learning feature amount set group 59L.
  • the learning feature amount set group 59L is input to the dementia finding derivation model 39.
  • the dementia finding derivation model 39 outputs learning dementia finding information 60L for the learning feature amount set group 59L.
  • the loss calculation of the dementia finding derivation model 39 using the loss function is performed.
  • various coefficients of the dementia finding derivation model 39 are updated according to the result of the loss calculation, and the dementia finding derivation model 39 is updated according to the update setting.
  • the update setting, and the above-mentioned series of processes for updating the dementia finding derivation model 39 are repeated while the learning data 100 is exchanged.
  • the repetition of the above series of processes ends when the prediction accuracy of the learning dementia finding information 60L with respect to the correct dementia finding information 60CA reaches a predetermined set level.
  • the dementia finding derivation model 39 whose prediction accuracy has reached a set level is stored in the storage 20 and used by the dementia finding derivation unit 49 as a learned dementia finding derivation model.
  • the operation program 30 when the operation program 30 is activated in the diagnosis support device 12, as shown in FIG. 3, the CPU 22 of the diagnosis support device 12 has a RW control unit 45, a normalization unit 46, an extraction unit 47, and a feature amount derivation unit. It functions as 48, a dementia finding derivation unit 49, a contribution derivation unit 50, and a display control unit 51.
  • the RW control unit 45 controls the corresponding head MRI image 15 and the standard head from the storage 20.
  • the unit MRI image 35 is read out (step ST100).
  • the head MRI image 15 and the standard head MRI image 35 are output from the RW control unit 45 to the normalization unit 46.
  • a normalization process for matching the head MRI image 15 with the standard head MRI image 35 is performed (step ST110). ).
  • the head MRI image 15 becomes a normalized head MRI image 55.
  • the normalized head MRI image 55 is output from the normalized unit 46 to the extraction unit 47.
  • a plurality of anatomical area images 56 are extracted from the normalized head MRI image 55 using the segmentation model 36 (step ST120).
  • the dissection area image group 57 composed of the plurality of dissection area images 56 is output from the extraction unit 47 to the feature amount derivation unit 48, the contribution degree derivation unit 50, and the display control unit 51.
  • the dissection area image 56 is input to the corresponding feature amount derivation model 37.
  • the feature amount set 58 is output from the feature amount derivation model 37 (step ST130).
  • the feature amount set group 59 composed of the plurality of feature amount sets 58 is output from the feature amount derivation unit 48 to the dementia finding derivation unit 49 and the contribution degree derivation unit 50.
  • the feature amount set group 59 is input to the dementia finding derivation model 39.
  • the dementia finding information 60 is output from the dementia finding derivation model 39 (step ST140).
  • the dementia finding information 60 is output from the dementia finding derivation unit 49 to the contribution degree derivation unit 50 and the display control unit 51.
  • the second display screen 80 shown in FIG. 10 is displayed on the display 17 (step ST150).
  • the doctor confirms the dementia finding information 60 through the message 81 of the second display screen 80.
  • the contribution degree derivation button 82 when the contribution degree derivation button 82 is selected on the second display screen 80 and the instruction for deriving the first contribution degree information 61 is received by the CPU 22 (YES in step ST200), the contribution degree is contributed.
  • the degree derivation unit 50 the first contribution degree for each dissection area was derived based on the dissection area image group 57, the feature amount set group 59, and the dementia finding information 60, and is shown in FIG. 8 from the first contribution degree.
  • the first contribution information 61 is generated (step ST210).
  • the first contribution information 61 is output from the contribution derivation unit 50 to the display control unit 51.
  • the third display screen 85 shown in FIG. 11 is displayed on the display 17 (step ST220).
  • the doctor confirms the first contribution information 61 through the third display screen 85.
  • the CPU 22 of the diagnostic support device 12 includes a RW control unit 45, an extraction unit 47, a feature amount derivation unit 48, a dementia finding derivation unit 49, a contribution degree derivation unit 50, and a display control unit. It is equipped with 51.
  • the RW control unit 45 acquires the head MRI image 15 by reading the head MRI image 15 of the patient P who diagnoses dementia from the storage 20.
  • the extraction unit 47 extracts an anatomical area image 56 of a plurality of anatomical areas of the brain from the normalized head MRI image 55.
  • the feature amount derivation unit 48 inputs a plurality of dissection area images 56 into a plurality of feature amount derivation models 37 prepared for each dissection area, and a plurality of features for each dissection area from the feature amount derivation model 37.
  • the quantity set 58 is output.
  • the dementia finding derivation unit 49 inputs a feature amount set group 59 composed of a plurality of feature amount sets 58 into the dementia finding derivation model 39, and outputs dementia finding information 60 from the dementia finding derivation model 39.
  • the contribution degree deriving unit 50 derives a first contribution degree indicating the degree of contribution to the output of the dementia finding information 60 for each dissection area.
  • the display control unit 51 presents the dementia finding information 60 and the first contribution information 61 to the doctor on the third display screen 85.
  • the number of feature quantities Z is very large, for example, tens to hundreds of thousands. Therefore, the feature amount Z does not represent a limited feature of the dissected area as in the Z value described in Japanese Patent No. 6438890, but represents a comprehensive feature of the dissected area. Further, the feature amount Z is not a single statistically obtained value like the Z value described in Japanese Patent No. 6438890, but is obtained by inputting the anatomical area image 56 into the feature amount derivation model 37. Is. Therefore, the method of the present disclosure for deriving the dementia finding information 60 based on the feature amount Z (feature amount set group 59 composed of a plurality of feature amount sets 58) is compared with the method described in Japanese Patent No. 6438890. It is possible to improve the prediction accuracy of dementia findings and obtain more accurate dementia findings.
  • dementia Compared to other diseases such as cancer, dementia is less likely to show specific lesions that can be recognized with the naked eye. Also, dementia affects the entire brain and is not local. Due to this background, it has been difficult to obtain accurate dementia findings from medical images such as the head MRI image 15 using a machine learning model.
  • the brain is subdivided into a plurality of anatomical areas, features are derived for each of the plurality of anatomical areas, and the derived features are input to one dementia finding derivation model 39. There is. Therefore, it is possible to achieve the purpose of obtaining more accurate findings of dementia, which has been difficult in the past.
  • the third display screen 85 enables the doctor to know how much each anatomical area of the brain contributed to the output of the dementia finding information 60. This allows the doctor to determine the plausibility of the dementia finding information 60.
  • the history of the ranking of the first contribution of each dissected area may be stored and reflected in the learning of the dementia finding derivation model 39.
  • the feature amount set 58 of the dissected area having a relatively low rank may be excluded from the learning feature amount set group 59L given to the dementia finding derivation model 39.
  • the display control unit 51 presents the derivation results in descending order of the first contribution. Doctors can see at a glance which dissection area contributes.
  • FIG. 12 shows that the display of the message 86, the dissection area image 56, and the first contribution degree map 70 is switched according to the operation of the button group 87.
  • the mode is not limited to the above.
  • the message 86 of each rank, the dissected area image 56, and the first contribution map 70 may be displayed side by side, for example, and the higher the rank, the higher the display.
  • the feature quantity derivation model 37 is a diversion of the compression unit 91 of the AE90.
  • AE90 is one of the frequently used neural network models in the field of machine learning and is generally very well known. Therefore, it can be diverted to the feature amount derivation model 37 relatively easily.
  • the dementia finding derivation model 39 is constructed by any of the following methods: neural network, support vector machine, and boosting. Any of these neural networks, support vector machines, and boosting techniques are generally very well known. Therefore, the dementia finding derivation model 39 can be constructed relatively easily.
  • the normalization unit 46 performs a normalization process for matching the head MRI image 15 with the standard head MRI image 35 prior to the extraction of the dissected area. Therefore, the subsequent processing can be performed after substantially eliminating the individual difference of the patient P and the device difference of the MRI apparatus 10, and as a result, the reliability of the dementia finding information 60 can be enhanced.
  • this embodiment in which the organ is the brain, the disease is dementia, and the dementia finding information 60 is output, is a form that matches the current social problem.
  • the hippocampus and frontotemporal lobe are anatomical areas with a particularly high correlation with dementia such as Alzheimer's disease. Therefore, as in this example, if the plurality of dissected areas contain at least one of the hippocampus and the frontotemporal lobe, more accurate findings of dementia can be obtained.
  • the presentation mode of the dementia finding information 60 and the first contribution information 61 is not limited to the third display screen 85.
  • the dementia finding information 60 and the first contribution information 61 may be printed out on a paper medium, or the dementia finding information 60 and the first contribution information 61 may be transmitted to a doctor's mobile terminal as an e-mail attachment. ..
  • the dementia finding information is not limited to the content exemplified in FIG. 7 (normal / mild cognitive impairment / Alzheimer's disease).
  • the degree of progression of dementia one year after the patient P may be fast or slow.
  • the type of dementia such as Alzheimer's disease, Lewy body dementia, or vascular dementia may be used.
  • dementia-related information 111 related to dementia is input to the dementia finding derivation model 112.
  • the dementia finding derivation unit 110 of the present embodiment inputs dementia-related information 111 related to dementia into the dementia finding derivation model 112 in addition to the feature amount set group 59. Then, the dementia finding information 113 is output from the dementia finding derivation model 112.
  • the dementia-related information 111 is an example of "disease-related information" according to the technique of the present disclosure.
  • Dementia-related information 111 is information on patient P who makes a diagnosis of dementia.
  • the dementia-related information 111 has a plurality of items. Items include, for example, the volume of the hippocampus.
  • the items are the Hasegawa dementia scale (HDS-R; Revised Hasegawa's Dementia Scale) score, the Mini-Mental State Examination (MMSE; Mini-Mental State Examination) score, and the Rivermead behavioral memory test (RBMT; Rivermead). Memory Test) score, Clinical Dementia Rating (CDR), Daily Life Activity (ADL), and Alzheimer's Disease Rating Scale (ADAS-Cog; Alzheimer's Disease). Includes cognitive subscale).
  • HDS-R Hasegawa dementia scale
  • MMSE Mini-Mental State Examination
  • RBMT Rivermead behavioral memory test
  • Memory Test Clinical Dementia Rating
  • ADL Daily Life Activity
  • ADAS-Cog Alzheimer's Disease Rating Scale
  • the items also include the genotype of the ApoE gene, the amyloid ⁇ measurement value, the tau protein measurement value, the apolipoprotein measurement value, the complement protein measurement value, and the transsiletin measurement value. Further, the items include the gender, age, etc. of patient P. HDS-R score, MMSE score, RBMT score, CDR, ADL, ADAS-Cog, ApoE gene genotype, amyloid ⁇ measurement, tau protein measurement, apolipoprotein measurement, complement protein measurement, trans The transthyretin measurement value, the sex of the patient P, the age, etc. are taken from the electronic chart system (not shown).
  • the volume of the hippocampus is, for example, the total number of pixels of the anatomical area image 56_1 of the hippocampus.
  • the hippocampal volume is an example of the "volume of the dissected area" according to the technique of the present disclosure.
  • the volume of other dissected areas such as the amygdala may be included in the dementia-related information 111.
  • the HDS-R score, MMSE score, RBMT score, CDR, ADL, and ADAS-Cog are examples of the "dementia test score" according to the technique of the present disclosure.
  • the genotype of the ApoE gene is a combination of two of the three ApoE genes ( ⁇ 2 and ⁇ 3, ⁇ 3 and ⁇ 4, etc.). For genotypes that do not have ⁇ 4 at all ( ⁇ 2 and ⁇ 3, ⁇ 3 and ⁇ 3, etc.), the risk of developing Alzheimer's disease for genotypes that have one or two ⁇ 4 ( ⁇ 2 and ⁇ 4, ⁇ 4 and ⁇ 4, etc.) is It is said to be about 3 to 12 times.
  • the genotype of the ApoE gene is converted into a numerical value such that the combination of ⁇ 2 and ⁇ 3 is 1, the combination of ⁇ 3 and ⁇ 3 is 2, etc., and is input to the dementia finding derivation model 142.
  • the genotype of the ApoE gene is an example of the "test result of genetic test" according to the technique of the present disclosure.
  • amyloid ⁇ measurement value and the tau protein measurement value are examples of the "test results of the cerebrospinal fluid test” according to the technique of the present disclosure. Further, the apolypoprotein measured value, the complement protein measured value, and the transsiletin measured value are examples of the "blood test test result" according to the technique of the present disclosure.
  • the dementia finding derivation model 112 is given learning data 118 and is trained.
  • the learning data 118 is a combination of the learning feature amount set group 59L and the learning dementia-related information 111L, and the correct answer dementia finding information 113CA corresponding to the learning feature amount set group 59L and the learning dementia-related information 111L. be.
  • the learning feature amount set group 59L was obtained by inputting the anatomical area image 56 of a certain head MRI image 15 into the feature amount derivation model 37.
  • the learning dementia-related information 111L is the information of the patient P to be photographed on the head MRI image 15 obtained the learning feature amount set group 59L.
  • the correct answer dementia finding information 113CA is the result of the doctor actually diagnosing the dementia findings on the head MRI image 15 obtained with the learning feature amount set group 59L, taking into account the learning dementia-related information 111L. ..
  • the learning feature amount set group 59L and the learning dementia-related information 111L are input to the dementia finding derivation model 112.
  • the dementia finding derivation model 112 outputs learning dementia finding information 113L for learning feature amount set group 59L and learning dementia-related information 111L.
  • the loss calculation of the dementia finding derivation model 112 using the loss function is performed.
  • various coefficients of the dementia finding derivation model 112 are updated according to the result of the loss calculation, and the dementia finding derivation model 112 is updated according to the update setting.
  • the learning feature amount set group 59L and the learning dementia-related information 111L are input to the dementia finding derivation model 112, and the learning dementia from the dementia finding derivation model 112.
  • the series of processes of outputting the finding information 113L, calculating the loss, setting the update, and updating the dementia finding derivation model 112 are repeated while the learning data 118 is being exchanged.
  • the repetition of the above series of processes ends when the prediction accuracy of the learning dementia finding information 113L with respect to the correct dementia finding information 113CA reaches a predetermined set level.
  • the dementia finding derivation model 112 whose prediction accuracy has reached a set level in this way is stored in the storage 20 and used in the learned dementia finding derivation model dementia finding derivation unit 110.
  • the contribution derivation unit 120 of the present embodiment has the anatomical area image group 57, the feature amount set group 59, and the cognition, similarly to the first contribution information 61 of the first embodiment.
  • the first contribution information 121 is generated based on the symptom finding information 113, and the generated first contribution information 121 is output to the display control unit 123.
  • the contribution degree derivation unit 120 sets the second contribution degree indicating the degree of contribution of the dementia finding information 113 to the output based on the dementia-related information 111 and the dementia finding information 113 as the item of the dementia-related information 111. Derived for each.
  • the contribution derivation unit 120 derives, for example, a numerical value in 10 steps from 1 to 10 as the second contribution.
  • the contribution degree deriving unit 120 outputs the second contribution degree information 122 summarizing the derived second contribution degree to the display control unit 123.
  • the second contribution information 122 is an example of the “result of deriving the second contribution” according to the technique of the present disclosure.
  • the method described in the following document is used for the derivation of the second contribution by the contribution derivation unit 120. ⁇ Scott M. Lundberg, etc. , Explainable machine-learning prophecies for the prevention of hypoxemia dancing surgery, Nature Biomedical Engineering 20> 49
  • the third display screen 130 of the present embodiment has a head MRI image 15, a message 81 according to the dementia finding information 60, an order of the first contribution, and an anatomical area of the order.
  • a list 131 of each item of the dementia-related information 111 is displayed.
  • Each item in the enumeration 131 is displayed according to the level of the second contribution, as shown by the shade of hatching.
  • the display according to the level of the second contribution is, for example, an item having a higher second contribution is displayed in a darker color, and an item having a lower second contribution is displayed in a lighter color.
  • the second contribution of hippocampal volume, HDS-R score, genotype of ApoE gene, etc. is relatively high, and the second contribution of MMSE score, CDR, ADL, ADAS-Cog, etc. is relatively high. The case where it is relatively low is illustrated.
  • the display control unit 123 erases the display of the message 86, the dissection area image 56, the first contribution map 70, and the enumeration 131, and displays the third display screen 130 as the second display screen. Return to 80.
  • the dementia-related information 111 is input to the dementia finding derivation model 112.
  • Dementia-related information 111 includes hippocampal volume, HDS-R score, MMSE score, CDR, ADL, ADAS-Cog, ApoE gene genotype, amyloid ⁇ measurement value, tau protein measurement value, apolipoprotein measurement value, Includes complement protein measured values, transthyretin measured values, sex of patient P, age, and the like. Since various dementia-related information 111 related to dementia, which is powerful information useful for prediction, is added, the prediction accuracy of dementia findings is dramatically improved compared to the case where the findings of dementia are predicted only by the feature set group 59. Can be improved.
  • the contribution degree deriving unit 120 derives a second contribution degree indicating the degree of contribution of the dementia finding information 113 to the output for each item of the dementia-related information 111. Then, as shown in FIG. 26, the display control unit 123 presents the derivation result of the second contribution degree for each item on the third display screen 130. Therefore, the doctor can know to what extent each item of the dementia-related information 111 contributes to the output of the dementia finding information 60. This allows the doctor to judge the plausibility of the dementia finding information 60 with more certainty.
  • the dementia-related information 111 includes at least one of the volume of the dissected area, the score of the dementia test, the test result of the genetic test, the test result of the cerebrospinal fluid test, and the test result of the blood test. I just need to be there.
  • the medical history of patient P whether or not patient P has a relative who has developed dementia, and the like may be included in the dementia-related information 111.
  • the history of the second contribution degree of each item may be stored and reflected in the learning of the dementia finding derivation model 112. Specifically, the item having a relatively low second contribution may be excluded from the learning dementia-related information 111L given to the dementia finding derivation model 112.
  • the compression unit 141 of the convolutional neural network for class determination of a single task (hereinafter, abbreviated as a single task CNN (Convolutional Neural Network)) 140. Is used as the feature quantity derivation model 145.
  • the single task CNN 140 has a compression unit 141 and an output unit 142.
  • An anatomical area image 56 is input to the compression unit 141.
  • the compression unit 141 converts the dissected area image 56 into the feature amount set 143, similarly to the compression unit 91.
  • the compression unit 141 passes the feature amount set 143 to the output unit 142.
  • the output unit 142 outputs one class 144 based on the feature amount set 143.
  • the output unit 142 outputs the determination result that dementia has developed or has not developed dementia as class 144.
  • the compression unit 141 of this single task CNN140 is used as the feature amount derivation model 145.
  • the single task CNN 140 is trained by being given the training data 148 in the learning phase before the compression unit 141 is diverted to the feature quantity derivation model 145.
  • the learning data 148 is a set of the learning anatomical area image 56L and the correct answer class 144CA corresponding to the learning anatomical area image 56L.
  • the correct answer class 144CA is the result of the doctor actually determining whether or not dementia has developed with respect to the head MRI image 15 obtained the learning anatomical area image 56L.
  • the learning dissection area image 56L is input to the single task CNN140.
  • the single task CNN140 outputs a learning class 144L for a learning anatomical area image 56L. Based on the learning class 144L and the correct answer class 144CA, the loss calculation of the single task CNN140 is performed. Then, various coefficients of the single task CNN 140 are updated according to the result of the loss calculation, and the single task CNN 140 is updated according to the update settings.
  • the compression unit 141 of the single task CNN 140 whose prediction accuracy has reached the set level in this way is stored in the storage 20 as the learned feature quantity derivation model 145 and used by the feature quantity derivation unit 48.
  • the compression unit 141 of the single task CNN140 is used as the feature amount derivation model 145.
  • Single-tasking CNN140 is also one of the frequently used neural network models in the field of machine learning and is generally very well known. Therefore, it can be diverted to the feature amount derivation model 145 relatively easily.
  • the class 144 may be, for example, the content that the age of the patient P is less than 75 years old or is 75 years old or more, or in the age of the patient P such as 60s and 70s. There may be.
  • the multitasking CNN 150 has a compression unit 151 and an output unit 152.
  • An anatomical area image 56 is input to the compression unit 151.
  • the compression unit 151 converts the dissected area image 56 into the feature amount set 153, similarly to the compression unit 91 and the compression unit 141.
  • the compression unit 151 passes the feature amount set 153 to the output unit 152.
  • the output unit 152 outputs two classes, the first class 154 and the second class 155, based on the feature amount set 153. In FIG. 29, the output unit 152 outputs the determination result that dementia has developed or has not developed dementia as the first class 154. Further, in FIG. 29, the output unit 152 outputs the age of the patient P as the second class 155.
  • the compression unit 151 of this multitasking CNN150 is used as a feature amount derivation model 156.
  • the multitasking CNN 150 is given learning data 158 and learned in the learning phase before the compression unit 151 is diverted to the feature quantity derivation model 156.
  • the learning data 158 is a set of the learning anatomical area image 56L and the correct answer first class 154CA and the correct answer second class 155CA corresponding to the learning anatomical area image 56L.
  • the correct answer first class 154CA is the result of the doctor actually determining whether or not dementia has developed with respect to the head MRI image 15 obtained the learning anatomical area image 56L.
  • the correct answer second class 155CA is the actual age of the patient P to be photographed on the head MRI image 15 obtained the learning anatomical area image 56L.
  • the learning dissection area image 56L is input to the multitasking CNN150.
  • the multitasking CNN 150 outputs a learning first class 154L and a learning second class 155L to the learning anatomical area image 56L.
  • the loss calculation of the multitasking CNN 150 is performed.
  • various coefficients of the multitasking CNN150 are updated according to the result of the loss calculation, and the multitasking CNN150 is updated according to the updating settings.
  • the input of the dissection area image 56L for learning to the multitasking CNN150, the output of the first class 154L for learning and the second class 155L for learning from the multitasking CNN150, loss calculation, update setting, And the above-mentioned series of processes for updating the multitasking CNN150 are repeated while the learning data 158 is exchanged.
  • the repetition of the above series of processes ends when the prediction accuracy of the learning first class 154L and the learning second class 155L for the correct answer first class 154CA and the correct answer second class 155CA reaches a predetermined setting level. Will be done.
  • the compression unit 151 of the multitasking CNN 150 whose prediction accuracy has reached the set level in this way is stored in the storage 20 as the learned feature amount derivation model 156 and used by the feature amount derivation unit 48.
  • the compression unit 151 of the multitasking CNN150 is used as the feature amount derivation model 156.
  • the multitasking CNN150 performs a more complicated process of outputting a plurality of classes (first class 154 and second class 155) as compared with the AE90 and the singletasking CNN140. Therefore, the feature amount set 153 output from the compression unit 151 is likely to more comprehensively represent the features of the dissected area image 56. Therefore, as a result, the accuracy of predicting dementia findings by the dementia findings derivation model 39 can be further improved.
  • the first class 154 may be, for example, the degree of progression of dementia at five levels. Further, as the second class 155, the determination result of the age of the patient P may be used.
  • the multitasking CNN150 may output three or more classes.
  • the dissected area image 56 of one dissected area is input to a plurality of different feature quantity derivation models.
  • the feature amount derivation unit 160 of the present embodiment inputs the dissection area image 56 of one dissection area into the first feature amount derivation model 161 and inputs it into the second feature amount derivation model 162. It is input to the feature quantity derivation model 163.
  • the feature quantity derivation unit 160 outputs the first feature quantity set 164 from the first feature quantity derivation model 161 and outputs the second feature quantity set 165 from the second feature quantity derivation model 162 to derive the third feature quantity.
  • the third feature amount set 166 is output from the model 163.
  • the first feature quantity derivation model 161 is a diversion of the compression unit 91 of the AE90 of the first embodiment.
  • the second feature quantity derivation model 162 is obtained by diverting the compression unit 141 of the single task CNN140 of the third embodiment.
  • the third feature quantity derivation model 163 is a diversion of the compression unit 151 of the multitasking CNN 150 of the fourth embodiment.
  • the feature amount derivation unit 160 draws the dissection area image 56 of one dissection area into the first feature amount derivation model 161, the second feature amount derivation model 162, and the third feature amount derivation. Input to model 163. Then, the first feature amount set 164, the second feature amount set 165, and the third feature amount set 166 are output from each model 161 to 163. Therefore, a wide variety of feature quantities Z can be obtained as compared with the case of using one type of feature quantity derivation model 37. As a result, the accuracy of predicting dementia findings by the dementia findings derivation model 39 can be further improved.
  • the plurality of different feature quantity derivation models may be, for example, a combination of the first feature quantity derivation model 161 diverted from the compression unit 91 of the AE90 and the second feature quantity derivation model 162 diverted from the compression unit 141 of the single task CNN 140. ..
  • a combination of the second feature amount derivation model 162 diverted from the compression unit 141 of the single task CNN 140 and the third feature amount derivation model 163 diverted from the compression unit 151 of the multitask CNN 150 may be used.
  • a second feature amount derivation model 162 that uses the compression unit 141 of the single task CNN 140 that outputs whether or not dementia has developed as class 144, and a single task CNN 140 that outputs the age of patient P as class 144. It may be combined with the second feature quantity derivation model 162 which diverted the compression part 141 of.
  • the AE250 has a compression unit 253 and a restoration unit 254, similar to the AE90 of the first embodiment.
  • the dissected area image 56 is input to the compression unit 253.
  • the compression unit 253 converts the dissected area image 56 into a feature set 255.
  • the compression unit 253 passes the feature amount set 255 to the restoration unit 254.
  • the restoration unit 254 generates the restoration image 256 of the dissection area image 56 from the feature amount set 255.
  • the single task CNN 251 has a compression unit 253 and an output unit 257, similar to the single task CNN 140 of the third embodiment. That is, the compression unit 253 is shared by the AE250 and the single task CNN251.
  • the compression unit 253 passes the feature amount set 255 to the output unit 257.
  • the output unit 257 outputs one class 258 based on the feature amount set 255.
  • the output unit 257 outputs the determination result that the patient P with mild cognitive impairment remains mild cognitive impairment after 2 years or progresses to Alzheimer's disease after 2 years as class 258.
  • the output unit 257 outputs an aggregated feature amount ZA that aggregates a plurality of feature amounts Z constituting the feature amount set 255.
  • the aggregate feature amount ZA is output for each dissected area.
  • the aggregate feature amount ZA is input to the dementia finding derivation model 282 (see FIG. 36) instead of the feature amount set 255.
  • the output unit 257 has a self-attention (hereinafter abbreviated as SA (Self-Attention)) mechanism layer 265, an overall average pooling (hereinafter abbreviated as GAP (Global Function Polling)) layer 266, and Fully connected (hereinafter abbreviated as FC (Full Connected)) layer 267, softmax function (hereinafter abbreviated as SMF (SoftMax Function) layer 268, and principal component analysis (hereinafter abbreviated as PCA (Principal Component Analysis)) layer 269.
  • SA Self-attention
  • GAP Global Function Polling
  • FC Fully connected
  • SMF SoftMax Function
  • PCA Principal component analysis
  • the SA mechanism layer 265 performs the convolution process shown in FIG. 14 on the feature amount set 255 while changing the coefficient of the filter 203 according to the element value of the attention element 201I.
  • the convolution process performed in the SA mechanism layer 265 is referred to as an SA convolution process.
  • the SA mechanism layer 265 outputs the feature amount set 255 after the SA convolution process to the GAP layer 266.
  • the GAP layer 266 undergoes an overall average pooling treatment on the feature amount set 255 after the SA convolution treatment.
  • the overall average pooling process is a process for obtaining the average value of the feature amount Z for each channel (see FIG. 15) of the feature amount set 255. For example, when the number of channels of the feature amount set 255 is 512, the average value of 512 feature amounts Z is obtained by the overall average pooling process.
  • the GAP layer 266 outputs the average value of the obtained feature amount Z to the FC layer 267 and the PCA layer 269.
  • the FC layer 267 converts the average value of the feature amount Z into a variable handled by the SMF of the SMF layer 268.
  • the FC layer 267 has an input layer having as many units as the number of average values of the feature amount Z (that is, the number of channels of the feature amount set 255) and an output layer having as many units as the number of variables handled by the SMF.
  • Each unit of the input layer and each unit of the output layer are fully connected to each other, and weights are set for each.
  • An average value of the feature amount Z is input to each unit of the input layer.
  • the sum of products of the average value of the feature amount Z and the weight set between each unit is the output value of each unit of the output layer.
  • This output value is a variable handled by SMF.
  • the FC layer 267 outputs the variables handled by the SMF to the SMF layer 268.
  • the SMF layer 268 outputs the class 258 by applying the variable to the SMF.
  • the PCA layer 269 performs PCA on the average value of the feature amount Z, and sets the average value of the plurality of feature amount Z as the aggregated feature amount ZA in a smaller number. For example, the PCA layer 269 aggregates the average value of 512 feature quantities Z into one aggregated feature quantity ZA.
  • the AE250 is learned by inputting the learning anatomical area image 56L in the learning phase.
  • the AE250 outputs a learning restored image 256L with respect to the learning dissection area image 56L.
  • the loss calculation of the AE250 using the loss function is performed.
  • various coefficients of the AE250 are updated according to the result of the loss calculation (hereinafter referred to as the loss L1), and the AE250 is updated according to the update setting.
  • the above series of processes of inputting the learning anatomical area image 56L to the AE250, outputting the learning restored image 256L from the AE250, loss calculation, update setting, and updating the AE250 are the learning anatomy.
  • the area image 56L is repeatedly exchanged and repeated.
  • the single task CNN251 is trained by being given learning data 275 in the learning phase.
  • the learning data 275 is a set of a learning anatomical area image 56L and a correct answer class 258CA corresponding to the learning anatomical area image 56L.
  • the correct answer class 258CA did the patient P to be photographed on the head MRI image 15 obtained the anatomical area image 56L for learning actually remain mild cognitive impairment after 2 years, or progressed to Alzheimer's disease 2 years later? Is shown.
  • the learning dissection area image 56L is input to the single task CNN251.
  • the single task CNN251 outputs a learning class 258L for a learning dissection area image 56L.
  • the loss calculation of the single task CNN251 using the cross entropy function or the like is performed.
  • various coefficients of the single task CNN 251 are updated according to the result of the loss calculation (hereinafter referred to as the loss L2), and the single task CNN 251 is updated according to the update setting.
  • the update setting of the AE250 and the update setting of the single task CNN251 are performed based on the total loss L represented by the following equation (2).
  • is a weight.
  • L L1 ⁇ ⁇ + L2 ⁇ (1- ⁇ ) ⁇ ⁇ ⁇ (2) That is, the total loss L is a weighted sum of the loss L1 of the AE250 and the loss L2 of the single task CNN251.
  • 1 is set for the weight ⁇ in the initial stage of the learning phase.
  • the weight ⁇ is gradually reduced from 1 as learning progresses, and eventually becomes a fixed value (0.8 in FIG. 35).
  • the learning of the AE250 and the learning of the single task CNN251 are performed together with the intensity corresponding to the weight ⁇ .
  • the weight given to the loss L1 is larger than the weight given to the loss L2.
  • the weight given to the loss L1 is gradually decreased from the maximum value of 1, and the weight given to the loss L2 is gradually increased from the minimum value of 0, and both are set to fixed values.
  • the restoration accuracy from the anatomical area image 56L for learning by the AE250 to the restoration image 256L for learning reaches a predetermined setting level, and the learning is performed for the correct answer class 258CA by the single task CNN251. It ends when the prediction accuracy of class 258L reaches a predetermined set level.
  • the AE250 and the single-tasking CNN251 whose restoration accuracy and prediction accuracy have reached the set level in this way are stored in the storage 20 and used as the learned feature amount derivation model 252.
  • the dementia finding derivation unit 280 of the present embodiment inputs the aggregated feature group ZAG and the dementia-related information 281 into the dementia finding derivation model 282.
  • the aggregated feature group ZAG is composed of a plurality of aggregated feature quantities ZA output for each dissected area.
  • the dementia-related information 281 is the sex, age, volume of the dissected area, dementia test score, and genetic test of the patient P who diagnoses dementia. Results, test results of spinal fluid test, test results of blood test, etc. are included.
  • the dementia finding derivation model 282 has a quantile normalization unit 283 and a linear discriminant analysis unit 284.
  • the aggregate feature group ZAG and dementia-related information 281 are input to the quantile normalization unit 283.
  • the quantile normalization unit 283 converts the plurality of aggregated feature quantities ZA constituting the aggregated feature quantity group ZAG and the parameters of the dementia-related information 281 into data according to a normal distribution in order to handle them in the same row.
  • Quantile Normalization is performed.
  • the linear discriminant analysis unit 284 performs linear discriminant analysis (Linear Discriminant Analysis) for each parameter of the aggregated feature amount ZA and the dementia-related information 281 after the division normalization process, and as a result, the dementia finding information 285 is obtained. Output.
  • Dementia finding information 285 is either that the patient P with mild cognitive impairment currently remains mild cognitive impairment after 2 years or progresses to Alzheimer's disease after 2 years.
  • the learning of the dementia finding derivation model 282 is the same as the learning of the dementia finding derivation model 112 shown in FIG. 24, except that the learning feature set group 59L is changed to the learning aggregate feature group ZAG. Therefore, illustration and description will be omitted.
  • the single task CNN251 that performs the main task such as the output of class 258 and the single task CNN251 are partially common, and the AE250 that performs a subtask that is more general than the main task such as the generation of the restored image 256. Is used as the feature quantity derivation model 252. Then, the AE250 and the single task CNN251 are learned at the same time. Therefore, as compared with the case where the AE250 and the single task CNN251 are separate, a more appropriate feature amount set 255 and aggregated feature amount ZA can be output, and as a result, the prediction accuracy of the dementia finding information 285 can be improved. ..
  • the update setting is performed based on the total loss L, which is the weighted sum of the loss L1 of the AE250 and the loss L2 of the single task CNN251. Therefore, by setting the weight ⁇ to an appropriate value, the AE250 can be intensively learned, the single-tasking CNN251 can be intensively learned, and the AE250 and the single-tasking CNN251 can be learned in a well-balanced manner.
  • the weight given to the loss L1 is larger than the weight given to the loss L2. Therefore, the AE250 can always be focused on learning. If the AE250 is always focused on learning, the feature amount set 255 that more expresses the features of the shape and texture of the dissected area can be output from the compression unit 253, and as a result, the more plausible aggregate feature amount ZA can be output from the output unit. It can be output from 257.
  • the weight given to the loss L1 is gradually decreased from the maximum value, and the weight given to the loss L2 is gradually increased from the minimum value, and when learning is performed a predetermined number of times, both are set as fixed values. Therefore, the AE250 can be learned more intensively in the initial stage of learning.
  • the AE250 is responsible for the relatively simple subtask of generating the restored image 256. Therefore, if the AE250 is trained more intensively in the initial stage of learning, the feature amount set 255 that more expresses the characteristics of the shape and texture of the dissected area can be output from the compression unit 253 in the initial stage of learning. ..
  • Table 300 shown in FIG. 37 shows No. 1 according to the method for predicting the progression of dementia described in the following documents A, B, C, D, E, F, and G. Nos. 1 to 7 and No. 1 relating to the method for predicting the progression of dementia according to the present embodiment.
  • the performance comparison with 8 and 9 is shown.
  • No. Reference numeral 8 shows a case where only the aggregate feature group ZAG is input to the dementia finding derivation model 282 and the dementia-related information 281 is not input.
  • No. Reference numeral 9 shows a case where the aggregated feature group ZAG and the dementia-related information 281 are input to the dementia finding derivation model 282.
  • No. Sensitivity of 8 and 9 is 0.85 and 0.91. These values are No. Higher than any of 1-7. Especially No. The sensitivity of 9 of 0.91 is the highest value among them. Therefore, in the method for predicting the progression of dementia of the present embodiment, as compared with the conventional methods for predicting the progression of dementia described in Documents A to G, the patient P with mild cognitive impairment currently progresses to Alzheimer's disease after the prediction period. Can be said to be able to be predicted without overlooking.
  • ADNI Alzheimer's Disease Neuroimaging Initiative
  • AIBL is an abbreviation for "Australian Imaging Biomarkers and Lifestyle Study of Aging”.
  • J-ADNI is an abbreviation for "Japanese Alzheimer's Disease Neuroimaging Intivive”. Both show a database in which head MRI images 15 and the like of patient P with Alzheimer's disease are accumulated.
  • the multitasking CNN150 of the fourth embodiment may be used.
  • the learning of the multitasking CNN150 shown in FIG. 34 and the learning of the AE250 and the singletasking CNN251 shown in FIG. 34 may be performed by the diagnostic support device 12 or by a device other than the diagnostic support device 12. Further, these learnings may be continuously performed after storing each model in the storage 20 of the diagnostic support device 12.
  • the PACS server 11 may function as the diagnostic support device 12.
  • the medical image is not limited to the illustrated head MRI image 15.
  • PET Positron Emission Tomography
  • SPECT Single Photon Emission Tomography
  • CT Computed Tomography
  • the organ is not limited to the illustrated brain, but may be the heart, lungs, liver, etc.
  • the right lungs S1, S2, left lungs S1, S2 and the like are extracted as dissected areas.
  • the liver the right lobe, left lobe, gallbladder, etc. are extracted as dissected areas.
  • the disease is not limited to the exemplified dementia, and may be heart disease, pneumonia, liver dysfunction, or the like.
  • RW control unit 45 normalization unit 46, extraction unit 47, feature quantity derivation unit 48 and 160, dementia finding derivation unit 49, 110, and 280, contribution degree derivation unit 50 and 120
  • the processing unit Processing Unit
  • the following various processors can be used.
  • the CPU 22 which is a general-purpose processor that executes software (operation program 30) and functions as various processing units, after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • Dedicated processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose circuit configuration can be changed. Includes electrical circuits and the like.
  • One processing unit may be composed of one of these various processors, or may be a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs and / or a CPU). It may be configured in combination with FPGA). Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server.
  • the processor functions as a plurality of processing units.
  • SoC System On Chip
  • SoC system On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
  • the technique of the present disclosure can be appropriately combined with the various embodiments described above and / or various modifications. Further, it is of course not limited to each of the above embodiments, and various configurations can be adopted as long as they do not deviate from the gist. Further, the technique of the present disclosure extends to a storage medium for storing the program non-temporarily in addition to the program.
  • a and / or B is synonymous with "at least one of A and B". That is, “A and / or B” means that it may be A alone, B alone, or a combination of A and B. Further, in the present specification, when three or more matters are connected and expressed by "and / or", the same concept as “A and / or B" is applied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

プロセッサと、プロセッサに接続または内蔵されたメモリと、を備え、プロセッサは、医用画像を取得し、医用画像から臓器の複数の解剖区域を抽出し、複数の解剖区域の画像を、複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、特徴量導出モデルから複数の解剖区域毎の複数の特徴量を出力させ、複数の解剖区域毎に出力された複数の特徴量を疾病所見導出モデルに入力し、疾病所見導出モデルから疾病の所見を出力させ、所見の出力への寄与の程度を表す第1寄与度を解剖区域毎に導出し、所見と解剖区域毎の第1寄与度の導出結果とを提示する、診断支援装置。

Description

診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法
 本開示の技術は、診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法に関する。
 疾病、例えばアルツハイマー病に代表される認知症の診断において、医師は、頭部MRI(Magnetic Resonance Imaging)画像等の医用画像を参照する。医師は、例えば、海馬、海馬傍回、扁桃体等の萎縮の程度、白質の血管障害の程度、前頭葉、側頭葉、後頭葉の血流代謝低下の有無等を観察し、認知症の所見を得る。
 特許第6483890号には、頭部MRI画像に対する認知症の所見を、機械学習モデルにより導出して医師に提供する診断支援装置が記載されている。特許第6483890号に記載の診断支援装置は、ブロードマンの脳地図等に応じた複数の解剖区域を頭部MRI画像から抽出し、各解剖区域の萎縮の程度を示すZ値を算出している。そして、算出した各解剖区域のZ値を機械学習モデルに入力し、機械学習モデルから認知症の所見を出力させている。
 前述のように、認知症等の疾病の所見を得るためには、脳等の臓器の各解剖区域を、様々な視点で隈なく精査する必要がある。しかしながら特許第6483890号では、統計的に得られたただ1つのZ値という指標値だけを用いている。このため、こうした限定的な情報だけで得られる疾病の所見の予測精度には限界があった。
 また、たとえ予測精度の高い疾病の所見を得られたとしても、当該所見の出力に各解剖区域がどの程度寄与したのかが分からなければ、医師は所見の尤もらしさを判断することができなかった。
 本開示の技術に係る1つの実施形態は、より的確な疾病の所見を得ることが可能で、かつ、所見の出力に臓器の各解剖区域がどの程度寄与したのかを知ることが可能な診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法を提供する。
 本開示の診断支援装置は、プロセッサと、プロセッサに接続または内蔵されたメモリと、を備え、プロセッサは、医用画像を取得し、医用画像から臓器の複数の解剖区域を抽出し、複数の解剖区域の画像を、複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、特徴量導出モデルから複数の解剖区域毎の複数の特徴量を出力させ、複数の解剖区域毎に出力された複数の特徴量を疾病所見導出モデルに入力し、疾病所見導出モデルから疾病の所見を出力させ、所見の出力への寄与の程度を表す第1寄与度を解剖区域毎に導出し、所見と解剖区域毎の第1寄与度の導出結果とを提示する。
 プロセッサは、第1寄与度が大きい順に導出結果を提示することが好ましい。
 プロセッサは、複数の特徴量に加えて、疾病に関わる疾病関連情報を疾病所見導出モデルに入力することが好ましい。
 疾病関連情報は複数の項目を有し、プロセッサは、所見の出力への寄与の程度を表す第2寄与度を項目毎に導出し、項目毎の第2寄与度の導出結果を提示することが好ましい。
 特徴量導出モデルは、オートエンコーダ、シングルタスクのクラス判別用畳み込みニューラルネットワーク、およびマルチタスクのクラス判別用畳み込みニューラルネットワークのうちの少なくともいずれか1つを含むことが好ましい。
 プロセッサは、1つの解剖区域の画像を、異なる複数の特徴量導出モデルに入力し、複数の特徴量導出モデルの各々から特徴量を出力させることが好ましい。
 疾病所見導出モデルは、ニューラルネットワーク、サポートベクターマシン、およびブースティングのうちのいずれかの手法によって構築されることが好ましい。
 プロセッサは、解剖区域の抽出に先立ち、取得した医用画像を標準医用画像に合わせる正規化処理を行うことが好ましい。
 臓器は脳であり、疾病は認知症であることが好ましい。この場合、複数の解剖区域は、海馬および前側頭葉のうちの少なくともいずれか1つを含むことが好ましい。また、疾病関連情報は、解剖区域の体積、認知症テストのスコア、遺伝子検査の検査結果、髄液検査の検査結果、および血液検査の検査結果のうちの少なくともいずれか1つを含むことが好ましい。
 本開示の診断支援装置の作動方法は、医用画像を取得すること、医用画像から臓器の複数の解剖区域を抽出すること、複数の解剖区域の画像を、複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、特徴量導出モデルから複数の解剖区域毎の複数の特徴量を出力させること、複数の解剖区域毎に出力された複数の特徴量を疾病所見導出モデルに入力し、疾病所見導出モデルから疾病の所見を出力させること、所見の出力への寄与の程度を表す第1寄与度を解剖区域毎に導出すること、および、所見と解剖区域毎の第1寄与度の導出結果とを提示すること、を含む。
 本開示の診断支援装置の作動プログラムは、医用画像を取得すること、医用画像から臓器の複数の解剖区域を抽出すること、複数の解剖区域の画像を、複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、特徴量導出モデルから複数の解剖区域毎の複数の特徴量を出力させること、複数の解剖区域毎に出力された複数の特徴量を疾病所見導出モデルに入力し、疾病所見導出モデルから疾病の所見を出力させること、所見の出力への寄与の程度を表す第1寄与度を解剖区域毎に導出すること、および、所見と解剖区域毎の第1寄与度の導出結果とを提示すること、を含む処理をコンピュータに実行させる。
 本開示の認知症診断支援方法は、プロセッサと、プロセッサに接続または内蔵されたメモリと、を備えるコンピュータが、脳が写った医用画像を取得すること、医用画像から脳の複数の解剖区域を抽出すること、複数の解剖区域の画像を、複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、特徴量導出モデルから複数の解剖区域毎の複数の特徴量を出力させること、複数の解剖区域毎に出力された複数の特徴量を認知症所見導出モデルに入力し、認知症所見導出モデルから認知症の所見を出力させること、所見の出力への寄与の程度を表す第1寄与度を解剖区域毎に導出すること、および、所見と解剖区域毎の第1寄与度の導出結果とを提示すること、を行う。
 本開示の技術によれば、より的確な疾病の所見を得ることが可能で、かつ、所見の出力に臓器の各解剖区域がどの程度寄与したのかを知ることが可能な診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法を提供することができる。
診断支援装置を含む医療システムを示す図である。 診断支援装置を構成するコンピュータを示すブロック図である。 診断支援装置のCPUの処理部を示すブロック図である。 正規化部の処理を示す図である。 抽出部の処理を示す図である。 特徴量導出部の処理を示す図である。 認知症所見導出部の処理を示す図である。 第1寄与度情報を示す図である。 第1表示画面を示す図である。 第2表示画面を示す図である。 第3表示画面を示す図である。 第1寄与度情報の表示の切り替えを示す図である。 オートエンコーダの構成および特徴量導出モデルの成り立ちを示す図である。 畳み込み処理の説明図である。 演算データの構成を示す図である。 プーリング処理の説明図である。 オートエンコーダの学習フェーズにおける処理の概要を示す図である。 認知症所見導出モデルの学習フェーズにおける処理の概要を示す図である。 診断支援装置の処理手順を示すフローチャートである。 診断支援装置の処理手順を示すフローチャートである。 認知症所見情報の別の例を示す図である。 認知症所見情報のさらに別の例を示す図である。 第2実施形態の認知症所見導出部の処理を示す図である。 第2実施形態の認知症所見導出モデルの学習フェーズにおける処理の概要を示す図である。 第2実施形態の寄与度導出部の処理、および第2寄与度情報を示す図である。 第2実施形態の第3表示画面を示す図である。 シングルタスクのクラス判別用畳み込みニューラルネットワークの構成および特徴量導出モデルの成り立ちを示す図である。 シングルタスクのクラス判別用畳み込みニューラルネットワークの学習フェーズにおける処理の概要を示す図である。 マルチタスクのクラス判別用畳み込みニューラルネットワークの構成および特徴量導出モデルの成り立ちを示す図である。 マルチタスクのクラス判別用畳み込みニューラルネットワークの学習フェーズにおける処理の概要を示す図である。 第5実施形態の特徴量導出部の処理を示す図である。 オートエンコーダとシングルタスクのクラス判別用畳み込みニューラルネットワークの構成、および特徴量導出モデルの成り立ちを示す図である。 出力部の詳細構成を示す図である。 オートエンコーダおよびシングルタスクのクラス判別用畳み込みニューラルネットワークの学習フェーズにおける処理の概要を示す図である。 オートエンコーダの損失に与えられる重みの変遷を示すグラフである。 第6実施形態の認知症所見導出部の処理を示す図である。 従来の文献に記載の認知症の進行予測方法と第6実施形態の認知症の進行予測方法との性能比較を示す表である。
 [第1実施形態]
 一例として図1に示すように、医療システム2は、MRI装置10、PACS(Picture Archiving and Communication System)サーバ11、および診断支援装置12を備える。これらMRI装置10、PACSサーバ11、および診断支援装置12は、医療施設内に敷設されたLAN(Local Area Network)13に接続されており、LAN13を介して相互に通信することが可能である。
 MRI装置10は、患者Pの頭部を撮影して頭部MRI画像15を出力する。頭部MRI画像15は、患者Pの頭部の三次元形状を表すボクセルデータである。図1においては、サジタル断面の頭部MRI画像15Sを示している。MRI装置10は、頭部MRI画像15をPACSサーバ11に送信する。PACSサーバ11は、MRI装置10からの頭部MRI画像15を記憶し、管理する。なお、頭部MRI画像15は、本開示の技術に係る「医用画像」の一例である。
 診断支援装置12は、例えばデスクトップ型のパーソナルコンピュータであり、ディスプレイ17と入力デバイス18とを備える。入力デバイス18は、キーボード、マウス、タッチパネル、マイクロフォン等である。医師は、入力デバイス18を操作して、PACSサーバ11に対して患者Pの頭部MRI画像15の配信要求を送信する。PACSサーバ11は、配信要求された患者Pの頭部MRI画像15を検索して診断支援装置12に配信する。診断支援装置12は、PACSサーバ11から配信された頭部MRI画像15をディスプレイ17に表示する。医師は、頭部MRI画像15に写る患者Pの脳を観察して、患者Pに対する認知症の診断を行う。なお、脳は、本開示の技術に係る「臓器」の一例であり、認知症は、本開示の技術に係る「疾病」の一例である。また、図1では、MRI装置10および診断支援装置12はそれぞれ1台しか描かれていないが、MRI装置10および診断支援装置12はそれぞれ複数台あってもよい。
 一例として図2に示すように、診断支援装置12を構成するコンピュータは、前述のディスプレイ17および入力デバイス18に加えて、ストレージ20、メモリ21、CPU(Central Processing Unit)22、および通信部23を備えている。これらはバスライン24を介して相互接続されている。なお、CPU22は、本開示の技術に係る「プロセッサ」の一例である。
 ストレージ20は、診断支援装置12を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージ20は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージ20には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
 メモリ21は、CPU22が処理を実行するためのワークメモリである。CPU22は、ストレージ20に記憶されたプログラムをメモリ21へロードして、プログラムにしたがった処理を実行する。これによりCPU22は、コンピュータの各部を統括的に制御する。通信部23は、PACSサーバ11等の外部装置との各種情報の伝送制御を行う。なお、メモリ21は、CPU22に内蔵されていてもよい。
 一例として図3に示すように、診断支援装置12のストレージ20には、作動プログラム30が記憶されている。作動プログラム30は、コンピュータを診断支援装置12として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム30は、本開示の技術に係る「診断支援装置の作動プログラム」の一例である。ストレージ20には、頭部MRI画像15、標準頭部MRI画像35、セグメンテーションモデル36、複数の特徴量導出モデル37で構成される特徴量導出モデル群38、および認知症所見導出モデル39も記憶される。
 作動プログラム30が起動されると、診断支援装置12を構成するコンピュータのCPU22は、メモリ21等と協働して、リードライト(以下、RW(Read Write)と略す)制御部45、正規化部46、抽出部47、特徴量導出部48、認知症所見導出部49、寄与度導出部50、および表示制御部51として機能する。
 RW制御部45は、ストレージ20への各種データの記憶、およびストレージ20内の各種データの読み出しを制御する。例えばRW制御部45は、PACSサーバ11からの頭部MRI画像15を受け取り、受け取った頭部MRI画像15をストレージ20に記憶する。なお、図3では頭部MRI画像15は1つしかストレージ20に記憶されていないが、頭部MRI画像15はストレージ20に複数記憶されていてもよい。
 RW制御部45は、認知症を診断するために医師が指定した患者Pの頭部MRI画像15をストレージ20から読み出し、読み出した頭部MRI画像15を正規化部46および表示制御部51に出力する。RW制御部45は、頭部MRI画像15をストレージ20から読み出すことで、頭部MRI画像15を取得していることになる。
 また、RW制御部45は、標準頭部MRI画像35をストレージ20から読み出し、読み出した標準頭部MRI画像35を正規化部46に出力する。RW制御部45は、セグメンテーションモデル36をストレージ20から読み出し、読み出したセグメンテーションモデル36を抽出部47に出力する。RW制御部45は、特徴量導出モデル群38をストレージ20から読み出し、読み出した特徴量導出モデル群38を特徴量導出部48に出力する。さらに、RW制御部45は、認知症所見導出モデル39をストレージ20から読み出し、読み出した認知症所見導出モデル39を認知症所見導出部49に出力する。
 正規化部46は、頭部MRI画像15を標準頭部MRI画像35に合わせる正規化処理を行い、頭部MRI画像15を正規化頭部MRI画像55とする。正規化部46は、正規化頭部MRI画像55を抽出部47に出力する。
 標準頭部MRI画像35は、標準的な形状、大きさ、および濃度(画素値)の脳が写った頭部MRI画像である。標準頭部MRI画像35は、例えば、複数の健常者の頭部MRI画像15を平均することで生成した画像、あるいは、コンピュータグラフィックスにより生成した画像である。標準頭部MRI画像35は、本開示の技術に係る「標準医用画像」の一例である。
 抽出部47は、正規化頭部MRI画像55をセグメンテーションモデル36に入力する。セグメンテーションモデル36は、正規化頭部MRI画像55に写る脳の画素毎に、海馬、扁桃体、前頭葉等の脳の各解剖区域を表すラベルを付与する、いわゆるセマンティックセグメンテーションを行う機械学習モデルである。抽出部47は、セグメンテーションモデル36が付与したラベルに基づいて、正規化頭部MRI画像55から、脳の複数の解剖区域の画像(以下、解剖区域画像という)56を抽出する。抽出部47は、複数の解剖区域毎の複数の解剖区域画像56で構成される解剖区域画像群57を、特徴量導出部48、寄与度導出部50、および表示制御部51に出力する。
 特徴量導出モデル37は、脳の複数の解剖区域毎に1つずつ用意されている(図6参照)。特徴量導出部48は、解剖区域画像56を対応する特徴量導出モデル37に入力する。そして、特徴量導出モデル37から複数種類の特徴量Z(図6参照)で構成される特徴量セット58を出力させる。特徴量導出部48は、複数の解剖区域に対応する複数の特徴量セット58で構成される特徴量セット群59を、認知症所見導出部49および寄与度導出部50に出力する。
 認知症所見導出部49は、特徴量セット群59を認知症所見導出モデル39に入力する。そして、認知症所見導出モデル39から認知症の所見を表す認知症所見情報60を出力させる。認知症所見導出部49は、認知症所見情報60を寄与度導出部50および表示制御部51に出力する。なお、認知症所見導出モデル39は、本開示の技術に係る「疾病所見導出モデル」の一例である。
 寄与度導出部50は、抽出部47からの解剖区域画像群57、特徴量導出部48からの特徴量セット群59、および認知症所見導出部49からの認知症所見情報60に基づいて、認知症所見情報60の出力への寄与の程度を表す第1寄与度を解剖区域毎に導出する。寄与度導出部50による第1寄与度の導出は、例えば下記文献に記載のGrad-CAM(Gradient-weighted Class Activation Mapping)++による方法を用いる。
 <Daniel Omeiza, etc., Smooth Grad-CAM++: An Enhanced Inference Level Visualization Technique for Deep Convolutional Neural Network Models, arXiv:1908.01224, Aug 2019.>
 寄与度導出部50は、導出した第1寄与度から第1寄与度情報61を生成する。第1寄与度情報61は、本開示の技術に係る「第1寄与度の導出結果」の一例である。寄与度導出部50は、第1寄与度情報61を表示制御部51に出力する。
 表示制御部51は、ディスプレイ17への各種画面の表示を制御する。各種画面には、セグメンテーションモデル36、特徴量導出モデル37、および認知症所見導出モデル39による解析を指示するための第1表示画面75(図9参照)、認知症所見情報60を表示する第2表示画面80(図10参照)、および第1寄与度情報61を表示する第3表示画面85(図11参照)等が含まれる。
 一例として図4に示すように、正規化部46は、頭部MRI画像15に対して、正規化処理として形状正規化処理65および濃度正規化処理66を行う。形状正規化処理65は、例えば、頭部MRI画像15および標準頭部MRI画像35から、位置合わせの基準となるランドマークを抽出し、頭部MRI画像15のランドマークと標準頭部MRI画像35のランドマークとの相関が最大となるよう、頭部MRI画像15を標準頭部MRI画像35に合わせて平行移動、回転、および/または拡大縮小する処理である。濃度正規化処理66は、例えば、頭部MRI画像15の濃度ヒストグラムを、標準頭部MRI画像35の濃度ヒストグラムに合わせて補正する処理である。
 一例として図5に示すように、抽出部47は、解剖区域画像56として、海馬の解剖区域画像56_1、海馬傍回の解剖区域画像56_2、前頭葉の解剖区域画像56_3、前側頭葉の解剖区域画像56_4、後頭葉の解剖区域画像56_5、視床の解剖区域画像56_6、視床下部の解剖区域画像56_7、扁桃体の解剖区域画像56_8、脳下垂体の解剖区域画像56_9、・・・等を抽出する。これらの他にも、抽出部47は、乳頭体、脳梁、脳弓、側脳室等の各解剖区域の解剖区域画像56を抽出する。海馬、前頭葉、前側頭葉、扁桃体といった解剖区域は左右一対である。図では表現していないが、こうした左右一対の解剖区域は、左右それぞれの解剖区域の解剖区域画像56が抽出される。例えば海馬は、左海馬の解剖区域画像56_1と右海馬の解剖区域画像56_1が抽出される。なお、これらの解剖区域のうち、海馬および前側頭葉のうちの少なくともいずれか1つを含むことが好ましく、海馬および前側頭葉を全て含むことがより好ましい。前側頭葉とは、側頭葉の前部という意である。抽出部47によるセグメンテーションモデル36を用いた解剖区域の抽出は、例えば下記文献に記載の方法を用いる。
 <Patrick McClure, etc., Knowing What You Know in Brain Segmentation Using Bayesian Deep Neural Networks, Front. Neuroinform., 17 October 2019.>
 一例として図6に示すように、特徴量導出部48は、海馬の解剖区域画像56_1を海馬の特徴量導出モデル37_1に入力し、海馬の特徴量導出モデル37_1から海馬の特徴量セット58_1を出力させる。海馬の特徴量セット58_1は、複数の特徴量Z1_1、Z2_1、・・・、ZN_1で構成される。なお、Nは特徴量の個数であり、例えば数十個~数十万個である。
 同様にして、特徴量導出部48は、海馬傍回の解剖区域画像56_2を海馬傍回の特徴量導出モデル37_2に入力し、前頭葉の解剖区域画像56_3を前頭葉の特徴量導出モデル37_3に入力し、前側頭葉の解剖区域画像56_4を前側頭葉の特徴量導出モデル37_4に入力する。そして、海馬傍回の特徴量導出モデル37_2から海馬傍回の特徴量セット58_2を出力させ、前頭葉の特徴量導出モデル37_3から前頭葉の特徴量セット58_3を出力させ、前側頭葉の特徴量導出モデル37_4から前側頭葉の特徴量セット58_4を出力させる。海馬傍回の特徴量セット58_2は、複数の特徴量Z1_2、Z2_2、・・・、ZN_2で構成され、前頭葉の特徴量セット58_3は、複数の特徴量Z1_3、Z2_3、・・・、ZN_3で構成され、前側頭葉の特徴量セット58_4は、複数の特徴量Z1_4、Z2_4、・・・、ZN_4で構成される。
 また、特徴量導出部48は、後頭葉の解剖区域画像56_5を後頭葉の特徴量導出モデル37_5に入力し、視床の解剖区域画像56_6を視床の特徴量導出モデル37_6に入力する。そして、後頭葉の特徴量導出モデル37_5から後頭葉の特徴量セット58_5を出力させ、視床の特徴量導出モデル37_6から視床の特徴量セット58_6を出力させる。後頭葉の特徴量セット58_5は、複数の特徴量Z1_5、Z2_5、・・・、ZN_5で構成され、視床の特徴量セット58_6は、複数の特徴量Z1_6、Z2_6、・・・、ZN_6で構成される。このように、複数の解剖区域画像56は、それぞれ対応する特徴量導出モデル37に入力され、これにより解剖区域画像56毎の複数の特徴量セット58が各特徴量導出モデル37から出力される。なお、特徴量Zの個数は、例示のN個のように各解剖区域で同じでもよいし、各解剖区域で異なっていてもよい。
 一例として図7に示すように、認知症所見導出部49は、特徴量セット群59を認知症所見導出モデル39に入力する。そして、認知症所見導出モデル39から、認知症所見情報60として、正常(NC;Normal Control)、軽度認知障害(MCI;Mild Cognitive Impairment)、およびアルツハイマー病(AD;Alzheimer’s Disease)のいずれかを出力させる。
 一例として図8に示すように、第1寄与度情報61は、複数の解剖区域毎の複数の第1寄与度マップ70で構成される第1寄与度マップ群71と、順位表72とを有する。第1寄与度マップ70には、海馬の第1寄与度マップ70_1、前頭葉の第1寄与度マップ70_3、後頭葉の第1寄与度マップ70_5等がある。第1寄与度マップ70は、解剖区域画像56の各画素に対して第1寄与度の高低に応じた色を割り当てた、いわば第1寄与度のヒートマップである。具体的には、第1寄与度が比較的高い画素には赤、オレンジ等の暖色が割り当てられ、第1寄与度が比較的低い画素には紫、青等の寒色が割り当てられている。
 順位表72は、解剖区域を第1寄与度が高い順に並べた表である。図8においては、海馬が1位、海馬傍回が2位、前頭葉が3位、前側頭葉が4位、・・・の場合を例示している。
 図9に、セグメンテーションモデル36、特徴量導出モデル37、および認知症所見導出モデル39による解析を指示するための第1表示画面75の一例を示す。第1表示画面75には、認知症を診断する患者Pの頭部MRI画像15が表示される。頭部MRI画像15は、サジタル断面の頭部MRI画像15S、アキシャル断面の頭部MRI画像15A、およびコロナル断面の頭部MRI画像15Cである。これら各頭部MRI画像15S、15A、および15Cの下部には、表示を切り替えるためのボタン群76が設けられている。
 第1表示画面75には、解析ボタン77が設けられている。医師は、セグメンテーションモデル36、特徴量導出モデル37、および認知症所見導出モデル39による解析を行いたい場合、解析ボタン77を選択する。これにより、セグメンテーションモデル36、特徴量導出モデル37、および認知症所見導出モデル39による解析の指示が、CPU22にて受け付けられる。
 図10に、セグメンテーションモデル36、特徴量導出モデル37、および認知症所見導出モデル39による解析の結果得られた認知症所見情報60を表示する第2表示画面80の一例を示す。第2表示画面80には、認知症所見情報60に応じたメッセージ81が表示される。図10においては、認知症所見情報60が軽度認知障害(MCI)で、メッセージ81として「軽度認知障害の疑い」が表示された例を示している。
 第2表示画面80には、寄与度導出ボタン82が設けられている。医師は、認知症所見情報60の出力に各解剖区域がどの程度寄与したのかを知りたい場合、寄与度導出ボタン82を選択する。これにより、第1寄与度情報61の導出の指示が、CPU22にて受け付けられる。なお、表示制御部51は、確認ボタン83が選択された場合、メッセージ81の表示を消し、第2表示画面80を第1表示画面75に戻す。
 図11に、寄与度導出部50が出力した第1寄与度情報61を表示する第3表示画面85の一例を示す。第3表示画面85には、頭部MRI画像15、および認知症所見情報60に応じたメッセージ81に加えて、第1寄与度の順位と当該順位の解剖区域を示すメッセージ86、解剖区域画像56、並びに第1寄与度マップ70が表示される。解剖区域画像56と第1寄与度マップ70は並べて表示される。解剖区域画像56と第1寄与度マップ70の下部には、表示を切り替えるためのボタン群87が設けられている。なお、表示制御部51は、確認ボタン88が選択された場合、メッセージ86、解剖区域画像56、並びに第1寄与度マップ70の表示を消し、第3表示画面85を第2表示画面80に戻す。
 一例として図12に示すように、ボタン群87が操作された場合、表示制御部51は、メッセージ86、解剖区域画像56、並びに第1寄与度マップ70の表示を切り替える。表示制御部51は、これらメッセージ86、解剖区域画像56、並びに第1寄与度マップ70の表示の切り替えを、第1寄与度が大きい順に行う。図12においては、図8で示した順位表72にしたがって表示が切り替えられる例を示している。具体的には、最初に1位の海馬の解剖区域画像56_1および第1寄与度マップ70_1、次に2位の海馬傍回の解剖区域画像56_2および第1寄与度マップ70_2、次に3位の前頭葉の解剖区域画像56_3および第1寄与度マップ70_3、・・・と順次表示が切り替えられる。
 一例として図13に示すように、特徴量導出モデル37には、オートエンコーダ(以下、AE(Auto Encoder)と略す)90の圧縮部91が用いられる。AE90は、圧縮部91と復元部92とを有する。圧縮部91には解剖区域画像56が入力される。圧縮部91は、解剖区域画像56を特徴量セット58に変換する。圧縮部91は、特徴量セット58を復元部92に受け渡す。復元部92は、特徴量セット58から解剖区域画像56の復元画像93を生成する。
 圧縮部91は、一例として図14に示すような畳み込み演算を行うことで、解剖区域画像56を特徴量セット58に変換する。具体的には、圧縮部91は、「conv(convolutionの略)」で表される畳み込み層200を有する。畳み込み層200は、2次元に配列された複数の要素201をもつ対象データ202に、例えば3×3のフィルタ203を適用する。そして、要素201のうちの1つの注目要素201Iの要素値eと、注目要素201Iに隣接する8個の要素201Sの要素値a、b、c、d、f、g、h、iを畳み込む。畳み込み層200は、注目要素201Iを1要素ずつずらしつつ、対象データ202の各要素201に対して畳み込み演算を順次行い、演算データ205の要素204の要素値を出力する。これにより、対象データ202と同様に、2次元に配列された複数の要素204を有する演算データ205が得られる。なお、最初に畳み込み層200に入力される対象データ202は解剖区域画像56であり、その後は後述する縮小演算データ205S(図16参照)が対象データ202として畳み込み層200に入力される。
 フィルタ203の係数をr、s、t、u、v、w、x、y、zとした場合、注目要素201Iに対する畳み込み演算の結果である、演算データ205の注目要素201Iに対応する要素204Iの要素値kは、例えば下記の式(1)を計算することで得られる。
 k=az+by+cx+dw+ev+fu+gt+hs+ir・・・(1)
 演算データ205は、1個のフィルタ203に対して1つ出力される。1つの対象データ202に対して複数種のフィルタ203が適用された場合は、フィルタ203毎に演算データ205が出力される。つまり、一例として図15に示すように、演算データ205は、対象データ202に適用されたフィルタ203の個数分生成される。また、演算データ205は、2次元に配列された複数の要素204を有するため、幅と高さをもつ。演算データ205の数はチャンネル数と呼ばれる。図15においては、対象データ202に4個のフィルタ203を適用して出力された4チャンネルの演算データ205を例示している。
 一例として図16に示すように、圧縮部91は、畳み込み層200の他に、「pool(poolingの略)」で表されるプーリング層210を有する。プーリング層210は、演算データ205の要素204の要素値の局所的な統計量を求め、求めた統計量を要素値とする縮小演算データ205Sを生成する。ここでは、プーリング層210は、局所的な統計量として、2×2の要素のブロック211内における要素値の最大値を求める最大値プーリング処理を行っている。ブロック211を幅方向および高さ方向に1要素ずつずらしつつ処理を行えば、縮小演算データ205Sは、元の演算データ205の1/2のサイズに縮小される。図16においては、ブロック211A内における要素値a、b、e、fのうちのb、ブロック211B内における要素値b、c、f、gのうちのb、ブロック211C内における要素値c、d、g、hのうちのhがそれぞれ最大値であった場合を例示している。なお、最大値ではなく平均値を局所的な統計量として求める、平均値プーリング処理を行ってもよい。
 圧縮部91は、畳み込み層200による畳み込み処理とプーリング層210によるプーリング処理とを複数回繰り返すことで、最終的な演算データ205を出力する。この最終的な演算データ205が、すなわち特徴量セット58であり、最終的な演算データ205の各要素204の要素値が、すなわち特徴量Zである。こうして得られた特徴量Zは、海馬の萎縮の程度、白質の血管障害の程度、前頭葉、前側頭葉、後頭葉の血流代謝低下の有無といった、解剖区域の形状およびテクスチャーの特徴を表している。なお、ここでは、説明を簡単化するため2次元としているが、実際には3次元で各処理が行われる。
 一例として図17に示すように、AE90は、圧縮部91を特徴量導出モデル37に転用する前の学習フェーズにおいて、学習用解剖区域画像56Lが入力されて学習される。AE90は、学習用解剖区域画像56Lに対して学習用復元画像93Lを出力する。これら学習用解剖区域画像56Lおよび学習用復元画像93Lに基づいて、損失関数を用いたAE90の損失演算がなされる。そして、損失演算の結果に応じてAE90の各種係数(フィルタ203の係数等)の更新設定がなされ、更新設定にしたがってAE90が更新される。
 AE90の学習フェーズにおいては、学習用解剖区域画像56LのAE90への入力、AE90からの学習用復元画像93Lの出力、損失演算、更新設定、およびAE90の更新の上記一連の処理が、学習用解剖区域画像56Lが交換されつつ繰り返し行われる。上記一連の処理の繰り返しは、学習用解剖区域画像56Lから学習用復元画像93Lへの復元精度が、予め定められた設定レベルまで達した場合に終了される。こうして復元精度が設定レベルまで達したAE90の圧縮部91が、ストレージ20に記憶されて学習済みの特徴量導出モデル37として用いられる。
 認知症所見導出モデル39の学習フェーズにおける処理の概要の一例を示す図18において、認知症所見導出モデル39は、ニューラルネットワーク、サポートベクターマシン、ブースティングのうちのいずれかの手法によって構築される。学習フェーズにおいて、認知症所見導出モデル39は、学習データ100を与えられて学習される。学習データ100は、学習用特徴量セット群59Lと、学習用特徴量セット群59Lに対応する正解認知症所見情報60CAとの組である。学習用特徴量セット群59Lは、ある頭部MRI画像15の解剖区域画像56を特徴量導出モデル37に入力して得られたものである。正解認知症所見情報60CAは、学習用特徴量セット群59Lを得た頭部MRI画像15に対する認知症の所見を、医師が実際に診断した結果である。
 学習フェーズにおいて、認知症所見導出モデル39には、学習用特徴量セット群59Lが入力される。認知症所見導出モデル39は、学習用特徴量セット群59Lに対して学習用認知症所見情報60Lを出力する。この学習用認知症所見情報60Lおよび正解認知症所見情報60CAに基づいて、損失関数を用いた認知症所見導出モデル39の損失演算がなされる。そして、損失演算の結果に応じて認知症所見導出モデル39の各種係数の更新設定がなされ、更新設定にしたがって認知症所見導出モデル39が更新される。
 認知症所見導出モデル39の学習フェーズにおいては、学習用特徴量セット群59Lの認知症所見導出モデル39への入力、認知症所見導出モデル39からの学習用認知症所見情報60Lの出力、損失演算、更新設定、および認知症所見導出モデル39の更新の上記一連の処理が、学習データ100が交換されつつ繰り返し行われる。上記一連の処理の繰り返しは、正解認知症所見情報60CAに対する学習用認知症所見情報60Lの予測精度が、予め定められた設定レベルまで達した場合に終了される。こうして予測精度が設定レベルまで達した認知症所見導出モデル39が、ストレージ20に記憶されて学習済み認知症所見導出モデルとして認知症所見導出部49で用いられる。
 次に、上記構成による作用について、図19および図20のフローチャートを参照して説明する。まず、診断支援装置12において作動プログラム30が起動されると、図3で示したように、診断支援装置12のCPU22は、RW制御部45、正規化部46、抽出部47、特徴量導出部48、認知症所見導出部49、寄与度導出部50、および表示制御部51として機能される。
 一例として図19に示すように、図9で示した第1表示画面75において、解析ボタン77が選択された場合、RW制御部45により、ストレージ20から対応する頭部MRI画像15、および標準頭部MRI画像35が読み出される(ステップST100)。頭部MRI画像15および標準頭部MRI画像35は、RW制御部45から正規化部46に出力される。
 図4で示したように、正規化部46において、頭部MRI画像15を標準頭部MRI画像35に合わせる正規化処理(形状正規化処理65および濃度正規化処理66)が行われる(ステップST110)。これにより頭部MRI画像15が正規化頭部MRI画像55とされる。正規化頭部MRI画像55は、正規化部46から抽出部47に出力される。
 図5で示したように、抽出部47において、セグメンテーションモデル36を用いて、正規化頭部MRI画像55から複数の解剖区域画像56が抽出される(ステップST120)。複数の解剖区域画像56で構成される解剖区域画像群57は、抽出部47から特徴量導出部48、寄与度導出部50、および表示制御部51に出力される。
 図6で示したように、特徴量導出部48では、解剖区域画像56が対応する特徴量導出モデル37に入力される。これにより特徴量導出モデル37から特徴量セット58が出力される(ステップST130)。複数の特徴量セット58で構成される特徴量セット群59は、特徴量導出部48から認知症所見導出部49および寄与度導出部50に出力される。
 図7で示したように、認知症所見導出部49では、特徴量セット群59が認知症所見導出モデル39に入力される。これにより認知症所見導出モデル39から認知症所見情報60が出力される(ステップST140)。認知症所見情報60は、認知症所見導出部49から寄与度導出部50および表示制御部51に出力される。
 表示制御部51の制御の下、図10で示した第2表示画面80がディスプレイ17に表示される(ステップST150)。医師は、第2表示画面80のメッセージ81を通じて、認知症所見情報60を確認する。
 一例として図20に示すように、第2表示画面80において寄与度導出ボタン82が選択され、第1寄与度情報61の導出の指示がCPU22にて受け付けられた場合(ステップST200でYES)、寄与度導出部50において、解剖区域画像群57、特徴量セット群59、および認知症所見情報60に基づいて、解剖区域毎の第1寄与度が導出され、第1寄与度から図8で示した第1寄与度情報61が生成される(ステップST210)。第1寄与度情報61は、寄与度導出部50から表示制御部51に出力される。
 表示制御部51の制御の下、図11で示した第3表示画面85がディスプレイ17に表示される(ステップST220)。医師は、第3表示画面85を通じて、第1寄与度情報61を確認する。
 以上説明したように、診断支援装置12のCPU22は、RW制御部45と、抽出部47と、特徴量導出部48と、認知症所見導出部49と、寄与度導出部50と、表示制御部51とを備える。RW制御部45は、認知症の診断を行う患者Pの頭部MRI画像15をストレージ20から読み出すことで、頭部MRI画像15を取得する。抽出部47は、正規化頭部MRI画像55から脳の複数の解剖区域の解剖区域画像56を抽出する。特徴量導出部48は、複数の解剖区域画像56を、複数の解剖区域毎に用意された複数の特徴量導出モデル37に入力し、特徴量導出モデル37から複数の解剖区域毎の複数の特徴量セット58を出力させる。認知症所見導出部49は、複数の特徴量セット58で構成される特徴量セット群59を認知症所見導出モデル39に入力し、認知症所見導出モデル39から認知症所見情報60を出力させる。寄与度導出部50は、認知症所見情報60の出力への寄与の程度を表す第1寄与度を解剖区域毎に導出する。表示制御部51は、第3表示画面85によって、認知症所見情報60と第1寄与度情報61を医師に提示する。
 特徴量Zは、例えば数十個~数十万個と個数が非常に多い。このため特徴量Zは、特許第6483890号に記載のZ値のように解剖区域の限定的な特徴を表すものではなく、解剖区域の網羅的な特徴を表すものである。また、特徴量Zは、特許第6483890号に記載のZ値のように統計的に得られたただ1つの値ではなく、特徴量導出モデル37に解剖区域画像56を入力して得られたものである。したがって、特徴量Z(複数の特徴量セット58で構成される特徴量セット群59)を元に認知症所見情報60を導出する本開示の方法は、特許第6483890号に記載の方法と比べて認知症の所見の予測精度を高めることができ、より的確な認知症の所見を得ることが可能となる。
 認知症は、癌等の他の疾病と比べて、肉眼でも認識できるような特異的な病変が画像に現れにくい。また、認知症は、脳全体にその影響が及び、局所的ではない。こうした背景があるため、従来は頭部MRI画像15等の医用画像から機械学習モデルを用いて的確な認知症の所見を得ることが困難であった。しかし、本開示の技術によれば、脳を複数の解剖区域に細かく分けて、複数の解剖区域についてそれぞれ特徴量を導出し、導出した特徴量を1つの認知症所見導出モデル39に入力している。このため、従来困難であった、より的確な認知症の所見を得るという目的を達成することができる。
 また、医師は、第3表示画面85によって、認知症所見情報60の出力に脳の各解剖区域がどの程度寄与したのかを知ることが可能となる。これにより医師は、認知症所見情報60の尤もらしさを判断することができる。
 なお、各解剖区域の第1寄与度の順位の履歴を記憶しておき、これを認知症所見導出モデル39の学習に反映させてもよい。具体的には、順位が比較的低い解剖区域の特徴量セット58を、認知症所見導出モデル39に与える学習用特徴量セット群59Lから除外するようにしてもよい。
 図12で示したように、表示制御部51は、第1寄与度が大きい順に導出結果を提示する。医師は、どの解剖区域が寄与しているかが一目で分かる。なお、第1寄与度が大きい順に導出結果を提示する態様としては、ボタン群87の操作に応じて、メッセージ86、解剖区域画像56、および第1寄与度マップ70の表示を切り替える図12で示した態様に限らない。各順位のメッセージ86、解剖区域画像56、および第1寄与度マップ70を例えば上下に並べて表示し、順位が上位のものほど上部に表示する態様でもよい。
 図13で示したように、特徴量導出モデル37は、AE90の圧縮部91を転用したものである。AE90は、機械学習の分野において頻繁に用いられるニューラルネットワークモデルの1つで、一般的に非常によく知られている。このため、比較的容易に特徴量導出モデル37に転用することができる。
 図18で示したように、認知症所見導出モデル39は、ニューラルネットワーク、サポートベクターマシン、およびブースティングのうちのいずれかの手法によって構築される。これらニューラルネットワーク、サポートベクターマシン、およびブースティングのいずれの手法も、一般的に非常によく知られている。このため、比較的容易に認知症所見導出モデル39を構築することができる。
 図4で示したように、正規化部46は、解剖区域の抽出に先立ち、頭部MRI画像15を標準頭部MRI画像35に合わせる正規化処理を行う。このため、患者Pの個人差、およびMRI装置10の装置差をほぼ解消したうえで以降の処理を行うことができ、結果として認知症所見情報60の信頼性を高めることができる。
 認知症は、昨今の高齢化社会の到来とともに社会問題化している。このため、臓器を脳とし、疾病を認知症として、認知症所見情報60を出力する本実施形態は、現状の社会問題にマッチした形態であるといえる。
 海馬および前側頭葉は、アルツハイマー病をはじめとする認知症との相関が特に高い解剖区域である。このため、本例のように、複数の解剖区域に、海馬および前側頭葉のうちの少なくともいずれか1つが含まれていれば、さらにより的確な認知症の所見を得ることができる。
 認知症所見情報60と第1寄与度情報61の提示態様としては、第3表示画面85に限らない。認知症所見情報60と第1寄与度情報61を紙媒体に印刷出力したり、医師の携帯端末に電子メールの添付ファイルとして認知症所見情報60と第1寄与度情報61を送信してもよい。
 なお、認知症所見情報は、図7で例示した内容(正常/軽度認知障害/アルツハイマー病)に限らない。例えば図21に示す認知症所見情報105のように、患者Pの1年後の認知症の進行度合いが早いか遅いかであってもよい。あるいは図22に示す認知症所見情報108のように、アルツハイマー病、レビー小体型認知症、および血管性認知症のいずれであるかといった認知症の種類でもよい。
 [第2実施形態]
 図23~図26に示す第2実施形態では、複数の特徴量Zに加えて、認知症に関わる認知症関連情報111を認知症所見導出モデル112に入力する。
 一例として図23に示すように、本実施形態の認知症所見導出部110は、特徴量セット群59に加えて、認知症に関わる認知症関連情報111を認知症所見導出モデル112に入力する。そして、認知症所見導出モデル112から認知症所見情報113を出力させる。なお、認知症関連情報111は、本開示の技術に係る「疾病関連情報」の一例である。
 認知症関連情報111は、認知症の診断を行う患者Pの情報である。認知症関連情報111は複数の項目を有する。項目は、例えば、海馬の体積を含む。また、項目は、長谷川式認知症スケール(HDS-R;Revised Hasegawa’s Dementia Scale)のスコア、ミニメンタルステート検査(MMSE;Mini-Mental State Examination)のスコア、リバーミード行動記憶検査(RBMT;Rivermead Behavioural Memory Test)のスコア、臨床認知症評価尺度(CDR;Clinical Dementia Rating)、日常生活活動度(ADL;Activities of Daily Living)、およびアルツハイマー病の評価尺度(ADAS-Cog;Alzheimer’s Disease Assessment Scale-cognitive subscale)を含む。また、項目は、ApoE遺伝子の遺伝子型、アミロイドβ測定値、タウ蛋白質測定値、アポリポ蛋白質測定値、補体蛋白質測定値、およびトランスサイレチン測定値を含む。さらに、項目は、患者Pの性別、年齢等を含む。HDS-Rのスコア、MMSEのスコア、RBMTのスコア、CDR、ADL、ADAS-Cog、ApoE遺伝子の遺伝子型、アミロイドβ測定値、タウ蛋白質測定値、アポリポ蛋白質測定値、補体蛋白質測定値、トランスサイレチン測定値、患者Pの性別、年齢等は、図示省略した電子カルテシステムから引用される。
 海馬の体積は、例えば、海馬の解剖区域画像56_1の総画素数である。海馬の体積は、本開示の技術に係る「解剖区域の体積」の一例である。なお、海馬の体積に加えて、あるいは代えて、扁桃体等の他の解剖区域の体積を認知症関連情報111に含めてもよい。
 HDS-Rのスコア、MMSEのスコア、RBMTのスコア、CDR、ADL、およびADAS-Cogは、本開示の技術に係る「認知症テストのスコア」の一例である。
 ApoE遺伝子の遺伝子型は、ε2、ε3、ε4の3種のApoE遺伝子のうちの2種の組み合わせ(ε2とε3、ε3とε4等)である。ε4を全くもたない遺伝子型(ε2とε3、ε3とε3等)に対して、ε4を1つないし2つもつ遺伝子型(ε2とε4、ε4とε4等)のアルツハイマー病の発症リスクは、およそ3倍~12倍とされている。ApoE遺伝子の遺伝子型は、ε2とε3の組み合わせが1、ε3とε3の組み合わせが2等、それぞれ数値に変換されて認知症所見導出モデル142に入力される。ApoE遺伝子の遺伝子型は、本開示の技術に係る「遺伝子検査の検査結果」の一例である。
 アミロイドβ測定値、およびタウ蛋白質測定値は、本開示の技術に係る「髄液検査の検査結果」の一例である。また、アポリポ蛋白質測定値、補体蛋白質測定値、およびトランスサイレチン測定値は、本開示の技術に係る「血液検査の検査結果」の一例である。
 認知症所見導出モデル112の学習フェーズにおける処理の概要の一例を示す図24において、認知症所見導出モデル112は、学習データ118を与えられて学習される。学習データ118は、学習用特徴量セット群59Lおよび学習用認知症関連情報111Lと、学習用特徴量セット群59Lおよび学習用認知症関連情報111Lに対応する正解認知症所見情報113CAとの組である。学習用特徴量セット群59Lは、ある頭部MRI画像15の解剖区域画像56を特徴量導出モデル37に入力して得られたものである。学習用認知症関連情報111Lは、学習用特徴量セット群59Lを得た頭部MRI画像15の撮影対象の患者Pの情報である。正解認知症所見情報113CAは、学習用特徴量セット群59Lを得た頭部MRI画像15に対する認知症の所見を、学習用認知症関連情報111Lも加味して医師が実際に診断した結果である。
 学習フェーズにおいて、認知症所見導出モデル112には、学習用特徴量セット群59Lおよび学習用認知症関連情報111Lが入力される。認知症所見導出モデル112は、学習用特徴量セット群59Lおよび学習用認知症関連情報111Lに対して学習用認知症所見情報113Lを出力する。この学習用認知症所見情報113Lおよび正解認知症所見情報113CAに基づいて、損失関数を用いた認知症所見導出モデル112の損失演算がなされる。そして、損失演算の結果に応じて認知症所見導出モデル112の各種係数の更新設定がなされ、更新設定にしたがって認知症所見導出モデル112が更新される。
 認知症所見導出モデル112の学習フェーズにおいては、学習用特徴量セット群59Lおよび学習用認知症関連情報111Lの認知症所見導出モデル112への入力、認知症所見導出モデル112からの学習用認知症所見情報113Lの出力、損失演算、更新設定、および認知症所見導出モデル112の更新の上記一連の処理が、学習データ118が交換されつつ繰り返し行われる。上記一連の処理の繰り返しは、正解認知症所見情報113CAに対する学習用認知症所見情報113Lの予測精度が、予め定められた設定レベルまで達した場合に終了される。こうして予測精度が設定レベルまで達した認知症所見導出モデル112が、ストレージ20に記憶されて学習済み認知症所見導出モデル認知症所見導出部110で用いられる。
 一例として図25に示すように、本実施形態の寄与度導出部120は、上記第1実施形態の第1寄与度情報61と同様に、解剖区域画像群57、特徴量セット群59、および認知症所見情報113に基づいて第1寄与度情報121を生成し、生成した第1寄与度情報121を表示制御部123に出力する。また、寄与度導出部120は、認知症関連情報111および認知症所見情報113に基づいて、認知症所見情報113の出力への寄与の程度を表す第2寄与度を認知症関連情報111の項目毎に導出する。寄与度導出部120は、例えば1~10の10段階の数値を第2寄与度として導出する。寄与度導出部120は、導出した第2寄与度をまとめた第2寄与度情報122を表示制御部123に出力する。第2寄与度情報122は、認知症関連情報111の各項目に対応する第2寄与度が登録されたものである。第2寄与度情報122は、本開示の技術に係る「第2寄与度の導出結果」の一例である。なお、寄与度導出部120による第2寄与度の導出は、例えば下記文献に記載の方法を用いる。
 <Scott M. Lundberg, etc., Explainable machine-learning predictions for the prevention of hypoxaemia during surgery, Nature Biomedical Engineering volume 2, pages749-760(2018)>
 一例として図26に示すように、本実施形態の第3表示画面130には、頭部MRI画像15、認知症所見情報60に応じたメッセージ81、第1寄与度の順位と当該順位の解剖区域を示すメッセージ86、解剖区域画像56、並びに第1寄与度マップ70に加えて、認知症関連情報111の各項目の羅列131が表示される。羅列131の各項目は、ハッチングの濃淡で示すように、第2寄与度の高低に応じた表示がなされる。第2寄与度の高低に応じた表示は、例えば、第2寄与度が高い項目ほど濃い色で表示し、第2寄与度が低い項目ほど薄い色で表示する等である。図26においては、海馬の体積、HDS-Rのスコア、およびApoE遺伝子の遺伝子型等の第2寄与度が比較的高く、MMSEのスコア、CDR、ADL、ADAS-Cog等の第2寄与度が比較的低い場合を例示している。なお、表示制御部123は、確認ボタン132が選択された場合、メッセージ86、解剖区域画像56、第1寄与度マップ70、並びに羅列131の表示を消し、第3表示画面130を第2表示画面80に戻す。
 このように、第2実施形態では、認知症関連情報111を認知症所見導出モデル112に入力する。認知症関連情報111は、海馬の体積、HDS-Rのスコア、MMSEのスコア、CDR、ADL、ADAS-Cog、ApoE遺伝子の遺伝子型、アミロイドβ測定値、タウ蛋白質測定値、アポリポ蛋白質測定値、補体蛋白質測定値、トランスサイレチン測定値、患者Pの性別、年齢等を含む。認知症に関わる様々な認知症関連情報111という予測に役立つ強力な情報が加わるので、特徴量セット群59だけで認知症の所見を予測する場合と比べて、認知症の所見の予測精度を飛躍的に向上させることができる。
 また、図25で示したように、寄与度導出部120は、認知症所見情報113の出力への寄与の程度を表す第2寄与度を認知症関連情報111の項目毎に導出する。そして、図26で示したように、表示制御部123は、第3表示画面130によって、項目毎の第2寄与度の導出結果を提示する。このため、医師は、認知症所見情報60の出力に認知症関連情報111の各項目がどの程度寄与したのかを知ることが可能となる。これにより医師は、より確信をもって認知症所見情報60の尤もらしさの判断をすることができる。
 なお、認知症関連情報111は、解剖区域の体積、認知症テストのスコア、遺伝子検査の検査結果、髄液検査の検査結果、および血液検査の検査結果のうちの少なくともいずれか1つを含んでいればよい。患者Pの病歴、あるいは患者Pに認知症を発症した親類がいるか否か等を、認知症関連情報111に含めてもよい。また、第1寄与度の場合と同様に、各項目の第2寄与度の履歴を記憶しておき、これを認知症所見導出モデル112の学習に反映させてもよい。具体的には、第2寄与度が比較的低い項目を、認知症所見導出モデル112に与える学習用認知症関連情報111Lから除外するようにしてもよい。
 [第3実施形態]
 図27および図28に示す第3実施形態では、AE90の圧縮部91の代わりに、シングルタスクのクラス判別用畳み込みニューラルネットワーク(以下、シングルタスクCNN(Convolutional Neural Network)と略す)140の圧縮部141を、特徴量導出モデル145として用いる。
 一例として図27に示すように、シングルタスクCNN140は圧縮部141と出力部142とを有する。圧縮部141には解剖区域画像56が入力される。圧縮部141は、圧縮部91と同様に、解剖区域画像56を特徴量セット143に変換する。圧縮部141は、特徴量セット143を出力部142に受け渡す。出力部142は、特徴量セット143に基づいて、1つのクラス144を出力する。図27においては、出力部142は、認知症を発症している、または認知症を発症していない、という判別結果をクラス144として出力する。このシングルタスクCNN140の圧縮部141が、特徴量導出モデル145として用いられる。
 一例として図28に示すように、シングルタスクCNN140は、圧縮部141を特徴量導出モデル145に転用する前の学習フェーズにおいて、学習データ148を与えられて学習される。学習データ148は、学習用解剖区域画像56Lと、学習用解剖区域画像56Lに対応する正解クラス144CAとの組である。正解クラス144CAは、学習用解剖区域画像56Lを得た頭部MRI画像15に対して、認知症を発症しているか否かを、医師が実際に判別した結果である。
 学習フェーズにおいて、シングルタスクCNN140には、学習用解剖区域画像56Lが入力される。シングルタスクCNN140は、学習用解剖区域画像56Lに対して学習用クラス144Lを出力する。この学習用クラス144Lおよび正解クラス144CAに基づいて、シングルタスクCNN140の損失演算がなされる。そして、損失演算の結果に応じてシングルタスクCNN140の各種係数の更新設定がなされ、更新設定にしたがってシングルタスクCNN140が更新される。
 シングルタスクCNN140の学習フェーズにおいては、学習用解剖区域画像56LのシングルタスクCNN140への入力、シングルタスクCNN140からの学習用クラス144Lの出力、損失演算、更新設定、およびシングルタスクCNN140の更新の上記一連の処理が、学習データ148が交換されつつ繰り返し行われる。上記一連の処理の繰り返しは、正解クラス144CAに対する学習用クラス144Lの予測精度が、予め定められた設定レベルまで達した場合に終了される。こうして予測精度が設定レベルまで達したシングルタスクCNN140の圧縮部141が、学習済みの特徴量導出モデル145としてストレージ20に記憶されて特徴量導出部48で用いられる。
 このように、第3実施形態では、シングルタスクCNN140の圧縮部141が、特徴量導出モデル145として用いられる。シングルタスクCNN140も、機械学習の分野において頻繁に用いられるニューラルネットワークモデルの1つで、一般的に非常によく知られている。このため、比較的容易に特徴量導出モデル145に転用することができる。
 なお、クラス144としては、例えば、患者Pの年齢が75歳未満である、または75歳以上である、という内容であってもよいし、60歳代、70歳代等の患者Pの年代であってもよい。
 [第4実施形態]
 図29および図30に示す第4実施形態では、AE90の圧縮部91、およびシングルタスクCNN140の圧縮部141の代わりに、マルチタスクのクラス判別用CNN(以下、マルチタスクCNNと略す)150の圧縮部151を、特徴量導出モデル156として用いる。
 一例として図29に示すように、マルチタスクCNN150は圧縮部151と出力部152とを有する。圧縮部151には解剖区域画像56が入力される。圧縮部151は、圧縮部91および圧縮部141と同様に、解剖区域画像56を特徴量セット153に変換する。圧縮部151は、特徴量セット153を出力部152に受け渡す。出力部152は、特徴量セット153に基づいて、第1クラス154および第2クラス155の2つのクラスを出力する。図29においては、出力部152は、認知症を発症している、または認知症を発症していない、という判別結果を第1クラス154として出力する。また、図29においては、出力部152は、患者Pの年齢を第2クラス155として出力する。このマルチタスクCNN150の圧縮部151が、特徴量導出モデル156として用いられる。
 一例として図30に示すように、マルチタスクCNN150は、圧縮部151を特徴量導出モデル156に転用する前の学習フェーズにおいて、学習データ158を与えられて学習される。学習データ158は、学習用解剖区域画像56Lと、学習用解剖区域画像56Lに対応する正解第1クラス154CAおよび正解第2クラス155CAとの組である。正解第1クラス154CAは、学習用解剖区域画像56Lを得た頭部MRI画像15に対して、認知症を発症しているか否かを、医師が実際に判別した結果である。また、正解第2クラス155CAは、学習用解剖区域画像56Lを得た頭部MRI画像15の撮影対象の患者Pの実際の年齢である。
 学習フェーズにおいて、マルチタスクCNN150には、学習用解剖区域画像56Lが入力される。マルチタスクCNN150は、学習用解剖区域画像56Lに対して学習用第1クラス154Lおよび学習用第2クラス155Lを出力する。この学習用第1クラス154Lおよび学習用第2クラス155Lと、正解第1クラス154CAおよび正解第2クラス155CAとに基づいて、マルチタスクCNN150の損失演算がなされる。そして、損失演算の結果に応じてマルチタスクCNN150の各種係数の更新設定がなされ、更新設定にしたがってマルチタスクCNN150が更新される。
 マルチタスクCNN150の学習フェーズにおいては、学習用解剖区域画像56LのマルチタスクCNN150への入力、マルチタスクCNN150からの学習用第1クラス154Lおよび学習用第2クラス155Lの出力、損失演算、更新設定、およびマルチタスクCNN150の更新の上記一連の処理が、学習データ158が交換されつつ繰り返し行われる。上記一連の処理の繰り返しは、正解第1クラス154CAおよび正解第2クラス155CAに対する学習用第1クラス154Lおよび学習用第2クラス155Lの予測精度が、予め定められた設定レベルまで達した場合に終了される。こうして予測精度が設定レベルまで達したマルチタスクCNN150の圧縮部151が、学習済みの特徴量導出モデル156としてストレージ20に記憶されて特徴量導出部48で用いられる。
 このように、第4実施形態では、マルチタスクCNN150の圧縮部151が、特徴量導出モデル156として用いられる。マルチタスクCNN150は、AE90およびシングルタスクCNN140に比べて、複数のクラス(第1クラス154および第2クラス155)を出力する、というより複雑な処理を行う。このため、圧縮部151から出力される特徴量セット153は、解剖区域画像56の特徴をより網羅的に表したものとなる可能性が高い。したがって、結果として、認知症所見導出モデル39による認知症の所見の予測精度をより高めることができる。
 なお、第1クラス154としては、例えば5段階レベルの認知症の進行度合いであってもよい。また、第2クラス155としては、患者Pの年代の判別結果でもよい。マルチタスクCNN150は、3以上のクラスを出力するものであってもよい。
 [第5実施形態]
 図31に示す第5実施形態では、1つの解剖区域の解剖区域画像56を、異なる複数の特徴量導出モデルに入力する。
 図31において、本実施形態の特徴量導出部160は、1つの解剖区域の解剖区域画像56を、第1特徴量導出モデル161に入力し、第2特徴量導出モデル162に入力し、第3特徴量導出モデル163に入力する。これにより特徴量導出部160は、第1特徴量導出モデル161から第1特徴量セット164を出力させ、第2特徴量導出モデル162から第2特徴量セット165を出力させ、第3特徴量導出モデル163から第3特徴量セット166を出力させる。第1特徴量導出モデル161は、上記第1実施形態のAE90の圧縮部91を転用したものである。第2特徴量導出モデル162は、上記第3実施形態のシングルタスクCNN140の圧縮部141を転用したものである。第3特徴量導出モデル163は、上記第4実施形態のマルチタスクCNN150の圧縮部151を転用したものである。
 このように、第5実施形態では、特徴量導出部160は、1つの解剖区域の解剖区域画像56を、第1特徴量導出モデル161、第2特徴量導出モデル162、および第3特徴量導出モデル163に入力する。そして、各モデル161~163から、第1特徴量セット164、第2特徴量セット165、および第3特徴量セット166を出力させる。このため、1種の特徴量導出モデル37を用いる場合と比べて、多種多様な特徴量Zを得ることができる。結果として、認知症所見導出モデル39による認知症の所見の予測精度をより高めることができる。
 異なる複数の特徴量導出モデルは、例えば、AE90の圧縮部91を転用した第1特徴量導出モデル161と、シングルタスクCNN140の圧縮部141を転用した第2特徴量導出モデル162との組み合わせでもよい。あるいは、シングルタスクCNN140の圧縮部141を転用した第2特徴量導出モデル162と、マルチタスクCNN150の圧縮部151を転用した第3特徴量導出モデル163との組み合わせでもよい。さらには、認知症を発症しているか否かをクラス144として出力するシングルタスクCNN140の圧縮部141を転用した第2特徴量導出モデル162と、患者Pの年代をクラス144として出力するシングルタスクCNN140の圧縮部141を転用した第2特徴量導出モデル162との組み合わせでもよい。
 [第6実施形態]
 図32~図37に示す第6実施形態では、AE250とシングルタスクCNN251を合わせたモデルを、特徴量導出モデル252として用いる。
 一例として図32に示すように、AE250は、上記第1実施形態のAE90と同様、圧縮部253と復元部254とを有する。圧縮部253には解剖区域画像56が入力される。圧縮部253は、解剖区域画像56を特徴量セット255に変換する。圧縮部253は、特徴量セット255を復元部254に受け渡す。復元部254は、特徴量セット255から解剖区域画像56の復元画像256を生成する。
 シングルタスクCNN251は、上記第3実施形態のシングルタスクCNN140と同様、圧縮部253と出力部257とを有する。つまり、圧縮部253は、AE250とシングルタスクCNN251とで共用される。圧縮部253は、特徴量セット255を出力部257に受け渡す。出力部257は、特徴量セット255に基づいて、1つのクラス258を出力する。図32においては、出力部257は、現在軽度認知障害の患者Pが2年後も軽度認知障害のまま、あるいは2年後にアルツハイマー病に進行する、という判別結果をクラス258として出力する。また、出力部257は、特徴量セット255を構成する複数の特徴量Zを集約した集約特徴量ZAを出力する。集約特徴量ZAは、各解剖区域に対して出力される。本実施形態において、集約特徴量ZAは、特徴量セット255の代わりに認知症所見導出モデル282(図36参照)に入力される。
 一例として図33に示すように、出力部257は、自己注意(以下、SA(Self-Attention)と略す)機構層265、全体平均プーリング(以下、GAP(Global Average Pooling)と略す)層266、全結合(以下、FC(Fully Connected)と略す)層267、ソフトマックス関数(以下、SMF(SoftMax Functionと略す)層268、および主成分分析(以下、PCA(Principal Component Analysis)と略す)層269を有する。
 SA機構層265は、特徴量セット255に対して、図14で示した畳み込み処理を、注目要素201Iの要素値に応じてフィルタ203の係数を変更しつつ行う。以下、このSA機構層265で行われる畳み込み処理を、SA畳み込み処理という。SA機構層265は、SA畳み込み処理後の特徴量セット255をGAP層266に出力する。
 GAP層266は、SA畳み込み処理後の特徴量セット255に対して、全体平均プーリング処理を施す。全体平均プーリング処理は、特徴量セット255のチャンネル(図15参照)毎に、特徴量Zの平均値を求める処理である。例えば特徴量セット255のチャンネル数が512であった場合、全体平均プーリング処理によって512個の特徴量Zの平均値が求められる。GAP層266は、求めた特徴量Zの平均値をFC層267およびPCA層269に出力する。
 FC層267は、特徴量Zの平均値をSMF層268のSMFで扱う変数に変換する。FC層267は、特徴量Zの平均値の個数分(つまり特徴量セット255のチャンネル数分)のユニットをもつ入力層と、SMFで扱う変数の個数分のユニットをもつ出力層とを有する。入力層の各ユニットと出力層の各ユニットは、互いに全結合されていて、それぞれに重みが設定されている。入力層の各ユニットには、特徴量Zの平均値が入力される。特徴量Zの平均値と、各ユニット間に設定された重みとの積和が、出力層の各ユニットの出力値となる。この出力値がSMFで扱う変数である。FC層267は、SMFで扱う変数をSMF層268に出力する。SMF層268は、変数をSMFに適用することでクラス258を出力する。
 PCA層269は、特徴量Zの平均値に対してPCAを行い、複数個の特徴量Zの平均値を、それよりも少ない個数の集約特徴量ZAとする。例えばPCA層269は、512個の特徴量Zの平均値を1個の集約特徴量ZAに集約する。
 一例として図34に示すように、AE250は、学習フェーズにおいて、学習用解剖区域画像56Lが入力されて学習される。AE250は、学習用解剖区域画像56Lに対して学習用復元画像256Lを出力する。これら学習用解剖区域画像56Lおよび学習用復元画像256Lに基づいて、損失関数を用いたAE250の損失演算がなされる。そして、損失演算の結果(以下、損失L1と表記する)に応じてAE250の各種係数の更新設定がなされ、更新設定にしたがってAE250が更新される。
 AE250の学習フェーズにおいては、学習用解剖区域画像56LのAE250への入力、AE250からの学習用復元画像256Lの出力、損失演算、更新設定、およびAE250の更新の上記一連の処理が、学習用解剖区域画像56Lが交換されつつ繰り返し行われる。
 シングルタスクCNN251は、学習フェーズにおいて、学習データ275を与えられて学習される。学習データ275は、学習用解剖区域画像56Lと、学習用解剖区域画像56Lに対応する正解クラス258CAとの組である。正解クラス258CAは、学習用解剖区域画像56Lを得た頭部MRI画像15の撮影対象の患者Pが、実際に2年後も軽度認知障害のままか、あるいは2年後にアルツハイマー病に進行したかを示す。
 学習フェーズにおいて、シングルタスクCNN251には、学習用解剖区域画像56Lが入力される。シングルタスクCNN251は、学習用解剖区域画像56Lに対して学習用クラス258Lを出力する。この学習用クラス258Lおよび正解クラス258CAに基づいて、クロスエントロピー関数等を用いたシングルタスクCNN251の損失演算がなされる。そして、損失演算の結果(以下、損失L2と表記する)に応じてシングルタスクCNN251の各種係数の更新設定がなされ、更新設定にしたがってシングルタスクCNN251が更新される。
 シングルタスクCNN251の学習フェーズにおいては、学習用解剖区域画像56LのシングルタスクCNN251への入力、シングルタスクCNN251からの学習用クラス258Lの出力、損失演算、更新設定、およびシングルタスクCNN251の更新の上記一連の処理が、学習データ275が交換されつつ繰り返し行われる。
 AE250の更新設定およびシングルタスクCNN251の更新設定は、下記の式(2)に示す総合損失Lに基づいて行われる。なお、αは重みである。
 L=L1×α+L2×(1-α)・・・(2)
 すなわち、総合損失Lは、AE250の損失L1とシングルタスクCNN251の損失L2との重み付き和である。
 一例として図35に示すように、学習フェーズの初期段階においては、重みαには1が設定される。重みαを1とした場合、総合損失L=L1となる。したがってこの場合はAE250の学習のみが行われ、シングルタスクCNN251の学習は行われない。
 重みαは、学習が進むにつれて1から漸減され、やがて固定値(図35においては0.8)となる。この場合、AE250の学習とシングルタスクCNN251の学習が、重みαに応じた強度でともに行われる。このように、損失L1に与えられる重みは、損失L2に与えられる重みよりも大きい。また、損失L1に与えられる重みは最高値の1から漸減され、かつ損失L2に与えられる重みは最低値の0から漸増され、さらに両者は固定値とされる。
 AE250およびシングルタスクCNN251の学習は、AE250による学習用解剖区域画像56Lから学習用復元画像256Lへの復元精度が、予め定められた設定レベルまで達し、かつ、シングルタスクCNN251による正解クラス258CAに対する学習用クラス258Lの予測精度が、予め定められた設定レベルまで達した場合に終了される。こうして復元精度および予測精度が設定レベルまで達したAE250およびシングルタスクCNN251が、ストレージ20に記憶されて学習済みの特徴量導出モデル252として用いられる。
 一例として図36に示すように、本実施形態の認知症所見導出部280は、集約特徴量群ZAGおよび認知症関連情報281を認知症所見導出モデル282に入力する。集約特徴量群ZAGは、解剖区域毎に出力された複数の集約特徴量ZAで構成される。認知症関連情報281は、上記第2実施形態の認知症関連情報111と同様に、認知症の診断を行う患者Pの性別、年齢、解剖区域の体積、認知症テストのスコア、遺伝子検査の検査結果、髄液検査の検査結果、および血液検査の検査結果等を含む。
 認知症所見導出モデル282は、分位正規化部283および線形判別分析部284を有する。分位正規化部283には、集約特徴量群ZAGと認知症関連情報281が入力される。分位正規化部283は、集約特徴量群ZAGを構成する複数の集約特徴量ZAと、認知症関連情報281の各パラメータとを同列に扱うために、これらを正規分布にしたがうデータに変換する分位正規化(Quantile Normalization)を行う。線形判別分析部284は、分位正規化処理後の集約特徴量ZAおよび認知症関連情報281の各パラメータに対して線形判別分析(Linear Discriminant Analysis)を行い、その結果として認知症所見情報285を出力する。認知症所見情報285は、現在軽度認知障害の患者Pが2年後も軽度認知障害のまま、あるいは2年後にアルツハイマー病に進行する、のいずれかである。なお、認知症所見導出モデル282の学習は、学習用特徴量セット群59Lが学習用の集約特徴量群ZAGに変わる他は、図24で示した認知症所見導出モデル112の学習と同じであるため、図示および説明を省略する。
 このように、第6実施形態では、クラス258の出力といったメインタスクを行うシングルタスクCNN251と、シングルタスクCNN251と一部共通し、復元画像256の生成といったメインタスクよりも汎用的なサブタスクを行うAE250とを、特徴量導出モデル252として用いる。そして、AE250とシングルタスクCNN251とを同時に学習させる。このため、AE250とシングルタスクCNN251が別々の場合と比べて、より適切な特徴量セット255および集約特徴量ZAを出力することができ、結果として認知症所見情報285の予測精度を高めることができる。
 学習フェーズにおいては、AE250の損失L1とシングルタスクCNN251の損失L2との重み付き和である総合損失Lに基づいて更新設定を行う。このため、重みαを適値に設定することで、AE250を重点的に学習させたり、シングルタスクCNN251を重点的に学習させたり、AE250およびシングルタスクCNN251をバランスよく学習させたりすることができる。
 損失L1に与えられる重みは、損失L2に与えられる重みよりも大きい。このため、AE250を常に重点的に学習させることができる。AE250を常に重点的に学習させれば、解剖区域の形状およびテクスチャーの特徴をより表した特徴量セット255を圧縮部253から出力させることができ、結果としてより尤もらしい集約特徴量ZAを出力部257から出力させることができる。
 また、損失L1に与えられる重みを最高値から漸減し、かつ損失L2に与えられる重みを最低値から漸増して、学習が所定回数行われたら両者を固定値とする。このため、学習の初期段階にAE250をより重点的に学習させることができる。AE250は、復元画像256の生成という比較的簡単なサブタスクを担う。したがって、学習の初期段階にAE250をより重点的に学習させれば、解剖区域の形状およびテクスチャーの特徴をより表した特徴量セット255を、学習の初期段階において圧縮部253から出力させることができる。
 一例として図37に示す表300は、下記の文献A、B、C、D、E、F、およびGに記載の認知症の進行予測方法に係るNo.1~7と、本実施形態の認知症の進行予測方法に係るNo.8および9との性能比較を示す。本実施形態の認知症の進行予測方法のうち、No.8は、認知症所見導出モデル282に集約特徴量群ZAGのみが入力され、認知症関連情報281が入力されない場合を示す。対してNo.9は、認知症所見導出モデル282に集約特徴量群ZAGおよび認知症関連情報281が入力される場合を示す。
 文献A <Tam, A., Dansereau, C., Iturria-Medina, Y., Urchs, S., Orban, P., Sharmarke, H., Breitner, J., & Alzheimer’s Disease Neuroimaging Initiative., “A highly predictive signature of cognition and brain atrophy for progression to Alzheimer’s dementia.”, GigaScience, 8 (5), giz055 (2019).>
 文献B <Ledig, C., Schuh, A., Guerrero, R., Heckemann, R. A., & Rueckert, D., “Structural brain imaging in Alzheimer’s disease and mild cognitive impairment: biomarker analysis and shared morphometry database.”, Scientific reports, 8 (1), 11258 (2018).>
 文献C <Lu, D., Popuri, K., Ding, G. W., Balachandar, R., & Beg, M. F., “Multimodal and multiscale deep neural networks for the early diagnosis of Alzheimer’s disease using structural MR and FDG-PET images.”, Scientific reports, 8 (1), 5697 (2018).>
 文献D <Basaia, S., Agosta, F., Wagner, L., Canu, E., Magnani, G., Santangelo, R.,  Filippi, M., Automated classification of Alzheimer’s disease and mild cognitive impairment using a single MRI and deep neural networks, NeuroImage: Clinical 21, 101645 (2019).>
 文献E <Nakagawa, T., Ishida, M., Naito, J., Nagai, A., Yamaguchi, S., Onoda, K., “Prediction of conversion to Alzheimer’s disease using deep survival analysis of MRI images”, Brain Communications, Vol. 2(1)  (2020).>
 文献F <Lee, G., Nho, K., Kang, B., Sohn, K. A., & Kim, D., “Predicting Alzheimer’s disease progression using multi-modal deep learning approach.”, Scientific reports, 9 (1), 1952 (2019).>
 文献G <Goto, T.,  Wang, C., Li, Y., Tsuboshita, Y., Multi-modal deep learning for predicting progression of Alzheimer’s disease using bi-linear shake fusion, Proc. SPIE 11314, Medical Imaging (2020).>
 No.8および9の正解率(Accuracy)は0.84および0.90である。特にNo.9の正解率の0.90は、No.1~7のどの正解率よりも高い。No.8および9のAUC(Area Under the Curve)は0.93および0.97である。これらの値は、文献Eに記載の認知症の進行予測方法に係るNo.5よりも大きい。したがって、本実施形態の認知症の進行予測方法は、文献A~Gに記載の従来の認知症の進行予測方法と比べて、より確度の高い認知症の進行予測を行うことができているといえる。
 No.8および9の敏感度(Sensitivity)は0.85および0.91である。これらの値は、No.1~7のどの敏感度よりも高い。特にNo.9の敏感度の0.91は、この中では最高値である。したがって、本実施形態の認知症の進行予測方法は、文献A~Gに記載の従来の認知症の進行予測方法と比べて、現在軽度認知障害の患者Pが予測期間後にアルツハイマー病に進行することを、見逃さずに予測することができているといえる。
 No.8および9の特異度(Specificity)は0.84および0.90である。これらの値は、文献Aに記載の認知症の進行予測方法に係るNo.1の0.97等よりも小さいものの、他の文献B、C、D、およびFと比べれば大きい。したがって、本実施形態の認知症の進行予測方法は、他の多くの従来の認知症の進行予測方法と比べて、現在軽度認知障害の患者Pが予測期間後も軽度認知障害のままであると、より正確に予測することができているといえる。
 なお、表300において、学習用画像の項目のADNIは、「Alzheimer’s Disease Neuroimaging Initiative」の略である。AIBLは、「Australian Imaging Biomarkers and Lifestyle Study of Ageing」の略である。J-ADNIは、「Japanese Alzheimer’s Disease Neuroimaging Intiative」の略である。いずれも、アルツハイマー病に係る患者Pの頭部MRI画像15等が蓄積されたデータベースを示す。
 シングルタスクCNN251の代わりに、上記第4実施形態のマルチタスクCNN150を用いてもよい。
 図17で示したAE90の学習、図18で示した認知症所見導出モデル39の学習、図24で示した認知症所見導出モデル112の学習、図28で示したシングルタスクCNN140の学習、図30で示したマルチタスクCNN150の学習、および図34で示したAE250およびシングルタスクCNN251の学習等は、診断支援装置12において行ってもよいし、診断支援装置12以外の装置で行ってもよい。また、これらの学習は、診断支援装置12のストレージ20に各モデルを記憶した後に継続して行ってもよい。
 PACSサーバ11が診断支援装置12として機能してもよい。
 医用画像は、例示の頭部MRI画像15に限らない。PET(Positron Emission Tomography)画像、SPECT(Single Photon Emission Computed Tomography)画像、CT(Computed Tomography)画像、内視鏡画像、超音波画像等でもよい。
 臓器は例示の脳に限らず、心臓、肺、肝臓等でもよい。肺の場合は、右肺S1、S2、左肺S1、S2等を解剖区域として抽出する。肝臓の場合は、右葉、左葉、胆嚢等を解剖区域として抽出する。また、疾病も例示の認知症に限らず、心臓病、肺炎、肝機能障害等でもよい。
 上記各実施形態において、例えば、RW制御部45、正規化部46、抽出部47、特徴量導出部48および160、認知症所見導出部49、110、および280、寄与度導出部50および120、並びに表示制御部51および123といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、上述したように、ソフトウェア(作動プログラム30)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU22に加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、および/または、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
 複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
 本開示の技術は、上述の種々の実施形態および/または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
 以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
 本明細書において、「Aおよび/またはB」は、「AおよびBのうちの少なくとも1つ」と同義である。つまり、「Aおよび/またはB」は、Aだけであってもよいし、Bだけであってもよいし、AおよびBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「および/または」で結び付けて表現する場合も、「Aおよび/またはB」と同様の考え方が適用される。
 本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (14)

  1.  プロセッサと、
     前記プロセッサに接続または内蔵されたメモリと、を備え、
     前記プロセッサは、
     医用画像を取得し、
     前記医用画像から臓器の複数の解剖区域を抽出し、
     前記複数の解剖区域の画像を、前記複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、前記特徴量導出モデルから前記複数の解剖区域毎の複数の特徴量を出力させ、
     前記複数の解剖区域毎に出力された前記複数の特徴量を疾病所見導出モデルに入力し、前記疾病所見導出モデルから疾病の所見を出力させ、
     前記所見の出力への寄与の程度を表す第1寄与度を前記解剖区域毎に導出し、
     前記所見と前記解剖区域毎の前記第1寄与度の導出結果とを提示する、
    診断支援装置。
  2.  前記プロセッサは、
     前記第1寄与度が大きい順に前記導出結果を提示する請求項1に記載の診断支援装置。
  3.  前記プロセッサは、
     前記複数の特徴量に加えて、前記疾病に関わる疾病関連情報を前記疾病所見導出モデルに入力する請求項1または請求項2に記載の診断支援装置。
  4.  前記疾病関連情報は複数の項目を有し、
     前記プロセッサは、
     前記所見の出力への寄与の程度を表す第2寄与度を前記項目毎に導出し、
     前記項目毎の前記第2寄与度の導出結果を提示する請求項3に記載の診断支援装置。
  5.  前記特徴量導出モデルは、オートエンコーダ、シングルタスクのクラス判別用畳み込みニューラルネットワーク、およびマルチタスクのクラス判別用畳み込みニューラルネットワークのうちの少なくともいずれか1つを含む請求項1から請求項4のいずれか1項に記載の診断支援装置。
  6.  前記プロセッサは、
     1つの前記解剖区域の画像を、異なる複数の前記特徴量導出モデルに入力し、複数の前記特徴量導出モデルの各々から前記特徴量を出力させる請求項1から請求項5のいずれか1項に記載の診断支援装置。
  7.  前記疾病所見導出モデルは、ニューラルネットワーク、サポートベクターマシン、およびブースティングのうちのいずれかの手法によって構築される請求項1から請求項6のいずれか1項に記載の診断支援装置。
  8.  前記プロセッサは、
     前記解剖区域の抽出に先立ち、取得した前記医用画像を標準医用画像に合わせる正規化処理を行う請求項1から請求項7のいずれか1項に記載の診断支援装置。
  9.  前記臓器は脳であり、前記疾病は認知症である請求項1から請求項8のいずれか1項に記載の診断支援装置。
  10.  前記複数の解剖区域は、海馬および前側頭葉のうちの少なくともいずれか1つを含む請求項9に記載の診断支援装置。
  11.  請求項3または請求項4を引用する請求項9または請求項10に記載の診断支援装置において、
     前記疾病関連情報は、前記解剖区域の体積、認知症テストのスコア、遺伝子検査の検査結果、髄液検査の検査結果、および血液検査の検査結果のうちの少なくともいずれか1つを含む診断支援装置。
  12.  医用画像を取得すること、
     前記医用画像から臓器の複数の解剖区域を抽出すること、
     前記複数の解剖区域の画像を、前記複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、前記特徴量導出モデルから前記複数の解剖区域毎の複数の特徴量を出力させること、
     前記複数の解剖区域毎に出力された前記複数の特徴量を疾病所見導出モデルに入力し、前記疾病所見導出モデルから疾病の所見を出力させること、
     前記所見の出力への寄与の程度を表す第1寄与度を前記解剖区域毎に導出すること、および、
     前記所見と前記解剖区域毎の前記第1寄与度の導出結果とを提示すること、
    を含む診断支援装置の作動方法。
  13.  医用画像を取得すること、
     前記医用画像から臓器の複数の解剖区域を抽出すること、
     前記複数の解剖区域の画像を、前記複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、前記特徴量導出モデルから前記複数の解剖区域毎の複数の特徴量を出力させること、
     前記複数の解剖区域毎に出力された前記複数の特徴量を疾病所見導出モデルに入力し、前記疾病所見導出モデルから疾病の所見を出力させること、
     前記所見の出力への寄与の程度を表す第1寄与度を前記解剖区域毎に導出すること、および、
     前記所見と前記解剖区域毎の前記第1寄与度の導出結果とを提示すること、
    を含む処理をコンピュータに実行させるための診断支援装置の作動プログラム。
  14.  プロセッサと、前記プロセッサに接続または内蔵されたメモリと、を備えるコンピュータが、
     脳が写った医用画像を取得すること、
     前記医用画像から前記脳の複数の解剖区域を抽出すること、
     前記複数の解剖区域の画像を、前記複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、前記特徴量導出モデルから前記複数の解剖区域毎の複数の特徴量を出力させること、
     前記複数の解剖区域毎に出力された前記複数の特徴量を認知症所見導出モデルに入力し、前記認知症所見導出モデルから認知症の所見を出力させること、
     前記所見の出力への寄与の程度を表す第1寄与度を前記解剖区域毎に導出すること、および、
     前記所見と前記解剖区域毎の前記第1寄与度の導出結果とを提示すること、
    を行う認知症診断支援方法。
PCT/JP2021/035195 2020-10-01 2021-09-24 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法 WO2022071159A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21875461.2A EP4223219A4 (en) 2020-10-01 2021-09-24 DIAGNOSTIC AID DEVICE, OPERATING METHOD FOR DIAGNOSTIC AID DEVICE, OPERATING PROGRAM FOR DIAGNOSTIC AID DEVICE AND DEMENTIA DIAGNOSTIC AID DEVICE
CN202180067506.2A CN116322523A (zh) 2020-10-01 2021-09-24 诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、以及痴呆症诊断辅助方法
JP2022553915A JPWO2022071159A1 (ja) 2020-10-01 2021-09-24
US18/191,686 US20230260630A1 (en) 2020-10-01 2023-03-28 Diagnosis support device, operation method of diagnosis support device, operation program of diagnosis support device, and dementia diagnosis support method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020-167011 2020-10-01
JP2020167011 2020-10-01
JP2020-217834 2020-12-25
JP2020217834 2020-12-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/191,686 Continuation US20230260630A1 (en) 2020-10-01 2023-03-28 Diagnosis support device, operation method of diagnosis support device, operation program of diagnosis support device, and dementia diagnosis support method

Publications (1)

Publication Number Publication Date
WO2022071159A1 true WO2022071159A1 (ja) 2022-04-07

Family

ID=80949125

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035195 WO2022071159A1 (ja) 2020-10-01 2021-09-24 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法

Country Status (5)

Country Link
US (1) US20230260630A1 (ja)
EP (1) EP4223219A4 (ja)
JP (1) JPWO2022071159A1 (ja)
CN (1) CN116322523A (ja)
WO (1) WO2022071159A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117669673A (zh) * 2023-12-13 2024-03-08 湖南师范大学 一种基于生物情景记忆产生机理的忆阻器自识别电路

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010012176A (ja) * 2008-07-07 2010-01-21 Hamamatsu Photonics Kk 脳疾患診断システム
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム
WO2012032940A1 (ja) * 2010-09-07 2012-03-15 株式会社 日立メディコ 認知症診断支援装置及び認知症診断支援方法
JP2015208385A (ja) * 2014-04-24 2015-11-24 株式会社日立製作所 医用画像情報システム、医用画像情報処理方法及びプログラム
JP2016202904A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 診断支援装置、診断支援システム、情報処理方法、及びプログラム
US20170357753A1 (en) * 2016-05-23 2017-12-14 The Johns Hopkins University Direct estimation of patient attributes based on mri brain atlases
JP6483890B1 (ja) 2018-04-27 2019-03-13 国立大学法人滋賀医科大学 診断支援装置、機械学習装置、診断支援方法、機械学習方法および機械学習プログラム
JP2020009186A (ja) * 2018-07-09 2020-01-16 キヤノンメディカルシステムズ株式会社 診断支援装置、診断支援方法、及び診断支援プログラム
CN110934606A (zh) * 2019-10-31 2020-03-31 上海杏脉信息科技有限公司 脑卒中早期平扫ct图像评估系统及评估方法、可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010012176A (ja) * 2008-07-07 2010-01-21 Hamamatsu Photonics Kk 脳疾患診断システム
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム
WO2012032940A1 (ja) * 2010-09-07 2012-03-15 株式会社 日立メディコ 認知症診断支援装置及び認知症診断支援方法
JP2015208385A (ja) * 2014-04-24 2015-11-24 株式会社日立製作所 医用画像情報システム、医用画像情報処理方法及びプログラム
JP2016202904A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 診断支援装置、診断支援システム、情報処理方法、及びプログラム
US20170357753A1 (en) * 2016-05-23 2017-12-14 The Johns Hopkins University Direct estimation of patient attributes based on mri brain atlases
JP6483890B1 (ja) 2018-04-27 2019-03-13 国立大学法人滋賀医科大学 診断支援装置、機械学習装置、診断支援方法、機械学習方法および機械学習プログラム
JP2020009186A (ja) * 2018-07-09 2020-01-16 キヤノンメディカルシステムズ株式会社 診断支援装置、診断支援方法、及び診断支援プログラム
CN110934606A (zh) * 2019-10-31 2020-03-31 上海杏脉信息科技有限公司 脑卒中早期平扫ct图像评估系统及评估方法、可读存储介质

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
BASAIA, S.AGOSTA, F.WAGNER, L.CANU, E.MAGNANI, GSANTANGELO, R.FILIPPI, M.: "Automated classification of Alzheimer's disease and mild cognitive impairment using a single MRI and deep neural networks", NEUROIMAGE: CLINICAL, vol. 21, 2019, pages 101645
DANIEL OMEIZA: "Smooth Grad-CAM++: An Enhanced Inference Level Visualization Technique for Deep Convolutional Neural Network Models", ARXIV: 1908.01224, August 2019 (2019-08-01)
GOTO, T.WANG, C.LI, YTSUBOSHITA, Y: "Multi-modal deep learning for predicting progression of Alzheimer's disease using bi-linear shake fusion", PROC. SPIE 11314, MEDICAL IMAGING, 2020
LEDIG, C.SCHUH, A.GUERRERO, R.HECKEMANN, R. A.RUECKERT, D.: "Structural brain imaging in Alzheimer's disease and mild cognitive impairment: biomarker analysis and shared morphometry database", SCIENTIFIC REPORTS, vol. 8, no. 1, 2018, pages 11258, XP055626868, DOI: 10.1038/s41598-018-29295-9
LEE, GNHO, K.KANG, B.SOHN, K. A.KIM, D.: "Predicting Alzheimer's disease progression using multi-modal deep learning approach", SCIENTIFIC REPORTS, vol. 9, no. 1, 2019, pages 1952, XP055830945, DOI: 10.1038/s41598-018-37769-z
LU, D.POPURI, K.DING, G W.BALACHANDAR, R.BEG, M. F.: "Multimodal and multiscale deep neural networks for the early diagnosis of Alzheimer's disease using structural MR and FDG-PET images", SCIENTIFIC REPORTS, vol. 8, no. 1, 2018, pages 5697, XP093003496, DOI: 10.1038/s41598-018-22871-z
NAKAGAWA, T.ISHIDA, M.NAITO, J.NAGAI, A.YAMAGUCHI, S.ONODA, K.: "Prediction of conversion to Alzheimer's disease using deep survival analysis of MRI images", BRAIN COMMUNICATIONS, vol. 2, no. 1, 2020
PATRICK MCCLURE: "Knowing What You Know in Brain Segmentation Using Bayesian Deep Neural Networks", FRONT. NEUROINFORM., 17 October 2019 (2019-10-17)
SCOTT M. LUNDBERG: "Explainable machine-learning predictions for the prevention of hypoxaemia during surgery", NATURE BIOMEDICAL ENGINEERING, vol. 2, 2018, pages 749 - 760, XP036610769, DOI: 10.1038/s41551-018-0304-0
See also references of EP4223219A4
TAM, A.DANSEREAU, C.ITURRIA-MEDINA, YURCHS, S.ORBAN, P.SHARMARKE, H.BREITNER, J.: "A highly predictive signature of cognition and brain atrophy for progression to Alzheimer's dementia", ALZHEIMER'S DISEASE NEUROIMAGING INITIATIVE., vol. 8, no. 5, 2019, pages giz055

Also Published As

Publication number Publication date
US20230260630A1 (en) 2023-08-17
EP4223219A4 (en) 2024-04-10
JPWO2022071159A1 (ja) 2022-04-07
CN116322523A (zh) 2023-06-23
EP4223219A1 (en) 2023-08-09

Similar Documents

Publication Publication Date Title
US10818048B2 (en) Advanced medical image processing wizard
KR101874348B1 (ko) 피검체의 흉부 pa 영상의 판독을 지원하는 방법 및 이를 이용한 장치
US20200265276A1 (en) Copd classification with machine-trained abnormality detection
Bowles et al. Modelling the progression of Alzheimer's disease in MRI using generative adversarial networks
US11229377B2 (en) System and method for next-generation MRI spine evaluation
US10165987B2 (en) Method for displaying medical images
US8411111B2 (en) Model generator for cardiological diseases
US20230260630A1 (en) Diagnosis support device, operation method of diagnosis support device, operation program of diagnosis support device, and dementia diagnosis support method
US20230260629A1 (en) Diagnosis support device, operation method of diagnosis support device, operation program of diagnosis support device, dementia diagnosis support method, and trained dementia opinion derivation model
US20140153795A1 (en) Parametric imaging for the evaluation of biological condition
WO2022138960A1 (ja) 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム
JP7114347B2 (ja) 断層画像予測装置および断層画像予測方法
US20200327979A1 (en) Medical information processing apparatus and medical information processing method
JP7479805B2 (ja) 医用情報処理装置、医用情報処理方法、医用情報処理プログラムおよび医用情報処理システム
Boorboor et al. NeuRegenerate: A framework for visualizing neurodegeneration
CN109087701B (zh) 提供次要参数的方法、决策支持系统、介质、计算机程序
US20230335283A1 (en) Information processing apparatus, operation method of information processing apparatus, operation program of information processing apparatus
WO2022071160A1 (ja) 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法
WO2021070527A1 (ja) 画像処理装置、方法およびプログラム
CN116490132A (zh) 诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、痴呆症诊断辅助方法、以及学习完毕痴呆症诊断意见导出模型
WO2022065062A1 (ja) 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム
US20230143966A1 (en) Image processing apparatus and non-transitory computer readable medium
US20160004819A1 (en) Apparatus for staging of patients from medical image data
Chen NOVEL COMPUTATIONAL PATHOLOGY-BASED PROGNOSTIC BIOMARKERS FOR GLOMERULAR DISEASES THROUGH DEEP PHOENOTYPING
Peng et al. Improving MRI-based analysis of brain structural changes in patients with hypertension via a privileged information learning algorithm

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21875461

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022553915

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021875461

Country of ref document: EP

Effective date: 20230502