WO2021221008A1 - システム、制御方法及びプログラム - Google Patents

システム、制御方法及びプログラム Download PDF

Info

Publication number
WO2021221008A1
WO2021221008A1 PCT/JP2021/016601 JP2021016601W WO2021221008A1 WO 2021221008 A1 WO2021221008 A1 WO 2021221008A1 JP 2021016601 W JP2021016601 W JP 2021016601W WO 2021221008 A1 WO2021221008 A1 WO 2021221008A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
evaluation
image evaluation
evaluation system
environment
Prior art date
Application number
PCT/JP2021/016601
Other languages
English (en)
French (fr)
Inventor
裕紀 青山
航 笠井
Original Assignee
株式会社Splink
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Splink filed Critical 株式会社Splink
Priority to JP2022518052A priority Critical patent/JPWO2021221008A1/ja
Publication of WO2021221008A1 publication Critical patent/WO2021221008A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01TMEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16Measuring radiation intensity
    • G01T1/161Applications in the field of nuclear medicine, e.g. in vivo counting

Definitions

  • the present invention relates to a system that provides information for supporting diagnostic imaging.
  • the image processing apparatus disclosed in Document 1 includes an input unit for inputting a functional image of the subject's brain, an anatomical standardization unit for anatomically standardizing the functional image of the subject, and an anatomy assigned on the standard brain.
  • the ROI candidate presentation unit that reads the data of the anatomical region from the standard brain data storage unit that stores the data of the target region and presents the data of the anatomical region as ROI candidates, and the selection of the anatomical region are accepted.
  • the ROI setting unit that sets the ROI on the anatomically standardized subject's brain image based on one or more selected anatomical regions, and the evaluation value is calculated based on the pixel value in the ROI. It is provided with an evaluation value calculation unit and a display unit for displaying information on the calculated evaluation value.
  • One aspect of the present invention comprises a first access unit accessible to a first image evaluation system that statistically evaluates a first type of medical image that includes at least a portion of the subject's body as a target area.
  • a second access to a second image evaluation system that determines a subject's morbidity using a first model machine-trained to evaluate a first disease based on a first type of medical image. It is a system having a unit and a support unit that provides at least one of an evaluation target input and an evaluation result output to a first image evaluation system and a second image evaluation system via a common image evaluation environment.
  • the support unit provides a common image evaluation environment in which the first type of medical image of the subject contains a standardized evaluation image as an image that can be input and output to the first image evaluation system and the second image evaluation system. You may use it.
  • One of the other aspects of the present invention is a method of controlling a support system having the first access unit, the second access unit, and the support unit.
  • the method comprises at least one of the following steps: i)
  • the support unit shares the first result regarding the evaluation of the medical image acquired from the first image evaluation system and the second result regarding the evaluation of the medical image of the subject acquired from the second image evaluation system.
  • the support unit re-evaluates the first result regarding the evaluation of the medical image acquired from the first image evaluation system based on the judgment of the morbidity state of the second image evaluation system, and the result is a common image evaluation environment. To output via.
  • the support unit is emphasized in determining the morbidity of the first area and the second image evaluation system, which are emphasized by the first result regarding the evaluation of the medical image obtained from the first image evaluation system. To output the second area via a common image evaluation environment.
  • the support unit sets an image region including a first region, which is emphasized by the first result regarding the evaluation of the medical image acquired from the first image evaluation system, through the common image evaluation environment. Select as the evaluation target of the image evaluation system of.
  • the support unit sets an image region including a second region, which is emphasized in determining the morbidity of the second image evaluation system, as an evaluation target of the first image evaluation system via a common image evaluation environment. To choose.
  • One of the further different aspects of the present invention is a program for evaluating medical images by a computer.
  • the program (program product) is that the computer accesses the first image evaluation system that statistically evaluates the first type of medical image including at least a part of the subject's body as the target area, and the first. Access to a second image evaluation system that determines a subject's morbidity using a first model machine-trained to evaluate a first disease based on a type of medical image, and a first image. Providing at least one of the input of the evaluation target and the output of the evaluation result to the evaluation system and the second image evaluation system via a common image evaluation environment, and at least one of the steps i) to vi) above. Has an instruction to execute.
  • the program may be provided by recording on a computer-readable recording medium.
  • the figure which shows the outline of the information provision system for image diagnosis support The figure which shows the outline of the processing of the evaluation support system.
  • the figure which shows the process of standardization The figure which shows an example of the area of interest when the anatomically standardized image is used as the input of deep learning.
  • the figure which shows an example of an input process The figure which shows an example of the input process with partial extraction.
  • the figure which shows the deep learning model. The figure which shows the change of sensitivity and specificity.
  • the figure which shows the ROI of a deep learning model. The figure which shows the ROI by statistical processing.
  • FIG. 1 shows an outline of the system 1 that provides information for diagnostic imaging support.
  • the system 1 provides information on medical imaging support that includes the brain or part of the brain as a part of the subject's body as a target area for diagnostic imaging or evaluation.
  • the system 1 statistically evaluates the image database 52 storing the subject's brain image 53 and the brain image 53 as the first type of medical image including at least a part of the subject's body as the target area.
  • An image evaluation system 60, a second image evaluation system 70 that determines the morbidity of a subject using a first model machine-learned to evaluate a first disease based on a brain image 53, and an image evaluation support system. Includes 10 and.
  • the image evaluation support system (support system) 10 has a first access unit (interface) 11 accessible to the first image evaluation system 60 and a second access accessible to the second image evaluation system 70.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • PET PET
  • SPECT Single Photon
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • PET PET
  • SPECT Single Photon
  • tomography equipment such as Emission Computed Tomography (Emission Computed Tomography) and PET-CT
  • these modality images are used for diagnosis of various diseases.
  • the modality image (medical image) 53 including the subject's brain as a target area for diagnosis or evaluation is used to acquire data related to the physical state of the subject's brain, such as dementia and Parkinson's disease. It is used for diagnosing diseases of.
  • Examples of medical image types are CT and MRI, which can reflect highly accurate morphological information.
  • the MRI image includes, for example, a T1-weighted image, a T2-weighted image, a diffusion-weighted image, a flare image, a diffusion tensor image, a QSM image, a pseudo PET image, a pseudo SPECT image, and the like.
  • QSM images Quantantitative Susceptibility Mapping
  • Other examples of types of medical images are PET and SPECT, which are obtained by administering a radiopharmaceutical into the subject's body, such as by intravenous injection, and imaging the radiation emitted by the drug in the body. , The image is generated.
  • a PET image is taken using a so-called Pittsburgh compound B as a radiopharmaceutical for PET (tracer), and the degree of accumulation of amyloid ⁇ protein in the brain is measured based on the captured PET image to obtain Alzheimer's disease. It can be useful for the differential diagnosis or early diagnosis of.
  • the pseudo PET image is a word used to distinguish it from the actual PET image, and is an image for estimating the actual PET image.
  • the pseudo PET image may be generated based on, for example, an MRI image.
  • the pseudo SPECT image is an image that estimates the actual SPECT image.
  • SPECT images there is an imaging method that visualizes the distribution of a dopamine transporter (DAT) called DatSCAN (Dopamine transporter SCAN) in a SPECT examination in which a radiopharmaceutical called 123I-Ioflupane is administered.
  • DAT dopamine transporter
  • the purpose of this imaging is to assist in early diagnosis of Parkinson's disease (PS) in Parkinson's disease (PD), assist in diagnosis of Lewy body dementia (DLB, Dementia with Lewy Bodies), and when there is dopaminergic nerve loss in the striatum.
  • PS Parkinson's disease
  • PD Parkinson's disease
  • DLB Lewy body dementia
  • Lewydova A type of medication decision called Lewydova can be mentioned.
  • This system 1 is a mapping system 55 that standardizes a medical image 53 of the first type of a subject into an image (standardized image) 50 that can be input and output to the first image evaluation system 60 and the second image evaluation system 70.
  • the support system 10 may include a third access unit (interface) 13 that can access the mapping system 55.
  • An example of the standardized image 50 is an anatomical standardized image, and the mapping system 55 may have a function as an anatomical standardization processing unit.
  • the mapping system 55 outputs a third result 56 regarding the evaluation of the standardization process of the brain image 53, including the reliability of the process in each voxel of anatomical standardization, and the support unit 30 via the access unit 13 As a result, 56 may be obtained.
  • the support unit 30 is provided with a common image evaluation environment that provides an evaluation for the image based on the standardized image 50, and the evaluation at the time of mapping or the third result 56 regarding the evaluation is obtained by the mapping system. It can be output in the same environment as 55, or can be used as input for processing in the support unit 30.
  • the support system 10 including the support unit 30 provides information for evaluating an image via a common image evaluation environment (common evaluation environment, user interface module, U / I module) 15 including a standardized evaluation image. It may be provided to medical personnel who are users. The user may access the support system 10 using access devices such as the display 16a and the touch panel 16b attached to the support system 10, or may access the support system 10 via the cloud (Internet) 17. ..
  • a common image evaluation environment common evaluation environment, user interface module, U / I module
  • the user may access the support system 10 using access devices such as the display 16a and the touch panel 16b attached to the support system 10, or may access the support system 10 via the cloud (Internet) 17. ..
  • a configuration range 8 including an image database 52, a first image evaluation system 60 and a second image evaluation system 70 may be provided via the cloud (Internet).
  • the configuration range 9 including the mapping system 55, the storage of the standardized image 50, the input 62 and the evaluation output 63 of the first image evaluation system 60, and the input 72 and the evaluation output 73 of the second image evaluation system 70 is included. It may be provided via the cloud.
  • the first image evaluation system 60 that statistically evaluates medical images may be provided as a system equipped with computer resources, and includes a processor 61 that performs statistical processing, and a library and a program for performing statistical processing.
  • the database 65 that stores the data may be provided.
  • the first image evaluation system 60 may output the first result 66 regarding the evaluation of the medical image to be processed, that is, the statistical evaluation.
  • the evaluation result 66 may be output (displayed) based on the standardized image 50 in the evaluation output function (display unit) 63 of the evaluation system 60.
  • the support unit 30 may acquire the result 66 via the access unit 11.
  • the support unit 30 uses a common image evaluation environment (common evaluation environment) 15 that provides an evaluation for an image based on the standardized image 50, and first obtains a first result 66 regarding the evaluation of statistical processing or the evaluation thereof. It can be output in the same environment as the image evaluation system 60, or can be used as an input for processing in the support unit 30.
  • the first result 66 may include information on a first region (region of interest, ROI) that is valued by statistical processing.
  • the first image evaluation system 60 may include an input function (selection unit) 62 for selecting an image to be statistically processed based on the standardized image 50 or a region in the image.
  • the control (input control information) 67 of the analysis target including the selection of the region to be statistically processed may be provided by the support unit 30.
  • the support unit 30 uses the common evaluation environment 15 to input or select information to be statistically processed based on the standardized image 50 via the same environment as the first image evaluation system 60. be able to.
  • the process of correcting the covariates of age or gender (or various biomarker values) as input to each voxel data of the standardized image 50 may also be executed via the common evaluation environment 15.
  • the second image evaluation system 70 that determines the diseased state based on the medical image may be provided as a system equipped with computer resources, and evaluates the disease state based on the processor 71 that performs processing by the learning model and the medical image.
  • a first model 74 machine-learned to do so and a database 75 storing a library and the like may be provided.
  • the second image evaluation system 70 determined the morbidity of the subject using the evaluation of the medical image to be processed, that is, the first model 74 machine-learned to evaluate the first disease based on the medical image.
  • the second result 76 regarding the matter may be output.
  • the evaluation result 76 may be output (displayed) based on the standardized image 50 in the evaluation output function (display unit) 73 of the evaluation system 70.
  • the support unit 30 may acquire the result 76 via the access unit 12.
  • the support unit 30 uses the common evaluation environment 15 based on the standardized image 50 to output an evaluation regarding the determination of the morbidity condition or a second result 76 regarding the evaluation via the same environment as the second image evaluation system 70. Alternatively, it can be used as an input for processing in the support unit 30.
  • the image evaluation system 70 of the above can be adopted, and the second result 76 regarding the determination of the morbidity state of the subject using the learning model 74 can be output.
  • the second result 76 shows the presence or absence of the first disease of interest, eg, the presence or absence of AD or DLB, and the advanced state, as well as the second area (region of interest, ROI) that was emphasized in determining the morbidity. Information may be included.
  • the support unit 30 is used by using the standardized image 50 via the common evaluation environment 15.
  • the ROI can be evaluated in the same environment as the second evaluation system 70.
  • the second image evaluation system 70 may include an input function (selection unit) 72 that selects an image or a region in the image to be determined by the learning model 74 based on the standardized image 50.
  • the control (input control information) 77 of the diagnosis target (discrimination target) including the selection of the region to be processed may be provided by the support unit 30.
  • the support unit 30 uses the common evaluation environment 15 to input or select information to be discriminated by the learning model 74 based on the standardized image 50 in the same environment as the second image evaluation system 70. can do. Also in this case, the process of correcting the covariates of age or gender (or various biomarker values) as input to each voxel data of the standardized image 50 is also executed via the common evaluation environment 15. You may.
  • the support system 10 may be provided as a device provided with computer resources such as a server that can access the cloud, and is a program 19 including a library required for various processes and an instruction for executing the process as the support system.
  • a database 18 that stores the above may be provided.
  • the service to the user using the common evaluation environment 15 may be provided as a service via the cloud (Software as a Service).
  • the support system 10 provides the common evaluation environment 15 using the standardized processed image 50, and the support unit 30 uses the common evaluation environment 15 to evaluate the evaluation result 66 of the first image evaluation system 60.
  • the evaluation result 76 of the second image evaluation system 70 can be seamlessly provided to the user in a state where they can mutually refer to each other.
  • the result 56 at the time of standardization can be provided to the user.
  • the method using gradCAM or the like for deep learning it is possible to visualize the region of interest that was important in the discrimination of deep learning. Further, if the input of discrimination by deep learning is a brain image mapped to the anatomical standard brain 50 provided in the common image environment 15 using the support system 10, the image is the same as the statistically calculated ROI. It can be visually recognized in comparison with the above (display switching and overlay).
  • a region of interest for deep learning is specified using the common image environment 15, statistical processing is performed on that region, values of brain volume and blood flow are calculated, and discrimination is performed. It is possible to present human-interpretable index values for the areas that were effective.
  • this support system 10 can be a tool function (system side) that can be considered in other businesses. For example, it can be applied to each analysis result, and it is possible to select an intervention method, select a drug prescription, etc., and guide additional tests if possible.
  • DLB can provide support for recommending DatSCAN / MIBG myocardial scintigraphy examinations and recommending examination institutions. By linking with the paper database, it is possible to provide research support, diagnostic support, and treatment support by displaying the related paper link when the mouse is over in the ROI area displayed in the common image environment 15.
  • the support unit 30 can provide some functions by using the common image environment 15.
  • One function is an input support function (input support unit) 37, which provides input control information 67 and 77 to the first image evaluation system 60 and / or the second image evaluation control system 70 via the support unit 30. By supplying it, the following functions can be provided.
  • the anatomical standardized image 50 is involved in the brain when it is input to the deep learning model 74 of the second image evaluation system 70.
  • the second image evaluation system 70 is controlled so as to determine whether or not it is a disease (assuming a disease that can be diagnosed from a brain image), or class determination such as its type and progression classification.
  • Each voxel data of the anatomical standardized image 50 is further corrected for the covariate of age or gender (or various biomarker values) as an input, and then selected as an input of the deep learning model 74.
  • the model When predicting the classes of the deep learning model 74, the model finally has the option of displaying a value of 0 to 1 in each class evaluated by the softmax function.
  • a classification related to a disease for example, in the case of a classification of dementia among brain diseases, a class such as NC (Normal Control), AD, or DLB can be assumed.
  • the first disease to be differentiated includes Alzheimer-type dementia (AD) and Lewy body dementias (DLB) and includes dementia
  • the first type of medical image 53 is MR. If it is an image, the target areas are the hippocampus, parahippocampal gyrus, dorsal side of the brain stem, medial temporal pole, and basal ganglia (shell, caudate nucleus, entorhinal cortex, parahippocampal gyrus, tonsillar, etc.)
  • Input control information 67 and 77 may be set to include at least one of.
  • the input control information 67 and 77 is set so that the area of interest includes at least one of the precuneus, occipital lobe, and dorsolateral prefrontal cortex of the brain. You may.
  • the support unit 30 has a first result 66 regarding the evaluation of the medical image acquired from the first image evaluation system 60 and a second result 76 regarding the evaluation of the medical image of the subject acquired from the second image evaluation system 70.
  • the evaluation (first result) 66 obtained by statistically processing the medical image and the evaluation (second result) 76 predicted by the deep learning model 74 from the medical image can be compared independently or. In this state, for example, it may be output in parallel or switched over via the standardized image 50.
  • the support unit 30 re-evaluates the first result 66 regarding the evaluation of the medical image acquired from the first image evaluation system 60 based on the determination of the morbidity state of the second image evaluation system 70, and obtains a common image. It may include a function (restatistical processing request unit) 32 that outputs via the evaluation environment 15. Statistical processing of images of subjects determined to have disease based on the determination of morbidity in the deep learning model 74, even if the results of the preceding statistical processing do not show a region of interest ROI for the disease. By reassessing the slight difference in the disease, it can be re-recognized as the ROI of the disease.
  • the support unit 30 describes the first region (ROI), which is emphasized by the first result 66 regarding the evaluation of the medical image obtained from the first image evaluation system 60, and the affected state of the second image evaluation system 70.
  • a function (overlap display (overlay) unit) 33 for superimposing and outputting the second region (ROI), which is regarded as important for determination, on the common image evaluation environment 15 may be included.
  • Information about the ROI may be obtained from systems 60 and 70, respectively, as part of information 66 and 76 about the evaluation results.
  • the deep learning model 74 predicts the class of disease
  • the region that the model 74 used for evaluation can be displayed on the brain image 50 after anatomical standardization.
  • the support unit 30 uses a common image evaluation environment 15 for an image area including a first area (ROI) that is emphasized by the first result 66 regarding the evaluation of the medical image acquired from the first image evaluation system 60.
  • a function (model input selection unit) 34 for selecting as an evaluation target of the second image evaluation system 70 may be included.
  • the standardized image 50 one or more anatomical parts are further input as a region of interest (ROI), and the image filtered by the anatomical part of the anatomical standardized image 50 is input to the deep learning model 74. You may make the selection.
  • the anatomical part is defined on the standardized brain coordinates, and the "region of interest" which is a set of coordinates with the same name is the first. It can be selected for the image evaluation system 60 and the second image evaluation system 70.
  • the support unit 30 uses the common image evaluation environment 15 to obtain an image region including a second region (ROI), which is important for determining the diseased state of the second image evaluation system 70, in the first image evaluation system. It may include a function (statistical processing input selection unit) 35 for selecting 60 as an evaluation target. By selecting the ROI that focuses on the determination of the morbidity of the deep learning 74 and performing statistical processing, it is possible to provide the interpretation and explanation to the medical staff who handles the result of the deep learning 74.
  • ROI second region
  • the support unit 30 is the first result regarding the evaluation of the medical image acquired from the first image evaluation system 60 based on the common image evaluation environment of the medical image of the subject, in this example, the reliability of the mapping to the standardized image 50. 66, or the function of controlling the output of the second result 76 regarding the evaluation of the medical image of the subject acquired from the second image evaluation system 70 to the standardized image 50 using the common image evaluation environment 15 (mapping evaluation). Unit) 36 may be included.
  • the deep learning model 74 using the anatomical standardized image 50 as an input predicts the disease class, it is possible to display the result of correction by reliability for each voxel value of the region ROI that the model 74 used for evaluation. ..
  • mapping accuracy there is a problem in the mapping accuracy to the standard brain image 50, there may be a problem in the reliability of the analysis result with the region with low mapping accuracy as the ROI.
  • By quantifying the mapping accuracy before analyzing the brain image providing ROI, performing differentiation, it is possible to apply an ROI filter so as to obtain an evaluation that does not use an image region with low reliability.
  • the support system 10 further evaluates the first disease, for example, AD or DLB by the learning model (first model) 74 based on the output of these evaluation results using the common image environment 15 of the support unit 30.
  • the unit 20 to be verified may be provided.
  • FIG. 2 shows a flowchart of an evaluation support method using the image evaluation support system 10.
  • the evaluation support system 10 can be provided as an information processing device including computer resources including a memory and a CPU, and this support method has instructions that can be executed as a control method of the system 10 or in a computer.
  • the program may be provided by recording it on a recording medium readable by a computer, or may be provided in a state where it can be downloaded from the Internet or the like.
  • step 81 the mapping system 55 maps the brain image 53 of the subject (user, examinee) to the standardized image (anatomical standardized image) 50.
  • the outline of the anatomical standardization process is shown in FIG. In addition, FIG. 4 shows the standardization process.
  • Anatomical standardization involves mapping an individual's functional image linearly or non-linearly onto a standard template.
  • Performing anatomical standardization processing has become a standard method for analyzing medical images as well as brain images by aligning the positions of brain regions between subjects.
  • VBM Vehicle-based morphometry
  • LDDMM differential common mode mapping
  • step 811 of FIG. 3 the horizontal axis is adjusted (ACPC conversion) for all the images (FIG. 4 (a)).
  • step 812 the images of each subject are segmented into gray matter (GM), white matter (WM) and cerebrospinal fluid portion (CSF) (FIG. 4 (b)).
  • step 813 the image divided into gray matter images is subjected to DARTEL processing using a template created only from the standard brain (FIG. 4 (c)).
  • step 814 further standardization to the MNI space is performed (FIG. 4 (d)).
  • the gray matter image may be further shaped for volume information by modulation and smoothed with an 8-mm wide Gaussian kernel. The smoothing width is not limited to 8 mm.
  • FIG. 5 shows an example of trying a visualization technique called SHAP when an image after anatomical standardization of a morphological MRI image is used as an input for deep learning.
  • SHAP a visualization technique
  • accuracy or sensitivity or specificity
  • FIG. 6 shows the process of performing anatomical standardization using a deep learning model in the mapping system 55.
  • an anatomical standardization process is performed using a deep learning model. Deep learning may be applied after anatomical standardization, but deep learning may be applied to the process of anatomical standardization.
  • anatomical standardization may use LDDMM for non-linear transformation, the problem of long processing time may occur. It is possible to learn this process with a neural network and introduce a method that is faster and more accurate than DARTEL.
  • the reliability of the mapping may be calculated by using the Bayesian Neuronal Network at the same time as increasing the speed.
  • the reliability evaluation result 56 may be used for correcting the region of interest (region of interest, ROI) in the first image evaluation system 60 and the second image evaluation system 70.
  • the support unit 30 may use the common image environment 15 to provide input control support to the first image evaluation system 60 and the second image evaluation system 70.
  • the anatomical standardized image 50 may be further corrected by inputting attributes such as age and gender and biomarkers, and the anatomical standardized image may be used for subsequent processing.
  • FIG. 7 shows the flow of processing when attributes and biomarkers are further input and used.
  • the common image environment 15 may be used to provide input control support to the second image evaluation system 70.
  • the second image evaluation system 70 a case where the deep learning model is directly determined and a case where the deep learning model is determined after filtering by the anatomical site may be selected.
  • FIG. 8 shows the flow of processing when performing site extraction.
  • step 84 when the support unit 30 needs to acquire the evaluation result of the statistical processing, the first access unit accessible to the first image evaluation system 60 in step 85.
  • the first evaluation result 66 regarding the statistical processing of the image of the first image evaluation system 60 is acquired via the (interface) 11.
  • a statistical comparative evaluation is performed between the brain image of the subject and the brain image of a healthy person.
  • VBM Vehicle Based Morphometry
  • a typical statistical process is to generate a Z-score map.
  • the data (normal standard brain) obtained by calculating the average value and standard deviation for each boxel from the MR image of the normal case that has undergone brain morphology standardization processing and creating the average image and standard deviation image. It is created by substituting the value and the value of the subject's image data (processed image) into the following formula for calculating the Z score.
  • z (M (x, y, z) -I (x, y, z)) / SD (x, y, z) M and SD represent the average image and the standard deviation image of the normal standard brain, and I represents the processed image.
  • a voxel in which the Z score map has a positive value indicates a region with atrophy as compared with a normal standard brain, and it can be interpreted that the larger the value, the larger the divergence statistically. For example, if the Z score is "2", it means that the average value exceeds twice the standard deviation, and it is evaluated that there is a statistically significant difference with a risk rate of about 5%.
  • M, SD and I may be calculated in the region of interest, respectively, and the average of all positive Z scores may be obtained.
  • the molecule of this formula indicates the sum of the SUVs of the four cerebral gray matter sites, namely the cortical regions of the cerebrum (frontal cortex, anterior and posterior zonal cortex, parietal lobe, and lateral temporal lobe), and the denominator indicates the SUV of the cerebellum. ..
  • BR Biting Ratio
  • C in the formula is the average value of DAT in each region of interest
  • Cspecific indicates the average value of the putamen and caudate nucleus in the brain
  • Cnonspecific indicates the average value of the occipital cortex in the brain.
  • ROI areas of interest
  • SPM Statistical Parametric Mapping
  • the disease groups were determined by two certified specialists of the Japan Society for Dementia as DLB or AD as the main neurological disease based on the DSM-5 diagnostic criteria. To exclude vascular disorders, subjects were recruited under conditions excluding subjects with progressive and acute white matter lesions. This is a group of subjects excluding those who were not diagnosed with dementia in the healthy group and suspected of having a disease of the central nervous system. This study was approved by the Institutional Review Board and was conducted in accordance with the guidelines at the participating institutions.
  • FIG. 9 shows the attributes of the subjects.
  • the DLB group consists of 50 women and 51 men with a mean and standard deviation of 73.25 ⁇ 8.05 years.
  • the AD group consists of 36 women and 33 men (similarly age 71.58 ⁇ 6.33 years).
  • the NC group consists of 28 women and 10 men (similarly age 71.03 ⁇ 6.28 years). There were no significant differences between any group of subjects of age and gender. All subjects underwent the MMSE test, with scores of 22.21 ⁇ 4.86, 21.32 ⁇ 3.95 and 28.21 ⁇ 1.26 in the DLB, AD and NC groups, respectively. There was no significant difference between the DLB and AD groups.
  • the subject's MRI data was captured by a total of 11 different scanners. It is a three-dimensional T1-weighted image obtained by Gapless imaging in the sagittal direction, and the PulseSequence of each MRI scanner is as shown in FIG. Each MRI image was converted into an anatomical standardized image 50 by the processing described above.
  • FIG. 12 shows the ROIs of the three groups that have undergone ICV normalization.
  • FIG. 12 shows the result of performing ICV normalization.
  • the sites with a significant difference in gray matter volume compared to the three groups were found to have a relatively wide range of significant differences, and the most significant difference was the area extending from the parahippocampal gyrus to the brain stem.
  • FIG. 13 shows the results of evaluating the effect in ROI of each group subjected to ICV normalization with 90% CI. No significant difference was observed between the DLB group and the AD group.
  • the support unit 30 uses a first model (deep learning model) 74 machine-learned to evaluate a first disease, eg, AD or DLB, based on medical images.
  • a first disease eg, AD or DLB
  • the second image evaluation system 70 can be accessed in step 87.
  • the second evaluation result 76 of the second image evaluation system 70 is acquired via the second access unit (interface) 13.
  • FIG. 14 shows an outline of the adopted model.
  • ResNet is a kind of convolutional neural network model, and has a feature of having a model structure that prevents the disappearance of the characteristics of the signal source as compared with a general convolutional neural network.
  • ResNet can adopt a mechanism of transmitting the output to the next layer by combining the output of the convolution and the input of the layer by adding a mechanism called "skip connection" to the convolution layer. This makes it possible to prevent information loss of training data even when the model layer is deepened, and high accuracy can be obtained in many image classification tasks.
  • FIG. 15 shows a ROC plot of the model with the maximum verification accuracy of each 5-fold, in which changes in sensitivity and specificity were confirmed while moving the softmax disease determination threshold of the output layer.
  • the sensitivity and specificity when balanced by YoudenIndex were 81.54 ⁇ 10.43% and 76.77%, respectively, and the accuracy at that time was 79.15 ⁇ 5.22% (sensitivity and accuracy are specificity. 5-foldmean ⁇ SD when fixed). Although limited, it was confirmed from this experiment that the deep learning model using the same gray matter volume data has the ability to discriminate between the DLB group and the AD group, for which no significant difference could be confirmed by the conventional SPM statistical test. did it.
  • the brainstem region was detected in the analysis using ICV, and there is an analysis in other studies that confirmed the significant difference between the DLB group and the AD group although it was white matter on the dorsal side of the brainstem.
  • the difference in the degree of atrophy of gray matter including the brain stem from the hippocampus of the DLB group and the AD group was small compared to the intracranial volume.
  • the atrophy pattern of the DLB group and the AD group may be fine, while the deep learning model shows a certain level of discrimination performance.
  • step 88b when the display of the evaluation results of the respective systems 60 and 70 is requested in step 88a, in step 88b, the display / comparison unit 31 of the support unit 30 is transferred from the first image evaluation system 60.
  • the first result 66 regarding the evaluation of the acquired medical image and the second result 76 regarding the evaluation of the medical image of the subject acquired from the second image evaluation system 70 are provided to the user via the common image evaluation environment 15. offer.
  • step 89a when a review of statistical processing is requested based on the discrimination result of the learning model 74, in step 89b, the restatistical processing request unit 32 of the support unit 30 is affected by the second image evaluation system 70.
  • the first image evaluation system 60 is requested via the input control information 67 to re-evaluate the first result 66 regarding the evaluation of the medical image acquired from the first image evaluation system 60.
  • the result 66 is output via the common image evaluation environment 15.
  • FIG. 16 shows the SPM statistical test results and the part with the minimum p-value of five DLB-verified subjects, and the softmax output value (0-1) which is the basis for judgment in the deep learning model 74 of the subject.
  • the gray matter sites with the highest p-values were putamen / caudate nucleus / entorhinal cortex / parahippocampal gyrus / amygdala in each subject.
  • the striatum such as the putamen and caudate nucleus, is the site where degeneration of dopamine neurons is observed in Lewy body dementias and Parkinson's disease. In subjects (c) and (d), atrophy around the hippocampus was confirmed.
  • Atrophy around the hippocampus is often seen in AD cases, but in these cases, the evaluation by the softmax function output value of the proposed method shows that the DLB judgment basis is relatively low, although it is a slight difference.
  • Met Amygdala atrophy was observed in subject (e). The amygdala is also the site where ⁇ -synuclein accumulation is reported in cortical Lewy bodies.
  • the existing method defined and evaluated the ROI limited to the dorsal part of the brain stem
  • the method using the learning model 74 has a necessary feature in Lewy body dementias, which has a wide range of pathological effects. Can be understood more than the existing method, and it can be seen that it may have contributed to the improvement of accuracy.
  • the overlay display unit 33 of the support unit 30 is the first.
  • the first region (ROI), which is emphasized by the first result 66 regarding the evaluation of the medical image obtained from the image evaluation system 60, and the second region (ROI), which is emphasized by the second result 66, are emphasized in determining the morbidity of the second image evaluation system 70.
  • Region (ROI) is output via the common image evaluation environment 15.
  • FIG. 17 shows an example in which the deep learning model 74 uses GradCAM to output the region of interest (ROI) that was heavily used in the discrimination of the deep learning model 74 and displayed it on the anatomical standardized image 101.
  • the output of the GradCAM is displayed using the sagittal section 102, the coronal section 103, and the horizontal section 104 of the anatomically standardized brain.
  • each volume 105 of GM (gray matter), WM (white matter), TBV, and ICV is shown together with the average value (indicated in parentheses) of healthy subjects.
  • the clinical information 108 of the subject and the DLB certainty degree 106 are also displayed.
  • the check item for "part selection” is only “gray matter”, but multiple parts can be selected, not limited to gray matter. It may also be possible to select detailed sites within the gray matter.
  • FIG. 18 shows an example of the result of statistically processing the brain image 53 of the same subject.
  • the region of interest (ROI) of the Z-score is shown using the sagittal section 112, the coronal section 113, and the horizontal section 114 of the anatomical standardized image 111.
  • FIG. 19 shows the first evaluation result including the region of interest of the statistical evaluation regarding the evaluation of the medical image of the first subject acquired from the first image evaluation system, and the second image evaluation system of the first subject. It shows how the second evaluation result including the important region captured when determining the affected state from the medical image is output in a common image evaluation environment.
  • the ROI of the deep learning model 74 obtained by GradCAM and the ROI of the Z score are shown in an overlapping manner.
  • the ROI regions of both are superimposed on the sagittal section 122, the coronal section 123, and the horizontal section 124 of the anatomical standardized image 121.
  • the input of discrimination by the deep learning model 74 is a brain image mapped to the anatomical standard brain, it can be visually recognized by contrasting on the same image as the conventional statistically calculated ROI. It will be possible.
  • the model input selection unit 34 of the support unit 30 is the first image evaluation system.
  • An image region including a first region (ROI) that is emphasized by the first result 66 regarding the evaluation of the medical image obtained from 60 is selected via the common image evaluation environment 15, and the input control information 77 is used to select the image region. It is provided as an evaluation target of the image evaluation system 70 of 2.
  • step 92a when it is selected to perform statistical processing based on the ROI of the learning model 74, in step 92b, the statistical processing input selection unit 35 of the support unit 30 is the second image evaluation system 70.
  • An image region including a second region (ROI) that is emphasized in determining the affected state is selected via a common image evaluation environment 15, and is provided as an evaluation target of the first image evaluation system 60 by input control information 67. do.
  • the first image evaluation system 60 calculates the values of brain volume and blood flow in the region of interest of the deep learning model, and presents a human-interpretable index value for the region that was effective for discrimination. It becomes possible.
  • the statistical processing is not limited to the Z score, and may be a volume value / volume density value, a blood flow rate, a glucose metabolism amount, an accumulation amount of a tracer reactant, or the like.
  • the mapping evaluation unit 36 of the support unit 30 is a common image evaluation environment of the medical image of the subject, standardized in this example.
  • the evaluation of the first result 66 regarding the evaluation of the medical image acquired from the first image evaluation system 60 or the medical image of the subject acquired from the second image evaluation system 70 based on the reliability of mapping to the image 50.
  • the output of the second result 76 using the common image evaluation environment 15 is controlled.
  • the medical personnel may evaluate the discrimination result of the deep learning model 74 in step 94 based on various information provided through the common image evaluation environment 15. ..
  • AD, DLB, and a healthy person have been mainly described, but the present invention is not limited to AD and DLB, and the system, control method, and program of the present embodiment include brain disorders (including brain diseases). ) Can also be applied.
  • Brain disorders include dementia, attention disorders, memory disorders, executive dysfunction, social behavior disorders, aphasia, apraxia, and higher brain disorders such as apraxia.
  • Dementia includes AD (Alzheimer Disease), DLB (Dementia with Lewy Bodies, Lewy body dementias), and other dementia, such as frontotemporal dementia and progressive supranuclear dementia. Includes paralysis, corticobasal degeneration, and dementia with granular dementia.
  • the state of brain disorder is the presence or absence of brain disorder, its progress state, the presence or absence and differentiation of the causative disease (causative disease) of brain disorder such as dementia, the progress state of one or more causative diseases, etc. Includes various aspects of brain damage in patients and users.
  • brain diseases include dementia (including AD, DLB, frontal temporal lobe degeneration (FTLD), normal pressure hydrocephalus (NPH), etc.), brain tumors, psychiatric disorders (also called psychiatric disorders, schizophrenia, etc.) (Including epilepsy, mood disorder, dependence disorder, higher dysfunction, etc.), Parkinson's disease, Asperger's syndrome, attention deficit / hyperactivity disorder (ADHD), sleep disorder, childhood disease, ischemic brain disorder, mood disorder (depression) Etc.) etc. are included.
  • brain disorders include dementia and multiple sclerosis as diseases related to the brain, and mild cognitive impairment (MCI: Mild cognitive impairment) and Alzheimer as diseases related to amyloid ⁇ , for example.
  • Mild cognitive impairment due to illness MCIdue to AD
  • prodromal AD pre-symptomatic AD of Alzheimer's disease / preclinical AD
  • Parkinson's disease multiple sclerosis
  • insomnia sleep disorders
  • cognition includes neurodegenerative diseases such as functional decline, cognitive impairment, and amyloid positive / negative disorders.
  • the target area included in the medical image to be evaluated is the brain or a part of the brain to explain the present invention, but the target area is not limited to the brain and any other body of the subject. Or may be part.
  • the disease to be evaluated is not limited to dementia, and any disease related to other parts of the body may be used as long as it is a disease to be evaluated.
  • Image diagnosis support information provision system 8 9 Configuration range 10 Support system 11 First access unit 12 Second access unit 13 Access unit 15 Image evaluation environment (common evaluation environment) 16a Display 16b Touch panel 17 Cloud 18 Database 19 Program 20 Unit 30 Support unit 31 Individual / comparative evaluation unit 32 Restatistical processing request unit 33 Overlay display (overlay) unit 34 Model input selection unit 35 Statistical processing input selection unit 36 Mapping evaluation Unit 37 Input support function (input support unit) 50 Standardized image 52 Image database 53 Brain image (first type medical image) 55 Mapping system 56 Third result 60 First image evaluation system 61 Processor 62, 72 Input to be evaluated 63, 73 Output of evaluation result 65 Database 66 First result 67, 77 Input control information 70 Second image evaluation System 71 Processor 74 Deep learning model (learning model, first model) 75 database 76 second result

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

画像診断のための画像評価を支援するシステムを提供する。 支援システム(1)は、被験者の身体の少なくとも一部を対象領域として含む第1のタイプの医用画像を統計的に評価する第1の画像評価システムに対しアクセス可能な第1のアクセスユニット(11)と、第1のタイプの医用画像に基づき第1の疾患を評価するように機械学習した第1のモデルを用いて被験者の罹患状態を判断する第2の画像評価システムに対しアクセス可能な第2のアクセスユニット(12)と、第1の画像評価システムおよび第2の画像評価システムに対する評価対象の入力および評価結果の出力の少なくともいずれかについて共通の画像評価環境(15)を介して提供する支援ユニット(30)とを有する。

Description

システム、制御方法及びプログラム
 本発明は、画像診断を支援するための情報を提供するシステムに関するものである。
 文献1に開示された画像処理装置は、被験者の脳の機能画像を入力する入力部と、被験者の機能画像を解剖学的標準化する解剖学的標準化部と、標準脳上に割り付けられた解剖学的領域のデータを記憶した標準脳データ記憶部から解剖学的領域のデータを読み出し、当該解剖学的領域のデータをROIの候補として提示するROI候補提示部と、解剖学的領域の選択を受け付け、選択された1又は複数の解剖学的領域に基づいて、解剖学的標準化された被験者の脳画像上にROIを設定するROI設定部と、ROI内の画素値に基づいて、評価値を計算する評価値計算部と、計算された評価値に関する情報を表示する表示部とを備える。
特開2019-074343号公報
 医用画像を用いた診断補助については深層学習を用いて鑑別精度が高まることが期待されている。一方、深層学習による鑑別結果および評価がどのように算出されたのかはブラックボックスで、結果を扱う医療従事者にとって、その解釈と説明が難しいという問題がある。
 本発明の一態様は、被験者の身体の少なくとも一部を対象領域として含む第1のタイプの医用画像を統計的に評価する第1の画像評価システムに対しアクセス可能な第1のアクセスユニットと、第1のタイプの医用画像に基づき第1の疾患を評価するように機械学習した第1のモデルを用いて被験者の罹患状態を判断する第2の画像評価システムに対しアクセス可能な第2のアクセスユニットと、第1の画像評価システムおよび第2の画像評価システムに対する評価対象の入力および評価結果の出力の少なくともいずれかについて共通の画像評価環境を介して提供する支援ユニットとを有するシステムである。このシステムによれば、機械学習した第1のモデルの評価と、統計的処理の評価とを共通の環境を介して評価することが可能となり、医用画像の機械学習による鑑別結果を、医療従事者などが解釈する支援を行うことができる。支援ユニットは、被験者の第1のタイプの医用画像が、第1の画像評価システムおよび第2の画像評価システムに対し入出力可能な画像に標準化された評価用画像を含む共通の画像評価環境を用いてもよい。
 本発明の他の態様の1つは、上記第1のアクセスユニットと、第2のアクセスユニットと、支援ユニットとを有する支援システムの制御方法である。当該方法は、以下のステップの少なくともいずれかを含む。
i)支援ユニットが、第1の画像評価システムから取得した医用画像の評価に関する第1の結果と、第2の画像評価システムから取得した被験者の医用画像の評価に関する第2の結果とを、共通の画像評価環境を介して出力すること。
ii)支援ユニットが、第2の画像評価システムの罹患状態の判断に基づき、第1の画像評価システムから取得した医用画像の評価に関する第1の結果を再評価した結果を、共通の画像評価環境を介して出力すること。
iii)支援ユニットが、第1の画像評価システムから取得した医用画像の評価に関する第1の結果により重要視される第1の領域と、第2の画像評価システムの罹患状態の判断に重要視された第2の領域とを、共通の画像評価環境を介して出力すること。
iv)支援ユニットが、第1の画像評価システムから取得した医用画像の評価に関する第1の結果により重要視される第1の領域を含む画像領域を、共通の画像評価環境を介して前記第2の画像評価システムの評価対象として選択すること。
v)支援ユニットが、第2の画像評価システムの罹患状態の判断に重要視された第2の領域を含む画像領域を、共通の画像評価環境を介して第1の画像評価システムの評価対象として選択すること。
vi)支援ユニットが、被験者の医用画像の共通の画像評価環境へマッピングの信頼度に基づき、第1の画像評価システムから取得した医用画像の評価に関する第1の結果、または、第2の画像評価システムから取得した被験者の医用画像を評価に関する第2の結果の、共通の画像評価環境を用いた出力を制御すること。
 本発明のさらに異なる態様の1つは、コンピュータにより医用画像を評価するプログラムである。プログラム(プログラム製品)は、コンピュータが、被験者の身体の少なくとも一部を対象領域として含む第1のタイプの医用画像を統計的に評価する第1の画像評価システムに対しアクセスすることと、第1のタイプの医用画像に基づき第1の疾患を評価するように機械学習した第1のモデルを用いて被験者の罹患状態を判断する第2の画像評価システムに対しアクセスすることと、第1の画像評価システムおよび第2の画像評価システムに対する評価対象の入力および評価結果の出力の少なくともいずれかについて共通の画像評価環境を介して提供することと、上記i)~vi)のステップの少なくともいずれかを実行する命令を有する。プログラムはコンピュータに読み取り可能な記録媒体に記録して提供されてもよい。
画像診断支援のための情報提供システムの概要を示す図。 評価支援システムの処理の概要を示す図。 解剖学的標準化処理の概要を示す図。 標準化の過程を示す図。 解剖学的標準化済画像を深層学習の入力とした際の着目領域の一例を示す図。 解剖学的標準化処理の異なる例を示す図。 入力処理の一例を示す図。 部分抽出を伴う入力処理の一例を示す図。 実験例の被験者の属性を示す図。 実験例のMRIスキャナのPulse Sequenceを示す図。 ANOVA解析を行ったROIの結果の例を示す図。 各群のROIを示す図。 各群の萎縮の進行を示す図。 深層学習モデルを示す図。 感度・特異度の変化を示す図。 検証被験者の再評価を示す図。 深層学習モデルのROIを示す図。 統計的処理によるROIを示す図。 深層学習モデルのROIと統計的処理によるROIを重ねて示す図。
 図1に、画像診断支援のための情報提供を行うシステム1の概要を示している。このシステム1は、被験者の身体の一部として、脳または脳の一部を、画像診断または評価の対象領域として含む医用画像による診断の支援に関する情報を提供する。システム1は、被験者の身体の少なくとも一部を対象領域として含む第1のタイプの医用画像として、被験者の脳画像53を格納した画像データベース52と、脳画像53を統計的に評価する第1の画像評価システム60と、脳画像53に基づき第1の疾患を評価するように機械学習した第1のモデルを用いて被験者の罹患状態を判断する第2の画像評価システム70と、画像評価支援システム10とを含む。画像評価支援システム(支援システム)10は、第1の画像評価システム60に対しアクセス可能な第1のアクセスユニット(インターフェイス)11と、第2の画像評価システム70に対しアクセス可能な第2のアクセスユニット(インターフェイス)12と、第1の画像評価システム60および第2の画像評価システム70に対する評価対象の入力62および72、および評価結果の出力63および73の少なくともいずれかについて共通の画像評価環境を介して提供する支援ユニット30とを有する。
 被験対象(被験者、受験者)の身体またはその一部の形態および機能を診断するための装置として、CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)、PET(Positron Emission Tomography)、SPECT(Single Photon Emission Computed Tomography)、PET-CTなどの様々なタイプの断層撮影装置(モダリティ)が知られており、それらのモダリティ画像(医用画像)が様々な疾病の診断に活用されている。特に、被験者の脳を診断または評価の対象領域として含むモダリティ画像(医用画像)53は、被験者の脳の物理的な状態に係るデータを取得するために用いられており、認知症、パーキンソン病などの疾病の診断に活用されている。
 医用画像のタイプの一例は、CTおよびMRIであり、これらの画像は、精度の高い形態的な情報を反映できる。MRI画像は、例えば、T1強調画像、T2強調画像、拡散強調画像、フレア画像、拡散テンソル画像、QSM画像、疑似PET画像、疑似SPECT画像などを含む。QSM画像(Quantitative Susceptibility Mapping)は、定量的磁化率マッピングを示す。医用画像のタイプの他の例は、PETおよびSPECTであり、これらの画像は、静脈注射等により、放射性薬剤を被験者の体内に投与し、体内において当該薬剤から放出される放射線を撮像することにより、画像が生成される。薬剤を用いた画像によれば、体内の各部位の形態のみならず、体内に投与された薬剤がどのように分布するか、または当該薬剤と反応する体内の物質の集積の様子などを医師に把握させることができるので、疾病の診断精度の向上に寄与しうる。例えば、通称ピッツバーグ化合物BをPET用放射性薬剤(トレーサー)として用いてPET画像を撮像し、撮像されたPET画像を基に脳内のアミロイドβ蛋白の蓄積度合いを測定することにより、アルツハイマー型認知症の鑑別診断又は早期診断に役立たせることができる。なお、疑似PET画像は、実際のPET画像と区別する意味で用いる文言であり、実際のPET画像を推定する画像である。疑似PET画像は、例えば、MRI画像に基づいて生成してもよい。疑似SPECT画像についても同様に、実際のSPECT画像を推定する画像である。
 SPECT画像の一例としては、123I-イオフルパン(123I-Ioflupane)という放射性医薬品を投与したSPECT検査でDatSCAN(Dopamine transporter SCAN)と呼ばれるドーパミントランスポーター(DAT)の分布を可視化する撮像方法がある。この撮像は目的としては、パーキンソン病(以下PD)のパーキンソン症候群(PS)の早期診断、レビー小体型認知症(DLB、Dementia with Lewy Bodies)の診断補助、線条体のドパミン神経脱落が有る場合のレボドバと呼ばれる種類の投薬治療判断などを挙げることができる。
 このシステム1は、被験者の第1のタイプの医用画像53を、第1の画像評価システム60および第2の画像評価システム70に対し入出力可能な画像(標準化画像)50に標準化するマッピングシステム55を有し、支援システム10は、マッピングシステム55にアクセス可能な第3のアクセスユニット(インターフェイス)13を備えていてもよい。標準化画像50の一例は、解剖学的標準化画像であり、マッピングシステム55は、解剖学的標準化処理部としての機能を備えていてもよい。マッピングシステム55は、解剖学的標準化の各ボクセルにおける処理の信頼度を含む、脳画像53の標準化処理の評価に関する第3の結果56を出力し、支援ユニット30は、アクセスユニット13を介して、その結果56を取得してもよい。支援ユニット30は、後述するように、標準化画像50に基づいて画像に対する評価を提供する共通の画像評価環境を備えており、マッピングの際の評価またはその評価に関する第3の結果56を、マッピングシステム55と同じ環境で出力したり、支援ユニット30における処理の入力とすることができる。
 支援ユニット30を含む支援システム10は、標準化された評価用画像を含む、共通の画像評価環境(共通評価環境、ユーザーインターフェイスモジュール、U/Iモジュール)15を介して画像を評価するための情報をユーザーである医療関係者などに提供してもよい。ユーザーは、支援システム10に付属するディスプレイ16aおよびタッチパネル16bなどのアクセス用の機器を用いて支援システム10にアクセスしてもよく、クラウド(インターネット)17を介して支援システム10にアクセスしてもよい。
 この画像診断支援のための情報提供を行うシステム(画像診断支援情報提供システム)1は、サーバーなどの、メモリおよびCPUを含むコンピュータ資源を備えた装置(システム)によりスタンドアロンの構成で提供されてもよく、画像データベース52、第1の画像評価システム60および第2の画像評価システム70を含む構成範囲8が、クラウド(インターネット)を介して提供されてもよい。また、マッピングシステム55、標準化画像50のストレージ、第1の画像評価システム60の入力62および評価出力63、および第2の画像評価システム70の入力72および評価出力73を含めた構成範囲9が、クラウドを介して提供されてもよい。
 医用画像を統計的に評価する第1の画像評価システム60は、コンピュータ資源を備えたシステムとして提供されてもよく、統計的処理を行うプロセッサ61と、統計的処理を実行するためのライブラリおよびプログラムを格納したデータベース65を備えていてもよい。第1の画像評価システム60は、処理対象の医用画像の評価、すなわち、統計的評価に関する第1の結果66を出力してもよい。評価結果66は、評価システム60の評価出力機能(表示ユニット)63において標準化画像50に基づいて出力(表示)されてもよい。支援ユニット30は、アクセスユニット11を介して、その結果66を取得してもよい。支援ユニット30は、標準化画像50に基づいて画像に対する評価を提供する共通の画像評価環境(共通評価環境)15を用いて、統計的処理の評価またはその評価に関する第1の結果66を第1の画像評価システム60と同じ環境で出力したり、支援ユニット30における処理の入力とすることができる。第1の結果66には、統計処理により重要視される第1の領域(関心領域、ROI)の情報が含まれていてもよい。
 第1の画像評価システム60は、標準化画像50に基づいて統計的処理を行う対象となる画像または画像中の領域を選択する入力機能(選択ユニット)62を備えていてもよい。統計的処理の対象の領域の選択などを含む解析対象の制御(入力制御情報)67については、支援ユニット30から提供されてもよい。支援ユニット30は、共通評価環境15を用いて、標準化画像50に基づき、統計的処理の対象となる情報を、第1の画像評価システム60と同じ環境を介して入力したり、選択したりすることができる。標準化処理画像50の各ボクセルデータに、さらに入力として年齢もしくは性別(もしくは各種のバイオマーカー値)の共変量の補正を施したりする処理についても、共通評価環境15を介して実行してもよい。
 医用画像に基づき罹患状態を判断する第2の画像評価システム70は、コンピュータ資源を備えたシステムとして提供されてもよく、学習モデルによる処理を行うプロセッサ71と、医用画像に基づき疾病の状態を評価するように機械学習した第1のモデル74およびライブラリなどを格納したデータベース75を備えていてもよい。第2の画像評価システム70は、処理対象の医用画像の評価、すなわち、医用画像に基づき第1の疾患を評価するように機械学習した第1のモデル74を用いて被験者の罹患状態を判断したことに関する第2の結果76を出力してもよい。評価結果76は、評価システム70の評価出力機能(表示ユニット)73において標準化画像50に基づいて出力(表示)されてもよい。支援ユニット30は、アクセスユニット12を介して、その結果76を取得してもよい。支援ユニット30は、標準化画像50に基づいて共通評価環境15を用いて、罹患状態の判断に関する評価またはその評価に関する第2の結果76を第2の画像評価システム70と同じ環境を介して出力したり、支援ユニット30における処理の入力とすることができる。
 認知症を対象とする場合、AD(Alzheimer Disease、アルツハイマー型認知症)、DLB(Dementia with Lewy Bodies、レビー小体型認知症)の各原因疾患の鑑別を機械学習した学習モデル74を用いた第2の画像評価システム70を採用でき、学習モデル74を用いて被験者の罹患状態を判断したことに関する第2の結果76を出力できる。第2の結果76には、対象となる第1の疾患、例えば、ADまたはDLBの有無、および進行状態に加え、罹患状態の判断に重要視された第2の領域(関心領域、ROI)の情報が含まれていてもよい。深層学習のGradCAM等を用いた方法によれば、深層学習の鑑別に際して重用した着目領域(ROI)の可視化が可能であり、共通評価環境15を介して、標準化画像50を用いて、支援ユニット30において第2の評価システム70と共通の環境でROIに関する評価が可能となる。
 第2の画像評価システム70は、標準化画像50に基づいて学習モデル74による罹患状態の判断の対象となる画像または画像中の領域を選択する入力機能(選択ユニット)72を備えていてもよい。処理の対象の領域の選択などを含む診断対象(鑑別対象)の制御(入力制御情報)77については、支援ユニット30から提供されてもよい。支援ユニット30は、共通評価環境15を用いて、標準化画像50に基づき、学習モデル74の鑑別処理の対象となる情報を、第2の画像評価システム70と同じ環境で入力したり、選択したりすることができる。この場合も、標準化処理画像50の各ボクセルデータに、さらに入力として年齢もしくは性別(もしくは各種のバイオマーカー値)の共変量の補正を施したりする処理についても、共通評価環境15を介して実行してもよい。
 支援システム10は、クラウドにアクセス可能なサーバーなどのコンピュータ資源を備えた装置として提供されてもよく、種々の処理に要求されるライブラリ、支援システムとしての処理を実行するための命令を含むプログラム19などを格納したデータベース18を備えていてもよい。共通評価環境15を用いたユーザーへのサービスは、クラウドを介したサービス(SaaS(Software as a Service))として提供してもよい。上述したように、支援システム10は、標準化処理画像50を用いた共通評価環境15を提供しており、支援ユニット30は共通評価環境15を用いて、第1の画像評価システム60の評価結果66と、第2の画像評価システム70の評価結果76とをユーザーに対し相互参照可能な状態で、シームレスに、提供できる。また、標準化の際の結果56についても含めて、ユーザーに提供できる。
 医用画像を用いた診断補助については深層学習を用いて鑑別精度が高まることが期待されている。アルツハイマー型認知症等の神経変性疾患に関しては各種画像モダリティ(形態MRI、血流SPECT、PET画像など)毎に、健常群と疾患群とで脳容積値や血流量(糖代謝)、アミロイドβ等の疾患の要因となる物質量が有意差を統計的に示す領域(ROI)を算出し、その領域内のZスコアやSUV等の値の評価を行う方法が行われている。神経変性疾患に深層学習を用いた方法は多く鑑別精度を向上させた報告があるが、鑑別結果および評価がどのように算出されたのかはブラックボックスで、結果を扱う医療従事者にとって、その解釈と説明が難しいという問題がある。この理由は大きく2つ有る。1)神経変性疾患においては脳のどの部分に変質が起こっているのかを必要とする。
(例:海馬傍回に萎縮が見られるために、アルツハイマー型認知症が疑われる等)
2)深層学習の(中間層を含む)出力値が脳容積や血流量などの人の解釈可能な情報では無いものに加工されてしまう。
 支援システム10においては、深層学習を用いて得られた結果について、上記2つの課題解決を行うことが可能であり、深層学習の結果を扱う医療従事者に対し、その解釈と説明とを提供することができる。
 上記の課題1)については、深層学習のGradCAM等を用いた方法によれば、深層学習の鑑別に際して重用した着目領域の可視化が可能である。さらに深層学習による鑑別の入力を、支援システム10を用いて共通画像環境15において提供される解剖学的標準脳50にマッピングした脳画像とすれば、統計学的に算出されたROIと同一の画像上で対比して視認することが可能である(表示の切り替えやオーバーレイ)。
 上記の課題2)については、共通画像環境15を用いて深層学習の着目領域を指定し、その領域内に対して、統計的処理を行い、脳容積や血流量の値を算出し、鑑別に有効であった領域の、人が解釈可能な指標値を提示することが可能である。
 また、この支援システム10は、その他ビジネス的に検討可能なツール機能(システム面)となり得る。例えば、解析結果毎の対応に適用でき、介入の方法を選択したり、可能であれば、薬の処方等の選択、追加検査の案内などが可能である。DLBであればDatSCAN/MIBG心筋シンチグラフィーの検査を推奨したり、検査機関を推奨したりする支援の提供が可能となる。論文データベースとリンクさせることにより、共通画像環境15に表示されたROI領域にマウスオーバーした際の関連論文リンクを表示することによる研究支援、診断支援および治療支援を行うことも可能となる。
 支援システム10においては、共通画像環境15を用いて支援ユニット30がいくつかの機能を提供できる。1つの機能は、入力支援機能(入力支援ユニット)37であり、第1の画像評価システム60および/または第2の画像評価制御システム70に対し支援ユニット30を介して入力制御情報67および77を供給することにより次のような機能を提供できる。
 脳画像53をマッピングシステム55において解剖学的標準化の処理を行った後に、解剖学的標準化処理画像50を、第2の画像評価システム70の深層学習モデル74の入力とする際に、脳に関わる疾患(脳画像から診断可能な疾患を想定)であるかどうか、またはその種別や進行区分等のクラス判定を行うように第2の画像評価システム70を制御する。
 解剖学的標準化処理画像50の各ボクセルデータに、さらに入力として年齢もしくは性別(もしくは各種のバイオマーカー値)の共変量の補正を施した上で、深層学習モデル74の入力として選択する。
 深層学習モデル74のクラスを予測する際にモデルが最終的にソフトマックス関数により評価した各クラスで0~1の値を表示する選択を持たせる。クラスとしては、疾患に関する分類、例えば、脳疾患のうち認知症の分類であれば、NC(NormalControl)、AD、DLBといったクラスを想定できる。
 入力支援ユニット37においては、鑑別対象の第1の疾患に、アルツハイマー型認知症(AD)およびレビー小体型認知症(DLB)を含み認知症を含む場合で第1のタイプの医用画像53がMR画像であれば、対象領域として、脳の海馬、海馬傍回、脳幹背側、中側頭極及び大脳基底核の部分(被殻、尾状核、嗅内皮質、海馬傍回、扁桃体など)の少なくとも1つを含むように入力制御情報67および77を設定してもよい。第1のタイプの医用画像53がSPECT画像であれば、対象領域は、脳の楔前部、後頭葉、及び背外側前頭前野の少なくとも1つを含むように入力制御情報67および77を設定してもよい。
 支援ユニット30は、第1の画像評価システム60から取得した医用画像の評価に関する第1の結果66と、第2の画像評価システム70から取得した被験者の医用画像の評価に関する第2の結果76とを、共通の画像評価環境15を介して出力する機能(個別・比較評価ユニット)31を含んでもよい。共通画像環境15を用いて、医用画像を統計処理した評価(第1の結果)66と、医用画像から深層学習モデル74が予測した評価(第2の結果)76とを単独に、または比較可能な状態で、例えば、並列に、または切り替えて標準化画像50を介して出力してもよい。
 支援ユニット30は、第2の画像評価システム70の罹患状態の判断に基づき、第1の画像評価システム60から取得した医用画像の評価に関する第1の結果66を再評価した結果を、共通の画像評価環境15を介して出力する機能(再統計的処理要求ユニット)32を含んでいてもよい。先行する統計的処理の結果では疾患に関する関心領域ROIが見られない場合であっても、深層学習モデル74の罹患状態の判断に基づき、疾患があると判断された被験者の画像についての統計的処理の微差を再評価することにより、疾患のROIとして再認識することができる。
 支援ユニット30は、第1の画像評価システム60から取得した医用画像の評価に関する第1の結果66により重要視される第1の領域(ROI)と、第2の画像評価システム70の罹患状態の判断に重要視された第2の領域(ROI)とを、共通の画像評価環境15に重ねて出力する機能(重ね合わせ表示(オーバーレイ)ユニット)33を含んでいてもよい。ROIに関する情報は、それぞれのシステム60および70から評価結果に関する情報66および76の一部として取得してもよい。深層学習モデル74が疾患のクラスを予測する際に、モデル74が評価に重用した領域を、解剖学的標準化後の脳画像50上で表示できる。深層学習74が罹患状態の判断に着目したROIと、統計的処理におけるROIとを、標準化画像50の上に重ね合わせることにより、深層学習74の結果を扱う医療従事者に対し、その解釈と説明とを提供できる。
 支援ユニット30は、第1の画像評価システム60から取得した医用画像の評価に関する第1の結果66により重要視される第1の領域(ROI)を含む画像領域を、共通の画像評価環境15を介して第2の画像評価システム70の評価対象として選択する機能(モデル入力選択ユニット)34を含んでいてもよい。標準化画像50を用いて1つ以上の解剖学的部位を関心領域(ROI)としてさらに入力とし、解剖学的標準化処理画像50の解剖学的部位によるフィルタリングを行った画像を深層学習モデル74の入力とする選択を行ってもよい。解剖学的標準化処理を行った画像50を用いる場合、標準化された脳座標上には解剖学的部位が定義されており、同一名称のついた座標の集合である「関心領域」を第1の画像評価システム60および第2の画像評価システム70に対して選択できる。
 支援ユニット30は、第2の画像評価システム70の罹患状態の判断に重要視された第2の領域(ROI)を含む画像領域を、共通の画像評価環境15を介して第1の画像評価システム60の評価対象として選択する機能(統計処理入力選択ユニット)35を含んでいてもよい。深層学習74が罹患状態の判断に着目したROIを選択して統計的処理を行うことにより、深層学習74の結果を扱う医療従事者に対し、その解釈と説明とを提供できる。
 支援ユニット30は、被験者の医用画像の共通の画像評価環境、本例では標準化画像50へのマッピングの信頼度に基づき、第1の画像評価システム60から取得した医用画像の評価に関する第1の結果66、または、第2の画像評価システム70から取得した被験者の医用画像の評価に関する第2の結果76の、共通の画像評価環境15を用いた標準化画像50への出力を制御する機能(マッピング評価ユニット)36を含んでいてもよい。解剖学的標準化処理画像50を入力とした深層学習モデル74が疾患のクラスを予測する際に、モデル74が評価に重用した領域ROIの各ボクセル値に信頼度による補正を行った結果を表示できる。標準脳画像50へマッピング精度に問題が存在すると、マッピング精度の低い領域をROIとした解析結果の信頼性に問題が存在する可能性がある。脳画像を解析(ROIを出す。鑑別を行う)以前にマッピング精度を定量化することにより、信頼度の低い画像領域は用いない評価を得るようにROIフィルターを掛けることができる。
 支援システム10は、さらに、支援ユニット30の共通画像環境15を用いたこれらの評価結果の出力に基づき、学習モデル(第1のモデル)74による第1の疾患、例えば、ADまたはDLBに対する評価を検証するユニット20を備えていてもよい。
 図2に、画像評価支援システム10を用いた評価支援方法をフローチャートにより示している。評価支援システム10は、メモリおよびCPUを含むコンピュータ資源を備えた情報処理装置として提供することが可能であり、この支援方法は、システム10の制御方法として、または、コンピュータにおいて実行可能な命令を有するプログラムとして提供できる。プログラム(プログラム製品)は、コンピュータに読み取り可能な記録媒体に記録して提供してもよく、インターネットなどからダウンロード可能な状態で提供してもよい。
 ステップ81において、マッピングシステム55により、被験者(ユーザー、受診者)の脳画像53の標準化画像(解剖学的標準化画像)50へのマッピングが行われる。解剖学的標準化処理の概要を図3に示している。また、図4に、標準化の過程を示している。
 解剖学的標準化(解剖学的正規化)とは、個々人の機能画像を、標準的な鋳型に線形的あるいは非線形的に写像することを含む。解剖学的標準化処理を行うことは、医用画像、さらには脳画像の解析を行う上で被験者間の脳部位の位置を揃えて解析する上で標準的な方法となっている。元々はPET撮像の賦活図の作成から要求された技術だが、基本的な考え方は標準脳を設定し、入力画像を線形・非線形に標準脳へ合わせ込む技術である。
 PET、fMRI、MRIについて、この処理の一形態をツールとして提供しているものにVBM(Voxel-based morphometry)があるが、その他にも3D-SSPのようなツールにも実装が有る。MRI画像解析時には非線形変換を行うことが現在では一般的だが、元はLDDMMという微分同相マッピングによる方法が考案され、この計算時間の大きさから改良方法として考案されたDARTEL法が良く用いられる。
 このような解剖学的標準化が行われた後の解析においては、同じ脳上の位置を示していると仮定する事ができるので、座標の持つ値(MRIの場合には体積値)の群間比較等が行える。またデータが持つ撮影条件の違い等を吸収して解析できるメリットもある。またデータが持つ情報の複雑度を、解析に必要な粒度まで整形できる事は、大量のデータを持って深層学習に全てのデータ加工プロセスを学習させる事が出来ない臨床研究のようなシーンで、妥当な前処理工程として敷設できるメリットがある。
 図3のステップ811において、全ての画像に対して水平軸の調整(ACPC変換)が施される(図4(a))。さらに、ステップ812において、各被験者の画像は灰白質(GM)、白質(WM)及び髄液部分(CSF)へのセグメンテーションが行われる(図4(b))。ステップ813において、灰白質画像に分割された画像について、標準脳のみから作成されたテンプレートを用いてDARTEL処理を行う(図4(c))。ステップ814において、さらにMNI空間への標準化を行う(図4(d))。一連のMNI空間座標への非線形のレジストレーション工程の後,灰白質画像についてモジュレーション処理による体積情報の整形と8-mm幅のガウスカーネルによる平滑化処理をさらに行ってもよい。なお、平滑化幅は8mmに限定されない。
 深層学習により、鑑別評価を行う際に特定のモデルにおいては着目領域の入力画像上への表示が可能である。一方、解剖学的標準化を行っていれば、統計解析を行う場合も同じ座標空間なので、並べて描画することも容易となる利点がある。
 図5に、形態MRI画像の解剖学的標準化後の画像を深層学習の入力とした時の、SHAPと呼ばれる可視化技術を試した例を示している。例えば、前述のような深層学習の学習に重用した領域の可視化以外でも、従来の統計的なカットオフ値を定める方法と精度比較実験を行った際に、精度(もしくは感度や特異度)を向上させる際に事に至った検証サンプルの着目領域を改めて統計解析により抽出する方法も検討できる。
 図2に戻って、ステップ82において、標準化画像へのマッピングの信頼性評価に関わる結果56を取得する。図6に、マッピングシステム55において、深層学習モデルを用いて解剖学的標準化を行うプロセスを示している。ステップ811~814に代わり、ステップ815において、深層学習モデルを用いて解剖学的標準化処理を行う。解剖学的標準化を行った後に深層学習を適用してもよいが、解剖学的標準化の工程に深層学習を適用してもよい。解剖学的標準化は非線形変換にLDDMMを用いてもよいが、処理時間が大きいという問題が発生し得る。この工程をニューラルネットワークで学習してDARTELよりも高速・高精度な手法を導入することが可能である。さらに、ステップ816において、高速化と同時にBayesianNeuralNetworkを用いてマッピングの信頼度を算出してもよい。この信頼性評価結果56は、第1の画像評価システム60および第2の画像評価システム70における着目領域(関心領域、ROI)の補正に使用してもよい。
 図2に戻って、ステップ83において、支援ユニット30は、共通画像環境15を用いて、第1の画像評価システム60および第2の画像評価システム70に対する入力制御支援を行ってもよい。解剖学的標準化処理済画像50に、さらに年齢や性別のような属性やバイオマーカーを入力として補正された解剖学的標準化処理済画像を後続する処理に用いても良い。図7に、属性およびバイオマーカーをさらに入力して用いる場合の処理の流れを示している。
 ステップ83の入出力支援では、共通画像環境15を用いて、第2の画像評価システム70に対する入力制御支援を行ってもよい。第2の画像評価システム70においては、直接深層学習モデルの判定を行う場合と、解剖学的部位によるフィルタリングを行った上で深層学習モデルの判定を行う場合とを選択してもよい。図8に、部位抽出を行う場合の処理の流れを示している。
 図2に戻って、ステップ84において、支援ユニット30は、統計的処理の評価結果を取得する必要があると、ステップ85において、第1の画像評価システム60に対しアクセス可能な第1のアクセスユニット(インターフェイス)11を介して、第1の画像評価システム60の画像の統計的処理に関する第1の評価結果66を取得する。
 解剖学的標準化を行った後には統計検定による群間比較が行われ、有意差のある座標位置を考察することが行われている。実際には臨床研究においては群間の年齢範囲や性別の偏り等も存在するため、共変量としてこれらを補正した座標位置の値を解析することが行われる。一般化線形モデル等が良く用いられる。深層学習の入力前、解剖学的標準化処理済データにこの処理を行うことが可能であり、属性値・バイオマーカーの入力形態をシステムが持つ動機となる。
 医用画像の評価に統計的処理においては、被験者の脳画像と健常者の脳画像との統計的比較評価が行われる。脳画像を用いて脳の萎縮を評価する方法としては、被験者の頭部を撮像して取得された脳画像を3次元の画素であるボクセルを単位に画像処理して行なうVBM(Voxel Based Morphometry)が知られている。統計的処理の典型的なものはZスコアマップを生成することである。
 MR画像を例とすると、脳形態標準化処理をした正常症例のMR画像から、それぞれのボクセルごとに平均値と標準偏差を計算して平均画像と標準偏差画像を作成したデータ(正常標準脳)の値と、被験者の画像データ(処理画像)の値とをZスコアを算出する以下の式に代入することによって作成する。
z=(M(x,y,z)-I(x,y,z))/SD(x,y,z)
M、SDは正常標準脳の平均画像と標準偏差画像を表し、Iは処理画像を表す。Zスコアマップを用いることによって、処理画像が正常標準脳と比較して、どの部位でどのような変化が起きているかを定量的に分析することができる。例えば、Zスコアマップが正の値になるボクセルは正常標準脳と比較して萎縮がある領域を示し、さらに値が大きいほど統計的に乖離が大きいと解釈することができる。例えばZスコア「2」であれば平均値から標準偏差の2倍を超えたものということになり約5%の危険率で統計学的有意差があると評価される。領域内の萎縮の評価を定量的に行うためには、関心領域において、それぞれM、SDとIとを算出し、全ての正のZスコアの平均等を求めればよい。
 統計的処理としては、例えば、脳の各部位の体積あるいは面積を比較したり、一般線形モデル(General Linear Model: GLM)を用いたT検定を用いる手法など、多様な方法が提案されている。通称ピッツバーグ化合物BをPET用放射性薬剤(トレーサー)として用いて、撮像されたPET画像を基に脳内のアミロイドβ蛋白の蓄積度合いを測定することにより、アルツハイマー型認知症の鑑別診断又は早期診断に役立たせることができる。このPET画像は、脳の一部の大脳灰白質におけるアミロイドβ蛋白の集積度(SUV、Standardized Uptake Value)の合算と、小脳におけるアミロイドβ蛋白の集積度(SUV)との比を示すSUVR値(SUVR、Standardized Uptake Value Ratio、小脳比SUVR)を統計処理として採用できる。SUVRは以下の式で定義できる。
Figure JPOXMLDOC01-appb-M000001
 この式の分子は、大脳灰白質4部位、すなわち、大脳の皮質領域(前頭前野、前後帯状皮質、頭頂葉、および外側側頭葉)のSUVの合算を示し、分母は、小脳のSUVを示す。
 SPECT画像を用いたDatSCANの統計的処理には、評価(指標値)としてはBR(Binding Ratio)を採用でき、以下の式で表される。
Figure JPOXMLDOC01-appb-M000002
 式のCはそれぞれの着目領域内のDATの平均値であり、Cspecificは、脳内の被殻と尾状核との平均値を示し、Cnonspecificは、脳内の後頭皮質の平均値を示す。
 解剖学的標準化された脳画像上における統計検定による有意差のある着目領域(ROI)の可視化も、個々の画像評価システムでは行われており、SPM(Statistical Parametric Mapping)等のツールが知られている。
 一例として、208名(DLB群101名,AD群69名, 健常者群38名)の被験者が参加した研究について説明する。疾患群はそれぞれ日本認知症学会の2名の認定専門医が、DSM-5診断基準により主たる神経疾患としてDLBもしくはADと判断したものである。被験者は血管性障害を適用除外するため、進行性と急性期の白質病変を含む被験者を除く条件でリクルーティングを行った。健常群の認知症と診断されず、中枢神経系の疾患の疑いがあるものを除いた被験者群である。本研究は倫理委員会の承認を得て、研究参加施設におけるガイドラインに則って行われたものである。
 図9に、被験者の属性を示す。DLB群は50名の女性と51名の男性から成り、その年齢の平均と標準偏差は73.25±8.05歳である。AD群は36名の女性と33名の男性から構成される(同様に年齢は71.58±6.33歳)。NC群は28名の女性と10名の男性から構成される(同様に年齢は71.03±6.28歳)。年齢と性別のどの被験者群間でも有意な差は存在しなかった。全ての被験者はMMSEテストを受けており,そのスコアはDLB群、AD群及びNC群でそれぞれ22.21±4.86、21.32±3.95及び28.21±1.26であり、DLB群とAD群の間に有意な差は存在しなかった。
 被験者のMRIデータは計11の異なるスキャナで撮像されたものである。サジタル方向のGapless撮像による3次元T1強調画像であり、各MRIスキャナのPulseSequenceは図10に示す通りである。各MRI画像は、上述した処理により解剖学的標準化画像50に変換された。
 SPMを用いた統計解析結果でNC、DLB及びADの3群に対して、ICV(頭蓋内容積)正規化を行ったANOVA解析を行い、灰白質体積に群間の有意差があると評価されたMNI(Montreal. Neurological Institute)座標の結果を図11に示す。MNI座標位置の領域名称はWFUPickatlas(Department of Radiology of Wake Forest University School of Medicine, Winston-Salem, North Carolina; fmri.wfubmc.edu)によるものである。
 図12に、ICV正規化を行った3群のROIを示している。図12はICV正規化を行った結果を示す。3群に対して灰白質体積に有意差のある部位は、比較的広範に有意差が確認され、最も有意差のある部位として海馬傍回から、脳幹部に広がる領域となった。
 図13に、ICV正規化を行った各群のROI内の影響を90%CIで評価した結果を示す。DLB群とAD群の大きな差は認められなかった。
 図2に戻って、ステップ86において、支援ユニット30は、医用画像に基づき第1の疾患、例えば、ADまたはDLBを評価するように機械学習した第1のモデル(深層学習モデル)74を用いて被験者の罹患状態を判断する第2の画像評価システム70から、医用画像の評価に関する第2の結果76を取得する必要があると、ステップ87において、第2の画像評価システム70に対しアクセス可能な第2のアクセスユニット(インターフェイス)13を介して、第2の画像評価システム70の第2の評価結果76を取得する。
 医用画像の情報に基づいて機械学習を行ったモデル(学習モデル)を用いて、被験者の医用画像から疾患の鑑別を行うことが行われている。Iizuka, Tomomichiらの"Deep-learning-based imaging-classification identified cingulate island sign in dementia with Lewy bodies."(Scientific reports 9.1 (2019): 1-9.)には、灌流SPECT画像に畳み込みニューラルネットワークを用いた実験でさらに精度の高い89.32%を達成するとともに、深層学習がその鑑別に際しては、従来読影に用いられてきた後頭葉の血流所見に着目していることが報告されている。Litjens, Geertらの"A survey on deep learning in medical image analysis."(Medical image analysis 42 (2017): 60-88.)、Wen, Junhaoらの“Convolutional Neural Networks for Classification of Alzheimer's Disease: Overview and Reproducible Evaluation.”(CoRR abs/1904.07773 (2019))には、ADの鑑別において近年の深層学習技術の適用で高い精度を示したことが報告されている。
 しかしながら、深層学習によってDLBとADとの鑑別ができるか否かに焦点を当てた研究は行われてきておらず、形態MRI画像を用いたDLBとADの鑑別に深層学習を適用した研究はまだ知られていない。そこで、上記の研究の一環として、形態MRI画像に深層学習を用いた鑑別アプローチについて検証を行った。
 図14に、採用されたモデルの概要を示している。本研究では、ResNetタイプのニューラルネットワークモデルを3次元データに対応させたものを採用した。ResNetは畳み込みニューラルネットワークモデルの一種であり、一般的な畳み込みニューラルネットワークと比べて信号源の特徴の消失を防ぐモデル構造を持つという特徴がある。さらに、ResNetは“skip connection”と呼ばれる仕組みを畳み込み層に加えることによって,次の層への出力を畳み込みの出力と当該層の入力とを合わせて伝達する仕組みを採用できる。これにより、モデルの層が深くなった場合においても学習データの情報損失を防ぐことが可能となり、多くの画像分類タスクにおいて高い精度が得られる。本研究ではpytorchフレームワークを用いた実装を採用し、ネットワークの深さは18、34、50、101層を事前に試して34層を採用した。学習処理はNVIDIA、TeslaK80GPUx1基を用いて実施し、最適化処理は慣性項を付与したSGD(確率的再急降下法)を用いた。
 図15に、さらに各5-foldの検証精度最大のモデルについて、出力層のソフトマックスの疾患判定の閾値を動かしながら、感度・特異度の変化を確認しROCプロットにしたものを示している。YoudenIndexでバランスした場合の感度・特異度はそれぞれ81.54±10.43%、76.77%でその時の精度は79.15±5.22%であった(感度及び精度は、特異度を固定した場合の5-foldmean±SDである)。限定的ではあるものの、本実験から従来のSPM統計検定では有意差を確認できなかったDLB群とAD群に対して、同じ灰白質体積データを用いた深層学習モデルでは鑑別能を持つことが確認できた。
 事前検証実験の結果から、健常群、DLB群及びAD群の3群で灰白質に対して有意差のある領域は右中側頭極及び左海馬傍回であった。ICVを用いた解析において脳幹領域が検出されたことは前例があり、また、他の研究において脳幹背側に白質ではあるがDLB群とAD群の有意差を確認した解析があるが、我々の事前検証においては、DLB群とAD群の海馬から脳幹を含む灰白質の萎縮度の差は、頭蓋内容積に比して小さいものであった。
 ICVを用いた解析では、海馬傍回の有意差がより際立つ結果であった。海馬の萎縮は通常ADの進行サインとして見られるものであるが、本研究ではDLB群とAD群の両疾患群に対して萎縮が見られ、AD群はDLB群よりもさらに萎縮が進行している事を示唆した。他の報告においては、まず海馬傍回の萎縮を評価して、健常群と認知症疾患群を鑑別し、さらに脳幹背側の萎縮を評価してDLB群とAD群とを鑑別するカスケードな鑑別手法を取っている。我々の事前検証実験の結果からは、寧ろ海馬傍回により、DLB群とAD群との鑑別を計った方が有効である可能性を示した。そこでDLB群とAD群の独立した2群のt検定をさらに試みたが、有意差領域は海馬領域にも脳幹背側部位にも検出はできなかった。これらの事から、健常群と疾患群の鑑別に比して、従来の統計的有意差を根拠とする方法では捉えれないほど、DLB群とAD群間の灰白質の萎縮パターンは微細なものであると考えられる。
 これに対し、深層学習をVBMベースのデータに適用した我々の実験結果は、一定精度でDLB群とAD群とを鑑別する性能を示した。例えば、本実施形態の深層学習モデルを用いた場合には、VBMベースの手法に比べて、感度の点で35.79%の向上、精度の点で15.70%の向上を達成することができた。このことは、DLB群とAD群とを鑑別する手法として、本実施形態のような深層学習モデルを用いることができることを示している。また、我々が採用したVBM前処理工程においては、深層学習モデルは通常レベルの有意差条件での統計的解析よりも鋭敏に微小な体積差を評価する事ができたと言える。ただし臨床応用を考えた場合には、この非常に僅かな差を診断に応用する事はリスクも孕んでおり,形態MRI以外の検査データを含めた総合的な判断が求められると共に、今後も検証施設を増やして当該手法の汎化性能をさらに評価していく必要がある。
 このように、例えば、DLB群とAD群の萎縮パターンは微細なものであることがあるが、一方で、深層学習モデルは一定の鑑別性能を示す。これらの結果は深層学習が鑑別に有効な微細な特徴を扱えている可能性を示唆するものであるが、深層学習の鑑別に評価した特徴の可視化等により、鑑別に有効な着目領域を解析し、評価することが重要である。支援ユニット30は、そのような場合の画像評価の支援環境を提供する。
 図2に戻って、ステップ88aにおいて、それぞれのシステム60および70の評価結果の表示が要求されると、ステップ88bにおいて、支援ユニット30の表示・比較ユニット31は、第1の画像評価システム60から取得した医用画像の評価に関する第1の結果66と、第2の画像評価システム70から取得した被験者の医用画像の評価に関する第2の結果76とを、共通の画像評価環境15を介してユーザーに提供する。
 ステップ89aにおいて、学習モデル74の鑑別結果に基づいて統計的処理の見直しが要求されると、ステップ89bにおいて、支援ユニット30の再統計的処理要求ユニット32は、第2の画像評価システム70の罹患状態の判断に基づき、第1の画像評価システム60から取得した医用画像の評価に関する第1の結果66を再評価するように入力制御情報67を介して第1の画像評価システム60に要求し、その結果66を、共通の画像評価環境15を介して出力する。
 例えば、先の実験において,既存手法が誤った判定結果で、深層学習モデル74が正しく判定しているケースがあり、DLB症例は5例存在した。これらに対して、年齢・性別を共変量として一般線形モデルによる補正を含み、対照群には所定数又は所要数の健常群とした検定を行った。FWE多重比較補正を用いたp<0.05条件での有意差は確認できなかったが、さらに行った多重比較補正のないp<0.001条件での検定を行った結果では幾つかの有意差を示した。
 図16に、5名のDLB検証被験者のSPM統計検定結果とp値最小の部位、及び当該被験者の深層学習モデル74における判断根拠となるソフトマックス出力値(0-1)を示している。最もp値の高かった灰白質部位は各被験者においてそれぞれ被殻/尾状核/嗅内皮質/海馬傍回/扁桃体であった。被殻・尾状核のような線条体はドパミン神経細胞の変性がレビー小体型認知症及びパーキンソン病において認められる部位である。被験者(c)、(d)においては海馬周辺の萎縮が確認された。海馬周辺の萎縮は多くの場合AD症例で見られる所見であるが、これらのケースにおいて提案手法のソフトマックス関数出力値での評価は,微差ではあるがDLB判定根拠が相対的に低いという結果であった。被験者(e)においては扁桃体の萎縮がみられた。扁桃体は皮質型レビー小体においてαシヌクレインの集積を報告される部位でもある。既存手法が脳幹背側部位に限定したROIを定め評価を与えたのに対し、学習モデル74を用いた手法では広範な領域に病理機序の影響があるレビー小体型認知症において、必要な特徴を既存手法以上に捉えることができ、精度向上に寄与した可能性があることがわかる。
 AD/DLBを形態MRI画像で鑑別する例においては、AD/DLB群間は非常に微細な変化量を捉える必要があり、統計的な処理においては有意差のあるROIは抽出できなかった。これに対し、深層学習モデル74の鑑別精度は一定程度得られ、この時の着目領域内の体積値は有意差を持たなかっただけで、群間の鑑別に有効な指標ではあったと考えることができる。特にVBMを行えば体積情報しか残らないので、離れた部位との相互関係まで深層学習モデル74が見ていなければ、従来統計解析ツールでは結果として出さずに捨てているこの微細な変化量を指標として出すUIとして、臨床意義を提供できる。
 図2に戻って、ステップ90aにおいて、統計的処理のROIと、深層学習モデル74のROIとをオーバーレイ表示する要求があると、ステップ90bにおいて、支援ユニット30のオーバーレイ表示ユニット33は、第1の画像評価システム60から取得した医用画像の評価に関する第1の結果66により重要視される第1の領域(ROI)と、第2の画像評価システム70の罹患状態の判断に重要視された第2の領域(ROI)とを、共通の画像評価環境15を介して出力する。
 図17に、深層学習モデル74にGradCAMを用いて、深層学習モデル74の鑑別に際して重用した着目領域(ROI)を出力し、解剖学的標準化画像101に表示した例を示している。この画面100においては、解剖学的標準化脳の矢状断102、冠状断103、および水平断104を用いてGradCAMの出力を表示している。画面100には、GM(灰白質)、WM(白質)、TBV、ICVの各体積105を、健常者の平均値(カッコ内の表示)とともに示している。また、被験者の臨床情報108、DLB確信度106も併せて表示している。
 なお、本例では「部位選択」のチェック項目は「灰白質」のみとしているが、灰白質に限らず複数部位を選択できる。また、灰白質内の詳細な部位を選択できるようにしてもよい。
 図18に、同じ被験者の脳画像53に統計的処理を行った結果の一例を示している。この表示110では、Zスコアの着目領域(ROI)を、解剖学的標準化画像111の矢状断112、冠状断113、および水平断114を用いて示している。
 図19に、第1の画像評価システムから取得した第1の被験者の医用画像の評価に関する統計的評価の着目領域を含む第1の評価結果と、第2の画像評価システムが第1の被験者の医用画像から罹患状態の判断に至る際に捕捉された重要視された領域を含む第2の評価結果とを、共通の画像評価環境に重ねて出力する様子を示している。例えば、GradCAMにより得られた深層学習モデル74のROIと、ZスコアのROIとを重ねて示している。このオーバーレイ表示120では、解剖学的標準化画像121の矢状断122、冠状断123、および水平断124に、両者のROIの領域をオーバーレイ表示している。このように、深層学習モデル74による鑑別の入力を解剖学的標準脳にマッピングした脳画像とすれば、従来の統計学的に算出されたROIと同一の画像上で対比して視認することが可能となる。
 図2に戻って、ステップ91aにおいて、統計的処理のROIに基づいて学習モデル74の処理が要求されると、ステップ91bにおいて、支援ユニット30のモデル入力選択ユニット34が、第1の画像評価システム60から取得した医用画像の評価に関する第1の結果66により重要視される第1の領域(ROI)を含む画像領域を、共通の画像評価環境15を介して選択し、入力制御情報77により第2の画像評価システム70の評価対象として提供する。
 ステップ92aにおいて、学習モデル74のROIに基づいて統計的処理を行うことが選択されると、ステップ92bにおいて、支援ユニット30の、統計的処理入力選択ユニット35が、第2の画像評価システム70の罹患状態の判断に重要視された第2の領域(ROI)を含む画像領域を共通の画像評価環境15を介して選択し、入力制御情報67により第1の画像評価システム60の評価対象として提供する。第1の画像評価システム60は、深層学習モデルの着目領域内に対して、脳容積や血流量の値を算出し、鑑別に有効であった領域について、人が解釈可能な指標値を提示することが可能となる。統計的処理は、Zスコアに限らず、体積値・体積密度値、血流量、糖代謝量、トレーサー反応物質の集積量などであってもよい。
 ステップ93aにおいて、マッピングの信頼性の評価を加味することが要求されると、ステップ93bにおいて、支援ユニット30のマッピング評価ユニット36は、被験者の医用画像の共通の画像評価環境、本例では、標準化画像50へマッピングの信頼度に基づき、第1の画像評価システム60から取得した医用画像の評価に関する第1の結果66、または、第2の画像評価システム70から取得した被験者の医用画像の評価に関する第2の結果76の、共通の画像評価環境15を用いた出力を制御する。
 これらの画像評価支援プログラムが終了すると、共通の画像評価環境15を介して提供された様々な情報に基づき、ステップ94において、医療関係者は、深層学習モデル74の鑑別結果を評価してもよい。
 本実施例では、主に、AD、DLB、及び健常者について説明したが、AD及びDLBに限定されるものではなく、本実施形態のシステム、制御方法及びプログラムは、脳障害(脳疾患を含む)に対しても適用することができる。脳障害とは、認知症をはじめ、注意障害、記憶障害、遂行機能障害、社会的行動障害、失語症、失行症、失認証などの主に高次脳障害を含む。認知症は、AD(Alzheimer Disease、アルツハイマー型認知症)、DLB(Dementia with Lewy Bodies、レビー小体型認知症)、その他の変性型認知症、例えば、前頭側頭型認知症、進行性核上性麻痺、大脳皮質基底核変性症、嗜銀顆粒性認知症変性を含む。脳障害の状態とは、脳障害の有無、その進行状態、認知症などの脳障害の原因疾患(原因疾病)の有無および鑑別、単独または複数の原因疾病の進行状態など、被験者(受診者、患者、ユーザー)の脳障害に関わる様々な態様を含む。また、脳疾患には、認知症(AD、DLB、前頭側頭葉変性症(FTLD)、正常圧水頭症(NPH)等を含む)、脳腫瘍、精神障害(精神疾患ともいう、統合失調症、てんかん、気分障害、依存障害、高次機能障害等を含む)、パーキンソン病、アスペルガー症候群、注意欠陥・多動性障害(ADHD)、睡眠障害、小児疾患、虚血性脳障害、気分障害(うつ病等を含む)等が含まれる。また、脳障害には、脳に関連する疾患として、認知症や多発性硬化症などが含まれ、また、アミロイドβに関連する疾患として、例えば、軽度認知障害(MCI:Mild cognitive impairment)、アルツハイマー病による軽度認知障害(MCIdue to AD)、前駆期アルツハイマー病(prodromal AD)、アルツハイマー病の発症前段階/プレクリニカルAD(preclinical AD)、パーキンソン病、多発性硬化症、不眠症、睡眠障害、認知機能の低下、認知機能障害、アミロイド陽性/陰性に係る疾患などの神経変性疾患が含まれる。
 なお、上記においては評価対象となる医用画像に含まれる対象領域は脳または脳の一部の例で本発明を説明しているが、対象領域は脳に限られず、被験者の身体の他のいずれか一部であってもよい。また、評価の対象となる疾患は認知症に限られず、画像診断の対象となる疾患であれば、身体の他の部位に関連する疾患のいずれであってもよい。
 1 画像診断支援情報提供システム
 8、9 構成範囲
 10 支援システム
 11 第1のアクセスユニット
 12 第2のアクセスユニット
 13 アクセスユニット
 15 画像評価環境(共通評価環境)
 16a ディスプレイ
 16b タッチパネル
 17 クラウド
 18 データベース
 19 プログラム
 20 ユニット
 30 支援ユニット
 31 個別・比較評価ユニット
 32 再統計的処理要求ユニット
 33 重ね合わせ表示(オーバーレイ)ユニット
 34 モデル入力選択ユニット
 35 統計処理入力選択ユニット
 36 マッピング評価ユニット
 37 入力支援機能(入力支援ユニット)
 50 標準化画像
 52 画像データベース
 53 脳画像(第1のタイプの医用画像)
 55 マッピングシステム
 56 第3の結果
 60 第1の画像評価システム
 61 プロセッサ
 62、72 評価対象の入力
 63、73 評価結果の出力
 65 データベース
 66 第1の結果
 67、77 入力制御情報
 70 第2の画像評価システム
 71 プロセッサ
 74 深層学習モデル(学習モデル、第1のモデル)
 75 データベース
 76 第2の結果
 

Claims (18)

  1.  被験者の身体の少なくとも一部を対象領域として含む第1のタイプの医用画像を統計的に評価する第1の画像評価システムに対しアクセス可能な第1のアクセスユニットと、
     前記第1のタイプの医用画像に基づき第1の疾患を評価するように機械学習した第1のモデルを用いて前記被験者の罹患状態を判断する第2の画像評価システムに対しアクセス可能な第2のアクセスユニットと、
     前記第1の画像評価システムおよび前記第2の画像評価システムに対する評価対象の入力および評価結果の出力の少なくともいずれかについて共通の画像評価環境を介して提供する支援ユニットとを有する、システム。
  2.  請求項1において、
     前記支援ユニットは、前記被験者の前記第1のタイプの医用画像が、前記第1の画像評価システムおよび前記第2の画像評価システムに対し入出力可能な画像に標準化された評価用画像を含む前記共通の画像評価環境を用いる、システム。
  3.  請求項1または2において、
     前記支援ユニットは、前記第1の画像評価システムから取得した前記医用画像の評価に関する第1の結果と、前記第2の画像評価システムから取得した前記被験者の前記医用画像の評価に関する第2の結果とを、前記共通の画像評価環境を介して出力するユニットを含む、システム。
  4.  請求項3において、
     前記支援ユニットは、前記第1の結果と、前記第2の結果とを、前記共通の画像評価環境に重ねて出力するユニットを含む、システム。
  5.  請求項1ないし4のいずれかにおいて、
     前記支援ユニットは、前記第2の画像評価システムの前記罹患状態の判断に基づき、前記第1の画像評価システムから取得した前記医用画像の評価に関する第1の結果を再評価した結果を、前記共通の画像評価環境を介して出力するユニットを含む、システム。
  6.  請求項1ないし5のいずれかにおいて、
     前記支援ユニットは、前記第1の画像評価システムから取得した前記医用画像の評価に関する第1の結果により重要視される第1の領域と、前記第2の画像評価システムの前記罹患状態の判断に重要視された第2の領域とを、前記共通の画像評価環境を介して出力するユニットを含む、システム。
  7.  請求項6において、
     前記支援ユニットは、前記第1の領域と、前記第2の領域とを、前記共通の画像評価環境に重ねて出力するユニットを含む、システム。
  8.  請求項1ないし7のいずれかにおいて、
     前記支援ユニットは、前記第1の画像評価システムから取得した前記医用画像の評価に関する第1の結果により重要視される第1の領域を含む画像領域を、前記共通の画像評価環境を介して前記第2の画像評価システムの評価対象として選択するユニットを含む、システム。
  9.  請求項1ないし8のいずれかにおいて、
     前記支援ユニットは、前記第2の画像評価システムの前記罹患状態の判断に重要視された第2の領域を含む画像領域を、前記共通の画像評価環境を介して前記第1の画像評価システムの評価対象として選択するユニットを含む、システム。
  10.  請求項1ないし9のいずれかにおいて、
     前記支援ユニットは、前記被験者の前記医用画像の前記共通の画像評価環境へマッピングの信頼度に基づき、前記第1の画像評価システムから取得した前記医用画像の評価に関する第1の結果、または、前記第2の画像評価システムから取得した前記被験者の前記医用画像の評価に関する第2の結果の、前記共通の画像評価環境を用いた出力を制御するユニットを含む、システム。
  11.  請求項1ないし10のいずれかにおいて、
     前記第1の疾患は認知症を含み、前記第1のタイプの医用画像はMR画像であり、前記対象領域は、脳の海馬傍回、脳幹背側、及び大脳基底核の部分(被殻、尾状核、嗅内皮質、海馬傍回、扁桃体など)の少なくとも1つを含む、システム。
  12.  請求項1ないし11のいずれかにおいて、
     前記第1の疾患は認知症を含み、前記第1のタイプの医用画像はSPECT画像であり、前記対象領域は、脳の楔前部、後頭葉、及び背外側前頭前野の少なくとも1つを含む、システム。
  13.  請求項1ないし12のいずれかにおいて、
     前記支援ユニットの出力に基づき、前記第1のモデルによる前記第1の疾患に対する評価を検証するユニットを有する、システム。
  14.  支援システムの制御方法であって、
     前記支援システムは、
     被験者の身体の少なくとも一部を対象領域として含む第1のタイプの医用画像を統計的に評価する第1の画像評価システムに対しアクセス可能な第1のアクセスユニットと、
     前記第1のタイプの医用画像に基づき第1の疾患を評価するように機械学習した第1のモデルを用いて前記被験者の罹患状態を判断する第2の画像評価システムに対しアクセス可能な第2のアクセスユニットと、
     前記第1の画像評価システムおよび前記第2の画像評価システムに対する評価対象の入力および評価結果の出力の少なくともいずれかについて共通の画像評価環境を介して提供する支援ユニットとを有し、
     当該制御方法は、以下のステップの少なくともいずれかを含む、制御方法。
    i)前記支援ユニットが、前記第1の画像評価システムから取得した前記医用画像の評価に関する第1の結果と、前記第2の画像評価システムから取得した前記被験者の前記医用画像の評価に関する第2の結果とを、前記共通の画像評価環境を介して出力すること。
    ii)前記支援ユニットが、前記第2の画像評価システムの前記罹患状態の判断に基づき、前記第1の画像評価システムから取得した前記医用画像の評価に関する第1の結果を再評価した結果を、前記共通の画像評価環境を介して出力すること。
    iii)前記支援ユニットが、前記第1の画像評価システムから取得した前記医用画像の評価に関する第1の結果により重要視される第1の領域と、前記第2の画像評価システムの前記罹患状態の判断に重要視された第2の領域とを、前記共通の画像評価環境を介して出力すること。
    iv)前記支援ユニットが、前記第1の画像評価システムから取得した前記医用画像の評価に関する第1の結果により重要視される第1の領域を含む画像領域を、前記共通の画像評価環境を介して前記第2の画像評価システムの評価対象として選択すること。
    v)前記支援ユニットが、前記第2の画像評価システムの前記罹患状態の判断に重要視された第2の領域を含む画像領域を、前記共通の画像評価環境を介して前記第1の画像評価システムの評価対象として選択すること。
    vi)前記支援ユニットが、前記被験者の前記医用画像の前記共通の画像評価環境へマッピングの信頼度に基づき、前記第1の画像評価システムから取得した前記医用画像の評価に関する第1の結果、または、前記第2の画像評価システムから取得した前記被験者の前記医用画像の評価に関する第2の結果の、前記共通の画像評価環境を用いた出力を制御すること。
  15.  請求項14において、
     前記第1の疾患は認知症を含み、前記第1のタイプの医用画像はMR画像であり、前記対象領域は、脳の海馬、海馬傍回、脳幹背側、中側頭極及び大脳基底核の部分(被殻、尾状核、嗅内皮質、海馬傍回、扁桃体など)の少なくとも1つを含む、制御方法。
  16.  請求項14において、
     前記第1の疾患は認知症を含み、前記第1のタイプの医用画像はSPECT画像であり、前記対象領域は、脳の楔前部、後頭葉、及び背外側前頭前野の少なくとも1つを含む、制御方法。
  17.  請求項14ないし16のいずれかにおいて、
     さらに、前記支援ユニットの出力に基づき、前記第1のモデルによる前記第1の疾患に対する評価を検証することを有する、制御方法。
  18.  コンピュータにより医用画像を評価するプログラムであって、
     前記コンピュータが、被験者の身体の少なくとも一部を対象領域として含む第1のタイプの医用画像を統計的に評価する第1の画像評価システムに対しアクセスすることと、
     前記第1のタイプの医用画像に基づき第1の疾患を評価するように機械学習した第1のモデルを用いて前記被験者の罹患状態を判断する第2の画像評価システムに対しアクセスすることと、
     前記第1の画像評価システムおよび前記第2の画像評価システムに対する評価対象の入力および評価結果の出力の少なくともいずれかについて共通の画像評価環境を介して提供することと、
     以下のステップの少なくともいずれかとを実行する命令を有するプログラム。
    i)前記第1の画像評価システムから取得した前記医用画像の評価に関する第1の結果と、前記第2の画像評価システムから取得した前記被験者の前記医用画像の評価に関する第2の結果とを、前記共通の画像評価環境を介して出力すること。
    ii)前記第2の画像評価システムの前記罹患状態の判断に基づき、前記第1の画像評価システムから取得した前記医用画像の評価に関する第1の結果を再評価した結果を、前記共通の画像評価環境を介して出力すること。
    iii)前記第1の画像評価システムから取得した前記医用画像の評価に関する第1の結果により重要視される第1の領域と、前記第2の画像評価システムの前記罹患状態の判断に重要視された第2の領域とを、前記共通の画像評価環境を介して出力すること。
    iv)前記第1の画像評価システムから取得した前記医用画像の評価に関する第1の結果により重要視される第1の領域を含む画像領域を、前記共通の画像評価環境を介して前記第2の画像評価システムの評価対象として選択すること。
    v)前記第2の画像評価システムの前記罹患状態の判断に重要視された第2の領域を含む画像領域を、前記共通の画像評価環境を介して前記第1の画像評価システムの評価対象として選択すること。
    vi)前記被験者の前記医用画像の前記共通の画像評価環境へマッピングの信頼度に基づき、前記第1の画像評価システムから取得した前記医用画像の評価に関する第1の結果、または、前記第2の画像評価システムから取得した前記被験者の前記医用画像の評価に関する第2の結果の、前記共通の画像評価環境を用いた出力を制御すること。
     
PCT/JP2021/016601 2020-04-28 2021-04-26 システム、制御方法及びプログラム WO2021221008A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022518052A JPWO2021221008A1 (ja) 2020-04-28 2021-04-26

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-079503 2020-04-28
JP2020079503 2020-04-28

Publications (1)

Publication Number Publication Date
WO2021221008A1 true WO2021221008A1 (ja) 2021-11-04

Family

ID=78374115

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/016601 WO2021221008A1 (ja) 2020-04-28 2021-04-26 システム、制御方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2021221008A1 (ja)
WO (1) WO2021221008A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023167157A1 (ja) * 2022-03-01 2023-09-07 株式会社Splink コンピュータプログラム、情報処理装置及び情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284090A (ja) * 1994-04-08 1995-10-27 Olympus Optical Co Ltd 画像分類装置
JP2006043007A (ja) * 2004-08-02 2006-02-16 Fujitsu Ltd 診断支援プログラムおよび診断支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284090A (ja) * 1994-04-08 1995-10-27 Olympus Optical Co Ltd 画像分類装置
JP2006043007A (ja) * 2004-08-02 2006-02-16 Fujitsu Ltd 診断支援プログラムおよび診断支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ASAKAWA, NAOKI: "Ideals and reality of explainable AI", NIKKEI COMPUTER, vol. 1009, 6 February 2020 (2020-02-06), JP , pages 38 - 44, XP009532025, ISSN: 0285-4619 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023167157A1 (ja) * 2022-03-01 2023-09-07 株式会社Splink コンピュータプログラム、情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
JPWO2021221008A1 (ja) 2021-11-04

Similar Documents

Publication Publication Date Title
Böhle et al. Layer-wise relevance propagation for explaining deep neural network decisions in MRI-based Alzheimer's disease classification
Leandrou et al. Quantitative MRI brain studies in mild cognitive impairment and Alzheimer's disease: a methodological review
Ahmed et al. Neuroimaging and machine learning for dementia diagnosis: recent advancements and future prospects
Tian et al. High-resolution connectomic fingerprints: Mapping neural identity and behavior
Pagani et al. Volume of interest-based [18F] fluorodeoxyglucose PET discriminates MCI converting to Alzheimer's disease from healthy controls. A European Alzheimer's Disease Consortium (EADC) study
Rondina et al. Selecting the most relevant brain regions to discriminate Alzheimer's disease patients from healthy controls using multiple kernel learning: A comparison across functional and structural imaging modalities and atlases
JP7357927B2 (ja) 診断支援システムおよび方法
JP2014145770A (ja) アルツハイマー病の予測を支援する方法及び自動化システム、並びに、前記システムをトレーニングする方法
Wu et al. Investigation into local white matter abnormality in emotional processing and sensorimotor areas using an automatically annotated fiber clustering in major depressive disorder
Augimeri et al. CADA—computer-aided DaTSCAN analysis
Mo et al. Clinical value of machine learning in the automated detection of focal cortical dysplasia using quantitative multimodal surface-based features
Kim et al. Predicting amyloid positivity in patients with mild cognitive impairment using a radiomics approach
Abos et al. Differentiation of multiple system atrophy from Parkinson’s disease by structural connectivity derived from probabilistic tractography
Huang et al. Voxel-based morphometry and a deep learning model for the diagnosis of early Alzheimer’s disease based on cerebral gray matter changes
Azcona et al. Interpretation of brain morphology in association to Alzheimer’s disease dementia classification using graph convolutional networks on triangulated meshes
WO2021220597A1 (ja) システム、制御方法、情報提供方法及びコンピュータプログラム
Kuhn et al. Translating state-of-the-art brain magnetic resonance imaging (MRI) techniques into clinical practice: multimodal MRI differentiates dementia subtypes in a traditional clinical setting
WO2021221008A1 (ja) システム、制御方法及びプログラム
Yang et al. Diagnosis of Parkinson’s disease based on 3D ResNet: The frontal lobe is crucial
Park et al. Deep learning application for the classification of Alzheimer’s disease using 18F-flortaucipir (AV-1451) tau positron emission tomography
Hassanaly et al. Evaluation of pseudo-healthy image reconstruction for anomaly detection with deep generative models: Application to brain FDG PET
Spetsieris et al. Highly automated computer-aided diagnosis of neurological disorders using functional brain imaging
Bermudez Noguera et al. Using deep learning for a diffusion-based segmentation of the dentate nucleus and its benefits over atlas-based methods
Schuch et al. An open presurgery MRI dataset of people with epilepsy and focal cortical dysplasia type II
CA3180031A1 (en) Network-based functional imaging output for evaluating multiple sclerosis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21796978

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022518052

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21796978

Country of ref document: EP

Kind code of ref document: A1