WO2022071160A1 - 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法 - Google Patents

診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法 Download PDF

Info

Publication number
WO2022071160A1
WO2022071160A1 PCT/JP2021/035196 JP2021035196W WO2022071160A1 WO 2022071160 A1 WO2022071160 A1 WO 2022071160A1 JP 2021035196 W JP2021035196 W JP 2021035196W WO 2022071160 A1 WO2022071160 A1 WO 2022071160A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature
feature amount
target image
areas
Prior art date
Application number
PCT/JP2021/035196
Other languages
English (en)
French (fr)
Inventor
元中 李
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022553916A priority Critical patent/JPWO2022071160A1/ja
Publication of WO2022071160A1 publication Critical patent/WO2022071160A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Definitions

  • the technology of the present disclosure relates to a diagnostic support device, an operation method of the diagnostic support device, an operation program of the diagnostic support device, and a dementia diagnosis support method.
  • a doctor In diagnosing a disease, for example, dementia represented by Alzheimer's disease, a doctor refers to a medical image such as a head MRI (Magnetic Response Imaging) image. For example, the doctor observes the degree of atrophy of the hippocampus, parahippocampal gyrus, amygdala, etc., the degree of white matter angiopathy, the presence or absence of decreased blood flow metabolism in the frontal lobe, temporal lobe, and occipital lobe, and makes findings of dementia. obtain. In addition, the doctor searches for a similar image similar to the head MRI image to be diagnosed, and derives the findings of dementia by taking into consideration the searched similar image.
  • MRI Magnetic Response Imaging
  • the similarity evaluation value is, for example, the distance between a multidimensional vector having a plurality of feature quantities of a target image as an element and a multidimensional vector having a plurality of feature quantities of a candidate image as an element. In this case, if the similarity between the target image and the candidate image is high, the distance between the two multidimensional vectors becomes short, so that the similarity evaluation value becomes small.
  • an organ such as the brain is a collection of many dissected areas such as the hippocampus and amygdala. And, in order to obtain the findings of the disease, it is necessary to thoroughly examine the dissected area from various viewpoints.
  • ⁇ Muhammad Owais, etc. Effective Diagnosis and Treatment Subject-Based Medical Image Retrieval (CBMIR) by Using Artificial Intelligence, Junior. >
  • CBMIR Effective Diagnosis and Treatment Subject-Based Medical Image Retrieval
  • One embodiment according to the technique of the present disclosure provides a diagnostic support device capable of searching for more accurate similar images, an operation method of the diagnostic support device, an operation program of the diagnostic support device, and a dementia diagnosis support method. do.
  • the diagnostic support device of the present disclosure comprises a processor and a memory connected to or built into the processor, the processor acquiring a target image, which is a medical image to be diagnosed with a disease, and dissecting a plurality of organs from the target image. Areas are extracted, images of multiple dissection areas are input to multiple feature quantity derivation models prepared for each dissection area, and multiple feature quantities for each dissection area are output from the feature quantity derivation model. , Search for a similar image of the target image using a plurality of feature quantities, and output the similar image.
  • the processor extracts a plurality of dissection areas from candidate images of similar images, inputs images of the multiple dissection areas of the candidate images into a plurality of feature quantity derivation models, and inputs each of the dissection areas from the feature quantity derivation model.
  • a plurality of feature amounts are output, a similarity evaluation value between the target image and the candidate image is calculated from a plurality of feature amounts of the target image and a plurality of feature amounts of the candidate image, and the similarity evaluation value is calculated based on the similarity evaluation value. It is preferable to select a similar image from the candidate images.
  • the processor weights a plurality of feature amounts of the target image and a plurality of feature amounts of the candidate image according to the dissected area.
  • the feature quantity derivation model preferably includes at least one of an autoencoder, a single-tasking convolutional neural network for class discrimination, and a multitasking convolutional neural network for class discrimination.
  • the processor inputs an image of one anatomical area into a plurality of different feature quantity derivation models and outputs a feature quantity from each of the plurality of feature quantity derivation models.
  • the processor weights a plurality of feature quantities of the target image and a plurality of feature quantities of the candidate image according to a plurality of different feature quantity derivation models.
  • the processor performs a normalization process to match the acquired target image with the standard medical image prior to the extraction of the dissected area.
  • the organ is the brain and the disease is dementia.
  • the dissecting area preferably comprises at least one of the hippocampus and the frontotemporal lobe.
  • the method of operating the diagnostic support device of the present disclosure is to acquire a target image which is a medical image of a disease diagnosis target, extract a plurality of anatomical areas of an organ from the target image, and obtain a plurality of images of a plurality of anatomical areas.
  • the operation program of the diagnostic support device of the present disclosure includes acquiring a target image which is a medical image of a disease diagnosis target, extracting a plurality of anatomical areas of an organ from the target image, and displaying a plurality of images of a plurality of anatomical areas.
  • Input to multiple feature quantity derivation models prepared for each dissection area output multiple feature quantities for each dissection area from the feature quantity derivation model, and use multiple feature quantities to resemble the target image.
  • the dementia diagnosis support method of the present disclosure is to obtain a target image, which is a medical image of a brain to be diagnosed with dementia, by a computer including a processor and a memory connected to or built in the processor. Extracting multiple dissection areas of the brain from images, inputting images of multiple dissection areas into multiple feature quantity derivation models prepared for each dissection area, and inputting images of multiple dissection areas from the feature quantity derivation model for each dissection area. It is possible to output a plurality of feature quantities of the above, search for a similar image of the target image using the plurality of feature quantities, and output a similar image.
  • a diagnostic support device capable of searching for a more accurate similar image, an operation method of the diagnostic support device, an operation program of the diagnostic support device, and a dementia diagnosis support method. ..
  • the medical system 2 includes an MRI apparatus 10, a PACS (Picture Archiving and Communication System) server 11, and a client terminal 12.
  • the MRI apparatus 10, the PACS server 11, and the client terminal 12 are connected to a LAN (Local Area Network) 13 installed in a medical facility, and can communicate with each other via the LAN 13.
  • the PACS server 11 is an example of a "diagnosis support device" according to the technique of the present disclosure.
  • the MRI apparatus 10 photographs the head of patient P and outputs a head MRI image 15.
  • the head MRI image 15 is voxel data showing the three-dimensional shape of the head of the patient P.
  • FIG. 1 shows a head MRI image 15S of a sagittal cross section.
  • the MRI apparatus 10 transmits the head MRI image 15 to the PACS server 11.
  • the PACS server 11 stores and manages the head MRI image 15 from the MRI apparatus 10.
  • the head MRI image 15 is an example of a "medical image" according to the technique of the present disclosure.
  • the client terminal 12 is, for example, a desktop personal computer, and includes a display 17 and an input device 18.
  • the input device 18 is a keyboard, a mouse, a touch panel, a microphone, or the like. Although only one MRI device 10 and one client terminal 12 are drawn in FIG. 1, a plurality of MRI devices 10 and one client terminal 12 may be provided.
  • the doctor operates the input device 18 to request the PACS server 11 to deliver the head MRI image 15 (hereinafter referred to as the target image 15TI) of the patient P to be diagnosed.
  • the delivery request 20 includes an image ID (Identification Data) of the target image 15TI, a patient ID of the patient P, a shooting date and time of the target image 15TI, and the like.
  • the PACS server 11 searches for the target image 15TI and distributes it to the client terminal 12 in response to the distribution request 20.
  • the client terminal 12 receives the target image 15TI distributed from the PACS server 11 and displays the received target image 15TI on the display 17.
  • the doctor operates the input device 18 to transmit the search request 23 for the similar image 15SI of the target image 15TI to the PACS server 11. Similar to the delivery request 20, the search request 23 includes the image ID of the target image 15TI and the like.
  • the PACS server 11 searches for the similar image 15SI and distributes it to the client terminal 12.
  • the client terminal 12 receives the similar image 15SI delivered from the PACS server 11 and displays the received similar image 15SI on the display 17 so as to be comparable to the target image 15TI.
  • the doctor observes the brain of the patient P shown in the target image 15TI, and makes a diagnosis of dementia for the patient P with reference to the similar image 15SI as the case may be.
  • the brain is an example of an "organ” according to the technique of the present disclosure
  • dementia is an example of a "disease" according to the technique of the present disclosure.
  • the computer constituting the PACS server 11 includes a storage 25, a memory 26, a CPU (Central Processing Unit) 27, and a communication unit 28. These are interconnected via a bus line 29.
  • the CPU 27 is an example of a "processor" according to the technique of the present disclosure.
  • the storage 25 is a hard disk drive built in the computer constituting the PACS server 11 or connected via a cable or a network. Alternatively, the storage 25 is a disk array in which a plurality of hard disk drives are connected. The storage 25 stores control programs such as an operating system, various application programs, and various data associated with these programs. A solid state drive may be used instead of the hard disk drive.
  • the memory 26 is a work memory for the CPU 27 to execute a process.
  • the CPU 27 loads the program stored in the storage 25 into the memory 26 and executes the process according to the program.
  • the communication unit 28 controls transmission of various information with an external device such as a client terminal 12.
  • the memory 26 may be built in the CPU 27.
  • the operation program 35 is stored in the storage 25 of the PACS server 11.
  • the operation program 35 is an application program for making the computer constituting the PACS server 11 function as a diagnostic support device. That is, the operation program 35 is an example of the "operation program of the diagnostic support device" according to the technique of the present disclosure.
  • the CPU 27 of the computer constituting the PACS server 11 cooperates with the memory 26 and the like to read / write (hereinafter abbreviated as RW (Read Write)) control unit 40 and preprocessing unit 41. , A request reception unit 42, a search processing unit 43, and a distribution control unit 44.
  • RW Read Write
  • the RW control unit 40 controls the storage of various data in the storage 25 and the reading of various data in the storage 25.
  • the RW control unit 40 receives the head MRI image 15 from the MRI device 10 and stores the received head MRI image 15 in the storage 25.
  • the target image 15TI is one of a plurality of head MRI images 15 taken by the MRI apparatus 10. Therefore, the RW control unit 40 acquires the target image 15TI by receiving the head MRI image 15 from the MRI device 10.
  • the preprocessing unit 41 performs various preprocessing described later on the head MRI image 15 from the MRI apparatus 10.
  • the preprocessing unit 41 outputs the feature amount set group 45 derived as a result of the preprocessing to the RW control unit 40.
  • the RW control unit 40 stores the feature amount set group 45 in the storage 25 in association with the head MRI image 15. As a result, a plurality of pairs of the head MRI image 15 and the feature amount set group 45 are stored in the storage 25.
  • the request receiving unit 42 receives the delivery request 20 and the search request 23 transmitted from the client terminal 12.
  • the request reception unit 42 outputs the received delivery request 20 and search request 23 to the search processing unit 43.
  • the search processing unit 43 is responsible for the search processing of the target image 15TI and the similar image 15SI.
  • the search processing unit 43 When the distribution request 20 is input from the request receiving unit 42, the search processing unit 43 outputs a command to the RW control unit 40 to search and read the target image 15TI corresponding to the distribution request 20 from the storage 25.
  • the RW control unit 40 searches for and reads the target image 15TI corresponding to the distribution request 20 from the storage 25, and outputs the read target image 15TI to the search processing unit 43.
  • the search processing unit 43 outputs the target image 15TI to the distribution control unit 44.
  • the search processing unit 43 When the search request 23 is input from the request receiving unit 42, the search processing unit 43 outputs a command to read out all the feature quantity set groups 45 from the storage 25 to the RW control unit 40. In response to the command, the RW control unit 40 reads out all the feature amount set groups 45 from the storage 25, and outputs the read feature amount set group 45 to the search processing unit 43.
  • the search processing unit 43 searches for a similar image 15SI using the feature amount set group 45.
  • the search processing unit 43 outputs the searched similar image 15SI to the distribution control unit 44.
  • the distribution control unit 44 distributes the target image 15TI to the client terminal 12 that is the request source of the distribution request 20. Further, the distribution control unit 44 distributes the similar image 15SI to the client terminal 12 that is the request source of the search request 23.
  • the pretreatment unit 41 includes a normalization unit 50, an extraction unit 51, and a feature amount derivation unit 52.
  • a feature amount derivation model group 58 composed of a standard head MRI image 55, a segmentation model 56, and a plurality of feature amount derivation models 57 is provided. It is remembered.
  • the RW control unit 40 reads the standard head MRI image 55 from the storage 25, and outputs the read standard head MRI image 55 to the normalization unit 50. Further, the RW control unit 40 reads the segmentation model 56 from the storage 25 and outputs the read segmentation model 56 to the extraction unit 51. Further, the RW control unit 40 reads out the feature quantity derivation model group 58 from the storage 25, and outputs the read feature quantity derivation model group 58 to the feature quantity derivation unit 52.
  • the normalization unit 50 performs a normalization process to match the head MRI image 15 from the MRI apparatus 10 with the standard head MRI image 55, and makes the head MRI image 15 a normalized head MRI image 60.
  • the normalization unit 50 outputs the normalized head MRI image 60 to the extraction unit 51.
  • the standard head MRI image 55 is a head MRI image showing a brain having a standard shape, size, and density (pixel value).
  • the standard head MRI image 55 is, for example, an image generated by averaging the head MRI images 15 of a plurality of healthy subjects, or an image generated by computer graphics.
  • the standard head MRI image 55 is an example of a "standard medical image" according to the technique of the present disclosure.
  • the extraction unit 51 inputs the normalized head MRI image 60 into the segmentation model 56.
  • the segmentation model 56 is a machine learning model that performs so-called semantic segmentation, in which a label representing each anatomical area of the brain such as the hippocampus, amygdala, and frontal lobe is given to each pixel of the brain reflected in the normalized head MRI image 60.
  • the extraction unit 51 extracts an image (hereinafter referred to as an anatomical area image) 61 of a plurality of anatomical areas of the brain from the normalized head MRI image 60 based on the label given by the segmentation model 56.
  • the extraction unit 51 outputs the dissection area image group 62 composed of the plurality of dissection area images 61 for each dissection area to the feature amount derivation unit 52.
  • One feature amount derivation model 57 is prepared for each of a plurality of anatomical areas of the brain (see FIG. 9).
  • the feature amount derivation unit 52 inputs the dissected area image 61 into the corresponding feature amount derivation model 57.
  • the feature amount set 63 composed of a plurality of types of feature amounts Z (see FIG. 9) is output from the feature amount derivation model 57.
  • the feature amount set group 45 is composed of a plurality of feature amount sets 63 corresponding to a plurality of dissected areas.
  • the feature amount derivation unit 52 outputs the feature amount set group 45 to the RW control unit 40.
  • the RW control unit 40 stores the feature amount set group 45 in the storage 25.
  • the normalization unit 50 performs shape normalization processing 65 and density normalization processing 66 as normalization processing on the head MRI image 15.
  • the shape normalization process 65 extracts, for example, a landmark that serves as a reference for alignment from the head MRI image 15 and the standard head MRI image 55, and the landmark of the head MRI image 15 and the standard head MRI image 55. This is a process of moving, rotating, and / or scaling the head MRI image 15 in parallel with the standard head MRI image 55 so as to maximize the correlation with the landmark.
  • the density normalization process 66 is, for example, a process of correcting the density histogram of the head MRI image 15 according to the density histogram of the standard head MRI image 55.
  • the extraction unit 51 has, as the anatomical area image 61, the anatomical area image 61_1 of the hippocampus, the anatomical area image 61_2 around the hippocampus, the anatomical area image 61_3 of the frontal lobe, and the anatomical area image of the anterior temporal lobe.
  • 61_4 anatomical area image 61_5 of the occipital lobe, anatomical area image 61_6 of the thorax, anatomical area image 61_7 of the lower part of the thorax, anatomical area image 61_8 of the tongue, anatomical area image 61_9 of the pituitary gland, and the like are extracted.
  • the extraction unit 51 extracts an anatomical area image 61 of each anatomical area such as the mammillary body, corpus callosum, fornix, and lateral ventricle.
  • the anatomical areas such as the hippocampus, frontotemporal lobe, frontotemporal lobe, and amygdala are paired left and right.
  • the anatomical area image 61 of each of the left and right anatomical areas is extracted from such a pair of left and right anatomical areas. For example, for the hippocampus, an anatomical area image 61_1 of the left hippocampus and an anatomical area image 61_1 of the right hippocampus are extracted.
  • the dissected areas it is preferable to include at least one of the hippocampus and the frontotemporal lobe, and it is more preferable to include all of the hippocampus and the frontotemporal lobe.
  • the frontotemporal lobe means the anterior part of the temporal lobe.
  • the feature amount derivation unit 52 inputs the hippocampal dissection area image 61_1 into the hippocampal feature amount derivation model 57_1, and outputs the hippocampal feature amount set 63_1 from the hippocampal feature amount derivation model 57_1.
  • the hippocampal feature amount set 63_1 is composed of a plurality of feature amounts Z1_1, Z2_1, ..., ZN_1. Note that N is the number of feature quantities, for example, tens to hundreds of thousands.
  • the feature amount derivation unit 52 inputs the parahippocampal feature amount derivation model 61_2 to the parahippocampal feature amount derivation model 57_2, and inputs the frontal lobe dissection area image 61_3 to the frontal lobe feature amount derivation model 57_3.
  • the frontal lobe dissection area image 61_4 is input to the frontal lobe feature amount derivation model 57_4.
  • the parahippocampal feature derivation model 57_2 outputs the parahippocampal feature set 63_2
  • the frontal lobe feature derivation model 57_3 outputs the frontal lobe feature set 63_3, and the frontal lobe feature derivation model.
  • the feature amount set 63_4 of the frontal lobe is output from 57_4.
  • the parahippocampal feature set 63_2 is composed of a plurality of features Z1_2, Z2_2, ..., ZN_2, and the frontotemporal lobe feature set 63_3 is composed of a plurality of features Z1_3, Z2_3, ..., ZN_3.
  • the frontotemporal lobe feature amount set 63_4 is composed of a plurality of feature amounts Z1_4, Z2_4, ..., ZN_4.
  • the feature amount derivation unit 52 inputs the occipital lobe feature amount derivation model 61_5 into the occipital lobe feature amount derivation model 57_5, and inputs the thalamus dissection area image 61_6 into the thalamus feature amount derivation model 57_6. Then, the occipital lobe feature amount set 63_5 is output from the occipital lobe feature amount derivation model 57_5, and the thalamus feature amount set 63_6 is output from the thalamus feature amount derivation model 57_6.
  • the occipital lobe feature amount set 63_5 is composed of a plurality of feature amounts Z1_5, Z2_5, ..., ZN_5, and the thalamic feature amount set 63_6 is composed of a plurality of feature amounts Z1_6, Z2_6, ..., ZN_6.
  • the plurality of dissected area images 61 are input to the corresponding feature amount derivation model 57, whereby the feature amount set 63 for each dissection area image 61 is output from each feature amount derivation model 57.
  • the number of feature quantities Z may be the same in each dissection area as in the example N, or may be different in each dissection area.
  • the pretreatment unit 41 is a series of processes described above, that is, normalization processing by the normalization unit 50, extraction processing of the dissected area image 61 by the extraction unit 51, and feature quantity set group 45 by the feature quantity derivation unit 52.
  • the derivation process is performed on all of the head MRI images 15 from the MRI apparatus 10.
  • the head MRI image 15 from the MRI apparatus 10 naturally includes a target image 15TI and a candidate image 15CI (see FIG. 10) of a similar image 15SI. Therefore, the preprocessing unit 41 performs normalization processing to match the target image 15TI with the standard head MRI image 55, extracts the dissection area image 61 from the target image 15TI, and sets the feature amount set group 45 of the target image 15TI (hereinafter).
  • the preprocessing unit 41 performs normalization processing to match the candidate image 15CI with the standard head MRI image 55, extracts the anatomical area image 61 from the candidate image 15CI, and features the feature amount set group 45 of the candidate image 15CI (hereinafter referred to as “)”. This means that the feature amount set group 45CI (see FIG. 10) is derived.
  • the search processing unit 43 includes a similarity evaluation value calculation unit 70 and a similar image selection unit 71.
  • the storage 25 stores the selection condition 75.
  • the RW control unit 40 reads the selection condition 75 from the storage 25, and outputs the read selection condition 75 to the similar image selection unit 71.
  • the similarity evaluation value calculation unit 70 receives all the feature amount set groups 45 from the RW control unit 40.
  • the feature amount set group 45 includes a feature amount set group 45TI of the target image 15TI and a head MRI image 15 other than the target image 15TI, that is, a feature amount set group 45CI of the candidate image 15CI of the similar image 15SI.
  • the similarity evaluation value calculation unit 70 calculates the similarity evaluation value 76 between the target image 15TI and the candidate image 15CI from the feature amount set group 45TI of the target image 15TI and the feature amount set group 45CI of the candidate image 15CI. ..
  • the similarity evaluation value calculation unit 70 calculates the similarity evaluation value 76 for each of the plurality of candidate images 15CI.
  • the similarity evaluation value calculation unit 70 outputs the calculated similarity evaluation value 76 to the similar image selection unit 71.
  • the similar image selection unit 71 selects the similar image 15SI from the candidate image 15CI based on the selection condition 75 and the similarity evaluation value 76.
  • the selection condition 75 is the content of "candidate images having the first to third degree of similarity". Therefore, the similar image selection unit 71 selects the candidate image 15CI having the first to third degree of similarity with the target image 15TI represented by the similarity evaluation value 76 as the similar image 15SI.
  • the candidate image 15CI having the 1st to 3rd similarity with the target image 15TI is the candidate image 15CI having the smallest similarity evaluation value 76 and the candidate image 15CI having the second smallest similarity evaluation value 76.
  • the candidate image 15CI having the third smallest similarity evaluation value 76 is the candidate image 15CI having the third smallest similarity evaluation value 76.
  • the similarity evaluation value calculation unit 70 includes a multidimensional vector having each feature amount ZTIi of the feature amount set group 45TI of the target image 15TI as an element, and a feature amount set group 45CI of the candidate image 15CI.
  • the distance from the multidimensional vector having each feature amount ZCIi as an element is calculated as the similarity evaluation value 76. More specifically, as shown in the following equation (1) in which the similarity evaluation value 76 is expressed as S, the similarity evaluation value calculation unit 70 is the difference between the feature amount ZTIi and the corresponding feature amount ZCIi.
  • the square root of the sum of squares of the absolute values of (ZTI1-1-1-ZCI1-1, ZTI2_2-ZCI2_2, etc.), that is, the Euclidean distance is calculated as the similarity evaluation value 76.
  • i is an integer of 1 to M.
  • M is the product of the number N of the feature amount Z and the number of the dissected areas from which the dissection area image 61 is extracted, that is, the total number of the feature amount Z included in the feature amount set group 45TI or the feature amount set group 45CI.
  • FIG. 12 shows an example of the first display screen 80 including the target image 15TI distributed from the PACS server 11 in response to the distribution request 20.
  • the first display screen 80 is displayed on the display 17 of the client terminal 12.
  • the target image 15TI is displayed on the first display screen 80.
  • the target image 15TI is a target image 15TIS of a sagittal cross section, a target image 15TIA of an axial cross section, and a target image 15TIC of a coronal cross section.
  • a button group 81 for switching the display is provided at the lower part of each of the target images 15TIS, 15TIA, and 15TIC.
  • the first display screen 80 is provided with a similar image search button 82.
  • the doctor wants to search for the similar image 15SI of the target image 15TI, he / she selects the similar image search button 82.
  • the search request 23 is transmitted to the PACS server 11.
  • FIG. 13 shows an example of the second display screen 85 displayed on the display 17 of the client terminal 12 when the similar image 15SI is delivered from the PACS server 11 in response to the search request 23.
  • a similar image 15SI is displayed below the target image 15TI in the same manner as the target image 15TI.
  • the similar image 15SI is displayed at the upper part as the order of similarity is higher.
  • the similar image 15SI is a similar image 15SIS of a sagittal cross section, a similar image 15SIA of an axial cross section, and a similar image 15SIC of a coronal cross section.
  • the similar image 15SI displays the age and sex of the patient P of the similar image 15SI, as well as the findings of dementia. Findings of dementia are taken from an electronic medical record system (not shown).
  • the confirmation button 86 is selected, the display of the similar image 15SI is erased, and the second display screen 85 is returned to the first display screen 80.
  • the feature amount derivation model 57 uses a compression unit 91 of an autoencoder (hereinafter, abbreviated as AE (Auto Encoder)) 90.
  • the AE90 has a compression unit 91 and a restoration unit 92.
  • An anatomical area image 61 is input to the compression unit 91.
  • the compression unit 91 converts the dissected area image 61 into the feature amount set 63.
  • the compression unit 91 passes the feature amount set 63 to the restoration unit 92.
  • the restoration unit 92 generates the restoration image 93 of the dissected area image 61 from the feature amount set 63.
  • the compression unit 91 converts the dissected area image 61 into the feature amount set 63 by performing a convolution operation as shown in FIG. 15 as an example.
  • the compression unit 91 has a convolution layer 200 represented by "conv (abbreviation of convolution)".
  • the convolution layer 200 applies, for example, a 3 ⁇ 3 filter 203 to the target data 202 having a plurality of elements 201 arranged in two dimensions. Then, the element value e of one of the elements 201 of interest and the element values a, b, c, d, f, g, h, and i of eight elements 201S adjacent to the element of interest 201I are convolved.
  • the convolution layer 200 sequentially performs a convolution operation on each element 201 of the target data 202 while shifting the element of interest 201I by one element, and outputs the element value of the element 204 of the operation data 205.
  • the operation data 205 having a plurality of elements 204 arranged in two dimensions can be obtained as in the target data 202.
  • the target data 202 first input to the convolution layer 200 is the dissection area image 61, and then the reduction calculation data 205S (see FIG. 17) described later is input to the convolution layer 200 as the target data 202.
  • the element 204I corresponding to the element of interest 201I of the operation data 205 which is the result of the convolution operation for the element of interest 201I.
  • One operation data 205 is output for one filter 203.
  • the operation data 205 is output for each filter 203. That is, as shown in FIG. 16 as an example, the arithmetic data 205 is generated for the number of filters 203 applied to the target data 202. Further, since the arithmetic data 205 has a plurality of elements 204 arranged in two dimensions, it has a width and a height. The number of arithmetic data 205 is called the number of channels.
  • FIG. 16 illustrates the four-channel arithmetic data 205 output by applying the four filters 203 to the target data 202.
  • the compression unit 91 has a pooling layer 210 represented by “pool (abbreviation of pooling)” in addition to the convolution layer 200.
  • the pooling layer 210 obtains a local statistic of the element value of the element 204 of the operation data 205, and generates the reduced operation data 205S having the obtained statistic as the element value.
  • the pooling layer 210 performs a maximum value pooling process for obtaining the maximum value of the element value in the block 211 of the 2 ⁇ 2 element as a local statistic. If the block 211 is processed while being shifted by one element in the width direction and the height direction, the reduction calculation data 205S is reduced to half the size of the original calculation data 205.
  • the element values a, b, e, and b in the block 211A, the element values b, c, f, and g in the block 211B, and the element values c and d in the block 211C are shown.
  • G, and h are exemplified when h is the maximum value, respectively. It should be noted that the mean value pooling process may be performed in which the mean value is obtained as a local statistic instead of the maximum value.
  • the compression unit 91 outputs the final calculation data 205 by repeating the convolution process by the convolution layer 200 and the pooling process by the pooling layer 210 a plurality of times.
  • the final calculated data 205 is the feature set 63
  • the element value of each element 204 of the final calculated data 205 is the feature Z.
  • the characteristic amount Z thus obtained represents the shape and texture characteristics of the dissected area, such as the degree of hippocampal atrophy, the degree of white matter angiopathy, and the presence or absence of decreased blood flow metabolism in the frontal lobe, frontotemporal lobe, and occipital lobe. There is.
  • each process is actually performed in three dimensions.
  • the AE90 is learned by inputting the learning anatomical area image 61L in the learning phase before diverting the compression unit 91 to the feature amount derivation model 57.
  • the AE90 outputs a learning restored image 93L with respect to the learning dissection area image 61L.
  • the loss calculation of AE90 using the loss function is performed.
  • various coefficients of the AE90 coefficients of the filter 203, etc.
  • the AE90 is updated according to the update settings.
  • the above series of processes of inputting the learning anatomical area image 61L to the AE90, outputting the learning restored image 93L from the AE90, loss calculation, update setting, and updating the AE90 is the learning anatomy.
  • the area image 61L is repeatedly exchanged and repeated. The repetition of the above series of processes ends when the restoration accuracy from the learning dissection area image 61L to the learning restoration image 93L reaches a predetermined set level.
  • the compression unit 91 of the AE90 whose restoration accuracy has reached the set level in this way is stored in the storage 25 and used as the learned feature amount derivation model 57.
  • the CPU 27 of the PACS server 11 includes the RW control unit 40, the preprocessing unit 41, the request reception unit 42, the search processing unit 43, and the distribution unit. It functions as a control unit 44.
  • the pretreatment unit 41 includes a normalization unit 50, an extraction unit 51, and a feature amount derivation unit 52.
  • the search processing unit 43 includes a similarity evaluation value calculation unit 70 and a similar image selection unit 71.
  • the head MRI image 15 of the patient P is photographed by the MRI device 10, and the head MRI image 15 is transmitted from the MRI device 10 to the PACS server 11.
  • the head MRI image 15 is input to the RW control unit 40 and the preprocessing unit 41.
  • the head MRI image 15 is stored in the storage 25 by the RW control unit 40 (step ST100).
  • a normalization process for matching the head MRI image 15 with the standard head MRI image 55 is performed (step ST110).
  • the head MRI image 15 becomes a normalized head MRI image 60.
  • the normalized head MRI image 60 is output from the normalized unit 50 to the extraction unit 51.
  • a plurality of anatomical area images 61 are extracted from the normalized head MRI image 60 using the segmentation model 56 (step ST120).
  • the dissection area image group 62 composed of the plurality of dissection area images 61 is output from the extraction unit 51 to the feature amount derivation unit 52.
  • the dissection area image 61 is input to the corresponding feature amount derivation model 57.
  • the feature amount set 63 is output from the feature amount derivation model 57 (step ST130).
  • the feature amount set group 45 composed of the plurality of feature amount sets 63 is output from the feature amount derivation unit 52 to the RW control unit 40.
  • the feature amount set group 45 is stored in the storage 25 by the RW control unit 40 (step ST140).
  • the command of the search processing unit 43 The target image 15TI corresponding to the distribution request 20 is searched and read from the storage 25 by the RW control unit 40 that has received the message (step ST210).
  • the target image 15TI is output from the RW control unit 40 to the search processing unit 43, and further output from the search processing unit 43 to the distribution control unit 44.
  • the target image 15TI is distributed by the distribution control unit 44 to the client terminal 12 that is the request source of the distribution request 20 (step ST220).
  • the first display screen 80 shown in FIG. 12 is displayed on the display 17. The doctor observes the patient P's brain reflected in the target image 15TI through the first display screen 80.
  • the similar image search button 82 of the first display screen 80 is selected, the search request 23 is transmitted from the client terminal 12 to the PACS server 11, and the search request 23 is received by the request receiving unit 42. If (YES in step ST300), all the feature quantity set groups 45 are read out from the storage 25 by the RW control unit 40 that has received the command from the search processing unit 43 (step ST310). The feature amount set group 45 is output from the RW control unit 40 to the search processing unit 43.
  • the similarity evaluation value calculation unit 70 between the feature amount set group 45TI of the target image 15TI and the feature amount set group 45CI of the candidate image 15CI, between the target image 15TI and the candidate image 15CI.
  • the similarity evaluation value 76 is calculated (step ST320).
  • the similarity evaluation value 76 is output from the similarity evaluation value calculation unit 70 to the similarity image selection unit 71.
  • the calculation of the similarity evaluation value 76 is repeated until the calculation for all the candidate images 15CI is completed (NO in step ST330).
  • the similar image 15SI is selected from the candidate images 15CI according to the selection condition 75 in the similar image selection unit 71.
  • the similar image 15SI is output from the RW control unit 40 to the search processing unit 43, and further output from the search processing unit 43 to the distribution control unit 44.
  • the similar image 15SI is distributed by the distribution control unit 44 to the client terminal 12 that is the request source of the search request 23 (step ST350).
  • the second display screen 85 shown in FIG. 13 is displayed on the display 17. The doctor makes a diagnosis of dementia for the patient P while referring to the similar image 15SI through the second display screen 85.
  • the CPU 27 of the PACS server 11 includes an RW control unit 40, an extraction unit 51, a feature amount derivation unit 52, a search processing unit 43, and a distribution control unit 44.
  • the RW control unit 40 acquires the target image 15TI, which is the head MRI image 15 to be diagnosed with dementia.
  • the extraction unit 51 extracts an anatomical area image 61 of a plurality of anatomical areas of the brain from the normalized head MRI image 60 obtained by normalizing the head MRI image 15.
  • the feature amount derivation unit 52 inputs a plurality of dissection area images 61 into a plurality of feature amount derivation models 57 prepared for each dissection area, and a plurality of features for each dissection area from the feature amount derivation model 57.
  • the quantity set 63 is output.
  • the search processing unit 43 searches for a similar image 15SI of the target image 15TI by using the feature amount set group 45 composed of a plurality of feature amount sets 63.
  • the distribution control unit 44 distributes the similar image 15SI to the client terminal 12 that is the request source of the search request 23.
  • the number of feature quantities Z is very large, for example, tens to hundreds of thousands. Therefore, the feature amount Z does not represent a limited feature of the brain, but represents a comprehensive feature of the dissected area. Further, the feature amount Z is not a statistically obtained value such as an average value of pixel values, but is obtained by inputting an anatomical area image 61 into the feature amount derivation model 57. Further, the feature amount Z is derived for each dissection area, and the similar image 15SI is searched using the feature amount Z derived for each dissection area. Therefore, the similar image 15SI is searched without being particularly conscious of the dissected area ⁇ Muhammad Owais, etc. , Effective Diagnosis and Treatment Subject-Based Medical Image Retrieval (CBMIR) by Using Artificial Intelligence, Junior. >, It becomes possible to search for a more accurate similar image 15SI.
  • CBMIR Effective Diagnosis and Treatment Subject-Based Medical Image Retrieval
  • the search processing unit 43 has a degree of similarity between the target image 15TI and the candidate image CI from the feature amount set group 45TI of the target image 15TI and the feature amount set group 45CI of the candidate image 15CI.
  • the evaluation value 76 is calculated, and the similar image 15SI is selected from the candidate image 15CI based on the similarity evaluation value 76. Therefore, the similar image 15SI can be smoothly selected.
  • the feature quantity derivation model 57 is a diversion of the compression unit 91 of the AE90.
  • AE90 is one of the frequently used neural network models in the field of machine learning and is generally very well known. Therefore, it can be diverted to the feature amount derivation model 57 relatively easily.
  • the normalization unit 50 performs a normalization process for matching the target image 15TI with the standard head MRI image 55 prior to the extraction of the dissected area. Therefore, the subsequent processing can be performed after substantially eliminating the individual difference of the patient P and the device difference of the MRI device 10, and as a result, it is possible to contribute to a more accurate search for the similar image 15SI.
  • the hippocampus and frontotemporal lobe are anatomical areas with a particularly high correlation with dementia such as Alzheimer's disease. Therefore, as in this example, if the plurality of dissected areas include at least one of the hippocampus and the frontotemporal lobe, it is possible to search for a more accurate similar image 15SI.
  • the candidate image 15CI is not limited to all of the head MRI images 15 other than the target image 15TI.
  • the head MRI image 15 of the patient P having the same gender and age as the patient P of the target image 15TI, or the head MRI image 15 of the patient P having the same attributes as the patient P of the target image 15TI may be used as the candidate image 15CI.
  • the selection condition 75 may be the content of "candidate image whose similarity evaluation value is less than the threshold value".
  • the similar image selection unit 71 selects the candidate image 15CI whose similarity evaluation value 76 is less than the preset threshold value as the similar image 15SI.
  • the similar image selection unit 71 outputs that there is no similar image 15SI. In this case, a message indicating that there is no similar image 15SI is displayed on the second display screen 85.
  • the output mode of the similar image 15SI is not limited to distribution to the client terminal 12.
  • the similar image 15SI may be printed out on a paper medium, or the similar image 15SI may be transmitted to a doctor's mobile terminal as an attachment file of an e-mail.
  • the similarity evaluation value 106 is calculated using the following formula (2).
  • the equation (2) is different from the equation (1) of the first embodiment in that the weighting coefficient Wi is multiplied by the square of the absolute value of the difference between the feature amount ZTIi and the feature amount ZCIi. That is, according to the equation (2), by setting an appropriate weighting coefficient Wi, the similarity evaluation value 106 expressed as S can be set as a value that contributes to a more accurate search for the similar image 15SI. ..
  • the weighting coefficient Wi of this embodiment is set for each dissection area. For example, “0.5”, “0.6”, for the hippocampus, parahippocampal gyrus, frontotemporal lobe, frontotemporal lobe, hypothalamus, amygdala, etc., which are considered to be particularly relevant for dementia.
  • the weighting coefficient Wi is set to "1.0" in the occipital lobe, thalamus, pituitary gland, etc., which are anatomical areas that are considered to have a relatively low relationship with dementia. When the weighting coefficient Wi is "1.0", it means that the weighting is not performed.
  • the similarity evaluation value calculation unit 105 of the present embodiment applies the weighting coefficient Wi set as shown in Table 100 to the feature amount Z of the feature amount set 63 of each dissected area. .. Specifically, the square of the absolute value of the difference between the feature amount ZTI1-1 of the hippocampal feature amount set 63TI_1 of the target image 15TI and the feature amount ZCI1-1 of the hippocampal feature amount set 63CI_1 of the candidate image 15CI is set as the weighting coefficient Wi. Multiply by "0.5".
  • the square of the absolute value of the difference between the feature amount ZTI1_3 of the frontal lobe feature amount set 63TI_3 of the target image 15TI and the feature amount ZCI1_3 of the frontal lobe feature amount set 63CI_3 of the candidate image 15CI is set to "0.5" as the weighting coefficient Wi. "Multiply. Further, the square of the difference between the feature amount ZTI1_4 of the anterior temporal lobe feature amount set 63TI_4 of the target image 15TI and the feature amount ZCI1_4 of the anterior temporal lobe feature amount set 63CI_4 of the candidate image 15CI is used as a weighting coefficient Wi. Multiply by "0.6".
  • the similarity evaluation value calculation unit 105 of the second embodiment calculates the similarity evaluation value 106
  • the feature amount set group 45TI of the target image 15TI and the feature amount set group 45CI of the candidate image 15CI are compared with each other. Then, weighting is performed according to the dissected area. Therefore, the similarity evaluation value 106 can be set to a value more suitable for the diagnosis of dementia, and as a result, the accuracy of the similar image 15SI can be further improved.
  • the weighting coefficient Wi shown in FIG. 22 is just an example. For example, a value larger than 1.0 may be set as the weighting coefficient Wi, or a negative value may be set as the weighting coefficient Wi.
  • the weighting coefficient Wi may be set by, for example, one of the following first method, second method, and third method.
  • first method first, several patterns having different weighting coefficients Wi set for each dissected area are prepared. A similarity evaluation value 106 is calculated for each pattern, and a similar image 15SI is selected for each pattern. Next, the similar image 15SI selected for each pattern is displayed on the display 17 of the client terminal 12 in a selectable manner, and the doctor selects the most accurate similar image 15SI. Then, the pattern when the similar image 15SI selected by the doctor is selected is set as the weighting coefficient Wi to be used in the future.
  • the second method first ranks the similarity of the other head MRI images 15 for any one of the head MRI images 15 stored in the PACS server 11. Ask a doctor. Then, as in the first method, several patterns having different weighting coefficients Wi set in each dissected area are prepared, and the similarity evaluation value 106 is calculated for each pattern. Then, the pattern when the similarity evaluation value that matches or is most similar to the ranking given by the doctor is calculated is set as the weighting coefficient Wi to be used in the future.
  • the third method is to have a doctor rank the similarity and calculate the similarity evaluation value 106 for several patterns with different weighting coefficients Wi set in each dissected area. Same as the method.
  • the third method is to obtain a pattern of the weighting coefficient Wi that best matches the ranking of the degree of similarity given by the doctor by using a statistical method for obtaining the optimum solution such as the least squares method.
  • the compression unit 111 of the convolutional neural network for class determination of a single task (hereinafter, abbreviated as a single task CNN (Convolutional Neural Network)) 110. Is used as the feature quantity derivation model 115.
  • the single task CNN 110 has a compression unit 111 and an output unit 112.
  • An anatomical area image 61 is input to the compression unit 111. Similar to the compression unit 91, the compression unit 111 converts the dissected area image 61 into the feature amount set 113.
  • the compression unit 111 passes the feature amount set 113 to the output unit 112.
  • the output unit 112 outputs one class 114 based on the feature amount set 113. In FIG. 24, the output unit 112 outputs the determination result that dementia has developed or has not developed dementia as class 114.
  • the compression unit 111 of this single task CNN 110 is used as the feature amount derivation model 115.
  • the single task CNN 110 is trained by being given the training data 118 in the learning phase before the compression unit 111 is diverted to the feature quantity derivation model 115.
  • the learning data 118 is a set of the learning anatomical area image 61L and the correct answer class 114CA corresponding to the learning anatomical area image 61L.
  • the correct answer class 114CA is the result of the doctor actually determining whether or not dementia has developed with respect to the head MRI image 15 obtained from the learning anatomical area image 61L.
  • the learning dissection area image 61L is input to the single task CNN110.
  • the single task CNN110 outputs a learning class 114L for a learning anatomical area image 61L. Based on the learning class 114L and the correct answer class 114CA, the loss calculation of the single task CNN110 is performed. Then, various coefficients of the single task CNN 110 are updated according to the result of the loss calculation, and the single task CNN 110 is updated according to the update settings.
  • the compression unit 111 of the single task CNN 110 whose prediction accuracy has reached the set level is stored in the storage 25 as the learned feature amount derivation model 115 and used by the feature amount derivation unit 52.
  • the compression unit 111 of the single task CNN 110 is used as the feature amount derivation model 115.
  • Single-tasking CNN110 is also one of the frequently used neural network models in the field of machine learning and is generally very well known. Therefore, it can be diverted to the feature amount derivation model 115 relatively easily.
  • the class 114 may be, for example, the content that the age of the patient P is less than 75 years old or is 75 years old or more, or in the age of the patient P such as 60s and 70s. There may be.
  • the multitasking CNN 120 has a compression unit 121 and an output unit 122.
  • An anatomical area image 61 is input to the compression unit 121.
  • the compression unit 121 converts the dissected area image 61 into the feature amount set 123, similarly to the compression unit 91 and the compression unit 111.
  • the compression unit 121 passes the feature amount set 123 to the output unit 122.
  • the output unit 122 outputs two classes, the first class 124 and the second class 125, based on the feature amount set 123.
  • the output unit 122 outputs the determination result that dementia has developed or has not developed dementia as the first class 124.
  • the output unit 122 outputs the age of the patient P as the second class 125.
  • the compression unit 121 of the multitasking CNN 120 is used as the feature amount derivation model 126.
  • the multitasking CNN 120 is given learning data 128 and learned in the learning phase before the compression unit 121 is diverted to the feature quantity derivation model 126.
  • the learning data 128 is a set of the learning anatomical area image 61L and the correct answer first class 124CA and the correct answer second class 125CA corresponding to the learning anatomical area image 61L.
  • the correct answer first class 124CA is the result of the doctor actually determining whether or not dementia has developed with respect to the head MRI image 15 obtained the learning anatomical area image 61L.
  • the correct answer second class 125CA is the actual age of the patient P to be photographed on the head MRI image 15 obtained the learning anatomical area image 61L.
  • the learning anatomical area image 61L is input to the multitasking CNN120.
  • the multitasking CNN 120 outputs the learning first class 124L and the learning second class 125L to the learning anatomical area image 61L.
  • the loss calculation of the multitasking CNN 120 is performed based on the learning first class 124L and the learning second class 125L, and the correct answer first class 124CA and the correct answer second class 125CA.
  • various coefficients of the multitasking CNN 120 are updated according to the result of the loss calculation, and the multitasking CNN 120 is updated according to the update setting.
  • the input of the learning dissection area image 61L to the multitasking CNN120, the output of the learning first class 124L and the learning second class 125L from the multitasking CNN120, the loss calculation, the update setting, And the above-mentioned series of processes for updating the multitasking CNN 120 are repeated while the learning data 128 is exchanged.
  • the repetition of the above series of processes ends when the prediction accuracy of the learning first class 124L and the learning second class 125L for the correct answer first class 124CA and the correct answer second class 125CA reaches a predetermined setting level. Will be done.
  • the compression unit 121 of the multitasking CNN 120 whose prediction accuracy has reached the set level is stored in the storage 25 as the learned feature amount derivation model 126 and used by the feature amount derivation unit 52.
  • the compression unit 121 of the multitasking CNN 120 is used as the feature amount derivation model 126.
  • the multitasking CNN120 performs a more complicated process of outputting a plurality of classes (first class 124 and second class 125) as compared with the AE90 and the singletasking CNN110. Therefore, the feature amount set 123 output from the compression unit 121 is likely to more comprehensively represent the features of the dissected area image 61. Therefore, as a result, the accuracy of the similar image 15SI can be further improved.
  • the first class 124 may be, for example, the degree of progression of dementia at five levels. Further, as the second class 125, the determination result of the age of the patient P may be used.
  • the multitasking CNN120 may output three or more classes.
  • the dissected area image 61 of one dissected area is input to a plurality of different feature quantity derivation models.
  • the feature amount derivation unit 130 of the present embodiment inputs the dissection area image 61 of one dissection area into the first feature amount derivation model 131, inputs it into the second feature amount derivation model 132, and inputs the third feature amount derivation model 132. It is input to the feature amount derivation model 133.
  • the feature quantity derivation unit 130 outputs the first feature quantity set 134 from the first feature quantity derivation model 131, outputs the second feature quantity set 135 from the second feature quantity derivation model 132, and derives the third feature quantity.
  • the third feature amount set 136 is output from the model 133.
  • the first feature quantity derivation model 131 is a diversion of the compression unit 91 of the AE90 of the first embodiment.
  • the second feature quantity derivation model 132 is a diversion of the compression unit 111 of the single task CNN 110 of the third embodiment.
  • the third feature quantity derivation model 133 is a diversion of the compression unit 121 of the multitasking CNN 120 of the fourth embodiment.
  • the feature amount derivation unit 130 draws the dissection area image 61 of one dissection area into the first feature amount derivation model 131, the second feature amount derivation model 132, and the third feature amount derivation. Input to model 133. Then, the first feature amount set 134, the second feature amount set 135, and the third feature amount set 136 are output from each model 131 to 133. Therefore, a wide variety of feature quantities Z can be obtained as compared with the case of using one type of feature quantity derivation model 57. As a result, the accuracy of the similar image 15SI can be further improved.
  • the plurality of different feature quantity derivation models may be, for example, a combination of the first feature quantity derivation model 131 diverted from the compression unit 91 of the AE90 and the second feature quantity derivation model 132 diverted from the compression unit 111 of the single task CNN 110. ..
  • a combination of the second feature amount derivation model 132 diverted from the compression unit 111 of the single task CNN 110 and the third feature amount derivation model 133 diverted from the compression unit 121 of the multitask CNN 120 may be used.
  • the weighting coefficient Wi is set for each type of the feature amount derivation model. Specifically, for the feature amount Z of the first feature amount set 134 derived by the first feature amount derivation model 131 diverted from the compression unit 91 of the AE90 of the first embodiment, the weighting coefficient Wi is set to "1". .0 ”is applied. For the feature amount Z of the second feature amount set 135 derived by the second feature amount derivation model 132 diverted from the compression unit 111 of the single task CNN 110 of the third embodiment, the weighting coefficient Wi is "0.75". To apply. For the feature amount Z of the third feature amount set 136 derived by the third feature amount derivation model 133 diverted from the compression unit 121 of the multitasking CNN 120 of the fourth embodiment, the weighting coefficient Wi is "0.5". To apply.
  • the similarity evaluation value 106 when the similarity evaluation value 106 is calculated, a plurality of different feature quantities are derived for the feature quantity set group 45TI of the target image 15TI and the feature quantity set group 45CI of the candidate image 15CI. Weighting is performed according to the models 131 to 133. Therefore, the similarity evaluation value 106 can be set to a value more suitable for the diagnosis of dementia, and as a result, the accuracy of the similar image 15SI can be further improved.
  • the weighting coefficient Wi shown in FIG. 29 is just an example.
  • a value larger than 1.0 may be set as the weighting coefficient Wi, or a negative value may be set as the weighting coefficient Wi.
  • the weighting coefficient Wi may be set by the first to third methods as in the second embodiment.
  • Equation (3) is an equation for calculating the sum of the absolute values of the differences between the feature amount ZTIi and the feature amount ZCIi, that is, the Manhattan distance as the similarity evaluation value.
  • Equation (4) is the content obtained by multiplying the absolute value of the difference between the feature amount ZTIi and the feature amount ZCIi by the weighting coefficient Wi.
  • the distance between the multidimensional vector having the feature amount ZTIi as an element and the multidimensional vector having the feature amount ZCIi as an element is calculated as a similarity evaluation value, but the present invention is not limited to this.
  • the correlation coefficient between the feature amount ZTIi and the feature amount ZCIi may be calculated as a similarity evaluation value. In this case, contrary to each of the above embodiments, the higher the similarity between the target image 15TI and the candidate image 15CI (there is a correlation between the feature amount ZTIi and the feature amount ZCIi), the larger the similarity evaluation value.
  • the AE250 has a compression unit 253 and a restoration unit 254, as in the AE90 of the first embodiment.
  • An anatomical area image 61 is input to the compression unit 253.
  • the compression unit 253 converts the dissected area image 61 into a feature set 255.
  • the compression unit 253 passes the feature amount set 255 to the restoration unit 254.
  • the restoration unit 254 generates the restoration image 256 of the dissection area image 61 from the feature amount set 255.
  • the single task CNN 251 has a compression unit 253 and an output unit 257, similar to the single task CNN 110 of the third embodiment. That is, the compression unit 253 is shared by the AE250 and the single task CNN251.
  • the compression unit 253 passes the feature amount set 255 to the output unit 257.
  • the output unit 257 outputs one class 258 based on the feature amount set 255. In FIG. 30, the output unit 257 outputs the determination result that the patient P with mild cognitive impairment remains mild cognitive impairment after 2 years or progresses to Alzheimer's disease after 2 years as class 258.
  • the output unit 257 outputs an aggregated feature amount ZA that aggregates a plurality of feature amounts Z constituting the feature amount set 255.
  • the aggregate feature amount ZA is output for each dissected area.
  • the aggregated feature amount ZA is input to the search processing unit 278 (see FIG. 34) instead of the feature amount set 255.
  • the output unit 257 has a self-attention (hereinafter abbreviated as SA (Self-Attention)) mechanism layer 265, an overall average pooling (hereinafter abbreviated as GAP (Global Function Polling)) layer 266, and Fully connected (hereinafter abbreviated as FC (Full Connected)) layer 267, softmax function (hereinafter abbreviated as SMF (SoftMax Function) layer 268, and principal component analysis (hereinafter abbreviated as PCA (Principal Component Analysis)) layer 269.
  • SA Self-attention
  • GAP Global Function Polling
  • FC Fully connected
  • SMF SoftMax Function
  • PCA Principal component analysis
  • the SA mechanism layer 265 performs the convolution process shown in FIG. 15 on the feature amount set 255 while changing the coefficient of the filter 203 according to the element value of the attention element 201I.
  • the convolution process performed in the SA mechanism layer 265 is referred to as an SA convolution process.
  • the SA mechanism layer 265 outputs the feature amount set 255 after the SA convolution process to the GAP layer 266.
  • the GAP layer 266 undergoes an overall average pooling treatment on the feature amount set 255 after the SA convolution treatment.
  • the overall average pooling process is a process for obtaining the average value of the feature amount Z for each channel (see FIG. 16) of the feature amount set 255. For example, when the number of channels of the feature amount set 255 is 512, the average value of 512 feature amounts Z is obtained by the overall average pooling process.
  • the GAP layer 266 outputs the average value of the obtained feature amount Z to the FC layer 267 and the PCA layer 269.
  • the FC layer 267 converts the average value of the feature amount Z into a variable handled by the SMF of the SMF layer 268.
  • the FC layer 267 has an input layer having units for the number of average values of the feature amount Z (that is, the number of channels of the feature amount set 255) and an output layer having units for the number of variables handled by the SMF. Each unit of the input layer and each unit of the output layer are fully connected to each other, and weights are set for each.
  • An average value of the feature amount Z is input to each unit of the input layer.
  • the sum of products of the average value of the feature amount Z and the weight set between each unit is the output value of each unit of the output layer. This output value is a variable handled by SMF.
  • the FC layer 267 outputs the variables handled by the SMF to the SMF layer 268.
  • the SMF layer 268 outputs the class 258 by applying the variable to the SMF.
  • the PCA layer 269 performs PCA on the average value of the feature amount Z, and sets the average value of the plurality of feature amount Z as the aggregated feature amount ZA in a smaller number. For example, the PCA layer 269 aggregates the average value of 512 feature quantities Z into one aggregated feature quantity ZA.
  • the AE250 is learned by inputting the learning anatomical area image 61L in the learning phase.
  • the AE250 outputs a learning restored image 256L with respect to the learning dissection area image 61L.
  • the loss calculation of the AE250 using the loss function is performed.
  • various coefficients of the AE250 are updated according to the result of the loss calculation (hereinafter referred to as the loss L1), and the AE250 is updated according to the update setting.
  • the above series of processes of inputting the learning anatomical area image 61L to the AE250, outputting the learning restored image 256L from the AE250, loss calculation, update setting, and updating the AE250 is the learning anatomy.
  • the area image 61L is repeatedly exchanged and repeated.
  • the single task CNN251 is trained by being given learning data 275 in the learning phase.
  • the learning data 275 is a set of a learning anatomical area image 61L and a correct answer class 258CA corresponding to the learning anatomical area image 61L.
  • the correct answer class 258CA is the patient P to be photographed on the head MRI image 15 obtained from the dissection area image 61L for learning actually remaining mild cognitive impairment even after 2 years? , Or whether it progressed to Alzheimer's disease two years later.
  • the learning dissection area image 61L is input to the single task CNN251.
  • the single task CNN251 outputs a learning class 258L for a learning dissection area image 61L.
  • the loss calculation of the single task CNN251 using the cross entropy function or the like is performed.
  • various coefficients of the single task CNN 251 are updated according to the result of the loss calculation (hereinafter referred to as the loss L2), and the single task CNN 251 is updated according to the update setting.
  • the update setting of the AE250 and the update setting of the single task CNN251 are performed based on the total loss L represented by the following formula (B).
  • ⁇ is a weight.
  • L L1 ⁇ ⁇ + L2 ⁇ (1- ⁇ ) ⁇ ⁇ ⁇ (B) That is, the total loss L is a weighted sum of the loss L1 of the AE250 and the loss L2 of the single task CNN251.
  • 1 is set for the weight ⁇ in the initial stage of the learning phase.
  • the weight ⁇ is gradually reduced from 1 as learning progresses, and eventually becomes a fixed value (0.8 in FIG. 33).
  • the learning of the AE250 and the learning of the single task CNN251 are performed together with the intensity corresponding to the weight ⁇ .
  • the weight given to the loss L1 is larger than the weight given to the loss L2.
  • the weight given to the loss L1 is gradually decreased from the maximum value of 1, and the weight given to the loss L2 is gradually increased from the minimum value of 0, and both are set to fixed values.
  • the restoration accuracy from the learning dissection area image 61L to the learning restoration image 256L by the AE250 reaches a predetermined setting level, and the learning is performed for the correct answer class 258CA by the single task CNN251. It ends when the prediction accuracy of class 258L reaches a predetermined set level.
  • the AE250 and the single-tasking CNN251 whose restoration accuracy and prediction accuracy have reached the set level in this way are stored in the storage 20 and used as the learned feature amount derivation model 252.
  • the target image 15TI is used instead of the feature amount set group 45TI of the target image 15TI and the feature amount set group 45CI of the candidate image 15CI.
  • the aggregated feature group ZAGTI and the aggregated feature group ZAGCI of the candidate image 15CI are input.
  • the aggregated feature amount group ZAGTI of the target image 15TI is a set of a plurality of aggregated feature amounts ZA derived from the plurality of dissected area images 61 of the target image 15TI.
  • the aggregate feature group ZAGCI of the candidate image 15CI is a set of a plurality of aggregate feature ZAs derived from the plurality of dissected area images 61 of the candidate image 15CI.
  • the search processing unit 278 calculates the similarity evaluation value 76 from the aggregate feature group ZAGTI and ZAGCI instead of the feature set groups 45TI and 45CI, and the similar image based on the selection condition 75 and the calculated similarity evaluation value 76. Select 15SI.
  • the dementia finding derivation unit 280 is constructed in the CPU 27 of the PACS server 11.
  • the dementia finding derivation unit 280 inputs the aggregated feature group ZAGTI of the target image 15TI and the dementia-related information 281 into the dementia finding derivation model 282.
  • the dementia-related information 281 includes, for example, the volume of the dissected area such as the sex, age, and volume of the hippocampus of the patient P who diagnoses dementia, and the score of the Hasegawa dementia scale (HDS-R; Revised Hasegawa's Dementia Scale). It includes the score of the dementia test such as, the test result of the genetic test such as the genotype of the ApoE gene, the test result of the spinal fluid test such as the measured value of amyloid ⁇ , and the test result of the blood test such as the measured value of apolipoprotein.
  • the test result of the genetic test such as the genotype of the ApoE gene
  • the test result of the spinal fluid test such as the measured value of amyloid ⁇
  • the test result of the blood test such as the measured value of apolipoprotein.
  • the dementia finding derivation model 282 has a quantile normalization unit 283 and a linear discriminant analysis unit 284.
  • the aggregate feature group ZAGTI and dementia-related information 281 are input to the quantile normalization unit 283.
  • the quantile normalization unit 283 converts the plurality of aggregated feature quantities ZA constituting the aggregated feature quantity group ZAGTI and the parameters of the dementia-related information 281 into data according to a normal distribution in order to handle them in the same row.
  • Quantile Normalization is performed.
  • the linear discriminant analysis unit 284 performs linear discriminant analysis (Linear Discriminant Analysis) for each parameter of the aggregated feature amount ZA and the dementia-related information 281 after the division normalization process, and as a result, the dementia finding information 285 is obtained.
  • Dementia finding information 285 is either that the patient P with mild cognitive impairment currently remains mild cognitive impairment after 2 years or progresses to Alzheimer's disease after 2 years.
  • the single task CNN251 that performs the main task such as the output of class 258 and the single task CNN251 are partially common, and the AE250 that performs a subtask that is more general than the main task such as the generation of the restored image 256.
  • the AE250 and the single task CNN251 are learned at the same time. Therefore, it is possible to output a more appropriate feature amount set 255 and aggregate feature amount ZA as compared with the case where the AE250 and the single task CNN251 are separate, and as a result, it is possible to search for a more accurate similar image 15SI. It will be possible.
  • the update setting is performed based on the total loss L, which is the weighted sum of the loss L1 of the AE250 and the loss L2 of the single task CNN251. Therefore, by setting the weight ⁇ to an appropriate value, the AE250 can be intensively learned, the single-tasking CNN251 can be intensively learned, and the AE250 and the single-tasking CNN251 can be learned in a well-balanced manner.
  • the weight given to the loss L1 is larger than the weight given to the loss L2. Therefore, the AE250 can always be focused on learning. If the AE250 is always focused on learning, the feature amount set 255 that more expresses the features of the shape and texture of the dissected area can be output from the compression unit 253, and as a result, the more plausible aggregate feature amount ZA can be output from the output unit. It can be output from 257.
  • the weight given to the loss L1 is gradually decreased from the maximum value, and the weight given to the loss L2 is gradually increased from the minimum value, and when learning is performed a predetermined number of times, both are set as fixed values. Therefore, the AE250 can be learned more intensively in the initial stage of learning.
  • the AE250 is responsible for the relatively simple subtask of generating the restored image 256. Therefore, if the AE250 is trained more intensively in the initial stage of learning, the feature amount set 255 that more expresses the characteristics of the shape and texture of the dissected area can be output from the compression unit 253 in the initial stage of learning. ..
  • Table 300 shown in FIG. 36 shows No. 1 according to the method for predicting the progression of dementia described in the following documents A, B, C, D, E, F, and G. Nos. 1 to 7 and the method for predicting the progression of dementia illustrated in FIG. 35. The performance comparison with 8 and 9 is shown.
  • No. Reference numeral 8 shows a case where only the aggregate feature group ZAGTI is input to the dementia finding derivation model 282 and the dementia-related information 281 is not input.
  • No. Reference numeral 9 shows a case where the aggregated feature group ZAGTI and the dementia-related information 281 are input to the dementia finding derivation model 282.
  • the accuracy of 8 and 9 is 0.84 and 0.90. Especially No. The correct answer rate of 9 is 0.90, which is No. Higher than any of 1 to 7 correct answers.
  • the AUCs (Area Under the Curve) of 8 and 9 are 0.93 and 0.97. These values are No. 1 according to the method for predicting the progression of dementia described in Document E. Greater than 5. Therefore, the method for predicting the progression of dementia exemplified in FIG. 35 can predict the progression of dementia with higher accuracy than the conventional methods for predicting the progression of dementia described in Documents A to G. It can be said that.
  • No. Sensitivity of 8 and 9 is 0.85 and 0.91. These values are No. Higher than any of 1-7. Especially No. The sensitivity of 9 of 0.91 is the highest value among them. Therefore, in the method for predicting the progression of dementia exemplified in FIG. 35, as compared with the conventional methods for predicting the progression of dementia described in Documents A to G, the patient P with mild cognitive impairment currently progresses to Alzheimer's disease after the prediction period. It can be said that this can be predicted without overlooking.
  • the aggregated feature quantity groups ZAGTI and ZAGCI accurately represent the features of the target image 15TI and the candidate image 15CI. Therefore, it is possible to obtain the effect that a more accurate similar image 15SI can be searched.
  • ADNI Alzheimer's Disease Neuroimaging Initiative
  • AIBL is an abbreviation for "Australian Imaging Biomarkers and Lifestyle Study of Aging”.
  • J-ADNI is an abbreviation for "Japanese Alzheimer's Disease Neuroimaging Intivive”. Both show a database in which head MRI images 15 and the like of patient P with Alzheimer's disease are accumulated.
  • the multitasking CNN120 of the fourth embodiment may be used. Further, the findings of dementia of patient P may be derived based on the feature amount set group 45TI of the target image 15TI instead of the aggregated feature amount group ZAGTI of the target image 15TI.
  • the learning of the AE90 shown in FIG. 18, the learning of the single-tasking CNN110 shown in FIG. 25, the learning of the multitasking CNN120 shown in FIG. 27, the learning of the AE250 and the single-tasking CNN251 shown in FIG. It may be performed in, or it may be performed by a device other than the PACS server 11. Further, these learnings may be continuously performed after storing the feature quantity derivation model in the storage 25 of the PACS server 11.
  • a device other than the PACS server 11 may function as a diagnostic support device. Further, the client terminal 12 may function as a diagnostic support device.
  • the medical image is not limited to the illustrated head MRI image 15.
  • PET Positron Emission Tomography
  • SPECT Single Photon Emission Tomography
  • CT Computed Tomography
  • the organ is not limited to the illustrated brain, but may be the heart, lungs, liver, etc.
  • the right lungs S1, S2, left lungs S1, S2 and the like are extracted as dissected areas.
  • the liver the right lobe, left lobe, gallbladder, etc. are extracted as dissected areas.
  • the disease is not limited to the exemplified dementia, and may be heart disease, pneumonia, liver dysfunction, or the like.
  • the RW control unit 40 the preprocessing unit 41, the request reception unit 42, the search processing units 43 and 278, the distribution control unit 44, the normalization unit 50, the extraction unit 51, the feature quantity derivation unit 52, and the like.
  • the hardware structure of the processing unit (Processing Unit) that executes various processes such as 130, similarity evaluation value calculation units 70 and 105, similar image selection unit 71, and dementia finding derivation unit 280 is shown below.
  • Various processors can be used.
  • the CPU 27 is a general-purpose processor that executes software (operation program 35) and functions as various processing units, after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • Dedicated processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose circuit configuration can be changed. Includes electrical circuits and the like.
  • One processing unit may be composed of one of these various processors, or may be a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs and / or a CPU). It may be configured in combination with FPGA). Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server.
  • the processor functions as a plurality of processing units.
  • SoC System On Chip
  • SoC system On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
  • the technique of the present disclosure can be appropriately combined with the various embodiments described above and / or various modifications. Further, it is of course not limited to each of the above embodiments, and various configurations can be adopted as long as they do not deviate from the gist. Further, the technique of the present disclosure extends to a storage medium for storing the program non-temporarily in addition to the program.
  • a and / or B is synonymous with "at least one of A and B". That is, “A and / or B” means that it may be A alone, B alone, or a combination of A and B. Further, in the present specification, when three or more matters are connected and expressed by "and / or", the same concept as “A and / or B" is applied.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

プロセッサと、プロセッサに接続または内蔵されたメモリと、を備え、プロセッサは、疾病の診断対象の医用画像である対象画像を取得し、対象画像から臓器の複数の解剖区域を抽出し、複数の解剖区域の画像を、複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、特徴量導出モデルから複数の解剖区域毎の複数の特徴量を出力させ、複数の特徴量を用いて、対象画像の類似画像を検索し、類似画像を出力する、診断支援装置。

Description

診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法
　本開示の技術は、診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法に関する。
　疾病、例えばアルツハイマー病に代表される認知症の診断において、医師は、頭部ＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）画像等の医用画像を参照する。医師は、例えば、海馬、海馬傍回、扁桃体等の萎縮の程度、白質の血管障害の程度、前頭葉、側頭葉、後頭葉の血流代謝低下の有無等を観察し、認知症の所見を得る。また、医師は、診断対象の頭部ＭＲＩ画像に類似する類似画像を検索して、検索した類似画像も考慮に入れて認知症の所見を導き出す。
　類似画像の検索においては、類似画像の検索を行う対象画像と、類似画像の候補画像との間の類似度評価値を算出する処理が行われる。類似度評価値は、例えば、対象画像の複数の特徴量を要素とする多次元ベクトルと、候補画像の複数の特徴量を要素とする多次元ベクトルとの距離である。この場合、対象画像と候補画像の類似度が高ければ、両多次元ベクトルの距離が短くなるので、類似度評価値は小さくなる。
　従来、特徴量には、画素値の平均値、最大値、最小値、あるいは画像に写る物体の円形度といったものが用いられていた。しかし、こうした統計的に得られた特徴量だけでは、納得感のある類似画像を検索することができない場合があった。そこで、＜Ｍｕｈａｍｍａｄ　Ｏｗａｉｓ，　ｅｔｃ．，　Ｅｆｆｅｃｔｉｖｅ　Ｄｉａｇｎｏｓｉｓ　ａｎｄ　Ｔｒｅａｔｍｅｎｔ　ｔｈｒｏｕｇｈ　Ｃｏｎｔｅｎｔ－Ｂａｓｅｄ　Ｍｅｄｉｃａｌ　Ｉｍａｇｅ　Ｒｅｔｒｉｅｖａｌ　（ＣＢＭＩＲ）　ｂｙ　Ｕｓｉｎｇ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｌｉｎｉｃａｌ　Ｍｅｄｉｃｉｎｅ，　２０１９．＞に記載されているように、対象画像を機械学習モデルに入力して、これにより機械学習モデルから出力された特徴量を用いて類似度評価値を算出することが行われている。
　前述のように、脳等の臓器は、海馬、扁桃体等の多くの解剖区域の集合である。そして、疾病の所見を得るためには、解剖区域を様々な視点で隈なく精査する必要がある。しかしながら＜Ｍｕｈａｍｍａｄ　Ｏｗａｉｓ，　ｅｔｃ．，　Ｅｆｆｅｃｔｉｖｅ　Ｄｉａｇｎｏｓｉｓ　ａｎｄ　Ｔｒｅａｔｍｅｎｔ　ｔｈｒｏｕｇｈ　Ｃｏｎｔｅｎｔ－Ｂａｓｅｄ　Ｍｅｄｉｃａｌ　Ｉｍａｇｅ　Ｒｅｔｒｉｅｖａｌ　（ＣＢＭＩＲ）　ｂｙ　Ｕｓｉｎｇ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｌｉｎｉｃａｌ　Ｍｅｄｉｃｉｎｅ，　２０１９．＞では、特に解剖区域を意識することなく類似度評価値を算出している。このため、＜Ｍｕｈａｍｍａｄ　Ｏｗａｉｓ，　ｅｔｃ．，　Ｅｆｆｅｃｔｉｖｅ　Ｄｉａｇｎｏｓｉｓ　ａｎｄ　Ｔｒｅａｔｍｅｎｔ　ｔｈｒｏｕｇｈ　Ｃｏｎｔｅｎｔ－Ｂａｓｅｄ　Ｍｅｄｉｃａｌ　Ｉｍａｇｅ　Ｒｅｔｒｉｅｖａｌ　（ＣＢＭＩＲ）　ｂｙ　Ｕｓｉｎｇ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｌｉｎｉｃａｌ　Ｍｅｄｉｃｉｎｅ，　２０１９．＞では、類似画像の的確性に限界があった。
　本開示の技術に係る１つの実施形態は、より的確な類似画像を検索することが可能な診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法を提供する。
　本開示の診断支援装置は、プロセッサと、プロセッサに接続または内蔵されたメモリと、を備え、プロセッサは、疾病の診断対象の医用画像である対象画像を取得し、対象画像から臓器の複数の解剖区域を抽出し、複数の解剖区域の画像を、複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、特徴量導出モデルから複数の解剖区域毎の複数の特徴量を出力させ、複数の特徴量を用いて、対象画像の類似画像を検索し、類似画像を出力する。
　プロセッサは、類似画像の候補画像からも複数の解剖区域を抽出し、候補画像の複数の解剖区域の画像を、複数の特徴量導出モデルに入力し、特徴量導出モデルから複数の解剖区域毎の複数の特徴量を出力させ、対象画像の複数の特徴量と候補画像の複数の特徴量とから、対象画像と候補画像との間の類似度評価値を算出し、類似度評価値に基づいて候補画像から類似画像を選定することが好ましい。
　プロセッサは、類似度評価値を算出する場合に、対象画像の複数の特徴量と候補画像の複数の特徴量に対して、解剖区域に応じた重み付けを行うことが好ましい。
　特徴量導出モデルは、オートエンコーダ、シングルタスクのクラス判別用畳み込みニューラルネットワーク、およびマルチタスクのクラス判別用畳み込みニューラルネットワークのうちの少なくともいずれか１つを含むことが好ましい。
　プロセッサは、１つの解剖区域の画像を、異なる複数の特徴量導出モデルに入力し、複数の特徴量導出モデルの各々から特徴量を出力させることが好ましい。
　プロセッサは、類似度評価値を算出する場合に、対象画像の複数の特徴量と候補画像の複数の特徴量に対して、異なる複数の特徴量導出モデルに応じた重み付けを行うことが好ましい。
　プロセッサは、解剖区域の抽出に先立ち、取得した対象画像を標準医用画像に合わせる正規化処理を行うことが好ましい。
　臓器は脳であり、疾病は認知症であることが好ましい。この場合、複数の解剖区域は、海馬および前側頭葉のうちの少なくともいずれか１つを含むことが好ましい。
　本開示の診断支援装置の作動方法は、疾病の診断対象の医用画像である対象画像を取得すること、対象画像から臓器の複数の解剖区域を抽出すること、複数の解剖区域の画像を、複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、特徴量導出モデルから複数の解剖区域毎の複数の特徴量を出力させること、複数の特徴量を用いて、対象画像の類似画像を検索すること、および、類似画像を出力すること、を含む。
　本開示の診断支援装置の作動プログラムは、疾病の診断対象の医用画像である対象画像を取得すること、対象画像から臓器の複数の解剖区域を抽出すること、複数の解剖区域の画像を、複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、特徴量導出モデルから複数の解剖区域毎の複数の特徴量を出力させること、複数の特徴量を用いて、対象画像の類似画像を検索すること、および、類似画像を出力すること、を含む処理をコンピュータに実行させる。
　本開示の認知症診断支援方法は、プロセッサと、プロセッサに接続または内蔵されたメモリと、を備えるコンピュータが、認知症の診断対象の脳が写った医用画像である対象画像を取得すること、対象画像から脳の複数の解剖区域を抽出すること、複数の解剖区域の画像を、複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、特徴量導出モデルから複数の解剖区域毎の複数の特徴量を出力させること、複数の特徴量を用いて、対象画像の類似画像を検索すること、および、類似画像を出力すること、を行う。
　本開示の技術によれば、より的確な類似画像を検索することが可能な診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法を提供することができる。
医療システムを示す図である。 クライアント端末とＰＡＣＳサーバとの間で遣り取りされる情報を示す図である。 クライアント端末とＰＡＣＳサーバとの間で遣り取りされる情報を示す図である。 ＰＡＣＳサーバを構成するコンピュータを示すブロック図である。 ＰＡＣＳサーバのＣＰＵの処理部を示すブロック図である。 前処理部の詳細を示すブロック図である。 正規化部の処理を示す図である。 抽出部の処理を示す図である。 特徴量導出部の処理を示す図である。 検索処理部の詳細を示すブロック図である。 類似度評価値算出部の処理を示す図である。 第１表示画面を示す図である。 第２表示画面を示す図である。 オートエンコーダの構成および特徴量導出モデルの成り立ちを示す図である。 畳み込み処理の説明図である。 演算データの構成を示す図である。 プーリング処理の説明図である。 オートエンコーダの学習フェーズにおける処理の概要を示す図である。 ＰＡＣＳサーバの処理手順を示すフローチャートである。 ＰＡＣＳサーバの処理手順を示すフローチャートである。 ＰＡＣＳサーバの処理手順を示すフローチャートである。 解剖区域毎に設定される重み付け係数の一例を示す図である。 第２実施形態における類似度評価値算出部の処理を示す図である。 シングルタスクのクラス判別用畳み込みニューラルネットワークの構成および特徴量導出モデルの成り立ちを示す図である。 シングルタスクのクラス判別用畳み込みニューラルネットワークの学習フェーズにおける処理の概要を示す図である。 マルチタスクのクラス判別用畳み込みニューラルネットワークの構成および特徴量導出モデルの成り立ちを示す図である。 マルチタスクのクラス判別用畳み込みニューラルネットワークの学習フェーズにおける処理の概要を示す図である。 第５実施形態の特徴量導出部の処理を示す図である。 特徴量導出モデルの種類毎に設定される重み付け係数の一例を示す図である。 オートエンコーダとシングルタスクのクラス判別用畳み込みニューラルネットワークの構成、および特徴量導出モデルの成り立ちを示す図である。 出力部の詳細構成を示す図である。 オートエンコーダおよびシングルタスクのクラス判別用畳み込みニューラルネットワークの学習フェーズにおける処理の概要を示す図である。 オートエンコーダの損失に与えられる重みの変遷を示すグラフである。 第７実施形態の検索処理部の処理の概略図である。 対象画像の集約特徴量群に基づいて、対象画像の患者の認知症の所見を導出する態様を示す図である。 従来の文献に記載の認知症の進行予測方法と図３５で例示した認知症の進行予測方法との性能比較を示す表である。
　［第１実施形態］
　一例として図１に示すように、医療システム２は、ＭＲＩ装置１０、ＰＡＣＳ（Ｐｉｃｔｕｒｅ　Ａｒｃｈｉｖｉｎｇ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍ）サーバ１１、およびクライアント端末１２を備える。これらＭＲＩ装置１０、ＰＡＣＳサーバ１１、およびクライアント端末１２は、医療施設内に敷設されたＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）１３に接続されており、ＬＡＮ１３を介して相互に通信することが可能である。なお、ＰＡＣＳサーバ１１は、本開示の技術に係る「診断支援装置」の一例である。
　ＭＲＩ装置１０は、患者Ｐの頭部を撮影して頭部ＭＲＩ画像１５を出力する。頭部ＭＲＩ画像１５は、患者Ｐの頭部の三次元形状を表すボクセルデータである。図１においては、サジタル断面の頭部ＭＲＩ画像１５Ｓを示している。ＭＲＩ装置１０は、頭部ＭＲＩ画像１５をＰＡＣＳサーバ１１に送信する。ＰＡＣＳサーバ１１は、ＭＲＩ装置１０からの頭部ＭＲＩ画像１５を記憶し、管理する。なお、頭部ＭＲＩ画像１５は、本開示の技術に係る「医用画像」の一例である。
　クライアント端末１２は、例えばデスクトップ型のパーソナルコンピュータであり、ディスプレイ１７と入力デバイス１８とを備える。入力デバイス１８は、キーボード、マウス、タッチパネル、マイクロフォン等である。なお、図１では、ＭＲＩ装置１０およびクライアント端末１２はそれぞれ１台しか描かれていないが、ＭＲＩ装置１０およびクライアント端末１２はそれぞれ複数台あってもよい。
　一例として図２に示すように、医師は、入力デバイス１８を操作して、ＰＡＣＳサーバ１１に対して診断対象の患者Ｐの頭部ＭＲＩ画像１５（以下、対象画像１５ＴＩと表記する）の配信要求２０を送信する。配信要求２０には、対象画像１５ＴＩの画像ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ　Ｄａｔａ）、患者Ｐの患者ＩＤ、対象画像１５ＴＩの撮影日時等が含まれている。ＰＡＣＳサーバ１１は、配信要求２０に応じて、対象画像１５ＴＩを検索してクライアント端末１２に配信する。クライアント端末１２は、ＰＡＣＳサーバ１１から配信された対象画像１５ＴＩを受信し、受信した対象画像１５ＴＩをディスプレイ１７に表示する。
　また、一例として図３に示すように、医師は、入力デバイス１８を操作して、ＰＡＣＳサーバ１１に対して対象画像１５ＴＩの類似画像１５ＳＩの検索要求２３を送信する。検索要求２３には、配信要求２０と同様に、対象画像１５ＴＩの画像ＩＤ等が含まれている。ＰＡＣＳサーバ１１は、類似画像１５ＳＩを検索してクライアント端末１２に配信する。クライアント端末１２は、ＰＡＣＳサーバ１１から配信された類似画像１５ＳＩを受信し、受信した類似画像１５ＳＩを対象画像１５ＴＩと比較可能にディスプレイ１７に表示する。医師は、対象画像１５ＴＩに写る患者Ｐの脳を観察し、場合によって類似画像１５ＳＩも参照しつつ、患者Ｐに対する認知症の診断を行う。なお、脳は、本開示の技術に係る「臓器」の一例であり、認知症は、本開示の技術に係る「疾病」の一例である。
　一例として図４に示すように、ＰＡＣＳサーバ１１を構成するコンピュータは、ストレージ２５、メモリ２６、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２７、および通信部２８を備えている。これらはバスライン２９を介して相互接続されている。なお、ＣＰＵ２７は、本開示の技術に係る「プロセッサ」の一例である。
　ストレージ２５は、ＰＡＣＳサーバ１１を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージ２５は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージ２５には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
　メモリ２６は、ＣＰＵ２７が処理を実行するためのワークメモリである。ＣＰＵ２７は、ストレージ２５に記憶されたプログラムをメモリ２６へロードして、プログラムにしたがった処理を実行する。これによりＣＰＵ２７は、コンピュータの各部を統括的に制御する。通信部２８は、クライアント端末１２等の外部装置との各種情報の伝送制御を行う。なお、メモリ２６は、ＣＰＵ２７に内蔵されていてもよい。
　一例として図５に示すように、ＰＡＣＳサーバ１１のストレージ２５には、作動プログラム３５が記憶されている。作動プログラム３５は、ＰＡＣＳサーバ１１を構成するコンピュータを診断支援装置として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム３５は、本開示の技術に係る「診断支援装置の作動プログラム」の一例である。
　作動プログラム３５が起動されると、ＰＡＣＳサーバ１１を構成するコンピュータのＣＰＵ２７は、メモリ２６等と協働して、リードライト（以下、ＲＷ（Ｒｅａｄ　Ｗｒｉｔｅ）と略す）制御部４０、前処理部４１、要求受付部４２、検索処理部４３、および配信制御部４４として機能する。
　ＲＷ制御部４０は、ストレージ２５への各種データの記憶、およびストレージ２５内の各種データの読み出しを制御する。例えばＲＷ制御部４０は、ＭＲＩ装置１０から頭部ＭＲＩ画像１５を受信し、受信した頭部ＭＲＩ画像１５をストレージ２５に記憶する。ここで、対象画像１５ＴＩは、ＭＲＩ装置１０で撮影した複数の頭部ＭＲＩ画像１５のうちの１つである。このため、ＲＷ制御部４０は、ＭＲＩ装置１０から頭部ＭＲＩ画像１５を受信することで、対象画像１５ＴＩを取得していることになる。
　前処理部４１は、ＭＲＩ装置１０からの頭部ＭＲＩ画像１５に対して、後述する様々な前処理を施す。前処理部４１は、前処理の結果導出された特徴量セット群４５をＲＷ制御部４０に出力する。ＲＷ制御部４０は、特徴量セット群４５を頭部ＭＲＩ画像１５と関連付けてストレージ２５に記憶する。これにより、ストレージ２５には、頭部ＭＲＩ画像１５と特徴量セット群４５のペアが複数記憶されることになる。
　要求受付部４２は、クライアント端末１２から送信される配信要求２０および検索要求２３を受け付ける。要求受付部４２は、受け付けた配信要求２０および検索要求２３を検索処理部４３に出力する。
　検索処理部４３は、対象画像１５ＴＩおよび類似画像１５ＳＩの検索処理を担う。要求受付部４２から配信要求２０が入力された場合、検索処理部４３は、配信要求２０に応じた対象画像１５ＴＩをストレージ２５から検索して読み出す旨の指令を、ＲＷ制御部４０に出力する。ＲＷ制御部４０は、当該指令を受けて、配信要求２０に応じた対象画像１５ＴＩをストレージ２５から検索して読み出し、読み出した対象画像１５ＴＩを検索処理部４３に出力する。検索処理部４３は、対象画像１５ＴＩを配信制御部４４に出力する。
　要求受付部４２から検索要求２３が入力された場合、検索処理部４３は、全ての特徴量セット群４５をストレージ２５から読み出す旨の指令を、ＲＷ制御部４０に出力する。ＲＷ制御部４０は、当該指令を受けて、全ての特徴量セット群４５をストレージ２５から読み出し、読み出した特徴量セット群４５を検索処理部４３に出力する。検索処理部４３は、特徴量セット群４５を用いて類似画像１５ＳＩを検索する。検索処理部４３は、検索した類似画像１５ＳＩを配信制御部４４に出力する。
　配信制御部４４は、配信要求２０の要求元のクライアント端末１２に対象画像１５ＴＩを配信する。また、配信制御部４４は、検索要求２３の要求元のクライアント端末１２に類似画像１５ＳＩを配信する。
　一例として図６に示すように、前処理部４１は、正規化部５０、抽出部５１、および特徴量導出部５２を備えている。
　ストレージ２５には、頭部ＭＲＩ画像１５および特徴量セット群４５に加えて、標準頭部ＭＲＩ画像５５、セグメンテーションモデル５６、および複数の特徴量導出モデル５７で構成される特徴量導出モデル群５８が記憶されている。ＲＷ制御部４０は、標準頭部ＭＲＩ画像５５をストレージ２５から読み出し、読み出した標準頭部ＭＲＩ画像５５を正規化部５０に出力する。また、ＲＷ制御部４０は、セグメンテーションモデル５６をストレージ２５から読み出し、読み出したセグメンテーションモデル５６を抽出部５１に出力する。さらに、ＲＷ制御部４０は、特徴量導出モデル群５８をストレージ２５から読み出し、読み出した特徴量導出モデル群５８を特徴量導出部５２に出力する。
　正規化部５０は、ＭＲＩ装置１０からの頭部ＭＲＩ画像１５を標準頭部ＭＲＩ画像５５に合わせる正規化処理を行い、頭部ＭＲＩ画像１５を正規化頭部ＭＲＩ画像６０とする。正規化部５０は、正規化頭部ＭＲＩ画像６０を抽出部５１に出力する。
　標準頭部ＭＲＩ画像５５は、標準的な形状、大きさ、および濃度（画素値）の脳が写った頭部ＭＲＩ画像である。標準頭部ＭＲＩ画像５５は、例えば、複数の健常者の頭部ＭＲＩ画像１５を平均することで生成した画像、あるいは、コンピュータグラフィックスにより生成した画像である。標準頭部ＭＲＩ画像５５は、本開示の技術に係る「標準医用画像」の一例である。
　抽出部５１は、正規化頭部ＭＲＩ画像６０をセグメンテーションモデル５６に入力する。セグメンテーションモデル５６は、正規化頭部ＭＲＩ画像６０に写る脳の画素毎に、海馬、扁桃体、前頭葉等の脳の各解剖区域を表すラベルを付与する、いわゆるセマンティックセグメンテーションを行う機械学習モデルである。抽出部５１は、セグメンテーションモデル５６が付与したラベルに基づいて、正規化頭部ＭＲＩ画像６０から、脳の複数の解剖区域の画像（以下、解剖区域画像という）６１を抽出する。抽出部５１は、複数の解剖区域毎の複数の解剖区域画像６１で構成される解剖区域画像群６２を、特徴量導出部５２に出力する。
　特徴量導出モデル５７は、脳の複数の解剖区域毎に１つずつ用意されている（図９参照）。特徴量導出部５２は、解剖区域画像６１を対応する特徴量導出モデル５７に入力する。そして、特徴量導出モデル５７から複数種類の特徴量Ｚ（図９参照）で構成される特徴量セット６３を出力させる。特徴量セット群４５は、複数の解剖区域に対応する複数の特徴量セット６３で構成される。特徴量導出部５２は、特徴量セット群４５をＲＷ制御部４０に出力する。ＲＷ制御部４０は、特徴量セット群４５をストレージ２５に記憶させる。
　一例として図７に示すように、正規化部５０は、頭部ＭＲＩ画像１５に対して、正規化処理として形状正規化処理６５および濃度正規化処理６６を行う。形状正規化処理６５は、例えば、頭部ＭＲＩ画像１５および標準頭部ＭＲＩ画像５５から、位置合わせの基準となるランドマークを抽出し、頭部ＭＲＩ画像１５のランドマークと標準頭部ＭＲＩ画像５５のランドマークとの相関が最大となるよう、頭部ＭＲＩ画像１５を標準頭部ＭＲＩ画像５５に合わせて平行移動、回転、および／または拡大縮小する処理である。濃度正規化処理６６は、例えば、頭部ＭＲＩ画像１５の濃度ヒストグラムを、標準頭部ＭＲＩ画像５５の濃度ヒストグラムに合わせて補正する処理である。
　一例として図８に示すように、抽出部５１は、解剖区域画像６１として、海馬の解剖区域画像６１＿１、海馬傍回の解剖区域画像６１＿２、前頭葉の解剖区域画像６１＿３、前側頭葉の解剖区域画像６１＿４、後頭葉の解剖区域画像６１＿５、視床の解剖区域画像６１＿６、視床下部の解剖区域画像６１＿７、扁桃体の解剖区域画像６１＿８、脳下垂体の解剖区域画像６１＿９、・・・等を抽出する。これらの他にも、抽出部５１は、乳頭体、脳梁、脳弓、側脳室等の各解剖区域の解剖区域画像６１を抽出する。海馬、前頭葉、前側頭葉、扁桃体といった解剖区域は左右一対である。図では表現していないが、こうした左右一対の解剖区域は、左右それぞれの解剖区域の解剖区域画像６１が抽出される。例えば海馬は、左海馬の解剖区域画像６１＿１と右海馬の解剖区域画像６１＿１が抽出される。なお、これらの解剖区域のうち、海馬および前側頭葉のうちの少なくともいずれか１つを含むことが好ましく、海馬および前側頭葉を全て含むことがより好ましい。前側頭葉とは、側頭葉の前部という意である。抽出部５１によるセグメンテーションモデル５６を用いた解剖区域の抽出は、例えば下記文献に記載の方法を用いる。
　＜Ｐａｔｒｉｃｋ　ＭｃＣｌｕｒｅ，　ｅｔｃ．，　Ｋｎｏｗｉｎｇ　Ｗｈａｔ　Ｙｏｕ　Ｋｎｏｗ　ｉｎ　Ｂｒａｉｎ　Ｓｅｇｍｅｎｔａｔｉｏｎ　Ｕｓｉｎｇ　Ｂａｙｅｓｉａｎ　Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ，　Ｆｒｏｎｔ．　Ｎｅｕｒｏｉｎｆｏｒｍ．，　１７　Ｏｃｔｏｂｅｒ　２０１９．＞
　一例として図９に示すように、特徴量導出部５２は、海馬の解剖区域画像６１＿１を海馬の特徴量導出モデル５７＿１に入力し、海馬の特徴量導出モデル５７＿１から海馬の特徴量セット６３＿１を出力させる。海馬の特徴量セット６３＿１は、複数の特徴量Ｚ１＿１、Ｚ２＿１、・・・、ＺＮ＿１で構成される。なお、Ｎは特徴量の個数であり、例えば数十個～数十万個である。
　同様にして、特徴量導出部５２は、海馬傍回の解剖区域画像６１＿２を海馬傍回の特徴量導出モデル５７＿２に入力し、前頭葉の解剖区域画像６１＿３を前頭葉の特徴量導出モデル５７＿３に入力し、前側頭葉の解剖区域画像６１＿４を前側頭葉の特徴量導出モデル５７＿４に入力する。そして、海馬傍回の特徴量導出モデル５７＿２から海馬傍回の特徴量セット６３＿２を出力させ、前頭葉の特徴量導出モデル５７＿３から前頭葉の特徴量セット６３＿３を出力させ、前側頭葉の特徴量導出モデル５７＿４から前側頭葉の特徴量セット６３＿４を出力させる。海馬傍回の特徴量セット６３＿２は、複数の特徴量Ｚ１＿２、Ｚ２＿２、・・・、ＺＮ＿２で構成され、前頭葉の特徴量セット６３＿３は、複数の特徴量Ｚ１＿３、Ｚ２＿３、・・・、ＺＮ＿３で構成され、前側頭葉の特徴量セット６３＿４は、複数の特徴量Ｚ１＿４、Ｚ２＿４、・・・、ＺＮ＿４で構成される。
　また、特徴量導出部５２は、後頭葉の解剖区域画像６１＿５を後頭葉の特徴量導出モデル５７＿５に入力し、視床の解剖区域画像６１＿６を視床の特徴量導出モデル５７＿６に入力する。そして、後頭葉の特徴量導出モデル５７＿５から後頭葉の特徴量セット６３＿５を出力させ、視床の特徴量導出モデル５７＿６から視床の特徴量セット６３＿６を出力させる。後頭葉の特徴量セット６３＿５は、複数の特徴量Ｚ１＿５、Ｚ２＿５、・・・、ＺＮ＿５で構成され、視床の特徴量セット６３＿６は、複数の特徴量Ｚ１＿６、Ｚ２＿６、・・・、ＺＮ＿６で構成される。このように、複数の解剖区域画像６１は、それぞれ対応する特徴量導出モデル５７に入力され、これにより解剖区域画像６１毎の特徴量セット６３が各特徴量導出モデル５７から出力される。なお、特徴量Ｚの個数は、例示のＮ個のように各解剖区域で同じでもよいし、各解剖区域で異なっていてもよい。
　前処理部４１は、上記で説明した一通りの処理、すなわち正規化部５０による正規化処理、抽出部５１による解剖区域画像６１の抽出処理、および特徴量導出部５２による特徴量セット群４５の導出処理を、ＭＲＩ装置１０からの頭部ＭＲＩ画像１５の全てに対して行う。ＭＲＩ装置１０からの頭部ＭＲＩ画像１５には、当然ながら対象画像１５ＴＩと、類似画像１５ＳＩの候補画像１５ＣＩ（図１０参照）も含まれる。このため、前処理部４１は、対象画像１５ＴＩを標準頭部ＭＲＩ画像５５に合わせる正規化処理を行い、対象画像１５ＴＩから解剖区域画像６１を抽出し、対象画像１５ＴＩの特徴量セット群４５（以下、特徴量セット群４５ＴＩと表記する、図１０参照）を導出していることになる。また、前処理部４１は、候補画像１５ＣＩを標準頭部ＭＲＩ画像５５に合わせる正規化処理を行い、候補画像１５ＣＩから解剖区域画像６１を抽出し、候補画像１５ＣＩの特徴量セット群４５（以下、特徴量セット群４５ＣＩと表記する、図１０参照）を導出していることになる。
　一例として図１０に示すように、検索処理部４３は、類似度評価値算出部７０および類似画像選定部７１を備えている。
　ストレージ２５には、選定条件７５が記憶されている。ＲＷ制御部４０は、選定条件７５をストレージ２５から読み出し、読み出した選定条件７５を類似画像選定部７１に出力する。
　類似度評価値算出部７０は、ＲＷ制御部４０から全ての特徴量セット群４５を受け取る。特徴量セット群４５には、対象画像１５ＴＩの特徴量セット群４５ＴＩと、対象画像１５ＴＩ以外の頭部ＭＲＩ画像１５、すなわち類似画像１５ＳＩの候補画像１５ＣＩの特徴量セット群４５ＣＩとがある。類似度評価値算出部７０は、対象画像１５ＴＩの特徴量セット群４５ＴＩと候補画像１５ＣＩの特徴量セット群４５ＣＩとから、対象画像１５ＴＩと候補画像１５ＣＩとの間の類似度評価値７６を算出する。類似度評価値算出部７０は、複数の候補画像１５ＣＩのそれぞれについて類似度評価値７６を算出する。類似度評価値算出部７０は、算出した類似度評価値７６を類似画像選定部７１に出力する。
　類似画像選定部７１は、選定条件７５および類似度評価値７６に基づいて、候補画像１５ＣＩから類似画像１５ＳＩを選定する。本例において、選定条件７５は、「類似度１位～３位の候補画像」という内容である。このため、類似画像選定部７１は、類似度評価値７６で表される対象画像１５ＴＩとの類似度が１位～３位の候補画像１５ＣＩを、類似画像１５ＳＩとして選定する。本実施形態において、対象画像１５ＴＩとの類似度が１位～３位の候補画像１５ＣＩとは、類似度評価値７６が最も小さい候補画像１５ＣＩ、類似度評価値７６が２番目に小さい候補画像１５ＣＩ、および類似度評価値７６が３番目に小さい候補画像１５ＣＩである。
　一例として図１１に示すように、類似度評価値算出部７０は、対象画像１５ＴＩの特徴量セット群４５ＴＩの各特徴量ＺＴＩｉを要素とする多次元ベクトルと、候補画像１５ＣＩの特徴量セット群４５ＣＩの各特徴量ＺＣＩｉを要素とする多次元ベクトルとの距離を、類似度評価値７６として算出する。より具体的には、類似度評価値７６をＳと表記した下記式（１）に示すように、類似度評価値算出部７０は、特徴量ＺＴＩｉと、これに対応する特徴量ＺＣＩｉとの差分（ＺＴＩ１＿１－ＺＣＩ１＿１、ＺＴＩ２＿２－ＺＣＩ２＿２等）の絶対値の二乗和の平方根、すなわちユークリッド距離を類似度評価値７６として算出する。この場合、類似度評価値７６が小さいほど、対象画像１５ＴＩと候補画像１５ＣＩの類似度が高いということになる。なお、ｉは１～Ｍの整数である。また、Ｍは、特徴量Ｚの個数Ｎと解剖区域画像６１を抽出した解剖区域の個数との積、すなわち特徴量セット群４５ＴＩまたは特徴量セット群４５ＣＩに含まれる特徴量Ｚの総数である。
Figure JPOXMLDOC01-appb-M000001
　図１２に、配信要求２０に応じてＰＡＣＳサーバ１１から配信された対象画像１５ＴＩを含む第１表示画面８０の一例を示す。第１表示画面８０は、クライアント端末１２のディスプレイ１７に表示される。第１表示画面８０には、対象画像１５ＴＩが表示される。対象画像１５ＴＩは、サジタル断面の対象画像１５ＴＩＳ、アキシャル断面の対象画像１５ＴＩＡ、およびコロナル断面の対象画像１５ＴＩＣである。これら各対象画像１５ＴＩＳ、１５ＴＩＡ、および１５ＴＩＣの下部には、表示を切り替えるためのボタン群８１が設けられている。
　第１表示画面８０には、類似画像検索ボタン８２が設けられている。医師は、対象画像１５ＴＩの類似画像１５ＳＩの検索を行いたい場合、類似画像検索ボタン８２を選択する。これにより検索要求２３がＰＡＣＳサーバ１１に送信される。
　図１３に、検索要求２３に応じて類似画像１５ＳＩがＰＡＣＳサーバ１１から配信された場合に、クライアント端末１２のディスプレイ１７に表示される第２表示画面８５の一例を示す。第２表示画面８５には、対象画像１５ＴＩの下部に、対象画像１５ＴＩと同じ態様で類似画像１５ＳＩが表示される。類似画像１５ＳＩは、類似度の順位が上位のものほど、上部に表示される。類似画像１５ＳＩは、サジタル断面の類似画像１５ＳＩＳ、アキシャル断面の類似画像１５ＳＩＡ、およびコロナル断面の類似画像１５ＳＩＣである。類似画像１５ＳＩには、当該類似画像１５ＳＩの患者Ｐの年齢および性別、さらには認知症の所見が表示される。認知症の所見は、図示省略した電子カルテシステムから引用される。なお、確認ボタン８６が選択された場合、類似画像１５ＳＩの表示が消され、第２表示画面８５が第１表示画面８０に戻される。
　一例として図１４に示すように、特徴量導出モデル５７には、オートエンコーダ（以下、ＡＥ（Ａｕｔｏ　Ｅｎｃｏｄｅｒ）と略す）９０の圧縮部９１が用いられる。ＡＥ９０は、圧縮部９１と復元部９２とを有する。圧縮部９１には解剖区域画像６１が入力される。圧縮部９１は、解剖区域画像６１を特徴量セット６３に変換する。圧縮部９１は、特徴量セット６３を復元部９２に受け渡す。復元部９２は、特徴量セット６３から解剖区域画像６１の復元画像９３を生成する。
　圧縮部９１は、一例として図１５に示すような畳み込み演算を行うことで、解剖区域画像６１を特徴量セット６３に変換する。具体的には、圧縮部９１は、「ｃｏｎｖ（ｃｏｎｖｏｌｕｔｉｏｎの略）」で表される畳み込み層２００を有する。畳み込み層２００は、２次元に配列された複数の要素２０１をもつ対象データ２０２に、例えば３×３のフィルタ２０３を適用する。そして、要素２０１のうちの１つの注目要素２０１Ｉの要素値ｅと、注目要素２０１Ｉに隣接する８個の要素２０１Ｓの要素値ａ、ｂ、ｃ、ｄ、ｆ、ｇ、ｈ、ｉを畳み込む。畳み込み層２００は、注目要素２０１Ｉを１要素ずつずらしつつ、対象データ２０２の各要素２０１に対して畳み込み演算を順次行い、演算データ２０５の要素２０４の要素値を出力する。これにより、対象データ２０２と同様に、２次元に配列された複数の要素２０４を有する演算データ２０５が得られる。なお、最初に畳み込み層２００に入力される対象データ２０２は解剖区域画像６１であり、その後は後述する縮小演算データ２０５Ｓ（図１７参照）が対象データ２０２として畳み込み層２００に入力される。
　フィルタ２０３の係数をｒ、ｓ、ｔ、ｕ、ｖ、ｗ、ｘ、ｙ、ｚとした場合、注目要素２０１Ｉに対する畳み込み演算の結果である、演算データ２０５の注目要素２０１Ｉに対応する要素２０４Ｉの要素値ｋは、例えば下記の式（Ａ）を計算することで得られる。
　ｋ＝ａｚ＋ｂｙ＋ｃｘ＋ｄｗ＋ｅｖ＋ｆｕ＋ｇｔ＋ｈｓ＋ｉｒ・・・（Ａ）
　演算データ２０５は、１個のフィルタ２０３に対して１つ出力される。１つの対象データ２０２に対して複数種のフィルタ２０３が適用された場合は、フィルタ２０３毎に演算データ２０５が出力される。つまり、一例として図１６に示すように、演算データ２０５は、対象データ２０２に適用されたフィルタ２０３の個数分生成される。また、演算データ２０５は、２次元に配列された複数の要素２０４を有するため、幅と高さをもつ。演算データ２０５の数はチャンネル数と呼ばれる。図１６においては、対象データ２０２に４個のフィルタ２０３を適用して出力された４チャンネルの演算データ２０５を例示している。
　一例として図１７に示すように、圧縮部９１は、畳み込み層２００の他に、「ｐｏｏｌ（ｐｏｏｌｉｎｇの略）」で表されるプーリング層２１０を有する。プーリング層２１０は、演算データ２０５の要素２０４の要素値の局所的な統計量を求め、求めた統計量を要素値とする縮小演算データ２０５Ｓを生成する。ここでは、プーリング層２１０は、局所的な統計量として、２×２の要素のブロック２１１内における要素値の最大値を求める最大値プーリング処理を行っている。ブロック２１１を幅方向および高さ方向に１要素ずつずらしつつ処理を行えば、縮小演算データ２０５Ｓは、元の演算データ２０５の１／２のサイズに縮小される。図１７においては、ブロック２１１Ａ内における要素値ａ、ｂ、ｅ、ｆのうちのｂ、ブロック２１１Ｂ内における要素値ｂ、ｃ、ｆ、ｇのうちのｂ、ブロック２１１Ｃ内における要素値ｃ、ｄ、ｇ、ｈのうちのｈがそれぞれ最大値であった場合を例示している。なお、最大値ではなく平均値を局所的な統計量として求める、平均値プーリング処理を行ってもよい。
　圧縮部９１は、畳み込み層２００による畳み込み処理とプーリング層２１０によるプーリング処理とを複数回繰り返すことで、最終的な演算データ２０５を出力する。この最終的な演算データ２０５が、すなわち特徴量セット６３であり、最終的な演算データ２０５の各要素２０４の要素値が、すなわち特徴量Ｚである。こうして得られた特徴量Ｚは、海馬の萎縮の程度、白質の血管障害の程度、前頭葉、前側頭葉、後頭葉の血流代謝低下の有無といった、解剖区域の形状およびテクスチャーの特徴を表している。なお、ここでは、説明を簡単化するため２次元としているが、実際には３次元で各処理が行われる。
　一例として図１８に示すように、ＡＥ９０は、圧縮部９１を特徴量導出モデル５７に転用する前の学習フェーズにおいて、学習用解剖区域画像６１Ｌが入力されて学習される。ＡＥ９０は、学習用解剖区域画像６１Ｌに対して学習用復元画像９３Ｌを出力する。これら学習用解剖区域画像６１Ｌおよび学習用復元画像９３Ｌに基づいて、損失関数を用いたＡＥ９０の損失演算がなされる。そして、損失演算の結果に応じてＡＥ９０の各種係数（フィルタ２０３の係数等）の更新設定がなされ、更新設定にしたがってＡＥ９０が更新される。
　ＡＥ９０の学習フェーズにおいては、学習用解剖区域画像６１ＬのＡＥ９０への入力、ＡＥ９０からの学習用復元画像９３Ｌの出力、損失演算、更新設定、およびＡＥ９０の更新の上記一連の処理が、学習用解剖区域画像６１Ｌが交換されつつ繰り返し行われる。上記一連の処理の繰り返しは、学習用解剖区域画像６１Ｌから学習用復元画像９３Ｌへの復元精度が、予め定められた設定レベルまで達した場合に終了される。こうして復元精度が設定レベルまで達したＡＥ９０の圧縮部９１が、ストレージ２５に記憶されて学習済みの特徴量導出モデル５７として用いられる。
　次に、上記構成による作用について、図１９～図２１のフローチャートを参照して説明する。ＰＡＣＳサーバ１１において作動プログラム３５が起動されると、図５で示したように、ＰＡＣＳサーバ１１のＣＰＵ２７は、ＲＷ制御部４０、前処理部４１、要求受付部４２、検索処理部４３、および配信制御部４４として機能される。図６で示したように、前処理部４１には、正規化部５０、抽出部５１、および特徴量導出部５２が含まれる。また、図１０で示したように、検索処理部４３には、類似度評価値算出部７０および類似画像選定部７１が含まれる。
　まず、ＭＲＩ装置１０によって患者Ｐの頭部ＭＲＩ画像１５が撮影され、頭部ＭＲＩ画像１５がＭＲＩ装置１０からＰＡＣＳサーバ１１に送信される。
　一例として図１９に示すように、ＰＡＣＳサーバ１１において、頭部ＭＲＩ画像１５は、ＲＷ制御部４０および前処理部４１に入力される。頭部ＭＲＩ画像１５は、ＲＷ制御部４０によってストレージ２５に記憶される（ステップＳＴ１００）。
　図７で示したように、正規化部５０において、頭部ＭＲＩ画像１５を標準頭部ＭＲＩ画像５５に合わせる正規化処理（形状正規化処理６５および濃度正規化処理６６）が行われる（ステップＳＴ１１０）。これにより頭部ＭＲＩ画像１５が正規化頭部ＭＲＩ画像６０とされる。正規化頭部ＭＲＩ画像６０は、正規化部５０から抽出部５１に出力される。
　図８で示したように、抽出部５１において、セグメンテーションモデル５６を用いて、正規化頭部ＭＲＩ画像６０から複数の解剖区域画像６１が抽出される（ステップＳＴ１２０）。複数の解剖区域画像６１で構成される解剖区域画像群６２は、抽出部５１から特徴量導出部５２に出力される。
　図９で示したように、特徴量導出部５２では、解剖区域画像６１が対応する特徴量導出モデル５７に入力される。これにより特徴量導出モデル５７から特徴量セット６３が出力される（ステップＳＴ１３０）。複数の特徴量セット６３で構成される特徴量セット群４５は、特徴量導出部５２からＲＷ制御部４０に出力される。特徴量セット群４５は、ＲＷ制御部４０によってストレージ２５に記憶される（ステップＳＴ１４０）。
　一例として図２０に示すように、クライアント端末１２からＰＡＣＳサーバ１１に配信要求２０が送信され、要求受付部４２において配信要求２０が受け付けられた場合（ステップＳＴ２００でＹＥＳ）、検索処理部４３の指令を受けたＲＷ制御部４０によって、配信要求２０に応じた対象画像１５ＴＩがストレージ２５から検索されて読み出される（ステップＳＴ２１０）。対象画像１５ＴＩは、ＲＷ制御部４０から検索処理部４３に出力され、さらに検索処理部４３から配信制御部４４に出力される。対象画像１５ＴＩは、配信制御部４４によって、配信要求２０の要求元のクライアント端末１２に配信される（ステップＳＴ２２０）。対象画像１５ＴＩを受信したクライアント端末１２においては、図１２で示した第１表示画面８０がディスプレイ１７に表示される。医師は、第１表示画面８０を通じて、対象画像１５ＴＩに写る患者Ｐの脳を観察する。
　一例として図２１に示すように、第１表示画面８０の類似画像検索ボタン８２が選択されてクライアント端末１２からＰＡＣＳサーバ１１に検索要求２３が送信され、要求受付部４２において検索要求２３が受け付けられた場合（ステップＳＴ３００でＹＥＳ）、検索処理部４３の指令を受けたＲＷ制御部４０によって、全ての特徴量セット群４５がストレージ２５から読み出される（ステップＳＴ３１０）。特徴量セット群４５は、ＲＷ制御部４０から検索処理部４３に出力される。
　図１１で示したように、類似度評価値算出部７０によって、対象画像１５ＴＩの特徴量セット群４５ＴＩと候補画像１５ＣＩの特徴量セット群４５ＣＩとから、対象画像１５ＴＩと候補画像１５ＣＩとの間の類似度評価値７６が算出される（ステップＳＴ３２０）。類似度評価値７６は、類似度評価値算出部７０から類似画像選定部７１に出力される。この類似度評価値７６の算出は、全ての候補画像１５ＣＩについての算出が終了しないうち（ステップＳＴ３３０でＮＯ）は繰り返し続けられる。
　全ての候補画像１５ＣＩについての類似度評価値７６の算出が終了した場合（ステップＳＴ３３０でＹＥＳ）、類似画像選定部７１において、選定条件７５にしたがって、候補画像１５ＣＩのうちから類似画像１５ＳＩが選定される（ステップＳＴ３４０）。類似画像１５ＳＩは、ＲＷ制御部４０から検索処理部４３に出力され、さらに検索処理部４３から配信制御部４４に出力される。類似画像１５ＳＩは、配信制御部４４によって、検索要求２３の要求元のクライアント端末１２に配信される（ステップＳＴ３５０）。類似画像１５ＳＩを受信したクライアント端末１２においては、図１３で示した第２表示画面８５がディスプレイ１７に表示される。医師は、第２表示画面８５を通じて類似画像１５ＳＩを参照しつつ、患者Ｐに対する認知症の診断を行う。
　以上説明したように、ＰＡＣＳサーバ１１のＣＰＵ２７は、ＲＷ制御部４０と、抽出部５１と、特徴量導出部５２と、検索処理部４３と、配信制御部４４とを備える。ＲＷ制御部４０は、ＭＲＩ装置１０から頭部ＭＲＩ画像１５を受信することで、認知症の診断対象の頭部ＭＲＩ画像１５である対象画像１５ＴＩを取得する。抽出部５１は、頭部ＭＲＩ画像１５を正規化した正規化頭部ＭＲＩ画像６０から脳の複数の解剖区域の解剖区域画像６１を抽出する。特徴量導出部５２は、複数の解剖区域画像６１を、複数の解剖区域毎に用意された複数の特徴量導出モデル５７に入力し、特徴量導出モデル５７から複数の解剖区域毎の複数の特徴量セット６３を出力させる。検索処理部４３は、複数の特徴量セット６３で構成される特徴量セット群４５を用いて、対象画像１５ＴＩの類似画像１５ＳＩを検索する。配信制御部４４は、検索要求２３の要求元のクライアント端末１２に類似画像１５ＳＩを配信する。
　特徴量Ｚは、例えば数十個～数十万個と個数が非常に多い。このため特徴量Ｚは、脳の限定的な特徴を表すものではなく、解剖区域の網羅的な特徴を表すものである。また、特徴量Ｚは、画素値の平均値等のように統計的に得られた値ではなく、特徴量導出モデル５７に解剖区域画像６１を入力して得られたものである。さらに、特徴量Ｚは解剖区域毎に導出され、解剖区域毎に導出された特徴量Ｚを用いて類似画像１５ＳＩが検索される。したがって、特に解剖区域を意識することなく類似画像１５ＳＩを検索している＜Ｍｕｈａｍｍａｄ　Ｏｗａｉｓ，　ｅｔｃ．，　Ｅｆｆｅｃｔｉｖｅ　Ｄｉａｇｎｏｓｉｓ　ａｎｄ　Ｔｒｅａｔｍｅｎｔ　ｔｈｒｏｕｇｈ　Ｃｏｎｔｅｎｔ－Ｂａｓｅｄ　Ｍｅｄｉｃａｌ　Ｉｍａｇｅ　Ｒｅｔｒｉｅｖａｌ　（ＣＢＭＩＲ）　ｂｙ　Ｕｓｉｎｇ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｌｉｎｉｃａｌ　Ｍｅｄｉｃｉｎｅ，　２０１９．＞と比べて、より的確な類似画像１５ＳＩを検索することが可能となる。
　図１０等で示したように、検索処理部４３は、対象画像１５ＴＩの特徴量セット群４５ＴＩと候補画像１５ＣＩの特徴量セット群４５ＣＩとから、対象画像１５ＴＩと候補画像ＣＩとの間の類似度評価値７６を算出し、類似度評価値７６に基づいて候補画像１５ＣＩから類似画像１５ＳＩを選定する。このため、類似画像１５ＳＩの選定をスムーズに行うことができる。
　図１４で示したように、特徴量導出モデル５７は、ＡＥ９０の圧縮部９１を転用したものである。ＡＥ９０は、機械学習の分野において頻繁に用いられるニューラルネットワークモデルの１つで、一般的に非常によく知られている。このため、比較的容易に特徴量導出モデル５７に転用することができる。
　図７で示したように、正規化部５０は、解剖区域の抽出に先立ち、対象画像１５ＴＩを標準頭部ＭＲＩ画像５５に合わせる正規化処理を行う。このため、患者Ｐの個人差、およびＭＲＩ装置１０の装置差をほぼ解消したうえで以降の処理を行うことができ、結果としてより的確な類似画像１５ＳＩの検索に寄与することができる。
　認知症は、昨今の高齢化社会の到来とともに社会問題化している。このため、臓器を脳とし、疾病を認知症として、類似画像１５ＳＩを検索する本実施形態は、現状の社会問題にマッチした形態であるといえる。
　海馬および前側頭葉は、アルツハイマー病をはじめとする認知症との相関が特に高い解剖区域である。このため、本例のように、複数の解剖区域に、海馬および前側頭葉のうちの少なくともいずれか１つが含まれていれば、さらにより的確な類似画像１５ＳＩを検索することが可能となる。
　なお、候補画像１５ＣＩは、対象画像１５ＴＩ以外の頭部ＭＲＩ画像１５の全てに限らない。例えば対象画像１５ＴＩの患者Ｐと性別および年代が同じ患者Ｐの頭部ＭＲＩ画像１５等、対象画像１５ＴＩの患者Ｐと属性が同じ患者Ｐの頭部ＭＲＩ画像１５を候補画像１５ＣＩとしてもよい。
　選定条件７５は、「類似度評価値が閾値未満の候補画像」という内容であってもよい。この場合、類似画像選定部７１は、類似度評価値７６が予め設定された閾値未満の候補画像１５ＣＩを、類似画像１５ＳＩとして選定する。類似度評価値７６が閾値未満の候補画像１５ＣＩがなかった場合は、類似画像選定部７１は、類似画像１５ＳＩがない旨を出力する。この場合、第２表示画面８５には、類似画像１５ＳＩがない旨のメッセージが表示される。
　類似画像１５ＳＩの出力態様としては、クライアント端末１２への配信に限らない。類似画像１５ＳＩを紙媒体に印刷出力したり、医師の携帯端末に電子メールの添付ファイルとして類似画像１５ＳＩを送信してもよい。
　［第２実施形態］
　図２２および図２３に示す第２実施形態では、下記式（２）を用いて類似度評価値１０６を算出する。
Figure JPOXMLDOC01-appb-M000002
　式（２）は、特徴量ＺＴＩｉと特徴量ＺＣＩｉとの差分の絶対値の二乗に重み付け係数Ｗｉを乗算している点が、上記第１実施形態の式（１）と異なる。つまり、式（２）によれば、適当な重み付け係数Ｗｉを設定することで、Ｓと表記される類似度評価値１０６を、より的確な類似画像１５ＳＩの検索に寄与する値とすることができる。
　一例として図２２に示す表１００のように、本実施形態の重み付け係数Ｗｉは、解剖区域毎に設定される。例えば、認知症に対する関連性が特に高いとされている解剖区域である海馬、海馬傍回、前頭葉、前側頭葉、視床下部、扁桃体等には、「０．５」、「０．６」、「０．７５」等の１．０よりも低い重み付け係数Ｗｉが設定されている。対して、認知症に対する関連性が比較的低いとされている解剖区域である後頭葉、視床、脳下垂体等には、重み付け係数Ｗｉとして「１．０」が設定されている。重み付け係数Ｗｉが「１．０」とは、重み付けがされないという意である。
　一例として図２３に示すように、本実施形態の類似度評価値算出部１０５は、表１００のように設定された重み付け係数Ｗｉを、各解剖区域の特徴量セット６３の特徴量Ｚに適用する。具体的には、対象画像１５ＴＩの海馬の特徴量セット６３ＴＩ＿１の特徴量ＺＴＩ１＿１と、候補画像１５ＣＩの海馬の特徴量セット６３ＣＩ＿１の特徴量ＺＣＩ１＿１との差分の絶対値の二乗に、重み付け係数Ｗｉとして「０．５」を乗算する。また、対象画像１５ＴＩの前頭葉の特徴量セット６３ＴＩ＿３の特徴量ＺＴＩ１＿３と、候補画像１５ＣＩの前頭葉の特徴量セット６３ＣＩ＿３の特徴量ＺＣＩ１＿３との差分の絶対値の二乗に、重み付け係数Ｗｉとして「０．５」を乗算する。さらに、対象画像１５ＴＩの前側頭葉の特徴量セット６３ＴＩ＿４の特徴量ＺＴＩ１＿４と、候補画像１５ＣＩの前側頭葉の特徴量セット６３ＣＩ＿４の特徴量ＺＣＩ１＿４との差分の絶対値の二乗に、重み付け係数Ｗｉとして「０．６」を乗算する。
　このように、第２実施形態の類似度評価値算出部１０５は、類似度評価値１０６を算出する場合に、対象画像１５ＴＩの特徴量セット群４５ＴＩと候補画像１５ＣＩの特徴量セット群４５ＣＩに対して、解剖区域に応じた重み付けを行う。このため、類似度評価値１０６をより認知症の診断に適した値とすることができ、結果として類似画像１５ＳＩの的確性をさらに高めることができる。
　なお、図２２で示した重み付け係数Ｗｉは、あくまでも一例である。例えば１．０より大きい値を重み付け係数Ｗｉとして設定してもよいし、負の値を重み付け係数Ｗｉとして設定してもよい。
　重み付け係数Ｗｉは、例えば、以下の第１の方法、第２の方法、および第３の方法のいずれかで設定してもよい。第１の方法は、まず、各解剖区域に設定された重み付け係数Ｗｉが異なる何通りかのパターンを用意する。各パターンについて類似度評価値１０６を算出し、各パターンについて類似画像１５ＳＩを選定する。次に、各パターンについて選定した類似画像１５ＳＩをクライアント端末１２のディスプレイ１７に選択可能に表示させ、最も的確と思われる類似画像１５ＳＩを医師に選択させる。そして、医師により選択された類似画像１５ＳＩを選定した際のパターンを、今後使用する重み付け係数Ｗｉとして設定する。
　第２の方法は、まず、ＰＡＣＳサーバ１１に記憶された複数の頭部ＭＲＩ画像１５のうちの任意の１つの頭部ＭＲＩ画像１５について、他の頭部ＭＲＩ画像１５の類似度の順位付けを医師にしてもらう。そして、第１の方法と同じく、各解剖区域に設定された重み付け係数Ｗｉが異なる何通りかのパターンを用意し、各パターンについて類似度評価値１０６を算出する。そして、医師にしてもらった順位付けに一致または最も類似した類似度評価値を算出した際のパターンを、今後使用する重み付け係数Ｗｉとして設定する。
　第３の方法は、医師に類似度の順位付けをしてもらい、各解剖区域に設定された重み付け係数Ｗｉが異なる何通りかのパターンについて類似度評価値１０６を算出する点は、第２の方法と同じである。第３の方法は、そこから最小二乗法といった最適解を求める統計的な手法を用いて、医師にしてもらった類似度の順位付けに最も合致する重み付け係数Ｗｉのパターンを求めるというものである。
　［第３実施形態］
　図２４および図２５に示す第３実施形態では、ＡＥ９０の圧縮部９１の代わりに、シングルタスクのクラス判別用畳み込みニューラルネットワーク（以下、シングルタスクＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）と略す）１１０の圧縮部１１１を、特徴量導出モデル１１５として用いる。
　一例として図２４に示すように、シングルタスクＣＮＮ１１０は圧縮部１１１と出力部１１２とを有する。圧縮部１１１には解剖区域画像６１が入力される。圧縮部１１１は、圧縮部９１と同様に、解剖区域画像６１を特徴量セット１１３に変換する。圧縮部１１１は、特徴量セット１１３を出力部１１２に受け渡す。出力部１１２は、特徴量セット１１３に基づいて、１つのクラス１１４を出力する。図２４においては、出力部１１２は、認知症を発症している、または認知症を発症していない、という判別結果をクラス１１４として出力する。このシングルタスクＣＮＮ１１０の圧縮部１１１が、特徴量導出モデル１１５として用いられる。
　一例として図２５に示すように、シングルタスクＣＮＮ１１０は、圧縮部１１１を特徴量導出モデル１１５に転用する前の学習フェーズにおいて、学習データ１１８を与えられて学習される。学習データ１１８は、学習用解剖区域画像６１Ｌと、学習用解剖区域画像６１Ｌに対応する正解クラス１１４ＣＡとの組である。正解クラス１１４ＣＡは、学習用解剖区域画像６１Ｌを得た頭部ＭＲＩ画像１５に対して、認知症を発症しているか否かを、医師が実際に判別した結果である。
　学習フェーズにおいて、シングルタスクＣＮＮ１１０には、学習用解剖区域画像６１Ｌが入力される。シングルタスクＣＮＮ１１０は、学習用解剖区域画像６１Ｌに対して学習用クラス１１４Ｌを出力する。この学習用クラス１１４Ｌおよび正解クラス１１４ＣＡに基づいて、シングルタスクＣＮＮ１１０の損失演算がなされる。そして、損失演算の結果に応じてシングルタスクＣＮＮ１１０の各種係数の更新設定がなされ、更新設定にしたがってシングルタスクＣＮＮ１１０が更新される。
　シングルタスクＣＮＮ１１０の学習フェーズにおいては、学習用解剖区域画像６１ＬのシングルタスクＣＮＮ１１０への入力、シングルタスクＣＮＮ１１０からの学習用クラス１１４Ｌの出力、損失演算、更新設定、およびシングルタスクＣＮＮ１１０の更新の上記一連の処理が、学習データ１１８が交換されつつ繰り返し行われる。上記一連の処理の繰り返しは、正解クラス１１４ＣＡに対する学習用クラス１１４Ｌの予測精度が、予め定められた設定レベルまで達した場合に終了される。こうして予測精度が設定レベルまで達したシングルタスクＣＮＮ１１０の圧縮部１１１が、学習済みの特徴量導出モデル１１５としてストレージ２５に記憶されて特徴量導出部５２で用いられる。
　このように、第３実施形態では、シングルタスクＣＮＮ１１０の圧縮部１１１が、特徴量導出モデル１１５として用いられる。シングルタスクＣＮＮ１１０も、機械学習の分野において頻繁に用いられるニューラルネットワークモデルの１つで、一般的に非常によく知られている。このため、比較的容易に特徴量導出モデル１１５に転用することができる。
　なお、クラス１１４としては、例えば、患者Ｐの年齢が７５歳未満である、または７５歳以上である、という内容であってもよいし、６０歳代、７０歳代等の患者Ｐの年代であってもよい。
　［第４実施形態］
　図２６および図２７に示す第４実施形態では、ＡＥ９０の圧縮部９１、およびシングルタスクＣＮＮ１１０の圧縮部１１１の代わりに、マルチタスクのクラス判別用ＣＮＮ（以下、マルチタスクＣＮＮと略す）１２０の圧縮部１２１を、特徴量導出モデル１２６として用いる。
　一例として図２６に示すように、マルチタスクＣＮＮ１２０は圧縮部１２１と出力部１２２とを有する。圧縮部１２１には解剖区域画像６１が入力される。圧縮部１２１は、圧縮部９１および圧縮部１１１と同様に、解剖区域画像６１を特徴量セット１２３に変換する。圧縮部１２１は、特徴量セット１２３を出力部１２２に受け渡す。出力部１２２は、特徴量セット１２３に基づいて、第１クラス１２４および第２クラス１２５の２つのクラスを出力する。図２６においては、出力部１２２は、認知症を発症している、または認知症を発症していない、という判別結果を第１クラス１２４として出力する。また、図２６においては、出力部１２２は、患者Ｐの年齢を第２クラス１２５として出力する。このマルチタスクＣＮＮ１２０の圧縮部１２１が、特徴量導出モデル１２６として用いられる。
　一例として図２７に示すように、マルチタスクＣＮＮ１２０は、圧縮部１２１を特徴量導出モデル１２６に転用する前の学習フェーズにおいて、学習データ１２８を与えられて学習される。学習データ１２８は、学習用解剖区域画像６１Ｌと、学習用解剖区域画像６１Ｌに対応する正解第１クラス１２４ＣＡおよび正解第２クラス１２５ＣＡとの組である。正解第１クラス１２４ＣＡは、学習用解剖区域画像６１Ｌを得た頭部ＭＲＩ画像１５に対して、認知症を発症しているか否かを、医師が実際に判別した結果である。また、正解第２クラス１２５ＣＡは、学習用解剖区域画像６１Ｌを得た頭部ＭＲＩ画像１５の撮影対象の患者Ｐの実際の年齢である。
　学習フェーズにおいて、マルチタスクＣＮＮ１２０には、学習用解剖区域画像６１Ｌが入力される。マルチタスクＣＮＮ１２０は、学習用解剖区域画像６１Ｌに対して学習用第１クラス１２４Ｌおよび学習用第２クラス１２５Ｌを出力する。この学習用第１クラス１２４Ｌおよび学習用第２クラス１２５Ｌと、正解第１クラス１２４ＣＡおよび正解第２クラス１２５ＣＡとに基づいて、マルチタスクＣＮＮ１２０の損失演算がなされる。そして、損失演算の結果に応じてマルチタスクＣＮＮ１２０の各種係数の更新設定がなされ、更新設定にしたがってマルチタスクＣＮＮ１２０が更新される。
　マルチタスクＣＮＮ１２０の学習フェーズにおいては、学習用解剖区域画像６１ＬのマルチタスクＣＮＮ１２０への入力、マルチタスクＣＮＮ１２０からの学習用第１クラス１２４Ｌおよび学習用第２クラス１２５Ｌの出力、損失演算、更新設定、およびマルチタスクＣＮＮ１２０の更新の上記一連の処理が、学習データ１２８が交換されつつ繰り返し行われる。上記一連の処理の繰り返しは、正解第１クラス１２４ＣＡおよび正解第２クラス１２５ＣＡに対する学習用第１クラス１２４Ｌおよび学習用第２クラス１２５Ｌの予測精度が、予め定められた設定レベルまで達した場合に終了される。こうして予測精度が設定レベルまで達したマルチタスクＣＮＮ１２０の圧縮部１２１が、学習済みの特徴量導出モデル１２６としてストレージ２５に記憶されて特徴量導出部５２で用いられる。
　このように、第４実施形態では、マルチタスクＣＮＮ１２０の圧縮部１２１が、特徴量導出モデル１２６として用いられる。マルチタスクＣＮＮ１２０は、ＡＥ９０およびシングルタスクＣＮＮ１１０に比べて、複数のクラス（第１クラス１２４および第２クラス１２５）を出力する、というより複雑な処理を行う。このため、圧縮部１２１から出力される特徴量セット１２３は、解剖区域画像６１の特徴をより網羅的に表したものとなる可能性が高い。したがって、結果として類似画像１５ＳＩの的確性をさらに高めることができる。
　なお、第１クラス１２４としては、例えば５段階レベルの認知症の進行度合いであってもよい。また、第２クラス１２５としては、患者Ｐの年代の判別結果でもよい。マルチタスクＣＮＮ１２０は、３以上のクラスを出力するものであってもよい。
　［第５実施形態］
　図２８に示す第５実施形態では、１つの解剖区域の解剖区域画像６１を、異なる複数の特徴量導出モデルに入力する。
　図２８において、本実施形態の特徴量導出部１３０は、１つの解剖区域の解剖区域画像６１を、第１特徴量導出モデル１３１に入力し、第２特徴量導出モデル１３２に入力し、第３特徴量導出モデル１３３に入力する。これにより特徴量導出部１３０は、第１特徴量導出モデル１３１から第１特徴量セット１３４を出力させ、第２特徴量導出モデル１３２から第２特徴量セット１３５を出力させ、第３特徴量導出モデル１３３から第３特徴量セット１３６を出力させる。第１特徴量導出モデル１３１は、上記第１実施形態のＡＥ９０の圧縮部９１を転用したものである。第２特徴量導出モデル１３２は、上記第３実施形態のシングルタスクＣＮＮ１１０の圧縮部１１１を転用したものである。第３特徴量導出モデル１３３は、上記第４実施形態のマルチタスクＣＮＮ１２０の圧縮部１２１を転用したものである。
　このように、第５実施形態では、特徴量導出部１３０は、１つの解剖区域の解剖区域画像６１を、第１特徴量導出モデル１３１、第２特徴量導出モデル１３２、および第３特徴量導出モデル１３３に入力する。そして、各モデル１３１～１３３から、第１特徴量セット１３４、第２特徴量セット１３５、および第３特徴量セット１３６を出力させる。このため、１種の特徴量導出モデル５７を用いる場合と比べて、多種多様な特徴量Ｚを得ることができる。結果として類似画像１５ＳＩの的確性をさらに高めることができる。
　異なる複数の特徴量導出モデルは、例えば、ＡＥ９０の圧縮部９１を転用した第１特徴量導出モデル１３１と、シングルタスクＣＮＮ１１０の圧縮部１１１を転用した第２特徴量導出モデル１３２との組み合わせでもよい。あるいは、シングルタスクＣＮＮ１１０の圧縮部１１１を転用した第２特徴量導出モデル１３２と、マルチタスクＣＮＮ１２０の圧縮部１２１を転用した第３特徴量導出モデル１３３との組み合わせでもよい。さらには、認知症を発症しているか否かをクラス１１４として出力するシングルタスクＣＮＮ１１０の圧縮部１１１を転用した第２特徴量導出モデル１３２と、患者Ｐの年代をクラス１１４として出力するシングルタスクＣＮＮ１１０の圧縮部１１１を転用した第２特徴量導出モデル１３２との組み合わせでもよい。
　［第６実施形態］
　重み付け係数Ｗｉを含む式（２）を用いて類似度評価値１０６を算出する上記第２実施形態と、異なる複数の特徴量導出モデル１３１～１３３を用いる上記第５実施形態とを複合して実施してもよい。
　この場合、一例として図２９に示す表１４０のように、特徴量導出モデルの種類毎に重み付け係数Ｗｉを設定する。具体的には、上記第１実施形態のＡＥ９０の圧縮部９１を転用した第１特徴量導出モデル１３１が導出した第１特徴量セット１３４の特徴量Ｚに対しては、重み付け係数Ｗｉとして「１．０」を適用する。上記第３実施形態のシングルタスクＣＮＮ１１０の圧縮部１１１を転用した第２特徴量導出モデル１３２が導出した第２特徴量セット１３５の特徴量Ｚに対しては、重み付け係数Ｗｉとして「０．７５」を適用する。上記第４実施形態のマルチタスクＣＮＮ１２０の圧縮部１２１を転用した第３特徴量導出モデル１３３が導出した第３特徴量セット１３６の特徴量Ｚに対しては、重み付け係数Ｗｉとして「０．５」を適用する。
　このように、第６実施形態では、類似度評価値１０６を算出する場合に、対象画像１５ＴＩの特徴量セット群４５ＴＩと候補画像１５ＣＩの特徴量セット群４５ＣＩに対して、異なる複数の特徴量導出モデル１３１～１３３に応じた重み付けを行う。このため、類似度評価値１０６をより認知症の診断に適した値とすることができ、結果として類似画像１５ＳＩの的確性をさらに高めることができる。
　なお、図２２の場合と同じく、図２９で示した重み付け係数Ｗｉは、あくまでも一例である。例えば１．０より大きい値を重み付け係数Ｗｉとして設定してもよいし、負の値を重み付け係数Ｗｉとして設定してもよい。また、この場合も上記第２実施形態と同様に、重み付け係数Ｗｉは、上記第１～第３の方法で設定してもよい。
　式（１）に代えて、下記式（３）を用いて類似度評価値を算出してもよい。式（３）は、特徴量ＺＴＩｉと特徴量ＺＣＩｉとの差分の絶対値の総和、すなわちマンハッタン距離を類似度評価値として算出する式である。
Figure JPOXMLDOC01-appb-M000003
　また、式（２）に代えて、下記式（４）を用いて類似度評価値を算出してもよい。式（４）は、特徴量ＺＴＩｉと特徴量ＺＣＩｉとの差分の絶対値に、重み付け係数Ｗｉを乗算した内容である。
Figure JPOXMLDOC01-appb-M000004
　上記各実施形態では、特徴量ＺＴＩｉを要素とする多次元ベクトルと特徴量ＺＣＩｉを要素とする多次元ベクトルとの距離を類似度評価値として算出しているが、これに限らない。特徴量ＺＴＩｉと特徴量ＺＣＩｉの相関係数を類似度評価値として算出してもよい。この場合は上記各実施形態とは逆に、対象画像１５ＴＩと候補画像１５ＣＩの類似度が高い（特徴量ＺＴＩｉと特徴量ＺＣＩｉに相関がある）ほど、類似度評価値が大きくなる。
　［第７実施形態］
　図３０～図３６に示す第７実施形態では、ＡＥ２５０とシングルタスクＣＮＮ２５１を合わせたモデルを、特徴量導出モデル２５２として用いる。
　一例として図３０に示すように、ＡＥ２５０は、上記第１実施形態のＡＥ９０と同様、圧縮部２５３と復元部２５４とを有する。圧縮部２５３には解剖区域画像６１が入力される。圧縮部２５３は、解剖区域画像６１を特徴量セット２５５に変換する。圧縮部２５３は、特徴量セット２５５を復元部２５４に受け渡す。復元部２５４は、特徴量セット２５５から解剖区域画像６１の復元画像２５６を生成する。
　シングルタスクＣＮＮ２５１は、上記第３実施形態のシングルタスクＣＮＮ１１０と同様、圧縮部２５３と出力部２５７とを有する。つまり、圧縮部２５３は、ＡＥ２５０とシングルタスクＣＮＮ２５１とで共用される。圧縮部２５３は、特徴量セット２５５を出力部２５７に受け渡す。出力部２５７は、特徴量セット２５５に基づいて、１つのクラス２５８を出力する。図３０においては、出力部２５７は、現在軽度認知障害の患者Ｐが２年後も軽度認知障害のまま、あるいは２年後にアルツハイマー病に進行する、という判別結果をクラス２５８として出力する。また、出力部２５７は、特徴量セット２５５を構成する複数の特徴量Ｚを集約した集約特徴量ＺＡを出力する。集約特徴量ＺＡは、各解剖区域に対して出力される。本実施形態において、集約特徴量ＺＡは、特徴量セット２５５の代わりに検索処理部２７８（図３４参照）に入力される。
　一例として図３１に示すように、出力部２５７は、自己注意（以下、ＳＡ（Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ）と略す）機構層２６５、全体平均プーリング（以下、ＧＡＰ（Ｇｌｏｂａｌ　Ａｖｅｒａｇｅ　Ｐｏｏｌｉｎｇ）と略す）層２６６、全結合（以下、ＦＣ（Ｆｕｌｌｙ　Ｃｏｎｎｅｃｔｅｄ）と略す）層２６７、ソフトマックス関数（以下、ＳＭＦ（ＳｏｆｔＭａｘ　Ｆｕｎｃｔｉｏｎと略す）層２６８、および主成分分析（以下、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ）と略す）層２６９を有する。
　ＳＡ機構層２６５は、特徴量セット２５５に対して、図１５で示した畳み込み処理を、注目要素２０１Ｉの要素値に応じてフィルタ２０３の係数を変更しつつ行う。以下、このＳＡ機構層２６５で行われる畳み込み処理を、ＳＡ畳み込み処理という。ＳＡ機構層２６５は、ＳＡ畳み込み処理後の特徴量セット２５５をＧＡＰ層２６６に出力する。
　ＧＡＰ層２６６は、ＳＡ畳み込み処理後の特徴量セット２５５に対して、全体平均プーリング処理を施す。全体平均プーリング処理は、特徴量セット２５５のチャンネル（図１６参照）毎に、特徴量Ｚの平均値を求める処理である。例えば特徴量セット２５５のチャンネル数が５１２であった場合、全体平均プーリング処理によって５１２個の特徴量Ｚの平均値が求められる。ＧＡＰ層２６６は、求めた特徴量Ｚの平均値をＦＣ層２６７およびＰＣＡ層２６９に出力する。
　ＦＣ層２６７は、特徴量Ｚの平均値をＳＭＦ層２６８のＳＭＦで扱う変数に変換する。ＦＣ層２６７は、特徴量Ｚの平均値の個数分（つまり特徴量セット２５５のチャンネル数分）のユニットをもつ入力層と、ＳＭＦで扱う変数の個数分のユニットをもつ出力層とを有する。入力層の各ユニットと出力層の各ユニットは、互いに全結合されていて、それぞれに重みが設定されている。入力層の各ユニットには、特徴量Ｚの平均値が入力される。特徴量Ｚの平均値と、各ユニット間に設定された重みとの積和が、出力層の各ユニットの出力値となる。この出力値がＳＭＦで扱う変数である。ＦＣ層２６７は、ＳＭＦで扱う変数をＳＭＦ層２６８に出力する。ＳＭＦ層２６８は、変数をＳＭＦに適用することでクラス２５８を出力する。
　ＰＣＡ層２６９は、特徴量Ｚの平均値に対してＰＣＡを行い、複数個の特徴量Ｚの平均値を、それよりも少ない個数の集約特徴量ＺＡとする。例えばＰＣＡ層２６９は、５１２個の特徴量Ｚの平均値を１個の集約特徴量ＺＡに集約する。
　一例として図３２に示すように、ＡＥ２５０は、学習フェーズにおいて、学習用解剖区域画像６１Ｌが入力されて学習される。ＡＥ２５０は、学習用解剖区域画像６１Ｌに対して学習用復元画像２５６Ｌを出力する。これら学習用解剖区域画像６１Ｌおよび学習用復元画像２５６Ｌに基づいて、損失関数を用いたＡＥ２５０の損失演算がなされる。そして、損失演算の結果（以下、損失Ｌ１と表記する）に応じてＡＥ２５０の各種係数の更新設定がなされ、更新設定にしたがってＡＥ２５０が更新される。
　ＡＥ２５０の学習フェーズにおいては、学習用解剖区域画像６１ＬのＡＥ２５０への入力、ＡＥ２５０からの学習用復元画像２５６Ｌの出力、損失演算、更新設定、およびＡＥ２５０の更新の上記一連の処理が、学習用解剖区域画像６１Ｌが交換されつつ繰り返し行われる。
　シングルタスクＣＮＮ２５１は、学習フェーズにおいて、学習データ２７５を与えられて学習される。学習データ２７５は、学習用解剖区域画像６１Ｌと、学習用解剖区域画像６１Ｌに対応する正解クラス２５８ＣＡとの組である。正解クラス２５８ＣＡは、学習用解剖区域画像６１Ｌを得た頭部ＭＲＩ画像１５の撮影対象を得た頭部ＭＲＩ画像１５の撮影対象の患者Ｐが、実際に２年後も軽度認知障害のままか、あるいは２年後にアルツハイマー病に進行したかを示す。
　学習フェーズにおいて、シングルタスクＣＮＮ２５１には、学習用解剖区域画像６１Ｌが入力される。シングルタスクＣＮＮ２５１は、学習用解剖区域画像６１Ｌに対して学習用クラス２５８Ｌを出力する。この学習用クラス２５８Ｌおよび正解クラス２５８ＣＡに基づいて、クロスエントロピー関数等を用いたシングルタスクＣＮＮ２５１の損失演算がなされる。そして、損失演算の結果（以下、損失Ｌ２と表記する）に応じてシングルタスクＣＮＮ２５１の各種係数の更新設定がなされ、更新設定にしたがってシングルタスクＣＮＮ２５１が更新される。
　シングルタスクＣＮＮ２５１の学習フェーズにおいては、学習用解剖区域画像６１ＬのシングルタスクＣＮＮ２５１への入力、シングルタスクＣＮＮ２５１からの学習用クラス２５８Ｌの出力、損失演算、更新設定、およびシングルタスクＣＮＮ２５１の更新の上記一連の処理が、学習データ２７５が交換されつつ繰り返し行われる。
　ＡＥ２５０の更新設定およびシングルタスクＣＮＮ２５１の更新設定は、下記の式（Ｂ）に示す総合損失Ｌに基づいて行われる。なお、αは重みである。
　Ｌ＝Ｌ１×α＋Ｌ２×（１－α）・・・（Ｂ）
　すなわち、総合損失Ｌは、ＡＥ２５０の損失Ｌ１とシングルタスクＣＮＮ２５１の損失Ｌ２との重み付き和である。
　一例として図３３に示すように、学習フェーズの初期段階においては、重みαには１が設定される。重みαを１とした場合、総合損失Ｌ＝Ｌ１となる。したがってこの場合はＡＥ２５０の学習のみが行われ、シングルタスクＣＮＮ２５１の学習は行われない。
　重みαは、学習が進むにつれて１から漸減され、やがて固定値（図３３においては０．８）となる。この場合、ＡＥ２５０の学習とシングルタスクＣＮＮ２５１の学習が、重みαに応じた強度でともに行われる。このように、損失Ｌ１に与えられる重みは、損失Ｌ２に与えられる重みよりも大きい。また、損失Ｌ１に与えられる重みは最高値の１から漸減され、かつ損失Ｌ２に与えられる重みは最低値の０から漸増され、さらに両者は固定値とされる。
　ＡＥ２５０およびシングルタスクＣＮＮ２５１の学習は、ＡＥ２５０による学習用解剖区域画像６１Ｌから学習用復元画像２５６Ｌへの復元精度が、予め定められた設定レベルまで達し、かつ、シングルタスクＣＮＮ２５１による正解クラス２５８ＣＡに対する学習用クラス２５８Ｌの予測精度が、予め定められた設定レベルまで達した場合に終了される。こうして復元精度および予測精度が設定レベルまで達したＡＥ２５０およびシングルタスクＣＮＮ２５１が、ストレージ２０に記憶されて学習済みの特徴量導出モデル２５２として用いられる。
　一例として図３４に概略的に示すように、本実施形態の検索処理部２７８には、対象画像１５ＴＩの特徴量セット群４５ＴＩおよび候補画像１５ＣＩの特徴量セット群４５ＣＩの代わりに、対象画像１５ＴＩの集約特徴量群ＺＡＧＴＩおよび候補画像１５ＣＩの集約特徴量群ＺＡＧＣＩが入力される。対象画像１５ＴＩの集約特徴量群ＺＡＧＴＩは、対象画像１５ＴＩの複数の解剖区域画像６１から導出された複数の集約特徴量ＺＡの集合である。同様に、候補画像１５ＣＩの集約特徴量群ＺＡＧＣＩは、候補画像１５ＣＩの複数の解剖区域画像６１から導出された複数の集約特徴量ＺＡの集合である。検索処理部２７８は、特徴量セット群４５ＴＩおよび４５ＣＩに代えて、集約特徴量群ＺＡＧＴＩおよびＺＡＧＣＩから類似度評価値７６を算出し、選定条件７５および算出した類似度評価値７６に基づいて類似画像１５ＳＩを選定する。
　なお、一例として図３５に示すように、対象画像１５ＴＩの集約特徴量群ＺＡＧＴＩから、対象画像１５ＴＩの患者Ｐの認知症の所見を得ることも可能である。この場合、ＰＡＣＳサーバ１１のＣＰＵ２７には、認知症所見導出部２８０が構築される。認知症所見導出部２８０は、対象画像１５ＴＩの集約特徴量群ＺＡＧＴＩおよび認知症関連情報２８１を認知症所見導出モデル２８２に入力する。認知症関連情報２８１は、例えば、認知症の診断を行う患者Ｐの性別、年齢、海馬の体積といった解剖区域の体積、長谷川式認知症スケール（ＨＤＳ－Ｒ；Ｒｅｖｉｓｅｄ　Ｈａｓｅｇａｗａ’ｓ　Ｄｅｍｅｎｔｉａ　Ｓｃａｌｅ）のスコアといった認知症テストのスコア、ＡｐｏＥ遺伝子の遺伝子型といった遺伝子検査の検査結果、アミロイドβ測定値といった髄液検査の検査結果、およびアポリポ蛋白質測定値といった血液検査の検査結果等を含む。
　認知症所見導出モデル２８２は、分位正規化部２８３および線形判別分析部２８４を有する。分位正規化部２８３には、集約特徴量群ＺＡＧＴＩと認知症関連情報２８１が入力される。分位正規化部２８３は、集約特徴量群ＺＡＧＴＩを構成する複数の集約特徴量ＺＡと、認知症関連情報２８１の各パラメータとを同列に扱うために、これらを正規分布にしたがうデータに変換する分位正規化（Ｑｕａｎｔｉｌｅ　Ｎｏｒｍａｌｉｚａｔｉｏｎ）を行う。線形判別分析部２８４は、分位正規化処理後の集約特徴量ＺＡおよび認知症関連情報２８１の各パラメータに対して線形判別分析（Ｌｉｎｅａｒ　Ｄｉｓｃｒｉｍｉｎａｎｔ　Ａｎａｌｙｓｉｓ）を行い、その結果として認知症所見情報２８５を出力する。認知症所見情報２８５は、現在軽度認知障害の患者Ｐが２年後も軽度認知障害のまま、あるいは２年後にアルツハイマー病に進行する、のいずれかである。
　このように、第７実施形態では、クラス２５８の出力といったメインタスクを行うシングルタスクＣＮＮ２５１と、シングルタスクＣＮＮ２５１と一部共通し、復元画像２５６の生成といったメインタスクよりも汎用的なサブタスクを行うＡＥ２５０とを、特徴量導出モデル２５２として用いる。そして、ＡＥ２５０とシングルタスクＣＮＮ２５１とを同時に学習させる。このため、ＡＥ２５０とシングルタスクＣＮＮ２５１が別々の場合と比べて、より適切な特徴量セット２５５および集約特徴量ＺＡを出力することができ、結果として、さらにより的確な類似画像１５ＳＩを検索することが可能となる。
　学習フェーズにおいては、ＡＥ２５０の損失Ｌ１とシングルタスクＣＮＮ２５１の損失Ｌ２との重み付き和である総合損失Ｌに基づいて更新設定を行う。このため、重みαを適値に設定することで、ＡＥ２５０を重点的に学習させたり、シングルタスクＣＮＮ２５１を重点的に学習させたり、ＡＥ２５０およびシングルタスクＣＮＮ２５１をバランスよく学習させたりすることができる。
　損失Ｌ１に与えられる重みは、損失Ｌ２に与えられる重みよりも大きい。このため、ＡＥ２５０を常に重点的に学習させることができる。ＡＥ２５０を常に重点的に学習させれば、解剖区域の形状およびテクスチャーの特徴をより表した特徴量セット２５５を圧縮部２５３から出力させることができ、結果としてより尤もらしい集約特徴量ＺＡを出力部２５７から出力させることができる。
　また、損失Ｌ１に与えられる重みを最高値から漸減し、かつ損失Ｌ２に与えられる重みを最低値から漸増して、学習が所定回数行われたら両者を固定値とする。このため、学習の初期段階にＡＥ２５０をより重点的に学習させることができる。ＡＥ２５０は、復元画像２５６の生成という比較的簡単なサブタスクを担う。したがって、学習の初期段階にＡＥ２５０をより重点的に学習させれば、解剖区域の形状およびテクスチャーの特徴をより表した特徴量セット２５５を、学習の初期段階において圧縮部２５３から出力させることができる。
　一例として図３６に示す表３００は、下記の文献Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、およびＧに記載の認知症の進行予測方法に係るＮｏ．１～７と、図３５で例示した認知症の進行予測方法に係るＮｏ．８および９との性能比較を示す。図３５で例示した認知症の進行予測方法のうち、Ｎｏ．８は、認知症所見導出モデル２８２に集約特徴量群ＺＡＧＴＩのみが入力され、認知症関連情報２８１が入力されない場合を示す。対してＮｏ．９は、認知症所見導出モデル２８２に集約特徴量群ＺＡＧＴＩおよび認知症関連情報２８１が入力される場合を示す。
　文献Ａ　＜Ｔａｍ，　Ａ．，　Ｄａｎｓｅｒｅａｕ，　Ｃ．，　Ｉｔｕｒｒｉａ－Ｍｅｄｉｎａ，　Ｙ．，　Ｕｒｃｈｓ，　Ｓ．，　Ｏｒｂａｎ，　Ｐ．，　Ｓｈａｒｍａｒｋｅ，　Ｈ．，　Ｂｒｅｉｔｎｅｒ，　Ｊ．，　＆　Ａｌｚｈｅｉｍｅｒ’ｓ　Ｄｉｓｅａｓｅ　Ｎｅｕｒｏｉｍａｇｉｎｇ　Ｉｎｉｔｉａｔｉｖｅ．，　“Ａ　ｈｉｇｈｌｙ　ｐｒｅｄｉｃｔｉｖｅ　ｓｉｇｎａｔｕｒｅ　ｏｆ　ｃｏｇｎｉｔｉｏｎ　ａｎｄ　ｂｒａｉｎ　ａｔｒｏｐｈｙ　ｆｏｒ　ｐｒｏｇｒｅｓｓｉｏｎ　ｔｏ　Ａｌｚｈｅｉｍｅｒ’ｓ　ｄｅｍｅｎｔｉａ．”，　ＧｉｇａＳｃｉｅｎｃｅ，　８　（５），　ｇｉｚ０５５　（２０１９）．＞
　文献Ｂ　＜Ｌｅｄｉｇ，　Ｃ．，　Ｓｃｈｕｈ，　Ａ．，　Ｇｕｅｒｒｅｒｏ，　Ｒ．，　Ｈｅｃｋｅｍａｎｎ，　Ｒ．　Ａ．，　＆　Ｒｕｅｃｋｅｒｔ，　Ｄ．，　“Ｓｔｒｕｃｔｕｒａｌ　ｂｒａｉｎ　ｉｍａｇｉｎｇ　ｉｎ　Ａｌｚｈｅｉｍｅｒ’ｓ　ｄｉｓｅａｓｅ　ａｎｄ　ｍｉｌｄ　ｃｏｇｎｉｔｉｖｅ　ｉｍｐａｉｒｍｅｎｔ：　ｂｉｏｍａｒｋｅｒ　ａｎａｌｙｓｉｓ　ａｎｄ　ｓｈａｒｅｄ　ｍｏｒｐｈｏｍｅｔｒｙ　ｄａｔａｂａｓｅ．”，　Ｓｃｉｅｎｔｉｆｉｃ　ｒｅｐｏｒｔｓ，　８　（１），　１１２５８　（２０１８）．＞
　文献Ｃ　＜Ｌｕ，　Ｄ．，　Ｐｏｐｕｒｉ，　Ｋ．，　Ｄｉｎｇ，　Ｇ．　Ｗ．，　Ｂａｌａｃｈａｎｄａｒ，　Ｒ．，　＆　Ｂｅｇ，　Ｍ．　Ｆ．，　“Ｍｕｌｔｉｍｏｄａｌ　ａｎｄ　ｍｕｌｔｉｓｃａｌｅ　ｄｅｅｐ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ　ｆｏｒ　ｔｈｅ　ｅａｒｌｙ　ｄｉａｇｎｏｓｉｓ　ｏｆ　Ａｌｚｈｅｉｍｅｒ’ｓ　ｄｉｓｅａｓｅ　ｕｓｉｎｇ　ｓｔｒｕｃｔｕｒａｌ　ＭＲ　ａｎｄ　ＦＤＧ－ＰＥＴ　ｉｍａｇｅｓ．”，　Ｓｃｉｅｎｔｉｆｉｃ　ｒｅｐｏｒｔｓ，　８　（１），　５６９７　（２０１８）．＞
　文献Ｄ　＜Ｂａｓａｉａ，　Ｓ．，　Ａｇｏｓｔａ，　Ｆ．，　Ｗａｇｎｅｒ，　Ｌ．，　Ｃａｎｕ，　Ｅ．，　Ｍａｇｎａｎｉ，　Ｇ．，　Ｓａｎｔａｎｇｅｌｏ，　Ｒ．，　　Ｆｉｌｉｐｐｉ，　Ｍ．，　Ａｕｔｏｍａｔｅｄ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｏｆ　Ａｌｚｈｅｉｍｅｒ’ｓ　ｄｉｓｅａｓｅ　ａｎｄ　ｍｉｌｄ　ｃｏｇｎｉｔｉｖｅ　ｉｍｐａｉｒｍｅｎｔ　ｕｓｉｎｇ　ａ　ｓｉｎｇｌｅ　ＭＲＩ　ａｎｄ　ｄｅｅｐ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ，　ＮｅｕｒｏＩｍａｇｅ：　Ｃｌｉｎｉｃａｌ　２１，　１０１６４５　（２０１９）．＞
　文献Ｅ　＜Ｎａｋａｇａｗａ，　Ｔ．，　Ｉｓｈｉｄａ，　Ｍ．，　Ｎａｉｔｏ，　Ｊ．，　Ｎａｇａｉ，　Ａ．，　Ｙａｍａｇｕｃｈｉ，　Ｓ．，　Ｏｎｏｄａ，　Ｋ．，　“Ｐｒｅｄｉｃｔｉｏｎ　ｏｆ　ｃｏｎｖｅｒｓｉｏｎ　ｔｏ　Ａｌｚｈｅｉｍｅｒ’ｓ　ｄｉｓｅａｓｅ　ｕｓｉｎｇ　ｄｅｅｐ　ｓｕｒｖｉｖａｌ　ａｎａｌｙｓｉｓ　ｏｆ　ＭＲＩ　ｉｍａｇｅｓ”，　Ｂｒａｉｎ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，　Ｖｏｌ．　２（１）　　（２０２０）．＞
　文献Ｆ　＜Ｌｅｅ，　Ｇ．，　Ｎｈｏ，　Ｋ．，　Ｋａｎｇ，　Ｂ．，　Ｓｏｈｎ，　Ｋ．　Ａ．，　＆　Ｋｉｍ，　Ｄ．，　“Ｐｒｅｄｉｃｔｉｎｇ　Ａｌｚｈｅｉｍｅｒ’ｓ　ｄｉｓｅａｓｅ　ｐｒｏｇｒｅｓｓｉｏｎ　ｕｓｉｎｇ　ｍｕｌｔｉ－ｍｏｄａｌ　ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ａｐｐｒｏａｃｈ．”，　Ｓｃｉｅｎｔｉｆｉｃ　ｒｅｐｏｒｔｓ，　９　（１），　１９５２　（２０１９）．＞
　文献Ｇ　＜Ｇｏｔｏ，　Ｔ．，　　Ｗａｎｇ，　Ｃ．，　Ｌｉ，　Ｙ．，　Ｔｓｕｂｏｓｈｉｔａ，　Ｙ．，　Ｍｕｌｔｉ－ｍｏｄａｌ　ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ｆｏｒ　ｐｒｅｄｉｃｔｉｎｇ　ｐｒｏｇｒｅｓｓｉｏｎ　ｏｆ　Ａｌｚｈｅｉｍｅｒ’ｓ　ｄｉｓｅａｓｅ　ｕｓｉｎｇ　ｂｉ－ｌｉｎｅａｒ　ｓｈａｋｅ　ｆｕｓｉｏｎ，　Ｐｒｏｃ．　ＳＰＩＥ　１１３１４，　Ｍｅｄｉｃａｌ　Ｉｍａｇｉｎｇ　（２０２０）．＞
　Ｎｏ．８および９の正解率（Ａｃｃｕｒａｃｙ）は０．８４および０．９０である。特にＮｏ．９の正解率の０．９０は、Ｎｏ．１～７のどの正解率よりも高い。Ｎｏ．８および９のＡＵＣ（Ａｒｅａ　Ｕｎｄｅｒ　ｔｈｅ　Ｃｕｒｖｅ）は０．９３および０．９７である。これらの値は、文献Ｅに記載の認知症の進行予測方法に係るＮｏ．５よりも大きい。したがって、図３５で例示した認知症の進行予測方法は、文献Ａ～Ｇに記載の従来の認知症の進行予測方法と比べて、より確度の高い認知症の進行予測を行うことができているといえる。
　Ｎｏ．８および９の敏感度（Ｓｅｎｓｉｔｉｖｉｔｙ）は０．８５および０．９１である。これらの値は、Ｎｏ．１～７のどの敏感度よりも高い。特にＮｏ．９の敏感度の０．９１は、この中では最高値である。したがって、図３５で例示した認知症の進行予測方法は、文献Ａ～Ｇに記載の従来の認知症の進行予測方法と比べて、現在軽度認知障害の患者Ｐが予測期間後にアルツハイマー病に進行することを、見逃さずに予測することができているといえる。
　Ｎｏ．８および９の特異度（Ｓｐｅｃｉｆｉｃｉｔｙ）は０．８４および０．９０である。これらの値は、文献Ａに記載の認知症の進行予測方法に係るＮｏ．１の０．９７等よりも小さいものの、他の文献Ｂ、Ｃ、Ｄ、およびＦと比べれば大きい。したがって、図３５で例示した認知症の進行予測方法は、他の多くの従来の認知症の進行予測方法と比べて、現在軽度認知障害の患者Ｐが予測期間後も軽度認知障害のままであると、より正確に予測することができているといえる。
　以上のことから、集約特徴量群ＺＡＧＴＩおよびＺＡＧＣＩは、対象画像１５ＴＩおよび候補画像１５ＣＩの特徴を的確に表しているといえる。したがって、さらにより的確な類似画像１５ＳＩを検索することが可能、という効果を得ることができる。
　なお、表３００において、学習用画像の項目のＡＤＮＩは、「Ａｌｚｈｅｉｍｅｒ’ｓ　Ｄｉｓｅａｓｅ　Ｎｅｕｒｏｉｍａｇｉｎｇ　Ｉｎｉｔｉａｔｉｖｅ」の略である。ＡＩＢＬは、「Ａｕｓｔｒａｌｉａｎ　Ｉｍａｇｉｎｇ　Ｂｉｏｍａｒｋｅｒｓ　ａｎｄ　Ｌｉｆｅｓｔｙｌｅ　Ｓｔｕｄｙ　ｏｆ　Ａｇｅｉｎｇ」の略である。Ｊ－ＡＤＮＩは、「Ｊａｐａｎｅｓｅ　Ａｌｚｈｅｉｍｅｒ’ｓ　Ｄｉｓｅａｓｅ　Ｎｅｕｒｏｉｍａｇｉｎｇ　Ｉｎｔｉａｔｉｖｅ」の略である。いずれも、アルツハイマー病に係る患者Ｐの頭部ＭＲＩ画像１５等が蓄積されたデータベースを示す。
　シングルタスクＣＮＮ２５１の代わりに、上記第４実施形態のマルチタスクＣＮＮ１２０を用いてもよい。また、対象画像１５ＴＩの集約特徴量群ＺＡＧＴＩではなく、対象画像１５ＴＩの特徴量セット群４５ＴＩに基づいて、患者Ｐの認知症の所見を導出してもよい。
　図１８で示したＡＥ９０の学習、図２５で示したシングルタスクＣＮＮ１１０の学習、図２７で示したマルチタスクＣＮＮ１２０の学習、および図３２で示したＡＥ２５０およびシングルタスクＣＮＮ２５１の学習等は、ＰＡＣＳサーバ１１において行ってもよいし、ＰＡＣＳサーバ１１以外の装置で行ってもよい。また、これらの学習は、ＰＡＣＳサーバ１１のストレージ２５に特徴量導出モデルを記憶した後に継続して行ってもよい。
　ＰＡＣＳサーバ１１とは別の装置が診断支援装置として機能してもよい。また、クライアント端末１２が診断支援装置として機能してもよい。
　医用画像は、例示の頭部ＭＲＩ画像１５に限らない。ＰＥＴ（Ｐｏｓｉｔｒｏｎ　Ｅｍｉｓｓｉｏｎ　Ｔｏｍｏｇｒａｐｈｙ）画像、ＳＰＥＣＴ（Ｓｉｎｇｌｅ　Ｐｈｏｔｏｎ　Ｅｍｉｓｓｉｏｎ　Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）画像、ＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）画像、内視鏡画像、超音波画像等でもよい。
　臓器は例示の脳に限らず、心臓、肺、肝臓等でもよい。肺の場合は、右肺Ｓ１、Ｓ２、左肺Ｓ１、Ｓ２等を解剖区域として抽出する。肝臓の場合は、右葉、左葉、胆嚢等を解剖区域として抽出する。また、疾病も例示の認知症に限らず、心臓病、肺炎、肝機能障害等でもよい。
　上記各実施形態において、例えば、ＲＷ制御部４０、前処理部４１、要求受付部４２、検索処理部４３および２７８、配信制御部４４、正規化部５０、抽出部５１、特徴量導出部５２および１３０、類似度評価値算出部７０および１０５、類似画像選定部７１、並びに認知症所見導出部２８０といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム３５）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ２７に加えて、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ:ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ　Ｏｎ　Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）を用いることができる。
　本開示の技術は、上述の種々の実施形態および／または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
　以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (12)

  1. 　プロセッサと、
    　前記プロセッサに接続または内蔵されたメモリと、を備え、
    　前記プロセッサは、
    　疾病の診断対象の医用画像である対象画像を取得し、
    　前記対象画像から臓器の複数の解剖区域を抽出し、
    　前記複数の解剖区域の画像を、前記複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、前記特徴量導出モデルから前記複数の解剖区域毎の複数の特徴量を出力させ、
    　前記複数の特徴量を用いて、前記対象画像の類似画像を検索し、
    　前記類似画像を出力する、
    診断支援装置。
  2. 　前記プロセッサは、
    　前記類似画像の候補画像からも前記複数の解剖区域を抽出し、
    　前記候補画像の前記複数の解剖区域の画像を、前記複数の特徴量導出モデルに入力し、前記特徴量導出モデルから前記複数の解剖区域毎の複数の特徴量を出力させ、
    　前記対象画像の前記複数の特徴量と前記候補画像の前記複数の特徴量とから、前記対象画像と前記候補画像との間の類似度評価値を算出し、
    　前記類似度評価値に基づいて前記候補画像から前記類似画像を選定する請求項１に記載の診断支援装置。
  3. 　前記プロセッサは、
    　前記類似度評価値を算出する場合に、前記対象画像の前記複数の特徴量と前記候補画像の前記複数の特徴量に対して、前記解剖区域に応じた重み付けを行う請求項２に記載の診断支援装置。
  4. 　前記特徴量導出モデルは、オートエンコーダ、シングルタスクのクラス判別用畳み込みニューラルネットワーク、およびマルチタスクのクラス判別用畳み込みニューラルネットワークのうちの少なくともいずれか１つを含む請求項１から請求項３のいずれか１項に記載の診断支援装置。
  5. 　前記プロセッサは、
    　１つの前記解剖区域の画像を、異なる複数の前記特徴量導出モデルに入力し、複数の前記特徴量導出モデルの各々から前記特徴量を出力させる請求項１から請求項４のいずれか１項に記載の診断支援装置。
  6. 　請求項２または請求項３を引用する請求項５に記載の診断支援装置において、
    　前記プロセッサは、
    　前記類似度評価値を算出する場合に、前記対象画像の前記複数の特徴量と前記候補画像の前記複数の特徴量に対して、異なる複数の前記特徴量導出モデルに応じた重み付けを行う診断支援装置。
  7. 　前記プロセッサは、
    　前記解剖区域の抽出に先立ち、取得した前記対象画像を標準医用画像に合わせる正規化処理を行う請求項１から請求項６のいずれか１項に記載の診断支援装置。
  8. 　前記臓器は脳であり、前記疾病は認知症である請求項１から請求項７のいずれか１項に記載の診断支援装置。
  9. 　前記複数の解剖区域は、海馬および前側頭葉のうちの少なくともいずれか１つを含む請求項８に記載の診断支援装置。
  10. 　疾病の診断対象の医用画像である対象画像を取得すること、
    　前記対象画像から臓器の複数の解剖区域を抽出すること、
    　前記複数の解剖区域の画像を、前記複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、前記特徴量導出モデルから前記複数の解剖区域毎の複数の特徴量を出力させること、
    　前記複数の特徴量を用いて、前記対象画像の類似画像を検索すること、および、
    　前記類似画像を出力すること、
    を含む診断支援装置の作動方法。
  11. 　疾病の診断対象の医用画像である対象画像を取得すること、
    　前記対象画像から臓器の複数の解剖区域を抽出すること、
    　前記複数の解剖区域の画像を、前記複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、前記特徴量導出モデルから前記複数の解剖区域毎の複数の特徴量を出力させること、
    　前記複数の特徴量を用いて、前記対象画像の類似画像を検索すること、および、
    　前記類似画像を出力すること、
    を含む処理をコンピュータに実行させるための診断支援装置の作動プログラム。
  12. 　プロセッサと、前記プロセッサに接続または内蔵されたメモリと、を備えるコンピュータが、
    　認知症の診断対象の脳が写った医用画像である対象画像を取得すること、
    　対象画像から脳の複数の解剖区域を抽出すること、
    　複数の解剖区域の画像を、複数の解剖区域毎に用意された複数の特徴量導出モデルに入力し、特徴量導出モデルから複数の解剖区域毎の複数の特徴量を出力させること、
    　複数の特徴量を用いて、対象画像の類似画像を検索すること、
    　および、類似画像を出力すること、を行う認知症診断支援方法。
PCT/JP2021/035196 2020-10-01 2021-09-24 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法 WO2022071160A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022553916A JPWO2022071160A1 (ja) 2020-10-01 2021-09-24

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020-167012 2020-10-01
JP2020167012 2020-10-01
JP2020217835 2020-12-25
JP2020-217835 2020-12-25

Publications (1)

Publication Number Publication Date
WO2022071160A1 true WO2022071160A1 (ja) 2022-04-07

Family

ID=80949130

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035196 WO2022071160A1 (ja) 2020-10-01 2021-09-24 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法

Country Status (2)

Country Link
JP (1) JPWO2022071160A1 (ja)
WO (1) WO2022071160A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010012176A (ja) * 2008-07-07 2010-01-21 Hamamatsu Photonics Kk 脳疾患診断システム
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム
WO2012032940A1 (ja) * 2010-09-07 2012-03-15 株式会社 日立メディコ 認知症診断支援装置及び認知症診断支援方法
JP2015208385A (ja) * 2014-04-24 2015-11-24 株式会社日立製作所 医用画像情報システム、医用画像情報処理方法及びプログラム
JP2016202904A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 診断支援装置、診断支援システム、情報処理方法、及びプログラム
US20170357753A1 (en) * 2016-05-23 2017-12-14 The Johns Hopkins University Direct estimation of patient attributes based on mri brain atlases
JP2020009186A (ja) * 2018-07-09 2020-01-16 キヤノンメディカルシステムズ株式会社 診断支援装置、診断支援方法、及び診断支援プログラム
CN110934606A (zh) * 2019-10-31 2020-03-31 上海杏脉信息科技有限公司 脑卒中早期平扫ct图像评估系统及评估方法、可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010012176A (ja) * 2008-07-07 2010-01-21 Hamamatsu Photonics Kk 脳疾患診断システム
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム
WO2012032940A1 (ja) * 2010-09-07 2012-03-15 株式会社 日立メディコ 認知症診断支援装置及び認知症診断支援方法
JP2015208385A (ja) * 2014-04-24 2015-11-24 株式会社日立製作所 医用画像情報システム、医用画像情報処理方法及びプログラム
JP2016202904A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 診断支援装置、診断支援システム、情報処理方法、及びプログラム
US20170357753A1 (en) * 2016-05-23 2017-12-14 The Johns Hopkins University Direct estimation of patient attributes based on mri brain atlases
JP2020009186A (ja) * 2018-07-09 2020-01-16 キヤノンメディカルシステムズ株式会社 診断支援装置、診断支援方法、及び診断支援プログラム
CN110934606A (zh) * 2019-10-31 2020-03-31 上海杏脉信息科技有限公司 脑卒中早期平扫ct图像评估系统及评估方法、可读存储介质

Also Published As

Publication number Publication date
JPWO2022071160A1 (ja) 2022-04-07

Similar Documents

Publication Publication Date Title
Yoo et al. Prostate cancer detection using deep convolutional neural networks
Nawaz et al. A deep feature-based real-time system for Alzheimer disease stage detection
CN111488914B (zh) 一种基于多任务学习的阿尔茨海默症分类及预测系统
JP5718760B2 (ja) 医用画像処理方法、記録媒体、及び医用画像処理装置
CN111563523B (zh) 利用机器训练的异常检测的copd分类
WO2021144230A1 (en) Method and system for automatically detecting anatomical structures in a medical image
EP3570288A1 (en) Method for obtaining at least one feature of interest
CN115131642B (zh) 一种基于多视子空间聚类的多模态医学数据融合系统
WO2020110519A1 (ja) 類似度決定装置、方法およびプログラム
US20230260629A1 (en) Diagnosis support device, operation method of diagnosis support device, operation program of diagnosis support device, dementia diagnosis support method, and trained dementia opinion derivation model
Hu et al. A GLCM embedded CNN strategy for computer-aided diagnosis in intracerebral hemorrhage
WO2020044735A1 (ja) 類似度決定装置、方法およびプログラム
Kaur et al. A review on optimization techniques for medical image analysis
US20230260630A1 (en) Diagnosis support device, operation method of diagnosis support device, operation program of diagnosis support device, and dementia diagnosis support method
CN112912008A (zh) 权重图像生成装置、方法及程序、判别器学习装置、方法及程序、区域提取装置、方法及程序以及判别器
Özbay et al. Brain tumor detection with mRMR-based multimodal fusion of deep learning from MR images using Grad-CAM
Dieckhaus et al. Logistic regression–based model is more efficient than u-net model for reliable whole brain magnetic resonance imaging segmentation
WO2022071160A1 (ja) 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法
WO2022138960A1 (ja) 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム
Goenka et al. Patch-based classification for Alzheimer disease using sMRI
CN113205472A (zh) 基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法
US20230335283A1 (en) Information processing apparatus, operation method of information processing apparatus, operation program of information processing apparatus
CN112601494A (zh) 相似度确定装置、方法及程序
Guttulsrud Generating Synthetic Medical Images with 3D GANs
Sawyer et al. Evaluation of segmentation algorithms for optical coherence tomography images of ovarian tissue

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21875462

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022553916

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21875462

Country of ref document: EP

Kind code of ref document: A1