WO2022264757A1 - 医用画像診断システム、医用画像診断方法及びプログラム - Google Patents

医用画像診断システム、医用画像診断方法及びプログラム Download PDF

Info

Publication number
WO2022264757A1
WO2022264757A1 PCT/JP2022/021224 JP2022021224W WO2022264757A1 WO 2022264757 A1 WO2022264757 A1 WO 2022264757A1 JP 2022021224 W JP2022021224 W JP 2022021224W WO 2022264757 A1 WO2022264757 A1 WO 2022264757A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
determination
normal
processor
image
Prior art date
Application number
PCT/JP2022/021224
Other languages
English (en)
French (fr)
Inventor
正治 守田
潤 桝本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023529713A priority Critical patent/JPWO2022264757A1/ja
Priority to EP22824751.6A priority patent/EP4358022A1/en
Publication of WO2022264757A1 publication Critical patent/WO2022264757A1/ja
Priority to US18/533,069 priority patent/US20240112345A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a medical image diagnostic system, a medical image diagnostic method, and a program, and more particularly to technology for supporting medical image diagnosis.
  • AI Artificial Intelligence
  • Patent Document 1 regarding abnormal shadow candidates detected from a medical image, only detection information of abnormal shadow candidates suspected of being true positive abnormal shadows and/or abnormal shadow candidates with low visibility is provided, Disclosed is a medical image processing system that prevents doctors from overlooking and improves the efficiency of interpretation work.
  • a medical checkup is being conducted to check the health status of the subject.
  • examinees are mainly healthy persons, and the purpose of diagnosis, target organs, and target diseases are limited.
  • Physicians need to judge whether there is a real abnormality, diagnose the possible disease name, and prepare a detailed report for areas that may be abnormal in the medical images obtained in the medical examination. These tasks are important.
  • the doctor must also confirm the image without abnormal areas. For example, in the case of health checkups mainly for young people, it is unlikely that there will be patients with abnormalities, so the doctor must check many "images with no abnormalities", which is a heavy burden on the doctor.
  • lesion detection AI In contrast, it is conceivable to support image diagnosis with lesion detection AI.
  • a lesion detection AI is usually created for each disease, and there are a huge number of types of diseases, making it difficult to create an AI that corresponds to all diseases.
  • the amount of learning data for rare diseases is small, making it difficult to create a lesion detection AI.
  • lesion detection AI cannot be created for unknown diseases, doctors are also responsible for diagnosing unknown diseases.
  • the number of lesion detection AIs increases and the accuracy of each increases, there is a problem that there is a limit to the final output accuracy of lesion detection AIs.
  • the present invention has been made in view of such circumstances, and provides a medical image diagnostic system, a medical image diagnostic method, and a medical image diagnostic method that reduce the burden on a doctor when image diagnosis is performed on a large number of medical images, such as in a medical examination.
  • the purpose is to provide a program.
  • One aspect of a medical imaging diagnostic system for achieving the above object comprises at least one processor and at least one memory storing instructions for causing the at least one processor to execute, the at least one processor comprising: performing a first determination for determining whether or not a medical image obtained by photographing a subject is normal, and if it is determined in the first determination that the medical image is not normal; It is a medical image diagnostic system that performs a second determination to determine whether or not there is an abnormality.
  • a normal medical image is, for example, a case where the medical image can be said to be an image of a healthy person.
  • a healthy person is a healthy person, eg, a person who is free from disease, disease, and lesions. According to this aspect, it is possible to reduce the burden on a doctor when performing image diagnosis on a large number of medical images.
  • At least one processor performs a third determination to determine the presence or absence of abnormality from the medical image when the medical image is determined to be normal in the first determination.
  • At least one processor preferably makes the third determination at a different timing than the second determination.
  • At least one processor performs a first determination using the probability that the medical image is normal, and if the first determination determines that the medical image is normal with a probability lower than a first threshold, It is preferable to make the determination of 3.
  • the at least one processor performs a first determination using a first trained model that outputs whether or not the medical image is normal when a medical image is input, and performs a first determination of a medical image determined to be abnormal in the third determination.
  • the images are used to retrain the first trained model.
  • the first trained model is preferably a trained model trained using a combination of abnormal medical images and normal medical images, and labels indicating the presence or absence of an abnormality as a learning data set.
  • At least one processor performs a fourth determination for determining the presence or absence of an abnormality from the medical image when the second determination determines that there is no abnormality, and in the fourth determination, the sensitivity is higher than the sensitivity in the second determination. It is preferable to determine the presence or absence of an abnormality from a medical image with relatively high sensitivity.
  • the at least one processor determines, in a first case, that the medical image is normal in the first determination, that the medical image is not normal in the first determination, and that there is an abnormality in the second determination.
  • the first case and the second case It is preferable to display the discrimination result of the medical image on the display in different manners for the case and the third case.
  • the at least one processor causes the display to display the medical image discrimination results in different manners in the second case and the third case.
  • the at least one processor preferably performs different post-processing on the medical image in the first case, the second case and the third case.
  • At least one processor preferably performs the first discrimination and the second discrimination for each organ of the subject from the medical image.
  • the at least one processor makes the second determination using a second trained model that outputs abnormalities in the medical image when the medical image is input.
  • One aspect of the medical image diagnostic method for achieving the above object comprises: a first determination step of determining whether or not a medical image obtained by photographing a subject is normal; and a second determination step of determining whether or not there is an abnormality in the medical image if the step determines that the medical image is not normal. According to this aspect, it is possible to reduce the burden on a doctor when performing image diagnosis on a large number of medical images.
  • One aspect of the program for achieving the above object is a program for causing a computer to execute the above medical image diagnosis method.
  • a computer-readable non-transitory storage medium in which this program is recorded may also be included in this embodiment.
  • FIG. 1 is a block diagram of a medical image diagnostic system according to this embodiment.
  • FIG. 2 is a flow chart showing a medical image diagnosis method.
  • FIG. 3 is a process diagram showing a medical image diagnosis method.
  • FIG. 4 is a diagram showing a display form.
  • FIG. 5 is a diagram showing a display form.
  • FIG. 6 is a diagram showing a display form.
  • FIG. 7 is a diagram showing a display form.
  • the medical image diagnostic system determines whether there is an abnormality in a large number of medical images such as a health checkup, and determines whether the medical image is normal (whether the image is of a healthy person). This reduces the burden on the doctor when performing the determination of
  • FIG. 1 is a block diagram of a medical image diagnostic system 10 according to this embodiment.
  • the medical image diagnostic system 10 includes a modality 12, an image storage server 14, each company's CAD (Computer-Aided Diagnosis) processing server 18, a results integration CAD processing server 16, a PACS (Picture Archiving and Communication System) viewer 20;
  • CAD Computer-Aided Diagnosis
  • PACS Physical Archiving and Communication System
  • the modality 12, the image storage server 14, each company's CAD processing server 18, the results integration CAD processing server 16, and the PACS viewer 20 are each connected to a communication network such as the Internet so that data can be sent and received.
  • the modality 12 is an imaging device that captures an image of the inspection target site of the subject and generates a medical image.
  • the modality 12 includes, for example, an X-ray imaging device, a CT (Computed Tomography) device, an MRI (Magnetic Resonance Imaging) device, a PET (Positron Emission Tomography) device, an ultrasonic device, and a CR (Computed Radiography) device using a plane X-ray detector. ) devices.
  • the image storage server 14 is a server that manages medical images captured by the modality 12 .
  • a computer having a large-capacity storage device is applied to the image storage server 14 .
  • the computer incorporates software that provides the functionality of the data storage system.
  • the image storage server 14 acquires medical images captured by the modality 12 and stores them in a large-capacity storage device.
  • DICOM Digital Imaging and COmmunications in Medicine
  • a medical image may be added with DICOM tag information defined in the DICOM standard.
  • image in this specification can include the meaning of image data, which is a signal representing an image, in addition to the meaning of the image itself such as a photograph.
  • the result integration CAD processing server 16 includes a first determination unit 16A.
  • the first determination unit 16A performs a first determination of whether or not the medical image acquired from the image storage server 14 is normal for each organ. Whether or not the medical image is normal is, for example, whether or not the medical image can be said to be an image of a healthy person.
  • a healthy person is a healthy person, eg, a person who is free from disease, disease, and lesions.
  • the first determination result of the first determination unit 16A is linked to the medical image in the image storage server 14 and stored in a large-capacity storage device.
  • the result integration CAD processing server 16 comprises a processor 16B and a memory 16C.
  • Processor 16B executes instructions stored in memory 16C.
  • the hardware structure of the processor 16B is various processors as shown below.
  • Various processors include a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) and acts as various functional units, a GPU (Graphics Processing Unit), which is a processor specialized for image processing, A circuit specially designed to execute specific processing such as PLD (Programmable Logic Device), which is a processor whose circuit configuration can be changed after manufacturing such as FPGA (Field Programmable Gate Array), ASIC (Application Specific Integrated Circuit), etc. Also included are dedicated electrical circuits, which are processors with configuration, and the like.
  • One processing unit may be composed of one of these various processors, or two or more processors of the same or different type (for example, a plurality of FPGAs, a combination of CPU and FPGA, or a combination of CPU and GPU).
  • a plurality of functional units may be configured by one processor.
  • a single processor is configured by combining one or more CPUs and software.
  • a processor acts as a plurality of functional units.
  • SoC System On Chip
  • various functional units are configured using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor elements.
  • the memory 16C stores instructions to be executed by the processor 16B.
  • the memory 16C includes RAM (Random Access Memory) and ROM (Read Only Memory), not shown.
  • the processor 16B uses the RAM as a work area, executes software using various programs and parameters including a medical image processing program stored in the ROM, and uses the parameters stored in the ROM or the like to obtain the result Various processes of the integrated CAD processing server 16 are executed.
  • Each company's CAD processing server 18 is composed of a plurality of CAD processing servers owned by a plurality of companies. Each company's CAD processing server 18 may be a single CAD processing server. Each company's CAD processing server 18 includes a second determination unit 18A.
  • the second determination unit 18A is a medical image acquired from the image storage server 14, and performs an abnormality detection process for each organ on a medical image determined to be abnormal by at least the first determination unit 16A, It includes a program for performing a second determination for determining the presence or absence of one or more abnormalities from a medical image. Abnormalities include, for example, at least one of diseases, illnesses, and lesions.
  • the second determination result of the second determination unit 18A is linked to the medical image in the image storage server 14 and stored in the large-capacity storage device.
  • the second determination unit 18A may be provided in the result integration CAD processing server 16.
  • the PACS viewer 20 is a terminal device used by a user such as a doctor, and for example, a known image viewer for interpretation is applied.
  • PACS viewer 20 may be a personal computer, workstation, or tablet terminal.
  • the PACS viewer 20 comprises an input device 20A and a display 20B.
  • the input device 20A includes a pointing device such as a mouse and an input device such as a keyboard.
  • a user can input instructions to the medical image diagnostic system 10 using the input device 20A.
  • the display 20B displays screens required for operations on the input device 20A and functions as a part that implements a GUI (Graphical User Interface).
  • a medical image captured by the modality 12 is displayed on the display 20B.
  • the first determination result and the second determination result are displayed as CAD results on the display 20B.
  • a touch panel display in which the input device 20A and the display 20B are integrated may be applied to the PACS viewer 20 .
  • FIG. 2 is a flow chart showing a medical image diagnostic method using the medical image diagnostic system 10.
  • FIG. 3 is a process diagram showing the medical image diagnosis method.
  • the medical image diagnosis method is implemented by the processor 16B executing a medical image diagnosis program (medical image diagnosis support program) stored in the memory 16C.
  • a processor not shown
  • the medical image diagnostic program may be provided by a computer-readable non-transitory storage medium.
  • the result integration CAD processing server 16 may read the medical image diagnosis program from the non-temporary storage medium and store it in the memory 16C.
  • the medical image diagnostic method is performed for each organ of the subject.
  • a case of diagnosing a lung CT image will be described.
  • step S1 the processor 16B of the result integration CAD processing server 16 causes the image storage server 14 to acquire a CT image of the subject's lungs captured by the modality 12.
  • the image storage server 14 acquires CT images captured by the modality 12 .
  • step S2 the processor 16B inputs the CT image acquired by the image storage server 14 to the first determination unit 16A.
  • the first determination unit 16A includes a normality determination AI 16D that determines whether the medical image is normal.
  • the normality determination AI 16D is a trained model (an example of a "first trained model") that determines whether a CT image of the lung is normal when it is input, and includes a convolutional neural network.
  • the normal discrimination AI 16D is generated by deep learning using a learning data set of medical images and labels indicating the presence or absence of abnormality.
  • the normal discrimination AI 16D is generated by deep learning using a learning data set of normal CT images and normal labels and a learning data set of abnormal CT images and abnormal labels.
  • a normal CT image is a CT image of a healthy subject.
  • a non-normal CT image is a CT image with some abnormality, such as a CT image of a person having at least one of disease, disease, and lesion.
  • the normality determination AI 16D is generated to output the degree of normality of the input CT image as a numerical value (score, an example of "probability").
  • the normality determination AI 16D outputs that the CT image is not normal when the degree of normality of the CT image is less than a predetermined threshold, and outputs that the CT image is normal when the degree of normality of the CT image is greater than or equal to the threshold.
  • the first determination unit 16A inputs the CT image to the normal determination AI 16D and performs the first determination (process P1).
  • step S3 the processor 16B acquires the first determination result from the first determination unit 16A, and determines whether the CT image is normal from the first determination result. That is, the processor 16B determines whether or not there is an abnormality in the CT image. If the CT image is normal (an example of "first case", process P2), the process proceeds to step S4, and if the CT image is not normal (process P3), the process proceeds to step S5.
  • step S4 the processor 16B causes the display 20B of the PACS viewer 20 to display the normal CT image in the display mode A, and performs post-processing in the processing mode A (process P4). Further, the processor 16B adds the “type A” incidental information to the CT image, stores it in the image storage server 14, and ends the processing of this flowchart.
  • the post-processing of processing mode A is an example of post-processing in the first case where the medical image is determined to be normal in the first determination.
  • step S5 an example of a "second determination step”
  • the processor 16B inputs an abnormal CT image to the CAD processing server 18 of each company.
  • Each company's CAD processing server 18 inputs the CT image to the second determination unit 18A and acquires the second determination result (process P5).
  • the second discrimination unit 18A includes a lesion detection AI 18B manufactured by Company A that detects disease ⁇ , a lesion detection AI 18C manufactured by Company A that detects disease ⁇ , and a lesion detection AI 18C manufactured by Company A that detects disease ⁇ .
  • disease ⁇ is lung cancer
  • disease ⁇ is pneumonia
  • disease ⁇ is pneumothorax.
  • Each of the lesion detection AIs 18B to 18F outputs a trained model (“second trained model”) that outputs a diseased area (lesion area, an example of “abnormality”) in the CT image when a lung CT image is input. ), each containing a convolutional neural network.
  • Each of the lesion detection AIs 18B to 18F is generated by performing deep learning on CT images of the lungs, using label images obtained by labeling each diseased region by a doctor as learning data.
  • Each of the lesion detection AIs 18B to 18F is set to obtain the probability of each disease for each pixel of the CT image, and pixels exceeding a predetermined threshold are regarded as the region of the disease.
  • Each of the lesion detection AIs 18B to 18F has a higher specificity than when performing lesion detection independently, that is, the threshold is set relatively high. As a result, each of the lesion detection AIs 18B-18F detects locations with a higher possibility of lesions. This is because there are few abnormalities in physical examinations and the like.
  • the second discrimination unit 18A inputs the CT image to each lesion detection AI 18B-18F.
  • Each of the lesion detection AIs 18B to 18F performs lesion detection processing from the CT image and outputs the result as the second determination result.
  • step S6 the processor 16B acquires and integrates the second determination results from the second determination unit 18A (process P6).
  • step S7 the processor 16B determines whether or not there is an abnormality (here, lesion) in the CT image from the integrated second determination result. If there is an abnormality in the CT image (an example of "second case", process P7), the process proceeds to step S8, and if there is no abnormality in the CT image (an example of "third case", process P8) goes to step S9.
  • an abnormality here, lesion
  • step S8 the processor 16B causes the display 20B of the PACS viewer 20 to display the abnormal CT image in the display mode B, and performs post-processing in the processing mode B (process P9).
  • the post-processing of processing mode B is an example of post-processing in the second case where the medical image is determined to be abnormal in the first determination and abnormal in the second determination.
  • the processor 16B adds the “type B” incidental information to the CT image, stores it in the image storage server 14, and ends the processing of this flowchart.
  • step S9 the processor 16B causes the display 20B of the PACS viewer 20 to display the CT image with no abnormality in the display mode C, and performs post-processing in the processing mode C (process P10).
  • the post-processing of processing mode C is an example of post-processing in the third case where the medical image is determined to be abnormal in the first determination and not abnormal in the second determination.
  • the processor 16B adds the "type C" incidental information to the CT image, stores it in the image storage server 14, and terminates the processing of this flowchart.
  • the processor 16B causes the display 20B to display the determination result in different modes for the display mode A, the display mode B, and the display mode C. That is, the processor 16B causes the display 20B to display the determination result in the display mode A in a manner different from the display modes B and C. FIG. The processor 16B may cause the display 20B to display the determination results in different modes for the display mode B and the display mode C, respectively.
  • FIG. 4 is a diagram showing display form A. As shown in FIG. As shown in FIG. 4, in the display form A, a CT image I1 is displayed on the display 20B. Further, in the display mode A , an explanatory text T1 for the CT image I1 is displayed in the area on the right side of the CT image I1. In this case, the explanation T1 "Determined as normal by CAD" is displayed on the display 20B. Since there is a high possibility that the CT image I1 is not abnormal, only a display indicating that the CT image I1 is normal may be performed without displaying the CT image I1, and confirmation by the doctor may be skipped.
  • FIG. 5 is a diagram showing a display form B.
  • FIG. 5 in the display mode B, the CT image I2 is displayed on the display 20B, and the marker M1 surrounding the lesion area of the CT image I2 is superimposed on the CT image I2 .
  • an explanation T2 for the CT image I2 which is an explanation T2 for the lesion area surrounded by the markers M1, is displayed in the area on the right side of the CT image I2 .
  • the lesion area is detected by a lesion detection AI 18B manufactured by Company A that detects disease ⁇ (lung cancer), and the explanatory text T2 "Detected by lung cancer detection CAD manufactured by Company A " is displayed on the display 20B. .
  • FIG. 6 is a diagram showing display form C.
  • a CT image I3 is displayed on the display 20B, and a marker M2 surrounding the entire CT image I3 is superimposed on the CT image I3 .
  • an explanatory text T3 related to the marker M2 which is the explanatory text T3 for the CT image I3 , is displayed in the area on the right side of the CT image I3 .
  • an explanation T3 is displayed on the display 20B, stating "Cannot be determined to be normal by the normality determination AI. However, no abnormality is reported by any of the CADs." In this way, by using a display form different from the display form A and the display form B, it is possible to correct the judgment that depends too much on the lesion detection AI.
  • processor 16B performs post-processing in different modes for the processing mode A and the processing modes B and C, respectively.
  • processing mode A a flag is set so that the check by the doctor is simple, and in processing mode B and processing mode C, the flag is not set.
  • the display order of the interpretation/examination list for the doctor to check the medical images may be changed so that the CT images of the processing mode B and the CT images of the processing mode C are prioritized over the CT images of the processing mode A. good.
  • the processor 16B may perform post-processing in different modes for the processing mode B and the processing mode C, respectively.
  • the medical image diagnosis method it is possible to determine whether the medical image is normal in the first determination unit 16A. Further, when the first determination unit 16A determines that the medical image is not normal, the second determination unit 18A can determine the presence or absence of an abnormality from the medical image. Therefore, it is possible to reduce the burden on doctors when performing image diagnosis on a large number of medical images.
  • the second determination unit 18A determines whether there is an abnormality from the medical image. may be performed.
  • the third determination process may be performed when the medical image is determined to be normal with a probability lower than a predetermined first threshold in the first determination.
  • the third determination process is also an example of post-processing in the first case where the medical image is determined to be normal in the first determination.
  • the normal determination AI 16D may be re-learned using the learning data set of the CT image and the abnormal label. As a result, it is possible to determine that the CT image is not normal in the normal determination AI 16D.
  • the sensitivity of the normal determination AI 16D may be changed to a value at which the CT image is considered abnormal.
  • the second determination unit 18A may again perform the fourth determination process of determining the presence or absence of an abnormality from the medical image.
  • the fourth determination process is performed with a higher sensitivity than the second determination process (lower specificity than the second determination process) until it is determined that an abnormality exists, that is, the threshold is set relatively low. You can do it.
  • the fourth determination process is also an example of post-processing in the third case where the first determination determined that the medical image was not normal and the second determination determined that there was no abnormality.
  • the fourth discrimination process extracts lesions based on evaluation criteria that are acceptable even if a non-disease is discriminated as a disease, and reports it to the doctor. Assuming that the display form in this case is display form D, it is desirable to present to the doctor that the lesion is extracted in display form D with increased sensitivity.
  • FIG. 7 is a diagram showing a display form D.
  • FIG. 7 in the display mode D, the CT image I3 is displayed on the display 20B, the marker M2 surrounding the entire CT image I3 is superimposed on the CT image I3 , and the lesion of the CT image I3 is displayed.
  • a marker M3 surrounding the region is superimposed on the CT image I3 .
  • the marker M3 is displayed with a dashed line to indicate that it is a lesion detected with increased sensitivity.
  • an explanatory text T4 related to the marker M3 which is the explanatory text T4 for the CT image I2 , is displayed in the area on the right side of the CT image I2 .
  • an explanation T4 is displayed on the display 20B, stating, "The lung cancer was detected by the detection CAD made by company A as a result of the CAD processing again with increased sensitivity because the normal determination CAD cannot be said to be normal.”
  • a slider bar SB for setting the sensitivity of the second discrimination section 18A may be displayed in the display mode C.
  • the third determination process may be performed with the set sensitivity, and the display form D shown in FIG. 7 may be entered.
  • the medical image and the determination result are associated with each other as usual without performing the above-described third and fourth determination processes. and save it in the image saving server 14 .
  • each of the lesion detection AIs of the second discrimination unit 18A extracts liver cancer, multiple cysts, cirrhosis, and fatty liver from a CT image including the liver, and each of the above-described processes is performed.
  • each of the above-described processes may be performed on a medical image including other organs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

健康診断等のように大量の医用画像に対して画像診断を行う際に医師の負担を軽減する医用画像診断システム、医用画像診断方法及びプログラムを提供する。少なくとも１つのプロセッサと、少なくとも１つのプロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、を備え、少なくとも１つのプロセッサは、被検者を撮影して得られた医用画像が正常であるか否かを判別する第１の判別を行い、第１の判別において医用画像が正常でないと判別された場合に、医用画像から異常の有無を判別する第２の判別を行う医用画像診断システムによって上記課題を解決する。

Description

医用画像診断システム、医用画像診断方法及びプログラム
　本発明は医用画像診断システム、医用画像診断方法及びプログラムに係り、特に医用画像の診断を支援する技術に関する。
　ＡＩ（Artificial Intelligence）によって医用画像中の異常領域の発見、及び診断の支援を行うシステムが知られている。
　例えば、特許文献１には、医用画像から検出された異常陰影候補について、真陽性の異常陰影であるかどうか疑わしい異常陰影候補及び／又は視認性の低い異常陰影候補の検出情報のみを提供し、医師の見落とし防止、読影作業の効率化を図る医用画像処理システムが開示されている。
特開２００６－３４０８３５号公報
　健康管理のために、被検者の健康の状態を検査する健康診断が行われている。健康診断では、被検者は健常者がメインであり、診断目的、対象臓器、及び対象疾病が限定されている。健康診断で得られた医用画像の異常の可能性がある領域に対して、医師は、本当に異常なのかの判断、考えられる病名の診断、及び詳細な報告書の作成等をする必要があり、これらの作業が重要となる。
　一方、医師は、異常領域のない画像の確認もしなければならない。例えば、若年層中心の健康診断の場合、異常のある患者が存在する可能性が低いため、多数の「異常なし画像」を医師が確認しなければならず、医師にとって負荷が大きい。
　これに対し、病変検出ＡＩによって画像診断を支援することが考えられる。しかしながら、病変検出ＡＩは、疾病毎に作成されることが通常であり、疾患の種類は膨大で、全ての疾患に対応したＡＩを作成することは難しい。また、希少疾患は学習データ数が少なく、病変検出ＡＩを作ることが難しい。さらに、未知の病気に対しては病変検出ＡＩを作ることができないが、未知の病気に対しても、医師には診断責任がある。このように、病変検出ＡＩの数が増えても、それぞれの精度が上がっても、最終的な病変検出ＡＩの出力精度には限界があるという課題があった。
　また、対象疾病数とメーカ数とを考慮すると、病変検出ＡＩのラインナップは膨大になる。このため、入力された画像すべてに対し、存在する全種類の病変検出ＡＩ処理を実行させることは、ハードウェアリソース、及び処理時間の面から難しいという課題があった。
　本発明はこのような事情に鑑みてなされたもので、健康診断等のように大量の医用画像に対して画像診断を行う際に医師の負担を軽減する医用画像診断システム、医用画像診断方法及びプログラムを提供することを目的とする。
　上記目的を達成するための医用画像診断システムの一の態様は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、を備え、少なくとも１つのプロセッサは、被検者を撮影して得られた医用画像が正常であるか否かを判別する第１の判別を行い、第１の判別において医用画像が正常でないと判別された場合に、医用画像から異常の有無を判別する第２の判別を行う医用画像診断システムである。医用画像が正常であるとは、例えば医用画像が健常者の画像といえる場合である。健常者とは、健康な者であり、例えば疾患、疾病、及び病変を有していない者である。本態様によれば、大量の医用画像に対して画像診断を行う際に医師の負担を軽減することができる。
　少なくとも１つのプロセッサは、第１の判別において医用画像が正常であると判別された場合に、医用画像から異常の有無を判別する第３の判別を行うことが好ましい。
　少なくとも１つのプロセッサは、第３の判別を、第２の判別とは異なるタイミングで行うことが好ましい。
　少なくとも１つのプロセッサは、医用画像が正常である確率を用いて第１の判別を行い、第１の判別において医用画像が第１の閾値より低い確率で正常であると判別された場合に、第３の判別を行うことが好ましい。
　少なくとも１つのプロセッサは、医用画像を入力すると医用画像が正常であるか否かを出力する第１の学習済みモデルによって第１の判別を行い、第３の判別において異常があると判別された医用画像を用いて第１の学習済みモデルを再学習させることが好ましい。
　第１の学習済みモデルは、異常のある医用画像及び異常のない医用画像と、異常の有無を示すラベルとの組み合わせを学習データセットとして学習された学習済みモデルであることが好ましい。
　少なくとも１つのプロセッサは、第２の判別において異常がないと判別された場合に、医用画像から異常の有無を判別する第４の判別を行い、第４の判別において、第２の判別における感度よりも相対的に高い感度で医用画像から異常の有無を判別することが好ましい。
　少なくとも１つのプロセッサは、第１の判別において医用画像が正常であると判別された第１の場合、第１の判別において医用画像が正常ではないと判別されかつ第２の判別において異常があると判別された第２の場合、及び第１の判別において医用画像が正常ではないと判別されかつ第２の判別において異常がないと判別された第３の場合について、第１の場合と第２の場合及び第３の場合とで異なる態様で医用画像の判別結果をディスプレイに表示させることが好ましい。
　少なくとも１つのプロセッサは、第２の場合と第３の場合とで異なる態様で医用画像の判別結果をディスプレイに表示させることが好ましい。
　少なくとも１つのプロセッサは、第１の場合と第２の場合及び第３の場合とで医用画像に関してそれぞれ異なる後処理を行うことが好ましい。
　少なくとも１つのプロセッサは、医用画像から被検者の臓器ごとに第１の判別及び第２の判別を行うことが好ましい。
　少なくとも１つのプロセッサは、医用画像を入力すると医用画像の異常を出力する第２の学習済みモデルによって第２の判別を行うことが好ましい。
　上記目的を達成するための医用画像診断方法の一の態様は、被検者を撮影して得られた医用画像が正常であるか否かを判別する第１の判別工程と、第１の判別工程において医用画像が正常でないと判別された場合に、医用画像から異常の有無を判別する第２の判別工程と、を備える医用画像診断方法である。本態様によれば、大量の医用画像に対して画像診断を行う際に医師の負担を軽減することができる。
　上記目的を達成するためのプログラムの一の態様は、上記の医用画像診断方法をコンピュータに実行させるためのプログラムである。このプログラムが記録された、コンピュータが読み取り可能な非一時的記憶媒体も本態様に含んでよい。
　本発明によれば、大量の医用画像に対して画像診断を行う場合に医師の負担を軽減することができる。
図１は、本実施形態に係る医用画像診断システムのブロック図である。 図２は、医用画像診断方法を示すフローチャートである。 図３は、医用画像診断方法を示すプロセス図である。 図４は、表示形態を示す図である。 図５は、表示形態を示す図である。 図６は、表示形態を示す図である。 図７は、表示形態を示す図である。
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。
　〔医用画像診断システム（医用画像診断支援システム）の構成〕
　本実施形態に係る医用画像診断システムは、健康診断等のように大量の医用画像に対して異常の有無の判別と医用画像が正常であるか否か（健常者の画像であるか否か）の判別とを行う場合に医師の負担を軽減するものである。
　図１は、本実施形態に係る医用画像診断システム１０のブロック図である。図１に示すように、医用画像診断システム１０は、モダリティ１２と、画像保存サーバ１４と、各社ＣＡＤ（Computer-Aided Diagnosis）処理サーバ１８と、結果統合ＣＡＤ処理サーバ１６と、ＰＡＣＳ（Picture Archiving and Communication System）ビューワ２０と、を備える。
　モダリティ１２と、画像保存サーバ１４と、各社ＣＡＤ処理サーバ１８と、結果統合ＣＡＤ処理サーバ１６と、ＰＡＣＳビューワ２０とは、それぞれインターネット等の通信ネットワークにデータを送受信可能に接続される。
　モダリティ１２は、被検者の検査対象部位を撮像し、医用画像を生成する撮像装置である。モダリティ１２は、例えばＸ線撮像装置、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、超音波装置、及び平面Ｘ線検出器を用いたＣＲ（Computed Radiography）装置のうちの少なくとも１つを含む。
　画像保存サーバ１４は、モダリティ１２によって撮影された医用画像を管理するサーバである。画像保存サーバ１４は、大容量ストレージ装置を備えるコンピュータが適用される。コンピュータには、データ保存システムの機能を提供するソフトウェアが組み込まれる。画像保存サーバ１４は、モダリティ１２において撮影された医用画像を取得し、大容量ストレージ装置に保存する。
　医用画像のフォーマットは、ＤＩＣＯＭ（Digital Imaging and COmmunications in Medicine）規格を適用可能である。医用画像は、ＤＩＣＯＭ規格において規定されたＤＩＣＯＭタグ情報が付加されてもよい。なお、本明細書における画像という用語には、写真等の画像自身の意味の他に、画像を表す信号である画像データの意味が含まれ得る。
　結果統合ＣＡＤ処理サーバ１６は、第１の判別部１６Ａを含む。第１の判別部１６Ａは、画像保存サーバ１４から取得した医用画像に対して、医用画像が正常であるか否かを臓器ごとに判別する第１の判別を行う。医用画像が正常であるか否かとは、例えば医用画像が健常者の画像といえるか否かである。健常者とは、健康な者であり、例えば疾患、疾病、及び病変を有していない者である。第１の判別部１６Ａにおける第１の判別結果は、画像保存サーバ１４において医用画像に紐付けられて大容量ストレージ装置に保存される。
　結果統合ＣＡＤ処理サーバ１６は、パーソナルコンピュータ、又はワークステーションが適用される。結果統合ＣＡＤ処理サーバ１６は、プロセッサ１６Ｂと、メモリ１６Ｃと、を備える。プロセッサ１６Ｂは、メモリ１６Ｃに記憶された命令を実行する。
　プロセッサ１６Ｂのハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の機能部として作用する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、又はＣＰＵとＦＰＧＡの組み合わせ、あるいはＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の機能部を１つのプロセッサで構成してもよい。複数の機能部を１つのプロセッサで構成する例としては、第１に、クライアント又はサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第２に、ＳｏＣ（System On Chip）等に代表されるように、複数の機能部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
　メモリ１６Ｃは、プロセッサ１６Ｂに実行させるための命令を記憶する。メモリ１６Ｃは、不図示のＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。プロセッサ１６Ｂは、ＲＡＭを作業領域とし、ＲＯＭに記憶された医用画像処理プログラムを含む各種のプログラム及びパラメータを使用してソフトウェアを実行し、かつＲＯＭ等に記憶されたパラメータを使用することで、結果統合ＣＡＤ処理サーバ１６の各種の処理を実行する。
　各社ＣＡＤ処理サーバ１８は、複数の企業がそれぞれ所持する複数のＣＡＤ処理サーバから構成される。各社ＣＡＤ処理サーバ１８は、単一のＣＡＤ処理サーバであってもよい。各社ＣＡＤ処理サーバ１８は、第２の判別部１８Ａを含む。第２の判別部１８Ａは、画像保存サーバ１４から取得した医用画像であって、少なくとも第１の判別部１６Ａにおいて正常でないと判別された医用画像に対して臓器ごとの異常検出処理を実行し、医用画像から１以上の異常の有無を判別する第２の判別を行うプログラムを含む。異常とは、例えば疾患、疾病、及び病変のうちの少なくとも１つを含む。第２の判別部１８Ａにおける第２の判別結果は、画像保存サーバ１４において医用画像に紐付けられて大容量ストレージ装置に保存される。
　なお、第２の判別部１８Ａは、結果統合ＣＡＤ処理サーバ１６に備えられてもよい。
　ＰＡＣＳビューワ２０は、医師等のユーザが使用する端末機器であり、例えば公知の読影用画像ビューワが適用される。ＰＡＣＳビューワ２０は、パーソナルコンピュータ、ワークステーション、又はタブレット端末であってもよい。
　ＰＡＣＳビューワ２０は、入力装置２０Ａと、ディスプレイ２０Ｂとを備える。入力装置２０Ａは、マウス等のポインティングデバイス、及びキーボード等の入力デバイスを含む。ユーザは、入力装置２０Ａを使用して医用画像診断システム１０への指示を入力することができる。ディスプレイ２０Ｂは、入力装置２０Ａでの操作に必要な画面を表示し、ＧＵＩ（Graphical User Interface）を実現する部分として機能する。ディスプレイ２０Ｂには、モダリティ１２において撮影された医用画像が表示される。また、ディスプレイ２０Ｂには、第１の判別結果及び第２の判別結果がＣＡＤ結果として表示される。ＰＡＣＳビューワ２０は、入力装置２０Ａとディスプレイ２０Ｂとが一体化されたタッチパネルディスプレイが適用されてもよい。
　〔医用画像診断方法（医用画像診断支援方法）〕
　図２は、医用画像診断システム１０を用いた医用画像診断方法を示すフローチャートである。また、図３は、医用画像診断方法を示すプロセス図である。医用画像診断方法は、プロセッサ１６Ｂがメモリ１６Ｃに記憶された医用画像診断プログラム（医用画像診断支援プログラム）を実行することで実現される。なお、第２の判別部１８Ａが各社ＣＡＤ処理サーバ１８に備えられる場合、各社ＣＡＤ処理サーバ１８に備えられた図示しないプロセッサが各社ＣＡＤ処理サーバ１８に備えられた図示しないメモリに記憶された医用画像診断プログラムを実行し、かつ、プロセッサ１６Ｂがメモリ１６Ｃに記憶された医用画像診断プログラムを実行することで実現される。医用画像診断プログラムは、コンピュータが読み取り可能な非一時的記憶媒体によって提供されてもよい。この場合、結果統合ＣＡＤ処理サーバ１６は、非一時的記憶媒体から医用画像診断プログラムを読み取り、メモリ１６Ｃに記憶させてもよい。
　医用画像診断方法は、被検者の臓器ごとに実施される。ここでは、一例として肺のＣＴ画像を診断する場合について説明する。
　ステップＳ１では、結果統合ＣＡＤ処理サーバ１６のプロセッサ１６Ｂは、モダリティ１２によって撮影された被検者の肺のＣＴ画像を画像保存サーバ１４に取得させる。画像保存サーバ１４は、モダリティ１２によって撮影されたＣＴ画像を取得する。
　ステップＳ２（「第１の判別工程」の一例）では、プロセッサ１６Ｂは、画像保存サーバ１４が取得したＣＴ画像を第１の判別部１６Ａに入力する。図３に示すように、第１の判別部１６Ａは、医用画像が正常であるか否かを判別する正常判別ＡＩ１６Ｄを含む。
　正常判別ＡＩ１６Ｄは、肺のＣＴ画像が入力されるとＣＴ画像が正常であるか否かを判別する学習済みモデル（「第１の学習済みモデル」の一例）であり、畳み込みニューラルネットワークを含む。正常判別ＡＩ１６Ｄは、医用画像と異常の有無を示すラベルとの学習データセットにより深層学習させて生成される。例えば、正常判別ＡＩ１６Ｄは、正常なＣＴ画像と正常のラベルとの学習データセット、及び正常でないＣＴ画像と正常でないラベルとの学習データセット、により深層学習させて生成される。なお、正常なＣＴ画像とは、健常者のＣＴ画像である。また、正常でないＣＴ画像とは、何らかの異常のあるＣＴ画像であり、例えば疾患、疾病、及び病変のうちのすくなくとも１つを有している者のＣＴ画像である。
　正常判別ＡＩ１６Ｄは、入力されたＣＴ画像の正常の度合いを数値（スコア、「確率」の一例）で出力するよう生成されている。正常判別ＡＩ１６Ｄは、ＣＴ画像の正常度があらかじめ定められた閾値未満の場合はＣＴ画像が正常でないと出力し、ＣＴ画像の正常度が閾値以上の場合はＣＴ画像が正常であると出力する。第１の判別部１６Ａは、ＣＴ画像を正常判別ＡＩ１６Ｄに入力し、第１の判別を行う（プロセスＰ１）。
　ステップＳ３では、プロセッサ１６Ｂは、第１の判別部１６Ａから第１の判別結果を取得し、第１の判別結果からＣＴ画像が正常であるかを判定する。すなわち、プロセッサ１６Ｂは、ＣＴ画像に異常が有るか無いかを判定する。ＣＴ画像が正常である場合（「第１の場合」の一例、プロセスＰ２）は、ステップＳ４に移行し、ＣＴ画像が正常でない場合（プロセスＰ３）は、ステップＳ５に移行する。
　ステップＳ４では、プロセッサ１６Ｂは、正常なＣＴ画像について、ＰＡＣＳビューワ２０のディスプレイ２０Ｂに表示形態Ａで表示を行わせ、処理形態Ａの後処理を行う（プロセスＰ４）。さらに、プロセッサ１６Ｂは、「タイプＡ」の付帯情報をＣＴ画像に付与して画像保存サーバ１４に保存させ、本フローチャートの処理を終了する。処理形態Ａの後処理は、第１の判別において医用画像が正常であると判別された第１の場合における後処理の一例である。
　ステップＳ５（「第２の判別工程」の一例）では、プロセッサ１６Ｂは、正常でないＣＴ画像を各社ＣＡＤ処理サーバ１８に入力する。各社ＣＡＤ処理サーバ１８は、ＣＴ画像を第２の判別部１８Ａに入力し、第２の判別結果を取得する（プロセスＰ５）。
　図３に示すように、第２の判別部１８Ａは、病気αを検出するＡ社製病変検出ＡＩ１８Ｂと、病気βを検出するＡ社製病変検出ＡＩ１８Ｃと、病気γを検出するＡ社製病変検出ＡＩ１８Ｄと、病気γを検出するＢ社製病変検出ＡＩ１８Ｅと、病気βを検出するＣ社製病変検出ＡＩ１８Ｆと、を含む。例えば、病気αは肺がんであり、病気βは肺炎であり、病気γは気胸である。
　各病変検出ＡＩ１８Ｂ～１８Ｆは、それぞれ肺のＣＴ画像が入力されるとＣＴ画像内の病気の領域（病変領域、「異常」の一例）を出力する学習済みモデル（「第２の学習済みモデル」の一例）であり、それぞれ畳み込みニューラルネットワークを含む。各病変検出ＡＩ１８Ｂ～１８Ｆは、それぞれ肺のＣＴ画像に対して医師が各病気の領域をラベリングしたラベル画像を学習データとして深層学習させて生成される。
　各病変検出ＡＩ１８Ｂ～１８Ｆは、ＣＴ画像の各画素について各病気の確率を求めるよう設定されており、あらかじめ定められた閾値を超えた画素をその病気の領域とみなすものとする。各病変検出ＡＩ１８Ｂ～１８Ｆは、それぞれ単独で病変検出を実施する場合よりも特異度が高く、すなわち閾値が相対的に高く設定されている。これにより、各病変検出ＡＩ１８Ｂ～１８Ｆは、病変の可能性がより高い箇所を検出する。これは、健康診断等では異常が少ないためである。
　第２の判別部１８Ａは、ＣＴ画像を各病変検出ＡＩ１８Ｂ～１８Ｆに入力する。各病変検出ＡＩ１８Ｂ～１８Ｆは、ＣＴ画像からそれぞれ病変検出処理を行い、第２の判別結果として出力する。
　ステップＳ６では、プロセッサ１６Ｂは、第２の判別部１８Ａから第２の判別結果を取得し、統合する（プロセスＰ６）。
　ステップＳ７では、プロセッサ１６Ｂは、統合した第２の判別結果からＣＴ画像に異常（ここでは病変）が存在するか否かを判定する。ＣＴ画像に異常が存在する場合（「第２の場合」の一例、プロセスＰ７）は、ステップＳ８に移行し、ＣＴ画像に異常が存在しない場合（「第３の場合」の一例、プロセスＰ８）は、ステップＳ９に移行する。
　ステップＳ８では、プロセッサ１６Ｂは、異常が存在するＣＴ画像について、ＰＡＣＳビューワ２０のディスプレイ２０Ｂに表示形態Ｂで表示を行わせ、処理形態Ｂの後処理を行う（プロセスＰ９）。処理形態Ｂの後処理は、第１の判別において前記医用画像が正常ではないと判別されかつ第２の判別において異常があると判別された第２の場合における後処理の一例である。さらに、プロセッサ１６Ｂは、「タイプＢ」の付帯情報をＣＴ画像に付与して画像保存サーバ１４に保存させ、本フローチャートの処理を終了する。
　一方、ステップＳ９では、プロセッサ１６Ｂは、異常が存在しないＣＴ画像について、ＰＡＣＳビューワ２０のディスプレイ２０Ｂに表示形態Ｃで表示を行わせ、処理形態Ｃの後処理を行う（プロセスＰ１０）。処理形態Ｃの後処理は、第１の判別において医用画像が正常ではないと判別されかつ第２の判別において異常がないと判別された第３の場合における後処理の一例である。さらに、プロセッサ１６Ｂは、「タイプＣ」の付帯情報をＣＴ画像に付与して画像保存サーバ１４に保存させ、本フローチャートの処理を終了する。
　プロセッサ１６Ｂは、表示形態Ａと、表示形態Ｂ及び表示形態Ｃとでそれぞれ異なる態様で判別結果をディスプレイ２０Ｂに表示させる。すなわち、プロセッサ１６Ｂは、表示形態Ａを、表示形態Ｂ及び表示形態Ｃとは異なる態様で判別結果をディスプレイ２０Ｂに表示させる。プロセッサ１６Ｂは、表示形態Ｂと表示形態Ｃとでそれぞれ異なる態様で判別結果をディスプレイ２０Ｂに表示させてもよい。
　例えば、表示形態Ａでは、異常ではない可能性が高い旨を提示し、医師の確認をスキップさせ、患者に異常なしである旨を自動的に報告する。また、表示形態Ｂでは、一般的なＣＡＤと同様に検出された病変の名称とその領域を視認可能に表示する。さらに、表示形態Ｃでは、病変は検出されなかったが明らかに正常ともいえなかった旨を医師に通知する。
　図４は、表示形態Ａを示す図である。図４に示すように、表示形態Ａでは、ディスプレイ２０ＢにＣＴ画像Ｉ１が表示される。また、表示形態Ａでは、ＣＴ画像Ｉ１の右側の領域に、ＣＴ画像Ｉ１に対する説明文Ｔ１が表示される。ここでは、「ＣＡＤにて正常と判別されました。」という説明文Ｔ１がディスプレイ２０Ｂに表示されている。なお、ＣＴ画像Ｉ１は異常でない可能性が高いため、ＣＴ画像Ｉ１を表示させずに正常な旨の表示のみを行い、医師の確認をスキップさせてもよい。
　図５は、表示形態Ｂを示す図である。図５に示すように、表示形態Ｂでは、ディスプレイ２０ＢにＣＴ画像Ｉ２が表示され、ＣＴ画像Ｉ２の病変領域を囲むマーカＭ１がＣＴ画像Ｉ２に重畳表示される。また、表示形態Ｂでは、ＣＴ画像Ｉ２の右側の領域に、ＣＴ画像Ｉ２に対する説明文Ｔ２であって、マーカＭ１に囲まれた病変領域に関する説明文Ｔ２が表示される。ここでは、病変領域は病気α（肺がん）を検出するＡ社製病変検出ＡＩ１８Ｂによって検出されており、「Ａ社製肺がん検出ＣＡＤにより検出。」という説明文Ｔ２がディスプレイ２０Ｂに表示されている。
　図６は、表示形態Ｃを示す図である。図６に示すように、表示形態Ｃでは、ディスプレイ２０ＢにＣＴ画像Ｉ３が表示され、ＣＴ画像Ｉ３全体を囲むマーカＭ２がＣＴ画像Ｉ３に重畳表示される。また、表示形態Ｃでは、ＣＴ画像Ｉ３の右側の領域に、ＣＴ画像Ｉ３に対する説明文Ｔ３であって、マーカＭ２に関する説明文Ｔ３が表示される。ここでは、「正常判別ＡＩにて正常と判別できない。ただし、各ＣＡＤとも異常報告なし。」という説明文Ｔ３がディスプレイ２０Ｂに表示されている。このように、表示形態Ａ及び表示形態Ｂとは異なる表示形態とすることで、病変検出ＡＩに依存しすぎた判断を是正することができる。
　また、プロセッサ１６Ｂは、処理形態Ａと、処理形態Ｂ及び処理形態Ｃとでそれぞれ異なる態様で後処理を行う。
　例えば、処理形態Ａでは医師によるチェックが簡易でよいフラグを立て、処理形態Ｂ及び処理形態Ｃではフラグを立てない。また、医師が医用画像を確認するための読影・検査リストの表示順序を、処理形態ＡのＣＴ画像よりも処理形態ＢのＣＴ画像及び処理形態ＣのＣＴ画像を優先するように変更してもよい。
　健康診断の場合、直ちに入院が必要又は直ちに治療が必要な疾患が見つかることは少ないため、その場で結果を通知しない、又はいったん正常と被検者に伝えたあとで、異常が見つかったことを別途伝えることも可能な場面がある。したがって、処理形態Ａについては「異常なし」とその場で報告させ、後にまとめて本当に異常がないか否かを確認してもよい。例えば、処理形態Ａとして、１日の最後に医師に簡易チェックさせてもよい。簡易チェックにおいて異常が見つかった場合は、別途被検者に連絡すればよい。
　プロセッサ１６Ｂは、処理形態Ｂと処理形態Ｃとでそれぞれ異なる態様で後処理を行ってもよい。
　以上のように、医用画像診断方法によれば、第１の判別部１６Ａにおいて医用画像が正常であるかを判別することができる。また、第１の判別部１６Ａにおいて正常でないと判別された場合は、第２の判別部１８Ａによって医用画像から異常の有無を判別することができる。したがって、大量の医用画像に対して画像診断を行う際に医師の負担を軽減することができる。
　〔その他〕
　第１の判別部１６Ａにおいて正常であると判別された医用画像について、例えば病院の閉院時間後（異なるタイミングの一例）に、第２の判別部１８Ａにおいて医用画像から異常の有無を判別する第３の判別処理を行ってもよい。第３の判別処理は、第１の判別において医用画像が予め定められた第１の閾値より低い確率で正常であると判別された場合に、行ってもよい。第３の判別処理も、第１の判別において医用画像が正常であると判別された第１の場合における後処理の一例である。
　第３の判別処理において異常が存在すると判別された場合は、そのＣＴ画像と正常でないラベルとの学習データセットを用いて正常判別ＡＩ１６Ｄを再学習させてもよい。これにより、正常判別ＡＩ１６ＤにおいてそのＣＴ画像が正常でないと判別させることができる。
　また、第３の判別処理において異常が存在すると判別された場合は、正常判別ＡＩ１６Ｄの感度を、そのＣＴ画像が異常とみなされる値に変更してもよい。
　第２の判別部１８Ａにおいて異常が存在しないと判別された医用画像について、再度第２の判別部１８Ａにおいて医用画像から異常の有無を判別する第４の判別処理を行ってもよい。第４の判別処理は、異常が存在すると判別されるまで、第２の判別処理よりも感度を上げて（第２の判別処理よりも特異度を下げて）、すなわち閾値を相対的に低く設定して行ってもよい。第４の判別処理も、第１の判別において医用画像が正常ではないと判別されかつ第２の判別において異常がないと判別された第３の場合における後処理の一例である。
　これにより、第４の判別処理は、病気でないものを病気と判別してしまったとしても良しとする評価基準で病変を抽出し、それを医師に報告する。この場合の表示形態を表示形態Ｄとすると、表示形態Ｄでは感度を上げて抽出された病変であることを医師に提示することが望ましい。
　図７は、表示形態Ｄを示す図である。図７に示すように、表示形態Ｄでは、ディスプレイ２０ＢにＣＴ画像Ｉ３が表示され、ＣＴ画像Ｉ３全体を囲むマーカＭ２がＣＴ画像Ｉ３に重畳表示され、さらにＣＴ画像Ｉ３の病変領域を囲むマーカＭ３がＣＴ画像Ｉ３に重畳表示される。マーカＭ３は、表示形態ＢのマーカＭ１とは異なり、感度を上げて検出された病変であることを示すために破線で表示される。
　また、表示形態Ｄでは、ＣＴ画像Ｉ２の右側の領域に、ＣＴ画像Ｉ２に対する説明文Ｔ４であって、マーカＭ３に関する説明文Ｔ４が表示される。ここでは、「正常判別ＣＡＤにて正常とはいえず、感度を上げて再度ＣＡＤ処理の結果、Ａ社製検出ＣＡＤにより肺がんを検出。」という説明文Ｔ４がディスプレイ２０Ｂに表示されている。
　なお、図６に示すように、表示形態Ｃにおいて第２の判別部１８Ａの感度を設定するスライダーバーＳＢを表示させてもよい。ユーザが入力装置２０Ａを用いてスライダーバーＳＢを操作して感度を上げると、その設定された感度で第３の判別処理を行い、図７に示す表示形態Ｄに移行してもよい。
　なお、第２の判別部１８Ａにおいて異常が存在すると判別された医用画像については、上述の第３、第４の判別処理等を実施することなく、通常通り、医用画像と判別結果とを対応付けて、画像保存サーバ１４に保存する。これも、第１の判別において医用画像が正常ではないと判別されかつ第２の判別において異常があると判別された第２の場合における後処理の一例である。
　なお、本実施例では肺のＣＴ画像に対する処理を実施例に挙げたが、これに限定されるものではない。たとえば、肝臓を含むＣＴ画像に対し、第２の判別部１８Ａの各病変検出ＡＩのそれぞれが、肝臓がん、多発性嚢胞、肝硬変、脂肪肝を抽出し、かつ、上述の各処理が実行されてもよい。また、他の臓器を含む医用画像に対し、上述の各処理が実行されてもよい。
　本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
１０…医用画像診断システム
１２…モダリティ
１４…画像保存サーバ
１６…結果統合ＣＡＤ処理サーバ
１６Ａ…第１の判別部
１６Ｂ…プロセッサ
１６Ｃ…メモリ
１６Ｄ…正常判別ＡＩ
１８…各社ＣＡＤ処理サーバ
１８Ａ…第２の判別部
１８Ｂ…Ａ社製病変検出ＡＩ
１８Ｃ…Ａ社製病変検出ＡＩ
１８Ｄ…Ａ社製病変検出ＡＩ
１８Ｅ…Ｂ社製病変検出ＡＩ
１８Ｆ…Ｃ社製病変検出ＡＩ
２０…ＰＡＣＳビューワ
２０Ａ…入力装置
２０Ｂ…ディスプレイ
Ｉ１…ＣＴ画像
Ｉ２…ＣＴ画像
Ｉ３…ＣＴ画像
Ｍ１…マーカ
Ｍ２…マーカ
Ｍ３…マーカ
Ｐ１～Ｐ１０…医用画像診断の各プロセス
ＳＢ…スライダーバー
Ｓ１～Ｓ９…医用画像診断の各ステップ
Ｔ１…説明文
Ｔ２…説明文
Ｔ３…説明文
Ｔ４…説明文

Claims (14)

  1. 　少なくとも１つのプロセッサと、
    　前記少なくとも１つのプロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、
    　を備え、
    　前記少なくとも１つのプロセッサは、
    　被検者を撮影して得られた医用画像が正常であるか否かを判別する第１の判別を行い、
    　前記第１の判別において前記医用画像が正常でないと判別された場合に、前記医用画像から異常の有無を判別する第２の判別を行う、
    　医用画像診断システム。
  2. 　前記少なくとも１つのプロセッサは、
    　前記第１の判別において前記医用画像が正常であると判別された場合に、前記医用画像から異常の有無を判別する第３の判別を行う、
    　請求項１に記載の医用画像診断システム。
  3. 　前記少なくとも１つのプロセッサは、
    　前記第３の判別を、前記第２の判別とは異なるタイミングで行う、
    　請求項２に記載の医用画像診断システム。
  4. 　前記少なくとも１つのプロセッサは、
    　前記医用画像が正常である確率を用いて前記第１の判別を行い、
    　前記第１の判別において前記医用画像が第１の閾値より低い確率で正常であると判別された場合に、前記第３の判別を行う、
    　請求項２又は３に記載の医用画像診断システム。
  5. 　前記少なくとも１つのプロセッサは、
    　前記医用画像を入力すると前記医用画像が正常であるか否かを出力する第１の学習済みモデルによって前記第１の判別を行い、
    　前記第３の判別において前記異常があると判別された医用画像を用いて前記第１の学習済みモデルを再学習させる、
    　請求項２から４のいずれか１項に記載の医用画像診断システム。
  6. 　前記第１の学習済みモデルは、異常のある医用画像及び異常のない医用画像と、異常の有無を示すラベルとの組み合わせを学習データセットとして学習された学習済みモデルである、
    　請求項５に記載の医用画像診断システム。
  7. 　前記少なくとも１つのプロセッサは、
    　前記第２の判別において前記異常がないと判別された場合に、前記医用画像から異常の有無を判別する第４の判別を行い、
    　前記第４の判別において、前記第２の判別における感度よりも相対的に高い感度で前記医用画像から異常の有無を判別する、
    　請求項１から６のいずれか１項に記載の医用画像診断システム。
  8. 　前記少なくとも１つのプロセッサは、
    　前記医用画像を入力すると前記医用画像の異常を出力する第２の学習済みモデルによって前記第２の判別を行う、
    　請求項１から７のいずれか１項に記載の医用画像診断システム。
  9. 　前記少なくとも１つのプロセッサは、
    　前記第１の判別において前記医用画像が正常であると判別された第１の場合、前記第１の判別において前記医用画像が正常ではないと判別されかつ前記第２の判別において前記異常があると判別された第２の場合、及び前記第１の判別において前記医用画像が正常ではないと判別されかつ前記第２の判別において前記異常がないと判別された第３の場合について、前記第１の場合と前記第２の場合及び前記第３の場合とで異なる態様で前記医用画像の判別結果をディスプレイに表示させる、
    　請求項１から８のいずれか１項に記載の医用画像診断システム。
  10. 　前記少なくとも１つのプロセッサは、
    　前記第２の場合と前記第３の場合とで異なる態様で前記医用画像の前記判別結果を前記ディスプレイに表示させる、
    　請求項９に記載の医用画像診断システム。
  11. 　前記少なくとも１つのプロセッサは、
    　前記第１の場合と第２の場合及び前記第３の場合とで前記医用画像に関してそれぞれ異なる後処理を行う、
    　請求項９又は１０に記載の医用画像診断システム。
  12. 　前記少なくとも１つのプロセッサは、
    　前記医用画像から前記被検者の臓器ごとに前記第１の判別及び前記第２の判別を行う、
    　請求項１から１１のいずれか１項に記載の医用画像診断システム。
  13. 　被検者を撮影して得られた医用画像が正常であるか否かを判別する第１の判別工程と、
    　前記第１の判別工程において前記医用画像が正常でないと判別された場合に、前記医用画像から異常の有無を判別する第２の判別工程と、
    　を備える医用画像診断方法。
  14. 　請求項１３に記載の医用画像診断方法をコンピュータに実行させるためのプログラム。
PCT/JP2022/021224 2021-06-17 2022-05-24 医用画像診断システム、医用画像診断方法及びプログラム WO2022264757A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023529713A JPWO2022264757A1 (ja) 2021-06-17 2022-05-24
EP22824751.6A EP4358022A1 (en) 2021-06-17 2022-05-24 Medical image diagnostic system, medical image diagnostic method, and program
US18/533,069 US20240112345A1 (en) 2021-06-17 2023-12-07 Medical image diagnosis system, medical image diagnosis method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021100611 2021-06-17
JP2021-100611 2021-06-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/533,069 Continuation US20240112345A1 (en) 2021-06-17 2023-12-07 Medical image diagnosis system, medical image diagnosis method, and program

Publications (1)

Publication Number Publication Date
WO2022264757A1 true WO2022264757A1 (ja) 2022-12-22

Family

ID=84526168

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/021224 WO2022264757A1 (ja) 2021-06-17 2022-05-24 医用画像診断システム、医用画像診断方法及びプログラム

Country Status (4)

Country Link
US (1) US20240112345A1 (ja)
EP (1) EP4358022A1 (ja)
JP (1) JPWO2022264757A1 (ja)
WO (1) WO2022264757A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340835A (ja) 2005-06-08 2006-12-21 Konica Minolta Medical & Graphic Inc 異常陰影候補の表示方法及び医用画像処理システム
JP2012026982A (ja) * 2010-07-27 2012-02-09 Panasonic Electric Works Sunx Co Ltd 検査装置
JP2019067069A (ja) * 2017-09-29 2019-04-25 アンリツ株式会社 異常検知装置及び異常検知方法並びに異常検知プログラム
US20200202103A1 (en) * 2017-06-09 2020-06-25 University Of Surrey Method and Apparatus for Processing Retinal Images
JP6885517B1 (ja) * 2020-03-17 2021-06-16 株式会社村田製作所 診断支援装置及びモデル生成装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340835A (ja) 2005-06-08 2006-12-21 Konica Minolta Medical & Graphic Inc 異常陰影候補の表示方法及び医用画像処理システム
JP2012026982A (ja) * 2010-07-27 2012-02-09 Panasonic Electric Works Sunx Co Ltd 検査装置
US20200202103A1 (en) * 2017-06-09 2020-06-25 University Of Surrey Method and Apparatus for Processing Retinal Images
JP2019067069A (ja) * 2017-09-29 2019-04-25 アンリツ株式会社 異常検知装置及び異常検知方法並びに異常検知プログラム
JP6885517B1 (ja) * 2020-03-17 2021-06-16 株式会社村田製作所 診断支援装置及びモデル生成装置

Also Published As

Publication number Publication date
EP4358022A1 (en) 2024-04-24
US20240112345A1 (en) 2024-04-04
JPWO2022264757A1 (ja) 2022-12-22

Similar Documents

Publication Publication Date Title
US7447341B2 (en) Methods and systems for computer aided targeting
JP2019033966A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US11139067B2 (en) Medical image display device, method, and program
US20190189270A1 (en) Hospital information apparatus, hospital information system, and hospital information processing method
Wang et al. Automatic creation of annotations for chest radiographs based on the positional information extracted from radiographic image reports
WO2021108398A1 (en) Automated protocoling in medical imaging systems
CN111816285A (zh) 医用信息处理装置及医用信息处理方法
US20220392619A1 (en) Information processing apparatus, method, and program
WO2022264757A1 (ja) 医用画像診断システム、医用画像診断方法及びプログラム
WO2021187483A1 (ja) 文書作成支援装置、方法およびプログラム
WO2021177156A1 (ja) 画像処理装置、画像表示システム、画像処理方法及びプログラム
WO2022264755A1 (ja) 医用画像診断システム、医用画像診断方法及びプログラム
Al-Hinnawi et al. Collaboration between interactive three-dimensional visualization and computer aided detection of pulmonary embolism on computed tomography pulmonary angiography views
JP7361930B2 (ja) 医用画像処理装置、方法およびプログラム
US20230360213A1 (en) Information processing apparatus, method, and program
US20230225681A1 (en) Image display apparatus, method, and program
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
JP7483018B2 (ja) 画像処理装置、画像処理方法及びプログラム、画像処理システム
WO2020241857A1 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
US20230281810A1 (en) Image display apparatus, method, and program
WO2023199957A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
EP4316378A1 (en) Medical image processing device, method for operating medical image processing device, and operation program for medical image processing device
US20230289534A1 (en) Information processing apparatus, information processing method, and information processing program
WO2023054646A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7436698B2 (ja) 医用画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22824751

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023529713

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022824751

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022824751

Country of ref document: EP

Effective date: 20240117