WO2021246047A1 - 経過予測装置、方法およびプログラム - Google Patents
経過予測装置、方法およびプログラム Download PDFInfo
- Publication number
- WO2021246047A1 WO2021246047A1 PCT/JP2021/014577 JP2021014577W WO2021246047A1 WO 2021246047 A1 WO2021246047 A1 WO 2021246047A1 JP 2021014577 W JP2021014577 W JP 2021014577W WO 2021246047 A1 WO2021246047 A1 WO 2021246047A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- reference images
- progress
- target image
- similar reference
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000002159 abnormal effect Effects 0.000 claims abstract description 74
- 238000003745 diagnosis Methods 0.000 claims abstract description 14
- 238000009795 derivation Methods 0.000 claims description 18
- 201000010099 disease Diseases 0.000 claims description 17
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 8
- 208000024891 symptom Diseases 0.000 abstract description 5
- 238000004393 prognosis Methods 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 38
- 210000004072 lung Anatomy 0.000 description 23
- 238000003860 storage Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 6
- 201000011510 cancer Diseases 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 208000029523 Interstitial Lung disease Diseases 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 230000012447 hatching Effects 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 206010014561 Emphysema Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 239000005337 ground glass Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 206010011732 Cyst Diseases 0.000 description 1
- 208000002151 Pleural effusion Diseases 0.000 description 1
- 206010035600 Pleural fibrosis Diseases 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000001370 mediastinum Anatomy 0.000 description 1
- 210000003281 pleural cavity Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 210000000779 thoracic wall Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Definitions
- the present disclosure relates to a progress prediction device, method and program for predicting the progress of abnormal shadows contained in medical images.
- CT Computer Tomography
- MRI Magnetic Resonance Imaging
- Patent Document 1 a method for searching past medical images similar to the target medical image such as a CT image to be inspected has been proposed (see, for example, Patent Document 1).
- the method described in Patent Document 1 classifies each pixel of a medical image to be diagnosed into a plurality of types of findings, and derives a first feature amount such as the size and position of the findings for each finding. Then, it is a method of deriving the similarity based on the difference between the second feature amount and the first feature amount derived in advance for the stored medical image.
- follow-up may be performed depending on the symptoms and treatment method.
- the time to the next diagnosis is determined based on the experience of the doctor. However, if the time to the next diagnosis is too long, the symptoms may progress and it may be too late. On the contrary, if the period until the next diagnosis is too short, the patient may be exposed to extra radiation due to taking a picture even though the symptoms do not progress.
- the present disclosure has been made in view of the above circumstances, and an object of the present disclosure is to make it possible to predict the future course of abnormal shadows contained in medical images to be diagnosed.
- the progress predictor comprises at least one processor.
- the processor is Multiple reference images are saved, and the interpretation results for abnormal shadows contained in each of the multiple reference images are associated with each of the multiple reference images. Derived the similarity with the reference image and Progress information on abnormal shadows included in the similar reference image by analyzing the interpretation result of the similar reference image for the similar reference image whose similarity is equal to or higher than a predetermined threshold value among a plurality of reference images. Is derived, By statistically analyzing the progress information, it is configured to derive the prediction information for predicting the future progress of the abnormal shadow included in the target image.
- Progress includes the prognosis, which is the medical outlook for the course and outcome of abnormal shadows. It also includes the period until the subsequent examination for abnormal shadows.
- the prediction information includes the disease name, the change in the size of the abnormal shadow, the change in the shape of the abnormal shadow, the presence / absence of the occurrence of a new abnormal shadow, the position where the new abnormal shadow occurs, and the concurrent occurrence. It may include a disease name that is likely to occur and at least one of the periods until the next diagnosis.
- the processor may be configured to display the prediction information on the display.
- the processor displays the target image and highlights the position where the new abnormal shadow is generated in the displayed target image. It may be configured to do so.
- the processor derives the feature amount for the target image, and the similarity is based on the feature amount derived for the target image and the feature amount for each of the plurality of reference images. It may be configured to derive.
- the processor includes the target image and the target image group including at least one past target image whose shooting date is earlier than the target image for the same subject as the subject from which the target image was acquired.
- a reference image group including a plurality of reference images acquired by shooting the same subject among a plurality of reference images and having a shooting interval corresponding to the shooting interval of the target image and at least one past target image. Similarity is derived by deriving the degree and analyzing the interpretation results associated with a plurality of similar reference images included in the similar reference image group for the similar reference image group whose similarity is equal to or higher than a predetermined threshold value. It may be configured to derive progress information about the reference image group.
- the progress prediction method refers to a database in which a plurality of reference images are stored and the interpretation result for an abnormal shadow included in each of the plurality of reference images is stored in association with each of the plurality of reference images. Then, the similarity between the target image and the plurality of reference images is derived, and the interpretation result of the similar reference image is obtained for the similar reference image whose similarity is equal to or higher than a predetermined threshold value among the plurality of reference images. To derive progress information about abnormal shadows contained in similar reference images by analyzing Derive forecast information.
- Functional configuration diagram of the progress prediction device according to this embodiment A diagram showing a finding score according to the type of finding for a pixel.
- Diagram showing an example of a forecast information display screen Flow chart showing processing performed in this embodiment Diagram to explain the identification of the reference image group
- FIG. 1 is a diagram showing a schematic configuration of the medical information system 1.
- the medical information system 1 shown in FIG. 1 is based on an inspection order from a doctor in a clinical department using a known ordering system, photographs of a part to be inspected of a subject, storage of medical images acquired by photography, and an image interpreter. It is a system for interpreting medical images and creating interpretation reports, and for viewing the interpretation reports by the doctor of the requesting clinical department and observing the details of the medical images to be interpreted.
- the medical information system 1 includes a plurality of imaging devices 2, a plurality of image interpretation WS (WorkStation) 3, a medical treatment WS 4, an image server 5, and an image database (hereinafter, image DB (DataBase)) which are image interpretation terminals. 6.
- the report server 7 and the report database (hereinafter referred to as report DB) 8 are connected and configured so as to be able to communicate with each other via a wired or wireless network 10.
- Each device is a computer on which an application program for functioning as a component of the medical information system 1 is installed.
- the application program is stored in a storage device of a server computer connected to the network 10 or in a network storage in a state of being accessible from the outside, and is downloaded and installed in the computer in response to a request.
- it is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory), and is installed in a computer from the recording medium.
- the imaging device 2 is a device (modality) that generates a medical image representing the diagnosis target portion by photographing the diagnosis target portion of the subject. Specifically, it is a simple X-ray imaging apparatus, a CT apparatus, an MRI apparatus, a PET (Positron Emission Tomography) apparatus, and the like.
- the medical image generated by the photographing apparatus 2 is transmitted to the image server 5 and stored in the image DB 6.
- the image interpretation WS3 is a computer used by, for example, a radiology interpreter to interpret a medical image and create an image interpretation report, and includes a progress prediction device 20 according to the present embodiment.
- a request for viewing a medical image to the image server 5 various image processing for the medical image received from the image server 5, display of the medical image, input of a finding sentence related to the medical image, and the like are performed.
- analysis processing for medical images and input findings support for creating an interpretation report based on the analysis results, registration request and viewing request for the interpretation report to the report server 7, and interpretation received from the report server 7 are performed.
- the report is displayed.
- the medical care WS4 is a computer used by doctors in the clinical department for detailed observation of images, viewing of interpretation reports, creation of electronic medical records, etc., and is a processing device, a display device such as a display, and an input device such as a keyboard and a mouse. It is composed of.
- an image viewing request is made to the image server 5
- an image received from the image server 5 is displayed
- an image interpretation report viewing request is made to the report server 7
- an image interpretation report received from the report server 7 is displayed.
- the image server 5 is a general-purpose computer in which a software program that provides a database management system (DataBase Management System: DBMS) function is installed. Further, the image server 5 includes a storage in which the image DB 6 is configured. This storage may be a hard disk device connected by the image server 5 and the data bus, or a disk device connected to NAS (Network Attached Storage) and SAN (Storage Area Network) connected to the network 10. It may be. Further, when the image server 5 receives a request for registration of a medical image from the photographing apparatus 2, the image server 5 saves the medical image, arranges the saved medical image in a database format, and registers the saved medical image in the image DB 6.
- DBMS Database Management System
- the image data and incidental information of the medical image acquired by the photographing apparatus 2 are registered in the image DB 6.
- the incidental information includes, for example, an image ID (identification) for identifying an individual medical image, a patient ID for identifying a subject, an examination ID for identifying an examination, and a unique ID assigned to each medical image ( UID: unique identification), examination date when the medical image was generated, examination time, type of imaging device used in the examination to acquire the medical image, patient information such as patient name, age, gender, examination site (imaging) Information such as site), imaging information (imaging protocol, imaging sequence, imaging method, imaging conditions, use of contrast medium, etc.), series number or collection number when multiple medical images are acquired in one examination. ..
- the image DB 6 also registers identification information for identifying the generated image interpretation report for the medical image for which the image interpretation report is generated in the image interpretation WS3.
- the reference image stored in the image server 5 and the image interpretation report stored in the report server 7 are associated with each other by the identification information.
- the feature amount for the lung region included in the medical image, which is derived when the image interpretation report is generated is also registered in the image DB 6. The feature amount will be described later.
- the medical image for which the interpretation report is generated and registered in the image DB 6 will be referred to as a reference image in the following description.
- the medical image for which the interpretation report will be generated from now on will be referred to as the target image.
- the image server 5 when the image server 5 receives the browsing request from the image interpretation WS3 and the medical examination WS4 via the network 10, the image server 5 searches for the medical image registered in the image DB 6, and uses the searched medical image as the requesting image interpretation WS3 and the medical examination. Send to WS4.
- the report server 7 incorporates a software program that provides the functions of a database management system to a general-purpose computer.
- the report server 7 receives the image interpretation report registration request from the image interpretation WS3
- the report server 7 saves the image interpretation report, arranges the saved image interpretation report in a database format, and registers the saved image interpretation report in the report DB 8.
- the image interpretation report may be, for example, a medical image to be interpreted, an image ID for identifying the medical image, an image interpretation doctor ID for identifying the image interpretation doctor who performed the image interpretation, a lesion name, a lesion position information, and a medical image including the lesion. It may include information such as information for access.
- the report server 7 when the report server 7 receives the reading request or the transmission request of the reading report from the reading WS3 and the medical treatment WS4 via the network 10, the report server 7 searches for the reading report registered in the report DB 8 and requests the searched reading report. It is transmitted to the original interpretation WS3 and the medical treatment WS4.
- the image server 5 when a viewing request for a similar reference image derived as described later is made to the image server 5, the image server 5 sends an image interpretation report on the similar reference image to the report server 7. A transmission instruction is made. As a result, the report server 7 transmits the image interpretation report for the similar reference image to the image interpretation WS3 or the medical care WS4 of the requesting source.
- the medical image is a three-dimensional CT image composed of a plurality of tomographic images with the diagnosis target as the lung, and by interpreting the CT image, the interpretation result of the abnormal shadow contained in the lung is obtained.
- An image interpretation report including the findings shall be created.
- the medical image is not limited to the CT image, and any medical image such as an MRI image and a simple two-dimensional image acquired by a simple X-ray imaging apparatus can be used.
- Network 10 is a wired or wireless local area network that connects various devices in the hospital.
- the network 10 may be configured such that the local area networks of each hospital are connected to each other by the Internet or a dedicated line.
- FIG. 2 describes the hardware configuration of the progress prediction device according to the present embodiment.
- the progress prediction device 20 includes a CPU (Central Processing Unit) 11, a non-volatile storage 13, and a memory 16 as a temporary storage area.
- the progress prediction device 20 includes a display 14 such as a liquid crystal display, an input device 15 such as a keyboard and a mouse, and a network I / F (InterFace) 17 connected to the network 10.
- the CPU 11, the storage 13, the display 14, the input device 15, the memory 16, and the network I / F 17 are connected to the bus 18.
- the CPU 11 is an example of the processor in the present disclosure.
- the storage 13 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
- a progress prediction program is stored in the storage 13 as a storage medium.
- the CPU 11 reads the progress prediction program 12 from the storage 13, expands it into the memory 16, and executes the expanded progress prediction program 12.
- FIG. 3 is a diagram showing a functional configuration of the progress prediction device according to the present embodiment.
- the progress prediction device 20 includes an information acquisition unit 21, a similarity derivation unit 22, a first analysis unit 23, a second analysis unit 24, a display control unit 25, a storage control unit 26, and a communication unit 27. ..
- the CPU 11 executes the progress prediction program 12
- the CPU 11 has an information acquisition unit 21, a similarity derivation unit 22, a first analysis unit 23, a second analysis unit 24, a display control unit 25, and a storage control unit 26. And functions as a communication unit 27.
- the information acquisition unit 21 acquires a target image to be image-read from the image server 5 according to an instruction from the input device 15 by the image-reading doctor who is the operator. Further, the information acquisition unit 21 acquires the feature amount of the reference image stored in the image server 5 registered in the image DB 6 for deriving the similarity to be described later. Further, the information acquisition unit 21 acquires an image interpretation report for the similar reference image derived as described later from the report server 7.
- the similarity derivation unit 22 refers to the image DB 6 and derives the similarity between the plurality of reference images stored in the image server 5 and the target image. For this purpose, the similarity deriving unit 22 analyzes the target image to classify the lung region included in the target image into a plurality of predetermined findings. In the present embodiment, the similarity deriving unit 22 has a learning model 22A in which machine learning is performed so as to discriminate each pixel of the lung region included in the medical image for each of a plurality of predetermined findings.
- the learning model 22A covers the lung region included in the target image as, for example, an infiltrative shadow, a mass shadow, a ground glass shadow, a lobular central nodule shadow, a non-lobular central nodule shadow, a punctate shadow, and a reticular shadow.
- learning is done to classify into multiple findings such as mediastinum.
- the types of findings are not limited to these, and may be more or less than these.
- the learning model 22A comprises a convolutional neural network in which machine learning is performed by deep learning (deep learning) or the like using teacher data so as to discriminate findings in medical images.
- the teacher data for learning the learning model 22A consists of a combination of the medical image and the correct answer data representing the classification result of the findings about the medical image.
- the learning model 22A outputs a finding score for each of the plurality of findings for each pixel of the medical image.
- the finding score is a score indicating the prominence of the finding for each finding.
- the finding score takes, for example, a value of 0 or more and 1 or less, and the larger the finding score value, the more remarkable the finding.
- FIG. 4 is a diagram showing a finding score according to the type of finding for a certain pixel. Note that FIG. 4 shows evaluation values for some of the findings for the sake of simplicity.
- the similarity derivation unit 22 classifies the input pixel into the finding having the highest finding score among the finding scores for each finding output by the learning model 22A for the input pixel. For example, when the finding score as shown in FIG. 4 is output, the pixel is most likely to be a reticular shadow, and then is most likely to be a ground glass shadow. On the contrary, there is almost no possibility of normal lung or low absorption area. Therefore, when the finding score as shown in FIG.
- the similarity deriving unit 22 classifies the pixel into a reticulated shadow having the maximum finding score of 0.9. By performing such a classification process on all the pixels in the lung region, all the pixels in the lung region are classified into any of a plurality of types of findings.
- the similarity derivation unit 22 derives the feature amount for each finding classified in the target image. Specifically, at least the position of the area for each finding, the size of the area for each finding, the average concentration for each finding, the dispersion of the concentration for each finding, the number of areas for each finding, the average size of the area for each finding, etc. One is calculated as a feature amount.
- the feature amount is normalized to a value of 0 or more and 1 or less.
- the feature amount calculated for the target image is referred to as a first feature amount.
- the size of the area for each finding, the number of areas for each finding, the average size of the area for each finding, and the like are the size features.
- the position of the area for each finding the coordinate value of the position of the center of gravity of the area for each finding can be used.
- the size of the region for each finding the volume of the region for each finding can be used.
- feature quantities for a plurality of reference images are registered in the image DB 6.
- the feature amount registered in the image DB 6 for the reference image is referred to as a second feature amount.
- the target image is registered in the image DB 6 as a new reference image.
- the first feature amount of the target image is registered in the image DB 6 as the second feature amount of the new reference image.
- the similarity derivation unit 22 is based on the difference in distance between the first feature amount for each finding derived for the target image and the second feature amount for each finding registered in the image DB 6 in the reference image. Derive the similarity between the image and the reference image. The similarity derivation unit 22 derives the similarity between the target image and all the reference images registered in the image DB 6. For this purpose, the similarity deriving unit 22 first derives the difference in distance between the first feature amount and the second feature amount of the reference image for each finding.
- the similarity deriving unit 22 derives the sum of squares of the distance differences for each type of feature amount or the sum of the absolute values of the distances as the difference in the distance between the first feature amount and the second feature amount. Then, by adding or weighting the difference in distance for each finding, the difference in distance between the target image and the reference image is derived as the degree of similarity.
- the difference between the feature amounts is 0. Therefore, in the present embodiment, a negative sign is given to the difference between the first feature amount and the second feature amount. As a result, the derived similarity becomes larger as the target image and the reference image are similar.
- the first analysis unit 23 identifies a similar reference image whose similarity is equal to or higher than a predetermined threshold value among a plurality of reference images registered in the image DB 6. Then, the first analysis unit 23 analyzes the interpretation report regarding the similar reference image to derive the progress information about the abnormal shadow included in the similar reference image. Hereinafter, the processing performed by the first analysis unit 23 will be described.
- the first analysis unit 23 refers to the image DB 6 and identifies a reference image for the same subject as the subject for which the similar reference image was acquired. Then, the first analysis unit 23 gives an instruction to the information acquisition unit 21 to acquire the image interpretation report associated with the similar reference image and the specified reference image. As a result, the information acquisition unit 21 acquires the similar reference image and the interpretation report associated with the specified reference image from the report server 7. The acquired interpretation report corresponds to the interpretation result for the similar reference image of the present disclosure. The first analysis unit 23 analyzes the acquired image interpretation report to derive progress information on the abnormal shadow included in the similar reference image.
- FIG. 5 is a diagram schematically showing the interpretation result of the similar reference image.
- the similar reference image Ss0 it is assumed that three reference images (hereinafter referred to as related similar reference images) Sr1 to Sr3 for the same subject are registered in the image DB 6.
- the shooting date and time of the similar reference image Ss0 is April 4, 2018, and the shooting dates and times of the related similar reference images Sr1 to Sr3 are October 6, 2018, April 2, 2019, and October 2019, respectively. It is the 11th of the month.
- the interpretation reports Rs0 and Rr1 to Rr3 are associated with the similar reference images Ss0 and the related similar reference images Sr1 to Sr3, respectively.
- the content of the interpretation report Rs0 is "Interstitial pneumonia 1 cm in size is found in the middle lobe of the right lung.”
- the content of the interpretation report Rr1 is "Interstitial pneumonia 1.5 cm in size is found in the middle lobe of the right lung.”
- the content of the interpretation report Rr2 is "Interstitial pneumonia of 2.0 cm in size is observed in the middle lobe of the right lung. Nodules are observed in the upper lobe of the right lung.”
- the content of the interpretation report Rr3 is "Interstitial pneumonia 2.8 cm in size is found in the middle lobe of the right lung. Malignant nodules are found in the upper lobe of the right lung.”
- the first analysis unit 23 acquires an interpretation report on the similar reference image for all the similar reference images. Then, by analyzing the interpretation report, progress information about the abnormal shadow included in each of the similar reference image and the related similar reference image is derived. Specifically, the first analysis unit 23 relates to the imaging interval of the similar reference image and the related similar reference image, the description related to the change in the size of the abnormal shadow, and the change in the shape in the interpretation reports Rs0, Rr1 to Rr3. Specify the description, the description about the location of the newly appearing abnormal shadow, and the description about the name of the concomitant disease.
- the doubling time means the time until the size of the abnormal shadow is doubled.
- the shooting interval can be derived based on the shooting intervals of the similar reference image Ss0 and the related similar reference images Sr1 to Sr3.
- the doubling time of the anomalous shadow can be derived from the description associated with the change in the size of the anomalous shadow.
- the changed shape can be derived from the description related to the changed shape.
- the place where the new abnormal shadow appears can be derived from the description about the place of the newly appearing abnormal shadow.
- the name of the concomitant disease can be derived from the description of the concomitant disease name. In this way, the first analysis unit 23 derives progress information for all similar reference images.
- the second analysis unit 24 derives prediction information for predicting the future progress of the abnormal shadow included in the target image by statistically analyzing the progress information derived by the first analysis unit 23.
- the prediction information is at least one of the shooting interval until the next shooting, the doubling time of the abnormal shadow, the shape that changes in the future, the place where the new abnormal shadow appears in the future, the name of the disease that will occur in the future, and the like. Contains statistical information about.
- the second analysis unit 24 derives the largest shooting interval among the shooting intervals included in the progress information derived by the first analysis unit 23. Further, the ratio of the number of similar reference images having the largest shooting interval to the number of all similar reference images is derived. As a result, when the ratio of the number of similar reference images having the largest shooting interval of about 6 months to all similar reference images having a shooting interval of about 6 months is 80%, "80% is taken after 6 months". It is derived as statistical information of the shooting interval until the next shooting.
- the second analysis unit 24 sets the doubling time, which is the largest among the doubling times of the abnormal shadow included in the progress information derived by the first analysis unit 23. Derived.
- the ratio of the number of similar reference images with the highest doubling time to all similar reference images is derived.
- the size has doubled after 8 months "is derived as statistical information of the shooting interval of the doubling time of abnormal shadows.
- the second analysis unit 24 derives the most common shape among the changed shapes included in the progress information derived by the first analysis unit 23. Furthermore, the ratio of the number of similar reference images having the largest shape to all the similar reference images is derived. As a result, for example, when the ratio of the number of similar reference images including abnormal shadows whose shape has changed to a spicular shape to all similar reference images is 85%, "85% changes to a spicular shape" is changed. Derived as statistical information of the shape to be used.
- the second analysis unit 24 has the largest number of places where the new abnormal shadow appears in the progress information derived by the first analysis unit 23. Derive the place of appearance.
- the ratio of the number of similar reference images that are the most frequent occurrence locations to all similar reference images is derived. As a result, if the ratio of the number of similar reference images in which the most common place of appearance is the upper lobe of the right lung and the place of appearance is the upper lobe of the right lung to all similar reference images is 75%, then "75% is right". "A new abnormal shadow is generated in the upper lobe of the lung" is derived as statistical information on the place where the new abnormal shadow appears.
- the second analysis unit 24 derives the most common disease names among the co-occurrence disease names included in the progress information derived by the first analysis unit 23. Furthermore, the ratio of the number of similar reference images that are the most common disease names to all similar reference images is derived. As a result, when the most common disease name is cancer and the ratio of the number of similar reference images associated with cancer to all the similar reference images is 80%, "80% of the similar reference images are associated with cancer". Derived as statistical information on the name of the disease.
- the number of applicable information for the number of all similar reference images may be derived instead of the ratio.
- the statistical information of the names of concomitant diseases if cancer co-occurs in 80 of the 100 similar reference images, it is stated that "80 out of 100 co-occurrence of cancer”. It may be derived as statistical information on the names of concomitant diseases.
- the display control unit 25 displays the prediction information on the display 14.
- FIG. 6 is a diagram showing a display screen of prediction information.
- the prediction information display screen 30 includes an image display area 31 and a text display area 32.
- a tomographic image 33 representing the tomographic plane of the target image is displayed so that the tomographic plane can be switched.
- the tomographic image can be switched, for example, by using the mouse wheel of the input device 15. Since each pixel of the target image is classified into a plurality of findings, the display control unit 25 assigns a different color to each finding and displays the target image. In FIG. 6, the different colors are shown by different hatching. Further, in FIG. 6, the number of findings is smaller than the actual number in order to simplify the illustration.
- the scout image 34 is displayed in the image display area 31.
- the scout image 34 is an image for confirming the entire subject included in the target image.
- the target image is a three-dimensional image
- a tomographic image of a coronal cross section obtained by cutting the human body in the left-right direction is displayed as the scout image 34.
- the display control unit 25 highlights the abnormal shadow based on the classification result of the findings in the tomographic image 33 and the scout image 34 displayed in the image display area 31. For example, the display control unit 25 highlights the tomographic image 33 by surrounding the abnormal shadow 41 with a rectangular region 42. Further, the display control unit 25 highlights the abnormal shadow corresponding to the abnormal shadow highlighted in the tomographic image 33 in the scout image 34 by using the heat map 44.
- the color of the heat map 44 is different depending on the degree of abnormality. In FIG. 6, the heat map 44 is shown by hatching showing a darker color toward the center of the abnormal shadow.
- the display control unit 25 assigns a hatch 45 to a region where an abnormality is predicted in the future based on the prediction information and highlights the area.
- the text display area 32 of the display screen 30 includes the prediction information display area 36 and the finding display area 37.
- the prediction information display area 36 a prediction sentence based on the prediction information derived by the second analysis unit 24 is displayed.
- the prediction text displayed in the prediction information display area 36 is "There are 80 cases of cancer in the upper right lobe in the future. 80% are re-photographed after 3 months.” be. Therefore, the hatching 45 is added to the upper right lobe of the scout image 34.
- the display control unit 25 has a learning model that has been trained so as to document the input information, and the prediction information is input to the learning model so that the prediction text is output. You can do it.
- a learning model for documenting prediction information for example, a recurrent neural network can be used.
- the learning model may be constructed by machine learning a recurrent neural network using prediction information and prediction sentences as teacher data.
- the findings display area 37 describes the findings obtained by the image interpreter interpreting the target image.
- the image interpreter can describe the findings by using the input device 15 with reference to the predicted text displayed in the predicted information display area 36.
- the display control unit 25 may have a learning model for detecting an abnormal shadow from the target image and a learning model for generating a finding sentence about the abnormal shadow.
- the display control unit 25 uses the learning model to generate a finding sentence about the abnormal shadow included in the target image, and displays the generated finding sentence in the finding display area 37. Even in this case, the interpreting doctor can use the input device 15 to refer to the predicted sentence and correct the finding sentence.
- the confirmation button 39 is displayed below the text display area 32 of the display screen 30.
- the interpreting doctor can confirm the finding text displayed in the finding display area 37 with the content thereof.
- the storage control unit 26 transcribed the finding text displayed in the finding display area 37 of the text display area 32 into the interpretation report by the operator's selection of the confirmation button 39, and referred to it when generating the interpretation report and the interpretation report.
- the tomographic image is also stored in the storage 13.
- the communication unit 27 transfers the image interpretation report and the tomographic image referred to when generating the image interpretation report to the report server 7 via the network I / F17.
- the report server 7 stores the interpretation report and the tomographic image together.
- the target image stored in the image server 5 and the image interpretation report stored in the report server 7 are associated with each other and registered in the image DB 6 and the report DB 8.
- FIG. 7 is a flowchart showing the processing performed in the present embodiment.
- the process is started when the image interpretation doctor gives an instruction to acquire a medical image to be image-read using the input device 15, and the information acquisition unit 21 acquires the target image (step ST1).
- the similarity derivation unit 22 derives the similarity between the target image and all the reference images registered in the image DB 6 (step ST2).
- the first analysis unit 23 identifies a similar reference image whose similarity is equal to or higher than a predetermined threshold value among the plurality of reference images registered in the image DB 6 (step ST3). Further, the first analysis unit 23 analyzes the interpretation report regarding the similar reference image to derive the progress information about the abnormal shadow included in the similar reference image (step ST4).
- the second analysis unit 24 derives the prediction information for predicting the future progress of the abnormal shadow included in the target image by statistically analyzing the progress information derived by the first analysis unit 23. (Step ST5). Then, the display control unit 25 displays the display screen 30 for displaying the prediction information on the display 14 (prediction information display; step ST6). Thereby, the image interpreting doctor can describe the finding sentence in the finding display area 37 with reference to the prediction sentence based on the prediction information.
- step ST7 the display control unit 25 determines whether or not the confirmation button 39 is selected. If step ST7 is denied, the process returns to step ST6.
- step ST7 When step ST7 is affirmed, the storage control unit 26 transfers the described findings to the interpretation report for the target image, and saves the interpretation report and the target image together in the storage 13 (save the interpretation report, etc.; Step ST8). Then, the communication unit 27 transfers the image interpretation report and the target image together to the report server 7 via the network I / F 17 (transfer of the image interpretation report or the like; step ST9), and ends the process.
- the target image is obtained by deriving the progress information of the similar reference image whose similarity with the target image to be diagnosed is equal to or higher than the threshold value and statistically analyzing the progress information.
- Prediction information for predicting the future progress of the abnormal shadows contained in is derived. Therefore, by referring to the prediction information, it is possible to obtain information such as how the abnormal shadow included in the target image will change in the future and at what interval the inspection should be performed in the future. Therefore, according to the present embodiment, it is possible to predict the future course of abnormal shadows with respect to the medical image to be diagnosed.
- the similarity between one target image and the reference image is derived to specify the similar reference image, but the present invention is not limited to this.
- the target image and at least one past image whose shooting date is earlier than the target image are used as one group (hereinafter referred to as the target image group) to derive the similarity with the reference image. May be good.
- the similarity derivation unit 22 first selects a reference image group consisting of a plurality of reference images including the same subject and having a shooting interval corresponding to the set of the target image and its past images with respect to the reference image. Identify.
- the "corresponding shooting interval” means a shooting interval that matches the shooting interval of the target image and the past image to some extent.
- the degree may include an error of about ⁇ 10% with respect to the length of the shooting interval. For example, if the shooting interval is 6 months, an error of about ⁇ 20 days may be included.
- FIG. 8 is a diagram for explaining the identification of the reference image group.
- the target image group 50 includes the target image 51 and the two past images 52 and 53.
- the shooting dates of the target image 51 are April 28, 2020, and the shooting dates of the two past images 52 and 53 are January 30, 2020 and October 20, 2019, respectively.
- the shooting interval of the three images 51 to 53 included in the target image group 50 is about 3 months. Therefore, the similarity derivation unit 22 specifies a reference image group consisting of three reference images including the same subject and a shooting interval of about 3 months.
- a reference image group 60 consisting of three reference images 61 to 63 whose shooting dates are August 6, 2019, May 10, 2019, and February 4, 2019, respectively, is specified. ..
- the similarity derivation unit 22 identifies a plurality of reference image groups having the same shooting interval as the target image group 50 from the plurality of reference images registered in the image DB 6.
- the similarity derivation unit 22 derives the similarity between the target image group and the reference image group. It should be noted that the derivation of the similarity may be performed between the reference image having the newest shooting date among the reference images included in the reference image group and the target image, but is not limited thereto. The similarity between the past image included in the target image group and the reference image having an older shooting date among the reference images included in the reference image group may also be derived. Of the reference image groups, a reference image group similar to the target image group is referred to as a similar reference image group.
- the first analysis unit 23 analyzes the interpretation report for each of the plurality of similar reference images included in the similar reference image group, thereby carrying out the above execution.
- the progress information is derived in the same way as the form.
- the second analysis unit 24 derives the prediction information by statistically analyzing the progress information derived in the same manner as in the above embodiment.
- the length of the shooting interval is not limited to the one corresponding to the shooting interval of the target image and the past image included in the target image group.
- the reference image group includes three reference images having different shooting dates and times regardless of the length of the shooting interval between the target image and the two past images.
- a similar reference image group may be specified from the image group.
- the prediction information may be transmitted to the report server 7 together with the interpretation report and stored. This makes it easier to make future predictions about abnormal shadows included in the target image when making a diagnosis by referring to the image interpretation report in the medical care WS4. Therefore, a more appropriate diagnosis can be made.
- the progress prediction device according to the present disclosure is applied to the interpretation WS3, but the present invention is not limited to this.
- the progress prediction device according to the present disclosure may be applied to the medical care WS4.
- the technique of the present disclosure is applied when a medical image with a diagnosis target as a lung is used as a target image to create an image interpretation report, but the diagnosis target is not limited to the lung.
- diagnosis target is not limited to the lung.
- any part of the human body such as the heart, liver, brain, and limbs can be diagnosed.
- various processes such as an information acquisition unit 21, a similarity derivation unit 22, a first analysis unit 23, a second analysis unit 24, a display control unit 25, a storage control unit 26, and a communication unit 27 are performed.
- various processors Processors
- the above-mentioned various processors include a CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, and a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like.
- Dedicated electricity which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits etc. are included.
- One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ) May be configured. Further, a plurality of processing units may be configured by one processor.
- one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
- SoC System On Chip
- the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
- circuitry in which circuit elements such as semiconductor elements are combined can be used.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
経過予測装置、方法およびプログラムにおいて、診断対象となる医用画像に関して、症状の予後を予測できるようにする。プロセッサは、複数の参照画像が保存され、かつ複数の参照画像のそれぞれに含まれる異常陰影についての読影結果が複数の参照画像のそれぞれと対応付けられて保存されたデータベースを参照して、対象画像と複数の参照画像との類似度を導出する。プロセッサは、複数の参照画像のうちの、類似度が予め定められたしきい値以上となる類似参照画像に関して、類似参照画像に関する読影結果を解析することにより、類似参照画像に含まれる異常陰影についての経過情報を導出する。プロセッサは、経過情報を統計的に解析することにより、対象画像に含まれる異常陰影についての今後の経過を予測するための予測情報を導出する。
Description
本開示は、医用画像に含まれる異常陰影についての経過を予測する経過予測装置、方法およびプログラムに関するものである。
近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像が画像診断に用いられるようになってきている。
一方、医療分野において、検査の対象となるＣＴ画像等の対象医用画像に類似する過去の医用画像を検索する手法が提案されている（例えば特許文献１参照）。特許文献１に記載された手法は、診断対象となる医用画像の各画素を複数種類の所見に分類し、所見毎に、所見のサイズおよび位置等の第１の特徴量を導出する。そして、保存された医用画像について予め導出された第２の特徴量と第１の特徴量との差に基づいて類似度を導出する手法である。特許文献１に記載された手法により類似度を導出することにより、データベースに保存された複数の医用画像から、対象画像に類似する医用画像を検索することができる。また、検索した類似画像について、検索に寄与した所見を特定して出力する手法も提案されている（例えば特許文献２参照）。
ところで、医用画像を用いて診断を行う際、症状および治療方法に応じて、経過観察を行う場合がある。経過観察を行う場合、次回の診断までの期間は、医師の経験に基づいて決定される。しかしながら、次回の診断までの期間が長すぎると、症状が進行して手遅れになる可能性がある。逆に、次回の診断までの期間が短すぎると、症状が進行しないのに撮影を行うことによる余計な被曝を患者にさせてしまう可能性がある。また、症状によっては、経時により新たな異常陰影が発生する部位が予測できる場合がある。この場合、新たな異常陰影が発生する部位を予測できれば、新たな異常陰影が生じる前に、何らかの手立てを取ることが可能である。
本開示は上記事情に鑑みなされたものであり、診断対象となる医用画像に含まれる異常陰影についての今後の経過を予測できるようにすることを目的とする。
本開示による経過予測装置は、少なくとも１つのプロセッサを備え、
プロセッサは、
複数の参照画像が保存され、かつ複数の参照画像のそれぞれに含まれる異常陰影についての読影結果が複数の参照画像のそれぞれと対応付けられて保存されたデータベースを参照して、対象画像と複数の参照画像との類似度を導出し、
複数の参照画像のうちの、類似度が予め定められたしきい値以上となる類似参照画像に関して、類似参照画像に関する読影結果を解析することにより、類似参照画像に含まれる異常陰影についての経過情報を導出し、
経過情報を統計的に解析することにより、対象画像に含まれる異常陰影についての今後の経過を予測するための予測情報を導出するように構成される。
プロセッサは、
複数の参照画像が保存され、かつ複数の参照画像のそれぞれに含まれる異常陰影についての読影結果が複数の参照画像のそれぞれと対応付けられて保存されたデータベースを参照して、対象画像と複数の参照画像との類似度を導出し、
複数の参照画像のうちの、類似度が予め定められたしきい値以上となる類似参照画像に関して、類似参照画像に関する読影結果を解析することにより、類似参照画像に含まれる異常陰影についての経過情報を導出し、
経過情報を統計的に解析することにより、対象画像に含まれる異常陰影についての今後の経過を予測するための予測情報を導出するように構成される。
「経過」とは、異常陰影がたどる経過および結末に関する医学上の見通しである予後を含む。また、異常陰影に対してその後に行われる検査までの期間を含む。
なお、本開示による経過予測装置においては、予測情報は、病名、異常陰影の大きさの変化、異常陰影の形状の変化、新たな異常陰影の発生の有無、新たな異常陰影の発生位置、併発しやすい病名、および次回の診断までの期間の少なくとも１つを含むものであってもよい。
また、本開示による経過予測装置においては、プロセッサは、予測情報をディスプレイに表示するように構成されるものであってもよい。
また、本開示による経過予測装置においては、予測情報が新たな異常陰影の発生位置を含む場合、プロセッサは、対象画像を表示し、表示した対象画像において、新たな異常陰影の発生位置を強調表示するように構成されるものであってもよい。
また、本開示による経過予測装置においては、プロセッサは、対象画像についての特徴量を導出し、対象画像について導出した特徴量と、複数の参照画像のそれぞれについての特徴量とに基づいて、類似度を導出するように構成されるものであってもよい。
また、本開示による経過予測装置においては、プロセッサは、対象画像および対象画像を取得した被写体と同一被写体についての、対象画像よりも撮影日が前の少なくとも１つの過去対象画像を含む対象画像群と、複数の参照画像のうち、同一の被写体を撮影することにより取得され、対象画像および少なくとも１つの過去対象画像の撮影間隔に対応する撮影間隔を有する複数の参照画像を含む参照画像群との類似度を導出し、類似度が予め定められたしきい値以上となる類似参照画像群に関して、類似参照画像群に含まれる複数の類似参照画像に対応付けられた読影結果を解析することにより、類似参照画像群についての経過情報を導出するように構成されるものであってもよい。
本開示による経過予測方法は、複数の参照画像が保存され、かつ複数の参照画像のそれぞれに含まれる異常陰影についての読影結果が複数の参照画像のそれぞれと対応付けられて保存されたデータベースを参照して、対象画像と複数の参照画像との類似度を導出し、複数の参照画像のうちの、類似度が予め定められたしきい値以上となる類似参照画像に関して、類似参照画像に関する読影結果を解析することにより、類似参照画像に含まれる異常陰影についての経過情報を導出し、経過情報を統計的に解析することにより、対象画像に含まれる異常陰影についての今後の経過を予測するための予測情報を導出する。
なお、本開示による経過予測方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示によれば、診断対象となる医用画像に含まれる異常陰影についての今後の経過を予測できる。
以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による経過予測装置を適用した医療情報システム１の構成について説明する。図１は、医療情報システム１の概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
図１に示すように、医療情報システム１は、複数の撮影装置２、読影端末である複数の読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像データベース（以下、画像ＤＢ（DataBase）とする）６、レポートサーバ７およびレポートデータベース（以下レポートＤＢとする）８が、有線または無線のネットワーク１０を介して互いに通信可能な状態で接続されて構成されている。
各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ネットワーク１０に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）およびＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。
撮影装置２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ６に保存される。
読影ＷＳ３は、例えば放射線科の読影医が、医用画像の読影および読影レポートの作成等に利用するコンピュータであり、本実施形態による経過予測装置２０を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、および医用画像に関する所見文の入力受け付け等が行われる。また、読影ＷＳ３では、医用画像および入力された所見文に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ７に対する読影レポートの登録要求と閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。
診療ＷＳ４は、診療科の医師が、画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療ＷＳ４では、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。
画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像ＤＢ６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受け付けると、その医用画像を保存し、保存した医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。
画像ＤＢ６には、撮影装置２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。また、画像ＤＢ６は、読影ＷＳ３において読影レポートが生成された医用画像については、生成された読影レポートを識別するための識別情報も登録される。識別情報により画像サーバ５に保存された参照画像と、レポートサーバ７に保存された読影レポートとが対応付けられる。また、画像ＤＢ６には、読影レポートを生成する際に導出された、医用画像に含まれる肺領域についての特徴量も登録される。特徴量については後述する。
なお、読影レポートが生成されて画像ＤＢ６に登録された医用画像について、以降の説明においては参照画像と称するものとする。また、これから読影レポートを生成する医用画像については、対象画像と称するものとする。
また、画像サーバ５は、読影ＷＳ３および診療ＷＳ４からの閲覧要求をネットワーク１０経由で受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３および診療ＷＳ４に送信する。
レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートを保存し、保存した読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。
レポートＤＢ８には、読影ＷＳ３において作成された医用画像の読影結果である所見文を含む読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ＩＤ、読影を行った読影医を識別するための読影医ＩＤ、病変名、病変の位置情報、および病変を含む医用画像にアクセスするための情報等の情報を含んでいてもよい。
また、レポートサーバ７は、読影ＷＳ３および診療ＷＳ４からの読影レポートの閲覧要求または送信要求をネットワーク１０経由で受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影ＷＳ３および診療ＷＳ４に送信する。なお、本実施形態においては、後述するように導出された類似参照画像の閲覧要求が画像サーバ５に対してなされると、画像サーバ５からレポートサーバ７に対して類似参照画像についての読影レポートの送信指示がなされる。これにより、レポートサーバ７は、類似参照画像についての読影レポートを、要求元の読影ＷＳ３または診療ＷＳ４へ送信する。
なお、本実施形態においては、医用画像は診断対象を肺とした、複数の断層画像からなる３次元のＣＴ画像とし、ＣＴ画像を読影することにより、肺に含まれる異常陰影についての読影結果を所見文として含む読影レポートを作成するものとする。なお、医用画像はＣＴ画像に限定されるものではなく、ＭＲＩ画像および単純Ｘ線撮影装置により取得された単純２次元画像等の任意の医用画像を用いることができる。
ネットワーク１０は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
次いで、本実施形態による経過予測装置について説明する。図２は、本実施形態による経過予測装置のハードウェア構成を説明する。図２に示すように、経過予測装置２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、経過予測装置２０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク１０に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、経過予測プログラムが記憶される。ＣＰＵ１１は、ストレージ１３から経過予測プログラム１２を読み出してからメモリ１６に展開し、展開した経過予測プログラム１２を実行する。
次いで、本実施形態による経過予測装置の機能的な構成を説明する。図３は、本実施形態による経過予測装置の機能的な構成を示す図である。図３に示すように経過予測装置２０は、情報取得部２１、類似度導出部２２、第１解析部２３、第２解析部２４、表示制御部２５、保存制御部２６および通信部２７を備える。そして、ＣＰＵ１１が、経過予測プログラム１２を実行することにより、ＣＰＵ１１は、情報取得部２１、類似度導出部２２、第１解析部２３、第２解析部２４、表示制御部２５、保存制御部２６および通信部２７として機能する。
情報取得部２１は、操作者である読影医による入力デバイス１５からの指示により、画像サーバ５から読影の対象となる対象画像を取得する。また、情報取得部２１は、後述する類似度の導出のために、画像ＤＢ６に登録された、画像サーバ５に保存された参照画像についての特徴量を取得する。さらに、情報取得部２１は、後述するように導出された類似参照画像についての読影レポートをレポートサーバ７から取得する。
類似度導出部２２は、画像ＤＢ６を参照して、画像サーバ５に保存された複数の参照画像と対象画像との類似度を導出する。このために、類似度導出部２２は、対象画像を解析することにより、対象画像に含まれる肺領域を予め定められた複数の所見に分類する。本実施形態においては、類似度導出部２２は、医用画像に含まれる肺領域の各画素を予め定められた複数の所見のそれぞれについて判別するように機械学習がなされた学習モデル２２Ａを有する。
本実施形態においては、学習モデル２２Ａは、対象画像に含まれる肺領域を、例えば、浸潤影、腫瘤影、すりガラス影、小葉中心性結節影、非小葉中心性結節影、点状影、網状影、線状影、小葉間隔壁肥厚、蜂窩肺、嚢胞、低吸収域（気腫）、気腫傾向、空洞、胸膜肥厚、胸水、空洞、気管支拡張、牽引性気管支拡張、血管、正常肺、胸壁および縦隔等の複数の所見に分類するように学習がなされている。なお、所見の種類はこれらに限定されるものではなく、これらより多くの所見であってもよく、これらより少ない所見であってもよい。
本実施形態においては、学習モデル２２Ａは、医用画像における所見を判別するように、教師データを用いてディープラーニング（深層学習）等により機械学習がなされた畳み込みニューラルネットワークからなる。
学習モデル２２Ａを学習するための教師データは、医用画像とこの医用画像についての所見の分類結果を表す正解データとの組み合わせからなる。学習モデル２２Ａは、医用画像が入力されると、医用画像の各画素について、複数の所見のそれぞれについての所見スコアを出力する。所見スコアは、各所見についての所見の顕著性を示すスコアである。所見スコアは例えば０以上１以下の値をとり、所見スコアの値が大きい程、その所見が顕著であることを示す。
図４は、ある画素についての所見の種類に応じた所見スコアを示す図である。なお、図４においては、説明を簡単なものとするために一部の所見についての評価値を示す。本実施形態において、類似度導出部２２は、入力された画素について学習モデル２２Ａが出力した各所見についての所見スコアのうち、最も所見スコアが大きい所見に、入力された画素を分類する。例えば、図４に示すような所見スコアが出力された場合、その画素は、網状影である可能性が最も高く、次にすりガラス影の可能性が高い。逆に正常肺または低吸収域の可能性はほとんど無い。このため、図４に示すような所見スコアが出力された場合、類似度導出部２２は、その画素は所見スコアが最大の０．９である網状影に分類する。このような分類の処理を肺領域内の全画素について行うことにより、肺領域内の全画素が複数種類の所見のいずれに分類される。
さらに、類似度導出部２２は、対象画像において分類された所見毎に特徴量を導出する。具体的には、所見毎の領域の位置、所見毎の領域の大きさ、所見毎の平均濃度、所見毎の濃度の分散、所見毎の領域の数および所見毎の領域の平均サイズ等の少なくとも１つを特徴量として算出する。ここで、特徴量は０以上１以下の値に正規化される。なお、対象画像について算出した特徴量を、第１の特徴量と称するものとする。また、所見毎の領域の大きさ、所見毎の領域の数および所見毎の領域の平均サイズ等がサイズ特徴量である。所見毎の領域の位置としては所見毎の領域の重心位置の座標値を用いることができる。所見毎の領域の大きさとしては、所見毎の領域の体積を用いることができる。
本実施形態においては、画像ＤＢ６には、複数の参照画像についての特徴量が登録されている。参照画像について画像ＤＢ６に登録されている特徴量を第２の特徴量と称する。なお、対象画像について、第１の特徴量が取得されると、対象画像が新たな参照画像として画像ＤＢ６に登録される。この際、その対象画像についての第１の特徴量が、新たな参照画像の第２の特徴量として画像ＤＢ６に登録される。
ここで、対象画像および参照画像において、同一の所見が略同一の位置において略同一大きさで存在すれば、医学的に２つの画像は類似することとなる。類似度導出部２２は、対象画像について導出された所見毎の第１の特徴量と、参照画像において画像ＤＢ６に登録された所見毎の第２の特徴量との距離の差に基づいて、対象画像と参照画像との類似度を導出する。なお、類似度導出部２２は、対象画像と画像ＤＢ６に登録されたすべての参照画像との類似度を導出する。このために、類似度導出部２２は、まず所見毎に第１の特徴量と参照画像の第２の特徴量との距離の差を導出する。例えば、類似度導出部２２は、特徴量の種類毎の距離の差の二乗和または距離の絶対値の和を、第１の特徴量と第２の特徴量との距離の差として導出する。そして、所見毎の距離の差を加算または重み付け加算することにより、対象画像と参照画像との距離の差を類似度として導出する。
なお、第１の特徴量と第２の特徴量とが一致する場合、特徴量の差は０となる。このため、本実施形態においては、第１の特徴量と第２の特徴量との差に負号を付与する。これにより、導出された類似度は、対象画像と参照画像が類似するほど大きい値となる。
第１解析部２３は、画像ＤＢ６に登録された複数の参照画像のうちの、類似度が予め定められたしきい値以上となる類似参照画像を特定する。そして、第１解析部２３は、類似参照画像に関する読影レポートを解析することにより、類似参照画像に含まれる異常陰影についての経過情報を導出する。以下、第１解析部２３が行う処理について説明する。
第１解析部２３は、画像ＤＢ６を参照して、類似参照画像を取得した被写体と同一被写体についての参照画像を特定する。そして、第１解析部２３は、類似参照画像および特定した参照画像に対応付けられた読影レポートを取得する指示を、情報取得部２１に対して行う。これにより、情報取得部２１は、類似参照画像および特定した参照画像に対応付けられた読影レポートをレポートサーバ７から取得する。取得した読影レポートが、本開示の類似参照画像に関する読影結果に対応する。第１解析部２３は、取得した読影レポートを解析することにより、類似参照画像に含まれる異常陰影についての経過情報を導出する。
図５は類似参照画像に関する読影結果を模式的に示す図である。図５に示すように、類似参照画像Ｓｓ０について、同一被写体についての３つの参照画像（以下、関連類似参照画像とする）Ｓｒ１～Ｓｒ３が画像ＤＢ６に登録されているとする。なお、類似参照画像Ｓｓ０の撮影日時は、２０１８年４月４日であり、関連類似参照画像Ｓｒ１～Ｓｒ３の撮影日時はそれぞれ２０１８年１０月６日、２０１９年４月２日、および２０１９年１０月１１日である。また、類似参照画像Ｓｓ０および関連類似参照画像Ｓｒ１～Ｓｒ３には、それぞれ読影レポートＲｓ０、Ｒｒ１～Ｒｒ３が対応付けられているものとする。
読影レポートＲｓ０の内容は、「右肺中葉に、１ｃｍ大の間質性肺炎が認められます。」である。読影レポートＲｒ１の内容は、「右肺中葉に、１．５ｃｍ大の間質性肺炎が認められます。」である。読影レポートＲｒ２の内容は、「右肺中葉に、２．０ｃｍ大の間質性肺炎が認められます。右肺上葉に結節が認められます。」である。読影レポートＲｒ３の内容は、「右肺中葉に、２．８ｃｍ大の間質性肺炎が認められます。右肺上葉に悪性の結節が認められます。」である。
第１解析部２３は、すべての類似参照画像について、類似参照画像に関する読影レポートを取得する。そして、読影レポートを解析することにより、類似参照画像および関連類似参照画像のそれぞれに含まれる異常陰影についての経過情報を導出する。具体的には、第１解析部２３は、読影レポートＲｓ０，Ｒｒ１～Ｒｒ３において、類似参照画像および関連類似参照画像の撮影間隔、異常陰影のサイズの変化に関連する記述、形状の変化に関連する記述、新たに出現した異常陰影の場所に関する記述、および併発した病名に関する記述等を特定する。そして、特定した記述に基づいて、撮影間隔、異常陰影の倍化時間、変化した形状、新たな異常陰影が出現した場所、および併発した病名等のうちの少なくとも１つを経過情報として導出する。なお、倍化時間とは異常陰影のサイズが約２倍となるまでの時間を意味する。
ここで、撮影間隔は、類似参照画像Ｓｓ０および関連類似参照画像Ｓｒ１～Ｓｒ３の撮影間隔に基づいて導出できる。異常陰影の倍化時間は、異常陰影のサイズの変化に関連する記述から導出できる。変化した形状は、形状の変化に関連する記述から導出できる。新たな異常陰影が出現する場所は、新たに出現した異常陰影の場所に関する記述から導出できる。併発した病名は、併発した病名に関する記述から導出できる。このようにして、第１解析部２３は、すべての類似参照画像についての経過情報を導出する。
第２解析部２４は、第１解析部２３が導出した経過情報を統計的に解析することにより、対象画像に含まれる異常陰影についての今後の経過を予測するための予測情報を導出する。本実施形態において、予測情報は、次の撮影までの撮影間隔、異常陰影の倍化時間、今後変化する形状、今後新たな異常陰影が出現する場所および今後併発する病名等のうちの少なくとも１つについての統計的な情報を含む。
次の撮影までの撮影間隔の統計的な情報に関して、第２解析部２４は、第１解析部２３が導出した経過情報に含まれる撮影間隔のうち、最も多い撮影間隔を導出する。さらに、最も多い撮影間隔となる類似参照画像の数の、すべての類似参照画像の数に対する割合を導出する。その結果、最も多い撮影間隔が６ヶ月程度であり、撮影間隔が６ヶ月程度である類似参照画像の数のすべての類似参照画像に対する割合が８０％である場合、「８０％が６ヶ月後に撮影されている。」ことを、次の撮影までの撮影間隔の統計的な情報として導出する。
また、異常陰影の倍化時間の統計的な情報に関して、第２解析部２４は、第１解析部２３が導出した経過情報に含まれる異常陰影の倍化時間のうち、最も多い倍化時間を導出する。さらに、最も多い倍化時間となる類似参照画像の数の、すべての類似参照画像に対する割合を導出する。その結果、最も多い倍化時間が８ヶ月程度であり、倍化時間が８ヶ月程度である類似参照画像の数のすべての類似参照画像の数の対する割合が７０％である場合、「７０％が８ヶ月後にサイズが２倍になっている」ことを、異常陰影の倍化時間の撮影間隔の統計的な情報として導出する。
また、変化する形状の統計的な情報に関して、第２解析部２４は、第１解析部２３が導出した経過情報に含まれる変化した形状のうち、最も多い形状を導出する。さらに、最も多い形状となる類似参照画像の数の、すべての類似参照画像に対する割合を導出する。その結果、例えば形状がスピキュラ状に変化した異常陰影を含む類似参照画像の数の、すべての類似参照画像に対する割合が８５％である場合、「８５％がスピキュラ状に変化する」ことを、変化する形状の統計的な情報として導出する。
また、新たな異常陰影が出現する場所の統計的な情報に関して、第２解析部２４は、第１解析部２３が導出した経過情報に含まれる新たな異常陰影が出現した場所のうち、最も多い出現場所を導出する。さらに、最も多い出現場所となる類似参照画像の数の、すべての類似参照画像に対する割合を導出する。その結果、最も多い出現場所が右肺上葉であり、出現場所が右肺上葉である類似参照画像の数の、すべての類似参照画像に対する割合が７５％である場合、「７５％が右肺上葉に新たな異常陰影が発生する」ことを、新たな異常陰影が出現する場所の統計的な情報として導出する。
また、併発する病名の統計的な情報に関して、第２解析部２４は、第１解析部２３が導出した経過情報に含まれる併発した病名のうち、最も多い病名を導出する。さらに、最も多い病名となる類似参照画像の数の、すべての類似参照画像に対する割合を導出する。その結果、最も多い病名が癌であり、癌が併発した類似参照画像の数の、すべての類似参照画像に対する割合が８０％である場合、「８０％で癌が併発する」ことを、併発する病名の統計的な情報として導出する。
なお、統計的な情報として、割合に代えて、すべての類似参照画像の数に対する該当する情報の数を導出してもよい。例えば、併発する病名の統計的な情報に関して、１００件の類似参照画像のうち８０件の類似参照画像において癌が併発していた場合、「１００件中８０件で癌が併発する」ことを、併発する病名の統計的な情報として導出してもよい。
表示制御部２５は、予測情報をディスプレイ１４に表示する。図６は予測情報の表示画面を示す図である。図６に示すように、予測情報の表示画面３０は、画像表示領域３１および文章表示領域３２を含む。画像表示領域３１には、対象画像の断層面を表す断層画像３３が、断層面を切り替え可能に表示される。断層画像の切り替えは、例えば入力デバイス１５が有するマウスのホイールにより行うことができる。なお、対象画像の各画素は、複数の所見に分類されているため、表示制御部２５は、所見毎に異なる色を割り当てて対象画像を表示する。図６においては、色が異なることを異なるハッチングにより示している。また、図６においては、図示を簡略化するために、所見の数は実際よりも少ないものとなっている。また、画像表示領域３１には、スカウト画像３４が表示される。スカウト画像３４とは、対象画像に含まれる被写体の全容を確認するための画像である。本実施形態においては、対象画像は３次元画像であるため、スカウト画像３４として、人体を左右方向に切断したコロナル断面の断層画像が表示される。
ここで、表示制御部２５は、画像表示領域３１に表示される断層画像３３およびスカウト画像３４において、所見の分類結果に基づく異常陰影を強調表示する。例えば、表示制御部２５は、断層画像３３において、異常陰影４１を矩形領域４２により囲むことにより強調表示する。また、表示制御部２５は、スカウト画像３４において、断層画像３３において強調表示されている異常陰影に対応する異常陰影を、ヒートマップ４４を用いて強調表示する。ヒートマップ４４は異常の程度に応じて色が異なるものとなっている。図６においてヒートマップ４４は異常陰影の中心ほど濃い色を表すハッチングにより示している。なお、表示制御部２５は、スカウト画像３４において、予測情報に基づいて、将来的に異常が予測される領域にハッチング４５を付与して強調表示する。
表示画面３０の文章表示領域３２は、予測情報表示領域３６および所見表示領域３７を含む。予測情報表示領域３６には、第２解析部２４が導出した予測情報に基づく予測文章が表示される。図６において、予測情報表示領域３６に表示される予測文章は、「今後右上葉に癌が併発したケースが、１００件中８０件あります。８０％が３ヶ月後に再撮影されています。」である。このため、スカウト画像３４の右上葉にハッチング４５が付与されることとなる。
なお、予測情報の文章化は、入力された情報を文章化するように学習がなされた学習モデルを表示制御部２５が有するものとし、学習モデルに予測情報を入力して予測文章を出力させるようにして行えばよい。予測情報を文章化する学習モデルとしては、例えばリカレントニューラルネットワークを用いることができる。この場合、学習モデルは、予測情報と予測文章を教師データとして使用して、リカレントニューラルネットワークを機械学習することにより構築すればよい。
所見表示領域３７には、読影医が対象画像を読影することによる所見が記述される。この際、読影医は予測情報表示領域３６に表示された予測文章を参照して、入力デバイス１５を用いて所見を記述することができる。なお、表示制御部２５が、対象画像から異常陰影を検出する学習モデルおよび異常陰影についての所見文を生成する学習モデルを有するものとしてもよい。この場合、表示制御部２５は、学習モデルを用いて、対象画像に含まれる異常陰影についての所見文を生成し、生成した所見文を所見表示領域３７に表示する。この場合においても、読影医は入力デバイス１５を用いて、予測文章を参照して所見文を修正することができる。
一方、表示画面３０の文章表示領域３２の下方には確定ボタン３９が表示されている。読影医は確定ボタン３９を選択することにより、所見表示領域３７に表示された所見文をその内容で確定することができる。
保存制御部２６は、操作者による確定ボタン３９の選択により、文章表示領域３２の所見表示領域３７に表示された所見文を読影レポートに転記し、読影レポートおよび読影レポートを生成する際に参照した断層画像を併せて、ストレージ１３に保存する。
通信部２７は、読影レポートおよび読影レポートを生成する際に参照した断層画像を併せて、ネットワークＩ／Ｆ１７を介してレポートサーバ７に転送する。レポートサーバ７は、読影レポートおよび断層画像を併せて保存する。この際、画像サーバ５に保存された対象画像と、レポートサーバ７に保存された読影レポートとが対応付けられて、画像ＤＢ６およびレポートＤＢ８に登録される。
次いで、本実施形態において行われる処理について説明する。図７は本実施形態において行われる処理を示すフローチャートである。読影医が入力デバイス１５を用いて、読影を行う医用画像を取得する指示を行うことにより処理が開始され、情報取得部２１が対象画像を取得する（ステップＳＴ１）。次いで、類似度導出部２２が、対象画像と画像ＤＢ６に登録されたすべての参照画像との類似度を導出する（ステップＳＴ２）。そして、第１解析部２３が、画像ＤＢ６に登録された複数の参照画像のうちの、類似度が予め定められたしきい値以上となる類似参照画像を特定する（ステップＳＴ３）。さらに、第１解析部２３は、類似参照画像に関する読影レポートを解析することにより、類似参照画像に含まれる異常陰影についての経過情報を導出する（ステップＳＴ４）。
続いて、第２解析部２４が、第１解析部２３が導出した経過情報を統計的に解析することにより、対象画像に含まれる異常陰影についての今後の経過を予測するための予測情報を導出する（ステップＳＴ５）。そして、表示制御部２５が、予測情報を表示するための表示画面３０をディスプレイ１４に表示する（予測情報表示；ステップＳＴ６）。これにより、読影医は予測情報に基づく予測文章を参照して、所見表示領域３７に所見文を記述することができる。
続いて、表示制御部２５は、確定ボタン３９が選択されたか否かを判定する（ステップＳＴ７）。ステップＳＴ７が否定されると、ステップＳＴ６に戻る。
ステップＳＴ７が肯定されると、保存制御部２６が、記述された所見文を対象画像についての読影レポートに転記し、読影レポートおよび対象画像を併せて、ストレージ１３に保存する（読影レポート等保存；ステップＳＴ８）。そして、通信部２７が、読影レポートおよび対象画像を併せて、ネットワークＩ／Ｆ１７を介してレポートサーバ７に転送し（読影レポート等転送；ステップＳＴ９）、処理を終了する。
このように、本実施形態においては、診断対象となる対象画像との類似度がしきい値以上となる類似参照画像に関して経過情報を導出し、経過情報を統計的に解析することにより、対象画像に含まれる異常陰影についての今後の経過を予測するための予測情報を導出するようにした。このため、予測情報を参照することにより、対象画像に含まれる異常陰影が今後どのように変化していくか、今後どのような間隔で検査を行えばよいか等の情報を得ることができる。したがって、本実施形態によれば、診断対象となる医用画像に関して、異常陰影の今後の経過を予測できる。
なお、上記実施形態においては、１つの対象画像と参照画像との類似度を導出して類似参照画像を特定しているが、これに限定されるものではない。同一の被写体に関して、対象画像と対象画像よりも撮影日が前の少なくとも１つの過去画像とを１つの群（以下、対象画像群とする）として用いて、参照画像との類似度を導出してもよい。この場合、類似度導出部２２は、参照画像に関して、撮影間隔が対象画像およびその過去画像の組と対応する撮影間隔を有し、かつ同一被写体を含む複数の参照画像からなる参照画像群をまず特定する。
ここで、「対応する撮影間隔」とは、対象画像および過去画像の撮影間隔とある程度一致する撮影間隔を意味する。ある程度とは撮影間隔の長さに対して±１０％程度の誤差を含むものであってもよい。例えば、撮影間隔が６ヶ月であれば、±２０日程度の誤差を含むものであってもよい。
図８は参照画像群の特定を説明するための図である。なお、図８においては、対象画像群５０は対象画像５１および２つの過去画像５２，５３を含む。対象画像５１の撮影日は２０２０年４月２８日、２つの過去画像５２，５３の撮影日はそれぞれ２０２０年１月３０日および２０１９年１０月２０日である。ここで、対象画像群５０に含まれる３つの画像５１～５３の撮影間隔は約３ヶ月である。このため、類似度導出部２２は、撮影間隔が約３ヶ月となり、かつ同一被写体を含む３つの参照画像からなる参照画像群を特定する。例えば、図８に示すように、撮影日がそれぞれ２０１９年８月６日、２０１９年５月１０日および２０１９年２月４日の３つの参照画像６１～６３からなる参照画像群６０を特定する。なお、類似度導出部２２は、画像ＤＢ６に登録された複数の参照画像から対象画像群５０と同一の撮影間隔となる複数の参照画像群を特定する。
そして、類似度導出部２２は、対象画像群と参照画像群との類似度を導出する。なお、類似度の導出は、参照画像群に含まれる参照画像のうちの最も撮影日が新しい参照画像と対象画像との間で行ってもよいが、これに限定されるものではない。対象画像群に含まれる過去画像と、参照画像群に含まれる参照画像のうちの撮影日が古い参照画像との類似度も併せて導出してもよい。参照画像群のうち対象画像群と類似する参照画像群を類似参照画像群と称する。
このように、類似度導出部２２が類似参照画像群を特定すると、第１解析部２３は、類似参照画像群に含まれる複数の類似参照画像のそれぞれに関する読影レポートを解析することにより、上記実施形態と同様に経過情報を導出する。そして、第２解析部２４は、上記実施形態と同様に導出された経過情報を統計的に解析することにより、予測情報を導出する。
なお、参照画像群に関して、撮影間隔の長さが対象画像群に含まれる対象画像および過去画像の撮影間隔と対応するものに限定されるものではない。例えば、対象画像群が対象画像および２つの過去画像を含む場合、参照画像群として、対象画像および２つの過去画像の撮影間隔の長さに拘わらず、撮影日時が異なる３つの参照画像を含む参照画像群から類似参照画像群を特定するようにしてもよい。
また、上記実施形態においては、予測情報を読影レポートと併せてレポートサーバ７に送信して保存するようにしてもよい。これにより、診療ＷＳ４において読影レポートを参照して診断を行う際に、対象画像に含まれる異常陰影についての今後の予測を立てやすくなる。したがって、より適切な診断を行うことができる。
また、上記実施形態においては、本開示による経過予測装置を読影ＷＳ３に適用しているが、これに限定されるものではない。本開示による経過予測装置を、診療ＷＳ４に適用してもよい。
また、上記実施形態においては、診断対象を肺とした医用画像を対象画像として読影レポートを作成する場合に本開示の技術を適用しているが、診断対象は肺に限定されるものではない。肺の他に、心臓、肝臓、脳、および四肢等の人体の任意の部位を診断対象とすることができる。
また、上記実施形態において、例えば、情報取得部２１、類似度導出部２２、第１解析部２３、第２解析部２４、表示制御部２５、保存制御部２６および通信部２７といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
１ 医療情報システム
２ 撮影装置
３ 読影ＷＳ
４ 診療ＷＳ
５ 画像サーバ
６ 画像ＤＢ
７ レポートサーバ
８ レポートＤＢ
１０ ネットワーク
１１ ＣＰＵ
１２ 経過予測プログラム
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
１７ ネットワークＩ／Ｆ
１８ バス
２０ 経過予測装置
２１ 情報取得部
２２ 類似度導出部
２３ 第１解析部
２４ 第２解析部
２５ 表示制御部
２６ 保存制御部
２７ 通信部
３０ 表示画面
３１ 画像表示領域
３２ 文章表示領域
３３ 断層画像
３４ スカウト画像
３６ 予測情報表示領域
３７ 所見表示領域
３９ 確定ボタン
４１ 異常陰影
４２ 矩形領域
４４ ヒートマップ
４５ ハッチング
５０ 対象画像群
５１ 対象画像
５２，５３ 過去画像
６０ 参照画像群
６１～６３ 参照画像
Ｒｓ０，Ｒｒ１～Ｒｒ３ 読影レポート
Ｓｓ０ 類似参照画像
Ｓｒ１～Ｓｒ３ 参照画像
２ 撮影装置
３ 読影ＷＳ
４ 診療ＷＳ
５ 画像サーバ
６ 画像ＤＢ
７ レポートサーバ
８ レポートＤＢ
１０ ネットワーク
１１ ＣＰＵ
１２ 経過予測プログラム
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
１７ ネットワークＩ／Ｆ
１８ バス
２０ 経過予測装置
２１ 情報取得部
２２ 類似度導出部
２３ 第１解析部
２４ 第２解析部
２５ 表示制御部
２６ 保存制御部
２７ 通信部
３０ 表示画面
３１ 画像表示領域
３２ 文章表示領域
３３ 断層画像
３４ スカウト画像
３６ 予測情報表示領域
３７ 所見表示領域
３９ 確定ボタン
４１ 異常陰影
４２ 矩形領域
４４ ヒートマップ
４５ ハッチング
５０ 対象画像群
５１ 対象画像
５２，５３ 過去画像
６０ 参照画像群
６１～６３ 参照画像
Ｒｓ０，Ｒｒ１～Ｒｒ３ 読影レポート
Ｓｓ０ 類似参照画像
Ｓｒ１～Ｓｒ３ 参照画像
Claims (9)
- 少なくとも１つのプロセッサを備え、
前記プロセッサは、
複数の参照画像が保存され、かつ該複数の参照画像のそれぞれに含まれる異常陰影についての読影結果が前記複数の参照画像のそれぞれと対応付けられて保存されたデータベースを参照して、対象画像と前記複数の参照画像との類似度を導出し、
前記複数の参照画像のうちの、前記類似度が予め定められたしきい値以上となる類似参照画像に関して、該類似参照画像に関する読影結果を解析することにより、該類似参照画像に含まれる異常陰影についての経過情報を導出し、
前記経過情報を統計的に解析することにより、前記対象画像に含まれる異常陰影についての今後の経過を予測するための予測情報を導出するように構成される経過予測装置。 - 前記予測情報は、病名、前記異常陰影の大きさの変化、前記異常陰影の形状の変化、新たな異常陰影の発生の有無、該新たな異常陰影の発生位置、併発しやすい病名、および次回の診断までの期間の少なくとも１つを含む請求項１に記載の経過予測装置。
- 前記プロセッサは、前記予測情報をディスプレイに表示するように構成される請求項１に記載の経過予測装置。
- 前記プロセッサは、前記予測情報をディスプレイに表示するように構成される請求項２に記載の経過予測装置。
- 前記予測情報が前記新たな異常陰影の発生位置を含む場合、前記プロセッサは、前記対象画像を表示し、表示した前記対象画像において、前記新たな異常陰影の発生位置を強調表示するように構成される請求項４に記載の経過予測装置。
- 前記プロセッサは、前記対象画像についての特徴量を導出し、該対象画像について導出した特徴量と、前記複数の参照画像のそれぞれについての特徴量とに基づいて、前記類似度を導出するように構成される請求項１から５のいずれか１項に記載の経過予測装置。
- 前記プロセッサは、前記対象画像および該対象画像を取得した被写体と同一被写体についての、該対象画像よりも撮影日が前の少なくとも１つの過去対象画像を含む対象画像群と、前記複数の参照画像のうち、同一の被写体を撮影することにより取得され、前記対象画像、および前記少なくとも１つの過去対象画像の撮影間隔に対応する撮影間隔を有する複数の参照画像を含む参照画像群との類似度を導出し、
前記類似度が予め定められたしきい値以上となる類似参照画像群に関して、該類似参照画像群に含まれる複数の類似参照画像に対応付けられた読影結果を解析することにより、該類似参照画像群についての経過情報を導出するように構成される請求項１から６のいずれか１項に記載の経過予測装置。 - 複数の参照画像が保存され、かつ該複数の参照画像のそれぞれに含まれる異常陰影についての読影結果が前記複数の参照画像のそれぞれと対応付けられて保存されたデータベースを参照して、対象画像と前記複数の参照画像との類似度を導出し、
前記複数の参照画像のうちの、前記類似度が予め定められたしきい値以上となる類似参照画像に関して、該類似参照画像に関する読影結果を解析することにより、該類似参照画像に含まれる異常陰影についての経過情報を導出し、
前記経過情報を統計的に解析することにより、前記対象画像に含まれる異常陰影についての今後の経過を予測するための予測情報を導出する経過予測方法。 - 複数の参照画像が保存され、かつ該複数の参照画像のそれぞれに含まれる異常陰影についての読影結果が前記複数の参照画像のそれぞれと対応付けられて保存されたデータベースを参照して、対象画像と前記複数の参照画像との類似度を導出する手順と、
前記複数の参照画像のうちの、前記類似度が予め定められたしきい値以上となる類似参照画像に関して、該類似参照画像に関する読影結果を解析することにより、該類似参照画像に含まれる異常陰影についての経過情報を導出する手順と、
前記経過情報を統計的に解析することにより、前記対象画像に含まれる異常陰影についての今後の経過を予測するための予測情報を導出する手順とをコンピュータに実行させる経過予測プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022528462A JP7376715B2 (ja) | 2020-06-04 | 2021-04-06 | 経過予測装置、経過予測装置の作動方法および経過予測プログラム |
| US18/052,552 US20230088616A1 (en) | 2020-06-04 | 2022-11-03 | Progression prediction apparatus, progression prediction method, and progression prediction program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020097899 | 2020-06-04 | ||
| JP2020-097899 | 2020-06-04 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US18/052,552 Continuation US20230088616A1 (en) | 2020-06-04 | 2022-11-03 | Progression prediction apparatus, progression prediction method, and progression prediction program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021246047A1 true WO2021246047A1 (ja) | 2021-12-09 |
Family
ID=78830818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2021/014577 WO2021246047A1 (ja) | 2020-06-04 | 2021-04-06 | 経過予測装置、方法およびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230088616A1 (ja) |
| JP (1) | JP7376715B2 (ja) |
| WO (1) | WO2021246047A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007287027A (ja) * | 2006-04-19 | 2007-11-01 | Fujifilm Corp | 医療用の計画立案支援システム |
| JP2011182960A (ja) * | 2010-03-09 | 2011-09-22 | Fuji Xerox Co Ltd | プログラムおよび情報処理装置 |
| JP2013010009A (ja) * | 2012-10-03 | 2013-01-17 | Canon Inc | 診断支援装置、診断支援装置の制御方法、およびそのプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4087640B2 (ja) * | 2002-05-14 | 2008-05-21 | 富士フイルム株式会社 | 疾患候補情報出力システム |
| JP2007287018A (ja) * | 2006-04-19 | 2007-11-01 | Fujifilm Corp | 診断支援システム |
| JP5159242B2 (ja) * | 2007-10-18 | 2013-03-06 | キヤノン株式会社 | 診断支援装置、診断支援装置の制御方法、およびそのプログラム |
| JP5317716B2 (ja) * | 2009-01-14 | 2013-10-16 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
-
2021
- 2021-04-06 WO PCT/JP2021/014577 patent/WO2021246047A1/ja active Application Filing
- 2021-04-06 JP JP2022528462A patent/JP7376715B2/ja active Active
-
2022
- 2022-11-03 US US18/052,552 patent/US20230088616A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007287027A (ja) * | 2006-04-19 | 2007-11-01 | Fujifilm Corp | 医療用の計画立案支援システム |
| JP2011182960A (ja) * | 2010-03-09 | 2011-09-22 | Fuji Xerox Co Ltd | プログラムおよび情報処理装置 |
| JP2013010009A (ja) * | 2012-10-03 | 2013-01-17 | Canon Inc | 診断支援装置、診断支援装置の制御方法、およびそのプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230088616A1 (en) | 2023-03-23 |
| JP7376715B2 (ja) | 2023-11-08 |
| JPWO2021246047A1 (ja) | 2021-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11139067B2 (en) | Medical image display device, method, and program | |
| JP2019153250A (ja) | 医療文書作成支援装置、方法およびプログラム | |
| JP2019169049A (ja) | 医用画像特定装置、方法およびプログラム | |
| US11468659B2 (en) | Learning support device, learning support method, learning support program, region-of-interest discrimination device, region-of-interest discrimination method, region-of-interest discrimination program, and learned model | |
| WO2021157705A1 (ja) | 文書作成支援装置、方法およびプログラム | |
| WO2021112141A1 (ja) | 文書作成支援装置、方法およびプログラム | |
| WO2021167080A1 (ja) | 情報処理装置、方法およびプログラム | |
| WO2020202822A1 (ja) | 医療文書作成支援装置、方法およびプログラム | |
| WO2020209382A1 (ja) | 医療文書作成装置、方法およびプログラム | |
| JP7237089B2 (ja) | 医療文書作成支援装置、方法およびプログラム | |
| WO2021193548A1 (ja) | 文書作成支援装置、方法およびプログラム | |
| WO2019102917A1 (ja) | 読影医決定装置、方法およびプログラム | |
| WO2019193983A1 (ja) | 医療文書表示制御装置、医療文書表示制御方法、及び医療文書表示制御プログラム | |
| WO2021187483A1 (ja) | 文書作成支援装置、方法およびプログラム | |
| US20230360213A1 (en) | Information processing apparatus, method, and program | |
| JP7007469B2 (ja) | 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム | |
| JP7109345B2 (ja) | 優先度判定装置、方法およびプログラム | |
| WO2022215530A1 (ja) | 医用画像装置、医用画像方法、及び医用画像プログラム | |
| WO2022153702A1 (ja) | 医用画像表示装置、方法およびプログラム | |
| WO2021246047A1 (ja) | 経過予測装置、方法およびプログラム | |
| WO2020241857A1 (ja) | 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル | |
| WO2021177358A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| WO2021107098A1 (ja) | 文書作成支援装置、文書作成支援方法及び文書作成支援プログラム | |
| JP7064430B2 (ja) | 優先度判定装置、方法およびプログラム | |
| JP2021175454A (ja) | 医用画像処理装置、方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21817032 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2022528462 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21817032 Country of ref document: EP Kind code of ref document: A1 |