WO2020209382A1 - 医療文書作成装置、方法およびプログラム - Google Patents

医療文書作成装置、方法およびプログラム Download PDF

Info

Publication number
WO2020209382A1
WO2020209382A1 PCT/JP2020/016195 JP2020016195W WO2020209382A1 WO 2020209382 A1 WO2020209382 A1 WO 2020209382A1 JP 2020016195 W JP2020016195 W JP 2020016195W WO 2020209382 A1 WO2020209382 A1 WO 2020209382A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical
findings
finding
image
medical document
Prior art date
Application number
PCT/JP2020/016195
Other languages
English (en)
French (fr)
Inventor
佳児 中村
陽平 桃木
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP20787893.5A priority Critical patent/EP3954277A4/en
Priority to JP2021513728A priority patent/JPWO2020209382A1/ja
Publication of WO2020209382A1 publication Critical patent/WO2020209382A1/ja
Priority to US17/494,842 priority patent/US20220028510A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/174—Form filling; Merging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Definitions

  • This disclosure relates to a medical document creation device, method and program for creating medical documents such as interpretation reports.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • medical images are analyzed by CAD (Computer-Aided Diagnosis) using a discriminator that has been learned by deep learning, etc., and regions, positions, volumes, etc. of lesions, etc. included in the medical images are extracted, and these are extracted. It is also acquired as an analysis result.
  • the analysis result generated by the analysis process is associated with the test information such as the patient name, gender, age, and the modality obtained from the medical image, stored in the database, and used for diagnosis.
  • the image interpreting doctor interprets the medical image by referring to the delivered medical image and the analysis result on the image interpretation terminal, and creates an image interpretation report.
  • Japanese Patent Application Laid-Open No. 2017-029411 describes a plurality of findings detected by image analysis when collecting finding information including a diagnosis name and a lesion type and displaying the collected finding information side by side on a display unit.
  • a method for displaying finding information including natural notation of findings has been proposed.
  • finding term candidates that are input candidates for findings are stored, finding term candidates are displayed based on keywords included in the findings of medical images, and selection is made from finding term candidates.
  • a method of displaying the findings generated as sentences based on the terminology has been proposed.
  • the interpreting doctor when interpreting medical images, the interpreting doctor makes decisions on multiple types of findings, but not all findings are used to create an interpretation report, and the important of the multiple types of findings is important. Create an interpretation report using findings on items that appear to be. This is because narrowing down the findings makes it easier for the diagnostician who requested the interpretation to understand the contents of the interpretation report.
  • the interpretation report prepared by using the methods described in JP-A-7-031591, JP-A-2017-029411 and JP-A-2018-028562 all the interpretation reports analyzed by CAD and the like are included. Findings are included. For this reason, the created image interpretation report becomes redundant, and the image interpretation result becomes difficult to understand even when the image interpretation report is viewed.
  • the medical document creation device includes a finding detection unit that detects a plurality of findings representing features related to abnormal shadows contained in a medical image.
  • a finding identification unit that identifies at least one of the findings used to generate a medical document, It has a document creation department that creates medical documents using the identified findings.
  • the medical document creation device is further provided with a determination unit that determines whether the abnormal shadow is benign or malignant and outputs the determination result.
  • the finding identification unit may identify at least one finding based on the determination result.
  • the medical document creation device is further provided with a diagnosis name identification unit for specifying a diagnosis name of an abnormal shadow.
  • the finding identification unit may identify at least one finding based on the diagnosis name.
  • the determination unit may make a determination based on the analysis result of the medical image.
  • the diagnosis name specifying unit may specify the diagnosis name based on the analysis result of the medical image.
  • the determination unit may make a determination based on the detected findings.
  • the diagnosis name specifying unit may specify the diagnosis name based on the detected findings.
  • the determination unit may make a determination based on the analysis result of the medical image and the detected findings.
  • the diagnosis name specifying unit may specify the diagnosis name based on the analysis result of the medical image and the detected findings.
  • the medical document creating device may further include a display control unit that displays the created medical document on the display unit.
  • the display control unit may display the specified finding among the plurality of findings on the display unit so as to be identifiable.
  • the method for creating medical documents detects a plurality of findings that are characteristic of abnormal shadows contained in medical images. Identify at least one of the findings used to generate the medical document and Create a medical document using the identified findings.
  • Other medical document creation devices include a memory for storing instructions to be executed by a computer and a memory.
  • the processor comprises a processor configured to execute a stored instruction. Detects multiple findings that characterize anomalous shadows in medical images Identify at least one of the findings used to generate the medical document and Perform the process of creating a medical document using the identified findings.
  • the content of the medical document can be made easy to understand.
  • the figure which shows the schematic structure of the medical document making apparatus by 1st Embodiment Diagram showing the items of findings and examples of findings for each item The figure which shows the detection result of the finding.
  • the figure which shows the example of the teacher data used in 1st Embodiment The figure which shows the example of the teacher data used in 1st Embodiment
  • the figure which shows the schematic structure of the recurrent neural network Diagram showing the interpretation report screen A diagram showing a state in which the findings identified by the finding identification unit are displayed in an identifiable manner.
  • a flowchart showing the processing performed in the first embodiment The figure which shows the schematic structure of the medical document making apparatus by 2nd Embodiment
  • the figure which shows the example of the teacher data used in the 2nd Embodiment A flowchart showing the processing performed in the second embodiment
  • FIG. 1 is a diagram showing a schematic configuration of a medical information system to which the medical document creation device according to the first embodiment of the present disclosure is applied.
  • the medical information system 1 shown in FIG. 1 is based on an inspection order from a doctor in a clinical department using a known ordering system, photographs of a part to be inspected of a subject, storage of medical images obtained by imaging, and an image interpreter. It is a system for interpreting medical images and creating an interpretation report, and for viewing the interpretation report by the doctor of the requesting clinical department and observing the details of the medical image to be interpreted. As shown in FIG.
  • the medical information system 1 includes a plurality of modalities (imaging devices) 2, a plurality of image interpretation workstations (WS) 3 which are image interpretation terminals, a clinical department workstation (WS) 4, an image server 5, and an image.
  • the database 6, the interpretation report server 7, and the interpretation report database 8 are connected and configured so as to be able to communicate with each other via a wired or wireless network 9.
  • Each device is a computer on which an application program for functioning as a component of the medical information system 1 is installed.
  • the application program is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and is installed on the computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory)
  • it is stored in the storage device of the server computer connected to the network 9 or the network storage in a state of being accessible from the outside, and is downloaded and installed in the computer upon request.
  • Modality 2 is a device that generates a medical image showing the diagnosis target part by photographing the diagnosis target part of the subject. Specifically, it is a simple X-ray imaging apparatus, a CT apparatus, an MRI apparatus, a PET (Positron Emission Tomography) apparatus, and the like.
  • the medical image generated by the modality 2 is transmitted to the image server 5 and stored.
  • Interpretation WS3 includes a medical document creation device according to this embodiment. The configuration of the interpretation WS3 will be described later.
  • the clinical department WS4 is a computer used by doctors in the clinical department for detailed observation of images, viewing of interpretation reports, creation of electronic medical records, etc., and is a processing device, a display device such as a display, and an input device such as a keyboard and a mouse. Consists of.
  • a patient's medical record electronic medical record
  • an image viewing request is made to the image server 5
  • an image received from the image server 5 is displayed
  • a lesion-like part in the image is automatically detected or highlighted
  • an image interpretation report server is used.
  • Each process such as the viewing request of the image interpretation report to the image interpretation report 7 and the display of the image interpretation report received from the image interpretation report server 7 is performed by executing the software program for each process.
  • the image server 5 is a general-purpose computer in which a software program that provides the functions of a database management system (DataBase Management System: DBMS) is installed. Further, the image server 5 includes a storage in which the image database 6 is configured. This storage may be a hard disk device connected by the image server 5 and the data bus, or a disk device connected to NAS (Network Attached Storage) and SAN (Storage Area Network) connected to the network 9. It may be.
  • NAS Network Attached Storage
  • SAN Storage Area Network
  • the image data and incidental information of the medical image acquired in the modality 2 are registered in the image database 6.
  • the incidental information includes, for example, an image ID for identifying individual medical images, a patient ID (identification) for identifying a subject, an examination ID for identifying an examination, and a unique ID assigned to each medical image ( UID: unique identification), examination date when the medical image was generated, examination time, type of modality used in the examination to acquire the medical image, patient information such as patient name, age, gender, examination site (contrast image site) ), Imaging information (imaging protocol, imaging sequence, imaging method, imaging conditions, use of contrast medium, etc.), including information such as a series number or collection number when a plurality of medical images are acquired in one examination.
  • the image server 5 when the image server 5 receives the viewing request from the image interpretation WS3 via the network 9, the image server 5 searches for the medical image registered in the image database 6 and transmits the searched medical image to the requester's image interpretation WS3.
  • the interpretation report server 7 incorporates a software program that provides the functions of a database management system to a general-purpose computer.
  • the image interpretation report server 7 receives the image interpretation report registration request from the image interpretation WS3, the image interpretation report server 7 arranges the image interpretation report in a database format and registers it in the image interpretation report database 8. Further, when the search request for the interpretation report is received, the interpretation report is searched from the interpretation report database 8.
  • an image ID for identifying the medical image to be interpreted for example, an image ID for identifying the medical image to be interpreted, an image interpreter ID for identifying the image diagnostician who performed the image interpretation, a lesion name, lesion position information, findings, and confidence in the findings are stored in the image interpretation report database 8.
  • An interpretation report in which information such as the degree is recorded is registered.
  • Network 9 is a wired or wireless local area network that connects various devices in the hospital.
  • the network 9 may be configured such that the local area networks of each hospital are connected to each other by the Internet or a dedicated line.
  • the image interpretation WS3 is a computer used by a medical image interpretation doctor to interpret a medical image and create an image interpretation report, and is composed of a processing device, a display device such as a display, and an input device such as a keyboard and a mouse.
  • the image server 5 is requested to view the medical image, various image processes for the medical image received from the image server 5, the display of the medical image, the analysis process for the medical image, the highlighting of the medical image based on the analysis result, and the analysis result.
  • Each process such as creating an image interpretation report based on the above, supporting the creation of an image interpretation report, requesting the image interpretation report server 7 to register and view the image interpretation report, and displaying the image interpretation report received from the image interpretation report server 7, is for each process. It is done by executing the software program of. Of these processes, processes other than those performed by the medical document creating apparatus of the present embodiment are performed by a well-known software program, and therefore detailed description thereof will be omitted here. Further, the image interpretation WS3 does not perform any process other than the process performed by the medical document creation device of the present embodiment, and a computer that performs the process is separately connected to the network 9, and the process is requested by the image interpretation WS3. The computer may perform the requested processing.
  • the interpretation WS3 includes the medical document creation device according to the first embodiment. Therefore, the medical document creation program according to the present embodiment is installed in the interpretation WS3.
  • the medical document creation program is stored in a storage device of a server computer connected to the network or in a network storage in a state of being accessible from the outside, and is downloaded and installed in the interpretation WS3 as requested. Alternatively, it is recorded on a recording medium such as a DVD or a CD-ROM, distributed, and installed on the interpretation WS3 from the recording medium.
  • FIG. 2 is a diagram showing a schematic configuration of a medical document creation device according to the first embodiment of the present disclosure, which is realized by installing a medical document creation program.
  • the medical document creation device 10 includes a CPU (Central Processing Unit) 11, a memory 12, and a storage 13 as a standard computer configuration.
  • a display device (hereinafter referred to as a display unit) 14 such as a liquid crystal display and an input device (hereinafter referred to as an input unit) 15 such as a keyboard and a mouse are connected to the medical document creating device 10.
  • the input unit 15 may be provided with a microphone and may accept voice input.
  • the storage 13 is composed of a hard disk or a storage device such as an SSD (Solid State Drive).
  • the storage 13 stores various information including medical images and information necessary for processing of the medical document creating device 10 acquired from the image server 5 via the network 9.
  • the medical document creation program is stored in the memory 12.
  • the medical document creation program relates to an image acquisition process for acquiring a medical image for which a finding is to be created, an image analysis process for analyzing a medical image to detect an abnormal shadow such as a lesion, and an abnormal shadow as a process to be executed by the CPU 11.
  • Finding detection processing that detects multiple findings that represent characteristics, judgment processing that determines whether an abnormal shadow is benign or malignant, and at least one of the multiple findings used to generate a medical document based on the judgment result.
  • a finding identification process for specifying one finding, a document creation process for creating a medical document using the identified findings, and a display control process for displaying the created image interpretation report on the display unit 14 are defined.
  • the computer has the image acquisition unit 21, the image analysis unit 22, the finding detection unit 23, the determination unit 24, the finding identification unit 25, and the document creation unit 26. And functions as a display control unit 27.
  • the image acquisition unit 21 acquires the medical image G0 to be created for the interpretation report from the image server 5 through an interface (not shown) connected to the network 9.
  • the diagnosis target is the lung
  • the medical image G0 is a CT image of the lung.
  • the image analysis unit 22 analyzes the medical image G0 to detect abnormal shadows such as lesions.
  • the image analysis unit 22 has a trained model M1 for detecting an abnormal shadow from the medical image G0.
  • the trained model M1 is a CNN (Convolutional Neural Network, convolutional network) in which, for example, deep learning is performed so as to determine whether or not each pixel (voxel) in the CT image is an abnormal shadow. Neural network).
  • the trained model M1 outputs a determination result of whether or not each pixel (voxel) in the lung region in the medical image G0 has a pixel value that can be regarded as an abnormal shadow such as a lung nodule. Learning is done to do.
  • the size shall be the vertical and horizontal size or diameter of the area expressed in units such as mm or cm.
  • the position is represented by, for example, the left and right lung areas S1 to S10 or the left and right lung lobes (upper lobe, middle lobe, lower lobe) where the position of the center of gravity of the region exists.
  • the image analysis unit 22 detects the candidate lung nodule included in the medical image G0 as an abnormal shadow.
  • the finding detection unit 23 detects a plurality of findings representing the characteristics related to the abnormal shadow detected by the image analysis unit 22.
  • the finding detection unit 23 has a trained model M2 for detecting a plurality of findings regarding abnormal shadows.
  • the trained model M2 is composed of, for example, a CNN that has been deep-learned so as to detect various findings of each pixel (voxel) in the abnormal shadow included in the CT image.
  • the trained model M2 when a pixel value of a region in a predetermined range including an abnormal shadow in the medical image G0 is input, the trained model M2 is a finding item of a plurality of types of findings for each pixel (voxel) in the region. Learning is done so that the detection result is output.
  • a large number of medical images whose detection results of findings for abnormal shadows are known are used as teacher data.
  • FIG. 3 is a diagram showing items of findings and examples of findings for each item.
  • the medical image G0 is a CT image of the lung
  • the abnormal shadow is a candidate for a lung nodule. Therefore, FIG. 3 shows the items of findings regarding the lung nodule.
  • the parentheses corresponding to the item of the finding represent the finding about the item.
  • the items of the findings and the findings for the items include absorption value (full type, partially full type, suriglass type), boundary (clear, relatively clear, unclear), and margin (arranged, slightly irregular).
  • the finding detection unit 23 detects findings for all the above items and outputs the detection results.
  • FIG. 4 is a diagram showing the detection results of the findings.
  • the detection results of the findings shown in FIG. 4 show that the absorption value is suriglass type, the boundary is clear, the margin is aligned, the shape is circular, there is no spicula, there is no serration, there is no bronchial translucent image, there is no cavity, and there is calcification.
  • the determination unit 24 determines whether the abnormal shadow included in the medical image G0 is benign or malignant based on the analysis result by the image analysis unit 22. Specifically, it is determined whether the abnormal shadow detected by the image analysis unit 22 is benign or malignant. For this reason, the determination unit 24 determines whether the abnormal shadow is benign or malignant when a pixel value in a predetermined range including the abnormal shadow in the medical image G0 is input, and outputs a determined result. It has M3.
  • the trained model M3 comprises, for example, a deep-learned CNN. When the pixel value in a predetermined range including the abnormal shadow in the medical image G0 is input, the trained model M3 determines whether the abnormal shadow included in the range is benign or malignant, and determines the determination result. Learning is done to output. In training the trained model M3, a large number of medical images including abnormal shadows whose determination result of benign or malignant is known are used as teacher data.
  • the finding identification unit 25 identifies at least one of the plurality of findings detected by the finding detection unit 23, which is used to generate an interpretation report, which is a medical document, based on the determination result by the determination unit 24. Therefore, when the finding identification unit 25 inputs the determination result of whether the abnormal shadow by the determination unit 24 is benign or malignant and the detection result of the finding detected by the finding detection unit 23, the interpretation report It has a trained model M4 that identifies and outputs at least one finding used for generation.
  • the trained model M4 comprises, for example, a deep-learned CNN.
  • the trained model M4 will identify and output at least one finding used to generate the interpretation report when the determination result of whether the abnormal shadow is benign or malignant and the detection result of the finding are input. Learning is done.
  • the data of the combination of the judgment result of whether the abnormal shadow is benign or malignant and the detection result of the findings and the findings used for creating the actual interpretation report is used as the teacher data. Used.
  • FIG. 5 is a diagram showing an example of teacher data used for learning the trained model M4 of the finding identification unit 25.
  • the finding detection result R1 shown in FIG. 5 "A full-type absorption value with a circular shape and an unclear boundary is observed in the left lung S1 + 2.
  • the size is 2.3 cm x 1.7 cm.
  • the margin is slightly irregular.
  • the findings of the items of absorption value, boundary, margin, shape, spicula, pleural invagination, position and size are used to create the interpretation report.
  • the abnormal shadow is determined to be malignant.
  • the input is the finding detection result R1 and the determination result R2 as malignant
  • the output O1 is "absorption value, boundary, margin, shape, spicula, pleural invagination, position and It is a combination of data that is "size”.
  • FIG. 6 is a diagram showing another example of teacher data in which the finding identification unit 25 is used for learning the trained model M4.
  • the finding detection result R3 shown in Fig. 6 "A full-type absorption value with a circular shape, a clear boundary, and an irregular margin is observed in the left lung S1. The size is 20 mm x 15 mm. A sawtooth shape is observed. A interpretation report of ".” Is created.
  • the findings of the items of absorption value, boundary, margin, shape, serration, position and size are used for creating the interpretation report.
  • the abnormal shadow is judged to be benign. Therefore, in the teacher data T2 shown in FIG. 6, the input is the finding detection result R3 and the judgment result R4 as benign, and the output O2 is "absorption value, boundary, margin, shape, serration, position and size". It is a combination of certain data.
  • the trained model M4 of the finding identification unit 25 is learned by using a large number of teacher data T1 and T2 as described above.
  • the trained model M4 of the finding identification unit 25 for example, when the determination result that the abnormal shadow is benign and the detection result of the finding as shown in FIG. 4 are input, "absorption value, boundary, side". Edge, shape, atelectasis, position and size will be identified and output as findings used to generate interpretation reports.
  • the document creation unit 26 creates an interpretation report of the medical image G0 using the findings specified by the finding identification unit 25.
  • the document creation unit 26 includes a recurrent neural network that has been trained to create a sentence from the findings specified by the finding identification unit 25.
  • FIG. 7 is a diagram showing a schematic configuration of a recurrent neural network.
  • the recurrent neural network 30 includes an encoder 31 and a decoder 32.
  • the findings specified by the finding identification unit 25 are input to the encoder 31. For example, the specified findings of "upper right leaf”, “shape”, “circular”, “boundary”, “clear”, “absorption value", and "ground glass type” are input to the encoder 31.
  • the decoder 32 has been learned to document the character information, and creates a sentence from the input character information of the findings. Specifically, from the textual information of the above-mentioned "upper right leaf”, “shape”, “circular”, “boundary”, “clear”, “absorption value” and “frosted glass type” contents, "circular in the upper right leaf” We recognize the absorption value of the ground glass type with a clear boundary. ”Create an interpretation report. In FIG. 7, "EOS" indicates the end of the sentence (End Of Sentence).
  • the display control unit 27 displays the image interpretation report screen including the medical image and the image interpretation report on the display unit 14.
  • FIG. 8 is a diagram showing an image interpretation report screen.
  • the image interpretation report screen 40 has a display area 41 of the medical image G0 for which the image interpretation report is created, and a creation area 42 for inputting to create the image interpretation report.
  • the document creation unit 26 created "A frosted glass type absorption value with a circular shape and a clear boundary is recognized in the upper right lobe. The size is 14 mm x 13 mm. Atelectasis is recognized.”
  • An interpretation report is inserted.
  • a circular mark 43 is given at the position of the abnormal shadow. The operator can check the contents of the interpretation report displayed in the creation area 42, and can modify the interpretation report by using the input unit 15 if necessary.
  • the display control unit 27 displays the findings specified by the finding identification unit 25 among the plurality of findings detected by the finding detection unit 23 on the display unit 14 so as to be identifiable by the instruction from the input unit 15 by the operator. ..
  • FIG. 9 is a diagram showing a state in which the findings identified by the finding identification unit 25 are identifiablely displayed. As shown in FIG. 9, a window 44 is displayed on the interpretation report screen 40, a plurality of findings detected by the finding detection unit 23 are displayed in the window 44, and the findings identified by the finding identification unit 25 are identified. It is possible. In FIG. 9, these can be identified by giving diagonal lines to the absorption values, boundaries, edges, shapes, atelectasis, position and size findings specified by the finding identification unit 25.
  • FIG. 10 is a flowchart showing the processing performed in the present embodiment.
  • the process is started when the operator gives an instruction to create the interpretation report, and the image acquisition unit 21 acquires the medical image G0 to be created for the interpretation report (step ST1).
  • the image analysis unit 22 analyzes the medical image G0 to detect an abnormal shadow included in the medical image G0 (step ST2).
  • the finding detection unit 23 detects a plurality of findings representing the characteristics related to the abnormal shadow detected by the image analysis unit 22 (step ST3).
  • the determination unit 24 determines whether the abnormal shadow included in the medical image G0 is benign or malignant (step ST4).
  • the finding identification unit 25 identifies at least one finding used for generating the medical document from the plurality of findings detected by the finding detection unit 23 based on the judgment result by the judgment unit 24 (step ST5).
  • the document creation unit 26 creates an interpretation report of the medical image G0 using the findings specified by the finding identification unit 25 (step ST6).
  • the display control unit 27 displays the interpretation report on the display unit 14 (step ST7), and ends the process.
  • a plurality of findings relating to the abnormal shadow included in the medical image are detected, and at least one finding used for creating the interpretation report is specified from the plurality of findings. Then, an interpretation report is created using the identified findings. As a result, since the interpretation report contains only the specified findings, the contents of the interpretation report can be made easy to understand.
  • FIG. 11 is a diagram showing a schematic configuration of a medical document creating apparatus according to the second embodiment of the present disclosure.
  • the same reference number is assigned to the same configuration as that of the first embodiment, and detailed description thereof will be omitted.
  • the medical document creation device 10A according to the second embodiment replaces the determination unit 24 of the medical document creation device 10 according to the first embodiment with a diagnosis name identification that specifies a diagnosis name of an abnormal shadow.
  • a unit 28 is provided, and the finding identification unit 25 determines at least one of the plurality of findings detected by the finding detection unit 23 based on the diagnosis name specified by the diagnosis name identification unit 28, which is used to generate a medical document. It is different from the first embodiment in that it is specified.
  • the diagnosis name specifying unit 28 identifies the diagnosis name of the abnormal shadow included in the medical image G0 based on the analysis result by the image analysis unit 22. Specifically, the diagnosis name of the abnormal shadow detected by the image analysis unit 22 is specified. Therefore, the diagnosis name specifying unit 28 has a learned model M6 that specifies the diagnosis name of the abnormal shadow when a pixel value in a predetermined range including the abnormal shadow detected by the image analysis unit 22 is input. ..
  • the trained model M6 comprises, for example, a deep-learned CNN. When the pixel value in a predetermined range including the abnormal shadow in the medical image G0 is input, the trained model M6 is trained to specify the diagnosis name of the abnormal shadow included in the range. When training the trained model M6, a large number of medical images including abnormal shadows with known diagnosis names are used as teacher data.
  • the finding identification unit 25 generates an interpretation report when the diagnosis name of the abnormal shadow specified by the diagnosis name identification unit 28 and the detection result of the findings detected by the finding detection unit 23 are input.
  • the trained model M7 comprises, for example, a deep-learned CNN.
  • the trained model M7 is trained to identify and output at least one finding used for generating the interpretation report.
  • the data of the combination of the diagnosis name and the detection result of the findings and the findings used for creating the interpretation report is used as the teacher data.
  • FIG. 12 is a diagram showing an example of teacher data used for learning the trained model M7 of the finding identification unit 25 in the second embodiment.
  • the finding detection result R1 shown in FIG. 12 "A full-type absorption value with a circular shape and an unclear boundary is observed in the left lung S1 + 2.
  • the size is 2.3 cm x 1.7 cm.
  • the margin is slightly irregular.
  • the findings of the items of absorption value, boundary, margin, shape, spicula, pleural invagination, position and size are used to create the interpretation report.
  • the diagnosis name of abnormal shadow is specified as primary lung cancer.
  • the teacher data T3 shown in FIG. 12 has the input of the finding detection result R5 and the diagnosis name D1 of primary lung cancer, and the output O3 is "absorption value, boundary, margin, shape, spicula, pleural depression". It is a combination of data that is "input, position, and size”.
  • the trained model M7 of the finding identification unit 25 is trained using the teacher data T3 as described above.
  • the finding identification part 25 is set to "absorption value, boundary, margin, shape, for example. Identify and output atelectasis, location and size as findings used to generate medical documents.
  • FIG. 13 is a flowchart showing the processing performed in the present embodiment.
  • the process is started when the operator gives an instruction to create the interpretation report, and the image acquisition unit 21 acquires the medical image G0 to be created for the interpretation report (step ST11).
  • the image analysis unit 22 analyzes the medical image G0 to detect an abnormal shadow included in the medical image G0 (step ST12).
  • the finding detection unit 23 detects a plurality of findings representing the characteristics related to the abnormal shadow detected by the image analysis unit 22 (step ST13).
  • the diagnosis name specifying unit 28 identifies the diagnosis name of the abnormal shadow included in the medical image G0 (step ST14).
  • the finding identification unit 25 identifies at least one finding used for generating a medical document from the plurality of findings detected by the finding detection unit 23 based on the determination result by the determination unit 24 (step ST15).
  • the document creation unit 26 creates an interpretation report of the medical image G0 using the findings specified by the finding identification unit 25 (step ST16).
  • the display control unit 27 displays the interpretation report on the display unit 14 (step ST17), and ends the process.
  • the determination unit 24 determines whether the abnormal shadow included in the medical image G0 is benign or malignant based on the analysis result by the image analysis unit 22, but the present invention is limited to this. It is not something that is done. Based on the detection result of the finding by the finding detection unit 23, it may be determined whether the abnormal shadow included in the medical image G0 is benign or malignant. In this case, the trained model M3 possessed by the determination unit 24 is trained to output a determination result of whether the abnormal shadow is benign or malignant when the findings detected by the finding detection unit 23 are input. To. In training the trained model M3, a large number of medical images including the detection results of the findings and abnormal shadows known to be benign or malignant are used as teacher data.
  • the determination unit 24 determines whether the abnormal shadow included in the medical image G0 is benign based on both the analysis result by the image analysis unit 22 and the detection result of the findings by the finding detection unit 23. It may be determined whether it is malignant.
  • the trained model M3 possessed by the determination unit 24 is included in the range when the pixel value in a predetermined range including the abnormal shadow in the medical image G0 and the finding detected by the finding detection unit 23 are input. Learning is done so as to output the judgment result of whether the abnormal shadow is benign or malignant.
  • a large number of medical images including the detection results of the findings and abnormal shadows known to be benign or malignant are used as teacher data.
  • the diagnosis name specifying unit 28 specifies the diagnosis name of the abnormal shadow included in the medical image G0 based on the analysis result by the image analysis unit 22, but is limited to this. It is not something that is done.
  • the diagnosis name of the abnormal shadow included in the medical image G0 may be specified based on the detection result of the finding by the finding detection unit 23.
  • the learned model M6 possessed by the diagnosis name specifying unit 28 is learned so as to output the diagnosis name of the abnormal shadow when the finding detected by the finding detection unit 23 is input. In training the trained model M6, a large number of medical images including the detection result of the finding and the abnormal shadow whose diagnosis name is known are used as the teacher data.
  • the diagnosis name specifying unit 28 determines the abnormal shadow included in the medical image G0 based on both the analysis result by the image analysis unit 22 and the detection result of the findings by the finding detection unit 23.
  • the diagnosis name may be specified.
  • the trained model M6 possessed by the diagnosis name specifying unit 28 is within the range when the pixel values in a predetermined range including the abnormal shadow in the medical image G0 and the findings detected by the finding detection unit 23 are input. Learning is done to output the diagnostic name of the included abnormal shadow. In training the trained model M6, a large number of medical images including the detection result of the finding and the abnormal shadow whose diagnosis name is known are used as the teacher data.
  • the image analysis unit 22 of the medical document creation devices 10 and 10A in the interpretation WS3 analyzes the medical image and detects the abnormal shadow, but the analysis obtained by an external analysis server or the like is used. The results may be used to detect findings, identify findings, and create interpretation reports. In this case, the image analysis unit 22 is not required for the medical document creation devices 10 and 10A.
  • the present disclosure is applied when creating the interpretation report as a medical document, but this disclosure is also applied when creating a medical document other than the interpretation report such as an electronic medical record and a diagnostic report. Of course, can be applied.
  • the trained models M1 to M7 are not limited to CNN.
  • a support vector machine SVM (Support Vector Machine), a deep neural network (DNN (Deep Neural Network)), a recurrent neural network (RNN (Recurrent Neural Network)), and the like can be used.
  • SVM Support Vector Machine
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • various types such as an image acquisition unit 21, an image analysis unit 22, a finding detection unit 23, a determination unit 24, a finding identification unit 25, a document creation unit 26, a display control unit 27, and a diagnosis name identification unit 28.
  • various processors Processors
  • the above-mentioned various processors include a CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, and a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • Dedicated electricity which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits and the like are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ) May be configured. Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by combining one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the various processors as a hardware structure.
  • circuitry in which circuit elements such as semiconductor elements are combined can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

所見検出部が、医用画像に含まれる異常陰影に関する特徴を表す複数の所見を検出する。所見特定部が、複数の所見のうち、医療文書の生成に使用する少なくとも１つの所見を特定する。文書作成部が、特定された所見を用いて医療文書を作成する。

Description

医療文書作成装置、方法およびプログラム
　本開示は、読影レポート等の医療文書を作成する医療文書作成装置、方法およびプログラムに関する。
　近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
　また、ディープラーニング等により学習がなされた判別器を用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる病変等の領域、位置および体積等を抽出し、これらを解析結果として取得することも行われている。このように、解析処理により生成される解析結果は、患者名、性別、年齢および医用画像を取得したモダリティ等の検査情報と対応づけられて、データベースに保存され、診断に供される。読影医は、自身の読影端末において、配信された医用画像および解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
　一方、上述したＣＴ装置およびＭＲＩ装置の高性能化に伴い、読影を行う医用画像の数も増大している。しかしながら、読影医の数は医用画像の数に追いついていないことから、読影医の読影業務の負担を軽減することが望まれている。このため、読影レポート等の医療文書の作成を支援するための各種手法が提案されている。例えば、特開平７－０３１５９１号公報には、医用画像に含まれる異常の種類および位置をＣＡＤにより検出し、異常の種類および位置を所定の文章に構成するための定型文に基づいて、ＣＡＤが検出した異常の種類および位置を含む文章を作成する手法が提案されている。また、特開２０１７－０２９４１１号公報には、診断名および病変種別を含む所見情報を収集し、収集した所見情報を並べて表示部に表示させる際に、画像解析によって検出された複数の所見と、所見の自然文表記とを含む所見情報を表示させる手法が提案されている。また、特開２０１８－０２８５６２号公報には、所見の入力候補となる所見用語候補を記憶しておき、医用画像の所見に含まれるキーワードに基づいて所見用語候補を表示し、所見用語候補から選択された用語に基づいて文章として生成した所見を表示する手法が提案されている。特開平７－０３１５９１号公報、特開２０１７－０２９４１１号公報および特開２０１８－０２８５６２号公報に記載された手法を用いれば、読影レポートを作成する読影医の負担を軽減することができる。
　一方、医用画像の読影に際しては、読影医は複数種類の所見の項目についての判断を行うが、すべての所見を用いて読影レポートを作成するわけではなく、複数種類の所見の項目のうちの重要であると思われる項目についての所見を用いて読影レポートを作成する。これは、所見を絞り込んだ方が、読影を依頼した診断医に対して、読影レポートの内容を分かりやすくすることができるからである。ここで、上記特開平７－０３１５９１号公報、特開２０１７－０２９４１１号公報および特開２０１８－０２８５６２号公報に記載された手法を用いて作成される読影レポートには、ＣＡＤ等が解析したすべての所見が含まれる。このため、作成される読影レポートが冗長となり、読影レポートを見ても画像の読影結果が分かりにくいものとなる。
　本開示は上記事情に鑑みなされたものであり、医用画像に関する読影レポート等の医療文書の内容を分かりやすくすることを目的とする。
　本開示による医療文書作成装置は、医用画像に含まれる異常陰影に関する特徴を表す複数の所見を検出する所見検出部と、
　複数の所見のうち、医療文書の生成に使用する少なくとも１つの所見を特定する所見特定部と、
　特定された所見を用いて医療文書を作成する文書作成部とを備える。
　なお、本開示による医療文書作成装置においては、異常陰影が良性であるか悪性であるかを判定して判定結果を出力する判定部をさらに備え、
　所見特定部は、判定結果に基づいて、少なくとも１つの所見を特定するものであってもよい。
　また、本開示による医療文書作成装置においては、異常陰影の診断名を特定する診断名特定部をさらに備え、
　所見特定部は、診断名に基づいて、少なくとも１つの所見を特定するものであってもよい。
　また、本開示による医療文書作成装置においては、判定部は、医用画像の解析結果に基づいて判定を行うものであってもよい。
　また、本開示による医療文書作成装置においては、診断名特定部は、医用画像の解析結果に基づいて診断名を特定するものであってもよい。
　また、本開示による医療文書作成装置においては、判定部は、検出された所見に基づいて判定を行うものであってもよい。
　また、本開示による医療文書作成装置においては、診断名特定部は、検出された所見に基づいて診断名を特定するものであってもよい。
　また、本開示による医療文書作成装置においては、判定部は、医用画像の解析結果および検出された所見に基づいて判定を行うものであってもよい。
　また、本開示による医療文書作成装置においては、診断名特定部は、医用画像の解析結果および検出された所見に基づいて診断名を特定するものであってもよい。
　また、本開示による医療文書作成装置においては、作成された医療文書を表示部に表示する表示制御部をさらに備えるものであってもよい。
　また、本開示による医療文書作成装置においては、表示制御部は、複数の所見のうち、特定された所見を識別可能に表示部に表示するものであってもよい。
　本開示による医療文書作成方法は、医用画像に含まれる異常陰影に関する特徴を表す複数の所見を検出し、
　複数の所見のうち、医療文書の生成に使用する少なくとも１つの所見を特定し、
　特定された所見を用いて医療文書を作成する。
　なお、本開示による医療文書作成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示による他の医療文書作成装置は、コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　医用画像に含まれる異常陰影に関する特徴を表す複数の所見を検出し、
　複数の所見のうち、医療文書の生成に使用する少なくとも１つの所見を特定し、
　特定された所見を用いて医療文書を作成する処理を実行する。
　本開示によれば、医療文書には特定された所見のみが含まれるため、医療文書の内容を分かりやすいものとすることができる。
本開示の実施形態による医療文書作成装置を適用した医療情報システムの概略構成を示す図 第１の実施形態による医療文書作成装置の概略構成を示す図 所見の項目および各項目についての所見の例を示す図 所見の検出結果を示す図 第１の実施形態に使用される教師データの例を示す図 第１の実施形態に使用される教師データの例を示す図 リカレントニューラルネットワークの模式的な構成を示す図 読影レポート画面を示す図 所見特定部が特定した所見を識別可能に表示した状態を示す図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態による医療文書作成装置の概略構成を示す図 第２の実施形態に使用される教師データの例を示す図 第２の実施形態において行われる処理を示すフローチャート
　以下、図面を参照して本開示の実施形態について説明する。図１は本開示の第１の実施形態による医療文書作成装置を適用した医療情報システムの概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。図１に示すように、医療情報システム１は、複数のモダリティ（撮影装置）２、読影端末である複数の読影ワークステーション（ＷＳ）３、診療科ワークステーション（ＷＳ）４、画像サーバ５、画像データベース６、読影レポートサーバ７、および読影レポートデータベース８が、有線または無線のネットワーク９を介して互いに通信可能な状態で接続されて構成されている。
　各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク９に接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
　モダリティ２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。モダリティ２により生成された医用画像は画像サーバ５に送信され、保存される。
　読影ＷＳ３は、本実施形態による医療文書作成装置を内包する。読影ＷＳ３の構成については後述する。
　診療科ＷＳ４は、診療科の医師が画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療科ＷＳ４では、患者のカルテ（電子カルテ）の作成、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ７に対する読影レポートの閲覧要求、および読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。
　画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像データベース６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク９に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、モダリティ２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像データベース６に登録する。
　画像データベース６には、モダリティ２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ、被写体を識別するための患者ＩＤ(identification)、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれる。
　また、画像サーバ５は、読影ＷＳ３からの閲覧要求をネットワーク９経由で受信すると、画像データベース６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３に送信する。
　読影レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。読影レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース８に登録する。また、読影レポートの検索要求を受け付けると、その読影レポートを読影レポートデータベース８から検索する。
　読影レポートデータベース８には、例えば、読影対象の医用画像を識別する画像ＩＤ、読影を行った画像診断医を識別するための読影医ＩＤ、病変名、病変の位置情報、所見、および所見の確信度等の情報が記録された読影レポートが登録される。
　ネットワーク９は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク９は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
　以下、本実施形態による読影ＷＳ３について詳細に説明する。読影ＷＳ３は、医用画像の読影医が、医用画像の読影および読影レポートの作成に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に対する解析処理、解析結果に基づく医用画像の強調表示、解析結果に基づく読影レポートの作成、読影レポートの作成の支援、読影レポートサーバ７に対する読影レポートの登録要求と閲覧要求、並びに読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。なお、これらの処理のうち、本実施形態の医療文書作成装置が行う処理以外の処理は、周知のソフトウェアプログラムにより行われるため、ここでは詳細な説明は省略する。また、本実施形態の医療文書作成装置が行う処理以外の処理を読影ＷＳ３において行わず、別途その処理を行うコンピュータをネットワーク９に接続しておき、読影ＷＳ３からの処理の要求に応じて、そのコンピュータにおいて要求された処理を行うようにしてもよい。
　読影ＷＳ３は、第１の実施形態による医療文書作成装置が内包されてなる。このため、読影ＷＳ３には、本実施形態による医療文書作成プログラムがインストールされてなる。医療文書作成プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて読影ＷＳ３にダウンロードされ、インストールされる。または、ＤＶＤあるいはＣＤ－ＲＯＭ等の記録媒体に記録されて配布され、その記録媒体から読影ＷＳ３にインストールされる。
　図２は、医療文書作成プログラムをインストールすることにより実現される、本開示の第１の実施形態による医療文書作成装置の概略構成を示す図である。図２に示すように、医療文書作成装置１０は、標準的なコンピュータの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、医療文書作成装置１０には、液晶ディスプレイ等の表示装置（以下表示部とする）１４、並びにキーボードおよびマウス等の入力装置（以下、入力部とする）１５が接続されている。なお、入力部１５はマイクロフォンを備え、音声による入力を受け付けるものであってもよい。
　ストレージ１３は、ハードディスクまたはＳＳＤ（Solid State Drive）等のストレージデバイスからなる。ストレージ１３には、ネットワーク９を経由して画像サーバ５から取得した、医用画像および医療文書作成装置１０の処理に必要な情報を含む各種情報が記憶されている。
　また、メモリ１２には、医療文書作成プログラムが記憶されている。医療文書作成プログラムは、ＣＰＵ１１に実行させる処理として、所見を作成する対象となる医用画像を取得する画像取得処理、医用画像を解析して病変等の異常陰影を検出する画像解析処理、異常陰影に関する特徴を表す複数の所見を検出する所見検出処理、異常陰影が良性であるか悪性であるかを判定する判定処理、判定結果に基づいて、複数の所見のうち医療文書の生成に使用する少なくとも１つの所見を特定する所見特定処理、特定された所見を用いて医療文書を作成する文書作成処理、並びに作成された読影レポートを表示部１４に表示する表示制御処理を規定する。
　そして、ＣＰＵ１１が医療文書作成プログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、画像解析部２２、所見検出部２３、判定部２４、所見特定部２５、文書作成部２６、および表示制御部２７として機能する。
　画像取得部２１は、ネットワーク９と接続されたインターフェース（不図示）により、画像サーバ５から読影レポートの作成の対象となる医用画像Ｇ０を取得する。なお、本実施形態においては、診断対象は肺であり、医用画像Ｇ０は肺のＣＴ画像であるものとする。
　画像解析部２２は、医用画像Ｇ０を解析して病変等の異常陰影を検出する。このために、画像解析部２２は、医用画像Ｇ０から異常陰影を検出するための学習済みモデルＭ１を有する。本実施形態において、学習済みモデルＭ１は、ＣＴ画像における各画素（ボクセル）が異常陰影であるか否かを判別するように、例えばディープラーニング（深層学習）がなされたＣＮＮ（Convolutional Neural Network、畳み込みニューラルネットワーク）からなる。学習済みモデルＭ１は、医用画像Ｇ０が入力されると、医用画像Ｇ０内の肺領域の各画素（ボクセル）について、肺結節等の異常陰影と見なせる画素値を有するか否かの判別結果を出力するように学習がなされる。また、異常陰影と判定された画素がまとまることにより領域となって存在する場合、その領域のサイズおよびその領域の肺における位置を出力するようにも学習がなされる。サイズは領域の縦横の大きさまたは直径等をｍｍまたはｃｍ等の単位で表したものとする。位置は、例えばその領域の重心位置が存在する、左右の肺の区域Ｓ１～Ｓ１０または左右の肺の葉（上葉、中葉、下葉）により表される。
　学習済みモデルＭ１の学習に際しては、各画素について異常陰影であることの判別結果が既知である多数の医用画像が教師データとして用いられる。なお、本実施形態においては、画像解析部２２は、医用画像Ｇ０に含まれる肺結節の候補を異常陰影として検出するものとする。
　所見検出部２３は、画像解析部２２が検出した異常陰影に関する特徴を表す複数の所見を検出する。このために、所見検出部２３は、異常陰影についての複数の所見を検出するための学習済みモデルＭ２を有する。本実施形態において、学習済みモデルＭ２は、ＣＴ画像に含まれる異常陰影おける各画素（ボクセル）の各種所見を検出するように、例えばディープラーニングがなされたＣＮＮからなる。学習済みモデルＭ２は、医用画像Ｇ０における異常陰影を含む予め定められた範囲の領域の画素値が入力されると、その領域の各画素（ボクセル）についての複数種類の所見の項目についての所見の検出結果を出力するように学習がなされる。学習済みモデルＭ２の学習に際しては、異常陰影に対する所見の検出結果が既知である多数の医用画像が教師データとして用いられる。
　図３は、所見の項目および各項目についての所見の例を示す図である。本実施形態においては、医用画像Ｇ０は肺のＣＴ画像であり、異常陰影は肺結節の候補であることから、図３には肺結節についての所見の項目を示している。また、図３には所見の項目に対応する括弧内が、その項目についての所見を表している。図３に示すように、所見の項目および項目に対する所見としては、吸収値（充実型、部分充実型、スリガラス型）、境界（明瞭、比較的明瞭、不明瞭）、辺縁（整、やや不整、不整）、形状（円形、直線、扁平）、スピキュラ（有、無）、鋸歯状（有、無）、気管支透亮像（有、無）、空洞（有、無）、石灰化（有、無）、胸膜陥入（有、無）、胸膜浸潤（有、無）、無気肺（有、無）、位置およびサイズを含む。
　本実施形態においては、所見検出部２３は、上記のすべての項目についての所見を検出し、検出結果を出力する。図４は所見の検出結果を示す図である。図４に示す所見の検出結果は、吸収値がスリガラス型、境界が明瞭、辺縁が整、形状が円形、スピキュラが無、鋸歯状が無、気管支透亮像が無、空洞が無、石灰化が無、胸膜陥入が無、胸膜浸潤が無、無気肺が有、位置が右上葉、およびサイズが１４ｍｍ×１３ｍｍとなっている。
　判定部２４は、画像解析部２２による解析結果に基づいて、医用画像Ｇ０に含まれる異常陰影が良性か悪性かを判定する。具体的には、画像解析部２２が検出した異常陰影が良性か悪性かを判定する。このために、判定部２４は、医用画像Ｇ０における異常陰影を含む予め定められた範囲の画素値が入力されると、異常陰影が良性か悪性かを判定して判定結果を出力する学習済みモデルＭ３を有する。本実施形態において、学習済みモデルＭ３は、例えばディープラーニングがなされたＣＮＮからなる。学習済みモデルＭ３は、医用画像Ｇ０における異常陰影を含む予め定められた範囲の画素値が入力されると、範囲内に含まれる異常陰影が良性であるか悪性であるかを判定して判定結果を出力するように学習がなされる。学習済みモデルＭ３の学習に際しては、良性または悪性であることの判定結果が既知の異常陰影を含む多数の医用画像が教師データとして用いられる。
　所見特定部２５は、判定部２４による判定結果に基づいて、所見検出部２３が検出した複数の所見のうち、医療文書である読影レポートの生成に使用する少なくとも１つの所見を特定する。このために、所見特定部２５は、判定部２４による異常陰影が良性であるか悪性であるかの判定結果、および所見検出部２３が検出した所見の検出結果が入力されると、読影レポートの生成に使用する少なくとも１つの所見を特定して出力する学習済みモデルＭ４を有する。本実施形態において、学習済みモデルＭ４は、例えばディープラーニングがなされたＣＮＮからなる。学習済みモデルＭ４は、異常陰影が良性であるか悪性であるかの判定結果、および所見の検出結果が入力されると、読影レポートの生成に使用する少なくとも１つの所見を特定して出力するように学習がなされる。学習済みモデルＭ４の学習に際しては、異常陰影が良性であるか悪性であるかの判定結果および所見の検出結果と、実際の読影レポートの作成に使用した所見との組み合わせのデータが、教師データとして用いられる。
　図５は所見特定部２５の学習済みモデルＭ４の学習に使用される教師データの例を示す図である。図５に示す所見検出結果Ｒ１を用いて、「左肺Ｓ１＋２に円形で境界が不明瞭な充実型の吸収値を認めます。大きさは２．３ｃｍ×１．７ｃｍです。辺縁はやや不整でスピキュラを認めます。胸膜への陥入も認めます。」の読影レポートが作成されたとする。この場合、複数の所見の項目のうちの、吸収値、境界、辺縁、形状、スピキュラ、胸膜陥入、位置およびサイズの項目の所見が読影レポートの作成に使用されていることとなる。また、異常陰影は悪性であると判定されているものとする。このため、図５に示す教師データＴ１は、入力が所見検出結果Ｒ１および悪性との判定結果Ｒ２であり、出力Ｏ１が「吸収値、境界、辺縁、形状、スピキュラ、胸膜陥入、位置およびサイズ」であるデータの組み合わせとなる。
　図６は所見特定部２５を学習済みモデルＭ４の学習に使用される教師データの他の例を示す図である。図６に示す所見検出結果Ｒ３を用いて、「左肺Ｓ１に円形で境界が明瞭で辺縁が不整な充実型の吸収値を認めます。大きさは２０ｍｍ×１５ｍｍです。鋸歯状を認めます。」の読影レポートが作成されたとする。この場合、複数の所見の項目のうちの、吸収値、境界、辺縁、形状、鋸歯状、位置およびサイズの項目の所見が読影レポートの作成に使用されていることとなる。また、異常陰影は良性であると判定されているものとする。このため、図６に示す教師データＴ２は、入力が所見検出結果Ｒ３および良性との判定結果Ｒ４であり、出力Ｏ２が「吸収値、境界、辺縁、形状、鋸歯状、位置およびサイズ」であるデータの組み合わせとなる。
　第１の実施形態においては、所見特定部２５の学習済みモデルＭ４を上記のような教師データＴ１，Ｔ２を多数用いて学習する。これにより、所見特定部２５の学習済みモデルＭ４は、例えば、異常陰影が良性であるとの判定結果および図４に示すような所見の検出結果が入力された場合、「吸収値、境界、辺縁、形状、無気肺、位置およびサイズ」を読影レポートの生成に使用する所見として特定して出力するようになる。
　文書作成部２６は、所見特定部２５が特定した所見を用いて医用画像Ｇ０の読影レポートを作成する。文書作成部２６は、所見特定部２５が特定した所見から文章を作成するように学習が行われたリカレントニューラルネットワークからなる。図７はリカレントニューラルネットワークの模式的な構成を示す図である。図７に示すように、リカレントニューラルネットワーク３０は、エンコーダ３１およびデコーダ３２からなる。エンコーダ３１には所見特定部２５が特定した所見が入力される。例えば、エンコーダ３１には、特定された所見である「右上葉」、「形状」、「円形」、「境界」、「明瞭」、「吸収値」および「スリガラス型」の所見が入力される。デコーダ３２は、文字情報を文章化するように学習がなされており、入力された所見の文字情報から文章を作成する。具体的には、上述した「右上葉」、「形状」、「円形」、「境界」、「明瞭」、「吸収値」および「スリガラス型」のコンテンツの文字情報から、「右上葉に円形で境界が明瞭なスリガラス型の吸収値を認めます。」の読影レポートを作成する。なお、図７において「ＥＯＳ」は文章の終わりを示す（End Of Sentence）。
　表示制御部２７は、医用画像および読影レポートを含む読影レポート画面を表示部１４に表示する。図８は読影レポート画面を示す図である。図８に示すように、読影レポート画面４０には、読影レポートを作成する対象となる医用画像Ｇ０の表示領域４１、および読影レポートを作成するための入力を行う作成領域４２を有する。なお、作成領域４２には、文書作成部２６が作成した「右上葉に円形で境界が明瞭なスリガラス型の吸収値を認めます。サイズは１４ｍｍ×１３ｍｍです。無気肺を認めます。」の読影レポートが挿入されている。また、表示領域４１に表示された医用画像Ｇ０においては、異常陰影の位置に円形のマーク４３が付与されている。操作者は、作成領域４２に表示された読影レポートの内容を確認し、必要であれば入力部１５を用いて読影レポートを修正することができる。
　また、表示制御部２７は、操作者による入力部１５からの指示により、所見検出部２３が検出した複数の所見のうち、所見特定部２５が特定した所見を識別可能に表示部１４に表示する。図９は、所見特定部２５が特定した所見を識別可能に表示した状態を示す図である。図９に示すように、読影レポート画面４０には、ウィンドウ４４が表示され、ウィンドウ４４内に、所見検出部２３が検出した複数の所見が表示され、かつ所見特定部２５が特定した所見が識別可能とされている。図９においては、所見特定部２５が特定した吸収値、境界、辺縁、形状、無気肺、位置およびサイズの所見に斜線を付与することにより、これらを識別可能としている。
　次いで、第１の実施形態において行われる処理について説明する。図１０は本実施形態において行われる処理を示すフローチャートである。読影レポートの作成の指示が操作者により行われることにより処理が開始され、画像取得部２１が読影レポートの作成の対象となる医用画像Ｇ０を取得する（ステップＳＴ１）。次いで、画像解析部２２が医用画像Ｇ０を解析して、医用画像Ｇ０に含まれる異常陰影を検出する（ステップＳＴ２）。また、所見検出部２３が、画像解析部２２が検出した異常陰影に関する特徴を表す複数の所見を検出する（ステップＳＴ３）。また、判定部２４が、医用画像Ｇ０に含まれる異常陰影が良性か悪性かを判定する（ステップＳＴ４）。
　そして、所見特定部２５が、判定部２４による判定結果に基づいて、所見検出部２３が検出した複数の所見のうち、医療文書の生成に使用する少なくとも１つの所見を特定する（ステップＳＴ５）。次いで、文書作成部２６が、所見特定部２５が特定した所見を用いて医用画像Ｇ０の読影レポートを作成する（ステップＳＴ６）。そして、表示制御部２７が読影レポートを表示部１４に表示し（ステップＳＴ７）、処理を終了する。
　このように、本実施形態においては、医用画像に含まれる異常陰影に関する複数の所見が検出され、複数の所見から読影レポートの作成に使用する少なくとも１つの所見が特定される。そして、特定された所見を用いて読影レポートが作成される。これにより、読影レポートには特定された所見のみが含まれるため、読影レポートの内容を分かりやすいものとすることができる。
　次いで、本開示の第２の実施形態について説明する。図１１は本開示の第２の実施形態による医療文書作成装置の概略構成を示す図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。図１１に示すように、第２の実施形態による医療文書作成装置１０Ａは、第１の実施形態による医療文書作成装置１０の判定部２４に代えて、異常陰影の診断名を特定する診断名特定部２８を備え、所見特定部２５が、診断名特定部２８が特定した診断名に基づいて、所見検出部２３が検出した複数の所見のうち、医療文書の生成に使用する少なくとも１つの所見を特定するようにした点が第１の実施形態と異なる。
　診断名特定部２８は、画像解析部２２による解析結果に基づいて、医用画像Ｇ０に含まれる異常陰影の診断名を特定する。具体的には、画像解析部２２が検出した異常陰影の診断名を特定する。このために、診断名特定部２８は、画像解析部２２が検出した異常陰影を含む予め定められた範囲の画素値が入力されると、異常陰影の診断名を特定する学習済みモデルＭ６を有する。本実施形態において、学習済みモデルＭ６は、例えばディープラーニングがなされたＣＮＮからなる。学習済みモデルＭ６は、医用画像Ｇ０における異常陰影を含む予め定められた範囲の画素値が入力されると、範囲内に含まれる異常陰影の診断名を特定するように学習がなされる。学習済みモデルＭ６の学習に際しては、診断名が既知の異常陰影を含む多数の医用画像が教師データとして用いられる。
　第２の実施形態においては、所見特定部２５は、診断名特定部２８が特定した異常陰影の診断名、および所見検出部２３が検出した所見の検出結果が入力されると、読影レポートの生成に使用する少なくとも１つの所見を出力する学習済みモデルＭ７を有する。本実施形態において、学習済みモデルＭ７は、例えばディープラーニングがなされたＣＮＮからなる。学習済みモデルＭ７は、異常陰影の診断名、および所見の検出結果が入力されると、読影レポートの生成に使用する少なくとも１つの所見を特定して出力するように学習がなされる。学習済みモデルＭ７の学習に際しては、診断名および所見の検出結果と、読影レポートの作成に使用した所見との組み合わせのデータが、教師データとして用いられる。
　図１２は、第２の実施形態において、所見特定部２５の学習済みモデルＭ７の学習に使用される教師データの例を示す図である。図１２に示す所見検出結果Ｒ１を用いて、「左肺Ｓ１＋２に円形で境界が不明瞭な充実型の吸収値を認めます。大きさは２．３ｃｍ×１．７ｃｍです。辺縁はやや不整でスピキュラを認めます。胸膜への陥入も認めます。」の読影レポートが作成されたとする。この場合、複数の所見の項目のうちの、吸収値、境界、辺縁、形状、スピキュラ、胸膜陥入、位置およびサイズの項目の所見が読影レポートの作成に使用されていることとなる。また、異常陰影の診断名が原発性肺癌であると特定されているものとする。このため、図１２に示す教師データＴ３は、入力が所見検出結果Ｒ５および原発性肺癌であるとの診断名Ｄ１であり、出力Ｏ３が「吸収値、境界、辺縁、形状、スピキュラ、胸膜陥入、位置およびサイズ」であるデータの組み合わせとなる。
　第２の実施形態においては、所見特定部２５の学習済みモデルＭ７を上記のような教師データＴ３を用いて学習する。これにより、所見特定部２５は、例えば、過誤腫であるとの異常陰影の診断名および図４に示すような所見の検出結果が入力された場合、「吸収値、境界、辺縁、形状、無気肺、位置およびサイズ」を医療文書の生成に使用する所見として特定して出力する。
　次いで、第２の実施形態において行われる処理について説明する。図１３は本実施形態において行われる処理を示すフローチャートである。読影レポートの作成の指示が操作者により行われることにより処理が開始され、画像取得部２１が読影レポートの作成の対象となる医用画像Ｇ０を取得する（ステップＳＴ１１）。次いで、画像解析部２２が医用画像Ｇ０を解析して、医用画像Ｇ０に含まれる異常陰影を検出する（ステップＳＴ１２）。また、所見検出部２３が、画像解析部２２が検出した異常陰影に関する特徴を表す複数の所見を検出する（ステップＳＴ１３）。また、診断名特定部２８が、医用画像Ｇ０に含まれる異常陰影の診断名を特定する（ステップＳＴ１４）。
　そして、所見特定部２５が、判定部２４による判定結果に基づいて、所見検出部２３が検出した複数の所見のうち、医療文書の生成に使用する少なくとも１つの所見を特定する（ステップＳＴ１５）。次いで、文書作成部２６が、所見特定部２５が特定した所見を用いて医用画像Ｇ０の読影レポートを作成する（ステップＳＴ１６）。そして、表示制御部２７が読影レポートを表示部１４に表示し（ステップＳＴ１７）、処理を終了する。
　なお、上記第１の実施形態においては、判定部２４は、画像解析部２２による解析結果に基づいて、医用画像Ｇ０に含まれる異常陰影が良性か悪性かを判定しているが、これに限定されるものではない。所見検出部２３による所見の検出結果に基づいて、医用画像Ｇ０に含まれる異常陰影が良性か悪性かを判定するようにしてもよい。この場合、判定部２４が有する学習済みモデルＭ３は、所見検出部２３が検出した所見が入力されると、異常陰影が良性であるか悪性であるかの判定結果を出力するように学習がなされる。この学習済みモデルＭ３の学習に際しては、所見の検出結果および良性または悪性であることが既知の異常陰影を含む多数の医用画像が教師データとして用いられる。
　また、上記第１の実施形態において、判定部２４は、画像解析部２２による解析結果、および所見検出部２３による所見の検出結果の双方に基づいて、医用画像Ｇ０に含まれる異常陰影が良性か悪性かを判定するようにしてもよい。この場合、判定部２４が有する学習済みモデルＭ３は、医用画像Ｇ０における異常陰影を含む予め定められた範囲の画素値および所見検出部２３が検出した所見が入力されると、範囲内に含まれる異常陰影が良性であるか悪性であるかの判定結果を出力するように学習がなされる。学習済みモデルＭ３の学習に際しては、所見の検出結果および良性または悪性であることが既知の異常陰影を含む多数の医用画像が教師データとして用いられる。
　また、上記第２の実施形態においては、診断名特定部２８は、画像解析部２２による解析結果に基づいて、医用画像Ｇ０に含まれる異常陰影の診断名を特定しているが、これに限定されるものではない。所見検出部２３による所見の検出結果に基づいて、医用画像Ｇ０に含まれる異常陰影の診断名を特定するようにしてもよい。この場合、診断名特定部２８が有する学習済みモデルＭ６は、所見検出部２３が検出した所見が入力されると、異常陰影の診断名を出力するように学習がなされる。この学習済みモデルＭ６の学習に際しては、所見の検出結果および診断名が既知の異常陰影を含む多数の医用画像が教師データとして用いられる。
　また、上記第２の実施形態において、診断名特定部２８は、画像解析部２２による解析結果、および所見検出部２３による所見の検出結果の双方に基づいて、医用画像Ｇ０に含まれる異常陰影の診断名を特定するようにしてもよい。この場合、診断名特定部２８が有する学習済みモデルＭ６は、医用画像Ｇ０における異常陰影を含む予め定められた範囲の画素値および所見検出部２３が検出した所見が入力されると、範囲内に含まれる異常陰影の診断名を出力するように学習がなされる。学習済みモデルＭ６の学習に際しては、所見の検出結果および診断名が既知の異常陰影を含む多数の医用画像が教師データとして用いられる。
　なお、上記実施形態においては、読影ＷＳ３における医療文書作成装置１０，１０Ａの画像解析部２２が医用画像を解析して異常陰影を検出しているが、外部の解析サーバ等において、取得された解析結果を用いて、所見の検出、所見特定および読影レポートの作成を行うようにしてもよい。この場合、医療文書作成装置１０，１０Ａには画像解析部２２は不要となる。
　また、上記実施形態においては、医療文書として読影レポートを作成する際に、本開示を適用しているが、電子カルテおよび診断レポート等の読影レポート以外の医療文書を作成する場合にも、本開示を適用できることはもちろんである。
　また、上記実施形態においては、学習済みモデルＭ１～Ｍ７は、ＣＮＮに限定されるものではない。ＣＮＮの他、サポートベクタマシン（ＳＶＭ(Support Vector Machine)、ディープニューラルネットワーク（ＤＮＮ(Deep Neural Network)）およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等を用いることができる。
　また、上記実施形態において、例えば、画像取得部２１、画像解析部２２、所見検出部２３、判定部２４、所見特定部２５、文書作成部２６、表示制御部２７および診断名特定部２８といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　　　１　　医療情報システム
　　　２　　モダリティ
　　　３　　読影ワークステーション
　　　４　　診療科ワークステーション
　　　５　　画像サーバ
　　　６　　画像データベース
　　　７　　読影レポートサーバ
　　　８　　読影レポートデータベース
　　　９　　ネットワーク
　　　１０，１０Ａ　　医療文書作成装置
　　　１１　　ＣＰＵ
　　　１２　　メモリ
　　　１３　　ストレージ
　　　１４　　表示部
　　　１５　　入力部
　　　２１　　画像取得部
　　　２２　　画像解析部
　　　２３　　所見検出部
　　　２４　　判定部
　　　２５　　所見特定部
　　　２６　　文書作成部
　　　２７　　表示制御部
　　　２８　　診断名特定部
　　　３０　　リカレントニューラルネットワーク
　　　３１　　エンコーダ
　　　３２　　デコーダ
　　　４０　　読影レポート画面
　　　４１　　医用画像
　　　４２　　作成領域
　　　４３　　マーク
　　　４４　　ウィンドウ
　　　Ｄ１　　診断名
　　　Ｇ０　　医用画像
　　　Ｍ１～Ｍ７　　学習済みモデル
　　　Ｏ１～Ｏ３　　出力
　　　Ｒ１，Ｒ３，Ｒ５　　所見検出結果
　　　Ｒ２，Ｒ４　　判定結果
　　　Ｔ１～Ｔ３　　教師データ

Claims (13)

  1. 　医用画像に含まれる異常陰影に関する特徴を表す複数の所見を検出する所見検出部と、
    　前記複数の所見のうち、医療文書の生成に使用する少なくとも１つの所見を特定する所見特定部と、
    　特定された所見を用いて前記医療文書を作成する文書作成部とを備えた医療文書作成装置。
  2. 　前記異常陰影が良性であるか悪性であるかを判定して判定結果を出力する判定部をさらに備え、
    　前記所見特定部は、前記判定結果に基づいて、前記少なくとも１つの所見を特定する請求項１に記載の医療文書作成装置。
  3. 　前記異常陰影の診断名を特定する診断名特定部をさらに備え、
    　前記所見特定部は、前記診断名に基づいて、前記少なくとも１つの所見を特定する請求項１に記載の医療文書作成装置。
  4. 　前記判定部は、前記医用画像の解析結果に基づいて前記判定を行う請求項２に記載の医療文書作成装置。
  5. 　前記診断名特定部は、前記医用画像の解析結果に基づいて前記診断名を特定する請求項３に記載の医療文書作成装置。
  6. 　前記判定部は、前記検出された所見に基づいて前記判定を行う請求項２に記載の医療文書作成装置。
  7. 　前記診断名特定部は、前記検出された所見に基づいて前記診断名を特定する請求項３に記載の医療文書作成装置。
  8. 　前記判定部は、前記医用画像の解析結果および前記検出された所見に基づいて前記判定を行う請求項２に記載の医療文書作成装置。
  9. 　前記診断名特定部は、前記医用画像の解析結果および前記検出された所見に基づいて前記診断名を特定する請求項３に記載の医療文書作成装置。
  10. 　前記作成された医療文書を表示部に表示する表示制御部をさらに備えた請求項１から９のいずれか１項に記載の医療文書作成装置。
  11. 　前記表示制御部は、前記複数の所見のうち、前記特定された所見を識別可能に前記表示部に表示する請求項１０に記載の医療文書作成装置。
  12. 　医用画像に含まれる異常陰影に関する特徴を表す複数の所見を検出し、
    　前記複数の所見のうち、医療文書の生成に使用する少なくとも１つの所見を特定し、
    　特定された所見を用いて前記医療文書を作成する医療文書作成方法。
  13. 　医用画像に含まれる異常陰影に関する特徴を表す複数の所見を検出する手順と、
    　前記複数の所見のうち、医療文書の生成に使用する少なくとも１つの所見を特定する手順と、
    　特定された所見を用いて前記医療文書を作成する手順とをコンピュータに実行させる医療文書作成プログラム。
PCT/JP2020/016195 2019-04-11 2020-04-10 医療文書作成装置、方法およびプログラム WO2020209382A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20787893.5A EP3954277A4 (en) 2019-04-11 2020-04-10 MEDICAL DOCUMENT GENERATION DEVICE, METHOD AND PROGRAM
JP2021513728A JPWO2020209382A1 (ja) 2019-04-11 2020-04-10
US17/494,842 US20220028510A1 (en) 2019-04-11 2021-10-06 Medical document creation apparatus, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-075459 2019-04-11
JP2019075459 2019-04-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/494,842 Continuation US20220028510A1 (en) 2019-04-11 2021-10-06 Medical document creation apparatus, method, and program

Publications (1)

Publication Number Publication Date
WO2020209382A1 true WO2020209382A1 (ja) 2020-10-15

Family

ID=72751325

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016195 WO2020209382A1 (ja) 2019-04-11 2020-04-10 医療文書作成装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US20220028510A1 (ja)
EP (1) EP3954277A4 (ja)
JP (1) JPWO2020209382A1 (ja)
WO (1) WO2020209382A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022084306A1 (en) * 2020-10-19 2022-04-28 Deepc Gmbh Technique for generating a medical report
WO2022158173A1 (ja) * 2021-01-20 2022-07-28 富士フイルム株式会社 文書作成支援装置、文書作成支援方法及びプログラム
WO2022215530A1 (ja) 2021-04-07 2022-10-13 富士フイルム株式会社 医用画像装置、医用画像方法、及び医用画像プログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0731591A (ja) 1993-07-19 1995-02-03 Toshiba Corp 読影レポート作成支援装置
WO2011033770A1 (ja) * 2009-09-17 2011-03-24 富士フイルム株式会社 読影レポート作成装置および方法並びにプログラム
JP2012249964A (ja) * 2011-06-06 2012-12-20 Canon Inc 診療支援装置、診療支援方法
JP2013214298A (ja) * 2012-03-05 2013-10-17 Toshiba Corp 読影レポート作成支援装置
JP2015207080A (ja) * 2014-04-18 2015-11-19 キヤノン株式会社 文書作成支援装置、その制御方法及びプログラム
JP2016040688A (ja) * 2014-08-12 2016-03-24 株式会社東芝 読影レポート作成支援装置
JP2017029411A (ja) 2015-07-31 2017-02-09 キヤノン株式会社 医用文書作成装置およびその制御方法、プログラム
JP2017167738A (ja) * 2016-03-15 2017-09-21 学校法人慶應義塾 診断処理装置、診断処理システム、サーバ、端末装置、診断処理方法及びプログラム
JP2018028562A (ja) 2016-08-15 2018-02-22 キャノンメディカルシステムズ株式会社 医用画像表示装置及び読影レポート作成支援装置
JP2018166961A (ja) * 2017-03-30 2018-11-01 キヤノン株式会社 情報処理装置、その制御方法及びプログラム
JP2019008817A (ja) * 2018-09-03 2019-01-17 キヤノン株式会社 医用文書作成装置およびその制御方法、プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8014576B2 (en) * 2005-11-23 2011-09-06 The Medipattern Corporation Method and system of computer-aided quantitative and qualitative analysis of medical images
JP5153281B2 (ja) * 2007-09-28 2013-02-27 キヤノン株式会社 診断支援装置及びその制御方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0731591A (ja) 1993-07-19 1995-02-03 Toshiba Corp 読影レポート作成支援装置
WO2011033770A1 (ja) * 2009-09-17 2011-03-24 富士フイルム株式会社 読影レポート作成装置および方法並びにプログラム
JP2012249964A (ja) * 2011-06-06 2012-12-20 Canon Inc 診療支援装置、診療支援方法
JP2013214298A (ja) * 2012-03-05 2013-10-17 Toshiba Corp 読影レポート作成支援装置
JP2015207080A (ja) * 2014-04-18 2015-11-19 キヤノン株式会社 文書作成支援装置、その制御方法及びプログラム
JP2016040688A (ja) * 2014-08-12 2016-03-24 株式会社東芝 読影レポート作成支援装置
JP2017029411A (ja) 2015-07-31 2017-02-09 キヤノン株式会社 医用文書作成装置およびその制御方法、プログラム
JP2017167738A (ja) * 2016-03-15 2017-09-21 学校法人慶應義塾 診断処理装置、診断処理システム、サーバ、端末装置、診断処理方法及びプログラム
JP2018028562A (ja) 2016-08-15 2018-02-22 キャノンメディカルシステムズ株式会社 医用画像表示装置及び読影レポート作成支援装置
JP2018166961A (ja) * 2017-03-30 2018-11-01 キヤノン株式会社 情報処理装置、その制御方法及びプログラム
JP2019008817A (ja) * 2018-09-03 2019-01-17 キヤノン株式会社 医用文書作成装置およびその制御方法、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3954277A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022084306A1 (en) * 2020-10-19 2022-04-28 Deepc Gmbh Technique for generating a medical report
WO2022158173A1 (ja) * 2021-01-20 2022-07-28 富士フイルム株式会社 文書作成支援装置、文書作成支援方法及びプログラム
WO2022215530A1 (ja) 2021-04-07 2022-10-13 富士フイルム株式会社 医用画像装置、医用画像方法、及び医用画像プログラム

Also Published As

Publication number Publication date
EP3954277A4 (en) 2022-06-08
US20220028510A1 (en) 2022-01-27
EP3954277A1 (en) 2022-02-16
JPWO2020209382A1 (ja) 2020-10-15

Similar Documents

Publication Publication Date Title
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
JP2019169049A (ja) 医用画像特定装置、方法およびプログラム
WO2020209382A1 (ja) 医療文書作成装置、方法およびプログラム
JP2019082881A (ja) 画像検索装置、方法およびプログラム
US20190279408A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP7080304B2 (ja) 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル
JP2019149005A (ja) 医療文書作成支援装置、方法およびプログラム
US11837346B2 (en) Document creation support apparatus, method, and program
JP7237089B2 (ja) 医療文書作成支援装置、方法およびプログラム
JP2024009342A (ja) 文書作成支援装置、方法およびプログラム
WO2021107099A1 (ja) 文書作成支援装置、文書作成支援方法及びプログラム
JP2024009108A (ja) 文書作成支援装置、文書作成支援方法及びプログラム
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
US20230005580A1 (en) Document creation support apparatus, method, and program
WO2019193983A1 (ja) 医療文書表示制御装置、医療文書表示制御方法、及び医療文書表示制御プログラム
US20230005601A1 (en) Document creation support apparatus, method, and program
US20220392595A1 (en) Information processing apparatus, information processing method, and information processing program
US20220277577A1 (en) Document creation support apparatus, document creation support method, and document creation support program
WO2021177357A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2020202822A1 (ja) 医療文書作成支援装置、方法およびプログラム
WO2020241857A1 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
WO2021172477A1 (ja) 文書作成支援装置、方法およびプログラム
WO2022196106A1 (ja) 文書作成装置、方法およびプログラム
WO2022230641A1 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
WO2023054646A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20787893

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021513728

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020787893

Country of ref document: EP

Effective date: 20211111