WO2021187483A1 - 文書作成支援装置、方法およびプログラム - Google Patents

文書作成支援装置、方法およびプログラム Download PDF

Info

Publication number
WO2021187483A1
WO2021187483A1 PCT/JP2021/010610 JP2021010610W WO2021187483A1 WO 2021187483 A1 WO2021187483 A1 WO 2021187483A1 JP 2021010610 W JP2021010610 W JP 2021010610W WO 2021187483 A1 WO2021187483 A1 WO 2021187483A1
Authority
WO
WIPO (PCT)
Prior art keywords
description
image
region
medical image
images
Prior art date
Application number
PCT/JP2021/010610
Other languages
English (en)
French (fr)
Inventor
陽平 桃木
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022508379A priority Critical patent/JP7431317B2/ja
Publication of WO2021187483A1 publication Critical patent/WO2021187483A1/ja
Priority to US17/942,166 priority patent/US20230005580A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • This disclosure relates to document creation support devices, methods and programs.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • the medical image is analyzed by CAD (Computer-Aided Diagnosis) using a learning model that has been machine-learned by deep learning, etc., and the shape, density, position, and size of the structure of interest such as abnormal shadows contained in the medical image. It is also practiced to discriminate properties such as sardines and obtain them as analysis results.
  • the analysis result acquired by CAD is associated with the examination information such as the patient name, gender, age, and the modality from which the medical image was acquired, and is stored in the database.
  • the medical image and the analysis result are transmitted to the terminal of the image interpreting doctor who interprets the medical image.
  • the image interpreting doctor interprets the medical image by referring to the transmitted medical image and the analysis result on his / her terminal, and creates an image interpretation report.
  • JP-A-2019-153250 a learning model in which machine learning such as a recurrent neural network is trained so as to generate a sentence from characters representing input property information is used.
  • Medical texts (hereinafter referred to as medical texts) are created.
  • medical texts By automatically generating medical texts as in the method described in JP-A-2019-153250, it is possible to reduce the burden on the interpretation doctor when creating a medical document such as an interpretation report.
  • This disclosure was made in view of the above circumstances, and an object of the present disclosure is to enable efficient reference to sentences about images when there are a plurality of images taken at different times.
  • the document creation support device includes at least one processor.
  • the processor is Regarding the first region specified in the first image of the subject, the second region corresponding to the first region is specified in each of the plurality of second images of the subject whose shooting time is different from that of the first image. death, Identify a second description of the identified second area contained in the texts associated with each of the plurality of second images.
  • a plurality of second descriptions specified for each of the plurality of second images are configured to be displayed in a switchable manner.
  • the processor may be configured to further display a description area for describing a sentence relating to the first area.
  • the processor may be configured to transfer at least one of a plurality of second descriptions to the description area.
  • the processor analyzes the first region and generates the first description regarding the first region.
  • the first description may be configured to be displayed in the description area.
  • the processor includes the properties related to the first region included in the first description and the second description specified for each of the plurality of second images. It may be configured to derive the difference from the property related to the region of the above and to visually display the difference between the property included in the first description and the property included in the second description.
  • the processor may be configured to derive the difference between the first region and the second region.
  • the processor may be configured to display a second description when a difference is derived.
  • the processor may be configured to notify that the difference has not been derived when the difference has not been derived.
  • the first region specified in the first image of the subject is obtained in each of the plurality of second images of the subject whose shooting time is different from that of the first image. Identify the second area corresponding to Identify a second description of the identified second area contained in the texts associated with each of the plurality of second images. A plurality of second descriptions specified for each of the plurality of second images are displayed in a switchable manner.
  • document creation support method may be provided as a program for executing the method on a computer.
  • the text about the images can be efficiently referred to.
  • the figure which shows the schematic structure of the document creation support apparatus by 1st Embodiment Functional configuration diagram of the document creation support device according to the first embodiment The figure which shows the 1st medical image and the 2nd medical image Diagram for explaining an example of property information Diagram to illustrate the identification of the second description
  • the figure which shows the display screen in 1st Embodiment The figure which shows the display screen in 1st Embodiment
  • the figure which shows the display screen in 1st Embodiment A flowchart showing the processing performed in the first embodiment Functional configuration diagram of the document creation support device according to the second embodiment
  • the figure which shows the schematic structure of the recurrent neural network The figure which shows the display screen in 2nd Embodiment A flowchart showing the processing performed in the second embodiment.
  • FIG. 1 is a diagram showing a schematic configuration of the medical information system 1.
  • the medical information system 1 shown in FIG. 1 is based on an inspection order from a doctor in a clinical department using a known ordering system, photographs of a part to be inspected of a subject, storage of medical images obtained by photographing, and an interpretation doctor. It is a system for interpreting medical images and creating an interpretation report, and for viewing the interpretation report by the doctor of the requesting clinical department and observing the details of the medical image to be interpreted.
  • the medical information system 1 includes a plurality of imaging devices 2, a plurality of image interpretation WS (WorkStation) 3 which are image interpretation terminals, a medical care WS 4, an image server 5, and an image database (hereinafter, image DB (DataBase)).
  • the report server 7 and the report database (hereinafter referred to as the report DB) 8 are connected to each other via a wired or wireless network 10 so as to be able to communicate with each other.
  • Each device is a computer on which an application program for functioning as a component of the medical information system 1 is installed.
  • the application program is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory), and is installed on a computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory)
  • it is stored in the storage device of the server computer connected to the network 10 or in the network storage in a state of being accessible from the outside, and is downloaded and installed in the computer upon request.
  • the photographing device 2 is a device (modality) that generates a medical image representing the diagnosis target part by photographing the part to be diagnosed of the subject. Specifically, it is a simple X-ray imaging apparatus, a CT apparatus, an MRI apparatus, a PET (Positron Emission Tomography) apparatus, and the like.
  • the medical image generated by the imaging device 2 is transmitted to the image server 5 and stored in the image DB 6.
  • the image interpretation WS3 is a computer used by, for example, an image interpretation doctor in a radiology department to interpret a medical image and create an image interpretation report, and includes a document creation support device 20 according to the present embodiment.
  • a request for viewing a medical image to the image server 5 various image processing for the medical image received from the image server 5, a display of the medical image, an input acceptance of a finding sentence related to the medical image, and the like are performed.
  • analysis processing for medical images and input findings support for creating an interpretation report based on the analysis results, a request for registration and viewing of an interpretation report for the report server 7, and an interpretation received from the report server 7 are performed.
  • the report is displayed.
  • the clinical WS4 is a computer used by doctors in clinical departments for detailed observation of images, viewing of interpretation reports, creation of electronic medical records, etc., and is a processing device, a display device such as a display, and an input device such as a keyboard and a mouse. Consists of.
  • an image viewing request is made to the image server 5
  • an image received from the image server 5 is displayed
  • an image interpretation report viewing request is made to the report server 7
  • an image interpretation report received from the report server 7 is displayed.
  • the image server 5 is a general-purpose computer in which a software program that provides a database management system (DataBase Management System: DBMS) function is installed. Further, the image server 5 includes a storage in which the image DB 6 is configured. This storage may be a hard disk device connected by the image server 5 and the data bus, or a disk device connected to NAS (Network Attached Storage) and SAN (Storage Area Network) connected to the network 10. It may be.
  • NAS Network Attached Storage
  • SAN Storage Area Network
  • the image data and incidental information of the medical image acquired by the imaging device 2 are registered in the image DB 6.
  • the incidental information includes, for example, an image ID (identification) for identifying an individual medical image, a patient ID for identifying a subject, an examination ID for identifying an examination, and a unique ID assigned to each medical image ( UID: unique identification), examination date when the medical image was generated, examination time, type of imaging device used in the examination to acquire the medical image, patient information such as patient name, age, gender, examination site (imaging) Includes information such as site), imaging information (imaging protocol, imaging sequence, imaging method, imaging conditions, use of contrast medium, etc.), series number or collection number when multiple medical images are acquired in one examination. ..
  • the image server 5 when the image server 5 receives the viewing request from the image interpretation WS3 and the medical examination WS4 via the network 10, the image server 5 searches for the medical image registered in the image DB 6, and uses the searched medical image as the requesting image interpretation WS3 and the medical examination. Send to WS4.
  • the report server 7 incorporates a software program that provides the functions of a database management system to a general-purpose computer.
  • the report server 7 receives the image interpretation report registration request from the image interpretation WS3, the report server 7 prepares the image interpretation report in a database format and registers the image interpretation report in the report DB 8.
  • the image interpretation report includes, for example, a medical image to be interpreted, an image ID for identifying the medical image, an image interpretation doctor ID for identifying the image interpretation doctor who performed the image interpretation, a lesion name, a lesion position information, and a medical image including a specific area. It may include information for access and information such as property information.
  • the report server 7 when the report server 7 receives a viewing request for the interpretation report from the interpretation WS3 and the medical treatment WS4 via the network 10, the report server 7 searches for the interpretation report registered in the report DB 8 and uses the searched interpretation report as the requester's interpretation. It is transmitted to WS3 and medical treatment WS4.
  • the medical image is a three-dimensional CT image composed of a plurality of tomographic images with the diagnosis target as the lung, and the CT image is interpreted by the interpretation WS3 to obtain an abnormal shadow contained in the lung.
  • An interpretation report shall be created.
  • the medical image is not limited to the CT image, and any medical image such as an MRI image and a simple two-dimensional image acquired by a simple X-ray imaging device can be used.
  • Network 10 is a wired or wireless local area network that connects various devices in the hospital.
  • the network 10 may be configured such that the local area networks of each hospital are connected to each other by the Internet or a dedicated line.
  • FIG. 2 describes the hardware configuration of the document creation support device according to the first embodiment.
  • the document creation support device 20 includes a CPU (Central Processing Unit) 11, a non-volatile storage 13, and a memory 16 as a temporary storage area.
  • the document creation support device 20 includes a display 14 such as a liquid crystal display, an input device 15 such as a keyboard and a mouse, and a network I / F (InterFace) 17 connected to the network 10.
  • the CPU 11, the storage 13, the display 14, the input device 15, the memory 16, and the network I / F 17 are connected to the bus 18.
  • the CPU 11 is an example of the processor in the present disclosure.
  • the storage 13 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
  • the document creation support program 12 is stored in the storage 13 as a storage medium.
  • the CPU 11 reads the document creation support program from the storage 13, expands it into the memory 16, and executes the expanded document creation support program 12.
  • FIG. 3 is a diagram showing a functional configuration of the document creation support device according to the first embodiment.
  • the document creation support device 20 according to the first embodiment includes an acquisition unit 21, an area identification unit 22, a description identification unit 23, a display control unit 24, a storage control unit 25, and a communication unit 26.
  • the CPU 11 executes the document creation support program, the CPU 11 functions as an acquisition unit 21, an area identification unit 22, a description identification unit 23, a display control unit 24, a storage control unit 25, and a communication unit 26.
  • the acquisition unit 21 acquires the first medical image G1 for creating an image interpretation report from the image server 5 in response to an instruction from the input device 15 by the image interpretation doctor who is the operator.
  • n is the number of the second medical images, and the larger n is, the older the imaging time is)) is acquired from the image server 5.
  • the acquisition unit 21 acquires the interpretation report R2-i for the plurality of second medical images G2-i from the report server 7.
  • the acquired first medical image G1 and second medical image G2-i, and the interpretation report R2-i are stored in the storage 13.
  • the area specifying unit 22 specifies a second area corresponding to the first area in each of the plurality of second medical images with respect to the first area specified in the first medical image G1 of the subject.
  • the region identification unit 22 has a learning model 22A that has been trained to detect abnormal shadows on the lungs included in the medical image.
  • the learning model 22A is a convolutional neural network (CNN) in which deep learning is performed using teacher data so as to determine whether or not each pixel (boxel) in a medical image represents an abnormal shadow, for example. (Convolutional Neural Network)).
  • CNN convolutional neural network
  • the learning model 22A is constructed by machine learning using, for example, a combination of a medical image including an abnormal shadow and correct answer data representing the position of the abnormal shadow in the medical image as teacher data.
  • the learning model 22A outputs a score indicating that each pixel is an abnormal shadow in the input medical image.
  • the score is a score indicating the prominence of abnormal shadows in medical images.
  • the score takes, for example, a value of 0 or more and 1 or less, and the larger the score value, the higher the possibility of the abnormal shadow.
  • the learning model 22A extracts pixels having a score equal to or higher than a predetermined threshold value (for example, 0.5) as pixels with abnormal shadows.
  • a predetermined threshold value for example, 0.5
  • the region specifying unit 22 specifies the region of the abnormal shadow in the first medical image G1 as the first region A1 by the learning model 22A. Although a plurality of abnormal shadows may be specified, it is assumed here that one first region A1 is specified in the first medical image G1 for the sake of explanation.
  • the area specifying unit 22 specifies the second area A2-i corresponding to the first area A1 specified in the first medical image G1 in each of the plurality of second medical images G2-i.
  • the region specifying unit 22 may specify the second region A2-i by the learning model 22A for each of the plurality of medical images G2-i.
  • the abnormal shadow has already been specified, and the information indicating the position of the specified abnormal shadow is stored in the image server 5 together with the second medical image G2-i. There may be.
  • the acquisition unit 21 acquires information indicating the position of the abnormal shadow together with the second medical image G2-i, and uses the information to obtain the second medical image G2-i in the second medical image G2-i.
  • Region A2-i may be specified.
  • FIG. 4 is a diagram showing a region specified in a medical image. As shown in FIG. 4, in the first medical image G1, the first region A1 is specified. Further, in the two second medical images G2-1 and G2-2, the second regions A2-1 and A2-2 are specified, respectively. As shown in FIG. 4, in the first medical image G1 and the second medical images G2-1 and G2-2, the newer the imaging time, the larger the specified region.
  • the description specifying unit 23 specifies a second description regarding the specified second region A2-i in a plurality of sentences related to each of the plurality of second medical images G2-i.
  • the interpretation report R2-i is created for each of the plurality of second medical images G2-i, and is acquired by the acquisition unit 21 and stored in the storage 13.
  • the description specifying unit 23 specifies the second description regarding the second region A2-i among the plurality of descriptions included in the corresponding interpretation report R2-i for each of the plurality of second medical images G2-i. do.
  • the description specifying unit 23 has a learning model 23A that has been trained so as to discriminate the properties of the abnormal shadow included in the medical image for each of the plurality of predetermined property items.
  • the location of the abnormal shadow the size of the abnormal shadow, the shape of the boundary (clear and irregular), the type of absorption value (full type and pleural type), and the presence or absence of spicula.
  • Tumor or nodule presence or absence of pleural contact, presence or absence of pleural infiltration, presence or absence of pleural infiltration, presence or absence of cavity, presence or absence of calcification, etc.
  • the learning model 23A comprises a convolutional neural network in which deep learning (deep learning) is performed using teacher data so as to discriminate the properties of abnormal shadows in the medical image.
  • the learning model 23A is learned by machine learning using, for example, a plurality of combinations of a medical image including an abnormal shadow and a property label representing the property of the abnormal shadow as teacher data.
  • the learning model 23A outputs the property score derived for each property item in the abnormal shadow included in the medical image.
  • the property score is a score indicating the prominence of the property for each property item.
  • the property score takes, for example, a value of 0 or more and 1 or less, and the larger the value of the property score, the more remarkable the property.
  • the property score for "presence or absence of spicula”, which is one of the property items of abnormal shadow is 0.5 or more
  • the property for "presence or absence of spicula" of abnormal shadow is "with spicula (positive)”.
  • the property score for "presence or absence of spicula” is, for example, less than 0.5, it is specified that the property for the presence or absence of spicula in abnormal shadow is "no spicula (negative)”.
  • the threshold value 0.5 used for the property determination is merely an example, and is set to an appropriate value for each property item.
  • FIG. 5 is a diagram for explaining an example of property information specified by the description specifying unit 23.
  • the properties for each property item are "left pulmonary subpleural", “4.2 cm”, “irregular”, “enriched type”, and so on. They are “with spicula”, “mass”, “with pleural contact”, “with pleural infiltration”, “without pleural infiltration”, “without cavities” and “without calcification”.
  • + is given when “yes”, that is, positive, and-is given when “no”, that is, negative.
  • the description specifying unit 23 provides the second description D2-i regarding the second region A2-i included in the interpretation report R2-i based on the property information 30 extracted for the second region A2-i. Identify.
  • FIG. 6 is a diagram for explaining the identification of the second description.
  • the interpretation report R2-1 for the second medical image G2-1 includes a plurality of descriptions for a plurality of abnormal shadows existing at a plurality of locations.
  • the property information 31 about the second region A2-1 included in the second medical image G2-1 is “mass, with cavity”.
  • the description identification unit 23 has increased the “mass shadow of the right lung S6 is about 6.5 ⁇ 4 cm” related to the property information 31 among the plurality of descriptions included in the interpretation report R2-i.
  • the cavity in the center of the mass has also expanded from the previous time. ”Is specified in the second description D2-1.
  • a plurality of second interpretation reports R2-i for each of the plurality of second medical images G2-i and the plurality of second medical images G2-i have been acquired. Therefore, the description specifying unit 23 identifies the second description D2-i relating to each of the second regions A2-i from each of the plurality of second interpretation reports R2-i. In one interpretation report R2-i, not only one second description but also a plurality of second descriptions D2-i may be specified.
  • any learning model such as a support vector machine and a recurrent neural network can be used.
  • the description specifying unit 23 is not limited to the one that specifies the description by the learning model 23A.
  • the second description D2-i may be specified by searching the second interpretation report R2-i using the tumor size and the items included in the diagnostic guideline as keywords.
  • FIG. 7 is a diagram showing a display screen according to the first embodiment.
  • the display screen 50 includes an image display area 51 and a text display area 52.
  • the first medical image G1 is displayed in the image display area 51, and a plurality of second medical images G2-i are displayed switchably below the first medical image G1.
  • the second medical image G2-1 shown in FIG. 4 is displayed.
  • the shooting date and time of each medical image is displayed.
  • first switching buttons 53A and 53B for switching the tomographic image displayed for the first medical image G1 are displayed.
  • the switching display of the second medical image G2-i can be performed by selecting the second switching buttons 56A and 56B, which will be described later.
  • the text display area 52 includes a first description area 54 for describing an interpretation report for the first medical image G1, and a second description area 54 for the second medical image G2-i displayed in the image display area 51. It has a second description area 55 for displaying the description D2-i of. In the second description area 55, the second description D2-i regarding the second medical image G2-i is displayed in a switchable manner. In FIG. 7, a second description D2-1 regarding the second medical image G2-1 is displayed in the second description area 55.
  • the switching display of the second description D2-i can be performed by selecting the switching buttons 56A and 56B displayed below the text display area 52. Further, in conjunction with this, the second medical image G2-i displayed in the image display area 51 is also switched. That is, by selecting the left-facing switching button 56A, the imaging date and time of the second medical image G2-i displayed in the image display area 51 is updated, and the second description area 55 is displayed. It corresponds to the second medical image G2-i on which the description D2-i is displayed. Further, by selecting the rightward switching button 56B, the shooting date and time of the second medical image G2-i displayed in the image display area 51 becomes old, and the second description area 55 is displayed. It corresponds to the second medical image G2-i on which the description D2-i is displayed.
  • FIG. 8 is a diagram showing a display screen to which the second description has been switched. As shown in FIG. 8, a second description D2-2 is displayed in the second description area 55 instead of the second description D2-1, and a second description D2-2 is displayed in the lower area of the image display area 51. A second medical image G2-2 is displayed in place of the second medical image G2-1.
  • the interpreting doctor refers to the second medical image G2-i displayed in the image display area 51 and the second description D2-i displayed in the sentence display area 52, and sets the first description area 54 in the first description area 54. Describes the findings of the medical image G1. Then, after describing the findings, the confirmation button 57 is selected.
  • the second description D2-1 for the second medical image G2-1 displayed in the initial state may be transcribed in the first description area 54.
  • the description posted in the first description area 54 may also be switched.
  • the storage control unit 25 selects the confirmation button 57 by the operator to display the image interpretation report including the finding sentence described in the first description area 54 and the first medical image G1 referred to when generating the image interpretation report. At the same time, it is saved in the storage 13.
  • the communication unit 26 reports the image interpretation report including the findings described in the first description area 54 and the first medical image G1 referred to when generating the image interpretation report via the network I / F17. Transfer to server 7.
  • the report server 7 also stores the interpretation report including the findings described in the first description area 54 and the first medical image G1 referred to when generating the interpretation report.
  • FIG. 10 is a flowchart showing the processing performed in the first embodiment.
  • the first medical image G1 to be image-interpreted, the plurality of second medical images G2-i, and the plurality of image-reading reports R2-i are acquired from the image server 5 and the report server 7 by the acquisition unit 21. It is assumed that it is stored in the storage 13.
  • the process is started when an instruction to create an image interpretation report is given by the image interpretation doctor, and the area identification unit 22 analyzes the first medical image G1 and the plurality of second medical images G2-i to obtain an abnormal shadow.
  • the first region A1 and the second region A2-i are specified (region identification; step ST1).
  • the description specifying unit 23 describes the second description D2- about the specified second region A2-i in the second interpretation report R2-i related to each of the plurality of second medical images G2-i. Identify i (step ST2).
  • the display control unit 24 displays the plurality of second descriptions D2-i specified for each of the plurality of second medical images G2-1 in a switchable manner on the display 14 (step ST3).
  • the image interpreter can describe the findings about the first medical image G1 in the first description area 54.
  • step ST4 determines whether or not the second switching buttons 56A and 56B have been selected.
  • step ST4 is affirmed, the display control unit 24 switches between the second medical image G2-i displayed in the image display area 51 and the second description D2-i displayed in the text display area 52 (display switching; Step ST5), the process returns to step ST4.
  • step ST4 is denied, the display control unit 24 determines whether or not the first switching buttons 53A and 53B have been selected (step ST6).
  • step ST6 is affirmed, the display control unit 24 switches the tomographic image to be displayed in the image display area 51 for the first medical image G1 (step ST7), and returns to step ST1.
  • step ST6 is denied, it is determined whether or not the confirmation button 57 is selected (step ST8). If step ST8 is denied, the process returns to step ST4.
  • step ST8 When step ST8 is affirmed, the storage control unit 25 stores the first image interpretation report R1 and the first medical image G1 for the first medical image G1 together in the storage 13 (save the image interpretation report or the like; Step ST9). Then, the communication unit 26 transfers the first image interpretation report R1 and the first medical image G1 together to the report server 7 via the network I / F17 (transfer of the image interpretation report or the like; step ST10), and ends the process. do.
  • the interpretation report R1 for the first medical image G1 when the interpretation report R1 for the first medical image G1 is created, the second description D2 included in the second interpretation report R2-i for the plurality of medical images G2-i. -I is displayed so that it can be switched. Therefore, when there are a plurality of images of the same patient at different shooting times, the second description D2-i included in the interpretation report R2-i for the past images can be efficiently referred to. Therefore, the interpretation report R1 for the first medical image G1 can be efficiently created.
  • FIG. 11 is a diagram showing a functional configuration of the document creation support device according to the second embodiment.
  • the same reference numbers are assigned to the same configurations as those in FIG. 3, and detailed description thereof will be omitted.
  • the document creation support device 20A according to the second embodiment is different from the first embodiment in that it further includes a sentence generation unit 27.
  • the sentence generation unit 27 analyzes the first region A1 specified by the region identification unit 22 in the first medical image G1 and generates the first description D1 regarding the first region A1.
  • the sentence generation unit 27 has a learning model 27A for discriminating the properties of the first region A1 for each of a plurality of predetermined property items.
  • the learning model 27A is composed of a convolutional neural network that has been trained in the same manner as the learning model 23A included in the description specifying unit 23.
  • the learning model 27A outputs property information representing the properties of the first region A1.
  • the sentence generation unit 27 generates a finding sentence using the derived property information. Therefore, the sentence generation unit 27 has a learning model 27B in which learning is performed so as to generate a sentence from the input property information.
  • a recurrent neural network can be used as the learning model 27B.
  • FIG. 12 is a diagram showing a schematic configuration of a recurrent neural network. As shown in FIG. 12, the recurrent neural network 40 includes an encoder 41 and a decoder 42. The property information output by the learning model 27A is input to the encoder 41. For example, property information of "left pulmonary subpleuralis", “4.2 cm”, “spicula +" and “tumor" is input to the encoder 41.
  • the decoder 42 is learned so as to document the character information, and generates a sentence from the input property information. Specifically, from the above-mentioned property information of "left pulmonary pleura”, “4.2 cm”, “spicula +” and “mass”, "a mass having a spicula under the left pulmonary pleura and having a diameter of 4.2 cm was observed. Will be generated. " In FIG. 12, "EOS” indicates the end of the sentence (End Of Sentence).
  • the recurrent neural network 40 learns the encoder 41 and the decoder 42 using a large amount of teacher data composed of a combination of the property information and the finding sentence. Be built.
  • the generated text shown in FIG. 12 represents the findings of the lung nodule, and is generated by learning the learning model by inputting the property information of the lung nodule.
  • the display control unit 24 displays the sentence generated by the sentence generation unit 27, that is, the finding sentence in the first description area 54.
  • FIG. 13 is a diagram showing a display screen according to the second embodiment. In FIG. 13, the same reference numbers are assigned to the same configurations as those in FIG. 7, and detailed description thereof will be omitted.
  • the first description area 54 contains the findings regarding the first area A1 included in the first medical image G1. It is displayed as description D1.
  • FIG. 14 is a flowchart showing the processing performed in the second embodiment.
  • the first medical image G1 to be image-interpreted, the plurality of second medical images G2-i, and the plurality of image-reading reports R2-i are acquired from the image server 5 and the report server 7 by the acquisition unit 21. It is assumed that it is stored in the storage 13.
  • the process is started when an instruction to create an image interpretation report is given by the image interpretation doctor, and the area identification unit 22 analyzes the first medical image G1 and the plurality of second medical images G2-i to obtain an abnormal shadow.
  • the first region A1 and the second region A2-i are specified (region identification; step ST21).
  • the description specifying unit 23 describes the second description D2- about the specified second region A2-i in the second interpretation report R2-i related to each of the plurality of second medical images G2-i. Identify i (step ST22). Further, the sentence generation unit 27 generates a first description D1 regarding the first region A1 included in the first medical image G1 (step ST23). Then, the display control unit 24 displays the first description D1 in the first description area 54 (step ST24), and proceeds to the process of step ST3 in FIG.
  • the process of step ST23 may be performed before the process of step ST21, or may be performed in parallel with the process of steps ST21 and ST22. Further, the process of step ST24 may be performed after the process of step ST3 of FIG. 10, or may be performed in parallel with the process of step ST3.
  • the first description D1 regarding the first region A1 included in the first medical image G1 is generated, and the first description D1 is displayed in the first description area 54. I tried to do it. Therefore, it is possible to reduce the burden on the image interpreting doctor who generates the finding sentence about the first region A1 included in the first medical image G1.
  • the first description D1 generated by the sentence generation unit 27 is displayed in the first description area 54, but in addition to the first description D1, the second description The second description D2-i displayed in the area 55 may be transcribed into the first description area 54.
  • the first description D1 and the second description D2-i are displayed side by side, for example.
  • FIG. 15 is a diagram showing a functional configuration of the document creation support device according to the third embodiment.
  • the same reference numbers are assigned to the same configurations as those in FIG. 11, and detailed description thereof will be omitted.
  • the document creation support device 20B according to the third embodiment is different from the second embodiment in that the property difference derivation unit 28 is further provided.
  • the property difference derivation unit 28 identifies the properties of the first region A1 included in the first description D1 generated by the sentence generation unit 27 and the second medical image G2-i. Derivation of the difference from the properties of the second region A2-i included in the description D2-i.
  • the property difference deriving unit 28 has a learning model 28A that has been trained so as to output the difference in properties included in the two sentences when the two sentences are input.
  • the learning model 28B for example, a recurrent neural network can be used as the learning model 28B.
  • the recurrent neural network constituting the learning model 28A is constructed by learning the encoder and the decoder constituting the recurrent neural network using a large number of teacher data consisting of two sentences and a combination of words representing the differences between the two sentences. It becomes.
  • the property difference derivation unit 28 derives the difference between the properties included in the first description D1 and the properties included in all the second descriptions D2-i. At this time, the difference between the properties included in the first description D1 and the properties included in all the second descriptions D2-i may be derived at once, and the second description D2-i is switched and displayed. For each, the difference between the properties included in the displayed second description D2-i and the properties included in the first description may be derived. For example, when the switched second description D2-i is "the mass shadow of the right lung S6 is 3 x 2 cm", the property difference deriving unit 28 has the properties included in the switched second description and the first. "7 x 5 cm” and "pleural invagination”, which are differences from the properties included in the description D1 of the above, are output.
  • the display control unit 24 determines that the property included in the first description D1 and the property included in the second description D2-i when the difference is derived by the property difference deriving unit 28. The difference is visually displayed on the display 14.
  • FIG. 16 is a diagram showing a display screen according to the third embodiment. In FIG. 16, the same reference numbers are assigned to the same configurations as those in FIG. 13, and detailed description thereof will be omitted. As shown in FIG. 16, on the display screen 50B in the third embodiment, the first description D1 relating to the first area A1 included in the first medical image G1 is displayed in the first description area 54 in the initial state. Has been done.
  • FIG. 17 is a flowchart showing the processing performed in the third embodiment.
  • the first medical image G1 to be image-interpreted, the plurality of second medical images G2-i, and the plurality of image-reading reports R2-i are acquired from the image server 5 and the report server 7 by the acquisition unit 21. It is assumed that it is stored in the storage 13.
  • the process is started when an instruction to create an image interpretation report is given by the image interpretation doctor, and the area identification unit 22 analyzes the first medical image G1 and the plurality of second medical images G2-i to obtain an abnormal shadow.
  • the first region A1 and the second region A2-i are specified (region identification; step ST31).
  • the description specifying unit 23 describes the second description D2- about the specified second region A2-i in the second interpretation report R2-i related to each of the plurality of second medical images G2-i. Identify i (step ST32). Further, the sentence generation unit 27 generates a first description D1 regarding the first region A1 included in the first medical image G1 (step ST33). Then, the property difference deriving unit 28 derives the difference between the property included in the first description D1 and the property included in the second description D2-i (step ST34).
  • step ST35 the display control unit 24 displays the first description D1 in the first description area 54 (step ST35), and further emphasizes the difference in properties from the second description D2-i in the first description D1. It is displayed (step ST36), and the process proceeds to step ST3 in FIG.
  • the process of step ST33 may be performed before the process of step ST31, or may be performed in parallel with the process of steps ST31 and ST32. Further, the processes of steps ST35 and ST36 may be performed after the process of step ST3 of FIG. 10, or may be performed in parallel with the process of step ST3.
  • the first description D1 regarding the first region A1 included in the first medical image G1 is generated, and the first description D1 is displayed in the first description area 54. I tried to do it. Further, at this time, the difference in properties between the first description D1 and the second description D2-i is derived, and the difference is highlighted so that the difference in properties can be visually displayed. Therefore, the burden on the interpreter who generates the finding sentence about the first region A1 included in the first medical image G1 is reduced, and the generated first description D1 and the second description D2-i It is possible to confirm the difference in the description contents regarding the properties of.
  • the first description D1 highlights the difference in properties from the second description D2-i, but the description is not limited to this.
  • the difference from the property of the first description may be highlighted, and in both the first description D1 and the second description D2-i, the difference in the property is highlighted. You may do so.
  • FIG. 18 is a diagram showing a functional configuration of the document creation support device according to the fourth embodiment.
  • the same reference numbers are assigned to the same configurations as those in FIG. 3, and detailed description thereof will be omitted.
  • the document creation support device 20C according to the fourth embodiment is different from the first embodiment in that it further includes a region difference derivation unit 29.
  • the region difference derivation unit 29 is a difference between the first region A1 detected from the first medical image G1 and the second region A2-i detected from each of the plurality of second medical images G2-i. Is derived.
  • the region difference derivation unit 29 has a learning model 29A that has been trained to output the difference between the two images when the two images are input.
  • the learning model 29A for example, a convolutional neural network can be used.
  • the convolutional neural network constituting the learning model 29A learns the convolutional neural network using a large number of teacher data consisting of a combination of two images and information representing the difference between the two images (for example, a difference region, a difference value, etc.). It is built by.
  • FIG. 19 is a diagram for explaining the derivation of the difference between the two regions. Note that FIG. 19 shows only the abnormal shadows in the first medical image G1 and the second medical image G2-i, that is, the first region A1 and the partial region including the second region A2-i. As shown in FIG. 19, when the first region A1 in the first medical image G1 is smaller than the second region A2-i in the second medical image G2-i, the region difference deriving unit 29 Derivates the region difference 60 as shown in FIG.
  • the region difference derivation unit 29 derives the difference between the first region A1 and all the second regions A2-i. At this time, the difference between the first region A1 and all the second regions A2-i may be derived at once, and each time the second medical image G2-i is switched and displayed, the displayed first The difference between the second region A2-i and the first region A1 detected from the medical image G2-i of 2 may be derived.
  • the display control unit 24 provides the second description D2-i when the difference between the first region A1 and the second region A2-i is derived by the region difference derivation unit 29. indicate.
  • a plurality of second medical images G2-i have been acquired, and the first region is related to the second region A2-i detected from each of the second medical images G2-i. There are some that are different from A1 and some that are not. Therefore, the display control unit 24 uses the second description area 55 only when the second medical image G2-i including the second area A2-i, which is different from the first area A1, is displayed.
  • the second description D2-i is displayed in.
  • the display control unit 24 is different from the second description area 55. Display that there is no.
  • the display control unit 24 includes, in the image display area 51, a second area that is not different from the first area A1 included in the first medical image G1.
  • the second medical image G2-3 is displayed, and the text "There is no change in the abnormal shading of the two medical images" is displayed in the second description area 55.
  • FIG. 21 is a flowchart showing the processing performed in the fourth embodiment.
  • the first medical image G1 to be image-interpreted, the plurality of second medical images G2-i, and the plurality of image-reading reports R2-i are acquired from the image server 5 and the report server 7 by the acquisition unit 21. It is assumed that it is stored in the storage 13.
  • the process is started when an instruction to create an image interpretation report is given by the image interpretation doctor, and the area identification unit 22 analyzes the first medical image G1 and the plurality of second medical images G2-i to obtain an abnormal shadow.
  • the first region A1 and the second region A2-i are specified (region identification; step ST41).
  • the description specifying unit 23 describes the second description D2- about the specified second region A2-i in the second interpretation report R2-i related to each of the plurality of second medical images G2-i. Identify i (step ST42). Further, the region difference deriving unit 29 derives the difference between the first region A1 and the second region A2-i (step ST43). The process of step ST43 may be performed before the process of step ST42, or may be performed in parallel with the process of step ST42.
  • step ST44 determines whether or not there is a difference between the first region A1 and the second region A2-i with respect to the second medical image G2-i displayed in the initial state. ).
  • step ST44 switchesably displays the second description D2-i specified for the second medical image G2-1 to be displayed in the initial state on the display 14 (step ST45).
  • step ST44 is denied, the display control unit 24 displays that there is no difference in the second description area 55 (step ST46).
  • step ST47 the display control unit 24 determines whether or not the second switching buttons 56A and 56B have been selected.
  • step ST47 affirmed, the display control unit 24 switches the second medical image G2-i to be displayed in the image display area 51 (display switching; step ST48), and returns to step ST44.
  • step ST47 denied, the display control unit 24 determines whether or not the first switching buttons 53A and 53B have been selected (step ST49).
  • step ST49 affirmed, the display control unit 24 switches the tomographic image to be displayed in the image display area 51 for the first medical image G1 (step ST50), and returns to step ST41.
  • step ST51 the display control unit 24 determines whether or not the confirmation button 57 has been selected (step ST51). If step ST51 is denied, the process returns to step ST47. If step ST51 is affirmed, the process proceeds to step ST9 shown in FIG.
  • the difference between the first region A1 and the second region A2-i is derived, and when there is a difference, the second description D2-i is displayed. .. Therefore, when there is a change in the abnormal shadow between the first medical image G1 and the second medical image G2-i, the second description D2-i about the abnormal shadow can be referred to. Therefore, with respect to the first medical image G1, it is possible to efficiently create a finding statement regarding the change in the abnormal shadow.
  • the display control unit 24 controls the display when the second medical image G2-i including the second area A2-i that is not different from the first area A1 is displayed. Part 24 displays in the second description area 55 that there is no difference, but the present invention is not limited to this.
  • the second medical image G2-i including the second area A2-i which is not different from the first area A1 is displayed, the second medical image G2-i is displayed in the second description area 55.
  • the second description D2-i may be displayed to indicate that there is no difference in the first description area 54.
  • the region difference derivation unit 29 is provided in the first embodiment, but the present invention is not limited to this.
  • the region difference derivation unit 29 may be provided in the second embodiment or the third embodiment.
  • the technique of the present disclosure is applied when creating an image interpretation report using a medical image with the diagnosis target as the lung, but the diagnosis target is not limited to the lung.
  • diagnosis target is not limited to the lung.
  • any part of the human body such as the heart, liver, brain, and limbs can be diagnosed.
  • the diagnostic guideline corresponding to the part to be diagnosed may be acquired, and the corresponding part corresponding to the item of the diagnostic guideline in the interpretation report may be specified.
  • various processors include a CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, and a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • Dedicated electricity which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits and the like are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ) May be configured. Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by combining one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware structure.
  • circuitry in which circuit elements such as semiconductor elements are combined can be used.

Abstract

少なくとも１つのプロセッサを備え、プロセッサは、被写体の第１の画像において特定された第１の領域に関して、第１の画像と撮影時期が異なる被写体の複数の第２の画像のそれぞれにおいて、第１の領域に対応する第２の領域を特定する。プロセッサは、複数の第２の画像のそれぞれに関連する複数の文章に含まれる、特定された第２の領域に関する第２の記述を特定する。プロセッサは、複数の第２の画像のそれぞれについて特定した複数の第２の記述を、切り替え可能に表示する。

Description

文書作成支援装置、方法およびプログラム
　本開示は、文書作成支援装置、方法およびプログラムに関する。
　近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いた画像診断が可能となってきている。とくに、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、病変の領域の特定および解析を精度よく行うことができるため、適切な治療を実施できるようになってきている。
　また、ディープラーニング等により機械学習がなされた学習モデルを用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる異常陰影等の関心構造の形状、濃度、位置および大きさ等の性状を判別し、これらを解析結果として取得することも行われている。ＣＡＤにより取得された解析結果は、患者名、性別、年齢および医用画像を取得したモダリティ等の検査情報と対応づけられて、データベースに保存される。医用画像および解析結果は、医用画像の読影を行う読影医の端末に送信される。読影医は、自身の端末において、送信された医用画像および解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
　一方、上述したＣＴ装置およびＭＲＩ装置の高性能化に伴い、読影を行う医用画像の数も増大している。しかしながら、読影医の数は医用画像の数に追いついていないことから、読影医の読影業務の負担を軽減することが望まれている。このため、読影レポート等の医療文書の作成を支援するための各種手法が提案されている。例えば、特開２０１９－１５３２５０号公報には、読影医が入力したキーワードおよび医用画像の解析結果に含まれる、関心構造の性状を表す情報（以下、性状情報とする）に基づいて、読影レポートに記載するための文章を自動で生成する手法が提案されている。特開２０１９－１５３２５０号公報に記載された手法においては、入力された性状情報を表す文字から文章を生成するように学習が行われたリカレントニューラルネットワーク等の機械学習がなされた学習モデルを用いて、医療用の文章（以下、医療文章とする）が作成される。特開２０１９－１５３２５０号公報に記載された手法のように、医療文章を自動で生成することにより、読影レポート等の医療文書を作成する際の読影医の負担を軽減することができる。
　ところで、患者の経過観察を行う際には、患者の最新の医用画像に基づく読影レポートを作成する際に、過去の医用画像の読影レポートを参照することが多い。このような過去の読影レポートの参照を容易に行うために、同一患者の過去画像を特定し、過去画像に対応づけられた所見情報を取得する手法が提案されている（特開２００７－２０４０４１号公報参照）。また、同一患者についての同一部位の過去画像が存在する場合、その部位についての現在の画像と過去の画像を同時に表示し、さらにその領域についての所見情報が存在する場合にその所見情報を送信する手法が提案されている（特開２０１１－０２４６２２号公報参照）。また、現在の医用画像についての読影レポートと、過去の医用画像についての読影レポートとを同時に表示する手法が提案されている（特開２０１７－１８９３９０号公報参照）。
　一方、ある患者の医用画像に含まれる異常陰影についての所見を記述した読影レポートを作成する場合において、同一患者の過去画像および対応する所見を記述した読影レポート等の文章が複数存在する場合がある。このような場合、過去画像についての読影レポート等の文章を参照できれば、現在の医用画像に含まれる異常陰影についての所見を含む読影レポートを効率よく作成することができる。
　本開示は上記事情に鑑みなされたものであり、撮影時期が異なる画像が複数ある場合に、その画像についての文章を効率よく参照できるようにすることを目的とする。
　本開示による文書作成支援装置は、少なくとも１つのプロセッサを備え、
　プロセッサは、
　被写体の第１の画像において特定された第１の領域に関して、第１の画像と撮影時期が異なる被写体の複数の第２の画像のそれぞれにおいて、第１の領域に対応する第２の領域を特定し、
　複数の第２の画像のそれぞれに関連する複数の文章に含まれる、特定された第２の領域に関する第２の記述を特定し、
　複数の第２の画像のそれぞれについて特定した複数の第２の記述を、切り替え可能に表示するように構成される。
　なお、本開示による文書作成支援装置においては、プロセッサは、第１の領域に関する文章を記述するための記述領域をさらに表示するように構成されるものであってもよい。
　また、本開示による文書作成支援装置においては、プロセッサは、記述領域に複数の第２の記述のうちの少なくとも１つを転記するように構成されるものであってもよい。
　また、本開示による文書作成支援装置においては、プロセッサは、第１の領域を解析して、第１の領域に関する第１の記述を生成し、
　第１の記述を記述領域に表示するように構成されるものであってもよい。
　また、本開示による文書作成支援装置においては、プロセッサは、第１の記述に含まれる第１の領域に関する性状と、複数の第２の画像のそれぞれについて特定した第２の記述に含まれる第２の領域に関する性状との相違を導出し
　第１の記述に含まれる性状と第２の記述に含まれる性状との相違を視認可能に表示するように構成されるものであってもよい。
　また、本開示による文書作成支援装置においては、プロセッサは、第１の領域と第２の領域との相違を導出するように構成されるものであってもよい。
　また、本開示による文書作成支援装置においては、プロセッサは、相違が導出された場合に、第２の記述を表示するように構成されるものであってもよい。
　また、本開示による文書作成支援装置においては、プロセッサは、相違が導出されなかった場合に、相違が導出されなかったことを通知するように構成されるものであってもよい。
　本開示による文書作成支援方法は、被写体の第１の画像において特定された第１の領域に関して、第１の画像と撮影時期が異なる被写体の複数の第２の画像のそれぞれにおいて、第１の領域に対応する第２の領域を特定し、
　複数の第２の画像のそれぞれに関連する複数の文章に含まれる、特定された第２の領域に関する第２の記述を特定し、
　複数の第２の画像のそれぞれについて特定した複数の第２の記述を、切り替え可能に表示する。
　なお、本開示による文書作成支援方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示によれば、撮影時期が異なる画像が複数ある場合に、その画像についての文章を効率よく参照できる。
本開示の第１の実施形態による文書作成支援装置を適用した医療情報システムの概略構成を示す図 第１の実施形態による文書作成支援装置の概略構成を示す図 第１の実施形態による文書作成支援装置の機能構成図 第１の医用画像および第２の医用画像を示す図 性状情報の例を説明するための図 第２の記述の特定を説明するための図 第１の実施形態における表示画面を示す図 第１の実施形態における表示画面を示す図 第１の実施形態における表示画面を示す図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態による文書作成支援装置の機能構成図 リカレントニューラルネットワークの模式的な構成を示す図 第２の実施形態における表示画面を示す図 第２の実施形態において行われる処理を示すフローチャート 第３の実施形態による文書作成支援装置の機能構成図 第３の実施形態における表示画面を示す図 第３の実施形態において行われる処理を示すフローチャート 第４の実施形態による文書作成支援装置の機能構成図 第１の領域と第２の領域との相違を説明するための図 第４の実施形態における表示画面を示す図 第４の実施形態において行われる処理を示すフローチャート
　以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による文書作成支援装置を適用した医療情報システム１の構成について説明する。図１は、医療情報システム１の概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
　図１に示すように、医療情報システム１は、複数の撮影装置２、読影端末である複数の読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像データベース（以下、画像ＤＢ（DataBase）とする）６、レポートサーバ７およびレポートデータベース（以下レポートＤＢとする）８が、有線または無線のネットワーク１０を介して互いに通信可能な状態で接続されて構成されている。
　各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ＤＶＤ（Digital Versatile Disc）およびＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク１０に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
　撮影装置２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ６に保存される。
　読影ＷＳ３は、例えば放射線科の読影医が、医用画像の読影および読影レポートの作成等に利用するコンピュータであり、本実施形態による文書作成支援装置２０を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、および医用画像に関する所見文の入力受け付け等が行われる。また、読影ＷＳ３では、医用画像および入力された所見文に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ７に対する読影レポートの登録要求と閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。
　診療ＷＳ４は、診療科の医師が、画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療ＷＳ４では、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。
　画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像ＤＢ６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。なお、本実施形態においては、疾患に応じた診断ガイドラインも画像サーバ５に保存されているものとするが、これに限定されるものではない。
　画像ＤＢ６には、撮影装置２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。
　また、画像サーバ５は、読影ＷＳ３および診療ＷＳ４からの閲覧要求をネットワーク１０経由で受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３および診療ＷＳ４に送信する。
　レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。
　レポートＤＢ８には、読影医が読影ＷＳ３を用いて作成した所見文を少なくとも含む読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ＩＤ、読影を行った読影医を識別するための読影医ＩＤ、病変名、病変の位置情報、特定領域を含む医用画像にアクセスするための情報、および性状情報等の情報を含んでいてもよい。
　また、レポートサーバ７は、読影ＷＳ３および診療ＷＳ４からの読影レポートの閲覧要求をネットワーク１０経由で受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影ＷＳ３および診療ＷＳ４に送信する。
　なお、本実施形態においては、医用画像は診断対象を肺とした、複数の断層画像からなる３次元のＣＴ画像とし、読影ＷＳ３においてＣＴ画像を読影することにより、肺に含まれる異常陰影についての読影レポートを作成するものとする。なお、医用画像はＣＴ画像に限定されるものではなく、ＭＲＩ画像および単純Ｘ線撮影装置により取得された単純２次元画像等の任意の医用画像を用いることができる。
　ネットワーク１０は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
　次いで、本開示の第１の実施形態による文書作成支援装置について説明する。図２は、第１の実施形態による文書作成支援装置のハードウェア構成を説明する。図２に示すように、文書作成支援装置２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、文書作成支援装置２０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク１０に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
　ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、文書作成支援プログラム１２が記憶される。ＣＰＵ１１は、ストレージ１３から文書作成支援プログラムを読み出してからメモリ１６に展開し、展開した文書作成支援プログラム１２を実行する。
　次いで、第１の実施形態による文書作成支援装置の機能的な構成を説明する。図３は、第１の実施形態による文書作成支援装置の機能的な構成を示す図である。図３に示すように、第１の実施形態による文書作成支援装置２０は、取得部２１、領域特定部２２、記述特定部２３、表示制御部２４、保存制御部２５および通信部２６を備える。そして、ＣＰＵ１１が、文書作成支援プログラムを実行することにより、ＣＰＵ１１は、取得部２１、領域特定部２２、記述特定部２３、表示制御部２４、保存制御部２５および通信部２６として機能する。
　取得部２１は、操作者である読影医による入力デバイス１５からの指示により、画像サーバ５から読影レポートを作成するための第１の医用画像Ｇ１を取得する。また、取得部２１は、第１の医用画像Ｇ１を取得した患者についての、第１の医用画像Ｇ１よりも撮影時期が前の複数の第２の医用画像Ｇ２－ｉ（ｉ＝２～ｎ、ｎは第２の医用画像の数であり、ｎが大きいほど撮影時期が古い）を、画像サーバ５から取得する。また、取得部２１は、レポートサーバ７から、複数の第２の医用画像Ｇ２－ｉについての読影レポートＲ２－ｉを取得する。取得した第１の医用画像Ｇ１および第２の医用画像Ｇ２－ｉ、並びに読影レポートＲ２－ｉは、ストレージ１３に保存される。
　領域特定部２２は、被写体の第１の医用画像Ｇ１において特定された第１の領域に関して、複数の第２の医用画像のそれぞれにおいて、第１の領域に対応する第２の領域を特定する。このために、領域特定部２２は、医用画像に含まれる肺についての異常陰影を検出するように学習がなされた学習モデル２２Ａを有する。
　学習モデル２２Ａは、例えば医用画像における各画素（ボクセル）が異常陰影を表すものであるか否かを判別するように、教師データを用いてディープラーニング（深層学習）がなされた畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）からなる。
　学習モデル２２Ａは、例えば、異常陰影を含む医用画像と、その医用画像における異常陰影の位置を表す正解データの組み合わせを教師データとして用いた機械学習によって構築される。学習モデル２２Ａは、医用画像が入力されると、入力された医用画像に各画素が異常陰影であることのスコアを出力する。スコアは、医用画像における異常陰影の顕著性を示すスコアである。スコアは例えば０以上１以下の値をとり、スコアの値が大きい程、その異常陰影である可能性が高いことを示す。そして、学習モデル２２Ａは、スコアが予め定められたしきい値（例えば０．５）以上となる画素を異常陰影の画素として抽出する。
　領域特定部２２は、学習モデル２２Ａにより、第１の医用画像Ｇ１における異常陰影の領域を第１の領域Ａ１として特定する。なお、異常陰影が複数特定される場合があるが、ここでは説明のために第１の医用画像Ｇ１において１つの第１の領域Ａ１が特定されたものとする。
　領域特定部２２は、第１の医用画像Ｇ１において特定した第１の領域Ａ１に対応する第２の領域Ａ２－ｉを、複数の第２の医用画像Ｇ２－ｉのそれぞれにおいて特定する。この際、領域特定部２２は、複数の医用画像Ｇ２－ｉのそれぞれについて学習モデル２２Ａにより第２の領域Ａ２－ｉを特定すればよい。また、第２の医用画像Ｇ２－ｉについては、異常陰影がすでに特定されており、特定した異常陰影の位置を表す情報が第２の医用画像Ｇ２－ｉと併せて画像サーバ５に保存されている場合がある。このような場合は、取得部２１により、第２の医用画像Ｇ２－ｉと併せて、異常陰影の位置を表す情報を取得し、その情報を用いて第２の医用画像Ｇ２－ｉにおける第２の領域Ａ２－ｉを特定するようにしてもよい。
　図４は医用画像において特定された領域を示す図である。図４に示すように、第１の医用画像Ｇ１においては、第１の領域Ａ１が特定されている。また、２つの第２の医用画像Ｇ２－１，Ｇ２－２においては、それぞれ第２の領域Ａ２－１，Ａ２－２が特定されている。なお、図４に示すように、第１の医用画像Ｇ１および第２の医用画像Ｇ２－１，Ｇ２－２において、撮影時期が新しいほど特定された領域が大きくなっている。
　記述特定部２３は、複数の第２の医用画像Ｇ２－ｉのそれぞれに関連する複数の文章における、特定された第２の領域Ａ２－ｉに関する第２の記述を特定する。本実施形態においては、複数の第２の医用画像Ｇ２－ｉのそれぞれに対して読影レポートＲ２－ｉが作成されており、取得部２１により取得されてストレージ１３に保存されている。記述特定部２３は、複数の第２の医用画像Ｇ２－ｉのそれぞれについて、対応する読影レポートＲ２－ｉに含まれる複数の記述のうち、第２の領域Ａ２－ｉに関する第２の記述を特定する。このために、記述特定部２３は、医用画像に含まれる異常陰影についての性状を、予め定められた複数の性状項目のそれぞれについて判別するように学習がなされた学習モデル２３Ａを有する。
　ここで、異常陰影について特定される性状項目の例として、異常陰影の場所、異常陰影のサイズ、境界の形状（明瞭および不整形）、吸収値の種類（充実型およびスリガラス型）、スピキュラの有無、腫瘤か結節か、胸膜接触の有無、胸膜陥入の有無、胸膜浸潤の有無、空洞の有無、および石灰化の有無等が挙げられる。
　本実施形態においては、学習モデル２３Ａは、医用画像における異常陰影の性状を判別するように、教師データを用いてディープラーニング（深層学習）がなされた畳み込みニューラルネットワークからなる。
　学習モデル２３Ａは、例えば、異常陰影を含む医用画像と、異常陰影の性状を表す性状ラベルとの複数の組み合わせを教師データとして用いた機械学習によって学習される。学習モデル２３Ａは、医用画像が入力されると、医用画像に含まれる異常陰影における、性状項目毎に導出される性状スコアを出力する。性状スコアは、各性状項目についての性状の顕著性を示すスコアである。性状スコアは例えば０以上１以下の値をとり、性状スコアの値が大きい程、その性状が顕著であることを示す。
　例えば異常陰影の性状項目の１つである「スピキュラの有無」についての性状スコアが例えば０．５以上である場合、異常陰影の「スピキュラの有無」についての性状が「スピキュラ有り（陽性）」であることを特定し、「スピキュラの有無」についての性状スコアが例えば０．５未満である場合、異常陰影のスピキュラの有無についての性状が「スピキュラ無し（陰性）」であることを特定する。なお、性状判定に用いるしきい値０．５は、例示に過ぎず、性状項目毎に適切な値に設定される。
　図５は記述特定部２３が特定した性状情報の例を説明するための図である。図５に示すように記述特定部２３が特定した性状情報３０においては、各性状項目についての性状は、「左肺胸膜下」、「４．２ｃｍ」、「不整形」、「充実型」、「スピキュラ有」、「腫瘤」、「胸膜接触有」、「胸膜陥入有」、「胸膜浸潤無」、「空洞無」および「石灰化無」となっている。図５においては、「有り」すなわち陽性の場合は＋、「無し」すなわち陰性の場合は－を付与している。
　さらに、記述特定部２３は、第２の領域Ａ２－ｉについて抽出した性状情報３０に基づいて、読影レポートＲ２－ｉに含まれる、第２の領域Ａ２－ｉに関する第２の記述Ｄ２－ｉを特定する。
　図６は、第２の記述の特定を説明するための図である。なお、図６においては、１つの第２の医用画像Ｇ２－１についての第２の記述の抽出について説明する。図６に示すように、第２の医用画像Ｇ２－１についての読影レポートＲ２－１は、複数の場所に存在する複数の異常陰影についての複数の記述を含む。一方、第２の医用画像Ｇ２－１に含まれる第２の領域Ａ２－１についての性状情報３１は「腫瘤、空洞有」である。このため、記述特定部２３は、読影レポートＲ２－ｉに含まれる複数の記述のうち、性状情報３１に関連する「右肺Ｓ６の腫瘤影は６．５×４ｃｍ程度で、増大しています。腫瘤の中心部の空洞も前回より拡大しています。」の記述を、第２の記述Ｄ２－１に特定する。
　なお、本実施形態においては、複数の第２の医用画像Ｇ２－ｉおよび複数の第２の医用画像Ｇ２－ｉのそれぞれについての複数の第２の読影レポートＲ２－ｉが取得されている。このため、記述特定部２３は、複数の第２の読影レポートＲ２－ｉのそれぞれから、第２の領域Ａ２－ｉのそれぞれに関する第２の記述Ｄ２－ｉを特定する。なお、１つの読影レポートＲ２－ｉにおいて、１つの第２の記述のみならず、複数の第２の記述Ｄ２－ｉが特定される場合もあるものとする。
　なお、学習モデル２３Ａとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシンおよびリカレントニューラルネットワーク等の任意の学習モデルを用いることができる。
　また、記述特定部２３は、学習モデル２３Ａにより記述を特定するものに限定されるものではない。腫瘤のサイズ、および診断ガイドラインに含まれる項目をキーワードとして、第２の読影レポートＲ２－ｉを検索することにより、第２の記述Ｄ２－ｉを特定するものであってもよい。
　表示制御部２４は、複数の第２の医用画像Ｇ２－ｉのそれぞれについて特定した複数の第２の記述Ｄ２－ｉを、ディスプレイ１４に切り替え可能に表示する。図７は第１の実施形態における表示画面を示す図である。図７に示すように、表示画面５０は、画像表示領域５１および文章表示領域５２を含む。画像表示領域５１には、第１の医用画像Ｇ１が表示され、第１の医用画像Ｇ１の下方に複数の第２の医用画像Ｇ２－ｉが切り替え可能に表示される。図７においては、図４に示す第２の医用画像Ｇ２－１が表示されている。また、第１の医用画像Ｇ１および第２の医用画像Ｇ２－ｉの上方には、各医用画像の撮影日時が表示される。第１の医用画像Ｇ１および第２の医用画像Ｇ２－ｉの下方には、第１の医用画像Ｇ１について表示される断層画像を切り替えるための第１の切り替えボタン５３Ａ，５３Ｂが表示されている。
　第２の医用画像Ｇ２－ｉの切り替え表示は、後述する第２の切り替えボタン５６Ａ，５６Ｂを選択することにより行うことができる。
　文章表示領域５２には、第１の医用画像Ｇ１についての読影レポートを記述するための第１の記述領域５４、および画像表示領域５１に表示中の第２の医用画像Ｇ２－ｉについての第２の記述Ｄ２－ｉを表示するための第２の記述領域５５を有する。第２の記述領域５５には、第２の医用画像Ｇ２－ｉについての第２の記述Ｄ２－ｉが切り替え可能に表示される。なお、図７においては、第２の記述領域５５には、第２の医用画像Ｇ２－１についての第２の記述Ｄ２－１が表示されている。
　第２の記述Ｄ２－ｉの切り替え表示は、文章表示領域５２の下方に表示された切り替えボタン５６Ａ，５６Ｂを選択することにより行うことができる。また、これに連動して、画像表示領域５１に表示される第２の医用画像Ｇ２－ｉも切り替えられる。すなわち、左向きの切り替えボタン５６Ａを選択することにより、画像表示領域５１に表示される第２の医用画像Ｇ２－ｉの撮影日時が新しくなり、かつ第２の記述領域５５に表示される第２の記述Ｄ２－ｉが表示された第２の医用画像Ｇ２－ｉに対応したものとなる。また、右向きの切り替えボタン５６Ｂを選択することにより、画像表示領域５１に表示される第２の医用画像Ｇ２－ｉの撮影日時が古くなり、かつ第２の記述領域５５に表示される第２の記述Ｄ２－ｉが表示された第２の医用画像Ｇ２－ｉに対応したものとなる。
　図８は、第２の記述が切り替えられた表示画面を示す図である。図８に示すように、第２の記述領域５５には第２の記述Ｄ２－１に代えて、第２の記述Ｄ２－２が表示され、画像表示領域５１の下側の領域には、第２の医用画像Ｇ２－１に代えて第２の医用画像Ｇ２－２が表示されている。
　なお、初期状態においては、撮影日時が最も新しい第２の医用画像Ｇ２－１および第２の医用画像Ｇ２－１についての第２の記述Ｄ２－１が表示されるものとする。
　読影医は、画像表示領域５１に表示された第２の医用画像Ｇ２－ｉおよび文章表示領域５２に表示された第２の記述Ｄ２－ｉを参考に、第１の記述領域５４に、第１の医用画像Ｇ１についての所見を記述する。そして、所見を記述した後、確定ボタン５７を選択する。
　ここで、図７および図８においては、第１の記述領域５４には初期状態において何も記述されていない。しかしながら、図９に示すように、初期状態で表示された第２の医用画像Ｇ２－１についての第２の記述Ｄ２－１を第１の記述領域５４に転記しておいてもよい。この場合、表示される第２の記述Ｄ２－ｉが切り替え表示されると、第１の記述領域５４に転記される記述も切り替えるようにしてもよい。これにより、第１の医用画像Ｇ１についての所見文を生成する際に、第２の記述Ｄ２－１を転用することが容易となるため、第１の医用画像Ｇ１についての所見文の作成を容易に行うことができる。
　保存制御部２５は、操作者による確定ボタン５７の選択により、第１の記述領域５４に記述された所見文を含む読影レポート、および読影レポートを生成する際に参照した第１の医用画像Ｇ１を併せて、ストレージ１３に保存する。
　通信部２６は、第１の記述領域５４に記述された所見文を含む読影レポート、および読影レポートを生成する際に参照した第１の医用画像Ｇ１を併せて、ネットワークＩ／Ｆ１７を介してレポートサーバ７に転送する。レポートサーバ７は、第１の記述領域５４に記述された所見文を含む読影レポート、および読影レポートを生成する際に参照した第１の医用画像Ｇ１を併せて保存する。
　次いで、第１の実施形態において行われる処理について説明する。図１０は第１の実施形態において行われる処理を示すフローチャートである。なお、読影の対象となる第１の医用画像Ｇ１、複数の第２の医用画像Ｇ２－ｉおよび複数の読影レポートＲ２－ｉは、取得部２１により画像サーバ５およびレポートサーバ７から取得されて、ストレージ１３に保存されているものとする。読影レポートの作成の指示が読影医により行われることにより処理が開始され、領域特定部２２は、第１の医用画像Ｇ１および複数の第２の医用画像Ｇ２－ｉを解析することにより、異常陰影である第１の領域Ａ１および第２の領域Ａ２－ｉを特定する（領域特定；ステップＳＴ１）。
　次いで、記述特定部２３は、複数の第２の医用画像Ｇ２－ｉのそれぞれに関連する第２の読影レポートＲ２－ｉにおける、特定された第２の領域Ａ２－ｉに関する第２の記述Ｄ２－ｉを特定する（ステップＳＴ２）。
　そして、表示制御部２４は、複数の第２の医用画像Ｇ２－１のそれぞれについて特定した複数の第２の記述Ｄ２－ｉを、ディスプレイ１４に切り替え可能に表示する（ステップＳＴ３）。この状態において、読影医は、第１の記述領域５４に第１の医用画像Ｇ１についての所見文を記述することができる。
　一方、表示制御部２４は、第２の切り替えボタン５６Ａ，５６Ｂが選択されたか否かを判定する（ステップＳＴ４）。ステップＳＴ４が肯定されると、表示制御部２４は、画像表示領域５１に表示する第２の医用画像Ｇ２－ｉおよび文章表示領域５２に表示する第２の記述Ｄ２－ｉを切り替え（表示切り替え；ステップＳＴ５）、ステップＳＴ４に戻る。ステップＳＴ４が否定されると、表示制御部２４は、第１の切り替えボタン５３Ａ，５３Ｂが選択されたか否かを判定する（ステップＳＴ６）。ステップＳＴ６が肯定されると、表示制御部２４は、第１の医用画像Ｇ１について、画像表示領域５１に表示する断層画像を切り替え（ステップＳＴ７）、ステップＳＴ１に戻る。ステップＳＴ６が否定されると、確定ボタン５７が選択されたか否かを判定する（ステップＳＴ８）。ステップＳＴ８が否定されるとステップＳＴ４に戻る。
　ステップＳＴ８が肯定されると、保存制御部２５は、第１の医用画像Ｇ１についての第１の読影レポートＲ１および第１の医用画像Ｇ１を併せて、ストレージ１３に保存する（読影レポート等保存；ステップＳＴ９）。そして、通信部２６が、第１の読影レポートＲ１および第１の医用画像Ｇ１を併せて、ネットワークＩ／Ｆ１７を介してレポートサーバ７に転送し（読影レポート等転送；ステップＳＴ１０）、処理を終了する。
　ここで、ある患者の最新の医用画像を読影して読影レポートを作成するに際し、同一の患者についての過去の複数の医用画像（第２の医用画像Ｇ２－ｉ）のそれぞれについての複数の読影レポート（第２の読影レポートＲ２－ｉ）が存在する場合がある。このような場合、過去画像（すなわち第２の医用画像Ｇ２－ｉ）についての読影レポートに含まれる、異常陰影についての記述を参照できれば、現在の医用画像（すなわち第１の医用画像Ｇ１）に含まれる異常陰影についての所見を含む読影レポートを効率よく作成することができる。
　第１の実施形態においては、第１の医用画像Ｇ１についての読影レポートＲ１を作成する際に、複数の医用画像Ｇ２－ｉについての第２の読影レポートＲ２－ｉに含まれる第２の記述Ｄ２－ｉを切り替え可能に表示するようにした。このため、同一患者について、撮影時期が異なる画像が複数ある場合に、その過去画像についての読影レポートＲ２－ｉに含まれる第２の記述Ｄ２－ｉを効率よく参照できる。したがって、第１の医用画像Ｇ１についての読影レポートＲ１の作成を効率よく行うことができる。
　次いで、本開示の第２の実施形態について説明する。図１１は第２の実施形態による文書作成支援装置の機能的な構成を示す図である。なお、図１１において図３と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。図１１に示すように、第２の実施形態による文書作成支援装置２０Ａは、文章生成部２７をさらに備えた点が第１の実施形態と異なる。
　文章生成部２７は、領域特定部２２が第１の医用画像Ｇ１において特定した第１の領域Ａ１を解析して、第１の領域Ａ１に関する第１の記述Ｄ１を生成する。このために、文章生成部２７は、第１の領域Ａ１の性状を、予め定められた複数の性状項目のそれぞれについて判別するための学習モデル２７Ａを有する。学習モデル２７Ａは、記述特定部２３が有する学習モデル２３Ａと同様に学習がなされた畳み込みニューラルネットワークからなる。学習モデル２７Ａは、第１の領域Ａ１が入力されると、第１の領域Ａ１についての性状を表す性状情報を出力する。
　また、文章生成部２７は、導出した性状情報を用いて所見文を生成する。このため、文章生成部２７は、入力された性状情報から文章を生成するように学習が行われた学習モデル２７Ｂを有する。学習モデル２７Ｂとしては、例えばリカレントニューラルネットワークを用いることができる。図１２はリカレントニューラルネットワークの模式的な構成を示す図である。図１２に示すように、リカレントニューラルネットワーク４０は、エンコーダ４１およびデコーダ４２からなる。エンコーダ４１には、学習モデル２７Ａが出力した性状情報が入力される。例えば、エンコーダ４１には、「左肺胸膜下」、「４．２ｃｍ」、「スピキュラ＋」および「腫瘤」の性状情報が入力される。デコーダ４２は、文字情報を文章化するように学習がなされており、入力された性状情報から文章を生成する。具体的には、上述した「左肺胸膜下」、「４．２ｃｍ」、「スピキュラ＋」および「腫瘤」の性状情報から、「左肺胸膜下にスピキュラを有する４．２ｃｍ径の腫瘤が認められます。」の医療文章を生成する。なお、図１２において「ＥＯＳ」は文章の終わりを示す（End Of Sentence）。
　このように、性状情報の入力によって所見文を出力するために、リカレントニューラルネットワーク４０は、性状情報と所見文との組み合わせからなる多数の教師データを用いてエンコーダ４１およびデコーダ４２を学習することにより構築されてなる。なお、図１２に示す生成された文章は肺結節についての所見を表すものであり、肺結節の性状情報を入力として学習モデルを学習することにより生成される。
　第２の実施形態においては、表示制御部２４は、文章生成部２７が生成した文章、すなわち所見文を第１の記述領域５４に表示する。図１３は第２の実施形態における表示画面を示す図である。なお、図１３において図７と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。図１３に示すように、第２の実施形態における表示画面５０Ａは、初期状態において第１の記述領域５４に第１の医用画像Ｇ１に含まれる第１の領域Ａ１に関する所見文が、第１の記述Ｄ１として表示されている。
　次いで、第２の実施形態において行われる処理について説明する。図１４は第２の実施形態において行われる処理を示すフローチャートである。なお、読影の対象となる第１の医用画像Ｇ１、複数の第２の医用画像Ｇ２－ｉおよび複数の読影レポートＲ２－ｉは、取得部２１により画像サーバ５およびレポートサーバ７から取得されて、ストレージ１３に保存されているものとする。読影レポートの作成の指示が読影医により行われることにより処理が開始され、領域特定部２２は、第１の医用画像Ｇ１および複数の第２の医用画像Ｇ２－ｉを解析することにより、異常陰影である第１の領域Ａ１および第２の領域Ａ２－ｉを特定する（領域特定；ステップＳＴ２１）。
　次いで、記述特定部２３は、複数の第２の医用画像Ｇ２－ｉのそれぞれに関連する第２の読影レポートＲ２－ｉにおける、特定された第２の領域Ａ２－ｉに関する第２の記述Ｄ２－ｉを特定する（ステップＳＴ２２）。さらに、文章生成部２７が、第１の医用画像Ｇ１に含まれる第１の領域Ａ１に関する第１の記述Ｄ１を生成する（ステップＳＴ２３）。そして、表示制御部２４が、第１の記述Ｄ１を第１の記述領域５４に表示し（ステップＳＴ２４）、図１０におけるステップＳＴ３の処理に進む。なお、ステップＳＴ２３の処理はステップＳＴ２１の処理の前に行ってもよく、ステップＳＴ２１，ＳＴ２２の処理と並列に行ってもよい。また、ステップＳＴ２４の処理は、図１０のステップＳＴ３の処理の後に行ってもよく、ステップＳＴ３の処理と並列に行ってもよい。
　このように、第２の実施形態においては、第１の医用画像Ｇ１に含まれる第１の領域Ａ１に関する第１の記述Ｄ１を生成し、第１の記述Ｄ１を第１の記述領域５４に表示するようにした。このため、第１の医用画像Ｇ１に含まれる第１の領域Ａ１についての所見文を生成する読影医の負担を軽減することができる。
　なお、上記第２の実施形態においては、第１の記述領域５４に文章生成部２７が生成した第１の記述Ｄ１を表示しているが、第１の記述Ｄ１に加えて、第２の記述領域５５に表示されている第２の記述Ｄ２－ｉを第１の記述領域５４に転記してもよい。この場合、第１の記述領域５４においては、第１の記述Ｄ１および第２の記述Ｄ２－ｉが例えば上下に並べられて表示される。
　次いで、本開示の第３の実施形態について説明する。図１５は第３の実施形態による文書作成支援装置の機能的な構成を示す図である。なお、図１５において図１１と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。図１５に示すように、第３の実施形態による文書作成支援装置２０Ｂは、性状相違導出部２８をさらに備えた点が第２の実施形態と異なる。
　性状相違導出部２８は、文章生成部２７が生成した第１の記述Ｄ１に含まれる第１の領域Ａ１についての性状と、複数の第２の医用画像Ｇ２－ｉのそれぞれについて特定した第２の記述Ｄ２－ｉに含まれる第２の領域Ａ２－ｉについての性状との相違を導出する。このために、性状相違導出部２８は、２つの文章が入力されると、２つの文章に含まれる性状の相違を出力するように学習がなされた学習モデル２８Ａを有する。学習モデル２８Ｂとしては、例えばリカレントニューラルネットワークを用いることができる。学習モデル２８Ａを構成するリカレントニューラルネットワークは、２つの文章および２つの文章の相違を表す語句の組み合わせからなる多数の教師データを用いてリカレントニューラルネットワークを構成するエンコーダおよびデコーダを学習することにより構築されてなる。
　これにより、性状相違導出部２８の学習モデル２８Ａに、第１の記述Ｄ１として「右肺Ｓ６にサイズが７×５ｃｍの空洞を伴う腫瘤が見られます。一部胸膜陥入が認められます。」が、第２の記述Ｄ２－ｉとして「右肺Ｓ６の腫瘤影は６．５×４ｃｍ程度で、増大しています。腫瘤の中心部の空洞も前回より拡大しています。」が入力されると、２つの記述に含まれる性状の相違である「７×５ｃｍ」および「胸膜陥入」を出力する。
　なお、性状相違導出部２８は、第１の記述Ｄ１に含まれる性状とすべての第２の記述Ｄ２－ｉに含まれる性状との相違を導出する。この際、第１の記述Ｄ１に含まれる性状とすべての第２の記述Ｄ２－ｉに含まれる性状との相違を一度に導出してもよく、第２の記述Ｄ２－ｉが切り替え表示される毎に、表示された第２の記述Ｄ２－ｉに含まれる性状と第１の記述に含まれる性状との相違を導出するものであってもよい。例えば、切り替えた第２の記述Ｄ２－ｉが、「右肺Ｓ６の腫瘤影は３×２ｃｍです。」の場合、性状相違導出部２８は、切り替えた第２の記述に含まれる性状と第１の記述Ｄ１に含まれる性状との相違である「７×５ｃｍ」および「胸膜陥入」を出力する。
　第３の実施形態において、表示制御部２４は、性状相違導出部２８により相違が導出された場合に、第１の記述Ｄ１に含まれる性状と第２の記述Ｄ２－ｉに含まれる性状との相違を視認可能にディスプレイ１４に表示する。図１６は第３の実施形態における表示画面を示す図である。なお、図１６において図１３と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。図１６に示すように、第３の実施形態における表示画面５０Ｂは、初期状態において第１の記述領域５４に第１の医用画像Ｇ１に含まれる第１の領域Ａ１に関する第１の記述Ｄ１が表示されている。さらに、第１の記述Ｄ１において、表示されている第２の記述Ｄ２－ｉとの性状の相違箇所である「７×５ｃｍ」および「胸膜陥入」が強調表示されている。なお、図１６においては相違する性状を四角で囲むことにより強調表示を表しているが、これに限定されるものではない。相違する語句に下線を付与したり、相違する性状の背景の色を変更したり、相違する語句の文字色を変更したりしてもよい。
　次いで、第３の実施形態において行われる処理について説明する。図１７は第３の実施形態において行われる処理を示すフローチャートである。なお、読影の対象となる第１の医用画像Ｇ１、複数の第２の医用画像Ｇ２－ｉおよび複数の読影レポートＲ２－ｉは、取得部２１により画像サーバ５およびレポートサーバ７から取得されて、ストレージ１３に保存されているものとする。読影レポートの作成の指示が読影医により行われることにより処理が開始され、領域特定部２２は、第１の医用画像Ｇ１および複数の第２の医用画像Ｇ２－ｉを解析することにより、異常陰影である第１の領域Ａ１および第２の領域Ａ２－ｉを特定する（領域特定；ステップＳＴ３１）。
　次いで、記述特定部２３は、複数の第２の医用画像Ｇ２－ｉのそれぞれに関連する第２の読影レポートＲ２－ｉにおける、特定された第２の領域Ａ２－ｉに関する第２の記述Ｄ２－ｉを特定する（ステップＳＴ３２）。さらに、文章生成部２７が、第１の医用画像Ｇ１に含まれる第１の領域Ａ１に関する第１の記述Ｄ１を生成する（ステップＳＴ３３）。そして、性状相違導出部２８が、第１の記述Ｄ１に含まれる性状と第２の記述Ｄ２－ｉに含まれる性状との相違を導出する（ステップＳＴ３４）。
　次いで、表示制御部２４が、第１の記述Ｄ１を第１の記述領域５４に表示し（ステップＳＴ３５）、さらに第１の記述Ｄ１において第２の記述Ｄ２－ｉとの性状の相違箇所を強調表示し（ステップＳＴ３６）、図１０におけるステップＳＴ３の処理に進む。なお、ステップＳＴ３３の処理はステップＳＴ３１の処理の前に行ってもよく、ステップＳＴ３１，ＳＴ３２の処理と並列に行ってもよい。また、ステップＳＴ３５，ＳＴ３６の処理は、図１０のステップＳＴ３の処理の後に行ってもよく、ステップＳＴ３の処理と並列に行ってもよい。
　このように、第３の実施形態においては、第１の医用画像Ｇ１に含まれる第１の領域Ａ１に関する第１の記述Ｄ１を生成し、第１の記述Ｄ１を第１の記述領域５４に表示するようにした。さらにこの際に、第１の記述Ｄ１と第２の記述Ｄ２－ｉとの性状の相違を導出し，相違箇所を強調表示することにより、性状の相違を視認可能に表示するようにした。このため、第１の医用画像Ｇ１に含まれる第１の領域Ａ１についての所見文を生成する読影医の負担を軽減し、かつ生成された第１の記述Ｄ１と第２の記述Ｄ２－ｉとの性状に関する記述内容の相違を確認することが可能となる。
　なお、上記第３の実施形態においては、第１の記述Ｄ１において第２の記述Ｄ２－ｉとの性状の相違箇所を強調表示しているが、これに限定されるものではない。第２の記述Ｄ２－ｉにおいて第１の記述の性状との相違箇所を強調表示してもよく、第１の記述Ｄ１および第２の記述Ｄ２－ｉの双方において性状の相違箇所を強調表示するようにしてもよい。
　次いで、本開示の第４の実施形態について説明する。図１８は第４の実施形態による文書作成支援装置の機能的な構成を示す図である。なお、図１８において図３と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。図１８に示すように、第４の実施形態による文書作成支援装置２０Ｃは、領域相違導出部２９をさらに備えた点が第１の実施形態と異なる。
　領域相違導出部２９は、第１の医用画像Ｇ１から検出された第１の領域Ａ１と、複数の第２の医用画像Ｇ２－ｉのそれぞれから検出された第２の領域Ａ２－ｉとの相違を導出する。このために、領域相違導出部２９は、２つの画像が入力されると２つの画像の相違を出力するように学習がなされた学習モデル２９Ａを有する。学習モデル２９Ａとしては、例えば畳み込みニューラルネットワークを用いることができる。学習モデル２９Ａを構成する畳み込みニューラルネットワークは、２つの画像および２つの画像の相違を表す情報（例えば差分の領域、差分値等）の組み合わせからなる多数の教師データを用いて畳み込みニューラルネットワークを学習することにより構築されてなる。
　これにより、領域相違導出部２９の学習モデル２９Ａに、第１の領域Ａ１および第２の領域Ａ２－ｉが入力されると、２つの領域の相違を出力する。図１９は２つの領域の相違の導出を説明するための図である。なお、図１９においては、第１の医用画像Ｇ１および第２の医用画像Ｇ２－ｉにおける異常陰影すなわち第１の領域Ａ１をおよび第２の領域Ａ２－ｉを含む部分領域のみを示している。図１９に示すように、第１の医用画像Ｇ１における第１の領域Ａ１が、第２の医用画像Ｇ２－ｉにおける第２の領域Ａ２－ｉよりも小さくなっている場合、領域相違導出部２９は、図１９に示すように領域の相違６０を導出する。
　なお、領域相違導出部２９は、第１の領域Ａ１とすべての第２の領域Ａ２－ｉとの相違を導出する。この際、第１の領域Ａ１とすべての第２の領域Ａ２－ｉとの相違を一度に導出してもよく、第２の医用画像Ｇ２－ｉが切り替え表示される毎に、表示された第２の医用画像Ｇ２－ｉから検出した第２の領域Ａ２－ｉと第１の領域Ａ１との相違を導出するものであってもよい。
　第４の実施形態においては、表示制御部２４は、領域相違導出部２９により第１の領域Ａ１と第２の領域Ａ２－ｉとの相違が導出された場合に第２の記述Ｄ２－ｉを表示する。なお、本実施形態においては、複数の第２の医用画像Ｇ２－ｉを取得しており、第２の医用画像Ｇ２－ｉのそれぞれから検出した第２の領域Ａ２－ｉに関して、第１の領域Ａ１と相違があるものとないものとが存在する。このため、表示制御部２４は、第１の領域Ａ１との相違がある第２の領域Ａ２－ｉを含む第２の医用画像Ｇ２－ｉが表示された場合にのみ、第２の記述領域５５に第２の記述Ｄ２－ｉを表示する。一方、第１の領域Ａ１との相違がない第２の領域Ａ２－ｉを含む第２の医用画像Ｇ２－ｉが表示された場合、表示制御部２４は、第２の記述領域５５に、相違がない旨の表示を行う。例えば、表示制御部２４は、図２０の表示画面５０Ｃに示すように、画像表示領域５１に、第１の医用画像Ｇ１に含まれる第１の領域Ａ１と相違がない第２の領域を含む第２の医用画像Ｇ２－３を表示し、第２の記述領域５５に、「２つの医用画像の異常陰影に変化はありません」のテキストを表示する。
　次いで、第４の実施形態において行われる処理について説明する。図２１は第４の実施形態において行われる処理を示すフローチャートである。なお、読影の対象となる第１の医用画像Ｇ１、複数の第２の医用画像Ｇ２－ｉおよび複数の読影レポートＲ２－ｉは、取得部２１により画像サーバ５およびレポートサーバ７から取得されて、ストレージ１３に保存されているものとする。読影レポートの作成の指示が読影医により行われることにより処理が開始され、領域特定部２２は、第１の医用画像Ｇ１および複数の第２の医用画像Ｇ２－ｉを解析することにより、異常陰影である第１の領域Ａ１および第２の領域Ａ２－ｉを特定する（領域特定；ステップＳＴ４１）。
　次いで、記述特定部２３は、複数の第２の医用画像Ｇ２－ｉのそれぞれに関連する第２の読影レポートＲ２－ｉにおける、特定された第２の領域Ａ２－ｉに関する第２の記述Ｄ２－ｉを特定する（ステップＳＴ４２）。さらに、領域相違導出部２９が、第１の領域Ａ１と第２の領域Ａ２－ｉとの相違を導出する（ステップＳＴ４３）。なお、ステップＳＴ４３の処理は、ステップＳＴ４２の処理の前に行うようにしてもよく、ステップＳＴ４２の処理と並列に行うようにしてもよい。
　そして、表示制御部２４が、初期状態において表示する第２の医用画像Ｇ２－ｉについて、第１の領域Ａ１と第２の領域Ａ２－ｉとの相違があるか否かを判定する（ステップＳＴ４４）。ステップＳＴ４４が肯定されると、表示制御部２４は、初期状態で表示する第２の医用画像Ｇ２－１について特定した第２の記述Ｄ２－ｉを、ディスプレイ１４に切り替え可能に表示する（ステップＳＴ４５）。ステップＳＴ４４が否定されると、表示制御部２４は、第２の記述領域５５に相違がない旨の表示を行う（ステップＳＴ４６）。
　ステップＳＴ４５，ＳＴ４６に続いて、表示制御部２４は、第２の切り替えボタン５６Ａ，５６Ｂが選択されたか否かを判定する（ステップＳＴ４７）。ステップＳＴ４７が肯定されると、表示制御部２４は、画像表示領域５１に表示する第２の医用画像Ｇ２－ｉを切り替え（表示切り替え；ステップＳＴ４８）、ステップＳＴ４４に戻る。ステップＳＴ４７が否定されると、表示制御部２４は、第１の切り替えボタン５３Ａ，５３Ｂが選択されたか否かを判定する（ステップＳＴ４９）。ステップＳＴ４９が肯定されると、表示制御部２４は、第１の医用画像Ｇ１について、画像表示領域５１に表示する断層画像を切り替え（ステップＳＴ５０）、ステップＳＴ４１に戻る。ステップＳＴ４９が否定されると、表示制御部２４は、確定ボタン５７が選択されたか否かを判定する（ステップＳＴ５１）。ステップＳＴ５１が否定されるとステップＳＴ４７に戻る。ステップＳＴ５１が肯定されると、図１０に示すステップＳＴ９の処理に進む。
　このように，第４の実施形態においては、第１の領域Ａ１と第２の領域Ａ２－ｉとの相違を導出し、相違がある場合に第２の記述Ｄ２－ｉを表示するようにした。このため、第１の医用画像Ｇ１と第２の医用画像Ｇ２－ｉとの間において異常陰影に変化がある場合に、その異常陰影についての第２の記述Ｄ２－ｉを参照することができる。したがって、第１の医用画像Ｇ１に関して、異常陰影の変化についての所見文の作成を効率よく行うことができる。
　なお、第４の実施形態において、表示制御部２４は、第１の領域Ａ１との相違がない第２の領域Ａ２－ｉを含む第２の医用画像Ｇ２－ｉが表示された場合、表示制御部２４は、第２の記述領域５５に、相違がない旨の表示を行っているが、これに限定されるものではない。第１の領域Ａ１との相違がない第２の領域Ａ２－ｉを含む第２の医用画像Ｇ２－ｉが表示された場合に、第２の記述領域５５にその第２の医用画像Ｇ２－ｉについての第２の記述Ｄ２－ｉを表示し、第１の記述領域５４に相違がない旨の表示を行うようにしてもよい。
　また、上記第４の実施形態においては、第１の実施形態において領域相違導出部２９を設けるようにしているが、これに限定されるものではない。第２の実施形態または第３の実施形態において領域相違導出部２９を設けるようにしてもよい。
　また、上記各実施形態においては、診断対象を肺とした医用画像を用いて読影レポートを作成する場合に本開示の技術を適用しているが、診断対象は肺に限定されるものではない。肺の他に、心臓、肝臓、脳、および四肢等の人体の任意の部位を診断対象とすることができる。この場合、診断対象の部位に応じた診断ガイドラインを取得して、読影レポートにおける診断ガイドラインの項目と対応する対応部分を特定するようにすればよい。
　また、上記各実施形態において、例えば、取得部２１、領域特定部２２、記述特定部２３、表示制御部２４、保存制御部２５、通信部２６、文章生成部２７、性状相違導出部２８および領域相違導出部２９といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　　　１　　医療情報システム
　　　２　　撮影装置
　　　３　　読影ＷＳ
　　　４　　診療科ＷＳ
　　　５　　画像サーバ
　　　６　　画像ＤＢ
　　　７　　レポートサーバ
　　　８　　レポートＤＢ
　　　１０　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２　　文書作成支援プログラム
　　　１３　　ストレージ
　　　１４　　ディスプレイ
　　　１５　　入力デバイス
　　　１６　　メモリ
　　　１７　　ネットワークＩ／Ｆ
　　　１８　　バス
　　　２０，２０Ａ，２０Ｂ，２０Ｃ　　文書作成支援装置
　　　２１　　取得部
　　　２２　　領域特定部
　　　２３　　記述特定部
　　　２４　　表示制御部
　　　２５　　保存制御部
　　　２６　　通信部
　　　２７　　文章生成部
　　　２８　　性状相違導出部
　　　２９　　領域相違導出部
　　　３０　　性状情報
　　　４０　　リカレントニューラルネットワーク
　　　４１　　エンコーダ
　　　４２　　デコーダ
　　　５０　　表示画面
　　　５１　　画像表示領域
　　　５２　　文章表示領域
　　　５３Ａ，５３Ｂ，５６Ａ，５６Ｂ　　切り替えボタン
　　　５４　　第１の記述領域
　　　５５　　第２の記述領域
　　　Ａ１　　第１の領域
　　　Ａ２－ｉ　　第２の領域
　　　Ｄ１　　第１の記述
　　　Ｄ２－ｉ　　第２の記述
　　　Ｇ１　　第１の医用画像
　　　Ｇ２　　第２の医用画像

Claims (10)

  1. 　少なくとも１つのプロセッサを備え、
    　前記プロセッサは、
    　被写体の第１の画像において特定された第１の領域に関して、第１の画像と撮影時期が異なる前記被写体の複数の第２の画像のそれぞれにおいて、前記第１の領域に対応する第２の領域を特定し、
    　前記複数の第２の画像のそれぞれに関連する複数の文章に含まれる、前記特定された第２の領域に関する第２の記述を特定し、
    　前記複数の第２の画像のそれぞれについて特定した複数の第２の記述を、切り替え可能に表示するように構成される文書作成支援装置。
  2. 　前記プロセッサは、前記第１の領域に関する文章を記述するための記述領域をさらに表示するように構成される請求項１に記載の文書作成支援装置。
  3. 　前記プロセッサは、前記記述領域に前記複数の第２の記述のうちの少なくとも１つを転記するように構成される請求項２に記載の文書作成支援装置。
  4. 　前記プロセッサは、前記第１の領域を解析して、前記第１の領域に関する第１の記述を生成し、
    　前記第１の記述を前記記述領域に表示するように構成される請求項２または３に記載の文書作成支援装置。
  5. 　前記プロセッサは、前記第１の記述に含まれる第１の領域に関する性状と、前記複数の第２の画像のそれぞれについて特定した前記第２の記述に含まれる第２の領域に関する性状との相違を導出し
    　前記第１の記述に含まれる性状と前記第２の記述に含まれる性状との相違を視認可能に表示するように構成される請求項４に記載の文書作成支援装置。
  6. 　前記プロセッサは、前記第１の領域と前記第２の領域との相違を導出するように構成される請求項１から５のいずれか１項に記載の文書作成支援装置。
  7. 　前記プロセッサは、前記相違が導出された場合に、前記第２の記述を表示するように構成される請求項６に記載の文書作成支援装置。
  8. 　前記プロセッサは、前記相違が導出されなかった場合に、前記相違が導出されなかったことを通知するように構成される請求項６または７に記載の文書作成支援装置。
  9. 　被写体の第１の画像において特定された第１の領域に関して、第１の画像と撮影時期が異なる前記被写体の複数の第２の画像のそれぞれにおいて、前記第１の領域に対応する第２の領域を特定し、
    　前記複数の第２の画像のそれぞれに関連する複数の文章に含まれる、前記特定された第２の領域に関する第２の記述を特定し、
    　前記複数の第２の画像のそれぞれについて特定した複数の第２の記述を、切り替え可能に表示する文書作成支援方法。
  10. 　被写体の第１の画像において特定された第１の領域に関して、第１の画像と撮影時期が異なる前記被写体の複数の第２の画像のそれぞれにおいて、前記第１の領域に対応する第２の領域を特定する手順と、
    　前記複数の第２の画像のそれぞれに関連する複数の文章に含まれる、前記特定された第２の領域に関する第２の記述を特定する手順と、
    　前記複数の第２の画像のそれぞれについて特定した複数の第２の記述を、切り替え可能に表示する手順とをコンピュータに実行させる文書作成支援プログラム。
PCT/JP2021/010610 2020-03-17 2021-03-16 文書作成支援装置、方法およびプログラム WO2021187483A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022508379A JP7431317B2 (ja) 2020-03-17 2021-03-16 文書作成支援装置、方法およびプログラム
US17/942,166 US20230005580A1 (en) 2020-03-17 2022-09-11 Document creation support apparatus, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020046019 2020-03-17
JP2020-046019 2020-03-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/942,166 Continuation US20230005580A1 (en) 2020-03-17 2022-09-11 Document creation support apparatus, method, and program

Publications (1)

Publication Number Publication Date
WO2021187483A1 true WO2021187483A1 (ja) 2021-09-23

Family

ID=77771551

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010610 WO2021187483A1 (ja) 2020-03-17 2021-03-16 文書作成支援装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US20230005580A1 (ja)
JP (1) JP7431317B2 (ja)
WO (1) WO2021187483A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021107098A1 (ja) * 2019-11-29 2021-06-03

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008200373A (ja) * 2007-02-22 2008-09-04 Fujifilm Corp 類似症例検索装置、方法、およびプログラム、ならびに、類似症例データベース登録装置、方法、およびプログラム
JP2009070201A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 読影レポート作成システム及び読影レポート作成装置並びに読影レポート作成方法
WO2011033769A1 (ja) * 2009-09-17 2011-03-24 富士フイルム株式会社 医用画像表示装置および方法並びにプログラム
JP2016057695A (ja) * 2014-09-05 2016-04-21 キヤノン株式会社 読影レポート作成のための支援装置およびその制御方法
JP2017189390A (ja) * 2016-04-13 2017-10-19 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
JP2019153249A (ja) * 2018-03-06 2019-09-12 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
WO2019208130A1 (ja) * 2018-04-24 2019-10-31 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008200373A (ja) * 2007-02-22 2008-09-04 Fujifilm Corp 類似症例検索装置、方法、およびプログラム、ならびに、類似症例データベース登録装置、方法、およびプログラム
JP2009070201A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 読影レポート作成システム及び読影レポート作成装置並びに読影レポート作成方法
WO2011033769A1 (ja) * 2009-09-17 2011-03-24 富士フイルム株式会社 医用画像表示装置および方法並びにプログラム
JP2016057695A (ja) * 2014-09-05 2016-04-21 キヤノン株式会社 読影レポート作成のための支援装置およびその制御方法
JP2017189390A (ja) * 2016-04-13 2017-10-19 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
JP2019153249A (ja) * 2018-03-06 2019-09-12 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
WO2019208130A1 (ja) * 2018-04-24 2019-10-31 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム

Also Published As

Publication number Publication date
JPWO2021187483A1 (ja) 2021-09-23
US20230005580A1 (en) 2023-01-05
JP7431317B2 (ja) 2024-02-14

Similar Documents

Publication Publication Date Title
US20190295248A1 (en) Medical image specifying apparatus, method, and program
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
JP7000206B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP7102509B2 (ja) 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム
JP2024009342A (ja) 文書作成支援装置、方法およびプログラム
WO2021112141A1 (ja) 文書作成支援装置、方法およびプログラム
US11923069B2 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
WO2021187483A1 (ja) 文書作成支援装置、方法およびプログラム
WO2019193983A1 (ja) 医療文書表示制御装置、医療文書表示制御方法、及び医療文書表示制御プログラム
WO2021193548A1 (ja) 文書作成支援装置、方法およびプログラム
WO2021167080A1 (ja) 情報処理装置、方法およびプログラム
JP7212147B2 (ja) 医療文書作成支援装置、方法およびプログラム
WO2021172477A1 (ja) 文書作成支援装置、方法およびプログラム
WO2021177312A1 (ja) 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
US20230197253A1 (en) Medical image processing apparatus, method, and program
JP7299314B2 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム
JP7361930B2 (ja) 医用画像処理装置、方法およびプログラム
WO2023054645A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2021177358A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2021107142A1 (ja) 文書作成支援装置、方法およびプログラム
WO2022153702A1 (ja) 医用画像表示装置、方法およびプログラム
WO2022196106A1 (ja) 文書作成装置、方法およびプログラム
WO2022230641A1 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21771298

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022508379

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21771298

Country of ref document: EP

Kind code of ref document: A1