WO2021167080A1 - 情報処理装置、方法およびプログラム - Google Patents

情報処理装置、方法およびプログラム Download PDF

Info

Publication number
WO2021167080A1
WO2021167080A1 PCT/JP2021/006422 JP2021006422W WO2021167080A1 WO 2021167080 A1 WO2021167080 A1 WO 2021167080A1 JP 2021006422 W JP2021006422 W JP 2021006422W WO 2021167080 A1 WO2021167080 A1 WO 2021167080A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
property
ground
information processing
basis
Prior art date
Application number
PCT/JP2021/006422
Other languages
English (en)
French (fr)
Inventor
晶路 一ノ瀬
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022501083A priority Critical patent/JP7420913B2/ja
Priority to DE112021001190.1T priority patent/DE112021001190T5/de
Publication of WO2021167080A1 publication Critical patent/WO2021167080A1/ja
Priority to US17/887,497 priority patent/US20220392619A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Definitions

  • This disclosure relates to information processing devices, methods and programs for supporting the creation of interpretation reports, etc.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • medical images are analyzed by CAD (Computer-Aided Diagnosis) using a learning model that has been machine-learned by deep learning, etc., and the shape, density, and position of structures of interest such as abnormal shadow candidates included in the medical images. It is also practiced to discriminate properties such as size and size, and obtain these as analysis results.
  • the analysis result acquired by CAD is associated with the test information such as the patient name, gender, age, and the modality from which the medical image was acquired, and is stored in the database.
  • the medical image and the analysis result are transmitted to the terminal of the image interpreting doctor who interprets the medical image.
  • the image interpreting doctor interprets the medical image by referring to the transmitted medical image and the analysis result on his / her terminal, and creates an image interpretation report.
  • Non-Patent Document 1 a method of identifying the structure of interest contained in the image using a learning model and deriving the region that is the basis for identifying the structure in the image has also been proposed (“Selvaraju, Lamprasaath R., et al”. See “Grad-cam: Visual extensions from deep networks via gradient-based localization.” Proceedings of the IEEE International Conference on Computer Vision. 2017, hereinafter referred to as Non-Patent Document 1).
  • a process for identifying each of the dog and the cat is performed using a learning model, and an area which is a basis for identifying the dog and the cat is further defined.
  • This method is called Gradient-weighted Class Activation Mapping (Grad-CAM).
  • Grad-CAM Gradient-weighted Class Activation Mapping
  • the area that was the basis for identifying the dog was the area such as the drooping ears, eyes, and cheeks, and the area that was the basis for identifying the cat was the area such as the striped pattern on the body.
  • This method is called Guided Backpropagation.
  • Non-Patent Document 1 By the method described in Non-Patent Document 1, it is possible to recognize the region that is the basis for identifying the structure in the image. Further, in the method described in Non-Patent Document 1, a method of reducing the influence of noise contained in an image by adding Gaussin-an noise to the image and performing smoothing has also been proposed (“Daniel Smilkov et al”). ., SmoothGrad: removing noise by adding noise, arXiv: 1706.03825, 12 Jun 2017 ”).
  • a medical sentence (hereinafter referred to as a medical sentence) is used by using a learning model in which machine learning is performed so as to generate a sentence including the input property information. ) Is created.
  • a learning model in which machine learning is performed so as to generate a sentence including the input property information.
  • the image interpreting doctor interprets a plurality of tomographic images obtained by one imaging with an imaging device such as a CT device and an MRI device, and interprets a reading report on the findings regarding the properties of the structure of interest obtained from each tomographic image.
  • an imaging device such as a CT device and an MRI device
  • the interpretation report is created so that the findings described in the interpretation report can be recognized in which tomographic image.
  • an image containing the structure of interest with findings is pasted into the interpretation report, or a hyperlink is added to the image containing the structure of interest with findings to create an interpretation report.
  • the information processing apparatus of the present disclosure includes at least one processor.
  • the processor is Derived property information representing the properties of at least one predetermined property item for the structure of interest contained in the image. For each property item, the ground area that is the basis for deriving the property related to the structure of interest is specified in the image, and the ground image for which the ground area is specified is derived.
  • the processor displays a tomographic image including a ground region that most prominently shows the properties of the property item for each property item.
  • the ground image may be configured to derive the ground image by selecting from a plurality of tomographic images as the ground image.
  • the processor is interested in the first image acquired at the first time point and the second image acquired at the second time point different from the first time point. Derivation of properties for property items that have changed with respect to the structure, For a property item whose properties have changed between the first image and the second image, the ground image is specified in at least one of the first image and the second image, and the ground image is derived. It may be.
  • the processor displays a designated button for designating at least one property item on the display, and by selecting the designated button, the property item corresponding to the selected designated button is described. It may be configured to display the rationale image on the display.
  • the processor analyzes a sentence including a word / phrase related to the property item to identify the word / phrase related to the property item included in the sentence, and the specified word / phrase represents the property represented by the specified word / phrase.
  • the processor analyzes a sentence including a word / phrase related to the property item to identify the word / phrase related to the property item included in the sentence, and the specified word / phrase represents the property represented by the specified word / phrase.
  • Give information to access the rationale image that is the basis for the derivation of The sentence may be displayed on the display, and the basis image corresponding to the phrase selected in the sentence may be displayed on the display.
  • the processor may be configured to generate a sentence by using the properties of the property items.
  • the processor may be configured to highlight the ground area in the displayed ground image.
  • the information processing method derives property information representing the properties of at least one predetermined property item regarding the structure of interest contained in the image. For each property item, the ground area that is the basis for deriving the property related to the structure of interest is specified in the image, and the ground image for which the ground area is specified is derived.
  • the information processing method of the present disclosure may be provided as a program for causing a computer to execute the information processing method.
  • the figure which shows the report creation screen in 1st Embodiment The figure which shows the report creation screen in 1st Embodiment A flowchart showing the processing performed in the first embodiment Functional configuration diagram of the information processing device according to the first embodiment
  • the figure which shows the report creation screen in 2nd Embodiment The figure which shows the report creation screen in 2nd Embodiment
  • the figure which shows the report creation screen in 2nd Embodiment A flowchart showing the processing performed in the second embodiment.
  • FIG. 1 is a diagram showing a schematic configuration of the medical information system 1.
  • the medical information system 1 shown in FIG. 1 is based on an inspection order from a doctor in a medical department using a known ordering system, photographs of a part to be inspected of a subject, storage of medical images obtained by photographing, and an image interpreter. It is a system for interpreting medical images and creating an interpretation report, and for viewing the interpretation report by the doctor of the requesting medical department and observing the details of the medical image to be interpreted.
  • the medical information system 1 includes a plurality of imaging devices 2, a plurality of image interpretation WS (WorkStation) 3 which are image interpretation terminals, a medical care WS 4, an image server 5, and an image database (hereinafter, image DB (DataBase)).
  • the report server 7 and the report database (hereinafter referred to as the report DB) 8 are connected to each other via a wired or wireless network 10 so as to be able to communicate with each other.
  • Each device is a computer on which an application program for functioning as a component of the medical information system 1 is installed.
  • the application program is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory), and is installed on a computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory)
  • it is stored in the storage device of the server computer connected to the network 10 or in the network storage in a state of being accessible from the outside, and is downloaded and installed in the computer upon request.
  • the photographing device 2 is a device (modality) that generates a medical image representing the diagnosis target part by photographing the part to be diagnosed of the subject. Specifically, it is a simple X-ray imaging apparatus, a CT apparatus, an MRI apparatus, a PET (Positron Emission Tomography) apparatus, and the like.
  • the medical image generated by the imaging device 2 is transmitted to the image server 5 and stored in the image DB 6.
  • the image interpretation WS3 is a computer used by, for example, an image interpretation doctor in a radiology department to interpret a medical image and create an image interpretation report, and includes an information processing device 20 (details will be described later) according to the present embodiment.
  • an information processing device 20 includes an information processing device 20 (details will be described later) according to the present embodiment.
  • a request for viewing a medical image to the image server 5 various image processing for the medical image received from the image server 5, a display of the medical image, and an input reception of a finding regarding the medical image are performed.
  • analysis processing for medical images and input findings support for creating an interpretation report based on the analysis results, a request for registration and viewing of an interpretation report for the report server 7, and an interpretation received from the report server 7 are performed.
  • the report is displayed.
  • the clinical WS4 is a computer used by doctors in clinical departments for detailed observation of images, viewing of interpretation reports, creation of electronic medical records, etc., and is a processing device, a display device such as a display, and an input device such as a keyboard and a mouse. Consists of.
  • an image viewing request is made to the image server 5
  • an image received from the image server 5 is displayed
  • an image interpretation report viewing request is made to the report server 7
  • an image interpretation report received from the report server 7 is displayed.
  • the image server 5 is a general-purpose computer in which a software program that provides a database management system (DataBase Management System: DBMS) function is installed. Further, the image server 5 includes a storage in which the image DB 6 is configured. This storage may be a hard disk device connected by the image server 5 and the data bus, or a disk device connected to NAS (Network Attached Storage) and SAN (Storage Area Network) connected to the network 10. It may be.
  • NAS Network Attached Storage
  • SAN Storage Area Network
  • the image data and incidental information of the medical image acquired by the imaging device 2 are registered in the image DB 6.
  • the incidental information includes, for example, an image ID (identification) for identifying an individual medical image, a patient ID for identifying a subject, an examination ID for identifying an examination, and a unique ID assigned to each medical image ( UID: unique identification), examination date when the medical image was generated, examination time, type of imaging device used in the examination to acquire the medical image, patient information such as patient name, age, gender, examination site (imaging) Includes information such as site), imaging information (imaging protocol, imaging sequence, imaging method, imaging conditions, use of contrast medium, etc.), series number or collection number when multiple medical images are acquired in one examination. ..
  • the image server 5 when the image server 5 receives the viewing request from the image interpretation WS3 and the medical examination WS4 via the network 10, the image server 5 searches for the medical image registered in the image DB 6, and uses the searched medical image as the requesting image interpretation WS3 and the medical examination. Send to WS4.
  • the medical image is a three-dimensional CT image composed of a plurality of tomographic images with the diagnosis target as the lung, and by interpreting the CT image with the interpretation WS3, abnormal shadows and the like contained in the lung can be detected.
  • An interpretation report for the structure of interest shall be produced.
  • the medical image is not limited to the CT image, and any medical image such as an MRI image and a simple two-dimensional image acquired by a simple X-ray imaging device can be used.
  • the report server 7 incorporates a software program that provides the functions of a database management system to a general-purpose computer.
  • the report server 7 receives the image interpretation report registration request from the image interpretation WS3, the report server 7 prepares the image interpretation report in a database format and registers the image interpretation report in the report DB 8.
  • the image interpretation report is, for example, a medical image to be interpreted, an image ID for identifying the medical image, an image interpreter ID for identifying the image interpreter who performed the image interpretation, a lesion name, a lesion position information, and a medical image for accessing the image.
  • Information such as information (details will be described later) and property information (details will be described later) may be included.
  • the report server 7 when the report server 7 receives a viewing request for the interpretation report from the interpretation WS3 and the medical treatment WS4 via the network 10, the report server 7 searches for the interpretation report registered in the report DB 8 and uses the searched interpretation report as the requester's interpretation. It is transmitted to WS3 and medical treatment WS4.
  • Network 10 is a wired or wireless local area network that connects various devices in the hospital.
  • the network 10 may be configured such that the local area networks of each hospital are connected to each other by the Internet or a dedicated line.
  • FIG. 2 illustrates the hardware configuration of the information processing apparatus according to the first embodiment of the present disclosure.
  • the information processing device 20 includes a CPU (Central Processing Unit) 11, a non-volatile storage 13, and a memory 16 as a temporary storage area.
  • the information processing device 20 includes a display 14 such as a liquid crystal display, an input device 15 such as a keyboard and a mouse, and a network I / F (InterFace) 17 connected to the network 10.
  • the CPU 11, the storage 13, the display 14, the input device 15, the memory 16, and the network I / F 17 are connected to the bus 18.
  • the CPU 11 is an example of the processor in the present disclosure.
  • the storage 13 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
  • the information processing program 12 is stored in the storage 13 as a storage medium.
  • the CPU 11 reads the information processing program 12 from the storage 13 and then expands it into the memory 16 to execute the expanded information processing program 12.
  • FIG. 3 is a diagram showing a functional configuration of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 20 includes an image acquisition unit 21, a property derivation unit 22, a basis image derivation unit 23, a display control unit 24, a report creation unit 25, and a communication unit 26.
  • the CPU 11 executes the information processing program 12
  • the CPU 11 functions as an image acquisition unit 21, a property derivation unit 22, a ground image derivation unit 23, a display control unit 24, a report creation unit 25, and a communication unit 26. ..
  • the image acquisition unit 21 acquires a medical image for creating an image interpretation report from the image server 5 in response to an instruction from the input device 15 by the image interpretation doctor who is the operator.
  • the property deriving unit 22 analyzes the medical image to derive property information representing the property of at least one property item related to the structure of interest such as an abnormal shadow candidate included in the medical image.
  • the medical image is a three-dimensional image composed of a plurality of tomographic images.
  • the property derivation unit 22 derives property information by analyzing each of the plurality of tomographic images.
  • the property deriving unit 22 has a learning model 22A in which machine learning is performed so as to discriminate the structure of interest in the medical image and discriminate the properties of at least one property item related to the discriminated structure of interest.
  • the learning model 22A determines whether or not each pixel (voxel) in the medical image represents a structure of interest, and if it is a structure of interest, for at least one property item.
  • a convolutional neural network (CNN (Convolutional Neural Network)) in which deep learning (deep learning) is performed using teacher data is included so as to discriminate the properties of the above.
  • FIG. 4 is a diagram showing an example of property information discriminated by the learning model 22A of the property deriving unit 22.
  • the structure of interest for determining the property is the lung nodule
  • the property information 30 represents the property for a plurality of property items for the lung nodule.
  • property items include the location of abnormal shadows (ie, lung nodules), the size of abnormal shadows, the shape of the border (clear, irregular and lobulated), the type of absorption value (full and suriglass), and the presence or absence of spicula.
  • Tumor or nodule presence or absence of pleural contact, presence or absence of pleural infiltration, presence or absence of pleural infiltration, presence or absence of cavity, presence or absence of calcification, etc. are used.
  • the property is the result of having or not having each property item.
  • the location of the abnormal shadow, the size of the abnormal shadow, the shape of the boundary, the type of absorption value, and the property items of the tumor or the nodule are the properties.
  • the learning model 22A is constructed by learning a neural network using a large number of teacher data whose properties are known for a medical image including the structure of interest and a plurality of property items related to the structure of interest.
  • the learning model for detecting the structure of interest from the medical image and the learning model for detecting the property information of the structure of interest may be constructed separately. Further, the property information derived by the property deriving unit 22 is stored in the storage 13.
  • any learning model such as a support vector machine (SVM (Support Vector Machine)) can be used.
  • SVM Support Vector Machine
  • the rationale image deriving unit 23 uses the method described in Non-Patent Document 1 to specify the rationale region that is the basis for deriving the properties of the structure of interest in the medical image, and the rationale image in which the rationale region is specified. Is derived.
  • the ground image deriving unit 23 derives the ground image using the property information derived by the learning model 22A of the property deriving unit 22.
  • the learning model 22A of the property deriving unit 22 derives the feature map 32 of the tomographic image Sk by the CNN 31, inputs the feature map 32 into the fully connected layer 33, and represents the properties of the property items related to the structure of interest.
  • Information 34 is derived.
  • Each square of the property information 34 represents an output (that is, a probability score) representing the property in each of the property items.
  • the property 34A for one property item in the property information 34 will be examined.
  • the rationale image deriving unit 23 identifies a portion of the feature map 32 that has a large effect on the probability score of the property 34A by differentiating the intensity in the feature map, and describes the Grad-CAM method described in Non-Patent Document 1. Therefore, a heat map Hk representing the size is derived.
  • the ground image deriving unit 23 uses the Guided Backpropagation method described in Non-Patent Document 1 to back-propagate the region having a large probability score, which is the basis for identifying the property 34A, as the ground region. Identify and derive a specific image STk. Specifically, the basis image derivation unit 23 performs back propagation with respect to the feature map 32, setting the value of the pixel whose feature amount is active on the map, that is, the pixel other than the pixel having a positive pixel value to 0. .. Backpropagation corresponds to reverse convolution of the convolution in CNN31.
  • the specific image STk includes the ground region Ak that identifies the property 34A at the same resolution as the tomographic image Sk.
  • the basis image derivation unit 23 derives a specific image STi for all tomographic images Si for one property 34A.
  • a specific image STk including the ground region Ak is shown.
  • the ground image deriving unit 23 selects a specific image STi including the ground region Ai that most prominently represents the property 34A from the plurality of specific image STis, and selects a tomographic image corresponding to the selected specific image to a plurality of tomographic images Si.
  • the basis image is derived.
  • “most prominently shown” means that the size of the base region Ai is the largest, or the probability score in the base region Ai is the largest.
  • FIG. 6 is a diagram for explaining the selection of the basis image.
  • the ground images Ba, Bb, and Bc are selected from the plurality of tomographic images Si included in the medical image G0 for the three properties of solidity, spicula, and lobulation.
  • FIG. 7 is a diagram showing an emphasis basis image.
  • an enlarged view of the region of the structure of interest included in the emphasis basis images BGa, BGb, BGc is shown on the right side of the emphasis basis images BGa, BGb, BGc.
  • the solidity emphasizing basis image BGa includes a solid mass 40a, and a heat map 41a for emphasizing the solid mass 40a is provided near the center of the solid mass 40a.
  • the region of the heat map 41a corresponds to the ground region in the ground image.
  • the heat map is shown with diagonal lines for the sake of simplification.
  • a mass 40b accompanied by the spicula is included, and a heat map 41b for emphasizing the spicula is given to the portion of the spicula.
  • a lobulated mass 40c is included, and a heat map 41c for emphasizing the lobulated portion is given.
  • one basis image may be selected for multiple types of property items.
  • a specific image including a lobulated solid mass 40d with spicula as a base region may be selected as the base image Bd.
  • the ground image deriving unit 23 derives three emphasized ground images BGa to BGc in which each of the solidity, the spicula, and the lobular shape is emphasized.
  • a heat map 42a for emphasizing the solidity is provided near the center of the mass 40d.
  • a heat map 42b for emphasizing the spicula is attached to the portion of the spicula in the mass 40d.
  • a heat map 42c for emphasizing the lobulated portion in the tumor 40d is provided.
  • FIG. 9 an enlarged view of the region of interest structure in the emphasis basis images BGa, BGb, BGc is shown on the right side of the emphasis basis images BGa, BGb, BGc.
  • FIG. 10 is a diagram for explaining the generation of the oblique image. As shown in FIG. 10, it is assumed that a lobulated solid mass 45 with spicula is present over a plurality of tomographic images Si.
  • the tumor 45 includes a solid portion 45a, a spicula portion 45b, and a lobulated portion 45c.
  • the ground image deriving unit 23 sets the tomographic surface 46 that most prominently represents a plurality of properties in the medical image G0, and derives the oblique image on the tomographic surface 46 as the ground image.
  • the maximum value emphasized image (MIP (maximum intensity projection) image) when the viewpoint is placed in the direction orthogonal to the tomographic plane 46 may be derived as the base image.
  • the display control unit 24 displays the emphasis basis image on the display 14.
  • the display control unit 24 displays a report creation screen for creating an interpretation report for the medical image G0 on the display 14, and displays the emphasis basis image on the report creation screen according to the instruction of the operator. indicate.
  • FIG. 11 is a diagram showing a report creation screen according to the first embodiment.
  • the report creation screen 50 includes a text display area 51 and an image display area 52.
  • designation buttons 53A to 53C for designating the property items derived in the medical image G0 are displayed.
  • buttons 53A to 53C for designating the property items derived in the medical image G0 are displayed.
  • a finding input area 54 is included above these designated buttons 53A to 53C.
  • a confirmation button 55 for confirming the input finding sentence is displayed.
  • the display control unit 24 displays an emphasis basis image for the property item corresponding to the selected designated button in the image display area 52. do.
  • the display control unit 24 displays the emphasis basis image BGc shown in FIG. 9 in the image display area 52 as shown in FIG.
  • FIG. 12 it is shown that the designation button 53C was selected by giving a frame to the designation button 53C.
  • the report creation unit 25 creates an interpretation report.
  • the operator inputs a finding sentence in the finding input area 54 using the input device 15 while looking at the highlighting basis image displayed in the image display area 52.
  • the report creation unit 25 creates an interpretation report by transcribing the findings input in the finding input area 54 into the interpretation report. Then, when the confirmation button 55 is selected, the report creation unit 25 saves the created interpretation report in the storage 13 together with one or more emphasis ground images referred to when the finding sentence is input.
  • the communication unit 26 transmits the created image interpretation report to the report server 7 via the network I / F17 together with one or more emphasis ground images referred to when the finding text is input.
  • the created interpretation report is saved together with one or more emphasis ground images referred to when the finding text is input.
  • FIG. 13 is a flowchart showing the processing performed in the first embodiment. It is assumed that the medical image to be read is acquired from the image server 5 by the image acquisition unit 21 and stored in the storage 13. The process is started when an instruction to create an image interpretation report is given by the image interpretation doctor, and the property derivation unit 22 represents the properties of at least one predetermined property item regarding the structure of interest included in the medical image G0. Derivation of property information (step ST1). Next, the ground image deriving unit 23 specifies the ground region that is the basis for deriving the properties related to the structure of interest for each property item, and derives the ground image including the ground area (step ST2). Further, the ground image deriving unit 23 emphasizes the ground region in the ground image and derives the emphasized ground image (step ST3).
  • step ST4 the display control unit 24 displays the report creation screen 50 on the display 14 (step ST4).
  • step ST5; YES when any of the designated buttons 53A to 53C is selected (step ST5; YES), the display control unit 24 displays the highlighting basis image corresponding to the selected designated button in the image display area 52 (step ST6). ). If step ST5 is denied, the process proceeds to step ST8, which will be described later.
  • the report creation unit 25 accepts the input of the finding sentence in the finding input area 54 (step ST7), and starts monitoring whether or not the confirmation button 55 is selected (step ST8). If step ST8 is denied, the process returns to step ST5, and the processes after step ST5 are repeated.
  • step ST8 When step ST8 is affirmed, the report creation unit 25 creates an interpretation report including the input finding sentence (step ST9), and stores it together with one or more emphasis ground images referred to when the finding sentence is input. Save in 13 (step ST10). Further, the communication unit 26 transfers the created image interpretation report to the report server 7 together with one or more emphasis ground images referred to when the finding sentence is input (step ST11), and ends the process.
  • the ground area that is the basis for deriving the property in the medical image G0 is specified for each of the derived property items, and the ground image including the ground area is derived. Therefore, by displaying and referring to the ground image, it is possible to recognize the region that is the base from which the properties of the property items of the structure of interest included in the ground image are derived.
  • FIG. 14 is a diagram showing a functional configuration of the information processing apparatus according to the second embodiment of the present disclosure.
  • the information processing device 20A according to the second embodiment further includes a phrase specifying unit 27 for specifying a phrase related to a property item included in the finding sentence by analyzing the finding sentence input by the operator, and the display control unit 24
  • the first point is that the words and phrases specified in the findings are given information for accessing the ground image that is the basis for deriving the properties represented by the specified words, and the findings are displayed on the display 14. Different from the embodiment.
  • the word / phrase specifying unit 27 specifies a word / phrase related to a property item included in the finding sentence input in the finding input area 54.
  • the word / phrase specifying unit 27 has a learning model 27A in which machine learning is performed so as to specify a word / phrase related to a property item included in a sentence.
  • the learning model 27A is a convolutional neural network in which deep learning is performed using teacher data so as to discriminate words and phrases related to property items included in the input finding sentence when the finding sentence is input. Consists of (CNN).
  • the teacher data for learning the learning model 27A includes sentences and words and phrases related to property items included in the sentences. For example, the sentence "A solid tumor with a clear boundary is found in the lower lobe S6 of the left lung.” ”And“ mass ”are included.
  • the learning model 27A is constructed by learning a neural network using a large number of such teacher data. As a result, in the learning model 27A, when the sentence "a solid mass with a clear boundary is found in the lower lobe S6 of the left lung" is input, “the lower lobe S6 of the left lung” and “the boundary is clear”. , "Fulfilling" and "mass" are learned to be output as phrases related to property items.
  • any learning model such as a support vector machine and a recurrent neural network can be used.
  • the phrase identification unit 27 adds information to the phrase specified in the finding sentence to access the basis image that is the basis for deriving the properties represented by the specified phrase. Then, when the phrase to which the information for accessing the basis image is added is selected, the display control unit 24 displays the basis image corresponding to the selected phrase on the display 14.
  • FIG. 15 is a diagram showing a report creation screen in the second embodiment.
  • the report creation screen 50A in the second embodiment includes the text display area 51 and the image display area 52, similarly to the report creation screen 50 in the first embodiment.
  • the text display area 51 includes designated buttons 53A to 53C and a finding input area 54.
  • a display button 56 is displayed below the text display area 51.
  • the finding input area 54 the finding sentence "A solid nodule is found in the left lung tongue area. A lobular spicula is found.” Is input.
  • the phrase specifying unit 27 specifies the phrase related to the property item included in the finding sentence. Then, the word / phrase specifying unit 27 gives the specified word / phrase information for accessing the ground image that is the basis for deriving the properties represented by the specified word / phrase.
  • the phrase identification unit 27 embeds a hyperlink in the phrase.
  • FIG. 16 is a diagram showing a state in which a hyperlink is embedded. As shown in FIG. 16, the display control unit 24 emphasized the solidity in the phrase "fullness" in the finding of "a solid nodule is observed in the left lung tongue area.
  • a lobulated spicula is observed.”
  • the hyperlink 57A for the basis image BGa is embedded.
  • the phrase specifying unit 27 embeds a hyperlink 57B to the emphasis basis image BGb of the spicula in the phrase “spicula”.
  • the hyperlink 57C for the lobulated highlighting basis image BGc is embedded in the phrase specifying part 27, the phrase "split".
  • the display control unit 24 displays the enhancement basis image BGa of the fulfillment in the image display area 52 as shown in FIG. In FIG. 17, hatching is added to the selected phrase.
  • the hyperlinks 57A to 57C may include a URL (uniform resource locator) indicating the storage location of the emphasis ground images BGa to BGc.
  • the interpretation report is stored in the report server 7 together with the emphasis ground image. Therefore, by acquiring the storage location information in the report server 7 in advance, the storage location in the report server 7 may be included in the hyperlinks 57A to 57C.
  • the information for accessing the emphasized basis images BGa to BGc is not limited to the hyperlink, and for example, the coordinate positions of the emphasized basis images BGa to BGc in the medical image G0 may be used.
  • FIG. 18 is a flowchart showing the processing performed in the second embodiment.
  • the process until the confirmation button 55 is selected is the same as the process from step ST1 to step ST7 in the process of the first embodiment shown in FIG. 13, so here.
  • the processing after step ST7 in FIG. 13 will be described.
  • step ST21 When the display button 56 is selected on the report creation screen 50A (step ST21; YES), the phrase identification unit 27 identifies the phrase related to the property item included in the finding sentence (step ST22). Further, the phrase specifying unit 27 adds information to the phrase specified in the finding sentence to access the basis image that is the basis for deriving the properties represented by the specified phrase (step ST23). If step ST21 is denied, the process returns to step ST5 in FIG.
  • step ST24 monitoring of whether or not the confirmation button 55 is selected is started (step ST24), and when step ST24 is affirmed, the report creation unit 25 finds that information for accessing the ground image is added to the phrase.
  • An interpretation report including a sentence is created (step ST25), and the created interpretation report is saved in the storage 13 together with one or more emphasis ground images referred to when the finding sentence is input (interpretation report save, step ST26). .. Further, the communication unit 26 transfers the created image interpretation report to the report server 7 together with one or more emphasis ground images referred to when the finding sentence is input (step ST27), and ends the process.
  • the word / phrase related to the property item included in the finding sentence is specified, and information for accessing the ground image that is the basis for deriving the property represented by the specified word is given. bottom. Therefore, when a phrase related to a property item included in the finding sentence is selected in the interpretation report, the emphasis basis image corresponding to the selected phrase can be displayed. Therefore, it is possible to immediately confirm the properties of the structure of interest included in the findings in the emphasis ground image.
  • FIG. 19 is a diagram showing a functional configuration of the information processing apparatus according to the third embodiment of the present disclosure.
  • the same reference numbers are assigned to the same configurations as those in FIG. 3, and detailed description thereof will be omitted here.
  • the property deriving unit 22 acquires the first medical image G1 acquired at the first time point and the second time point different from the first time point.
  • the properties of the property item that changed with respect to the structure of interest were derived from the medical image G2, and the basis image derivation unit 23 served as the basis for deriving the property of the property item that changed in the property.
  • the ground image is different from the first embodiment in that the ground image is specified in at least one of the first medical image G1 and the second medical image G2 to derive the ground image. It should be noted that the acquisition of the first medical image G1 is before the acquisition of the second medical image G2.
  • the property deriving unit 22 determines the property in which the change has occurred with respect to the structure of interest commonly included in the two medical images. It has a trained learning model 22B.
  • the learning model 22B determines whether or not each pixel (voxel) in the two medical images represents a structure of interest, and if it is a structure of interest, two. Includes a convolutional neural network (CNN) that has been deep-learned using teacher data to discriminate changes in the properties of structures of interest in medical images.
  • CNN convolutional neural network
  • the rationale image deriving unit 23 uses the method described in Non-Patent Document 1 to provide the rationale for deriving the properties in which the changes have occurred in the first and second medical images G1 and G2.
  • the rationale region is specified, and the rationale image including the rationale region is derived for each of the first and second medical images G1 and G2.
  • the ground image deriving unit 23 derives the ground image using the information derived by the learning model 22B of the property deriving unit 22.
  • FIG. 20 is a conceptual diagram of the derivation of property information and the derivation of the basis image by the learning model 22B in the third embodiment.
  • one of the plurality of tomographic images S1i and S2i (i 1 to n: n is the number of tomographic images) included in the first and second medical images G1 and G2, respectively.
  • the processing for the tomographic images S1k and S2k is shown.
  • the learning model 22B of the property deriving unit 22 derives a feature map 62 showing the difference between the tomographic images S1k and S2k by CNN61, inputs the feature map 62 to the fully connected layer 63, and includes the tomographic images S1k and S2k.
  • Property information 64,65 indicating the property of the property item in which the change has occurred with respect to the structure of interest is derived. It should be noted that each square of the property information 64 represents an output (that is, a probability score) representing the property in each of the property items in which the change occurs between the tomographic images S1k and S2k.
  • the properties 64A and 65A for one of the property information 64 and 65 will be described.
  • the basis image deriving unit 23 identifies in the feature map 62 a portion having a large influence on the probability scores of the properties 64A and 65A by differentiating the intensity in the feature map, and non-patent document 1
  • a heat map showing the size of the heat map is derived for each of the tomographic images S1k and S2k by the method of Grad-CAM described in (Heat maps H1k and H2k).
  • the ground image deriving unit 23 uses the Guided Backpropagation method described in Non-Patent Document 1 to back-propagate the CNN to the ground where the probability score is large, which is the ground for identifying the properties 64A and 65A.
  • Specific images ST1k and ST2k for each of the tomographic images S1k and S2k are derived by specifying them as regions.
  • the ground areas A1k and A2k for specifying the properties 64A and 65A are specified at the same resolution as the tomographic images S1k and S2k (only A1k is shown).
  • the basis image derivation unit 23 derives specific images ST1i and ST2i for all tomographic images S1i and S2i for one property 64A and 65A.
  • FIG. 20 only two specific images ST1k and ST2k including the ground areas A1k and A2k are shown. Then, the ground image derivation unit 23 selects the specific images ST1i and ST2i including the ground regions A1i and A2i that most prominently represent the properties 64A and 65A from the plurality of specific images ST1i and ST2i, and corresponds to the selected specific image.
  • the ground image is derived by selecting the tomographic image to be performed from a plurality of tomographic images Si.
  • FIG. 21 is a diagram showing a ground image derived in the third embodiment.
  • the first ground image B1a and the second ground image B2a are selected from the first medical image G1 and the second medical image G2, respectively.
  • the ground images B1a and B2a show only a part of the corresponding tomographic image for the sake of explanation.
  • the first rationale image B1a contains a solid mass with a clear boundary, while the second rationale image B2a has an unclear boundary of the same mass. Therefore, the learning model 22B derives the boundary as the property in which the change has occurred.
  • the ground image deriving unit 23 synthesizes the heat maps H1a and H1b for the first and second ground images BG1a and B2a with the first and second ground images B1a and B2a to emphasize the grounds.
  • Images BG1a and BG2a are derived.
  • FIG. 22 is a diagram showing an emphasis basis image. As shown in FIG. 22, in the emphasis basis image BG1a, the heat map 61a is added to the portion corresponding to the fulfillment that is the basis for the change in the property item. Further, in the emphasis basis image BG2a, a heat map 61b is added to a portion corresponding to the changed property, that is, a boundary of the mass. In FIG. 22, heat maps 61a and 61b are shown with diagonal lines for the sake of simplification.
  • the display control unit 24 displays the emphasis basis images BG1a and BG2a for the first and second medical images G1 and G2 on the display 14. Specifically, as in the first embodiment, the report creation screen is displayed on the display 14, and the emphasis ground image is displayed according to the instruction of the operator using the report creation screen.
  • FIG. 23 is a diagram showing a report creation screen according to the third embodiment.
  • the report creation screen 50B includes a text display area 51 and an image display area 52, similarly to the report creation screen 50 in the first embodiment.
  • the text display area 51 includes a designation button 58 and a finding input area 54.
  • the designation button 58 is given a character of the boundary which is a characteristic in which the changes of the first and second medical images G1 and G2 have occurred.
  • FIG. 24 is a diagram showing a report creation screen on which the emphasis basis image is displayed in the third embodiment. As shown in FIG. 24, two highlighting basis images BG1a and BG2a are displayed in the image display area 52 of the report creation screen 50B. The operator can easily confirm the changed property in the two displayed emphasis ground images BG1a and BG2a.
  • the report creation unit 25 may automatically generate a finding sentence based on the property item derived by the property derivation unit 22.
  • the report creation unit 25 has a learning model that has been trained so as to output a sentence including the property information when the property information is input.
  • the learning model for example, a recurrent neural network can be used.
  • the emphasis ground image in which the ground area is emphasized is derived by synthesizing the ground image and the heat map of the ground image, but the present invention is not limited to this. Even if the emphasized ground image is derived by adding a mark such as an arrow to the ground area in the ground image as an annotation or adding text information such as a comment together without creating a heat map. good.
  • the image interpretation report creation support process is performed using a medical image whose diagnosis target is the lung, but the diagnosis target is not limited to the lung.
  • diagnosis target is not limited to the lung.
  • any part of the human body such as the heart, liver, brain, and limbs can be diagnosed.
  • the diagnosis result of the interpretation doctor may be described as diagnostic information based on at least one property information.
  • information for accessing at least one property information from the diagnostic information may be added to the diagnostic information described in the interpretation report.
  • information for accessing each of the property information may be added from the diagnostic information.
  • the basis image since the basis image is associated with each property item for which the property information is specified, the basis image may be accessed at the same time when the property information is accessed from the diagnostic information. ..
  • various processes such as an image acquisition unit 21, a property derivation unit 22, a basis image derivation unit 23, a display control unit 24, a report creation unit 25, a communication unit 26, and a phrase identification unit 27 are executed.
  • Various processors (Processors) shown below can be used as the hardware structure of the processing unit (Processing Unit).
  • the various processors include a CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, and a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • Dedicated electricity which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits and the like are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ) May be configured. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client and a server, one processor is configured by combining one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware structure.
  • circuitry in which circuit elements such as semiconductor elements are combined can be used.

Abstract

少なくとも１つのプロセッサを備え、プロセッサは、画像に含まれる関心構造物に関する、予め定められた少なくとも１つの性状項目についての性状を導出する。プロセッサは、性状項目毎に、関心構造物に関する性状の導出の根拠となる根拠領域を特定して、根拠領域を含む根拠画像を導出する。

Description

情報処理装置、方法およびプログラム
　本開示は、読影レポート等の作成を支援するための情報処理装置、方法およびプログラムに関する。
　近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の撮影装置の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
　また、ディープラーニング等により機械学習がなされた学習モデルを用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる異常陰影候補等の関心構造物の形状、濃度、位置および大きさ等の性状を判別し、これらを解析結果として取得することも行われている。ＣＡＤにより取得された解析結果は、患者名、性別、年齢および医用画像を取得したモダリティ等の検査情報と対応づけられて、データベースに保存される。医用画像および解析結果は、医用画像の読影を行う読影医の端末に送信される。読影医は、自身の端末において、送信された医用画像および解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
　また、学習モデルを用いて画像に含まれる関心構造物を特定し、さらに画像において構造物を特定する根拠となった領域を導出する手法も提案されている（「Selvaraju, Ramprasaath R., et al. "Grad-cam: Visual explanations from deep networks via gradient-based localization." Proceedings of the IEEE International Conference on Computer Vision. 2017」参照、以下非特許文献１とする）。非特許文献１に記載された手法は、例えば犬および猫を含む画像において、犬および猫のそれぞれを特定する処理を学習モデルを用いて行い、さらに犬および猫を特定する根拠となった領域を特定し、特定した領域を例えばヒートマップ等により強調して画像を表示する手法である。この手法は、Gradient-weighted Class Activation Mapping (Grad-CAM)と称される。さらに、非特許文献１に記載された手法においては、犬および猫を特定する根拠となった予測スコアが大きい画素を含む領域を、誤差逆伝搬法を用いて特定して表示することも提案されている。なお、犬を特定する根拠となった領域は、垂れた耳、目および頬等の領域であり、猫を特定する根拠となった領域は、胴体の縞模様等の領域である。この手法は、Guided Backpropagationと称される。非特許文献１に記載された手法により、画像中の構造物を特定する根拠となった領域を認識することができることとなる。また、非特許文献１に記載された手法において、画像にガウシンアンノイズを加えてスムージングを行うことにより、画像に含まれるノイズの影響を低減する手法も提案されている（「Daniel Smilkov et al., SmoothGrad: removing noise by adding noise, arXiv:1706.03825, 12 Jun 2017」参照）。
　一方、撮影装置の高性能化に伴い、読影を行う医用画像の数も増大している。しかしながら、読影医の数は医用画像の数に追いついていないことから、読影医の読影業務の負担を軽減することが望まれている。このため、読影レポート等の医療文書の作成を支援するための各種手法が提案されている。例えば、特開２０１９－１５３２５０号公報には、読影医が入力したキーワード、および医用画像の解析結果に含まれる関心構造物の性状を表す情報（以下、性状情報とする）に基づいて、読影レポートに記載するための文章を生成する各種手法が提案されている。特開２０１９－１５３２５０号公報に記載された手法においては、入力された性状情報を含む文章を生成するように機械学習がなされた学習モデルを用いて、医療用の文章（以下、医療文章とする）が作成される。特開２０１９－１５３２５０号公報に記載された手法のように、医療文章を自動で生成することにより、読影レポート等の医療文書を作成する際の読影医の負担を軽減することができる。
　ところで、読影医は、ＣＴ装置およびＭＲＩ装置等の撮影装置で一度の撮影によって得られる複数の断層画像を読影して、それぞれの断層画像から得られる関心構造物に関する性状についての所見文を読影レポートに記載する場合がある。この場合、読影レポートに記載された所見がいずれの断層画像において認めることができるかが分かるように、読影レポートを作成している。具体的には、所見を認めた関心構造物を含む画像を読影レポートに貼り付けたり、所見を認めた関心構造物を含む画像に対してハイパーリンクを付与したりして読影レポートを作成している。しかしながら、そのような関心構造物を含む画像を読影医の手入力により特定して読影レポートを作成することは、読影業務の負担となっている。
　本開示は上記事情に鑑みなされたものであり、読影レポート等の医療文書の作成を支援することを目的とする。
　本開示の情報処理装置は、少なくとも１つのプロセッサを備え、
　プロセッサは、
　画像に含まれる関心構造物に関する、予め定められた少なくとも１つの性状項目についての性状を表す性状情報を導出し、
　性状項目毎に、関心構造物に関する性状の導出の根拠となる根拠領域を画像において特定して、根拠領域が特定された根拠画像を導出するように構成される。
　なお、本開示による情報処理装置においては、プロセッサは、画像が複数の断層画像からなる３次元画像の場合、性状項目毎に、性状項目の性状を最も顕著に示す根拠領域を含む断層画像を、根拠画像として複数の断層画像の中から選択することにより、根拠画像を導出するように構成されるものであってもよい。
　また、本開示による情報処理装置においては、プロセッサは、画像が複数の断層画像からなる３次元画像の場合、性状項目毎に、性状項目の性状を最も顕著に示す根拠領域を含む根拠画像を複数の断層画像から生成することにより、根拠画像を導出するように構成されるものであってもよい。
　また、本開示による情報処理装置においては、プロセッサは、第１の時点で取得された第１画像と第１の時点とは異なる第２の時点で取得された第２画像との間で、関心構造物に関して変化が生じた性状項目についての性状を導出し、
　第１画像と第２画像との間で性状に変化が生じた性状項目について、根拠領域を第１画像および第２画像の少なくとも一方において特定して、根拠画像を導出するように構成されるものであってもよい。
　また、本開示による情報処理装置においては、プロセッサは、少なくとも１つの性状項目を指定するための指定ボタンをディスプレイに表示し、指定ボタンの選択により、選択された指定ボタンに対応する性状項目についての根拠画像をディスプレイに表示するように構成されるものであってもよい。
　また、本開示による情報処理装置においては、プロセッサは、性状項目に関する語句を含む文章を解析することにより、文章に含まれる性状項目に関する語句を特定し、特定した語句に、特定した語句が表す性状の導出の根拠となる根拠画像にアクセスするための情報を付与し、
　文章をディスプレイに表示し、文章において選択された語句に対応する根拠画像をディスプレイに表示するように構成されるものであってもよい。
　また、本開示による情報処理装置においては、プロセッサは、性状項目についての性状を用いて、文章を生成するように構成されるものであってもよい。
　また、本開示による情報処理装置においては、プロセッサは、表示された根拠画像における根拠領域を強調表示するように構成されるものであってもよい。
　本開示による情報処理方法は、画像に含まれる関心構造物に関する、予め定められた少なくとも１つの性状項目についての性状を表す性状情報を導出し、
　性状項目毎に、関心構造物に関する性状の導出の根拠となる根拠領域を画像において特定して、根拠領域が特定された根拠画像を導出する。
　なお、本開示の情報処理方法を、コンピュータに実行させるためのプログラムとして提供してもよい。
　本開示によれば、読影レポート等の文書の作成を支援することができる。
本開示の第１の実施形態による情報処理装置を適用した医療情報システムの概略構成を示す図 第１の実施形態による情報処理装置の概略構成を示す図 第１の実施形態による情報処理装置の機能構成図 性状情報の例を示す図 第１の実施形態における学習モデルによる性状情報の導出と根拠画像の導出の概念図 根拠画像の選択を説明するための図 強調根拠画像を示す図 根拠画像を示す図 強調根拠画像を示す図 オブリーク画像の生成を説明するための図 第１の実施形態におけるレポート作成画面を示す図 第１の実施形態におけるレポート作成画面を示す図 第１の実施形態において行われる処理を示すフローチャート 第１の実施形態による情報処理装置の機能構成図 第２の実施形態におけるレポート作成画面を示す図 第２の実施形態におけるレポート作成画面を示す図 第２の実施形態におけるレポート作成画面を示す図 第２の実施形態において行われる処理を示すフローチャート 第３の実施形態による情報処理装置の機能構成図 第３の実施形態における学習モデルによる性状情報の導出と根拠画像の導出の概念図 第３の実施形態における根拠画像を示す図 第３の実施形態における強調根拠画像を示す図 第３の実施形態におけるレポート作成画面を示す図 第３の実施形態におけるレポート作成画面を示す図
　以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による情報処理装置を適用した医療情報システム１の構成について説明する。図１は、医療情報システム１の概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
　図１に示すように、医療情報システム１は、複数の撮影装置２、読影端末である複数の読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像データベース（以下、画像ＤＢ（DataBase）とする）６、レポートサーバ７およびレポートデータベース（以下レポートＤＢとする）８が、有線または無線のネットワーク１０を介して互いに通信可能な状態で接続されて構成されている。
　各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ＤＶＤ（Digital Versatile Disc）およびＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク１０に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
　撮影装置２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ６に保存される。
　読影ＷＳ３は、例えば放射線科の読影医が、医用画像の読影および読影レポートの作成等に利用するコンピュータであり、本実施形態に係る情報処理装置２０（詳細は後述）を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に関する所見文の入力受付が行われる。また、読影ＷＳ３では、医用画像および入力された所見文に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ７に対する読影レポートの登録要求と閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのプログラムを実行することにより行われる。
　診療ＷＳ４は、診療科の医師が、画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療ＷＳ４では、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのプログラムを実行することにより行われる。
　画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像ＤＢ６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。
　画像ＤＢ６には、撮影装置２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。
　また、画像サーバ５は、読影ＷＳ３および診療ＷＳ４からの閲覧要求をネットワーク１０経由で受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３および診療ＷＳ４に送信する。
　なお、本実施形態においては、医用画像は診断対象を肺とした、複数の断層画像からなる３次元のＣＴ画像とし、読影ＷＳ３においてＣＴ画像を読影することにより、肺に含まれる異常陰影等の関心構造物についての読影レポートを作成するものとする。なお、医用画像はＣＴ画像に限定されるものではなく、ＭＲＩ画像および単純Ｘ線撮影装置により取得された単純２次元画像等の任意の医用画像を用いることができる。
　レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。
　レポートＤＢ８には、読影医が読影ＷＳ３を用いて作成した所見文をも含む読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ＩＤ、読影を行った読影医を識別するための読影医ＩＤ、病変名、病変の位置情報、医用画像にアクセスするための情報（詳細は後述）、および性状情報（詳細は後述）等の情報を含んでいてもよい。
　また、レポートサーバ７は、読影ＷＳ３および診療ＷＳ４からの読影レポートの閲覧要求をネットワーク１０経由で受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影ＷＳ３および診療ＷＳ４に送信する。
　ネットワーク１０は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
　次いで、第１の実施形態による情報処理装置について説明する。図２は、本開示の第１の実施形態による情報処理装置のハードウェア構成を説明する。図２に示すように、情報処理装置２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、情報処理装置２０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク１０に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
　ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、情報処理プログラム１２が記憶される。ＣＰＵ１１は、ストレージ１３から情報処理プログラム１２を読み出してからメモリ１６に展開し、展開した情報処理プログラム１２を実行する。
　次いで、第１の実施形態による情報処理装置の機能的な構成を説明する。図３は、本実施形態による情報処理装置の機能的な構成を示す図である。図３に示すように情報処理装置２０は、画像取得部２１、性状導出部２２、根拠画像導出部２３、表示制御部２４、レポート作成部２５および通信部２６を備える。そして、ＣＰＵ１１が、情報処理プログラム１２を実行することにより、ＣＰＵ１１は、画像取得部２１、性状導出部２２、根拠画像導出部２３、表示制御部２４、レポート作成部２５および通信部２６として機能する。
　画像取得部２１は、操作者である読影医による入力デバイス１５からの指示により、画像サーバ５から読影レポートを作成するための医用画像を取得する。
　性状導出部２２は、医用画像を解析することにより、医用画像に含まれる異常陰影候補等の関心構造物に関する少なくとも１つの性状項目についての性状を表す性状情報を導出する。本実施形態においては、医用画像は複数の断層画像からなる３次元画像である。性状導出部２２は、複数の断層画像のそれぞれを解析することにより、性状情報を導出する。このために、性状導出部２２は、医用画像における関心構造物を判別し、判別した関心構造物に関する少なくとも１つの性状項目についての性状を判別するように機械学習がなされた学習モデル２２Ａを有する。本実施形態においては、学習モデル２２Ａは、医用画像における各画素（ボクセル）が関心構造物を表すものであるか否かを判別し、関心構造物である場合には、少なくとも１つの性状項目についての性状を判別するように、教師データを用いてディープラーニング（深層学習）がなされた畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）を含む。
　図４は性状導出部２２の学習モデル２２Ａが判別する性状情報の例を示す図である。本実施形態においては、性状を判別する関心構造物は肺結節であり、性状情報３０は肺結節についての複数の性状項目についての性状を表すものとする。例えば、性状項目としては、異常陰影（すなわち肺結節）の場所、異常陰影のサイズ、境界の形状（明瞭、不整形および分葉状）、吸収値の種類（充実型およびスリガラス型）、スピキュラの有無、腫瘤か結節か、胸膜接触の有無、胸膜陥入の有無、胸膜浸潤の有無、空洞の有無、および石灰化の有無等が用いられる。性状とは各性状項目についての有り、無しの結果である。また、異常陰影の場所、異常陰影のサイズ、境界の形状、吸収値の種類および腫瘤か結節かの性状項目については、学習モデル２２Ａが判別した場所、サイズおよび種類が性状となる。学習モデル２２Ａは、関心構造物を含む医用画像と関心構造物に関する複数の性状項目についての性状が既知の教師データを多数用いてニューラルネットワークを学習することにより構築される。
　なお、医用画像から関心構造物を検出する学習モデルと、関心構造物の性状情報を検出する学習モデルとを別々に構築するようにしてもよい。また、性状導出部２２が導出した性状情報は、ストレージ１３に保存される。
　また、学習モデル２２Ａとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）等の任意の学習モデルを用いることができる。
　根拠画像導出部２３は、上記非特許文献１に記載された手法を用いて、関心構造物に関する性状の導出の根拠となる根拠領域を医用画像において特定して、根拠領域が特定された根拠画像を導出する。本実施形態においては、根拠画像導出部２３は、性状導出部２２の学習モデル２２Ａが導出した性状情報を用いて根拠画像を導出する。図５は、第１の実施形態における学習モデル２２Ａによる性状情報の導出と根拠画像の導出の概念図である。なお、図５においては、医用画像に含まれる複数の断層画像Ｓｉ（ｉ＝１～ｎ：ｎは断層画像の数）のうちの１枚の断層画像Ｓｋに対する処理を示している。
　まず、性状導出部２２の学習モデル２２Ａは、ＣＮＮ３１により断層画像Ｓｋの特徴マップ３２を導出し、特徴マップ３２を全結合層３３に入力して、関心構造物に関する性状項目についての性状を表す性状情報３４を導出する。なお、性状情報３４の１つ１つの四角が、性状項目のそれぞれにおける性状を表す出力（すなわち確率スコア）を表している。ここで、性状情報３４のうちの１つの性状項目についての性状３４Ａについて検討する。
　根拠画像導出部２３は、特徴マップ３２において、性状３４Ａの確率スコアへの影響が大きい箇所を、特徴マップにおける強度を微分することによって特定し、非特許文献１に記載されたＧｒａｄ－ＣＡＭの手法により、その大きさを表すヒートマップＨｋを導出する。
　一方、根拠画像導出部２３は、非特許文献１に記載されたGuided Backpropagationの手法を用いて、性状３４Ａを特定する根拠となった確率スコアが大きい領域を、ＣＮＮ３１を逆伝搬させて根拠領域として特定して、特定画像ＳＴｋを導出する。具体的には、根拠画像導出部２３は、特徴マップ３２について、マップ上で特徴量に活性が見られる画素、すなわちプラスの画素値を有する画素以外の画素の値を０として、逆伝搬を行う。逆伝搬は、ＣＮＮ３１における畳み込みを逆に畳み込むことに相当する。これにより、特徴マップ３２における活性に影響を及ぼした部分のみが、ＣＮＮ３１に入力された断層画像Ｓｋと同一の解像度で復元される。復元がされた部分が根拠領域Ａｋとなる。また、根拠領域Ａｋを含み、ＣＮＮ３１に入力された断層画像Ｓｋと同一解像度を有する画像が特定画像ＳＴｋとなる。これにより、特定画像ＳＴｋには、断層画像Ｓｋと同一の解像度において、性状３４Ａを特定する根拠領域Ａｋが含まれたものとなる。
　根拠画像導出部２３は、１つの性状３４Ａについて、すべての断層画像Ｓｉについての特定画像ＳＴｉを導出する。なお、図５においては、根拠領域Ａｋを含む１つの特定画像ＳＴｋのみが示されている。そして、根拠画像導出部２３は、複数の特定画像ＳＴｉから性状３４Ａを最も顕著に表す根拠領域Ａｉを含む特定画像ＳＴｉを選択し、選択された特定画像に対応する断層画像を複数の断層画像Ｓｉから選択することにより、根拠画像を導出する。ここで、「最も顕著に示す」とは、根拠領域Ａｉのサイズが最大である、または根拠領域Ａｉにおける確率スコアが最大であることを意味する。
　図６は根拠画像の選択を説明するための図である。なお、図６においては、医用画像Ｇ０に含まれる複数の断層画像Ｓｉから、充実性、スピキュラおよび分葉状の３つの性状について、根拠画像Ｂａ，Ｂｂ，Ｂｃが選択されている。
　そして、根拠画像導出部２３は、根拠画像Ｂａ，Ｂｂ，Ｂｃと根拠画像Ｂａ，Ｂｂ，Ｂｃのそれぞれに対応する断層画像とを合成することにより、断層画像における根拠領域が強調された強調根拠画像を導出する。図７は強調根拠画像を示す図である。なお、図７においては、強調根拠画像ＢＧａ，ＢＧｂ，ＢＧｃの右側に、強調根拠画像ＢＧａ，ＢＧｂ，ＢＧｃに含まれる関心構造物の領域を拡大した拡大図を示している。図７に示すように、充実性の強調根拠画像ＢＧａにおいては、充実性の腫瘤４０ａが含まれ、その中心付近に充実性の腫瘤４０ａを強調するためのヒートマップ４１ａが付与されている。ヒートマップ４１ａの領域が根拠画像における根拠領域に対応する。なお、図７においては、図示を簡略化するために、ヒートマップを斜線で示している。また、スピキュラの強調根拠画像ＢＧｂにおいては、スピキュラを伴う腫瘤４０ｂが含まれ、スピキュラの部分にスピキュラを強調するためのヒートマップ４１ｂが付与されている。分葉状の強調根拠画像ＢＧｃにおいては、分葉状の腫瘤４０ｃが含まれ、分葉状となっている箇所を強調するためのヒートマップ４１ｃが付与されている。
　なお、複数種類の性状項目に対して１つの根拠画像が選択される場合がある。例えば、図８に示すように、スピキュラを伴う分葉状の充実性の腫瘤４０ｄを根拠領域として含む特定画像が根拠画像Ｂｄとして選択される場合がある。このような場合、根拠画像導出部２３は、図９に示すように、充実性、スピキュラおよび分葉状のそれぞれを強調した３つの強調根拠画像ＢＧａ～ＢＧｃを導出する。図９に示すように、充実性の強調根拠画像ＢＧａにおいては、腫瘤４０ｄにおける中心付近に充実性であることを強調するためのヒートマップ４２ａが付与されている。また、スピキュラの強調根拠画像ＢＧｂにおいては、腫瘤４０ｄにおけるスピキュラの部分にスピキュラを強調するためのヒートマップ４２ｂが付与されている。分葉状の強調根拠画像ＢＧｃにおいては、腫瘤４０ｄにおける分葉状となっている箇所を強調するためのヒートマップ４２ｃが付与されている。なお、図９においても、強調根拠画像ＢＧａ，ＢＧｂ，ＢＧｃの右側に、強調根拠画像ＢＧａ，ＢＧｂ，ＢＧｃにおける関心構造物の領域を拡大した拡大図を示している。
　一方、ある性状項目についての性状を特定する根拠となる根拠領域が、複数の断層画像に亘って含まれる場合がある。この場合、複数の断層画像における根拠領域を３次元的に観察した場合に、その性状項目の性状が最も顕著に表れる断層面を特定し、その断層面における断層画像（すなわちオブリーク画像）を、根拠画像として導出するようにしてもよい。図１０はオブリーク画像の生成を説明するための図である。図１０に示すように、スピキュラを伴う分葉状の充実性の腫瘤４５が複数の断層画像Ｓｉに亘って存在しているものとする。なお、腫瘤４５は、充実性部分４５ａ、スピキュラ部分４５ｂおよび分葉状部分４５ｃを含む。このような場合、充実性部分４５ａ、スピキュラ４５ｂ部分および分葉状部分４５ｃのすべてを通る断層面４６において、充実性部分４５ａ、スピキュラ部分４５ｂおよび分葉状部分４５ｃのすべてを最も観察しやすいものとなる。このため、根拠画像導出部２３は、医用画像Ｇ０において、複数の性状を最も顕著に表す断層面４６を設定し、断層面４６におけるオブリーク画像を根拠画像として導出する。なお、断層面４６に直交する方向に視点をおいた場合における最大値強調画像（ＭＩＰ（maximum intensity projection）画像）を根拠画像として導出するようにしてもよい。
　表示制御部２４は、強調根拠画像をディスプレイ１４に表示する。本実施形態においては、表示制御部２４は、医用画像Ｇ０についての読影レポートを作成するためのレポート作成画面をディスプレイ１４に表示し、操作者の指示に応じて、強調根拠画像をレポート作成画面に表示する。
　図１１は、第１の実施形態におけるレポート作成画面を示す図である。図１１に示すように、レポート作成画面５０は、文章表示領域５１および画像表示領域５２を含む。文章表示領域５１には、医用画像Ｇ０において導出された性状項目を指定するための指定ボタン５３Ａ～５３Ｃが表示される。本実施形態においては、説明を簡単なものとするために、複数の性状項目のうちの、充実性、スピキュラおよび分葉状についての３つの指示ボタン５３Ａ～５３Ｃのみを表示している。なお、文章表示領域５１において、これらの指定ボタン５３Ａ～５３Ｃの上方には、所見入力領域５４が含まれる。また、文章表示領域５１の下方には、入力された所見文を確定させるための確定ボタン５５が表示される。
　そして、操作者がレポート作成画面５０における指定ボタン５３Ａ～５３Ｃのいずれかを選択すると、表示制御部２４は、選択された指定ボタンに対応する性状項目についての強調根拠画像を画像表示領域５２に表示する。例えば、分葉状用の指定ボタン５３Ｃが選択されると、表示制御部２４は、図１２に示すように、図９に示す強調根拠画像ＢＧｃを画像表示領域５２に表示する。なお、図１２においては、指定ボタン５３Ｃに枠を付与することにより、指定ボタン５３Ｃが選択されたことを示している。
　レポート作成部２５は、読影レポートの作成を行う。読影レポートの作成に際しては、操作者は、画像表示領域５２に表示された強調根拠画像を見ながら、入力デバイス１５を用いて所見入力領域５４に所見文を入力する。レポート作成部２５は、所見入力領域５４に入力された所見文を読影レポートに転記することにより、読影レポートを作成する。そして、確定ボタン５５が選択されると、レポート作成部２５は、作成された読影レポートを、所見文を入力した際に参照した１以上の強調根拠画像と併せてストレージ１３に保存する。
　通信部２６は、作成された読影レポートを、所見文を入力した際に参照した１以上の強調根拠画像と併せて、ネットワークＩ／Ｆ１７を介してレポートサーバ７に送信する。レポートサーバ７においては、作成された読影レポートが所見文を入力した際に参照した１以上の強調根拠画像と併せて保存される。
　次いで、第１の実施形態において行われる処理について説明する。図１３は第１の実施形態において行われる処理を示すフローチャートである。なお、読影の対象となる医用画像は、画像取得部２１により画像サーバ５から取得されて、ストレージ１３に保存されているものとする。読影レポートの作成の指示が読影医により行われることにより処理が開始され、性状導出部２２が、医用画像Ｇ０に含まれる関心構造物に関する、予め定められた少なくとも１つの性状項目についての性状を表す性状情報を導出する（ステップＳＴ１）。次いで、根拠画像導出部２３が、性状項目毎に、関心構造物に関する性状の導出の根拠となる根拠領域を特定して、根拠領域を含む根拠画像を導出する（ステップＳＴ２）。さらに、根拠画像導出部２３は、根拠画像における根拠領域を強調して強調根拠画像を導出する（ステップＳＴ３）。
　続いて、表示制御部２４が、レポート作成画面５０をディスプレイ１４に表示する（ステップＳＴ４）。そして、表示制御部２４は、いずれかの指定ボタン５３Ａ～５３Ｃが選択されると（ステップＳＴ５；ＹＥＳ）、選択された指定ボタンに対応する強調根拠画像を画像表示領域５２に表示する（ステップＳＴ６）。なお、ステップＳＴ５が否定されると、後述するステップＳＴ８に進む。続いて、レポート作成部２５は、所見入力領域５４に対する所見文の入力を受け付け（ステップＳＴ７）、確定ボタン５５が選択されたか否かの監視を開始する（ステップＳＴ８）。ステップＳＴ８が否定されると、ステップＳＴ５に戻り、ステップＳＴ５以降の処理が繰り返される。
　ステップＳＴ８が肯定されると、レポート作成部２５は、入力された所見文を含む読影レポートを作成し（ステップＳＴ９）、所見文を入力した際に参照した１以上の強調根拠画像と併せてストレージ１３に保存する（ステップＳＴ１０）。さらに、通信部２６が、作成された読影レポートを所見文を入力した際に参照した１以上の強調根拠画像と併せてレポートサーバ７に転送し（ステップＳＴ１１）、処理を終了する。
　このように、第１の実施形態においては、導出した性状項目毎に、医用画像Ｇ０における性状の導出の根拠となる根拠領域を特定して、根拠領域を含む根拠画像を導出するようにした。このため、根拠画像を表示して参照することにより、根拠画像に含まれる関心構造物の性状項目についての性状を導出した根拠となる領域を認識することができる。
　また、根拠画像において根拠領域を強調した強調根拠画像を導出することにより、根拠画像に含まれる関心構造物の性状項目についての性状を導出した根拠となる部分を、容易に認識することができる。
　また、根拠画像として、複数の断層画像からオブリーク画像またはオブリーク画像を生成した断層面におけるＭＩＰ画像を生成することにより、根拠画像において、関心領域における性状導出の根拠となった根拠領域を、より見やすくすることができる。
　次いで、本開示の第２の実施形態について説明する。図１４は、本開示の第２の実施形態による情報処理装置の機能的な構成を示す図である。なお、図１４において図３と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態による情報処理装置２０Ａは、操作者が入力した所見文を解析することにより、所見文に含まれる性状項目に関する語句を特定する語句特定部２７をさらに備え、表示制御部２４が、所見文において特定した語句に、特定した語句が表す性状の導出の根拠となる根拠画像にアクセスするための情報を付与して、所見文をディスプレイ１４に表示するようにした点が第１の実施形態と異なる。
　語句特定部２７は、所見入力領域５４に入力された所見文に含まれる性状項目に関する語句を特定する。このために、語句特定部２７は、文章に含まれる性状項目に関する語句を特定するように機械学習がなされた学習モデル２７Ａを有する。本実施形態においては、学習モデル２７Ａは、所見文が入力されると、入力された所見文に含まれる性状項目に関する語句を判別するように、教師データを用いてディープラーニングがなされた畳み込みニューラルネットワーク（ＣＮＮ）からなる。
　学習モデル２７Ａを学習するための教師データは、文章および文章に含まれる性状項目に関する語句を含む。例えば、「左肺下葉Ｓ６に、境界が明瞭な充実型の腫瘤を認めます。」の文章および、性状項目に関する語句である「左肺下葉Ｓ６」、「境界が明瞭」、「充実型」および「腫瘤」を含む。学習モデル２７Ａは、このような教師データを多数用いてニューラルネットワークを学習することにより構築される。これにより、学習モデル２７Ａは、「左肺下葉Ｓ６に、境界が明瞭な充実型の腫瘤を認めます。」の文章が入力されると、「左肺下葉Ｓ６」、「境界が明瞭」、「充実型」および「腫瘤」を性状項目に関する語句として出力するように学習がなされる。
　また、学習モデル２７Ａとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシンおよびリカレントニューラルネットワーク等の任意の学習モデルを用いることができる。
　また、語句特定部２７は、所見文において特定した語句に、特定した語句が表す性状の導出の根拠となる根拠画像にアクセスするための情報を付与する。そして、表示制御部２４は、根拠画像にアクセスするための情報が付与された語句が選択されると、選択された語句に対応する根拠画像をディスプレイ１４に表示する。
　図１５は第２の実施形態におけるレポート作成画面を示す図である。図１５に示すように、第２の実施形態におけるレポート作成画面５０Ａは、第１の実施形態におけるレポート作成画面５０と同様に、文章表示領域５１および画像表示領域５２を含む。文章表示領域５１には、指定ボタン５３Ａ～５３Ｃおよび所見入力領域５４が含まれる。文章表示領域５１の下方には、表示ボタン５６が表示される。所見入力領域５４には、「左肺舌区に充実性結節を認める。分葉状でスピキュラが認められる。」の所見文が入力されている。
　第２の実施形態においては、所見文の入力後に例えば表示ボタン５６が選択されると、語句特定部２７が、所見文に含まれる性状項目に関する語句を特定する。そして、語句特定部２７は、特定された語句に、特定した語句が表す性状の導出の根拠となる根拠画像にアクセスするための情報を付与する。第２の実施形態においては、根拠画像にアクセスするための情報の一例として、語句特定部２７は、語句にハイパーリンクを埋め込む。図１６はハイパーリンクが埋め込まれた状態を示す図である。図１６に示すように、表示制御部２４は、「左肺舌区に充実性結節を認める。分葉状でスピキュラが認められる。」の所見文における「充実性」という語句に、充実性の強調根拠画像ＢＧａに対するハイパーリンク５７Ａを埋め込む。また、語句特定部２７は、「スピキュラ」という語句に、スピキュラの強調根拠画像ＢＧｂに対するハイパーリンク５７Ｂを埋め込む。さらに、語句特定部２７、「分葉状」という語句に、分葉状の強調根拠画像ＢＧｃに対するハイパーリンク５７Ｃを埋め込む。
　表示制御部２４は、所見文における「充実性」の語句が選択されると、図１７に示すように、画像表示領域５２に充実性の強調根拠画像ＢＧａを表示する。なお、図１７においては、選択された語句にハッチングを付与している。
　ハイパーリンク５７Ａ～５７Ｃには、強調根拠画像ＢＧａ～ＢＧｃの保管場所を示すＵＲＬ（uniform resource locator）が含まれていてもよい。ここで、読影レポートは、強調根拠画像と併せてレポートサーバ７に保存される。このため、レポートサーバ７における保管場所の情報を予め取得しておくことにより、レポートサーバ７における保管場所をハイパーリンク５７Ａ～５７Ｃに含めるようにすればよい。なお、強調根拠画像ＢＧａ～ＢＧｃにアクセスするための情報としては、ハイパーリンクに限らず、例えば、医用画像Ｇ０中の強調根拠画像ＢＧａ～ＢＧｃの座標位置等を用いてもよい。
　次いで、第２の実施形態において行われる処理について説明する。図１８は第２の実施形態において行われる処理を示すフローチャートである。なお、第２の実施形態においては、確定ボタン５５が選択されるまでの処理は、図１３に示す第１の実施形態の処理におけるステップＳＴ１～ステップＳＴ７までの処理と同一であるため、ここでは、図１３におけるステップＳＴ７以降の処理について説明する。
　レポート作成画面５０Ａにおいて表示ボタン５６が選択されると（ステップＳＴ２１；ＹＥＳ）、語句特定部２７が所見文に含まれる性状項目に関する語句を特定する（ステップＳＴ２２）。さらに、語句特定部２７は、所見文において特定した語句に、特定した語句が表す性状の導出の根拠となる根拠画像にアクセスするための情報を付与する（ステップＳＴ２３）。なお、ステップＳＴ２１が否定されると、図１３のステップＳＴ５へ戻る。
　そして、確定ボタン５５が選択されたか否かの監視が開始され（ステップＳＴ２４）、ステップＳＴ２４が肯定されると、レポート作成部２５は、根拠画像にアクセスするための情報が語句に付与された所見文を含む読影レポートを作成し（ステップＳＴ２５）、作成した読影レポートを、所見文を入力した際に参照した１以上の強調根拠画像と併せてストレージ１３に保存する（読影レポート保存、ステップＳＴ２６）。さらに、通信部２６が、作成された読影レポートを、所見文を入力した際に参照した１以上の強調根拠画像と併せてレポートサーバ７に転送し（ステップＳＴ２７）、処理を終了する。
　このように、第２の実施形態においては、所見文に含まれる性状項目に関する語句を特定し、特定した語句が表す性状の導出の根拠となる根拠画像にアクセスするための情報を付与するようにした。このため、読影レポートにおいて所見文に含まれる性状項目に関する語句を選択すると、選択した語句に対応する強調根拠画像を表示することができる。したがって、所見文に含まれる関心構造物についての性状を、強調根拠画像において直ちに確認することが可能となる。
　次いで、本開示の第３の実施形態について説明する。図１９は、本開示の第３の実施形態による情報処理装置の機能的な構成を示す図である。なお、図１９において図３と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第３の実施形態による情報処理装置２０Ｂにおいては、性状導出部２２が、第１の時点で取得された第１医用画像Ｇ１と第１の時点とは異なる第２の時点で取得された第２医用画像Ｇ２との間で、関心構造部に関して変化が生じた性状項目についての性状を導出し、根拠画像導出部２３が、性状に変化が生じた性状項目について、性状の導出の根拠となった根拠領域を第１医用画像Ｇ１および第２医用画像Ｇ２の少なくとも一方において特定して、根拠画像を導出するようにした点が第１の実施形態と異なる。なお、第１の医用画像Ｇ１の取得時は第２の医用画像Ｇ２の取得時よりも前とする。
　このために、第３の実施形態による性状導出部２２は、２つの医用画像が入力されると、２つの医用画像に共通に含まれる関心構造物について、変化が生じた性状を判別するように学習がなされた学習モデル２２Ｂを有する。第３の実施形態においては、学習モデル２２Ｂは、２つの医用画像における各画素（ボクセル）が関心構造物を表すものであるか否かを判別し、関心構造物である場合には、２つの医用画像における関心構造物の性状の変化を判別するように、教師データを用いてディープラーニングがなされた畳み込みニューラルネットワーク（ＣＮＮ）を含む。
　第３の実施形態において、根拠画像導出部２３は、上記非特許文献１に記載された手法を用いて、第１および第２の医用画像Ｇ１，Ｇ２における変化が生じた性状の導出の根拠となる根拠領域を特定して、根拠領域を含む根拠画像を第１および第２の医用画像Ｇ１，Ｇ２のそれぞれについて導出する。第３の実施形態においては、根拠画像導出部２３は、性状導出部２２の学習モデル２２Ｂが導出した情報を用いて根拠画像を導出する。
　図２０は、第３の実施形態における学習モデル２２Ｂによる性状情報の導出と根拠画像の導出の概念図である。なお、図２０においては、第１および第２の医用画像Ｇ１，Ｇ２に含まれる複数の断層画像Ｓ１ｉ，Ｓ２ｉ（ｉ＝１～ｎ：ｎは断層画像の数）のうちの、それぞれ１枚の断層画像Ｓ１ｋ，Ｓ２ｋに対する処理を示している。
　まず、性状導出部２２の学習モデル２２Ｂは、ＣＮＮ６１により断層画像Ｓ１ｋ，Ｓ２ｋの相違を表す特徴マップ６２を導出し、特徴マップ６２を全結合層６３に入力して、断層画像Ｓ１ｋ，Ｓ２ｋに含まれる関心構造物に関して変化が生じた性状項目についての性状を表す性状情報６４，６５を導出する。なお、性状情報６４の１つ１つの四角が、断層画像Ｓ１ｋ，Ｓ２ｋの間において変化が生じた性状項目のそれぞれにおける性状を表す出力（すなわち確率スコア）を表している。ここで、性状情報６４，６５のうちの１つの性状項目についての性状６４Ａ，６５Ａについて説明する。
　第３の実施形態において、根拠画像導出部２３は、特徴マップ６２において、性状６４Ａ，６５Ａの確率スコアへの影響が大きい箇所を、特徴マップにおける強度を微分することによって特定し、非特許文献１に記載されたＧｒａｄ－ＣＡＭの手法により、その大きさを表すヒートマップを断層画像Ｓ１ｋ，Ｓ２ｋのそれぞれについて導出する（ヒートマップＨ１ｋ，Ｈ２ｋ）。
　一方、根拠画像導出部２３は、非特許文献１に記載されたGuided Backpropagationの手法を用いて、性状６４Ａ，６５Ａを特定する根拠となった確率スコアが大きい領域を、ＣＮＮを逆伝搬させて根拠領域として特定して、断層画像Ｓ１ｋ，Ｓ２ｋのそれぞれについての特定画像ＳＴ１ｋ，ＳＴ２ｋを導出する。特定画像ＳＴ１ｋ，ＳＴ２ｋにおいては、断層画像Ｓ１ｋ，Ｓ２ｋと同一の解像度において、性状６４Ａ，６５Ａを特定する根拠領域Ａ１ｋ，Ａ２ｋが特定されている（Ａ１ｋのみ図示）。
　根拠画像導出部２３は、１つの性状６４Ａ，６５Ａについて、すべての断層画像Ｓ１ｉ，Ｓ２ｉについての特定画像ＳＴ１ｉ，ＳＴ２ｉを導出する。なお、図２０においては、根拠領域Ａ１ｋ，Ａ２ｋを含む２つの特定画像ＳＴ１ｋ，ＳＴ２ｋのみが示されている。そして、根拠画像導出部２３は、複数の特定画像ＳＴ１ｉ，ＳＴ２ｉから、性状６４Ａ，６５Ａを最も顕著に表す根拠領域Ａ１ｉ，Ａ２ｉを含む特定画像ＳＴ１ｉ，ＳＴ２ｉを選択し、選択された特定画像に対応する断層画像を複数の断層画像Ｓｉから選択することにより、根拠画像を導出する。
　図２１は第３の実施形態において導出された根拠画像を示す図である。図２１においては第１医用画像Ｇ１および第２医用画像Ｇ２のそれぞれから、第１根拠画像Ｂ１ａおよび第２根拠画像Ｂ２ａが選択されている。なお、根拠画像Ｂ１ａ，Ｂ２ａは、説明のために対応する断層画像の一部の領域のみを示している。図２１に示すように、第１根拠画像Ｂ１ａは境界が明瞭な充実型の腫瘤を含むが、第２根拠画像Ｂ２ａは同一の腫瘤の境界が不明瞭になっている。このため、学習モデル２２Ｂは、変化が生じた性状として境界を導出する。
　そして、第３の実施形態において根拠画像導出部２３は、第１および第２根拠画像ＢＧ１ａ，Ｂ２ａについてのヒートマップＨ１ａ，Ｈ１ｂを第１および第２根拠画像Ｂ１ａ，Ｂ２ａと合成して、強調根拠画像ＢＧ１ａ，ＢＧ２ａを導出する。図２２は強調根拠画像を示す図である。図２２に示すように、強調根拠画像ＢＧ１ａにおいては、性状項目についての変化の根拠となる充実性に対応する部分にヒートマップ６１ａが付与されている。また、強調根拠画像ＢＧ２ａにおいては、変化が生じた性状に対応する部分、すなわち腫瘤の境界に、ヒートマップ６１ｂが付与されている。なお、図２２においては、図示を簡略化するために、ヒートマップ６１ａ，６１ｂを斜線で示している。
　第３の実施形態において、表示制御部２４は、第１および第２の医用画像Ｇ１，Ｇ２についての強調根拠画像ＢＧ１ａ，ＢＧ２ａをディスプレイ１４に表示する。具体的には、第１の実施形態と同様に、レポート作成画面をディスプレイ１４に表示し、レポート作成画面を用いた操作者の指示に応じて、強調根拠画像を表示する。
　図２３は、第３の実施形態におけるレポート作成画面を示す図である。図２３に示すように、レポート作成画面５０Ｂは、第１の実施形態におけるレポート作成画面５０と同様に、文章表示領域５１および画像表示領域５２を含む。文章表示領域５１には、指定ボタン５８および所見入力領域５４が含まれる。指定ボタン５８は、第１および第２の医用画像Ｇ１，Ｇ２の変化が発生した性状である境界の文字が付与されている。
　そして、操作者がレポート作成画面５０Ｂにおける指定ボタン５８を選択すると、表示制御部２４は、２つの医用画像Ｇ１，Ｇ２についての強調根拠画像ＢＧ１ａ，ＢＧ２ａを画像表示領域５２に表示する。図２４は第３の実施形態において強調根拠画像が表示されたレポート作成画面を示す図である。図２４に示すように、レポート作成画面５０Ｂの画像表示領域５２には、２つの強調根拠画像ＢＧ１ａ，ＢＧ２ａが表示される。操作者は表示された２つの強調根拠画像ＢＧ１ａ，ＢＧ２ａにおいて、変化が生じた性状を容易に確認することができる。
　なお、第３の実施形態においては、読影レポート作成、保存および転送については第１の実施形態と同一であるため、ここでは詳細な説明は省略する。
　また、上記第３の実施形態において、第２の実施形態と同様に、所見文に含まれる性状項目に関する語句を特定し、特定した語句が表す性状の導出の根拠となる根拠画像にアクセスするための情報を付与するようにしてもよい。
　また、上記各実施形態においては、操作者が入力した所見文を含む読影レポートを作成しているが、これに限定されるものではない。性状導出部２２が導出した性状項目に基づいて、レポート作成部２５が自動で所見文を生成するようにしてもよい。この場合、レポート作成部２５は、性状情報が入力されると性状情報を含む文章を出力するように学習がなされた学習モデルを有するものとなる。学習モデルとしては、例えばリカレントニューラルネットワークを用いることができる。
　また、上記各実施形態においては、根拠画像と根拠画像についてのヒートマップとを合成することにより、根拠領域が強調された強調根拠画像を導出しているが、これに限定されるものではない。ヒートマップを作成することなく、根拠画像における根拠領域に矢印等のマークをアノテーションとして付与したり、コメント等のテキスト情報を併せて付与したりすることにより、強調根拠画像を導出するようにしてもよい。
　また、上記各実施形態においては、診断対象を肺とした医用画像を用いて読影レポートの作成支援処理を行っているが、診断対象は肺に限定されるものではない。肺の他に、心臓、肝臓、脳、および四肢等の人体の任意の部位を診断対象とすることができる。
　ところで、読影レポートには、少なくとも１つの性状情報に基づいて読影医の診断結果が診断情報として記載されることがある。本実施形態においては、読影レポートに記載された診断情報に対して、診断情報から少なくとも１つの性状情報にアクセスするための情報を付与するようにしてもよい。なお、性状情報が複数ある場合、診断情報から性状情報のそれぞれにアクセスするための情報を付与するようにしてもよい。また、本実施形態においては、性状情報を特定した性状項目毎に根拠画像が対応づけられているため、診断情報から性状情報にアクセスする際に、根拠画像にも同時にアクセスできるようにしてもよい。
　また、上記各実施形態において、例えば、画像取得部２１、性状導出部２２、根拠画像導出部２３、表示制御部２４、レポート作成部２５、通信部２６および語句特定部２７といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　　　１　　医療情報システム
　　　２　　撮影装置
　　　３　　読影ＷＳ
　　　４　　診療科ＷＳ
　　　５　　画像サーバ
　　　６　　画像ＤＢ
　　　７　　レポートサーバ
　　　８　　レポートＤＢ
　　　１０　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２　　情報処理プログラム
　　　１３　　ストレージ
　　　１４　　ディスプレイ
　　　１５　　入力デバイス
　　　１６　　メモリ
　　　１７　　ネットワークＩ／Ｆ
　　　１８　　バス
　　　２０、２０Ａ、２０Ｂ　　情報処理装置
　　　２１　　画像取得部
　　　２２　　性状導出部
　　　２２Ａ、２２Ｂ　　学習モデル
　　　２３　　根拠画像導出部
　　　２４　　表示制御部
　　　２５　　レポート作成部
　　　２６　　通信部
　　　２７　　語句特定部
　　　２７Ａ　　学習モデル
　　　３０　　教師データ
　　　３１、６１　　ＣＮＮ
　　　３２、６２　　特徴マップ
　　　３３、６３　　全結合層
　　　３４、６４，６５　　性状情報
　　　３４Ａ，６４Ａ　　性状
　　　４０ａ、４０ｄ　　充実性の腫瘤
　　　４０ｂ　　スピキュラを伴う腫瘤
　　　４０ｃ　　分葉状の腫瘤
　　　４１ａ～４１ｃ、４２ａ～４２ｃ、６１ａ、６１ｂ　　ヒートマップ
　　　４５　　腫瘤
　　　４５ａ　　充実性部分
　　　４５ｂ　　スピキュラ部分
　　　４５ｃ　　分葉状部分
　　　４６　　断層面
　　　５０、５０Ａ、５０Ｂ　　表示画面
　　　５１　　文章表示領域
　　　５２　　画像表示領域
　　　５３Ａ～５３Ｃ、５８　　指定ボタン
　　　５４　　　所見入力領域
　　　５５　　確定ボタン
　　　５６　　表示ボタン
　　　５７Ａ～５７Ｃ　　ハイパーリンク
　　　Ａｋ、Ａ１ｋ、Ａ２ｋ　　根拠領域
　　　ＧＢｋ、ＧＢ１ｋ、ＧＢ２ｋ　　特定画像
　　　Ｈｋ、Ｈ１ｋ、Ｈ２ｋ　　ヒートマップ
　　　Ｓｉ、Ｓｋ、Ｓ１ｋ、Ｓ２ｋ　　断層画像
　　　Ｂａ、Ｂｂ、Ｂｃ，Ｂ１ａ，Ｂ２ａ　　根拠画像
　　　ＢＧａ、ＢＧｂ、ＢＧｃ、ＢＧ１ａ，ＢＧ２ａ　　強調根拠画像

Claims (10)

  1. 　少なくとも１つのプロセッサを備え、
    　前記プロセッサは、
    　画像に含まれる関心構造物に関する、予め定められた少なくとも１つの性状項目についての性状を表す性状情報を導出し、
    　前記性状項目毎に、前記関心構造物に関する前記性状の導出の根拠となる根拠領域を前記画像において特定して、該根拠領域が特定された根拠画像を導出するように構成される情報処理装置。
  2. 　前記プロセッサは、前記画像が複数の断層画像からなる３次元画像の場合、前記性状項目毎に、該性状項目の性状を最も顕著に示す前記根拠領域を含む断層画像を、前記根拠画像として前記複数の断層画像の中から選択することにより、前記根拠画像を導出するように構成される請求項１に記載の情報処理装置。
  3. 　前記プロセッサは、前記画像が複数の断層画像からなる３次元画像の場合、前記性状項目毎に、該性状項目の性状を最も顕著に示す前記根拠領域を含む根拠画像を前記複数の断層画像から生成することにより、前記根拠画像を導出するように構成される請求項１に記載の情報処理装置。
  4. 　前記プロセッサは、第１の時点で取得された第１画像と前記第１の時点とは異なる第２の時点で取得された第２画像との間で、前記関心構造物に関して変化が生じた前記性状項目についての性状を導出し、
    　前記第１画像と前記第２画像との間で前記性状に変化が生じた性状項目について、前記根拠領域を前記第１画像および前記第２画像の少なくとも一方において特定して、前記根拠画像を導出するように構成される請求項１から３のいずれか１項に記載の情報処理装置。
  5. 　前記プロセッサは、少なくとも１つの前記性状項目を指定するための指定ボタンをディスプレイに表示し、前記指定ボタンの選択により、該選択された指定ボタンに対応する性状項目についての根拠画像を前記ディスプレイに表示するように構成される請求項１から４のいずれか１項に記載の情報処理装置。
  6. 　前記プロセッサは、前記性状項目に関する語句を含む文章を解析することにより、前記文章に含まれる前記性状項目に関する語句を特定し、特定した前記語句に、前記特定した語句が表す性状の導出の根拠となる前記根拠画像にアクセスするための情報を付与し、
    　前記文章をディスプレイに表示し、前記文章において選択された前記語句に対応する前記根拠画像を前記ディスプレイに表示するように構成される請求項１から５のいずれか１項に記載の情報処理装置。
  7. 　前記プロセッサは、前記性状項目についての性状を用いて、前記文章を生成するように構成される請求項６に記載の情報処理装置。
  8. 　前記プロセッサは、前記表示された根拠画像における前記根拠領域を強調表示するように構成される請求項５から７のいずれか１項に記載の情報処理装置。
  9. 　画像に含まれる関心構造物に関する、予め定められた少なくとも１つの性状項目についての性状を表す性状情報を導出し、
    　前記性状項目毎に、前記関心構造物に関する前記性状の導出の根拠となる根拠領域を前記画像において特定して、該根拠領域が特定された根拠画像を導出する情報処理方法。
  10. 　画像に含まれる関心構造物に関する、予め定められた少なくとも１つの性状項目についての性状を表す性状情報を導出する手順と、
    　前記性状項目毎に、前記関心構造物に関する前記性状の導出の根拠となる根拠領域を前記画像において特定して、該根拠領域が特定された根拠画像を導出する手順とをコンピュータに実行させる情報処理プログラム。
PCT/JP2021/006422 2020-02-20 2021-02-19 情報処理装置、方法およびプログラム WO2021167080A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022501083A JP7420913B2 (ja) 2020-02-20 2021-02-19 情報処理装置、方法およびプログラム
DE112021001190.1T DE112021001190T5 (de) 2020-02-20 2021-02-19 Informationsverarbeitungsvorrichtung, -verfahren und -programm
US17/887,497 US20220392619A1 (en) 2020-02-20 2022-08-14 Information processing apparatus, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020027210 2020-02-20
JP2020-027210 2020-02-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/887,497 Continuation US20220392619A1 (en) 2020-02-20 2022-08-14 Information processing apparatus, method, and program

Publications (1)

Publication Number Publication Date
WO2021167080A1 true WO2021167080A1 (ja) 2021-08-26

Family

ID=77390873

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/006422 WO2021167080A1 (ja) 2020-02-20 2021-02-19 情報処理装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US20220392619A1 (ja)
JP (1) JP7420913B2 (ja)
DE (1) DE112021001190T5 (ja)
WO (1) WO2021167080A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021107098A1 (ja) * 2019-11-29 2021-06-03 富士フイルム株式会社 文書作成支援装置、文書作成支援方法及び文書作成支援プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011062283A (ja) * 2009-09-16 2011-03-31 Fujifilm Corp 医用画像情報表示装置および方法並びにプログラム
JP2016202722A (ja) * 2015-04-27 2016-12-08 コニカミノルタ株式会社 医用画像表示装置及びプログラム
JP2018175227A (ja) * 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
WO2019146357A1 (ja) * 2018-01-24 2019-08-01 富士フイルム株式会社 医療画像処理装置、方法及びプログラム並びに診断支援装置、方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019153250A (ja) 2018-03-06 2019-09-12 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011062283A (ja) * 2009-09-16 2011-03-31 Fujifilm Corp 医用画像情報表示装置および方法並びにプログラム
JP2016202722A (ja) * 2015-04-27 2016-12-08 コニカミノルタ株式会社 医用画像表示装置及びプログラム
JP2018175227A (ja) * 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
WO2019146357A1 (ja) * 2018-01-24 2019-08-01 富士フイルム株式会社 医療画像処理装置、方法及びプログラム並びに診断支援装置、方法及びプログラム

Also Published As

Publication number Publication date
DE112021001190T5 (de) 2022-12-15
JP7420913B2 (ja) 2024-01-23
JPWO2021167080A1 (ja) 2021-08-26
US20220392619A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
JP2019169049A (ja) 医用画像特定装置、方法およびプログラム
JP2019153249A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP2024009342A (ja) 文書作成支援装置、方法およびプログラム
JP2023175011A (ja) 文書作成支援装置、方法およびプログラム
WO2021167080A1 (ja) 情報処理装置、方法およびプログラム
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
US20230005580A1 (en) Document creation support apparatus, method, and program
WO2021193548A1 (ja) 文書作成支援装置、方法およびプログラム
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
WO2022070528A1 (ja) 医用画像処理装置、方法およびプログラム
WO2021177312A1 (ja) 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
WO2022153702A1 (ja) 医用画像表示装置、方法およびプログラム
WO2022064794A1 (ja) 画像表示装置、方法およびプログラム
WO2021107142A1 (ja) 文書作成支援装置、方法およびプログラム
WO2022113587A1 (ja) 画像表示装置、方法およびプログラム
WO2021172477A1 (ja) 文書作成支援装置、方法およびプログラム
JP7371220B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022220158A1 (ja) 作業支援装置、作業支援方法、及び作業支援プログラム
US20230102418A1 (en) Medical image display apparatus, method, and program
JP7361930B2 (ja) 医用画像処理装置、方法およびプログラム
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム
WO2021107098A1 (ja) 文書作成支援装置、文書作成支援方法及び文書作成支援プログラム
US20230102745A1 (en) Medical image display apparatus, method, and program
WO2020241857A1 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
JP2024056812A (ja) 医用画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21756229

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022501083

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21756229

Country of ref document: EP

Kind code of ref document: A1