WO2019176407A1 - 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル - Google Patents

学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル Download PDF

Info

Publication number
WO2019176407A1
WO2019176407A1 PCT/JP2019/004771 JP2019004771W WO2019176407A1 WO 2019176407 A1 WO2019176407 A1 WO 2019176407A1 JP 2019004771 W JP2019004771 W JP 2019004771W WO 2019176407 A1 WO2019176407 A1 WO 2019176407A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
interest
image
name
learning
Prior art date
Application number
PCT/JP2019/004771
Other languages
English (en)
French (fr)
Inventor
晶路 一ノ瀬
佳児 中村
嘉郎 北村
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020505688A priority Critical patent/JP7080304B2/ja
Publication of WO2019176407A1 publication Critical patent/WO2019176407A1/ja
Priority to US17/000,363 priority patent/US11468659B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to a learning support device, a learning support method, a learning support program, a region of interest discrimination device, a region of interest discrimination method, a region of interest discrimination program, and a learned model.
  • a region name in an anatomical organ name is specified and a disease name is diagnosed.
  • a plurality of regions are specified for a three-dimensional medical image such as a brain (region segmentation).
  • region segmentation as shown to the nonpatent literature 1, the semantic segmentation which grasps
  • the image of the region of interest is extracted from the image of the region of interest.
  • the name is being determined.
  • learning with a large amount of high-quality teacher data in line with the purpose is indispensable. It is considered that teacher data is acquired from a large amount of data such as an interpretation report stored in a medical information system such as PACS (Picture Archiving and Communication System).
  • PACS Picture Archiving and Communication System
  • the present invention can easily acquire a large amount of teacher data including the image of the region of interest and the name of the region of interest. It is an object to provide a learning support device, a learning support method, a learning support program, a region of interest discrimination device, a region of interest discrimination method, a region of interest discrimination program, and a learned model.
  • the learning support apparatus of the present invention includes a storage unit, an acquisition unit, a registration unit, and a learning unit.
  • the storage unit stores an interpretation report including image and character information.
  • the acquisition unit analyzes the image interpretation report to acquire the image of the region of interest included in the image and the name of the region of interest included in the character information.
  • the registration unit registers teacher data including the image of the region of interest acquired by the acquisition unit and the name of the region of interest.
  • the learning unit uses a plurality of teacher data registered in the registration unit to perform learning for generating a discrimination model that outputs an image of a region of interest and a name of the region of interest in response to input of an image of an interpretation report.
  • the acquisition unit acquires the position information of the region of interest by analyzing the interpretation report.
  • the image interpretation report has link information that associates the finding information included in the character information with the position information of the region of interest included in the image, and the acquisition unit preferably acquires the position information of the region of interest from the link information. .
  • the interpretation report has annotation information attached around the region of interest, and the acquisition unit acquires the position information of the region of interest from the annotation information.
  • the acquisition unit acquires the image of the region of interest and the position information of the region of interest by the region of interest determination unit that determines the region of interest from the image of the interpretation report.
  • the learning unit When the learning unit acquires the names of a plurality of regions of interest including a first name and a second name different from the first name by analyzing the interpretation report, the learning unit uses the first name as the region of interest. It is preferable to perform learning using the first teacher data including the name and the second teacher data including the second name as the name of the region of interest.
  • the learning unit When the names of a plurality of regions of interest are acquired by analyzing the interpretation report, the learning unit preferably performs learning using region position information related to the position information of the region of interest in addition to the teacher data. .
  • the acquisition unit refers to the hierarchical structure database that stores the names of the superordinate concepts or subordinate concepts corresponding to the superordinate concepts or subordinate concepts with respect to the name of the region of interest, and determines the names of the superordinate concepts or subordinate concepts from the names of the regions of interest. It is preferable that the learning unit performs learning using the teacher data including the image of the region of interest and the name of the superordinate concept or the subordinate concept.
  • the acquisition unit refers to a similar name database in which a plurality of similar names similar to each other for the name of the region of interest are stored in advance, determines a representative name from the plurality of similar names, and the learning unit It is preferable to perform learning using teacher data including an image of a region and a representative name.
  • the acquisition unit newly acquires the image of the region of interest and the name of the region of interest when the interpretation report is newly stored in the storage unit, and the registration unit acquires the image of the region of interest newly acquired by the acquisition unit and the interest
  • the learning unit is updated by re-learning using a plurality of teacher data including the new teacher data when the new teacher data is registered. It is preferable to generate a discriminant model.
  • the acquisition unit when a newly stored interpretation report and a past interpretation report for the same patient are stored in the storage unit, an image of the past interpretation report and a newly stored interpretation report By aligning the image with the newly acquired image of the region of interest, the image of the region of interest included in the image of the past interpretation report is acquired, and the registration unit obtains the region of interest acquired based on the past image interpretation report.
  • the past image teacher data consisting of the image and the name of the newly acquired region of interest is registered, and when the past image teacher data is registered, the learning unit uses a plurality of teacher data including the past image teacher data. It is preferable to generate an updated discrimination model by learning again.
  • the interpretation report preferably includes an electronic medical record.
  • the acquisition unit acquires an anatomical organ name, a zone name, a disease name, and a medical condition as the name of the region of interest. More specifically, the area name is preferably an area name of the lung, liver, or brain.
  • the learning support method of the present invention includes a storage unit, an acquisition unit, a registration unit, and a learning support method of a learning support device including a learning unit, and the acquisition unit includes the image by analyzing the interpretation report.
  • the learning support method of the present invention is a learning support program for causing a computer to function as a storage unit, an acquisition unit, a registration unit, and a learning unit.
  • Another learning support apparatus of the present invention is a computer having a memory and a processor, which stores an image interpretation report including an image and character information, and analyzes the image interpretation report to analyze a region of interest included in the image.
  • the image and the name of the region of interest included in the text information are acquired, the teacher data consisting of the acquired image of the region of interest and the name of the region of interest is registered, and the image of the interpretation report is obtained using a plurality of registered teacher data
  • a processor that performs learning to generate a discrimination model that outputs an image of the region of interest and a name of the region of interest.
  • the region-of-interest discrimination apparatus of the present invention includes a storage unit, an acquisition unit, a registration unit, a learning unit, and a discrimination unit.
  • the determination unit determines the image of the region of interest and the name of the region of interest using the determination model.
  • the region-of-interest discrimination method of the region-of-interest discrimination apparatus of the present invention includes an acquisition step, a registration step, and a region-of-interest discrimination device including a storage unit, an acquisition unit, a registration unit, a learning unit, and a discrimination unit.
  • the learning step includes a determination step of determining the image of the region of interest and the name of the region of interest using a determination model when the image of the interpretation report is input.
  • the region-of-interest discriminating program of the region-of-interest discriminating apparatus uses a discrimination model when a computer, a storage unit, an acquisition unit, a registration unit, a learning unit, and an image of an interpretation report are input. It functions as a discriminating unit that discriminates the image of the region and the name of the region of interest.
  • the learned model of the present invention includes a computer, a storage unit, an acquisition unit, a registration unit, a learning unit, and an image of an interpretation report. It functions as a discriminating unit for discriminating the name of each.
  • the present invention it is possible to provide a learning support apparatus, a learning support method, and a learning support program for easily acquiring teacher data necessary for learning in the medical field from an interpretation report and generating a discrimination model.
  • the medical information system 2 includes a modality 11, an interpretation doctor terminal 12, a clinician terminal 13, an image management server 14, an image database 15, an interpretation report server 16, an interpretation report database 17, A learning support device 18 and an order management server 19 are included.
  • the modality 11, the interpretation doctor terminal 12, the clinician terminal 13, the image management server 14, the image database 15, the interpretation report server 16, the interpretation report database 17, the learning support device 18, and the order management server 19 are laid in a medical facility.
  • a network 21 which is a local network such as a LAN (Local Area Network).
  • LAN Local Area Network
  • This medical information system 2 is based on examination orders from clinicians using a well-known ordering system, imaging and storage of a region to be examined of a subject, interpretation of images taken by an interpreting physician, and creation of an interpretation report And a system for browsing an interpretation report and a detailed observation of an image to be interpreted by a requesting clinician.
  • An application program for causing each device to function as a component of the medical information system 2 is installed.
  • the application program may be installed from a recording medium such as a CD-ROM or after being downloaded from a storage device of a server connected via a network such as the Internet.
  • the modality 11 shoots a region to be examined of a subject to generate an inspection image 22 representing the region, and adds incidental information defined by the DICOM (Digital Imaging and Communication Communication in Medical) standard to the image.
  • the modality 11 includes a device that captures an image having three-dimensional organ information as the examination image 22.
  • Specific examples include a CT (Computed Tomography) apparatus 11A, an MRI (Magnetic Resonance Imaging) apparatus 11B, a PET (Positron Emission Tomography) apparatus (not shown), an ultrasonic apparatus (not shown).
  • a lung is exemplified as an organ to be inspected that is imaged by the modality 11 and generates an image.
  • the radiology doctor terminal 12 is a computer used by radiology radiology doctors to interpret images and create interpretation reports.
  • a CPU Central Processing Unit
  • a main storage device a main storage device
  • an auxiliary storage device an input / output interface
  • a communication interface an input
  • a known hardware configuration such as a device, a display device, and a data bus is provided, a known operation system is installed, and the display device has one or more high-definition displays.
  • an image transmission request to the image management server 14, display of an image received from the image management server 14, automatic detection and highlighting of a portion that appears to be a lesion in the image, and creation and display of an interpretation report 23 Each process is performed by executing a software program for each process.
  • the interpretation doctor terminal 12 transfers the generated interpretation report 23 to the interpretation report server 16 via the network 21 and requests registration of the interpretation report in the interpretation report database 17.
  • the clinician terminal 13 is a computer used by doctors in the clinic for detailed observation of images, reading of interpretation reports, browsing and input of electronic medical records, and the like, CPU, main storage device, auxiliary storage device, input / output It has a well-known hardware configuration such as an interface, a communication interface, an input device, a display device, and a data bus. A well-known operation system is installed, and the display device has one or more high-definition displays. Yes.
  • an image browsing request to the image management server 14 display of an image received from the image management server 14, automatic detection or highlighting of a portion that appears to be a lesion in the image, and interpretation report to the interpretation report server 16.
  • Each process such as a browsing request and display of an interpretation report received from the interpretation report server 16 is performed by executing a software program for each process.
  • the image management server 14 incorporates a software program that provides a database management system (DBMS) function in a general-purpose computer.
  • the image management server 14 includes a large-capacity storage in which the image database 15 is configured.
  • This storage may be a large-capacity hard disk device connected to the image management server 14 through a data bus, or connected to a NAS (Network Attached Storage) or a SAN (Storage Area Network) connected to the network 21. It may be a disk device.
  • examination images (image data) 22 obtained by photographing a plurality of patients with the modality 11 and accompanying information are registered.
  • the incidental information includes, for example, an image ID (identification) for identifying individual images, a patient ID for identifying a subject, an examination ID for identifying examinations, and a unique ID assigned to each examination image 22 ( (UID: unique identification), examination date when the examination image 22 was generated, examination time, type of modality 11 used in the examination to obtain the examination image, patient information such as patient name, age and gender, examination Information such as a part (imaging part), an imaging condition (whether or not a contrast medium is used or a radiation dose), and a series number when a plurality of tomographic images are acquired in one examination is included.
  • the image management server 14 When the image management server 14 receives a browsing request from the interpretation doctor terminal 12 via the network 21, the image management server 14 searches for the examination image registered in the image database 15 and reads the extracted examination image as the interpretation of the request source. Transmit to the medical terminal 12.
  • the interpretation report server 16 When the interpretation report server 16 receives a registration request for the interpretation report 23 from the interpretation doctor terminal 12 when a software program for providing a database management system (DataBase Management System: DBMS) function is incorporated in a general-purpose computer, the interpretation report is received. 23 is prepared in a database format and registered in the interpretation report database 17.
  • DBMS Database Management System
  • the interpretation report database 17 includes, for example, an image ID for identifying an interpretation target image or a representative image, an interpretation doctor ID for identifying an interpretation doctor who has performed interpretation, a lesion name, lesion position information, findings, and belief in findings.
  • An interpretation report 23 in which information such as the degree is recorded is registered.
  • the order management server 19 receives the examination order issued by the clinician terminal 13 and manages the accepted examination order.
  • the examination order includes, for example, an order ID for identifying each examination order, a terminal ID or a clinician ID of the clinician terminal 13 that has issued the examination order, and a patient to be imaged by the examination order (hereinafter, referred to as “order ID”).
  • Patient ID of the subject examination purpose such as follow-up observation, imaging parts such as head and chest, orientation such as lying on the back and lying down.
  • the radiology examination engineer confirms the contents of the examination order with the order management server 19, sets the imaging condition corresponding to the confirmed examination order in the modality 11, and takes a medical image.
  • the region-of-interest discriminating device 25 is incorporated in, for example, the interpretation doctor terminal 12 and discriminates the image of each area of an organ or a part that appears to be a lesion in the examination image 22 and the name of each area of the organ and the region of interest.
  • the interpretation doctor terminal 12 performs color-coded display of each area of the organ or highlighting of the region of interest based on the determination result.
  • FIG. 2 is a functional block of the learning support device 18 constituting the region of interest discrimination device 25.
  • the region-of-interest discrimination device 25 of the present invention is used together with the learning support device 18 connected to the network 21 and the interpretation report database 17 (see FIG. 1).
  • the interpretation report database 17 functions as a storage unit of the present invention.
  • the learning support device 18 is composed of a general-purpose computer, and includes a main storage device such as a CPU, HDD (hard disc drive), and SSD (solid state drive), an auxiliary storage device, an input / output interface, a communication interface, an input device, and a display device.
  • a known hardware configuration such as a data bus is provided, and a known operation system is installed. Further, data is transmitted / received to / from the image database 15 and the interpretation report database 17 connected to the network 21 via the communication interface.
  • the learning support device 18 is provided independently of the interpretation doctor terminal 12, the clinician terminal 13, the image management server 14, and the interpretation report server 16, but is not limited thereto. You may provide in any one of these servers or a terminal.
  • the learning support device 18 includes an acquisition unit 26, a registration unit 27, a storage device 28, a learning unit 29, and a control unit 31.
  • the obtaining unit 26 analyzes the image interpretation report 23 to obtain the image of the region of interest included in the inspection image 22 of the image interpretation report 23 and the name of the region of interest included in the character information of the image interpretation report 23.
  • the name of the lung area is acquired as the name of the region of interest.
  • the lung as an anatomical organ is divided into lung lobes or lung areas.
  • the right lung RL is divided into right upper lobe RUL (rightrupper love), right middle lobe RML (right middle love), and right lower lobe RLL (rightLlowerrlove) as the lung lobe
  • the left lung LL is the upper left lobe as the lung lobe It is divided into LUL (left upper love) and left lower leaf LLL (left lower love).
  • the right upper lobe RUL is the right pulmonary apex S1 (hereinafter abbreviated as right S1. The same applies to the following lung areas), the right rear upper lobe S2, and the right front upper lobe. It is divided into S3.
  • the right middle lobe RML is divided into a right outer middle lobe section S4 and a right inner middle lobe section S5 as lung sections.
  • the lower right lobe RLL is divided into upper right lobe / lower lobe section S6, right inner lung base section S7, right front lung base section S8, right outer lung base section S9, and right rear lung base section S10 as lung sections.
  • the left upper lobe LUL is divided into a left posterior apex segment S1 + 2, a left anterior upper lobe segment S3, a left upper tongue segment S4, and a left lower tongue segment S5 as lung segments.
  • the lower left lobe LLL is divided into a left upper lobe / lower lobe segment S6, a left anterior lung floor segment S8, a left outer lung floor segment S9, and a left rear lung floor segment S10.
  • the control unit 31 controls the processing flow of the acquisition unit 26, the registration unit 27, and the learning unit 29.
  • a process in which the acquisition unit 26 acquires the image of the region of interest included in the examination image 22 of the interpretation report 23 and the name of the region of interest included in the character information of the interpretation report 23 will be described with reference to FIGS. 4 and 5. .
  • the interpretation report 23 includes an inspection image 22 to be interpreted, supplementary information 23A, finding information 23B, and link information 23C.
  • the accompanying information 23A is character information attached to the examination image 22 to be interpreted, such as a patient ID, examination ID, and examination date.
  • the finding information 23 ⁇ / b> B is obtained by editing the findings of the interpreting doctor who has interpreted the examination image 22 to be interpreted, and is character information input by the interpreting doctor terminal 12.
  • the link information 23C is used when the interpretation report 23 is displayed on the display as will be described later, and is link information that associates the finding information 23B with the position information of the region of interest included in the examination image 22.
  • FIG. 5 is an example of a display screen 32 when the interpretation report 23 is displayed on the display of the interpretation doctor terminal 12 or the clinician terminal 13.
  • an auxiliary information display field 32A in which the auxiliary information 23A is displayed in which the auxiliary information 23A is displayed, an observation field 32B in which the observation information 23B is displayed, and an image display in which thumbnail images of the examination image 22 to be interpreted are displayed.
  • “pulmonary nodule” indicating the lesion name of the region of interest
  • “right S1” which is the lung area name of the region of interest
  • the interpretation report 23 includes link information 23C.
  • This link information 23C is included in the wording of “pulmonary nodule” indicating the lesion name and the examination image 22 in the observation information 23B. Associate with the location information of the region of interest included. Specifically, the position information of the region of interest is the coordinates of the region of interest in the inspection image 22 and a range centered on the coordinates.
  • the link information 23C when the interpreting doctor terminal 12 or the clinician terminal 13 is operated and “pulmonary nodule” highlighted in the display screen 32 is selected, it is based on the position information of the related region of interest.
  • the image 22A of the region of interest can be displayed on the display. In the example shown in FIG.
  • An image 32D enlarged by centering on the position information of the region of interest included in the link information 23C is displayed.
  • the acquisition unit 26 analyzes the characters of the finding information 23 ⁇ / b> B of the interpretation report 23, acquires “right S ⁇ b> 1” indicating the name of the lung region as the name of the region of interest, and interprets the interpretation report
  • the registration unit 27 registers the teacher data 33 including the region of interest image 22 ⁇ / b> A acquired by the acquisition unit 26 and the name of the region of interest in the storage device 28.
  • the storage device 28 may be a part of a storage device such as an HDD (hard disc drive) or SSD (solid state drive) provided in the learning support device 18, or may be a storage device connected via the network 21. Good.
  • the registration unit 27 registers a plurality of teacher data 33 and, for example, until a predetermined number of teacher data 33 is registered in the storage device 28 for machine learning described later, or an interpretation report. Until the teacher data 33 based on all the interpretation reports 23 registered in the database 17 is registered, the acquisition of the image 22A of the region of interest and the name of the region of interest from the interpretation report 23 and the registration of the teacher data 33 are repeated.
  • the learning unit 29 uses a plurality of teacher data 33 registered in the storage device 28 and outputs a discrimination model 34 that outputs an image 22A of the region of interest and the name of the region of interest in response to the input of the inspection image 22 of the interpretation report 23. Learning to generate.
  • the discrimination model 34 is generated using a machine learning method such as deep learning. For example, a plurality of teacher data 33 are input, and the machine learning algorithm is made to learn the relationship between the position information of the region of interest and the feature amount (pixel value, etc.) of each voxel.
  • machine learning is performed so that the error between the position information obtained when a feature amount around the region of interest among the feature amounts of each voxel is input and the position information of the region of interest in the teacher data 33 is minimized.
  • the learning weighting coefficient used in the algorithm is updated.
  • the discrimination model 34 generated by the learning unit 29 is transmitted to the region of interest discrimination device 25.
  • the determination unit 35 of the region-of-interest determination device 25 outputs the image 22A of the region of interest in the inspection image 22 and the name of the region of interest using the determination model 34. .
  • the discrimination model 34 includes a weighting coefficient determined by using the above-described machine learning method.
  • the discrimination model 34 is used for discriminating the region of interest image 22A and the region of interest name. It is done.
  • the discriminating unit 35 discriminates the image of the region of interest and the name of the region of interest in the examination image using the discrimination model 34.
  • the discriminating unit 35 displays, for example, the discriminated region-of-interest image 36 and the region-of-interest name 37 on the display of the region-of-interest discriminating apparatus 25.
  • the learning support device 18 first reads the interpretation report 23 regarding the lung disease from the interpretation report database 17 (S101).
  • the acquisition unit 26 acquires the image of the region of interest included in the examination image 22 of the interpretation report 23 and the name of the region of interest included in the character information of the interpretation report 23 (S102), and the registration unit 27 acquires The teacher data 33 including the image of the region of interest acquired by the unit 26 and the name of the region of interest is registered in the storage device 28 (S103).
  • a certain “right S1” the position information of the region of interest included in the link information 23C is acquired.
  • the learning unit 29 performs learning for generating the discrimination model 34 using a plurality of registered teacher data 33 (S104). ).
  • the generated discrimination model 34 is transmitted to the region of interest discrimination device 25.
  • the discrimination unit 35 When a new examination image 22 is input to the region of interest discrimination device 25 (YES in S105), the discrimination unit 35 outputs the image of the region of interest and the name of the region of interest in the examination image 22 using the discrimination model 34. . For example, color-coded display of lung areas or name display of lung areas is performed (S106).
  • the learning support device 18 performs learning based on the teacher data including the image of the region of interest acquired from the image interpretation report 23 and the name of the region of interest, and thus has been conventionally used in medical information systems.
  • Teacher data can be obtained from the interpretation report, and teacher data necessary for learning can be easily obtained.
  • the discrimination model 34 can be generated using the teacher data and the discrimination model 34 is generated based on the interpretation report in which correct information is recorded, the discrimination accuracy can be easily improved.
  • the region-of-interest discriminating device 25 capable of outputting “right S1” as the region of interest is illustrated, but the present invention is not limited to this, and a plurality of regions of interest can be discriminated simultaneously. That is, a discriminant model that can discriminate a plurality of regions of interest at the same time, such as “right S1” for a certain range of voxels in the input inspection image and “right S2” for another range of voxels. You may create it. Further, such a discrimination model may be applied to the region of interest discrimination device so that a plurality of regions of interest can be discriminated simultaneously.
  • the acquisition unit 26 may acquire the position information of the region of interest from the annotation information.
  • the annotation information is information added as annotation to image data or the like.
  • an arrow 38 as annotation information is included in the inspection image 22, and the arrow 38 is around the region of interest. It is attached to.
  • the acquisition unit 26 acquires, for example, the coordinates of the tip position of the arrow 38 in the inspection image 22 as position information.
  • the acquisition unit 26 may include a region of interest determination unit, and the region of interest determination unit may determine the region of interest from the inspection image 22 of the interpretation report 23.
  • the region-of-interest discriminating unit has the same configuration as the region-of-interest discriminator 25 of the above-described embodiment. Is registered and registered as new teacher data.
  • the acquisition unit 26 analyzes the image interpretation report 23 and acquires the names of a plurality of regions of interest including a first name and a second name different from the first name.
  • the learning unit 29 performs learning using the first teacher data including the first name as the name of the region of interest and the second teacher data including the second name as the name of the region of interest.
  • the registration unit 27 registers the teacher data 33 using the name “right S1” and the teacher data 33 using the name “right S2”.
  • the learning unit 29 receives an error in the position information of the region of interest when the teacher data 33 using the name “right S1” is input and the region of interest when the teacher data 33 using the name “right S2” is input.
  • the weighting coefficient for learning used in the machine learning algorithm is updated so that both of the position information errors of the machine learning algorithm are reduced. Thereby, the accuracy of learning can be improved.
  • the learning unit 29 obtains region position information related to the region information of the region of interest in addition to the teacher data 33. It is good also as a structure which uses and learns.
  • the learning unit 29 stores in advance region position information, for example, that the right S4 exists on the side of the lung and the right S5 exists on the inside as the region position information.
  • the acquisition unit 26 analyzes the interpretation report 23 and acquires two names “right S4” and “right S5”
  • the learning unit 29 uses the region position information to acquire the lung outer surface of the region of interest. Half of the direction is learned as “right S4”, and half of the lung inner surface direction is learned as “S5”.
  • the acquisition unit 26 refers to the hierarchical structure database to acquire the name of the superordinate concept or the subordinate concept
  • the learning unit 29 uses the teacher data 33 including the image of the region of interest and the name of the superordinate concept or the subordinate concept.
  • the hierarchical structure database may be, for example, a part of a storage device provided in the learning support device 18 or a database connected via the network 21.
  • the hierarchical structure database stores the names of the superordinate concepts or subordinate concepts corresponding to the superordinate concepts or subordinate concepts for the name of the region of interest.
  • the classification of lung lobes and lung areas is stored in the hierarchical structure database, and the hierarchical structure of right lung> upper right lobe> right S1 is stored in order from the higher concept to the lower concept.
  • the learning unit 29 refers to the hierarchical structure database and acquires “upper right lobe” and “right lung”, which are the names of the upper concepts.
  • the names “upper right lobe” and “right lung” are also learned as teacher data 33 in the same manner as in the above embodiment.
  • the acquisition unit 26 refers to the similar name database 39 to determine a representative name from a plurality of similar names, and the learning unit 29 receives the teacher data 33 including the image of the region of interest and the representative name. It is good also as a structure which uses and learns.
  • the similar name database 39 may be, for example, a part of the storage device provided in the learning support device 18 or a database connected via the network 21.
  • the similar name database 39 is a database in which a plurality of similar names that are similar to each other with respect to the name of the region of interest are stored in advance.
  • the similar name database 39 includes a plurality of similar names such as area names; The name is stored.
  • the acquisition unit 26 determines “right S3” as the representative name, and the learning unit 29 uses the teacher data 33 including the image of the region of interest and “right S3” as the name. Learning similar to the embodiment is performed.
  • the acquisition unit 26 newly acquires the image of the region of interest and the name of the region of interest
  • the registration unit 27 newly uses the acquisition unit 26.
  • New teacher data 33 including the acquired image of the region of interest and the name of the region of interest is registered
  • the learning unit 29 includes the teacher data including the new teacher data 33 when the new teacher data 33 is registered. It is preferable to generate the updated discriminant model 34 by re-learning using a plurality of. Thereby, the discrimination accuracy of the discrimination model 34 can be improved.
  • the interpretation report 23 created by the interpretation doctor using the interpretation doctor terminal 12 or the like is taken as an example, but an image and character information similar to the interpretation report 23 of the above embodiment, such as an electronic medical record, are included. If it is.
  • information about the region of interest is acquired from the interpretation report and registered as teacher data.
  • the present invention is not limited to this, and past interpretation reports that do not include information about the region of interest are stored. If this is the case, teacher data may be registered using this past interpretation report and a newly stored interpretation report.
  • the acquisition unit 26 stores the previously stored interpretation report 23 and the past interpretation report 43 targeting the same patient in the interpretation report database 17.
  • the image of the past interpretation report 43, the newly stored examination image 22 of the interpretation report 23, and the newly acquired image 22A of the region of interest are aligned by image processing or the like.
  • An image 42B of the region of interest included in the inspection image 42 is acquired.
  • the acquisition unit 26 determines that the interpretation reports 23 and 43 are for the same patient from the patient IDs included in the incidental information 23A and 43A.
  • the registration unit 27 registers the past image teacher data 44 including the region of interest image 42B acquired based on the past interpretation report 43 and the newly acquired region of interest name, and the learning unit 29 stores the past image teacher data.
  • an updated discrimination model 34 is generated by re-learning using a plurality of teacher data 33 including the past image teacher data 44. Thereby, since the number of teacher data can be further increased, the discrimination accuracy of the discrimination model 34 can be improved.
  • the acquisition unit 26 uses the anatomical organ name as the name of the region of interest and the lung as the area name as an example.
  • the acquisition unit 26 is not limited thereto, and as illustrated in FIG. It may be applied to leaves S1, left leaves S2, S3, S4, right leaves S5, S6, S7, etc.), or may be applied to each area of the brain.
  • the acquisition unit 26 may acquire a disease name and a medical condition as the region of interest.
  • the learning support device 18 is provided separately from the region-of-interest discriminating device 25.
  • the learning support device 18 may be integrated into the region-of-interest discriminating device 25.
  • the hardware structure of the processing unit that executes various processes such as the acquisition unit 26, the registration unit 27, the learning unit 29, and the determination unit 35 is, for example, as described above.
  • the CPU is a general-purpose processor that executes programs and functions as various processing units. Various processors may be used instead of all or part of the functions realized by the CPU. More specifically, the hardware structure of these various processors is an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the hardware structure of the storage unit is a storage device such as a hard disk drive (HDD) or a solid state drive (SSD).
  • the present invention extends to a storage medium that stores the program.
  • the present invention can also be applied to fields other than the medical field using interpretation reports. Any specific information including character information and image information may be used.
  • the information may be applied to information using a photographic image (image data) including character information or information using SNS (social networking service) information.
  • a storage unit for storing specific information including image and character information; By acquiring the image of the region of interest included in the image and the name of the region of interest included in the character information by analyzing the text information, A registration unit for registering teacher data including the image of the region of interest acquired by the acquisition unit and the name of the region of interest; A learning unit for generating a discrimination model that outputs the image of the region of interest and the name of the region of interest in response to the input of the image of the specific information using the teacher data registered in the registration unit; Learning support device.
  • the specific information includes character information included in a photographic image.
  • the specific information is SNS information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

読影レポートから医療分野において学習に必要な教師データを容易に取得し、判別モデルを生成するための学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデルを提供する。学習支援装置１８は、取得部２６、登録部２７、記憶装置２８、学習部２９、および制御部３１で構成される。取得部２６は、読影レポート２３を解析することにより、関心領域の画像と、関心領域の名称とを取得する。登録部２７は、取得部２６により取得した関心領域の画像と関心領域の名称とからなる教師データを記憶装置２８に登録する。学習部２９は、記憶装置２８に登録された教師データ３３を複数用いて、読影レポート２３の検査画像２２の入力に対して、関心領域の画像及び関心領域の名称を出力する判別モデル３４を生成するための学習を行う。

Description

学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル
　本発明は、学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデルに関する。
　医療分野においては、解剖学的臓器名における領域名称を特定し、病名を診断することが行われている。例えば、特許文献１では、脳などの３次元医療画像に対して、複数の領域を特定することが行われている（領域セグメンテーション）。なお、領域のセグメンテーションとしては、例えば、非特許文献１に示すように、画像を画素レベルで把握するセマンティックセグメンテーションが用いられる場合がある。
特開２０１６－２０２９０４号公報
A Review on Deep Learning Techniques Applied to Semantic Segmentation
　解剖学的臓器名、区域名、病名、病状など関心領域の名称とその関心領域の画像とを、ディープラーニングなどの機械学習を用いて、学習させた上で、関心領域の画像から関心領域の名称を判定することが行われつつある。関心領域の名称を正確に判定するためには、ディープラーニングにおいて、目的に沿った大量かつ良質の教師データによる学習が不可欠である。教師データについては、ＰＡＣＳ（Picture Archiving and Communication System）などの医療情報システムに保管されている読影レポートなどの大量のデータから取得することが検討されている。しかしながら、大量のデータの中から教師データに役に立つデータを手動で判別するのは合理的ではない。
　本発明は、関心領域の画像から関心領域の名称等を判定するための判別モデルを生成する場合において、関心領域の画像と関心領域の名称とからなる教師データを大量に且つ容易に取得することができる学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデルを提供することを目的とする。
　上記目的を達成するために、本発明の学習支援装置は、記憶部と、取得部と、登録部と、学習部とを備えている。記憶部は、画像及び文字情報を含む読影レポートを記憶している。取得部は、読影レポートを解析することにより、画像に含まれる関心領域の画像と文字情報に含まれる関心領域の名称とを取得する。登録部は、取得部により取得した関心領域の画像と関心領域の名称とからなる教師データを登録する。学習部は、登録部に登録された教師データを複数用いて、読影レポートの画像の入力に対して、関心領域の画像及び関心領域の名称を出力する判別モデルを生成するための学習を行う。
　取得部は、読影レポートを解析することにより、関心領域の位置情報を取得することが好ましい。
　読影レポートは、文字情報に含まれる所見情報と、画像に含まれる関心領域の位置情報とを関連付けるリンク情報を有し、取得部は、リンク情報から、関心領域の位置情報を取得することが好ましい。
　読影レポートには、関心領域の周囲に付されたアノテーション情報を有し、取得部は、アノテーション情報から、関心領域の位置情報を取得することが好ましい。
　取得部は、読影レポートの画像から関心領域を判別する関心領域判別部によって、関心領域の画像及び関心領域の位置情報を取得することが好ましい。
　学習部は、読影レポートを解析することにより、第１の名称と第１の名称と異なる第２の名称を含む複数の関心領域の名称を取得した場合には、関心領域の名称として第１の名称を含む第１の教師データと、関心領域の名称として第２の名称を含む第２の教師データとを用いて、学習を行うことが好ましい。
　読影レポートを解析することにより、複数の関心領域の名称を取得した場合には、学習部は、教師データに加えて、関心領域の位置情報に関する領域位置情報を用いて、学習を行うことが好ましい。
　取得部は、関心領域の名称に対して上位概念又は下位概念に対応する上位概念又は下位概念の名称を記憶する階層構造データベースを参照して、関心領域の名称から、上位概念又は下位概念の名称を取得し、学習部は、関心領域の画像と上位概念又は下位概念の名称とからなる教師データを用いて、学習を行うことが好ましい。
　取得部は、関心領域の名称に対して互いに類似する複数の類似の名称を予め記憶した類似名称データベースを参照して、複数の類似の名称から、代表の名称を決定し、学習部は、関心領域の画像と代表の名称とからなる教師データを用いて、学習を行うことが好ましい。
　取得部は、記憶部に読影レポートが新規に記憶された場合に、関心領域の画像および関心領域の名称を新規に取得し、登録部は、取得部により新規に取得した関心領域の画像と関心領域の名称とからなる新規の教師データを登録し、学習部は、新規の教師データが登録された場合に、新規の教師データを含めた教師データを複数用いて再度学習することにより、更新された判別モデルを生成することが好ましい。
　取得部は、新規に記憶された読影レポートと、同一の患者を対象とする過去の読影レポートが記憶部に記憶されている場合、過去の読影レポートの画像と、新規に記憶された読影レポートの画像と、新規に取得した関心領域の画像を位置合わせすることにより、過去の読影レポートの画像に含まれる関心領域の画像を取得し、登録部は、過去の読影レポートに基づき取得した関心領域の画像と、新規に取得した関心領域の名称とからなる過去画像教師データを登録し、学習部は、過去画像教師データが登録された場合に、過去画像教師データを含めた教師データを複数用いて再度学習することにより、更新された判別モデルを生成することが好ましい。
　読影レポートには、電子カルテが含まれることが好ましい。
　取得部は、関心領域の名称として、解剖学的臓器名、区域名、病名、病状を取得することが好ましい。区域名としては、より具体的には、肺、肝臓、脳の区域名であることが好ましい。
　本発明の学習支援方法は、記憶部と、取得部と、登録部と、学習部とを備えた学習支援装置の学習支援方法において、取得部が、読影レポートを解析することにより、画像に含まれる関心領域の画像と文字情報に含まれる関心領域の名称とを取得する取得ステップと、登録部が、取得部により取得した関心領域の画像と関心領域の名称とからなる教師データを登録する登録ステップと、教師データを複数用いて、読影レポートの画像の入力に対して、関心領域の画像及び関心領域の名称を出力する判別モデルを生成するための学習を行う学習ステップとを備えている。
　本発明の学習支援方法は、コンピュータを、記憶部と、取得部と、登録部と、学習部として機能させるための学習支援プログラムである。また、発明の他の学習支援装置は、メモリーとプロセッサを有するコンピュータであって、画像及び文字情報を含む読影レポートを記憶したメモリーと、読影レポートを解析することにより、画像に含まれる関心領域の画像と文字情報に含まれる関心領域の名称とを取得し、取得した関心領域の画像と関心領域の名称とからなる教師データを登録し、登録された教師データを複数用いて、読影レポートの画像の入力に対して、関心領域の画像及び関心領域の名称を出力する判別モデルを生成するための学習を行うプロセッサとを備えた学習支援装置である。
　本発明の関心領域判別装置は、記憶部と、取得部と、登録部と、学習部と、判別部とを備えている。判別部は、読影レポートの画像が入力された場合、判別モデルを用いて、関心領域の画像及び関心領域の名称を判別する。
　本発明の関心領域判別装置の関心領域判別方法は、記憶部と、取得部と、登録部と、学習部と、判別部とを備えた関心領域判別装置において、取得ステップと、登録ステップと、学習ステップと、判別部が、読影レポートの画像が入力された場合、判別モデルを用いて、関心領域の画像及び関心領域の名称を判別する判別ステップとを備えている。
　本発明の関心領域判別装置の関心領域判別プログラムは、コンピュータを、記憶部と、取得部と、登録部と、学習部と、読影レポートの画像が入力された場合、判別モデルを用いて、関心領域の画像及び関心領域の名称を判別する判別部として機能させる。
　本発明の学習済みモデルは、コンピュータを、記憶部と、取得部と、登録部と、学習部と、読影レポートの画像が入力された場合、判別モデルを用いて、関心領域の画像及び関心領域の名称を判別する判別部として機能させる。
　本発明によれば、読影レポートから医療分野において学習に必要な教師データを容易に取得し、判別モデルを生成するための学習支援装置および学習支援方法並びに学習支援プログラムを提供することができる。
医療情報システムの概略構成を表す図である。 本発明の学習支援装置の概略構成を表す図である。 肺の各区域を模式的に表した説明図である。 読影レポートから教師データを取得し、学習データを生成する方法を説明する説明図である。 読影レポートから関心領域の名称及び関心領域の位置情報を取得する方法を説明する説明図である。 本発明の学習支援装置および関心領域判別装置の作用を説明するためのフローチャートである。 アノテーション情報から関心領域の位置情報を取得する変形例を説明する説明図である。 領域位置情報を用いて関心領域の位置情報を取得する変形例を説明する説明図である。 類似名称データベースを参照して関心領域の位置情報を取得する変形例を説明する説明図である。 過去の読影レポートをから関心領域の位置情報を取得する変形例を説明する説明図である。 肝臓の各区域を模式的に表した説明図である。
　図１において、医療情報システム２は、モダリティ１１と、読影医端末１２と、診療科医端末１３と、画像管理サーバ１４と、画像データベース１５と、読影レポートサーバ１６と、読影レポートデータベース１７と、学習支援装置１８と、オーダ管理サーバ１９とで構成される。これらモダリティ１１、読影医端末１２、診療科医端末１３、画像管理サーバ１４、画像データベース１５、読影レポートサーバ１６、読影レポートデータベース１７、学習支援装置１８およびオーダ管理サーバ１９は、医療施設内に敷設されたＬＡＮ（Local Area Network）等のローカルネットワークであるネットワーク２１を介して通信可能な状態で相互接続されている。なお、読影医端末１２が他の病院あるいは診療所に設置されている場合には、各病院のローカルネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
　この医療情報システム２は、公知のオーダリングシステムを用いた診療科医からの検査オーダに基づいて、被検体の検査対象部位の撮影および保管、読影医による撮影された画像の読影と読影レポートの作成、および、依頼元の診療科医による読影レポートの閲覧と読影対象の画像の詳細観察を行うためのシステムである。
　各機器は、医療情報システム２の構成要素として機能させるためのアプリケーションプログラムがインストールされている。また、アプリケーションプログラムは、ＣＤ－ＲＯＭ等の記録媒体からインストール、または、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされてもよい。
　モダリティ１１には、被検体の検査対象部位を撮影することにより、その部位を表す検査画像２２を生成し、その画像にＤＩＣＯＭ（Digital Imaging and Communication in Medicine）規格で規定された付帯情報を付加して出力する装置が含まれる。また、モダリティ１１には、臓器の三次元情報をもつ画像を検査画像２２として撮影する装置が含まれる。具体例としては、ＣＴ（Computed Tomography：コンピュータ断層撮影装置）装置１１Ａ、ＭＲI（magnetic resonance imaging：磁気共鳴画像撮影装置）装置１１Ｂ、ＰＥＴ（Positron Emission Tomography）装置（図示せず）、超音波装置（図示せず）、または、平面Ｘ線検出器（ＦＰＤ：flat panel detector）を用いたＣＲ（Computed Radiography：コンピュータＸ線撮影）装置１１Ｃなどが挙げられる。なお、以下では、モダリティ１１で撮影し、画像を生成する検査対象の臓器として肺を例示する。
　読影医端末１２は、放射線科の読影医が画像の読影や読影レポートの作成に利用するコンピュータであり、ＣＰＵ（Central Processing Unit）、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、表示装置として１台または複数台の高精細ディスプレイを有している。この読影医端末１２では、画像管理サーバ１４に対する画像の送信要求、画像管理サーバ１４から受信した画像の表示、画像中の病変らしき部分の自動検出および強調表示、および、読影レポート２３の作成と表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。また、読影医端末１２は、生成した読影レポート２３を、ネットワーク２１を介して読影レポートサーバ１６に転送し、その読影レポートの読影レポートデータベース１７への登録を要求する。
　診療科医端末１３は、診療科の医師が画像の詳細観察や読影レポートの閲覧、および、電子カルテの閲覧および入力等に利用するコンピュータであり、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、表示装置として１台または複数台の高精細ディスプレイを有している。この診療科医端末１３では、画像管理サーバ１４に対する画像の閲覧要求、画像管理サーバ１４から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ１６に対する読影レポートの閲覧要求、および、読影レポートサーバ１６から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムの実行により行われる。
　画像管理サーバ１４は、汎用のコンピュータにデータベース管理システム（Data Base Management System：DBMS）の機能を提供するソフトウェアプログラムが組み込まれている。画像管理サーバ１４は、画像データベース１５が構成される大容量ストレージを備えている。このストレージは、画像管理サーバ１４とデータバスによって接続された大容量のハードディスク装置であってもよいし、ネットワーク２１に接続されているＮＡＳ（Network Attached Storage）やＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。
　画像データベース１５には、複数の患者をモダリティ１１で撮影した検査画像（画像データ）２２と付帯情報が登録される。付帯情報には、例えば、個々の画像を識別するための画像ＩＤ（identification）、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、検査画像２２ごとに割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、その検査画像２２が生成された検査日、検査時刻、その検査画像を取得するための検査で使用されたモダリティ１１の種類、患者氏名と年齢と性別などの患者情報、検査部位（撮影部位）、撮影条件（造影剤の使用有無または放射線量など）、および、１回の検査で複数の断層画像を取得したときのシリーズ番号などの情報が含まれる。
　また、画像管理サーバ１４は、読影医端末１２からの閲覧要求をネットワーク２１経由で受信すると、上述の画像データベース１５に登録されている検査画像を検索し、抽出された検査画像を要求元の読影医端末１２に送信する。
　読影レポートサーバ１６は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムが組み込まれ、読影医端末１２からの読影レポート２３の登録要求を受け付けると、その読影レポート２３をデータベース用のフォーマットに整えて読影レポートデータベース１７に登録する。
　読影レポートデータベース１７には、例えば、読影対象画像もしくは代表画像を識別する画像ＩＤや、読影を行った読影医を識別するための読影医ＩＤ、病変名、病変の位置情報、所見、所見の確信度といった情報が記録された読影レポート２３が登録される。
　オーダ管理サーバ１９は、診療科医端末１３で発行された検査オーダを受け付けて、受け付けた検査オーダを管理する。検査オーダは、例えば、個々の検査オーダを識別するためのオーダＩＤ、当該検査オーダを発行した診療科医端末１３の端末ＩＤまたは診療科医ＩＤ、当該検査オーダによる撮影の対象の患者（以下、対象患者）の患者ＩＤ、経過観察等の検査目的、頭部、胸部等の撮影部位、仰向け、うつ伏せ等の向きといった各種項目を有する。放射線科の検査技師は、オーダ管理サーバ１９で検査オーダの内容を確認し、確認した検査オーダに応じた撮影条件をモダリティ１１に設定して医用画像の撮影を行う。
　次に、本発明の関心領域判別装置２５について、図１および図２を用いて説明する。関心領域判別装置２５は、例えば、読影医端末１２に組み込まれ、検査画像２２内における臓器の各区域または病変らしき部分の画像と、臓器の各区域および関心領域の名称を判別する。読影医端末１２は、判別結果に基づき、臓器の各区域の色分け表示、または関心領域の強調表示などを行う。
　図２は、関心領域判別装置２５を構成する学習支援装置１８の機能ブロックである。本発明の関心領域判別装置２５は、ネットワーク２１に接続された学習支援装置１８、および読影レポートデータベース１７とともに使用される（図１参照）。なお、読影レポートデータベース１７が本発明の記憶部として機能する。
　学習支援装置１８は、汎用のコンピュータで構成され、ＣＰＵ、ＨＤＤ（ｈａｒｄ　ｄｉｓｃ　ｄｒｉｖｅ）やＳＳＤ（ｓｏｌｉｄ　ｓｔａｔｅ　ｄｒｉｖｅ）等の主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされている。また、通信インターフェースを介して、ネットワーク２１に接続された画像データベース１５、および読影レポートデータベース１７とデータの送受信を行う。
　なお、本実施形態では、学習支援装置１８は、読影医端末１２、診療科医端末１３、画像管理サーバ１４、および読影レポートサーバ１６とは独立して設けられているが、これに限らず、これらのサーバ又は端末のいずれか１つに設けてもよい。
　図２に示すように、学習支援装置１８は、取得部２６、登録部２７、記憶装置２８、学習部２９、および制御部３１で構成される。
　取得部２６は、読影レポート２３を解析することにより、読影レポート２３の検査画像２２に含まれる関心領域の画像と、読影レポート２３の文字情報に含まれる関心領域の名称とを取得する。本実施形態では、関心領域の名称として、肺区域の名称を取得する。
　図３に示すように、解剖学的臓器としての肺は、肺葉または肺区域に区分される。右肺ＲＬは、肺葉としての右上葉ＲＵＬ（ｒｉｇｈｔ ｕｐｐｅｒ ｌｏｂｅ）、右中葉ＲＭＬ（ｒｉｇｈｔ ｍｉｄｄｌｅ ｌｏｂｅ）、及び右下葉ＲＬＬ（ｒｉｇｈｔ ｌｏｗｅｒ ｌｏｂｅ）に分けられ、左肺ＬＬは、肺葉としての左上葉ＬＵＬ（ｌｅｆｔ ｕｐｐｅｒ ｌｏｂｅ）、及び左下葉ＬＬＬ（ｌｅｆｔ ｌｏｗｅｒ ｌｏｂｅ）に分けられる。
　また、右上葉ＲＵＬは、肺区域としての右肺尖区Ｓ１（以下、右Ｓ１と省略する。以下の肺区域についても同様に省略する。）、右後上葉区Ｓ２、及び右前上葉区Ｓ３に区分される。右中葉ＲＭＬは、肺区域としての右外側中葉区Ｓ４及び右内側中葉区Ｓ５に区分される。右下葉ＲＬＬは、肺区域としての右上葉・下葉区Ｓ６、右内側肺底区Ｓ７、右前肺底区Ｓ８、右外側肺底区Ｓ９、及び右後肺底区Ｓ１０に区分される。
　さらに、左上葉ＬＵＬは、肺区域としての左肺尖後区Ｓ１＋２、左前上葉区Ｓ３、左上舌区Ｓ４、及び左下舌区Ｓ５に区分される。左下葉ＬＬＬは、肺区域としての左上葉・下葉区Ｓ６、左前肺底区Ｓ８、左外側肺底区Ｓ９、及び左後肺底区Ｓ１０に区分される。
　制御部３１は、取得部２６、登録部２７、及び学習部２９の処理の流れを制御する。取得部２６が、読影レポート２３の検査画像２２に含まれる関心領域の画像と、読影レポート２３の文字情報に含まれる関心領域の名称とを取得する処理について図４および図５を用いて説明する。
　読影レポート２３には、読影対象となる検査画像２２と、付帯情報２３Ａと、所見情報２３Ｂと、リンク情報２３Ｃとが含まれる。付帯情報２３Ａは、患者ＩＤ、検査ＩＤ、検査日などの読影対象となる検査画像２２に付帯された文字情報である。所見情報２３Ｂは、読影対象となる検査画像２２を読影した読影医の所見を編集したものであり、読影医端末１２によって入力された文字情報である。リンク情報２３Ｃは、後述するように読影レポート２３をディスプレイに表示する際に用いられるものであり、所見情報２３Ｂと、検査画像２２に含まれる関心領域の位置情報とを関連付けるリンク情報である。
　図５は、読影医端末１２又は診療科医端末１３のディスプレイに読影レポート２３を表示する際の表示画面３２の一例である。この例では、上から順に、付帯情報２３Ａが表示される付帯情報表示欄３２Ａと、所見情報２３Ｂが表示される所見欄３２Ｂと、読影対象となる検査画像２２のサムネイル画像が表示される画像表示欄３２Ｃとを有する。
　図５に示す例では、所見欄３２Ｂに、「右Ｓ１にφ＝３０ｍｍの境界明瞭な肺結節が認められる。」という所見情報２３Ｂが表示されている。この場合、関心領域の病変名を示す「肺結節」と、関心領域の肺区域名である「右Ｓ１」と、関心領域の直径寸法をしめす「φ＝３０ｍｍ」が強調表示されている。
　さらに、本実施形態では、読影レポート２３には、リンク情報２３Ｃが含まれており、このリンク情報２３Ｃは、所見情報２３Ｂのうち、病変名を示す「肺結節」の文言と、検査画像２２に含まれる関心領域の位置情報とを関連付ける。この関心領域の位置情報とは、具体的には、検査画像２２内における関心領域の座標とこの座標を中心とする範囲である。このリンク情報２３Ｃを有することによって、読影医端末１２又は診療科医端末１３を操作し、表示画面３２内で強調表示された「肺結節」を選択すると、関連付けられた関心領域の位置情報に基づく関心領域の画像２２Ａをディスプレイに表示させることができる。図５に示す例では、「肺結節」を選択した場合、検査画像２２のうち、座標（Ｘ，Ｙ，Ｚ）を中心とする直径寸法がφ＝３０ｍｍの関心領域（円で囲んだ部分）を含む範囲を切り出し、リンク情報２３Ｃに含まれる関心領域の位置情報を中心にして拡大した画像３２Ｄが表示される。
　図４及び図５に示す例では、取得部２６は、読影レポート２３の所見情報２３Ｂの文字を解析し、肺区域の名称を示す「右Ｓ１」を関心領域の名称として取得するとともに、読影レポート２３のリンク情報２３Ｃから検査画像２２内における関心領域の座標（Ｘ，Ｙ，Ｚ）と、関心領域の直径寸法を示す「φ＝３０ｍｍ」とからなる位置情報を取得する。
　登録部２７は、取得部２６により取得した関心領域の画像２２Ａと関心領域の名称とからなる教師データ３３を記憶装置２８に登録する。図４に示す例では、関心領域の画像２２Ａと、肺区域の名称である「右Ｓ１」と、位置情報である座標（Ｘ，Ｙ，Ｚ）および直径φ＝３０ｍｍとからなる教師データ３３を登録する。記憶装置２８は、例えば、学習支援装置１８に設けられたＨＤＤ（ｈａｒｄ　ｄｉｓｃ　ｄｒｉｖｅ）やＳＳＤ（ｓｏｌｉｄ　ｓｔａｔｅ　ｄｒｉｖｅ）等の記憶装置の一部でもよいし、ネットワーク２１を介して接続された記憶装置でもよい。
　以上のようなプロセスで、登録部２７は、複数の教師データ３３を登録し、記憶装置２８に後述する機械学習等のために、たとえば、所定個数の教師データ３３を登録するまで、または読影レポートデータベース１７に登録された全ての読影レポート２３に基づく教師データ３３を登録するまで、読影レポート２３からの関心領域の画像２２Ａと関心領域の名称の取得、教師データ３３の登録が繰り返される。
　学習部２９は、記憶装置２８に登録された教師データ３３を複数用いて、読影レポート２３の検査画像２２の入力に対して、関心領域の画像２２Ａ及び関心領域の名称を出力する判別モデル３４を生成するための学習を行う。具体的には、ディープラーニングなどの機械学習手法を用いて判別モデル３４を生成する。例えば、教師データ３３を複数入力して、機械学習アルゴリズムに、関心領域の位置情報と各ボクセルの特徴量（画素値など）の関係性を学習させておく。具体的には、各ボクセルの特徴量のうち関心領域周辺の特徴量を入力したときに得られる位置情報と、教師データ３３における関心領域の位置情報との誤差が最小になるように、機械学習アルゴリズムで用いる学習用重み付け係数を更新する。
　以上のように、学習部２９で生成された判別モデル３４は、関心領域判別装置２５に送信される。関心領域判別装置２５の判別部３５では、読影レポート２３などの検査画像２２が入力された際、判別モデル３４を用いて、検査画像２２内における関心領域の画像２２Ａ及び関心領域の名称を出力する。
　判別モデル３４は、上述した機械学習手法を用いて決定された重み付け係数を含むものであり、検査画像２２が入力された場合、関心領域の画像２２Ａ及び関心領域の名称の判別のために、用いられる。
　判別部３５は、判別モデル３４を用いて検査画像内における関心領域の画像及び関心領域の名称を判別する。判別部３５は、例えば判別した関心領域の画像３６及び関心領域の名称３７などを関心領域判別装置２５のディスプレイなどに表示させる。
　以下、肺の検査画像２２を有する読影レポート２３から判別モデル３４が生成され、関心領域の画像及び関心領域の名称が判別されるプロセスを、図６のフローチャートを用いて説明する。
　学習支援装置１８では、まず、肺疾患に関する読影レポート２３を読影レポートデータベース１７から読み出す（Ｓ１０１）。
　次に、取得部２６が読影レポート２３の検査画像２２に含まれる関心領域の画像と、読影レポート２３の文字情報に含まれる関心領域の名称とを取得し（Ｓ１０２）、登録部２７が、取得部２６により取得した関心領域の画像と関心領域の名称とからなる教師データ３３を記憶装置２８に登録する（Ｓ１０３）。上述したように、読影レポート２３に「右Ｓ１にφ＝３０ｍｍの境界明瞭な肺結節が認められる。」という所見情報２３Ｂ、リンク情報２３Ｃが含まれている場合は、関心領域の肺区域名である「右Ｓ１」、リンク情報２３Ｃに含まれる関心領域の位置情報を取得する。
　そして、機械学習等のための教師データ３３が記憶装置２８に登録されると、学習部２９が、登録された教師データ３３を複数用いて、判別モデル３４を生成するための学習を行う（Ｓ１０４）。生成された判別モデル３４は、関心領域判別装置２５に送信される。
　関心領域判別装置２５に新たな検査画像２２が入力された場合（Ｓ１０５でＹＥＳ）、判別部３５は、判別モデル３４を用いて検査画像２２内における関心領域の画像及び関心領域の名称を出力する。例えば、肺区域の色分け表示、または肺区域の名称表示などを行う（Ｓ１０６）。
　以上のように、学習支援装置１８は、読影レポート２３から取得した関心領域の画像および関心領域の名称からなる教師データに基づいて学習を行っているので、医療情報システムにおいて、従来から使用されていた読影レポートから教師データを取得可能であり、学習に必要な教師データを容易に取得することができる。さらに、教師データを用いて判別モデル３４を生成可能であり、正しい情報が記録されている読影レポートに基づいて判別モデル３４が生成されているため、判別の精度を容易に向上させることができる。
　なお、本実施形態では、関心領域として「右Ｓ１」を出力可能な関心領域判別装置２５を例示しているが、本発明はこれに限定するものではなく、複数の関心領域を同時に判別可能とするもの、すなわち、入力された検査画像内のある範囲のボクセルは「右Ｓ１」であり、別の範囲のボクセルは「右Ｓ２」というように、複数の関心領域を同時に判別可能な判別モデルを作成してもよい。また、このような判別モデルを関心領域判別装置に適用し、複数の関心領域を同時に判別可能としてもよい。
　上記実施形態では、読影レポート２３に含まれるリンク情報２３Ｃから、関心領域の位置情報を取得する例を上げたが、本発明はこれに限らず、読影レポート２３が、アノテーション情報を有している場合、取得部２６は、アノテーション情報から、関心領域の位置情報を取得してもよい。アノテーション情報とは、画像データなどに注釈として付与された情報であり、図７に示す例では、アノテーション情報としての矢印３８が検査画像２２に含まれており、この矢印３８は、関心領域の周囲に付されている。この場合、取得部２６は、例えば、検査画像２２内における矢印３８の先端位置の座標を位置情報として取得する。
　また、取得部２６は、関心領域判別部を備え、この関心領域判別部により読影レポート２３の検査画像２２から関心領域を判別してもよい。この場合、関心領域判別部の構成としては、上記実施形態の関心領域判別装置２５と同様の構成であり、すなわち、学習生成済みの判別モデル３４を用いて読影レポート２３の検査画像２２から関心領域を判別し、新たな教師データとして登録する構成である。
　また、別の変形例として、取得部２６が読影レポート２３を解析することにより、第１の名称と、第１の名称と異なる第２の名称を含む複数の関心領域の名称を取得した場合には、学習部２９は、関心領域の名称として第１の名称を含む第１の教師データと、関心領域の名称として第２の名称を含む第２の教師データとを用いて学習を行う。この場合、例えば、読影レポート２３の中に「右Ｓ１／右Ｓ２に肺結節が認められる・・・」という文字情報から、「右Ｓ１」および「右Ｓ２」という２つの名称を取得した場合、登録部２７は、「右Ｓ１」という名称を用いた教師データ３３と、「右Ｓ２」という名称を用いた教師データ３３をそれぞれ登録する。
　学習部２９は、「右Ｓ１」という名称を用いた教師データ３３を入力した場合における関心領域の位置情報の誤差と、「右Ｓ２」という名称を用いた教師データ３３を入力した場合における関心領域の位置情報の誤差の両方が小さくなるように、機械学習アルゴリズムで用いる学習用重み付け係数を更新する。これにより、学習の精度を向上させることができる。
　また、取得部２６が読影レポート２３を解析することにより、複数の関心領域の名称を取得した場合には、学習部２９は、教師データ３３に加えて、関心領域の位置情報に関する領域位置情報を用いて、学習を行う構成としてもよい。この場合、図８に示すように、学習部２９は、領域位置情報として、例えば、右Ｓ４は肺の側面に、右Ｓ５は内側に存在するという領域位置情報を予め記憶しておく。そして、取得部２６が読影レポート２３を解析することにより「右Ｓ４」および「右Ｓ５」という２つの名称を取得した場合、学習部２９は、領域位置情報を用いて、関心領域の肺外側面方向の半分を「右Ｓ４」、肺内側面方向の半分を「Ｓ５」として学習させる。
　また、取得部２６は、階層構造データベースを参照して上位概念又は下位概念の名称を取得し、学習部２９は、関心領域の画像と上位概念又は下位概念の名称とからなる教師データ３３を用いて、学習を行う構成にしてもよい。階層構造データベースは、例えば、学習支援装置１８に設けられた記憶装置の一部を用いたものでもよいし、ネットワーク２１を介して接続されたデータベースでもよい。階層構造データベースは、関心領域の名称に対して上位概念又は下位概念に対応する上位概念又は下位概念の名称を記憶する。例えば、肺については、肺葉および肺区域の区分などが階層構造データベースに記憶されており、上位概念から下位概念の順に、右肺＞右上葉＞右Ｓ１という階層構造が記憶されている。
　この場合、例えば、取得部２６が「右Ｓ１」という名称を取得すると、学習部２９は、階層構造データベースを参照し上位概念の名称である「右上葉」及び「右肺」を取得し、「右Ｓ１」に加えて「右上葉」及び「右肺」という名称についても教師データ３３として上記実施形態と同様の学習を行う。
　また、取得部２６は、類似名称データベース３９を参照して、複数の類似の名称から、代表の名称を決定し、学習部２９は、関心領域の画像と代表の名称とからなる教師データ３３を用いて、学習を行う構成としてもよい。図９に示すように、類似名称データベース３９は、例えば、学習支援装置１８に設けられた記憶装置の一部を用いたものでもよいし、ネットワーク２１を介して接続されたデータベースでもよい。類似名称データベース３９は、関心領域の名称に対して互いに類似する複数の類似の名称を予め記憶したデータベースであり、例えば、区域名；「右Ｓ３」および「右肺尖区」という複数の類似の名称が記憶されている。この例では、取得部２６は、代表の名称として「右Ｓ３」に決定し、学習部２９は、関心領域の画像と、名称としての「右Ｓ３」とからなる教師データ３３を用いて、上記実施形態と同様の学習を行う。
　また、取得部２６は、読影レポートデータベース１７に読影レポート２３が新規に記憶された場合に、関心領域の画像および関心領域の名称を新規に取得し、登録部２７は、取得部２６により新規に取得した関心領域の画像と関心領域の名称とからなる新規の教師データ３３を登録し、学習部２９は、新規の教師データ３３が登録された場合に、新規の教師データ３３を含めた教師データを複数用いて再度学習することにより、更新された判別モデル３４を生成することが好ましい。これにより、判別モデル３４の判別精度を向上させることができる。
　上記実施形態では、読影医が読影医端末１２などにより作成した読影レポート２３を例に上げているが、電子カルテなど、上記実施形態の読影レポート２３と同様の画像と文字情報が含まれたものであればよい。
　また、上記実施形態では、読影レポートから関心領域についての情報を取得し、教師データとして登録しているが、これに限らず、関心領域についての情報が含まれていない過去の読影レポートが記憶されている場合、この過去の読影レポートと、新規に記憶された読影レポートを利用して教師データを登録してもよい。この場合、図１０に示すように、取得部２６は、新規に記憶された読影レポート２３と、同一の患者を対象とする過去の読影レポート４３が読影レポートデータベース１７に記憶されている場合、過去の読影レポート４３の検査画像４２と、新規に記憶された読影レポート２３の検査画像２２と、新規に取得した関心領域の画像２２Ａを画像処理等によって位置合わせすることにより、過去の読影レポート４３の検査画像４２に含まれる関心領域の画像４２Ｂを取得する。この場合、取得部２６は、例えば、付帯情報２３Ａ，４３Ａに含まれる患者ＩＤから同一の患者を対象とする読影レポート２３，４３であると判断する。
　登録部２７は、過去の読影レポート４３に基づき取得した関心領域の画像４２Ｂと、新規に取得した関心領域の名称とからなる過去画像教師データ４４を登録し、学習部２９は、過去画像教師データ４４が登録された場合に、過去画像教師データ４４を含めた教師データ３３を複数用いて再度学習することにより、更新された判別モデル３４を生成する。これにより、教師データの数をさらに増やすことができるため、判別モデル３４の判別精度を向上させることができる。
　また、取得部２６は、関心領域の名称として、解剖学的臓器名、区域名として肺を例に上げているが、これに限らず、図１１に示すように、肝臓の各区域（尾状葉Ｓ１、左葉Ｓ２，Ｓ３，Ｓ４、右葉Ｓ５，Ｓ６，Ｓ７など）について適用してもよいし、脳の各区域について適用してもよい。あるいは、取得部２６は、関心領域として、病名、病状を取得するようにしてもよい。
　上記実施形態では、関心領域判別装置２５とは別に学習支援装置１８を設けているが、関心領域判別装置２５に学習支援装置１８が組み込まれるように一体に構成してもよい。
　上記各実施形態において、取得部２６、登録部２７、学習部２９、判別部３５といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、例えば、上述したように、ソフトウェアプログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵである。また、ＣＰＵが実現する機能の全部または一部に代えて、各種のプロセッサを使用してもよい。これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。また記憶部のハードウェア的な構造はＨＤＤ（ｈａｒｄ　ｄｉｓｃ　ｄｒｉｖｅ）やＳＳＤ（ｓｏｌｉｄ　ｓｔａｔｅ　ｄｒｉｖｅ）等の記憶装置である。
　上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。また、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にも及ぶ。
　なお、本発明は、読影レポートを用いる医療分野以外の分野においても、適用可能である。文字情報と画像情報が含まれる特定情報であればよく、例えば、文字情報が含まれる写真画像（画像データ）を用いるものや、ＳＮＳ（social networking service）情報を用いるものに適用することができる。
　［付記項１］
　画像及び文字情報を含む特定情報を記憶する記憶部と、
　前記テキスト情報を解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
　前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
　前記登録部に登録された教師データを用いて、前記特定情報の画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習部とを備えた学習支援装置。
　［付記項２］
　前記特定情報は、写真画像中に文字情報が含まれているものである。
　［付記項３］
　前記特定情報は、ＳＮＳ情報である。
　２　医療情報システム
　１１　モダリティ
　１１Ａ　ＣＴ装置
　１１Ｂ　ＭＲI装置
　１１Ｃ　ＣＲ装置
　１２　読影医端末
　１３　診療科医端末
　１４　画像管理サーバ
　１５　画像データベース
　１６　読影レポートサーバ
　１７　読影レポートデータベース
　１８　学習支援装置
　１９　オーダ管理サーバ
　２１　ネットワーク
　２２　検査画像
　２２Ａ　画像
　２３　読影レポート
　２３Ａ　付帯情報
　２３Ｂ　所見情報
　２３Ｃ　リンク情報
　２５　関心領域判別装置
　２６　取得部
　２７　登録部
　２８　記憶装置
　２９　学習部
　３１　制御部
　３２　表示画面
　３２Ａ　付帯情報表示欄
　３２Ｂ　所見欄
　３２Ｃ　画像表示欄
　３２Ｄ　画像
　３３　教師データ
　３４　判別モデル
　３５　判別部
　３６　画像
　３７　名称
　３８　矢印
　３９　類似名称データベース
　４２　検査画像
　４２Ｂ　画像
　４３　読影レポート
　４３Ａ　付帯情報
　４４　過去画像教師データ

Claims (19)

  1. 　画像及び文字情報を含む読影レポートを記憶した記憶部と、
    　前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
    　前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
    　前記登録部に登録された前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習部とを備えた学習支援装置。
  2. 　前記取得部は、前記読影レポートを解析することにより、前記関心領域の位置情報を取得する請求項１記載の学習支援装置。
  3. 　前記読影レポートは、前記文字情報に含まれる所見情報と、前記画像に含まれる前記関心領域の位置情報とを関連付けるリンク情報を有し、
    　前記取得部は、前記リンク情報から、前記関心領域の位置情報を取得する請求項２記載の学習支援装置。
  4. 　前記読影レポートには、前記関心領域の周囲に付されたアノテーション情報を有し、
    　前記取得部は、前記アノテーション情報から、前記関心領域の位置情報を取得する請求項２記載の学習支援装置。
  5. 　前記取得部は、前記読影レポートの画像から前記関心領域を判別する関心領域判別部によって、前記関心領域の画像及び前記関心領域の位置情報を取得する請求項２記載の学習支援装置。
  6. 　前記学習部は、前記読影レポートを解析することにより、第１の名称と前記第１の名称と異なる第２の名称を含む複数の関心領域の名称を取得した場合には、前記関心領域の名称として前記第１の名称を含む第１の教師データと、前記関心領域の名称として前記第２の名称を含む第２の教師データとを用いて、前記学習を行う請求項１ないし５のいずれか１項記載の学習支援装置。
  7. 　前記読影レポートを解析することにより、複数の関心領域の名称を取得した場合には、前記学習部は、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、学習を行う請求項１ないし５のいずれか１項記載の学習支援装置。
  8. 　前記取得部は、前記関心領域の名称に対して上位概念又は下位概念に対応する上位概念又は下位概念の名称を記憶する階層構造データベースを参照して、前記関心領域の名称から、前記上位概念又は下位概念の名称を取得し、
    　前記学習部は、前記関心領域の画像と前記上位概念又は下位概念の名称とからなる教師データを用いて、前記学習を行う請求項１ないし５のいずれか１項記載の学習支援装置。
  9. 　前記取得部は、前記関心領域の名称に対して互いに類似する複数の類似の名称を予め記憶した類似名称データベースを参照して、前記複数の類似の名称から、代表の名称を決定し、
    　前記学習部は、前記関心領域の画像と前記代表の名称とからなる教師データを用いて、前記学習を行う請求項１ないし５のいずれか１項記載の学習支援装置。
  10. 　前記取得部は、前記記憶部に前記読影レポートが新規に記憶された場合に、前記関心領域の画像および前記関心領域の名称を新規に取得し、
    　前記登録部は、前記取得部により新規に取得した前記関心領域の画像と前記関心領域の名称とからなる新規の教師データを登録し、
    　前記学習部は、前記新規の教師データが登録された場合に、前記新規の教師データを含めた前記教師データを複数用いて再度学習することにより、更新された前記判別モデルを生成する請求項１ないし９のいずれか１項記載の学習支援装置。
  11. 　前記取得部は、新規に記憶された前記読影レポートと、同一の患者を対象とする過去の前記読影レポートが前記記憶部に記憶されている場合、過去の前記読影レポートの画像と、新規に記憶された前記読影レポートの画像と、新規に取得した前記関心領域の画像を位置合わせすることにより、過去の前記読影レポートの画像に含まれる前記関心領域の画像を取得し、
    　前記登録部は、過去の前記読影レポートに基づき取得した前記関心領域の画像と、新規に取得した前記関心領域の名称とからなる過去画像教師データを登録し、
    　前記学習部は、前記過去画像教師データが登録された場合に、前記過去画像教師データを含めた前記教師データを複数用いて再度学習することにより、更新された前記判別モデルを生成する請求項１０記載の学習支援装置。
  12. 　前記読影レポートには、電子カルテが含まれる請求項１～１１のいずれか１項記載の学習支援装置。
  13. 　前記取得部は、前記関心領域の名称として、解剖学的臓器名、区域名、病名、病状を取得する請求項１～１２のいずれか１項記載の学習支援装置。
  14. 　画像及び文字情報を含む読影レポートを記憶した記憶部と、取得部と、登録部と、学習部とを備えた学習支援装置の学習支援方法において、
    　前記取得部が、前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得ステップと、
    　前記登録部が、前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録ステップと、
    　前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習ステップとを備えた学習支援方法。
  15. 　コンピュータを、
    　画像及び文字情報を含む読影レポートを記憶した記憶部と、
    　前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
    　前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
    　前記登録部に登録された前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習部として機能させるための学習支援プログラム。
  16. 　画像及び文字情報を含む読影レポートを記憶した記憶部と、
    　前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
    　前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
    　前記登録部に登録された前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習部と、
    　前記読影レポートの画像が入力された場合、前記判別モデルを用いて、前記関心領域の画像及び前記関心領域の名称を判別する判別部とを備えた関心領域判別装置。
  17. 　画像及び文字情報を含む読影レポートを記憶した記憶部と、取得部と、登録部と、学習部と、判別部とを備えた関心領域判別装置において、
    　前記取得部が、前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得ステップと、
    　前記登録部が、前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録ステップと、
    　前記学習部が、前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習ステップと、
    　前記判別部が、前記読影レポートの画像が入力された場合、前記判別モデルを用いて、前記関心領域の画像及び前記関心領域の名称を判別する判別ステップとを備えた関心領域判別方法。
  18. 　コンピュータを、
    　画像及び文字情報を含む読影レポートを記憶した記憶部と、
    　前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
    　前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
    　前記登録部に登録された前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習部と、
    　前記読影レポートの画像が入力された場合、前記判別モデルを用いて、前記関心領域の画像及び前記関心領域の名称を判別する判別部として機能させるための関心領域判別プログラム。
  19. 　コンピュータを、
    　画像及び文字情報を含む読影レポートを記憶した記憶部と、
    　前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
    　前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
    　前記登録部に登録された前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習部と、
    　前記読影レポートの画像が入力された場合、前記判別モデルを用いて、前記関心領域の画像及び前記関心領域の名称を判別する判別部として機能させるための学習済みモデル。
PCT/JP2019/004771 2018-03-16 2019-02-12 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル WO2019176407A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020505688A JP7080304B2 (ja) 2018-03-16 2019-02-12 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル
US17/000,363 US11468659B2 (en) 2018-03-16 2020-08-23 Learning support device, learning support method, learning support program, region-of-interest discrimination device, region-of-interest discrimination method, region-of-interest discrimination program, and learned model

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-049799 2018-03-16
JP2018049799 2018-03-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/000,363 Continuation US11468659B2 (en) 2018-03-16 2020-08-23 Learning support device, learning support method, learning support program, region-of-interest discrimination device, region-of-interest discrimination method, region-of-interest discrimination program, and learned model

Publications (1)

Publication Number Publication Date
WO2019176407A1 true WO2019176407A1 (ja) 2019-09-19

Family

ID=67908140

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/004771 WO2019176407A1 (ja) 2018-03-16 2019-02-12 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル

Country Status (3)

Country Link
US (1) US11468659B2 (ja)
JP (1) JP7080304B2 (ja)
WO (1) WO2019176407A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI784537B (zh) * 2020-06-23 2022-11-21 日商歐姆龍股份有限公司 檢查裝置、檢查方法及檢查程式
JP7280993B1 (ja) 2022-03-25 2023-05-24 ソフトバンク株式会社 生成装置、生成方法および生成プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348250B2 (en) * 2019-11-11 2022-05-31 Ceevra, Inc. Image analysis system for identifying lung features
US11723619B2 (en) * 2021-03-19 2023-08-15 Canon Medical Systems Corporation System and method for indication and selection of region of interest for x-ray dose adjustment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012198928A (ja) * 2012-06-18 2012-10-18 Konica Minolta Medical & Graphic Inc データベースシステム、プログラム、及びレポート検索方法
WO2013001584A1 (ja) * 2011-06-30 2013-01-03 パナソニック株式会社 類似症例検索装置および類似症例検索方法
WO2017017722A1 (ja) * 2015-07-24 2017-02-02 オリンパス株式会社 処理装置、処理方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4979842B1 (ja) * 2011-06-30 2012-07-18 パナソニック株式会社 類似症例検索装置および類似症例検索方法
US20160306936A1 (en) 2015-04-15 2016-10-20 Canon Kabushiki Kaisha Diagnosis support system, information processing method, and program
WO2018013703A1 (en) * 2016-07-12 2018-01-18 Mindshare Medical, Inc. Medical analytics system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001584A1 (ja) * 2011-06-30 2013-01-03 パナソニック株式会社 類似症例検索装置および類似症例検索方法
JP2012198928A (ja) * 2012-06-18 2012-10-18 Konica Minolta Medical & Graphic Inc データベースシステム、プログラム、及びレポート検索方法
WO2017017722A1 (ja) * 2015-07-24 2017-02-02 オリンパス株式会社 処理装置、処理方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI784537B (zh) * 2020-06-23 2022-11-21 日商歐姆龍股份有限公司 檢查裝置、檢查方法及檢查程式
JP7435303B2 (ja) 2020-06-23 2024-02-21 オムロン株式会社 検査装置、ユニット選択装置、検査方法、及び検査プログラム
JP7280993B1 (ja) 2022-03-25 2023-05-24 ソフトバンク株式会社 生成装置、生成方法および生成プログラム
JP2023143197A (ja) * 2022-03-25 2023-10-06 ソフトバンク株式会社 生成装置、生成方法および生成プログラム

Also Published As

Publication number Publication date
US11468659B2 (en) 2022-10-11
JPWO2019176407A1 (ja) 2021-02-25
JP7080304B2 (ja) 2022-06-03
US20200387729A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
KR101943011B1 (ko) 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치
EP2422318B1 (en) Quantification of medical image data
JP6906462B2 (ja) 医用画像表示装置、方法およびプログラム
JP5320335B2 (ja) 診断支援システム、診断支援装置、診断支援方法および診断支援プログラム
WO2019176407A1 (ja) 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
JP6719421B2 (ja) 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム
US10916010B2 (en) Learning data creation support apparatus, learning data creation support method, and learning data creation support program
JP2009070201A (ja) 読影レポート作成システム及び読影レポート作成装置並びに読影レポート作成方法
JP6885896B2 (ja) 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
US20160253468A1 (en) Measurement value management apparatus, method for operating measurement value management apparatus, and measurement value management system
US20120300997A1 (en) Image processing device, method and program
JP6738305B2 (ja) 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム
JP2022058397A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
WO2021157705A1 (ja) 文書作成支援装置、方法およびプログラム
JP6845071B2 (ja) 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP2008200373A (ja) 類似症例検索装置、方法、およびプログラム、ならびに、類似症例データベース登録装置、方法、およびプログラム
WO2021112141A1 (ja) 文書作成支援装置、方法およびプログラム
WO2020209382A1 (ja) 医療文書作成装置、方法およびプログラム
WO2020129385A1 (ja) 医療文書作成支援装置、方法およびプログラム
WO2021193548A1 (ja) 文書作成支援装置、方法およびプログラム
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
WO2022153702A1 (ja) 医用画像表示装置、方法およびプログラム
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19766882

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020505688

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19766882

Country of ref document: EP

Kind code of ref document: A1