WO2021193015A1 - プログラム、情報処理方法、情報処理装置及びモデル生成方法 - Google Patents

プログラム、情報処理方法、情報処理装置及びモデル生成方法 Download PDF

Info

Publication number
WO2021193015A1
WO2021193015A1 PCT/JP2021/009280 JP2021009280W WO2021193015A1 WO 2021193015 A1 WO2021193015 A1 WO 2021193015A1 JP 2021009280 W JP2021009280 W JP 2021009280W WO 2021193015 A1 WO2021193015 A1 WO 2021193015A1
Authority
WO
WIPO (PCT)
Prior art keywords
complications
image
complication
information
medical image
Prior art date
Application number
PCT/JP2021/009280
Other languages
English (en)
French (fr)
Inventor
陽 井口
悠介 関
雄紀 坂口
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to JP2022509531A priority Critical patent/JP7490045B2/ja
Priority to EP21774718.7A priority patent/EP4129196A4/en
Priority to CN202180024597.1A priority patent/CN115348840A/zh
Publication of WO2021193015A1 publication Critical patent/WO2021193015A1/ja
Priority to US17/953,581 priority patent/US20230012527A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A61B2090/3784—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument both receiver and transmitter being in the instrument or receiver being also transmitter
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4417—Constructional features of apparatus for radiation diagnosis related to combined acquisition of different diagnostic modalities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Definitions

  • the present invention relates to a program, an information processing method, an information processing device, and a model generation method.
  • Patent Document 1 a model image of an artificial valve that detects a region of peripheral tissue existing around the aortic valve of the heart from a medical image taken by an X-ray CT (Computed Tomography) device and replaces the aortic valve is used for medical purposes.
  • a medical image processing apparatus or the like that is arranged in an image and evaluates the risk of complications from the distance between the area of the surrounding tissue and the model image of the artificial valve is disclosed.
  • Patent Document 1 evaluates the risk of complications by simple pattern matching based on the distance in the image, and cannot always be said to be accurate.
  • the purpose is to provide a program that can appropriately evaluate the risk of complications.
  • a program relating to one aspect learns to acquire a medical image of the patient's luminal organs before treatment and to output complication information regarding complications that may occur after treatment when the medical image is input.
  • a computer is made to execute a process of inputting the acquired medical image into the completed model and outputting the complication information.
  • FIG. 1 is an explanatory diagram showing a configuration example of a treatment support system.
  • a treatment support system that outputs complication information regarding complications that may occur after the treatment will be described based on a medical image that images the blood vessels of a patient who performs endovascular treatment.
  • the treatment support system includes an information processing device 1 and a diagnostic imaging system 2.
  • the information processing device 1 and the diagnostic imaging system 2 are communication-connected to a network N such as a LAN (Local Area Network) or the Internet.
  • a network N such as a LAN (Local Area Network) or the Internet.
  • the target luminal organ is not limited to blood vessels, and may be other luminal organs such as bile duct, pancreatic duct, bronchus, and intestine. ..
  • the diagnostic imaging system 2 includes an intravascular diagnostic imaging device 21, a fluoroscopic imaging device 22, and a display device 23.
  • the intravascular image diagnostic device 21 is a device for imaging an intravascular tomographic image of a patient, for example, an IVUS (Intravascular Ultrasound) device that performs an ultrasonic examination using a catheter 211.
  • Catheter 211 is a medical device that is inserted into a patient's blood vessel and comprises an imaging core that transmits ultrasonic waves and receives reflected waves from within the blood vessel.
  • the intravascular diagnostic imaging apparatus 21 generates an ultrasonic tomographic image (transverse layer image) based on the signal of the reflected wave received by the catheter 211 and displays it on the display apparatus 23.
  • the intravascular diagnostic imaging apparatus 21 generates an ultrasonic tomographic image.
  • an optical coherence tomography by an optical method such as OCT (Optical Coherence Tomography) or OFDI (Optical Frequency Domain Imaging).
  • OCT Optical Coherence Tomography
  • OFDI Optical Frequency Domain Imaging
  • the fluoroscopic image capturing device 22 is a device unit for capturing a fluoroscopic image that sees through the inside of a patient, and is, for example, an angiography device that performs angiography examination.
  • the fluoroscopic image capturing device 22 includes an X-ray source 221 and an X-ray sensor 222, and generates an X-ray fluoroscopic image when the X-ray sensor 222 receives the X-rays emitted from the X-ray source 221.
  • an X-ray opaque marker is attached to the tip of the catheter 211, and it is possible to align with the tomographic image generated by the intravascular diagnostic imaging apparatus 21.
  • ultrasonic tomography optical interference tomography
  • angiography are given as examples of medical images, but medical images are computed tomography (CT) images, magnetic resonance imaging (MRI), and the like. There may be.
  • CT computed tomography
  • MRI magnetic resonance imaging
  • the information processing device 1 is an information processing device capable of transmitting and receiving various types of information processing and information, such as a server computer and a personal computer.
  • the information processing device 1 is a server computer, and in the following, it will be read as server 1 for the sake of brevity.
  • the server 1 may be a local server installed in the same facility (hospital or the like) as the diagnostic imaging system 2, or may be a cloud server communicated and connected via the Internet or the like.
  • the server 1 functions as a treatment support device that outputs complication information regarding complications that may occur after treatment based on medical images (tomographic images and fluoroscopic images) of a patient performing endovascular treatment.
  • the server 1 prepares in advance a learning model 50 (see FIG. 4) that performs machine learning to learn predetermined training data, inputs medical images, and outputs complication information. be.
  • the server 1 inputs a medical image of the patient to be treated into the learning model 50, and acquires complication information from the learning model 50.
  • the server 1 outputs the complication information acquired from the learning model 50 to the diagnostic imaging system 2 and displays it on the display device 23.
  • Complication information is a prediction result regarding complications that may occur due to endovascular treatment, and is information for assisting a user (medical worker) who treats a patient from the viewpoint of preventing complications.
  • endovascular treatment is taken as an example, and the prediction result of complications that may occur due to PCI (Percutaneous Coronary Intervention) using the catheter 211 is output as complication information.
  • complication information includes prediction results of complication occurrence conditions such as therapeutic devices that can cause complications and their usage conditions, in addition to the types of complications that are likely to occur and their probability values.
  • the therapeutic device is, for example, a stent placed in a blood vessel, a balloon used for vasodilation, or the like, and is a device inserted into a patient's blood vessel.
  • the server 1 detects a dangerous area where complications may occur from the medical image, generates a second medical image showing the detected dangerous area, and displays it on the display device 23.
  • Hazardous areas are relevant areas of blood vessels where complications are likely to occur, and are specific image areas within medical images.
  • the server 1 detects a dangerous area from the medical image using the learning model 50, generates a second medical image in which the dangerous area can be identified by means such as color display, and displays it on the display device 23.
  • the processing using the learning model 50 is performed on the server 1, but the learning model 50 constructed by the server 1 may be installed in the diagnostic imaging system 2 and the processing may be executed locally. ..
  • FIG. 2 is a block diagram showing a configuration example of the server 1.
  • the server 1 includes a control unit 11, a main storage unit 12, a communication unit 13, and an auxiliary storage unit 14.
  • the control unit 11 has one or more CPUs (Central Processing Units), MPUs (Micro-Processing Units), GPUs (Graphics Processing Units), and other arithmetic processing units, and stores the program P stored in the auxiliary storage unit 14. By reading and executing, various information processing, control processing, etc. are performed.
  • the main storage unit 12 is a temporary storage area for SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the control unit 11 to execute arithmetic processing.
  • the communication unit 13 is a communication module for performing processing related to communication, and transmits / receives information to / from the outside.
  • the auxiliary storage unit 14 is a non-volatile storage area such as a large-capacity memory or a hard disk, and stores a program P and other data necessary for the control unit 11 to execute processing. Further, the auxiliary storage unit 14 stores the learning model 50 and the countermeasure information DB 141.
  • the learning model 50 is a machine learning model in which training data has been learned as described above, and is a model that outputs complication information regarding complications that may occur after treatment by inputting a medical image.
  • the learning model 50 is expected to be used as a program module constituting artificial intelligence software.
  • the countermeasure information DB 141 is a database that stores countermeasure information for complications. In the present embodiment, the server 1 predicts complications using the learning model 50, and presents to the user information on countermeasures against complications that are likely to occur.
  • the auxiliary storage unit 14 may be an external storage device connected to the server 1. Further, the server 1 may be a multi-computer composed of a plurality of computers, or may be a virtual machine virtually constructed by software.
  • the server 1 is not limited to the above configuration, and may include, for example, an input unit that accepts operation input, a display unit that displays an image, and the like. Further, the server 1 is provided with a reading unit for reading a portable storage medium 1a such as a CD (CompactDisk), a DVD (DigitalVersatileDisc), or a USB (UniversalSerialBus) memory, and reads a program P from the portable storage medium 1a. You may try to execute it. Alternatively, the server 1 may read the program P from the semiconductor memory 1b.
  • a portable storage medium 1a such as a CD (CompactDisk), a DVD (DigitalVersatileDisc), or a USB (UniversalSerialBus) memory
  • FIG. 3 is an explanatory diagram showing an example of the record layout of the countermeasure information DB 141.
  • the countermeasure information DB 141 includes a complication ID column, a complication name column, a category column, and a countermeasure information column.
  • the complication ID stores a complication ID for identifying each complication that may occur due to endovascular treatment.
  • Each of the complication name column, category column, and countermeasure information column stores the complication name, category, and countermeasure information in association with the complication ID.
  • FIG. 4 is an explanatory diagram showing an outline of the learning model 50.
  • the learning model 50 is a machine learning model that inputs medical images imaged by the diagnostic imaging system 2 and outputs information on complications that may occur after treatment.
  • the server 1 performs machine learning to learn predetermined training data and generates a learning model 50 in advance. Then, the server 1 inputs the medical image acquired from the diagnostic imaging system 2 into the learning model 50, and outputs the complication information.
  • the learning model 50 captures an ultrasonic tomographic image (transverse layer image) imaged by the intravascular image diagnostic device 21 and a fluoroscopic image taken by the fluoroscopic image capturing device 22. Input. Then, the learning model 50 outputs the estimation results estimated for each item shown in the upper right of FIG. 4 as complication information.
  • the learning model 50 outputs the probability value of each of a plurality of types of complications as one of the estimation items.
  • the server 1 performs learning using case data of a plurality of types of complications as training data, and prepares a learning model 50 that estimates a probability value representing the probability that each type of complication will occur.
  • the complications to be estimated are not particularly limited, but typical examples of complications associated with PCI include hemorrhagic complications, lateral branch obstruction, and peripheral embolism.
  • Hemorrhagic complications include rupture of blood vessels, dissection of blood vessel walls, and the like. For example, rupture of blood vessels may occur when the balloon is dilated at a lesion with unevenly distributed calcified tissue.
  • the edge of the stent may cause dissection of the blood vessel wall or rupture of the plaque.
  • Side branch obstruction is a complication that obstructs the side branch blood vessels by treating the main trunk (main branch).
  • main trunk main branch
  • the entrance portion of the side branch may be compressed and blocked.
  • Peripheral embolism is a complication that embolizes the peripheral artery due to thrombus and the like caused by mechanical stimulation of endovascular treatment.
  • vulnerable plaque plaque containing lipid components and inflammatory cells
  • the contents of the plaque may flow out due to mechanical stimulation, resulting in thrombus.
  • the learning model 50 estimates a probability value indicating the probability that each type of complication will occur from a medical image and outputs it as complication information.
  • the above complications are examples, and the complications to be estimated are not limited to these.
  • the complication information includes the estimation results regarding the conditions for the occurrence of complications.
  • the learning model 50 estimates a therapeutic device that can cause complications, or the conditions of use of the therapeutic device.
  • the therapeutic device is, for example, a balloon for dilating a blood vessel, a stent to be placed in the blood vessel, or the like, and is a device to be inserted into the blood vessel.
  • the therapeutic device is not limited to a balloon and a stent, and may be, for example, a rotablator for excision of a lesion.
  • the learning model 50 estimates the expansion diameter, expansion pressure, expansion time, etc. of a balloon that is likely to cause complications, as shown in the upper right of FIG.
  • the learning model 50 may estimate information on the therapeutic device itself (for example, stent diameter, length, balloon type, length, etc.) that is likely to cause complications. good.
  • the learning model 50 outputs the probability value of each type of complication, the occurrence condition, etc. as complication information, and also outputs a second medical image obtained by processing a risk area where complications may occur with respect to the input medical image. Generate and output as one of complication information.
  • the second medical image is a medical image showing an image area where there is a high risk of complications, and as shown by hatching on the right side of FIG. 4, the dangerous area is displayed in a display mode different from other image areas. ..
  • the learning model 50 generates a tomographic image and a fluoroscopic image in which a translucent mask of a display color other than black and white is superimposed on the tomographic image and the fluoroscopic image represented in black and white, and displays the tomographic image and the fluoroscopic image on the display device 23.
  • the learning model 50 changes the display mode (display color) of the dangerous area according to the type of complications corresponding to the dangerous area. As a result, the user can easily grasp which complication the dangerous area presented in the second medical image corresponds to.
  • FIG. 5 is an explanatory diagram showing the details of the learning model 50.
  • FIG. 5 illustrates an example of the network configuration of the learning model 50.
  • the learning model 50 is a neural network generated by deep learning, and is a CNN (Convolutional Neural Network) that extracts features of an input image from a large number of convolutional layers.
  • the learning model 50 includes an intermediate layer (hidden layer) in which a convolution layer for convolving the pixel information of the input image and a pooling layer for mapping the convoluted pixel information are alternately connected, and a feature amount (feature amount) of the input image is provided. Map) is extracted.
  • the learning model 50 outputs complication information based on the extracted features.
  • the learning model 50 is described as being a CNN, but for example, another neural network such as an RNN (Recurrent Neural Network), or a GAN (Generative Adversarial Network) or SVM (Support Vector Machine) is determined. It may be another machine learning model such as a tree.
  • RNN Recurrent Neural Network
  • GAN Geneative Adversarial Network
  • SVM Serial Vector Machine
  • the learning model 50 includes a first encoder 51, a second encoder 52, a classifier 53, a first decoder 54, and a second decoder 55.
  • the first encoder 51 and the second encoder 52 are encoders that receive input of a tomographic image acquired from the intravascular image diagnostic apparatus 21 and a fluoroscopic image acquired from the fluoroscopic image capturing apparatus 22, respectively, and are input images by a large number of convolution layers. It is an extractor that extracts the feature amount of.
  • the first encoder 51 and the second encoder 52 convolve the tomographic image and the fluoroscopic image, respectively, and extract the feature amount of each image.
  • the classifier 53 is a classifier that classifies classes based on the features extracted by the first encoder 51 and the second encoder 52, and complications other than the second medical image such as the probability value of complications and the conditions of occurrence. It is an estimator that estimates information. For example, the server 1 synthesizes the feature amounts of the images extracted by the first encoder 51 and the second encoder 52 and inputs them to the classifier 53 to estimate the probability value of each type of complication.
  • the first decoder 54 and the second decoder 55 are detectors for detecting a dangerous area from a tomographic image and a fluoroscopic image, respectively, and are, for example, decoders related to semantic segmentation (U-net or the like).
  • the first decoder 54 and the second decoder 55 detect a dangerous region on a pixel-by-pixel basis from a tomographic image and a fluoroscopic image based on the feature quantities extracted by the first encoder 51 and the second encoder 52.
  • Semantic segmentation is a type of CNN, and is a type of encoder-decoder model that generates output data from input data.
  • the semantic segmentation includes a deconvolution layer (Deconvolution Layer) that maps (enlarges) the features obtained by compression to the original image size, in addition to the convolution layer that compresses the data of the input image.
  • Deconvolution Layer maps (enlarges) the features obtained by compression to the original image size, in addition to the convolution layer that compresses the data of the input image.
  • the deconvolution layer based on the feature amount extracted by the convolution layer, which object exists in which position in the image is identified for each pixel, and the label image in which each pixel corresponds to which object is binarized. To generate.
  • the first decoder 54 and the second decoder 55 each have a large number of deconvolution layers, and generate a label image in which the danger region is binarized for each of the tomographic image and the fluoroscopic image.
  • the server 1 synthesizes the feature quantities of the tomographic image and the fluoroscopic image extracted by the first encoder 51 and the second encoder 52 and inputs them to the first decoder 54 and the second decoder 55 to generate a label image.
  • semantic segmentation is used to detect the dangerous area, but other object detection models such as R-CNN (Region CNN) and YOLO (You Look Only Once) may be used.
  • R-CNN Region CNN
  • YOLO You Look Only Once
  • the configuration of the learning model 50 illustrated in FIG. 5 is an example, and the present embodiment is not limited to this.
  • the server 1 may separately prepare a model for estimating the probability value of complications and the like and a model for detecting a dangerous area.
  • a model for detecting dangerous areas semantic segmentation
  • a model for estimating probability values etc.
  • the region detection result may be used to estimate the probability value of complications and the like. In this way, the configuration of the learning model 50 can be changed as appropriate.
  • the server 1 learns from the medical image for training by using the training data in which the correct complication information is added as label data (metadata). For example, the server 1 uses data of a plurality of patients who have complications after treatment as training data. In the training data, for intravascular tomographic images and fluoroscopic images of patients with complications, the type of complications that occurred and the conditions under which the complications occurred (balloon expansion diameter, expansion pressure, expansion time, etc.) ), And label data indicating the area (dangerous area) in the medical image where the complication has occurred are attached.
  • training data may include not only data of patients with complications but also data of patients without complications. Further, the training data is not limited to the actual patient data, and may be virtual data inflated by a data generation means such as GAN.
  • the server 1 inputs the tomographic image and the fluoroscopic image for training into the first encoder 51 and the second encoder 52 to extract the feature amount, and the extracted feature amount is used as the classifier 53, the first decoder 54, and the second decoder. Input to each of 55 and output complication information.
  • the server 1 compares the output complication information with the correct complication information, and optimizes parameters such as weights between neurons so that the two can be approximated. As a result, the server 1 generates the learning model 50.
  • the server 1 When actually outputting the complication information for the patient to be treated, the server 1 acquires the medical image of the patient to be treated from the diagnostic imaging system 2 and inputs it to the learning model 50 to output the complication information. Specifically, as shown in FIG. 4, the server 1 acquires a tomographic image of a plurality of frames continuous along the longitudinal direction of the blood vessel from the intravascular diagnostic imaging apparatus 21 according to the scanning of the catheter 211, and the tomographic image. The fluoroscopic image taken at the time of generation is acquired from the fluoroscopic image capturing apparatus 22. The server 1 inputs a tomographic image of a plurality of frames to the first encoder 51, inputs a fluoroscopic image to the second encoder 52, and outputs complication information to the display device 23.
  • the server 1 may input the tomographic images of a plurality of frames into the learning model 50 one by one and process them, but the tomographic images of a plurality of consecutive frames are collectively input and complications are obtained from the tomographic images of the plurality of frames. It is preferable that the information can be estimated.
  • the learning model 50 is configured as a 3D-CNN (for example, 3D U-net)
  • the tomographic image of a plurality of frames is set to two axes with the coordinates of the two-dimensional tomographic image as two axes, and the tomographic image of each frame is acquired. It is treated as three-dimensional data with (at the time of generation) as one axis.
  • the server 1 inputs a tomographic image (for example, 16 frames) for a predetermined unit time into the learning model 50 as a set, and predicts complication information from the tomographic images of a plurality of frames.
  • the server 1 uses the learning model 50 as a model in which CNN and RNN are combined, and inserts an LSTM (Long-Short Term Memory) layer that stores the feature amount of the tomographic image of each frame behind the encoder.
  • Complication information may be predictable from the features of the tomographic image of the frame.
  • FIG. 6 is an explanatory diagram showing an example of a display screen for complication information.
  • FIG. 6 illustrates an example of a display screen of complication information output from the server 1.
  • the screen includes a list of complications 61, a list of occurrence conditions 62, a countermeasure information column 63, a tomographic image 64, and a fluoroscopic image 65.
  • the complication list 61 is a list showing the probability values of each type of complications output from the classifier 53. For example, the server 1 determines whether or not the probability value of each type of complication output from the classifier 53 is equal to or greater than a predetermined threshold value. The server 1 outputs the name (type) of complications determined to be equal to or higher than the threshold value and the probability value of each complication as a complication list 61.
  • the occurrence condition list 62 is a list showing the occurrence conditions of complications output from the classifier 53.
  • the display device 23 accepts a designated input for designating the name (type) of complications for displaying the occurrence conditions for the complication list 61. Then, the display device 23 displays the estimated value of the occurrence condition of the designated complication in the occurrence condition list 62. Specifically, the display device 23 displays the expansion diameter, expansion pressure, expansion time, etc. of the balloon, which is likely to cause complications.
  • the countermeasure information column 63 is a display column for displaying countermeasure information for complications. For example, similarly to the occurrence condition list 62, when the display device 23 accepts the designated input of the name of the complication in the complication list 61, the display device 23 displays the countermeasure information of the designated complication in the countermeasure information column 63.
  • the countermeasure information is information indicating a method for preventing complications, for example, a therapeutic device effective in preventing complications, or information indicating how to use the therapeutic device.
  • the server 1 reads the countermeasure information for complications having a high probability value from the countermeasure information DB 141 according to the complication information output from the classifier 53, and outputs the countermeasure information to the display device 23.
  • the server 1 outputs countermeasure information indicating another therapeutic device effective in preventing complications, and proposes to the user the combined use or substitution of the device.
  • the countermeasure information may be not only a preventive method for complications but also an ex post facto treatment method that can be taken after the complications occur.
  • the display device 23 displays the tomographic image 64 generated by the intravascular image diagnostic device 21 and the fluoroscopic image 65 taken by the fluoroscopic image capturing device 22.
  • the display device 23 displays the second medical image obtained by processing the dangerous area of the original medical image as the tomographic image 64 and the fluoroscopic image 65.
  • the display device 23 superimposes a semi-transparent mask on the dangerous area to display a second medical image showing the dangerous area in a display mode different from that of other image areas.
  • FIG. 6 shows a two-dimensional tomographic image and a perspective image as the second medical image
  • the server 1 reconstructs the two-dimensional tomographic image and the perspective image to generate a three-dimensional blood vessel image. It may be displayed on the display device 23.
  • the server 1 sequentially inputs a plurality of tomographic images (transverse layer images) sequentially acquired from the intravascular diagnostic imaging apparatus 21 and a fluoroscopic image into the learning model 50 to process a dangerous area.
  • a plurality of tomographic images and a fluoroscopic image are generated as a second medical image.
  • the server 1 aligns each tomographic image with the fluoroscopic image according to the position of the catheter 211 detected by a means such as an X-ray opaque marker, and generates a three-dimensional blood vessel image. This makes it possible to represent the dangerous area where complications may occur in the blood vessel in three dimensions and present it to the user.
  • FIG. 7 is a flowchart showing the procedure of the generation process of the learning model 50. Based on FIG. 7, the processing content when the learning model 50 is generated by machine learning will be described.
  • the control unit 11 of the server 1 acquires training data including a medical image for training and information on complications of correct answers (step S11). For example, the control unit 11 has label data indicating the type of complications that have occurred, the conditions under which the complications have occurred, the area (dangerous area) in the medical image in which the complications have occurred, and the like with respect to the medical image of the patient who has complications after treatment. Acquire the given training data.
  • the control unit 11 Based on the training data, the control unit 11 generates a learning model 50 that outputs complication information regarding complications that may occur after treatment when a medical image is input (step S12). For example, the control unit 11 generates a neural network related to CNN as a learning model 50 as described above. The control unit 11 inputs a medical image for training into the learning model 50, and acquires complication information as an output. The control unit 11 compares the output complication information with the correct complication information, optimizes parameters such as weights between neurons so that the two are close to each other, and generates a learning model 50. The control unit 11 ends a series of processes.
  • FIG. 8 is a flowchart showing a procedure for outputting complication information. Based on FIG. 8, the processing content when outputting the complication information of the patient to be treated using the learning model 50 will be described.
  • the control unit 11 of the server 1 acquires a medical image of the blood vessel of the patient to be treated from the diagnostic imaging system 2 (step S31).
  • the control unit 11 inputs the acquired medical image into the learning model 50 and estimates the probability value and the occurrence condition of each of the plurality of possible complications (step S32).
  • control unit 11 detects a dangerous area where complications may occur from the medical image acquired in step S11 (step S33).
  • the control unit 11 displays a second medical image showing the danger region detected in step S33, in addition to the probability value of each complication estimated in step S32, the occurrence condition, the countermeasure information of the complication whose probability value is equal to or higher than the threshold value, and the like. It is generated, output to the display device 23, and displayed (step S34).
  • the control unit 11 ends a series of processes.
  • the server 1 may use information (stent diameter, length, balloon type, length, etc.) of a therapeutic device such as a balloon or a stent for input in addition to the medical image. Thereby, from the information of the therapeutic device itself, it is possible to preferably estimate the usage conditions in which complications are likely to occur when the device is used.
  • the server 1 may use medical information (for example, age, gender, medical history, etc.) of the patient to be treated for input.
  • the input to the learning model 50 is not limited to the image only.
  • the risk of complications can be suitably evaluated by using the learning model 50 in which the training data has been learned.
  • the prevention of complications is more preferably supported by outputting the conditions for the occurrence of complications such as the therapeutic device that may cause complications and the conditions of use (extended conditions) thereof. can do.
  • FIG. 9 is an explanatory diagram showing an outline of the learning model 50 according to the second embodiment.
  • the learning model 50 uses only the tomographic image acquired from the intravascular image diagnostic apparatus 21 as a medical image as an input. Specifically, the learning model 50 inputs a tomographic image of a plurality of frames continuous along the longitudinal direction of the blood vessel, estimates the probability value of complications, and the detection result of a dangerous region in the tomographic image of each frame. And is the output.
  • the learning model 50 removes the second encoder 52 and the second decoder 55 from the network structure illustrated in FIG. 5, and uses only the first encoder 51, the classifier 53, and the first decoder 54.
  • the learning model 50 outputs the prediction results of the classifier 53 and the first decoder 54 as complication information.
  • FIG. 10 is an explanatory diagram showing an example of a display screen of complication information according to the second embodiment.
  • the display device 23 displays the complication list 61, the occurrence condition list 62, the countermeasure information column 63, and the tomographic image 64, as in the first embodiment.
  • the display device 23 further displays the vertical tomographic image 66.
  • the vertical tomographic image 66 is an image of an image of a cross section of a blood vessel parallel to the longitudinal direction, and is a tomographic image in which the direction of the cross section is orthogonal to the transverse layer image.
  • the server 1 reconstructs a cross-layer image of a plurality of frames generated by the intravascular diagnostic imaging apparatus 21, generates a longitudinal tomographic image 66 along the longitudinal direction of the blood vessel, and displays it on the display device 23.
  • the server 1 generates a vertical tomographic image 66 that can identify the dangerous area and displays it on the display device 23, similarly to the tomographic image 64 (cross-layer image). For example, as shown by hatching in FIG. 10, the server 1 generates a vertical tomographic image 66 in which a translucent mask is superimposed on a portion corresponding to a dangerous area, and displays the vertical tom image 66 on the display device 23.
  • the server 1 identifies the dangerous area in the vertical tomographic image 66 based on the detection result of the dangerous area in each of the plurality of cross-layer images that are the source of the vertical tomographic image 66. That is, when a dangerous area is detected from a plurality of continuous cross-layer images, the server 1 identifies the area of the vertical tomographic image 66 corresponding to each cross-layer image as the dangerous area and superimposes the translucent mask. The server 1 outputs the vertical tomographic image 66 processed so that the dangerous area can be identified to the display device 23 and displays it.
  • FIG. 11 is a flowchart showing a procedure for outputting complication information according to the third embodiment.
  • the server 1 executes the following processing.
  • the control unit 11 of the server 1 receives the correction input of the complication information output to the display device 23 from the user (step S301).
  • the control unit 11 receives a correction input for correcting the information of each item displayed in the complication list 61 and the occurrence condition list 62 on the display screen illustrated in FIG.
  • the server 1 accepts a designated input for designating the correct coordinate range when the coordinate range of the dangerous area is different from the actual coordinate range of the second medical image displayed as the tomographic image 64 and the fluoroscopic image 65.
  • the control unit 11 When the correction input of the complication information is received, the control unit 11 performs re-learning using the medical image input to the learning model 50 and the corrected complication information as training data, and updates the learning model 50 ( Step S302). That is, the control unit 11 updates parameters such as weights between neurons so that the complication information output from the learning model 50 approximates the corrected complication information.
  • the control unit 11 ends a series of processes.
  • the learning model 50 can be updated through the operation of this system, and the estimation accuracy of complication information can be improved.
  • 1 Server (information processing device) 1a Portable storage medium 1b Semiconductor memory 11 Control unit 12 Main storage unit 13 Communication unit 14 Auxiliary storage unit 50 Learning model 51 1st encoder 52 2nd encoder 53 Classifier 54 1st decoder 55 2nd decoder P program 2 Image diagnostic system 21 Intravascular image diagnostic device 211 Catheter 22 Fluoroscopic imaging device 23 Display device 221 X-ray source 222 X-ray sensor 61 Complication list 62 Occurrence condition list 63 Countermeasure information column 64 Fault image 65 Fluoroscopic image 66 Vertical tomographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

プログラムは、治療前の患者の管腔器官をイメージングした医用画像を取得し、前記医用画像を入力した場合に、治療後に発生し得る合併症に関する合併症情報を出力するよう学習済みのモデルに、取得した前記医用画像を入力して前記合併症情報を出力する処理をコンピュータに実行させる。好適には、発生し得る前記合併症の種類と、該種類の合併症が発生する確からしさを表す確率値とを含む前記合併症情報を出力する。

Description

プログラム、情報処理方法、情報処理装置及びモデル生成方法
　本発明は、プログラム、情報処理方法、情報処理装置及びモデル生成方法に関する。
　医療分野において、手術、検査等の医療行為に起因して発生する合併症が問題になる。これに伴い、合併症の防止を支援するための種々のシステムが提案されている。
　例えば特許文献１では、Ｘ線ＣＴ（Computed Tomography）装置で撮影された医用画像から心臓の大動脈弁の周囲に存在する周辺組織の領域を検出し、大動脈弁と置換する人工弁のモデルイメージを医用画像内に配置して、周辺組織の領域と人工弁のモデルイメージとの距離から合併症のリスクを評価する医用画像処理装置等が開示されている。
特開２０１４－２００５４９号公報
　しかしながら、特許文献１に係る発明は、画像内の距離に基づく単純なパターンマッチングで合併症のリスクを評価しており、必ずしも精度が良いものとは言えない。
　一つの側面では、合併症のリスクを好適に評価することができるプログラム等を提供することを目的とする。
　一つの側面に係るプログラムは、治療前の患者の管腔器官をイメージングした医用画像を取得し、前記医用画像を入力した場合に、治療後に発生し得る合併症に関する合併症情報を出力するよう学習済みのモデルに、取得した前記医用画像を入力して前記合併症情報を出力する処理をコンピュータに実行させる。
　一つの側面では、合併症のリスクを好適に評価することができる。
治療支援システムの構成例を示す説明図である。 サーバの構成例を示すブロック図である。 対策情報ＤＢのレコードレイアウトの一例を示す説明図である。 学習モデルの概要を示す説明図である。 学習モデルの詳細を示す説明図である。 合併症情報の表示画面例を示す説明図である。 学習モデルの生成処理の手順を示すフローチャートである。 合併症情報の出力処理の手順を示すフローチャートである。 実施の形態２に係る学習モデルの概要を示す説明図である。 実施の形態２に係る合併症情報の表示画面例を示す説明図である。 実施の形態３に係る合併症情報の出力処理の手順を示すフローチャートである。
　以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
　図１は、治療支援システムの構成例を示す説明図である。実施の形態では、血管内治療を実施する患者の血管をイメージングした医用画像に基づき、治療後に発生し得る合併症に関する合併症情報を出力する治療支援システムについて説明する。治療支援システムは、情報処理装置１、画像診断システム２を有する。情報処理装置１及び画像診断システム２は、ＬＡＮ（Local Area Network）、インターネット等のネットワークＮに通信接続されている。
　なお、本実施の形態では血管内治療を一例に説明するが、対象とする管腔器官は血管に限定されず、例えば胆管、膵管、気管支、腸などのその他の管腔器官であってもよい。
　画像診断システム２は、血管内画像診断装置２１、透視画像撮影装置２２、表示装置２３を有する。血管内画像診断装置２１は、患者の血管内断層像をイメージングするための装置であり、例えばカテーテル２１１を用いた超音波検査を行うＩＶＵＳ（Intravascular Ultrasound）装置である。カテーテル２１１は患者の血管内に挿入される医用器具であり、超音波を送信すると共に血管内からの反射波を受信するイメージングコアを備える。血管内画像診断装置２１は、カテーテル２１１で受信した反射波の信号に基づいて超音波断層像（横断層像）を生成し、表示装置２３に表示させる。
　なお、本実施の形態では血管内画像診断装置２１が超音波断層像を生成するものとするが、例えばＯＣＴ（Optical Coherence Tomography）、ＯＦＤＩ（Optical Frequency Domain Imaging）等の光学的手法による光干渉断層像を生成してもよい。
　透視画像撮影装置２２は、患者体内を透視した透視画像を撮影するための装置ユニットであり、例えば血管造影検査を行うアンギオグラフィ装置である。透視画像撮影装置２２は、Ｘ線源２２１、Ｘ線センサ２２２を備え、Ｘ線源２２１から照射されたＸ線をＸ線センサ２２２が受信することにより、Ｘ線透視画像を生成する。例えばカテーテル２１１の先端にはＸ線不透過マーカが装着されており、血管内画像診断装置２１で生成される断層像との位置合わせが可能となっている。
　なお、上記では医用画像の一例として超音波断層像、光干渉断層像、アンギオグラフィ画像を挙げたが、医用画像はコンピュータ断層撮影（ＣＴ）画像、磁気共鳴画像（ＭＲＩ；Magnetic Resonance Imaging）などであってもよい。
　情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバコンピュータであるものとし、以下では簡潔のためサーバ１と読み替える。なお、サーバ１は画像診断システム２と同じ施設（病院等）に設置されたローカルサーバであってもよく、インターネット等を介して通信接続されたクラウドサーバであってもよい。サーバ１は、血管内治療を実施する患者の医用画像（断層像及び透視画像）に基づき、治療後に発生し得る合併症に関する合併症情報を出力する治療支援装置として機能する。具体的には後述のように、サーバ１は、所定の訓練データを学習する機械学習を行い、医用画像を入力として、合併症情報を出力する学習モデル５０（図４参照）を予め用意してある。サーバ１は、治療対象の患者の医用画像を学習モデル５０に入力し、合併症情報を学習モデル５０から取得する。サーバ１は、学習モデル５０から取得した合併症情報を画像診断システム２に出力し、表示装置２３に表示させる。
　合併症情報は、血管内治療に起因して発生し得る合併症に関する予測結果であり、合併症防止の観点から、患者を治療するユーザ（医療従事者）を補助するための情報である。本実施の形態では血管内治療を一例にして、カテーテル２１１を用いたＰＣＩ（Percutaneous Coronary Intervention；経皮的冠動脈形成術）に起因して発生し得る合併症の予測結果を合併症情報として出力する。例えば合併症情報は、発生する可能性が高い合併症の種類やその確率値のほかに、合併症発生の要因となり得る治療用デバイスやその使用条件など、合併症の発生条件の予測結果を含む。治療用デバイスは、例えば血管内に留置するステント、あるいは血管の拡張に用いられるバルーンなどであり、患者の血管内に挿入するデバイスである。
　また、サーバ１は、合併症が発生し得る危険領域を医用画像から検出し、検出した危険領域を示す第２医用画像を生成して表示装置２３に表示させる。危険領域は、合併症が発生する可能性が高い血管の該当箇所であり、医用画像内の特定の画像領域である。サーバ１は、学習モデル５０を用いて医用画像から危険領域を検出し、カラー表示等の手段で危険領域を識別可能とした第２医用画像を生成し、表示装置２３に表示させる。
　なお、本実施の形態ではサーバ１において学習モデル５０を用いた処理を行うものとするが、サーバ１が構築した学習モデル５０を画像診断システム２にインストールし、ローカルで処理を実行してもよい。
　図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
　制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
　補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１４は、学習モデル５０、対策情報ＤＢ１４１を記憶している。学習モデル５０は、上述の如く訓練データを学習済みの機械学習モデルであり、医用画像を入力として、治療後に発生し得る合併症に関する合併症情報を出力するモデルである。学習モデル５０は、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。対策情報ＤＢ１４１は、合併症への対策情報を格納するデータベースである。本実施の形態でサーバ１は、学習モデル５０を用いて合併症の予測を行うと共に、発生する可能性が高い合併症への対策情報をユーザに提示する。
　なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
　また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰを読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰを読み込んでも良い。
　図３は、対策情報ＤＢ１４１のレコードレイアウトの一例を示す説明図である。対策情報ＤＢ１４１は、合併症ＩＤ列、合併症名列、カテゴリ列、対策情報列を含む。合併症ＩＤは、血管内治療に起因して発生し得る各合併症を識別するための合併症ＩＤを記憶している。合併症名列、カテゴリ列、対策情報列はそれぞれ、合併症ＩＤと対応付けて、合併症の名称、カテゴリ、及び対策情報を記憶している。
　図４は、学習モデル５０の概要を示す説明図である。学習モデル５０は、画像診断システム２においてイメージングされた医用画像を入力として、治療後に発生し得る合併症情報を出力する機械学習モデルである。サーバ１は、所定の訓練データを学習する機械学習を行って学習モデル５０を事前に生成しておく。そしてサーバ１は、画像診断システム２から取得した医用画像を学習モデル５０に入力し、合併症情報を出力する。
　具体的には図４に示すように、学習モデル５０は、血管内画像診断装置２１でイメージングされた超音波断層像（横断層像）と、透視画像撮影装置２２で撮影された透視画像とを入力とする。そして学習モデル５０は、図４右上に示す各項目について推定した推定結果を合併症情報として出力する。
　例えば学習モデル５０は、推定項目の一つとして、複数種類の合併症それぞれの確率値を出力する。サーバ１は、複数種類の合併症の症例データを訓練データとする学習を行い、各種類の合併症が発生する確からしさを表す確率値を推定する学習モデル５０を用意しておく。
　推定対象とする合併症は特に限定されないが、ＰＣＩに伴う合併症の代表例として、出血性合併症、側枝閉塞、及び末梢塞栓がある。出血性合併症は、血管の破裂、血管壁の解離などが含まれる。例えば、偏在性の石灰化組織がある病変部でバルーンを拡張した場合に、血管の断裂が起きる場合がある。また、プラークがある部分でステントを拡張した場合に、ステントのエッジにより血管壁の解離やプラークの破裂が起きる場合がある。
　側枝閉塞は、本幹（主枝）を治療することで側枝血管を閉塞させてしまう合併症である。本幹及び側枝が分かれる分岐部でバルーンの拡張やステントの留置を行った場合に、側枝の入口部分が圧迫されて閉塞してしまう場合がある。
　末梢塞栓は、血管内治療の機械的刺激により血栓等が生じ、抹消動脈を塞栓する合併症である。例えば不安定プラーク（脂質成分や炎症細胞を含むプラーク）に対してバルーンの拡張やステントの留置を行った場合、機械的刺激によりプラークの内容物が流出して血栓が生じる場合がある。
　学習モデル５０は、医用画像から各種類の合併症が発生する確からしさを示す確率値を推定し、合併症情報として出力する。なお、上記の合併症は一例であり、推定対象とする合併症はこれらに限定されない。
　また、合併症情報は、合併症の発生条件に関する推定結果を含む。具体的には、学習モデル５０は、合併症の発生要因となり得る治療用デバイス、又はその治療用デバイスの使用条件を推定する。上述の如く、治療用デバイスは、例えば血管を拡張するためのバルーン、血管内に留置するステント等であり、血管内に挿入するデバイスである。なお、治療用デバイスはバルーン及びステントに限定されず、例えば病変部切除のためのロータブレータ等であってもよい。
　例えば学習モデル５０は、図４右上に示すように、合併症が発生する可能性が高いバルーンの拡張径、拡張圧、拡張時間などを推定する。なお、学習モデル５０は、使用条件以外にも、合併症が発生する可能性が高い治療用デバイス自体の情報（例えばステントの直径、長さ、バルーンの種類、長さ等）を推定してもよい。
　学習モデル５０は、各種類の合併症の確率値、発生条件等を合併症情報として出力するほか、入力された医用画像に対し、合併症が発生し得る危険領域を加工した第２医用画像を生成し、合併症情報の一つとして出力する。第２医用画像は、合併症が発生するリスクが高い画像領域を示す医用画像であり、図４右側にハッチングで示すように、危険領域をその他の画像領域と異なる表示態様で表示する画像である。例えば学習モデル５０は、白黒で表現される断層像及び透視画像に対し、白黒以外の表示色の半透明マスクを重畳した断層像及び透視画像を生成し、表示装置２３に表示させる。
　なお、学習モデル５０は、危険領域に対応する合併症の種類に応じて、当該危険領域の表示態様（表示色）を変更すると好適である。これにより、第２医用画像で提示される危険領域がいずれの合併症に対応するか、ユーザは容易に把握することができる。
　図５は、学習モデル５０の詳細を示す説明図である。図５では、学習モデル５０のネットワーク構成の一例を図示している。
　例えば学習モデル５０は、深層学習によって生成されるニューラルネットワークであり、多数の畳み込み層で入力画像の特徴量を抽出するＣＮＮ（Convolutional Neural Network）である。学習モデル５０は、入力画像の画素情報を畳み込む畳み込み層と、畳み込んだ画素情報をマッピングするプーリング層とが交互に連結された中間層（隠れ層）を備え、入力画像の特徴量（特徴量マップ）を抽出する。学習モデル５０は、抽出した特徴量に基づいて合併症情報を出力する。
　なお、本実施の形態では学習モデル５０がＣＮＮであるものとして説明するが、例えばＲＮＮ（Recurrent Neural Network）等の他のニューラルネットワーク、又はＧＡＮ（Generative Adversarial Network）、ＳＶＭ（Support Vector Machine）、決定木等の他の機械学習モデルであってもよい。
　本実施の形態に係る学習モデル５０は、第１エンコーダ５１、第２エンコーダ５２、分類器５３、第１デコーダ５４、第２デコーダ５５を備える。第１エンコーダ５１及び第２エンコーダ５２はそれぞれ、血管内画像診断装置２１から取得する断層像、及び透視画像撮影装置２２から取得する透視画像の入力を受け付けるエンコーダであり、多数の畳み込み層により入力画像の特徴量を抽出する抽出器である。第１エンコーダ５１及び第２エンコーダ５２はそれぞれ、断層像及び透視画像の畳み込みを行い、各画像の特徴量を抽出する。
　分類器５３は、第１エンコーダ５１及び第２エンコーダ５２で抽出された特徴量に基づいてクラス分類を行う分類器であり、合併症の確率値、発生条件など、第２医用画像以外の合併症情報を推定する推定器である。例えばサーバ１は、第１エンコーダ５１及び第２エンコーダ５２で抽出した各画像の特徴量を合成して分類器５３に入力し、各種類の合併症の確率値等を推定させる。
　第１デコーダ５４及び第２デコーダ５５はそれぞれ、断層像及び透視画像から危険領域を検出する検出器であり、例えばセマンティックセグメンテーション（Ｕ－ｎｅｔ等）に係るデコーダである。第１デコーダ５４及び第２デコーダ５５は、第１エンコーダ５１及び第２エンコーダ５２で抽出された特徴量に基づき、断層像及び透視画像から危険領域を画素単位で検出する。
　セマンティックセグメンテーションはＣＮＮの一種であり、入力データから出力データを生成するエンコーダ－デコーダモデルの一種である。セマンティックセグメンテーションは、入力画像のデータを圧縮する畳み込み層以外に、圧縮して得た特徴量を元の画像サイズにマッピング（拡大）する逆畳み込み層（Deconvolution Layer）を備える。逆畳み込み層では、畳み込み層で抽出した特徴量に基づき、画像内にどの物体がどの位置に存在するかを画素単位で識別し、各画素がどの物体に対応するかを二値化したラベル画像を生成する。
　第１デコーダ５４及び第２デコーダ５５はそれぞれ、多数の逆畳み込み層を備え、断層像及び透視画像それぞれについて危険領域を二値化したラベル画像を生成する。例えばサーバ１は、第１エンコーダ５１及び第２エンコーダ５２で抽出した断層像及び透視画像の特徴量を合成して第１デコーダ５４及び第２デコーダ５５それぞれに入力し、ラベル画像を生成させる。
　なお、本実施の形態では危険領域の検出にセマンティックセグメンテーションを用いるが、例えばＲ－ＣＮＮ（Region CNN）、ＹＯＬＯ（You Look Only Once）など、その他の物体検出モデルを用いてもよい。
　また、図５で例示した学習モデル５０の構成は一例であり、本実施の形態はこれに限定されるものではない。例えばサーバ１は、合併症の確率値等を推定するためのモデルと、危険領域を検出するためのモデルとを別々に用意してもよい。また、危険領域検出用のモデル（セマンティックセグメンテーション）と、確率値等の推定用のモデルとを直列に接続し、前者のモデルでの危険領域の検出結果を後者のモデルに入力することで、危険領域の検出結果を合併症の確率値等の推定に用いてもよい。このように、学習モデル５０の構成は適宜変更され得る。
　サーバ１は、訓練用の医用画像に対し、正解の合併症情報がラベルデータ（メタデータ）として付与された訓練データを用いて学習を行う。例えばサーバ１は、治療後に合併症が発生した複数の患者のデータを訓練データとして用いる。訓練データでは、合併症が発生した患者の血管内断層像及び透視画像に対し、発生した合併症の種類、その合併症が発生した際の発生条件（バルーンの拡張径、拡張圧、拡張時間など）、及び合併症が発生した医用画像内の領域（危険領域）を示すラベルデータが付与されている。
　なお、訓練データは合併症が発生した患者のデータだけでなく、合併症が発生しなかった患者のデータを含めてもよい。また、訓練データは実際の患者のデータに限定されず、ＧＡＮ等のデータ生成手段によって水増しされた仮想のデータであってもよい。
　サーバ１は、訓練用の断層像及び透視画像を第１エンコーダ５１及び第２エンコーダ５２に入力して特徴量を抽出し、抽出した特徴量を分類器５３、第１デコーダ５４、及び第２デコーダ５５それぞれに入力して合併症情報を出力する。サーバ１は、出力された合併症情報を正解の合併症情報と比較して、両者が近似するように、ニューロン間の重み等のパラメータを最適化する。これによりサーバ１は、学習モデル５０を生成する。
　実際に治療対象の患者について合併症情報を出力する場合、サーバ１は、画像診断システム２から治療対象の患者の医用画像を取得し、学習モデル５０に入力して合併症情報を出力する。具体的には、サーバ１は、図４に示すように、カテーテル２１１の走査に従い、血管の長手方向に沿って連続する複数フレームの断層像を血管内画像診断装置２１から取得すると共に、断層像生成時に撮影された透視画像を透視画像撮影装置２２から取得する。サーバ１は、複数フレームの断層像を第１エンコーダ５１に入力すると共に、透視画像を第２エンコーダ５２に入力して、表示装置２３に合併症情報を出力する。
　なお、サーバ１は、複数フレームの断層像を学習モデル５０に一枚ずつ入力して処理してもよいが、連続する複数フレームの断層像をまとめて入力し、複数フレームの断層像から合併症情報を推定可能とすると好適である。この場合、例えば学習モデル５０を３Ｄ－ＣＮＮ（例えば３Ｄ　Ｕ－ｎｅｔ）として構成し、複数フレームの断層像を、２次元の断層像の座標を２軸とし、各フレームの断層像を取得した時点（生成時点）を１軸とする３次元データとして取り扱う。サーバ１は、所定の単位時間分の断層像（例えば１６フレーム）を一セットとして学習モデル５０に入力し、複数フレームの断層像から合併症情報を予測する。
　あるいはサーバ１は、学習モデル５０を、ＣＮＮ及びＲＮＮを組み合わせたモデルとし、各フレームの断層像の特徴量を記憶するＬＳＴＭ（Long-Short Term Memory）層をエンコーダの後ろに挿入することで、複数フレームの断層像の特徴量から合併症情報を予測可能としてもよい。連続する複数フレームの断層像をまとめて処理することで、ある位置での断層像だけでなく、その前後の位置での断層像も考慮して予測精度を高めることができる。
　図６は、合併症情報の表示画面例を示す説明図である。図６では、サーバ１から出力された合併症情報の表示画面例を図示している。当該画面は、合併症一覧６１、発生条件一覧６２、対策情報欄６３、断層像６４、透視画像６５を含む。
　合併症一覧６１は、分類器５３から出力された各種類の合併症の確率値を示す一覧表である。例えばサーバ１は、分類器５３から出力された各種類の合併症の確率値が、所定の閾値以上であるか否かを判定する。サーバ１は、閾値以上であると判定された合併症の名称（種類）と、各合併症の確率値とを合併症一覧６１として出力する。
　発生条件一覧６２は、分類器５３から出力された合併症の発生条件を示す一覧表である。例えば表示装置２３は、合併症一覧６１に対し、発生条件を表示する合併症の名称（種類）を指定する指定入力を受け付ける。そして表示装置２３は、指定された合併症の発生条件の推定値を発生条件一覧６２に表示する。具体的には、表示装置２３は、合併症が発生する可能性が高いバルーンの拡張径、拡張圧、拡張時間等を表示する。
　対策情報欄６３は、合併症への対策情報を表示する表示欄である。例えば表示装置２３は、発生条件一覧６２と同様に、合併症一覧６１において合併症の名称の指定入力を受け付けた場合、指定された合併症の対策情報を対策情報欄６３に表示する。
　対策情報は、合併症の予防方法を示す情報であり、例えば合併症の防止に有効な治療用デバイス、又はその治療用デバイスの使用方法を示す情報である。サーバ１は、分類器５３から出力された合併症情報に応じて、確率値が高い合併症の対策情報を対策情報ＤＢ１４１から読み出し、表示装置２３に出力する。例えばサーバ１は、合併症の防止に有効な他の治療用デバイスを示す対策情報を出力し、当該デバイスの併用若しくは代用をユーザに提案する。
　なお、対策情報は合併症の予防方法だけでなく、合併症が発生した後に取り得る事後的な処置方法であってもよい。
　さらに表示装置２３は、血管内画像診断装置２１で生成された断層像６４と、透視画像撮影装置２２で撮影した透視画像６５とを表示する。この場合に表示装置２３は、元の医用画像の危険領域を加工した第２医用画像を断層像６４及び透視画像６５として表示する。具体的には上述の如く、表示装置２３は、危険領域に半透明マスクを重畳することで、危険領域を他の画像領域と異なる表示態様で示す第２医用画像を表示する。
　なお、図６では第２医用画像として２次元の断層像及び透視画像を図示しているが、サーバ１は２次元の断層像及び透視画像を再構成し、３次元の血管画像を生成して表示装置２３に表示させてもよい。上記で説明したように、サーバ１は、血管内画像診断装置２１から順次取得する複数の断層像（横断層像）と、透視画像とを学習モデル５０に順次入力して、危険領域を加工した複数の断層像と、透視画像とを第２医用画像として生成する。サーバ１は、Ｘ線不透過マーカ等の手段で検出したカテーテル２１１の位置に応じて各断層像と透視画像との位置合わせを行い、３次元の血管画像を生成する。これにより、血管内において合併症が発生し得る危険領域を３次元で表現し、ユーザに提示することができる。
　図７は、学習モデル５０の生成処理の手順を示すフローチャートである。図７に基づき、機械学習により学習モデル５０を生成する際の処理内容を説明する。
　サーバ１の制御部１１は、訓練用の医用画像と、正解の合併症情報とを含む訓練データを取得する（ステップＳ１１）。例えば制御部１１は、治療後に合併症が発生した患者の医用画像に対し、発生した合併症の種類、発生条件、合併症が発生した医用画像内の領域（危険領域）等を示すラベルデータが付与された訓練データを取得する。
　制御部１１は訓練データに基づき、医用画像を入力した場合に、治療後に発生し得る合併症に関する合併症情報を出力する学習モデル５０を生成する（ステップＳ１２）。例えば制御部１１は、上述の如く、ＣＮＮに係るニューラルネットワークを学習モデル５０として生成する。制御部１１は、訓練用の医用画像を学習モデル５０に入力し、合併症情報を出力として取得する。制御部１１は、出力された合併症情報を正解の合併症情報と比較し、両者が近似するようにニューロン間の重み等のパラメータを最適化して学習モデル５０を生成する。制御部１１は一連の処理を終了する。
　図８は、合併症情報の出力処理の手順を示すフローチャートである。図８に基づき、学習モデル５０を用いて治療対象の患者の合併症情報を出力する際の処理内容を説明する。
　サーバ１の制御部１１は、治療対象の患者の血管をイメージングした医用画像を画像診断システム２から取得する（ステップＳ３１）。制御部１１は、取得した医用画像を学習モデル５０に入力して、想定される複数種類の合併症それぞれの確率値及び発生条件を推定する（ステップＳ３２）。
　また、制御部１１は、ステップＳ１１で取得した医用画像から、合併症が発生し得る危険領域を検出する（ステップＳ３３）。制御部１１は、ステップＳ３２で推定した各合併症の確率値、発生条件、確率値が閾値以上の合併症の対策情報等のほかに、ステップＳ３３で検出した危険領域を示す第２医用画像を生成して表示装置２３に出力し、表示させる（ステップＳ３４）。制御部１１は一連の処理を終了する。
　なお、上記では学習モデル５０への入力として医用画像のみを用いたが、本実施の形態はこれに限定されるものではない。例えばサーバ１は、医用画像以外に、治療用デバイスであるバルーン、ステント等の情報（ステントの直径、長さ、バルーンの種類、長さ等）を入力に用いてもよい。これにより、治療用デバイス自体の情報から、当該デバイスを使用した際に合併症が発生し得る可能性が高い使用条件を好適に推定することができる。この他にも、例えばサーバ１は、治療対象の患者の診療情報（例えば年齢、性別、既往歴等）を入力に用いてもよい。このように、学習モデル５０への入力は画像のみに限定されない。
　以上より、本実施の形態１によれば、訓練データを学習済みの学習モデル５０を用いることで、合併症のリスクを好適に評価することができる。
　また、本実施の形態１によれば、発生し得る合併症の種類及び確率値を出力することで、発生する可能性が高い合併症をユーザに提示することができる。
　また、本実施の形態１によれば、合併症への対策情報も出力することで、治療の実施をより好適に支援することができる。
　また、本実施の形態１によれば、合併症の要因となり得る治療用デバイスやその使用条件（拡張条件）など、合併症の発生条件を出力することで、合併症の防止をより好適に支援することができる。
　また、本実施の形態１によれば、合併症が発生し得る危険領域を示す第２医用画像を出力することで、合併症が起きやすい部分を好適に把握することができる。
（実施の形態２）
　本実施の形態では、医用画像として血管内断層像のみを用いる形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
　図９は、実施の形態２に係る学習モデル５０の概要を示す説明図である。図９に示すように、本実施の形態に係る学習モデル５０は、医用画像として、血管内画像診断装置２１から取得する断層像のみを入力として用いる。具体的には、学習モデル５０は、血管の長手方向に沿って連続する複数フレームの断層像を入力として、合併症の確率値等の推定結果と、各フレームの断層像における危険領域の検出結果とを出力とする。例えば学習モデル５０は、図５で例示したネットワーク構造から第２エンコーダ５２及び第２デコーダ５５を除去し、第１エンコーダ５１、分類器５３、及び第１デコーダ５４のみを用いる。学習モデル５０は、分類器５３及び第１デコーダ５４での予測結果を合併症情報として出力する。
　図１０は、実施の形態２に係る合併症情報の表示画面例を示す説明図である。本実施の形態において表示装置２３は、実施の形態１と同様に、合併症一覧６１、発生条件一覧６２、対策情報欄６３、及び断層像６４を表示する。また、表示装置２３はさらに、縦断層像６６を表示する。
　縦断層像６６は、長手方向と平行な血管の断面をイメージングした画像であり、横断層像と断面の向きが直交する断層像である。サーバ１は、血管内画像診断装置２１で生成された複数フレームの横断層像を再構成し、血管の長手方向に沿う縦断層像６６を生成して表示装置２３に表示させる。
　この場合にサーバ１は、断層像６４（横断層像）と同様に、危険領域を識別可能とした縦断層像６６を生成して表示装置２３に表示させる。例えばサーバ１は、図１０にハッチングで図示するように、危険領域に対応する部分に半透明マスクを重畳した縦断層像６６を生成し、表示装置２３に表示させる。
　例えばサーバ１は、縦断層像６６の元となる複数の横断層像それぞれにおける危険領域の検出結果に基づき、縦断層像６６における危険領域を識別する。すなわち、サーバ１は、連続する複数の横断層像から危険領域が検出された場合、各横断層像に対応する縦断層像６６の領域を危険領域と識別し、半透明マスクを重畳する。サーバ１は、危険領域を識別可能に加工した縦断層像６６を表示装置２３に出力し、表示させる。
　上記の点以外は実施の形態１と同様であるため、本実施の形態ではフローチャートその他の詳細な説明を省略する。
（実施の形態３）
　本実施の形態では、学習モデル５０から出力された合併症情報を修正する修正入力をユーザから受け付け、修正後の合併症情報に基づく再学習を行う形態について説明する。
　図１１は、実施の形態３に係る合併症情報の出力処理の手順を示すフローチャートである。合併症情報を出力した後（ステップＳ３４）、サーバ１は以下の処理を実行する。
　サーバ１の制御部１１は、表示装置２３に出力した合併症情報の修正入力をユーザから受け付ける（ステップＳ３０１）。例えば制御部１１は、図６で例示した表示画面において、合併症一覧６１、発生条件一覧６２で表示した各項目の情報を修正する修正入力を受け付ける。また、サーバ１は、断層像６４、透視画像６５として表示した第２医用画像に対して、危険領域の座標範囲が実際と異なる場合は、正しい座標範囲を指定する指定入力を受け付ける。
　合併症情報の修正入力を受け付けた場合、制御部１１は、学習モデル５０に入力した医用画像と、修正後の合併症情報とを訓練データとする再学習を行い、学習モデル５０を更新する（ステップＳ３０２）。すなわち制御部１１は、学習モデル５０から出力される合併症情報が修正後の合併症情報に近似するように、ニューロン間の重み等のパラメータを更新する。制御部１１は一連の処理を終了する。
　以上より、本実施の形態３によれば、本システムの運用を通じて学習モデル５０を更新し、合併症情報の推定精度を高めることができる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　１　　　サーバ（情報処理装置）
　１ａ　　可搬型記憶媒体
　１ｂ　　半導体メモリ
　１１　　制御部
　１２　　主記憶部
　１３　　通信部
　１４　　補助記憶部
　５０　　学習モデル
　５１　　第１エンコーダ
　５２　　第２エンコーダ
　５３　　分類器
　５４　　第１デコーダ
　５５　　第２デコーダ
　Ｐ　　　プログラム
　２　　　画像診断システム
　２１　　血管内画像診断装置
　２１１　カテーテル
　２２　　透視画像撮影装置
　２３　　表示装置
　２２１　Ｘ線源
　２２２　Ｘ線センサ
　６１　　合併症一覧
　６２　　発生条件一覧
　６３　　対策情報欄
　６４　　断層像
　６５　　透視画像
　６６　　縦断層像

Claims (15)

  1. 　治療前の患者の管腔器官をイメージングした医用画像を取得し、
    　前記医用画像を入力した場合に、治療後に発生し得る合併症に関する合併症情報を出力するよう学習済みのモデルに、取得した前記医用画像を入力して前記合併症情報を出力する
    　処理をコンピュータに実行させるプログラム。
  2. 　発生し得る前記合併症の種類と、該種類の合併症が発生する確からしさを表す確率値とを含む前記合併症情報を出力する
    　請求項１に記載のプログラム。
  3. 　前記合併症情報に応じて、発生し得る前記合併症への対策を示す対策情報を出力する
    　請求項２に記載のプログラム。
  4. 　前記合併症が発生し得る発生条件を示す前記合併症情報を出力する
    　請求項１～３のいずれか１項に記載のプログラム。
  5. 　前記管腔器官に挿入する治療用デバイス、又は該治療用デバイスの使用条件を前記発生条件として出力する
    　請求項４に記載のプログラム。
  6. 　前記管腔器官は血管であり、
    　前記治療用デバイスによる前記血管の拡張条件を前記発生条件として出力する
    　請求項５に記載のプログラム。
  7. 　前記モデルを用いて、合併症が発生し得る危険領域を前記医用画像から検出し、
    　検出した前記危険領域を示す第２医用画像を出力する
    　請求項１～６のいずれか１項に記載のプログラム。
  8. 　前記管腔器官内をイメージングした断層像と、前記患者の体内の透視画像とを取得し、
    　前記断層像及び透視画像を前記モデルに入力して前記合併症情報を出力する
    　請求項１～７のいずれか１項に記載のプログラム。
  9. 　前記管腔器官の長手方向に沿って連続する複数の横断層像を取得し、
    　前記複数の横断層像を前記モデルに入力して前記合併症情報を出力する
    　請求項１～８のいずれか１項に記載のプログラム。
  10. 　前記モデルを用いて、前記複数の横断層像夫々から合併症が発生し得る危険領域を検出し、
    　前記複数の横断層像夫々における前記危険領域の検出結果に基づき、該危険領域を示す縦断層像を生成する
    　請求項９に記載のプログラム。
  11. 　出力した前記合併症情報の修正入力を受け付け、
    　前記医用画像と、修正後の前記合併症情報とに基づき、前記モデルを更新する
    　請求項１～１０のいずれか１項に記載のプログラム。
  12. 　前記医用画像は、前記管腔器官の超音波断層像、光干渉断層像、透視画像、及び磁気共鳴画像の少なくともいずれか一つを含む
    　請求項１～１１のいずれか１項に記載のプログラム。
  13. 　治療前の患者の管腔器官をイメージングした医用画像を取得し、
    　前記医用画像を入力した場合に、治療後に発生し得る合併症に関する合併症情報を出力するよう学習済みのモデルに、取得した前記医用画像を入力して前記合併症情報を出力する
    　処理をコンピュータが実行する情報処理方法。
  14. 　治療前の患者の管腔器官をイメージングした医用画像を取得する取得部と、
    　前記医用画像を入力した場合に、治療後に発生し得る合併症に関する合併症情報を出力するよう学習済みのモデルに、取得した前記医用画像を入力して前記合併症情報を出力する出力部と
    　を備える情報処理装置。
  15. 　治療前の患者の管腔器官をイメージングした医用画像と、治療後に発生した合併症に関する合併症情報とを含む訓練データを取得し、
    　前記訓練データに基づき、前記医用画像を入力した場合に前記合併症情報を出力する学習済みモデルを生成する
    　処理をコンピュータが実行するモデル生成方法。
PCT/JP2021/009280 2020-03-27 2021-03-09 プログラム、情報処理方法、情報処理装置及びモデル生成方法 WO2021193015A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022509531A JP7490045B2 (ja) 2020-03-27 2021-03-09 プログラム、情報処理方法、情報処理装置及びモデル生成方法
EP21774718.7A EP4129196A4 (en) 2020-03-27 2021-03-09 PROGRAM, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING DEVICE AND PATTERN GENERATION METHOD
CN202180024597.1A CN115348840A (zh) 2020-03-27 2021-03-09 程序、信息处理方法、信息处理装置及模型生成方法
US17/953,581 US20230012527A1 (en) 2020-03-27 2022-09-27 Program, information processing method, information processing apparatus, and model generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-058997 2020-03-27
JP2020058997 2020-03-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/953,581 Continuation US20230012527A1 (en) 2020-03-27 2022-09-27 Program, information processing method, information processing apparatus, and model generation method

Publications (1)

Publication Number Publication Date
WO2021193015A1 true WO2021193015A1 (ja) 2021-09-30

Family

ID=77890169

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009280 WO2021193015A1 (ja) 2020-03-27 2021-03-09 プログラム、情報処理方法、情報処理装置及びモデル生成方法

Country Status (5)

Country Link
US (1) US20230012527A1 (ja)
EP (1) EP4129196A4 (ja)
JP (1) JP7490045B2 (ja)
CN (1) CN115348840A (ja)
WO (1) WO2021193015A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023215510A1 (en) * 2022-05-06 2023-11-09 Boston Scientific Scimed, Inc. Predicting vessel compliance responsive to multiple potential treatments

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150087957A1 (en) * 2013-09-25 2015-03-26 Siemens Aktiengesellschaft Early therapy response assessment of lesions
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning
US20190198169A1 (en) * 2017-12-27 2019-06-27 General Electric Company Patient healthcare interaction device and methods for implementing the same

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2919714C (en) * 2013-07-30 2018-04-10 Heartflow, Inc. Method and system for modeling blood flow with boundary conditions for optimized diagnostic performance
US9888968B2 (en) * 2014-07-22 2018-02-13 Siemens Healthcare Gmbh Method and system for automated therapy planning for arterial stenosis
US11094058B2 (en) * 2015-08-14 2021-08-17 Elucid Bioimaging Inc. Systems and method for computer-aided phenotyping (CAP) using radiologic images
US20180315507A1 (en) 2017-04-27 2018-11-01 Yale-New Haven Health Services Corporation Prediction of adverse events in patients undergoing major cardiovascular procedures
US11754824B2 (en) * 2019-03-26 2023-09-12 Active Medical, BV Method and apparatus for diagnostic analysis of the function and morphology of microcirculation alterations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150087957A1 (en) * 2013-09-25 2015-03-26 Siemens Aktiengesellschaft Early therapy response assessment of lesions
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning
US20190198169A1 (en) * 2017-12-27 2019-06-27 General Electric Company Patient healthcare interaction device and methods for implementing the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4129196A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023215510A1 (en) * 2022-05-06 2023-11-09 Boston Scientific Scimed, Inc. Predicting vessel compliance responsive to multiple potential treatments

Also Published As

Publication number Publication date
JPWO2021193015A1 (ja) 2021-09-30
CN115348840A (zh) 2022-11-15
EP4129196A1 (en) 2023-02-08
JP7490045B2 (ja) 2024-05-24
EP4129196A4 (en) 2023-08-23
US20230012527A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
CN113705586A (zh) 血管内图像中的多模态分割
JPH07143977A (ja) 狭窄の自動検出のためのデジタル画像処理方法
Torrents-Barrena et al. TTTS-GPS: Patient-specific preoperative planning and simulation platform for twin-to-twin transfusion syndrome fetal surgery
US20230076868A1 (en) Systems and methods for utilizing synthetic medical images generated using a neural network
CN116630334B (zh) 用于多分段血管实时自动分割方法、装置、设备及介质
US20230230244A1 (en) Program, model generation method, information processing device, and information processing method
US20230245307A1 (en) Information processing device, information processing method, and program
US20230230252A1 (en) Information processing device, information processing method, program, and model generation method
WO2021193019A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2021193015A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
KR102398522B1 (ko) 관상동맥중재술을 위한 영상 정합 방법 및 이를 수행하는 전자 장치
JP7489882B2 (ja) コンピュータプログラム、画像処理方法及び画像処理装置
US20230017227A1 (en) Program, information processing method, information processing apparatus, and model generation method
WO2021193024A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
CN115334976A (zh) 计算机程序、信息处理方法、信息处理装置以及模型生成方法
US20230237657A1 (en) Information processing device, information processing method, program, model generating method, and training data generating method
WO2022071265A1 (ja) プログラム、情報処理装置及び情報処理方法
WO2021193018A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
Breininger Machine learning and deformation modeling for workflow-compliant image fusion during endovascular aortic repair
WO2021193021A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2021193022A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20240005459A1 (en) Program, image processing method, and image processing device
WO2021199966A1 (ja) プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム
WO2021199960A1 (ja) プログラム、情報処理方法、および情報処理システム
WO2021199967A1 (ja) プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21774718

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022509531

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021774718

Country of ref document: EP

Effective date: 20221025

NENP Non-entry into the national phase

Ref country code: DE