WO2021193026A1 - プログラム、情報処理方法、情報処理装置及びモデル生成方法 - Google Patents

プログラム、情報処理方法、情報処理装置及びモデル生成方法 Download PDF

Info

Publication number
WO2021193026A1
WO2021193026A1 PCT/JP2021/009325 JP2021009325W WO2021193026A1 WO 2021193026 A1 WO2021193026 A1 WO 2021193026A1 JP 2021009325 W JP2021009325 W JP 2021009325W WO 2021193026 A1 WO2021193026 A1 WO 2021193026A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
image
model
input
generate
Prior art date
Application number
PCT/JP2021/009325
Other languages
English (en)
French (fr)
Inventor
悠介 関
雄紀 坂口
陽 井口
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Publication of WO2021193026A1 publication Critical patent/WO2021193026A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Definitions

  • the present invention relates to a program, an information processing method, an information processing device, and a model generation method.
  • Treatment is performed based on medical images that visualize the inside of the human body, such as ultrasonic images, optical coherence tomography (OCT) images, and X-ray images.
  • OCT optical coherence tomography
  • X-ray images various techniques for processing medical images have been proposed so that image observers can preferably observe medical images.
  • a medical image diagnostic device that reduces noise contained in a medical image, and a medical image to be reduced and a noise correlation map showing a spatial distribution of the amount of noise in the medical image are referred to as CNN (CNN).
  • CNN Convolutional Neural Network
  • Patent Document 1 needs to give the CNN the spatial distribution of the object (noise) to be processed, and is not necessarily an excellent method.
  • One aspect is to provide a program or the like that can present suitable medical images.
  • a program takes a first medical image that images the patient's luminal organs and uses a trained model to generate a given second medical image when the first medical image is input.
  • the computer is made to execute the process of inputting the acquired first medical image and generating the second medical image.
  • a suitable medical image can be presented.
  • FIG. 1 is an explanatory diagram showing a configuration example of an diagnostic imaging system.
  • the diagnostic imaging apparatus 2 converts a medical image (hereinafter, referred to as “first medical image”) that images the lumen organ of the patient, and another medical image (hereinafter, “second medical image””.
  • the diagnostic imaging system that generates (called) will be described.
  • the diagnostic imaging system includes an information processing device 1 and a diagnostic imaging device 2.
  • the information processing device 1 and the diagnostic imaging device 2 are communicated and connected via a network N such as a LAN (Local Area Network) or the Internet.
  • a network N such as a LAN (Local Area Network) or the Internet.
  • the diagnostic imaging device 2 is a device unit for imaging a patient's luminal organ, for example, an IVUS (Intravascular Ultrasound) device that performs an ultrasonic examination in a patient's blood vessel using a catheter 21.
  • the diagnostic imaging device 2 includes a catheter 21, an image processing device 22, and a display device 23.
  • the catheter 21 is a medical device inserted into a blood vessel of a subject, and includes a piezoelectric element that transmits ultrasonic waves and receives reflected waves from the blood vessels.
  • the diagnostic imaging apparatus 2 generates an ultrasonic tomographic image (medical image) of a blood vessel based on the signal of the reflected wave received by the catheter 21.
  • the image processing device 22 is a processing device that processes the reflected wave data received by the catheter 21 to generate a tomographic image. In addition to displaying the generated tomographic image on the display device 23, various set values at the time of inspection are performed. It is equipped with an input interface for accepting the input of.
  • the intravascular examination will be described as an example, but the luminal organ to be inspected is not limited to the blood vessel, and may be other luminal organs such as the bile duct, pancreatic duct, bronchus, and intestine. good.
  • the tomographic image imaged by the diagnostic imaging apparatus 2 is not limited to the ultrasonic tomographic image, and may be an optical interference tomographic image or the like.
  • the medical image will be described as a tomographic image (ultrasonic tomography or optical interference tomography), but an X-ray fluoroscopic image (for example, angiography image) and a computed tomography (CT) )
  • An image, a magnetic resonance imaging (MRI) image, or the like may be used.
  • the information processing device 1 is an information processing device capable of transmitting and receiving various types of information processing and information, such as a server computer and a personal computer.
  • the information processing device 1 is a server computer, and in the following, it will be read as server 1 for the sake of brevity.
  • the server 1 may be a local server installed in a facility (hospital or the like) in which the diagnostic imaging device 2 is installed, or is a cloud server communication-connected to the diagnostic imaging device 2 via the Internet or the like. May be good.
  • the server 1 functions as a generation device that generates a second medical image from the first medical image generated by the diagnostic imaging device 2, and outputs the generated second medical image to the diagnostic imaging device 2.
  • the server 1 performs machine learning to learn predetermined training data in advance, and generates a second medical image by inputting the first medical image as an input.
  • Generation model 50 (see FIG. 3 and the like). ) Is prepared.
  • the server 1 inputs the first medical image acquired from the diagnostic imaging apparatus 2 into the generation model 50, and outputs the generated second medical image to the diagnostic imaging apparatus 2 for display.
  • the second medical image is generated on the server 1 separate from the image diagnostic device 2, but the generation model 50 generated by the server 1 by machine learning is generated by the image diagnostic device 2 (image processing). It may be installed in the device 22) so that the diagnostic imaging device 2 can generate a second medical image.
  • FIG. 2 is a block diagram showing a configuration example of the server 1.
  • the server 1 includes a control unit 11, a main storage unit 12, a communication unit 13, and an auxiliary storage unit 14.
  • the control unit 11 has one or more CPUs (Central Processing Units), MPUs (Micro-Processing Units), GPUs (Graphics Processing Units), and other arithmetic processing units, and stores the program P stored in the auxiliary storage unit 14. By reading and executing, various information processing, control processing, etc. are performed.
  • the main storage unit 12 is a temporary storage area for SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the control unit 11 to execute arithmetic processing.
  • the communication unit 13 is a communication module for performing processing related to communication, and transmits / receives information to / from the outside.
  • the auxiliary storage unit 14 is a non-volatile storage area such as a large-capacity memory or a hard disk, and stores a program P and other data necessary for the control unit 11 to execute processing. Further, the auxiliary storage unit 14 stores the generation model 50.
  • the generative model 50 is a machine learning model in which training data has been trained as described above, and is a model that generates a second medical image obtained by converting a first medical image by inputting a first medical image.
  • the generation model 50 is expected to be used as a program module constituting artificial intelligence software.
  • the auxiliary storage unit 14 may be an external storage device connected to the server 1. Further, the server 1 may be a multi-computer composed of a plurality of computers, or may be a virtual machine virtually constructed by software.
  • the server 1 is not limited to the above configuration, and may include, for example, an input unit that accepts operation input, a display unit that displays an image, and the like. Further, the server 1 is provided with a reading unit for reading a portable storage medium 1a such as a CD (CompactDisk), a DVD (DigitalVersatileDisc), or a USB (UniversalSerialBus) memory, and reads a program P from the portable storage medium 1a. You may try to execute it. Alternatively, the server 1 may read the program P from the semiconductor memory 1b.
  • a portable storage medium 1a such as a CD (CompactDisk), a DVD (DigitalVersatileDisc), or a USB (UniversalSerialBus) memory
  • FIG. 3 is an explanatory diagram showing an outline of the generative model 50.
  • the outline of the generative model 50 will be described with reference to FIG.
  • the generative model 50 is a machine learning model that generates a second medical image obtained by converting the first medical image by inputting the first medical image imaged by the diagnostic imaging apparatus 2.
  • GAN Geneative Adversarial Network
  • FIG. 3 illustrates the outline of GAN.
  • the GAN includes a generator (G: Generator) that generates output data from input data and a discriminator (D: Discriminator) that discriminates the authenticity of the data generated by the generator, and the generator and the classifier compete with each other. Build a network by learning.
  • the generator accepts random noise (latent variable) input and generates output data.
  • the discriminator learns the truth of the data given by the generator by using the true data given for learning and the data given by the generator.
  • GAN the network is constructed so that the loss function of the generator is finally minimized and the loss function of the discriminator is maximized.
  • the server 1 generates a GAN that generates an output image from an input image as a generation model 50.
  • the server 1 performs learning using the first medical image and the second medical image given for training, and generates a generation model 50.
  • the server 1 first fixes the parameters (weights, etc.) of the generator, inputs the first medical image for training to the generator, and generates the second medical image. Then, the server 1 uses the second medical image generated by the generator as fake data, gives the second medical image for training as true data to the classifier, and optimizes the parameters of the classifier. Next, the server 1 fixes the parameter of the classifier to the optimum value and learns the generator. The server 1 optimizes the parameters of the generator so that the probability of authenticity is close to 50% when the second medical image generated by the generator is input to the classifier. As a result, the server 1 generates the generative model 50. When actually generating the second medical image from the first medical image, only the generator is used.
  • the generative model 50 is not limited to GAN, and may be a model based on a neural network such as VAE (Variational Autoencoder), CNN (for example, U-net), or another learning algorithm.
  • VAE Variational Autoencoder
  • CNN for example, U-net
  • another learning algorithm such as VAE (Variational Autoencoder), CNN (for example, U-net), or another learning algorithm.
  • the server 1 prepares a plurality of generation models 50 in advance according to the target second medical image. Specifically, as will be described later, the server 1 uses the first generative model 51 for reducing noise and / or artifacts in the first medical image, and the second generative model for mutual conversion between the ultrasonic tomographic image and the optical interference tomographic image. 52, a third generative model 53 for generating a second medical image after treatment from a first medical image before treatment, and a fourth generative model 54 for frequency conversion of an ultrasonic tomographic image are prepared.
  • the server 1 selects a model to be used for image generation according to a setting input from a user, and uses one or a plurality of models from the first generation model 51 to the fourth generation model 54 to generate a second medical image. Generate.
  • the first generation model 51 to the fourth generation model 54 will be described.
  • FIG. 4 is an explanatory diagram relating to the first generative model 51 for noise and / or artifact reduction.
  • FIG. 4 conceptually illustrates how a second medical image with reduced noise and / or artifacts contained in the first medical image is output when the first medical image is input to the first generative model 51. There is.
  • An artifact is a virtual image that is not intended for diagnostic imaging or does not actually exist, and is an image that is imaged from a device that captures a medical image, imaging conditions, and the like.
  • Noise is an image anomaly other than an artifact.
  • the server 1 prepares a first generation model 51 for reducing at least one of noise and artifacts, and generates a second medical image in which noise and / or artifacts are reduced.
  • noise derived from red blood cells existing in blood vessels is reduced.
  • the diagnostic imaging apparatus 2 detects the reflected wave of the ultrasonic signal transmitted from the catheter 21 and generates a tomographic image, but the red blood cells existing in the blood vessels become reflectors and become fine particles to form a tomographic image. appear. Therefore, the server 1 learns the first medical image for training containing the noise derived from red blood cells and the second medical image for training having less noise derived from red blood cells than the first medical image, and converts the red blood cells into red blood cells.
  • a first generation model 51 that reduces the resulting noise is constructed.
  • the noise derived from erythrocytes is an example of an event to be reduced, and in addition to the noise, other artifacts such as acoustic shadow, multiple reflection, multiple echo, NURD (non-uniform rotational distortion), and / or Noise may be reduced.
  • other artifacts such as acoustic shadow, multiple reflection, multiple echo, NURD (non-uniform rotational distortion), and / or Noise may be reduced.
  • the server 1 generates pix2pix as the first generation model 51 for noise and / or artifact reduction.
  • the server 1 uses the first medical image containing noise and / or artifacts as training data (hereinafter referred to as “first training data”) for generating the first generation model 51, and noise more than the first medical image. And / or use a second medical image with few artifacts.
  • the server 1 gives the first medical image for training to the generator to generate the second medical image.
  • the server 1 sets the pair of the first medical image and the second medical image corresponding to the input / output of the generator as fake data, and sets the pair of the first medical image and the second medical image included in the training data as true data. Is given to the classifier to identify the authenticity.
  • the server 1 generates the first generative model 51 by optimizing the parameters so that the loss function of the generator is minimized and the loss function of the discriminator is maximized.
  • the first generation model 51 has been described above as being a pix2pix, it may be another GAN having a network structure different from that of the pix2pix, such as CycleGAN and StarGAN, which will be described later.
  • FIG. 5 is an explanatory diagram of a second generative model 52 for mutual conversion of an ultrasonic tomographic image and an optical interference tomographic image.
  • FIG. 5 conceptually illustrates how the ultrasonic tomographic image and the optical interference tomographic image are interchanged in the second generative model 52.
  • the server 1 generates a CycleGAN as a second generative model 52 for mutual conversion of an ultrasonic tomographic image and an optical interference tomographic image.
  • CycleGAN is a model that performs mutual conversion of data between different domains, and is a converter (generator; described as “G” in FIG. 5) for converting data in one domain to data in another domain. It is provided with a converter (denoted as "F” in FIG. 5) that converts the data of the other domain into the data of the one domain.
  • CycleGAN comprises in correspondence with the two transducers, each transducer two identifier identifying the authenticity of the generated data in the (in FIG. 5, "D X", wherein a "D Y").
  • the server 1 uses one domain as an ultrasonic tomographic image and the other domain as an optical interference tomographic image to generate a second generative model 52 that performs mutual conversion between the two.
  • the server 1 performs learning using training data (hereinafter, referred to as "second training data") composed of an ultrasonic tomographic image and an optical interference tomographic image.
  • second training data composed of an ultrasonic tomographic image and an optical interference tomographic image.
  • the server 1 inputs the ultrasonic tomographic image for training into one converter to generate an optical interference tomographic image, and discriminates the authenticity in the classifier corresponding to the one transducer. Further, the server 1 inputs the optical interference tomographic image for training to another converter to generate an ultrasonic tomographic image, and discriminates the truth with the classifier corresponding to the other transducer.
  • the server 1 learns using a loss function (AdversarialLoss) for evaluating the conversion between domains and a loss function (CycleConsistencyLoss) for guaranteeing the inverse conversion of the converted data to the original domain.
  • the second generation model 52 in which the parameters of each converter and the classifier are optimized is generated.
  • CycleGAN is mentioned above as the second generation model 52, it may be a GAN having another network structure. Further, in the present embodiment, the second generation model 52 is described as a model capable of bidirectional image conversion, but a model capable of image conversion in only one direction may be used.
  • the optical interference tomographic image is generated from the ultrasonic tomographic image, but as described above, the second generation model 52 is super Mutual conversion between an ultrasonic tomographic image and an optical interference tomographic image can be performed. Therefore, it goes without saying that the input to the second generative model 52 may be an optical interference tomographic image to generate an ultrasonic tomographic image.
  • FIG. 6 is an explanatory diagram of a third generative model 53 for post-treatment image generation.
  • FIG. 6 conceptually illustrates how a second medical image that predicts the post-treatment state is generated when a first medical image of a luminal organ before treatment is input to the third generative model 53. ..
  • FIG. 6 conceptually illustrates how a second medical image is generated after endovascular treatment is performed using a therapeutic device.
  • Therapeutic devices include, for example, stents placed in blood vessels and balloons that dilate blood vessels.
  • the stent placed in the blood vessel and expanded by the balloon is shown by hatching.
  • the server 1 uses training data (hereinafter, referred to as "third training data") consisting of a first medical image before performing endovascular treatment using a therapeutic device and a second medical image after performing treatment.
  • a third generation model 53 that generates a second medical image after the treatment is generated from the first medical image before the treatment.
  • the server 1 generates pix2pix as a third generation model 53 for post-treatment image generation.
  • the server 1 inputs the first medical image for training to the generator to generate the second medical image, and trains with a pair of fake first medical image and second medical image corresponding to the input / output of the generator.
  • a true first medical image and a pair of second medical images are given to the classifier to identify the authenticity.
  • the server 1 generates the third generation model 53 by optimizing the parameters so that the loss function of the generator is minimized and the loss function of the discriminator is maximized.
  • the server 1 may generate not only the first medical image but also device information about the therapeutic device used for treating the patient into the third generation model 53 to generate the second medical image after the treatment.
  • the device information is a parameter relating to a therapeutic device used for treatment, such as information on a stent placed in a patient's blood vessel, information on a balloon that expands the stent, and the like.
  • the server 1 inputs the length, diameter, and type of the stent, the position in the blood vessel in which the stent is placed, the type of balloon used for expanding the stent, the diameter after expansion by the balloon, and the like as device information in the third generation model 53. do.
  • the server 1 inputs the device information to the third generation model 53 as label data indicating the class of the first medical image, using the third generation model 53 as a model capable of inputting the class label of the input data, such as Conditional GAN. .. Then, the server 1 generates the second medical image from the first medical image and the device information. As a result, it is possible to generate a second medical image after the treatment in consideration of the treatment content to be performed, and it is possible to improve the accuracy of the image generation.
  • the image after the stent is placed and expanded with the balloon is generated as the second medical image, but the present embodiment is not limited to this.
  • the image before expansion by the balloon may be generated as the second medical image.
  • an image after balloon expansion performed before the stent placement may be generated as a second medical image. That is, the third generation model 53 may generate an image in the middle of a series of treatments as a second medical image as long as it can generate a second medical image after using the therapeutic device.
  • FIG. 7 is an explanatory diagram of the fourth generative model 54 for frequency conversion.
  • FIG. 7 conceptually illustrates how ultrasonic tomographic images are mutually converted between a plurality of different ultrasonic frequencies.
  • the server 1 generates StarGAN as the fourth generation model 54 for frequency conversion. Similar to CycleGAN, StarGAN is a model for mutual conversion of data between different domains, but is a model for mutual conversion of data between a large number of three or more domains. Unlike CycleGAN, StarGAN has only a single converter and discriminator. The converter accepts the data of one domain and the label indicating the target other domain as input, and generates the data of the other domain. In addition, the classifier discriminates between the authenticity of the data generated by the generator and the domain of the data.
  • a loss function (Adversarial Loss) for evaluating the authenticity of the data generated by the generator, a loss function for classifying the domain (Domain Class Loss), and an inverse conversion of the generated data to the original domain. Learning is performed using the loss function (Reconstruction Loss) to guarantee the above, and the parameters of the converter and the classifier are optimized.
  • the server 1 generates the fourth generation model 54 with a plurality of ultrasonic frequencies different from each other as each domain of StarGAN. For example, the server 1 sets 40, 45, 50, 55, and 60 MHz as ultrasonic frequencies corresponding to each domain, and converts an ultrasonic tomographic image of one frequency into an ultrasonic tomographic image of another frequency. Generate model 54.
  • the server 1 performs learning using training data consisting of ultrasonic tomographic images of each frequency (hereinafter referred to as "fourth training data"), and performs learning using an ultrasonic tomographic image of one frequency and another target frequency.
  • a fourth generation model 54 that generates a second ultrasonic tomographic image (second medical image) corresponding to the other frequency is generated by inputting the class label indicating the above.
  • StarGAN is mentioned as the fourth generative model 54, but it may be a GAN having another network structure such as CycleGAN. Further, the configuration in which the fourth generation model 54 is a model capable of a plurality of frequency conversions is not essential, and a model capable of only a single frequency conversion may be used.
  • the server 1 generates a second medical image using one or more of the above-mentioned first generation models 51 to fourth generation models 54.
  • the server 1 receives from the user a setting input regarding whether or not to generate an image using each model and a method (conversion method) for generating a second medical image via the diagnostic imaging apparatus 2.
  • the server 1 selects the first generation model 51 to the fourth generation model 54 according to the setting contents from the user, and generates the second medical image.
  • FIG. 8 is an explanatory diagram showing an example of a display screen of the diagnostic imaging apparatus 2.
  • the diagnostic imaging apparatus 2 displays the first medical image 81 imaged using the catheter 21, and also displays the second medical image 82 generated according to the setting contents by the user and presents it to the user.
  • the diagnostic imaging apparatus 2 displays the menu bar 80 on the display screen.
  • the menu bar 80 noise and / or artifacts are reduced by the first generative model 51, conversion to an optical interference tomographic image by the second generative model 52, post-treatment image generation by the third generative model 53, and fourth generation.
  • a button 801 for switching ON / OFF of image generation is displayed.
  • the diagnostic imaging apparatus 2 accepts the ON / OFF setting input of the image generation using each corresponding generation model 50.
  • the diagnostic imaging apparatus 2 further accepts the setting input of the target ultrasonic frequency.
  • the diagnostic imaging apparatus 2 accepts the setting input of the device information. Specifically, as described above, the diagnostic imaging apparatus 2 accepts setting input of stent information indicating the length, diameter, position, etc. of the stent, and balloon information indicating the expansion diameter of the balloon, etc.
  • the diagnostic imaging apparatus 2 generates a vertical tomographic image 81a based on a plurality of ultrasonic tomographic images (transverse layer images) continuously imaged along the longitudinal direction of a blood vessel. indicate. Then, the diagnostic imaging apparatus 2 receives the setting input of the placement position of the stent with respect to the longitudinal tomographic image 81a by manipulating the object shown by the rectangular frame of the thick line in FIG. When the placement position of the stent is set, the diagnostic imaging apparatus 2 further accepts setting inputs such as the length, diameter, type, balloon type, and expansion diameter of the stent to be placed at the set position. As a result, the diagnostic imaging apparatus 2 accepts the setting input of the device information to be input to the third generation model 53.
  • FIG. 9 is an explanatory diagram showing a procedure for generating a second medical image using the first generation model 51 to the fourth generation model 54.
  • the server 1 generates a second medical image using each generation model 50 according to the above setting contents.
  • FIG. 9 illustrates an example of a procedure for generating a second medical image using a plurality of generation models 50.
  • the server 1 first inputs an ultrasonic tomographic image (first medical image) to the first generative model 51 when noise and / or artifact reduction is set to ON.
  • the server 1 uses the ultrasonic tomographic image generated by the first generation model 51 and the class label indicating the target frequency set by the user in the fourth generation model 54.
  • the noise and / or artifact reduction is set to OFF, the original ultrasonic tomographic image is input to the fourth generative model 54 without performing the image generation by the first generative model 51.
  • Images suitable for the second generation model 52 and the third generation model 53 by reducing noise and / or artifacts and performing frequency conversion before conversion to an optical interference tomographic image and generation of a post-treatment image. Can be given.
  • the server 1 inputs the ultrasonic tomographic image generated so far into the second generative model 52 to generate the optical interference tomographic image. Further, when the generation of the post-treatment image is set to ON, the server 1 outputs the tomographic image (ultrasonic tomographic image and / or optical interference tomographic image) generated so far and the device information input by the user. Input to the third generative model 53 to generate a tomographic image after treatment.
  • the server 1 may reduce noise and / or artifacts by the first generation model 51 after frequency conversion by the fourth generation model 54. As described above, the above procedure may be changed as appropriate.
  • the server 1 outputs the tomographic image generated by using the first generation model 51 to the fourth generation model 54 as a second medical image to the diagnostic imaging apparatus 2 and displays it.
  • FIG. 10 is a flowchart showing the procedure of the generation process of the generation model 50. Based on FIG. 10, the processing content when the generation model 50 is generated by machine learning will be described.
  • the control unit 11 of the server 1 acquires training data including the first medical image and the second medical image (step S11). Specifically, the control unit 11 acquires the first to fourth training data for generating the first generation model 51 to the fourth generation model 54 described above.
  • the first training data includes a first medical image and a second medical image that has less noise and / or artifacts than the first medical image.
  • the second training data includes an ultrasonic tomographic image and an optical interference tomographic image.
  • the third training data includes a pre-treatment medical image and a post-treatment medical image using a therapeutic device.
  • the fourth training data includes ultrasonic tomographic images corresponding to each of the plurality of ultrasonic frequencies.
  • the control unit 11 Based on the first training data, the control unit 11 generates a first generation model 51 that generates a second medical image in which noise and / or artifacts of the first medical image are reduced when the first medical image is input. (Step S12).
  • control unit 11 is a second generation model 52 that mutually converts the ultrasonic tomographic image and the optical interference tomographic image based on the second training data, and when the ultrasonic tomographic image or the optical interference tomographic image is input. , A second generation model 52 that generates an optical interference tomographic image or an ultrasonic tomographic image is generated (step S13).
  • control unit 11 generates a third generation model 53 that generates a medical image after the treatment when the medical image before the treatment is input based on the third training data (step S14). Specifically, the control unit 11 generates a third generative model 53 that generates a medical image after treatment with a therapeutic device (stent, balloon, etc.) that is inserted into a patient's luminal organ and used.
  • a therapeutic device stent, balloon, etc.
  • control unit 11 generates a second ultrasonic tomographic image having a frequency different from that of the input ultrasonic tomographic image when the ultrasonic tomographic image is input based on the fourth training data. Is generated (step S15). Specifically, the control unit 11 generates a fourth generative model 54 that transforms an ultrasonic tomographic image between a plurality of (3 or more) frequencies. The control unit 11 ends a series of processes.
  • FIG. 11 is a flowchart showing a procedure for generating a second medical image.
  • a second medical image generation process using the generation model 50 will be described with reference to FIG.
  • the control unit 11 of the server 1 acquires a first medical image of the luminal organ of the patient from the diagnostic imaging apparatus 2 (step S31). Specifically, as described above, the control unit 11 acquires an ultrasonic tomographic image of a blood vessel imaged using the catheter 21.
  • the first medical image may be an optical interference tomographic image, an X-ray fluoroscopic image, a computed tomography image, a magnetic resonance image, or the like, in addition to the ultrasonic tomographic image.
  • the control unit 11 receives a setting input regarding a method for generating a second medical image from the user via the diagnostic imaging device 2 (step S32). Specifically, as described with reference to FIG. 9, the control unit 11 corresponds to each of noise and / or artifact reduction, conversion to an optical interference tomographic image, generation of a medical image after treatment, and frequency conversion. It accepts ON / OFF setting input as to whether or not to generate an image using the generation model.
  • control unit 11 receives the setting input to generate the medical image after the treatment in step S32
  • receives the input of the device information regarding the treatment device used for the treatment step S33.
  • the control unit 11 determines the stent information indicating the length, diameter, type, placement position, etc. of the stent to be used, the type of balloon to be used, and the balloon for endovascular treatment using the stent and the balloon. Accepts input with balloon information indicating the diameter after expansion.
  • control unit 11 receives the setting input to perform frequency conversion in step S32, the control unit 11 receives the setting input of the target ultrasonic frequency (step S34).
  • the control unit 11 inputs the ultrasonic tomographic image acquired from the diagnostic imaging apparatus 2 into the first generative model 51 to generate an image with reduced noise and / or artifacts (step S35). If noise and / or artifact reduction is set to OFF in step S32, step S35 is skipped.
  • the control unit 11 inputs the ultrasonic tomographic image after noise and / or artifact reduction or the ultrasonic tomographic image acquired from the diagnostic imaging apparatus 2 into the fourth generation model 54 and converts the frequency into the frequency set in step S34.
  • a second ultrasonic tomographic image is generated (step S36). If the frequency conversion is set to OFF in step S32, step S36 is skipped.
  • the control unit 11 inputs the ultrasonic tomographic image generated up to step S36 into the second generative model 52 to generate an optical interference tomographic image (step S37). If the conversion to the optical interference tomographic image is set to OFF in step S32, step S37 is skipped.
  • the control unit 11 inputs the image generated up to step S37 and the device information input in step S33 into the third generation model 53 to generate a medical image predicting the post-treatment state (step S38). .. When the generation of the medical image after treatment is set to OFF in step S32, the control unit 11 skips step S38.
  • the control unit 11 outputs the images generated up to step S38 to the diagnostic imaging apparatus 2 as a second medical image (step S39).
  • the control unit 11 ends a series of processes.
  • a plurality of generation models 50 (first generation model 51 to fourth generation model 54) are used according to the purpose.
  • a desired second medical image can be generated using the generation model 50 and presented to the user.
  • endovascular treatment can be carried out as a support by reducing the noise derived from blood cells.
  • the assumed image after the treatment can be presented to the user, and the treatment can be suitably supported. can.
  • the accuracy of generating the second medical image after the treatment can be improved by inputting the device information regarding the treatment device used for the treatment.
  • endovascular treatment can be suitably supported by indwelling a stent as a second medical image after treatment and generating a medical image after expansion with a balloon.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

プログラムは、患者の管腔器官をイメージングした第１医用画像を取得し、前記第１医用画像を入力した場合に所定の第２医用画像を生成するよう学習済みのモデルに、取得した前記第１医用画像を入力して前記第２医用画像を生成する処理をコンピュータに実行させる。好適には、前記第１医用画像からノイズ又はアーチファクトを低減した前記第２医用画像を生成する。

Description

プログラム、情報処理方法、情報処理装置及びモデル生成方法
　本発明は、プログラム、情報処理方法、情報処理装置及びモデル生成方法に関する。
　超音波画像、光干渉（ＯＣＴ：Optical Coherence Tomography）画像、Ｘ線画像など、人体内部を可視化した医用画像に基づく治療が行われている。これに伴い、画像観察者が好適に医用画像を観察可能なように、医用画像を加工する種々の技術が提案されている。
　例えば特許文献１では、医用画像に含まれるノイズを低減する医用画像診断装置であって、低減対象とする医用画像と、当該医用画像内のノイズ量の空間分布を示すノイズ相関マップとをＣＮＮ（Convolutional Neural Network）に入力して、ノイズを低減したデノイズ画像を生成する医用画像診断装置が開示されている。
特開２０１８－１９２２６４号公報
　しかしながら、特許文献１に係る発明は、加工対象とする事物（ノイズ）の空間分布をＣＮＮに与える必要があり、必ずしも優れた手法とは言えない。
　一つの側面では、好適な医用画像を提示することができるプログラム等を提供することを目的とする。
　一つの側面に係るプログラムは、患者の管腔器官をイメージングした第１医用画像を取得し、前記第１医用画像を入力した場合に所定の第２医用画像を生成するよう学習済みのモデルに、取得した前記第１医用画像を入力して前記第２医用画像を生成する処理をコンピュータに実行させる。
　一つの側面では、好適な医用画像を提示することができる。
画像診断システムの構成例を示す説明図である。 サーバの構成例を示すブロック図である。 生成モデルの概要を示す説明図である。 ノイズ及び／又はアーチファクト低減用の第１生成モデルに関する説明図である。 超音波断層像及び光干渉断層像の相互変換用の第２生成モデルに関する説明図である。 治療後画像生成用の第３生成モデルに関する説明図である。 周波数変換用の第４生成モデルに関する説明図である。 画像診断装置の表示画面例を示す説明図である。 第１生成モデル～第４生成モデルを用いた第２医用画像の生成手順を示す説明図である。 生成モデルの生成処理の手順を示すフローチャートである。 第２医用画像の生成処理の手順を示すフローチャートである。
　以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態）
　図１は、画像診断システムの構成例を示す説明図である。本実施の形態では、画像診断装置２において患者の管腔器官をイメージングした医用画像（以下、「第１医用画像」と呼ぶ）を変換し、別の医用画像（以下、「第２医用画像」と呼ぶ）を生成する画像診断システムについて説明する。画像診断システムは、情報処理装置１、画像診断装置２を含む。情報処理装置１及び画像診断装置２は、ＬＡＮ（Local Area Network）、インターネット等のネットワークＮを介して通信接続されている。
　画像診断装置２は、患者の管腔器官をイメージングするための装置ユニットであり、例えばカテーテル２１を用いた患者血管内の超音波検査を行うＩＶＵＳ（Intravascular Ultrasound）装置である。画像診断装置２は、カテーテル２１、画像処理装置２２、表示装置２３を備える。カテーテル２１は被検者の血管内に挿入される医用器具であり、超音波を送信すると共に血管内からの反射波を受信する圧電素子を備える。画像診断装置２は、カテーテル２１で受信した反射波の信号に基づいて血管の超音波断層像（医用画像）を生成する。画像処理装置２２は、カテーテル２１で受信した反射波のデータを処理して断層像を生成する処理装置であり、生成した断層像を表示装置２３に表示させるほか、検査を行う際の各種設定値の入力を受け付けるための入力インターフェイスなどを備える。
　なお、本実施の形態では血管内検査を一例として説明するが、検査対象とする管腔器官は血管に限定されず、例えば胆管、膵管、気管支、腸などのその他の管腔器官であってもよい。また、画像診断装置２でイメージングする断層像は超音波断層像に限定されず、光干渉断層像などであってもよい。
　また、本実施の形態では医用画像が断層像（超音波断層像又は光干渉断層像）であるものとして説明するが、Ｘ線透視画像（例えばアンギオグラフィ画像）、コンピュータ断層撮影（ＣＴ；Computed Tomography）画像、磁気共鳴（ＭＲＩ；Magnetic Resonance Imaging）画像などであってもよい。
　情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバコンピュータであるものとし、以下では簡潔のためサーバ１と読み替える。なお、サーバ１は画像診断装置２が設置されている施設（病院等）に設置されたローカルサーバであってもよく、インターネット等を介して画像診断装置２に通信接続されたクラウドサーバであってもよい。サーバ１は、画像診断装置２で生成された第１医用画像から第２医用画像を生成する生成装置として機能し、生成した第２医用画像を画像診断装置２に出力する。具体的には後述のように、サーバ１は、所定の訓練データを学習する機械学習を事前に行い、第１医用画像を入力として、第２医用画像を生成する生成モデル５０（図３等参照）を用意してある。サーバ１は、画像診断装置２から取得した第１医用画像を生成モデル５０に入力し、生成された第２医用画像を画像診断装置２に出力して表示させる。
　なお、本実施の形態では画像診断装置２とは別体のサーバ１において第２医用画像を生成するものとするが、サーバ１が機械学習によって生成した生成モデル５０を画像診断装置２（画像処理装置２２）にインストールし、画像診断装置２で第２医用画像の生成を可能としてもよい。
　図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
　制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
　補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１４は、生成モデル５０を記憶している。生成モデル５０は、上述の如く訓練データを学習済みの機械学習モデルであり、第１医用画像を入力として、第１医用画像を変換した第２医用画像を生成するモデルである。生成モデル５０は、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。
　なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
　また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰを読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰを読み込んでも良い。
　図３は、生成モデル５０の概要を示す説明図である。図３に基づき、生成モデル５０の概要を説明する。
　生成モデル５０は、画像診断装置２でイメージングされた第１医用画像を入力として、第１医用画像を変換した第２医用画像を生成する機械学習モデルである。本実施の形態では、生成モデル５０としてＧＡＮ（Generative Adversarial Network）を用いる。図３に、ＧＡＮの概要を図示する。ＧＡＮは、入力データから出力データを生成する生成器（Ｇ：Generator）と、生成器が生成したデータの真偽を識別する識別器（Ｄ：Discriminator）とを備え、生成器及び識別器が競合して学習を行うことでネットワークを構築する。
　図３に示すように、生成器はランダムなノイズ（潜在変数）の入力を受け付け、出力データを生成する。識別器は、学習用に与えられる真のデータと、生成器から与えられるデータとを用いて、生成器から与えられたデータの真偽を学習する。ＧＡＮでは、最終的に生成器の損失関数が最小化し、かつ、識別器の損失関数が最大化するようにネットワークを構築する。
　本実施の形態でサーバ１は、入力画像から出力画像を生成するＧＡＮを生成モデル５０として生成する。サーバ１は、訓練用に与えられる第１医用画像及び第２医用画像を用いて学習を行い、生成モデル５０を生成する。
　例えばサーバ１はまず、生成器のパラメータ（重み等）を固定した上で訓練用の第１医用画像を生成器に入力し、第２医用画像を生成する。そしてサーバ１は、生成器が生成した第２医用画像を偽のデータとし、訓練用の第２医用画像を真のデータとして識別器に与え、識別器のパラメータを最適化する。次にサーバ１は、識別器のパラメータを最適値に固定し、生成器の学習を行う。サーバ１は、生成器が生成した第２医用画像を識別器に入力した場合に、真偽の確率が５０％に近似するよう生成器のパラメータを最適化する。これにより、サーバ１は生成モデル５０を生成する。実際に第１医用画像から第２医用画像を生成する場合は生成器のみを用いる。
　なお、生成モデル５０はＧＡＮに限定されず、ＶＡＥ（Variational Autoencoder）、ＣＮＮ（例えばＵ－ｎｅｔ）等のニューラルネットワーク、あるいはその他の学習アルゴリズムに基づくモデルであってもよい。
　本実施の形態でサーバ１は、目的とする第２医用画像に応じて、複数の生成モデル５０を予め用意しておく。具体的には後述のように、サーバ１は、第１医用画像のノイズ及び／又はアーチファクト低減用の第１生成モデル５１、超音波断層像及び光干渉断層像の相互変換用の第２生成モデル５２、治療前の第１医用画像から治療後の第２医用画像を生成するための第３生成モデル５３、及び超音波断層像の周波数変換用の第４生成モデル５４を用意しておく。例えばサーバ１は、ユーザからの設定入力に応じて画像生成に用いるモデルを取捨選択し、第１生成モデル５１～第４生成モデル５４のうち、一又は複数のモデルを用いて第２医用画像を生成する。以下、第１生成モデル５１～第４生成モデル５４について説明する。
　図４は、ノイズ及び／又はアーチファクト低減用の第１生成モデル５１に関する説明図である。図４では、第１医用画像を第１生成モデル５１に入力した場合、第１医用画像に含まれるノイズ及び／又はアーチファクトを低減した第２医用画像が出力される様子を概念的に図示している。
　アーチファクトは、画像診断の目的としていない、又は実際に存在しない虚像のことであり、医用画像を撮影する装置や撮影条件などに由来して結像する像である。ノイズは、アーチファクト以外の画像異常である。本実施の形態でサーバ１は、ノイズ及びアーチファクトのうち、少なくとも一方を低減するための第１生成モデル５１を用意しておき、ノイズ及び／又はアーチファクトを低減した第２医用画像を生成する。
　なお、アーチファクト及びノイズの区別は便宜的なものであり、両者は相互に重複し得る。
　本実施の形態では特に、血管内に存在する赤血球に由来するノイズを低減する。上述の如く、画像診断装置２はカテーテル２１から送信した超音波信号の反射波を検出して断層像を生成するが、血管内に存在する赤血球が反射体となり、細かい粒子となって断層像に現れる。そこでサーバ１は、赤血球に由来するノイズが含まれる訓練用の第１医用画像と、当該第１医用画像よりも赤血球に由来するノイズが少ない訓練用の第２医用画像とを学習し、赤血球に由来するノイズを低減する第１生成モデル５１を構築する。
　なお、赤血球に由来するノイズは低減対象とする事象の一例であって、当該ノイズ以外にも、音響陰影、多重反射、多重エコー、ＮＵＲＤ（non-uniform rotational distortion）など、その他のアーチファクト及び／又はノイズを低減可能としてもよい。
　例えばサーバ１は、ノイズ及び／又はアーチファクト低減用の第１生成モデル５１として、ｐｉｘ２ｐｉｘを生成する。サーバ１は、第１生成モデル５１を生成するための訓練データ（以下、「第１訓練データ」と呼ぶ）として、ノイズ及び／又はアーチファクトを含む第１医用画像と、第１医用画像よりもノイズ及び／又はアーチファクトが少ない第２医用画像とを用いる。サーバ１は、訓練用の第１医用画像を生成器に与えて第２医用画像を生成する。そしてサーバ１は、生成器の入出力に相当する第１医用画像及び第２医用画像のペアを偽のデータとし、訓練データに含まれる第１医用画像及び第２医用画像のペアを真のデータとして識別器に与え、真偽の識別を行う。サーバ１は、生成器の損失関数が最小化し、かつ、識別器の損失関数が最大化するようパラメータを最適化し、第１生成モデル５１を生成する。
　なお、上記では第１生成モデル５１がｐｉｘ２ｐｉｘであるものとして説明したが、後述のＣｙｃｌｅＧＡＮ、ＳｔａｒＧＡＮなど、ｐｉｘ２ｐｉｘとはネットワーク構造が異なるその他のＧＡＮであってもよい。
　図５は、超音波断層像及び光干渉断層像の相互変換用の第２生成モデル５２に関する説明図である。図５では、第２生成モデル５２において、超音波断層像及び光干渉断層像の相互変換が行われる様子を概念的に図示している。
　例えばサーバ１は、超音波断層像及び光干渉断層像の相互変換用の第２生成モデル５２としてＣｙｃｌｅＧＡＮを生成する。ＣｙｃｌｅＧＡＮは、異なるドメイン間でデータの相互変換を行うモデルであり、一のドメインのデータを他のドメインのデータに変換するための変換器（生成器。図５では「Ｇ」と記載）と、上記他のドメインのデータを上記一のドメインのデータに変換する変換器（図５では「Ｆ」と記載）とを備える。また、ＣｙｃｌｅＧＡＮは、２つの変換器に対応して、各変換器で生成したデータの真偽を識別する２つの識別器（図５では「ＤＸ」、「ＤＹ」と記載）を備える。
　サーバ１は、一のドメインを超音波断層像とし、他のドメインを光干渉断層像として、両者の相互変換を行う第２生成モデル５２を生成する。サーバ１は、超音波断層像及び光干渉断層像から成る訓練データ（以下、「第２訓練データ」と呼ぶ）を用いて学習を行う。サーバ１は、訓練用の超音波断層像を一の変換器に入力して光干渉断層像を生成し、当該一の変換器に対応する識別器において真偽を識別する。また、サーバ１は、訓練用の光干渉断層像を他の変換器に入力して超音波断層像を生成し、当該他の変換器に対応する識別器において真偽を識別する。サーバ１は、ドメイン間の変換を評価するための損失関数（Adversarial Loss）と、変換したデータの元のドメインへの逆変換を保証するための損失関数（Cycle Consistency Loss）とを用いて学習を行い、各変換器及び識別器のパラメータを最適化した第２生成モデル５２を生成する。
　なお、上記では第２生成モデル５２としてＣｙｃｌｅＧＡＮを挙げたが、その他のネットワーク構造のＧＡＮであってもよい。また、本実施の形態では第２生成モデル５２が双方向の画像変換を可能なモデルとして説明するが、一方向のみ画像変換が可能なモデルであってもよい。
　また、本実施の形態では画像診断装置２において超音波断層像を取得するため、超音波断層像から光干渉断層像を生成するものとして説明したが、上述の如く、第２生成モデル５２は超音波断層像及び光干渉断層像の相互変換を行うことができる。従って、第２生成モデル５２への入力を光干渉断層像とし、超音波断層像を生成するようにしてもよいことは勿論である。
　図６は、治療後画像生成用の第３生成モデル５３に関する説明図である。図６では、管腔器官の治療前の第１医用画像を第３生成モデル５３に入力した場合に、治療後の状態を予測した第２医用画像を生成する様子を概念的に図示している。
　具体的には、図６では、治療用デバイスを使用して血管内治療を実施後の第２医用画像を生成する様子を概念的に図示している。治療用デバイスは、例えば血管に留置されるステント、及び血管を拡張するバルーンなどである。図６では、血管に留置され、バルーンにより拡張された後のステントをハッチングにより図示している。サーバ１は治療用デバイスを使用した血管内治療の実施前の第１医用画像と、治療実施後の第２医用画像とから成る訓練データ（以下、「第３訓練データ」と呼ぶ）を用いて、治療前の第１医用画像から治療後の第２医用画像を生成する第３生成モデル５３を生成する。
　例えばサーバ１は、治療後画像生成用の第３生成モデル５３として、ｐｉｘ２ｐｉｘを生成する。サーバ１は、訓練用の第１医用画像を生成器に入力して第２医用画像を生成し、生成器の入出力に相当する偽の第１医用画像及び第２医用画像のペアと、訓練用の真の第１医用画像及び第２医用画像のペアとを識別器に与えて真偽を識別する。サーバ１は、生成器の損失関数が最小化し、かつ、識別器の損失関数が最大化するようにパラメータを最適化し、第３生成モデル５３を生成する。
　なお、サーバ１は第１医用画像だけでなく、患者の治療に用いる治療用デバイスに関するデバイス情報を第３生成モデル５３に入力して治療後の第２医用画像を生成するようにしてもよい。デバイス情報は、治療に用いる治療用デバイスを関するパラメータであり、例えば患者の血管に留置するステントの情報、及びステントを拡張するバルーンの情報などである。例えばサーバ１は、ステントの長さ、径、種類、ステントを留置する血管内の位置、ステントの拡張に用いるバルーンの種類、バルーンによる拡張後の径などをデバイス情報として第３生成モデル５３に入力する。
　例えばサーバ１は、ＣｏｎｄｉｔｉｏｎａｌＧＡＮのように、第３生成モデル５３を入力データのクラスラベルを入力可能なモデルとして、デバイス情報を第１医用画像のクラスを示すラベルデータとして第３生成モデル５３に入力する。そしてサーバ１は、第１医用画像及びデバイス情報から第２医用画像を生成する。これにより、実施予定の治療内容を考慮して治療後の第２医用画像を生成することができ、画像生成の精度を高めることができる。
　なお、上記ではステントを留置し、かつ、バルーンで拡張した後の画像を第２医用画像として生成するものとしたが、本実施の形態はこれに限定されない。例えば第３生成モデル５３は、ステントを留置した状態ではあるものの、バルーンによる拡張前の画像を第２医用画像として生成してもよい。また、例えば第３生成モデル５３は、ステントを留置する空間を確保するために、ステント留置前に行われるバルーン拡張後の画像を第２医用画像として生成してもよい。すなわち、第３生成モデル５３は、治療用デバイスを使用後の第２医用画像を生成可能であればよく、一連の治療の途中過程における画像を第２医用画像として生成してもよい。
　図７は、周波数変換用の第４生成モデル５４に関する説明図である。図７では、互いに異なる複数の超音波周波数の間で超音波断層像を相互に変換する様子を概念的に図示している。
　例えばサーバ１は、周波数変換用の第４生成モデル５４としてＳｔａｒＧＡＮを生成する。ＳｔａｒＧＡＮは、ＣｙｃｌｅＧＡＮと同様、異なるドメイン間でデータの相互変換を行うモデルであるが、３以上の多数のドメイン間でデータの相互変換を行うモデルである。ＳｔａｒＧＡＮはＣｙｃｌｅＧＡＮとは異なり、単一の変換器及び識別器のみを備える。変換器は、一のドメインのデータと、目標とする他のドメインを示すラベルとを入力として受け付け、当該他のドメインのデータを生成する。また、識別器は、生成器が生成したデータの真偽と、当該データのドメインとを識別する。ＳｔａｒＧＡＮでは、生成器が生成したデータの真偽を評価するための損失関数（Adversarial Loss）と、ドメインのクラス分類に関する損失関数（Domain Class Loss）と、生成したデータの元のドメインへの逆変換を保証するための損失関数（Reconstruction Loss）とを用いて学習を行い、変換器及び識別器のパラメータを最適化する。
　サーバ１は、互いに異なる複数の超音波周波数をＳｔａｒＧＡＮの各ドメインとして、第４生成モデル５４を生成する。例えばサーバ１は、４０、４５、５０、５５、及び６０ＭＨｚを各ドメインに対応する超音波周波数として、いずれかの周波数の超音波断層像を他の周波数の超音波断層像に変換する第４生成モデル５４を生成する。サーバ１は、各周波数の超音波断層像から成る訓練データ（以下、「第４訓練データ」と呼ぶ）を用いて学習を行い、一の周波数の超音波断層像と、目標とする他の周波数を示すクラスラベルとを入力として、当該他の周波数に対応する第２の超音波断層像（第２医用画像）を生成する第４生成モデル５４を生成する。
　なお、上記では第４生成モデル５４としてＳｔａｒＧＡＮを挙げたが、ＣｙｃｌｅＧＡＮなど、その他のネットワーク構造のＧＡＮであってもよい。また、第４生成モデル５４が複数の周波数変換を可能なモデルとする構成は必須ではなく、単一の周波数変換のみを可能なモデルとしてもよい。
　サーバ１は、上述の第１生成モデル５１～第４生成モデル５４のうち、一又は複数のモデルを用いて第２医用画像を生成する。例えばサーバ１は、画像診断装置２を介して、各モデルを用いて画像生成を行うか否か、第２医用画像の生成方法（変換方法）に関する設定入力をユーザから受け付ける。サーバ１は、ユーザからの設定内容に応じて第１生成モデル５１～第４生成モデル５４を取捨選択し、第２医用画像を生成する。
　図８は、画像診断装置２の表示画面例を示す説明図である。画像診断装置２は、カテーテル２１を用いてイメージングした第１医用画像８１を表示すると共に、ユーザによる設定内容に応じて生成された第２医用画像８２を表示し、ユーザに提示する。
　例えば図８に示すように、画像診断装置２は、表示画面上にメニューバー８０を表示する。メニューバー８０には、第１生成モデル５１によるノイズ及び／又はアーチファクトの低減、第２生成モデル５２による光干渉断層像への変換、第３生成モデル５３による治療後画像の生成、並びに第４生成モデル５４による周波数変換のそれぞれについて、画像生成のＯＮ／ＯＦＦを切り換えるためのボタン８０１が表示される。画像診断装置２は、各ボタン８０１への操作入力を受け付けることで、対応する各生成モデル５０を用いた画像生成のＯＮ／ＯＦＦの設定入力を受け付ける。なお、第４生成モデル５４による周波数変換がＯＮに設定された場合、画像診断装置２はさらに、目標とする超音波周波数の設定入力を受け付ける。
　また、治療後画像の生成がＯＮに設定された場合、画像診断装置２は、デバイス情報の設定入力を受け付ける。具体的には上述の如く、画像診断装置２は、ステントの長さ、径、位置等を示すステント情報、及びバルーンの拡張径等を示すバルーン情報の設定入力を受け付ける。
　例えば画像診断装置２は、図８に示すように、血管の長手方向に沿って連続してイメージングされた複数の超音波断層像（横断層像）を元に、縦断層像８１ａを生成して表示する。そして画像診断装置２は、図８において太線の矩形枠で示すオブジェクトを操作することで、縦断層像８１ａに対してステントの留置位置の設定入力を受け付ける。ステントの留置位置が設定された場合、さらに画像診断装置２は、設定された位置に留置するステントの長さ、径、種類、バルーンの種類、バルーンによるステントの拡張径等の設定入力を受け付ける。これにより画像診断装置２は、第３生成モデル５３に入力するデバイス情報の設定入力を受け付ける。
　図９は、第１生成モデル５１～第４生成モデル５４を用いた第２医用画像の生成手順を示す説明図である。サーバ１は、上記の設定内容に従い、各生成モデル５０を用いて第２医用画像を生成する。図９では、複数の生成モデル５０を利用した第２医用画像の生成手順の一例を図示してある。
　例えばサーバ１はまず、ノイズ及び／又はアーチファクトの低減がＯＮに設定されている場合、第１生成モデル５１に超音波断層像（第１医用画像）を入力する。次にサーバ１は、周波数変換がＯＮに設定されている場合、第１生成モデル５１で生成した超音波断層像と、ユーザが設定した目標の周波数を示すクラスラベルとを第４生成モデル５４に入力して、周波数を変換した第２の超音波断層像を生成する。なお、ノイズ及び／又はアーチファクトの低減がＯＦＦに設定されている場合、第１生成モデル５１での画像生成は行わずに元の超音波断層像を第４生成モデル５４に入力する。光干渉断層像への変換、及び治療後画像の生成を行う前に、ノイズ及び／又はアーチファクトの低減、並びに周波数変換を行うことで、第２生成モデル５２、第３生成モデル５３に好適な画像を与えることができる。
　次にサーバ１は、光干渉断層像への変換がＯＮに設定されている場合、上記までに生成された超音波断層像を第２生成モデル５２に入力して光干渉断層像を生成する。さらにサーバ１は、治療後画像の生成がＯＮに設定されている場合、上記までに生成された断層像（超音波断層像及び／又は光干渉断層像）と、ユーザが入力したデバイス情報とを第３生成モデル５３に入力して、治療後の断層像を生成する。
　なお、上記の生成手順は一例であって、本実施の形態はこれに限定されるものではない。例えばサーバ１は、第４生成モデル５４による周波数変換後に、第１生成モデル５１によるノイズ及び／又はアーチファクトの低減を行ってもよい。このように、上記の手順は適宜に変更してもよい。
　サーバ１は、第１生成モデル５１～第４生成モデル５４を用いて生成した断層像を第２医用画像として画像診断装置２に出力し、表示させる。
　図１０は、生成モデル５０の生成処理の手順を示すフローチャートである。図１０に基づき、機械学習により生成モデル５０を生成する際の処理内容について説明する。
　サーバ１の制御部１１は、第１医用画像及び第２医用画像から成る訓練データを取得する（ステップＳ１１）。具体的には、制御部１１は、上述の第１生成モデル５１～第４生成モデル５４を生成するための第１～第４訓練データを取得する。第１訓練データは、第１医用画像と、当該第１医用画像よりもノイズ及び／又はアーチファクトが少ない第２医用画像とを含む。第２訓練データは、超音波断層像と、光干渉断層像とを含む。第３訓練データは、治療前の医用画像と、治療用デバイスを用いた治療後の医用画像とを含む。第４訓練データは、複数の超音波周波数それぞれに対応する超音波断層像を含む。
　制御部１１は第１訓練データに基づき、第１医用画像を入力した場合に、当該第１医用画像のノイズ及び／又はアーチファクトを低減した第２医用画像を生成する第１生成モデル５１を生成する（ステップＳ１２）。
　また、制御部１１は第２訓練データに基づき、超音波断層像及び光干渉断層像を相互に変換する第２生成モデル５２であって、超音波断層像又は光干渉断層像を入力した場合に、光干渉断層像又は超音波断層像を生成する第２生成モデル５２を生成する（ステップＳ１３）。
　また、制御部１１は第３訓練データに基づき、治療前の医用画像を入力した場合に、治療後の医用画像を生成する第３生成モデル５３を生成する（ステップＳ１４）。具体的には、制御部１１は、患者の管腔器官に挿入して使用する治療用デバイス（ステント、バルーン等）による治療実施後の医用画像を生成する第３生成モデル５３を生成する。
　また、制御部１１は第４訓練データに基づき、超音波断層像を入力した場合に、入力された超音波断層像とは周波数が異なる第２の超音波断層像を生成する第４生成モデル５４を生成する（ステップＳ１５）。具体的には、制御部１１は、複数（３以上）の周波数それぞれの間で超音波断層像を変換する第４生成モデル５４を生成する。制御部１１は一連の処理を終了する。
　図１１は、第２医用画像の生成処理の手順を示すフローチャートである。図１１に基づき、生成モデル５０を用いた第２医用画像の生成処理について説明する。
　サーバ１の制御部１１は、患者の管腔器官をイメージングした第１医用画像を画像診断装置２から取得する（ステップＳ３１）。具体的には上述の如く、制御部１１は、カテーテル２１を用いてイメージングされた血管の超音波断層像を取得する。なお、上述の如く、第１医用画像は超音波断層像のほかに、光干渉断層像、Ｘ線透視画像、コンピュータ断層撮影画像、磁気共鳴画像などであってもよい。
　制御部１１は、画像診断装置２を介して、第２医用画像の生成方法に関する設定入力をユーザから受け付ける（ステップＳ３２）。具体的には図９で説明したように、制御部１１は、ノイズ及び／又はアーチファクトの低減、光干渉断層像への変換、治療後の医用画像の生成、並びに周波数変換それぞれについて、対応する各生成モデルを用いて画像生成を行うか否か、ＯＮ／ＯＦＦの設定入力を受け付ける。
　また、制御部１１は、ステップＳ３２で治療後の医用画像の生成を行う旨の設定入力を受け付けた場合、治療に用いる治療用デバイスに関するデバイス情報の入力を受け付ける（ステップＳ３３）。具体的には、制御部１１は、ステント及びバルーンを用いた血管内治療に関し、使用するステントの長さ、径、種類、留置する位置等を示すステント情報と、使用するバルーンの種類、バルーンによる拡張後の径等を示すバルーン情報との入力を受け付ける。
　また、制御部１１は、ステップＳ３２で周波数変換を行う旨の設定入力を受け付けた場合、目標とする超音波周波数の設定入力を受け付ける（ステップＳ３４）。
　制御部１１は、画像診断装置２から取得した超音波断層像を第１生成モデル５１に入力して、ノイズ及び／又はアーチファクトを低減した画像を生成する（ステップＳ３５）。なお、ステップＳ３２でノイズ及び／又はアーチファクトの低減がＯＦＦに設定された場合、ステップＳ３５をスキップする。
　制御部１１は、ノイズ及び／又はアーチファクト低減後の超音波断層像、又は画像診断装置２から取得した超音波断層像を第４生成モデル５４に入力して、ステップＳ３４で設定された周波数に変換した第２の超音波断層像を生成する（ステップＳ３６）。なお、ステップＳ３２で周波数変換がＯＦＦに設定された場合、ステップＳ３６をスキップする。
　制御部１１は、ステップＳ３６までに生成した超音波断層像を第２生成モデル５２に入力して、光干渉断層像を生成する（ステップＳ３７）。なお、ステップＳ３２で光干渉断層像への変換がＯＦＦに設定された場合、ステップＳ３７をスキップする。
　制御部１１は、ステップＳ３７までに生成した画像と、ステップＳ３３で入力されたデバイス情報とを第３生成モデル５３に入力して、治療後の状態を予測した医用画像を生成する（ステップＳ３８）。なお、ステップＳ３２で治療後の医用画像の生成がＯＦＦに設定された場合、制御部１１はステップＳ３８をスキップする。
　制御部１１は、ステップＳ３８までに生成した画像を第２医用画像として画像診断装置２に出力する（ステップＳ３９）。制御部１１は一連の処理を終了する。
　なお、上記では目的に応じた複数の生成モデル５０（第１生成モデル５１～第４生成モデル５４）を利用するものとしたが、
　以上より、本実施の形態によれば、生成モデル５０を用いて所望の第２医用画像を生成し、ユーザに提示することができる。
　また、本実施の形態によれば、ノイズ及び／又はアーチファクトを低減した第２医用画像を提示することができる。
　また、本実施の形態によれば、血球由来のノイズを低減することで、血管内治療を支援に実施することができる。
　また、本実施の形態によれば、超音波断層像及び光干渉断層像の相互変換を行うことができる。
　また、本実施の形態によれば、治療前の第１医用画像から治療後の第２医用画像を生成することで、治療後の想定イメージをユーザに提示し、治療を好適に支援することができる。
　また、本実施の形態によれば、治療に用いる治療用デバイスに関するデバイス情報を入力することで、治療後の第２医用画像の生成精度を高めることができる。
　また、本実施の形態によれば、治療後の第２医用画像としてステント留置し、バルーンで拡張した後の医用画像を生成することで、血管内治療を好適に支援することができる。
　また、本実施の形態によれば、超音波断層像の周波数変換を行うこともできる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　１　　　サーバ（情報処理装置）
　１１　　制御部
　１２　　主記憶部
　１３　　通信部
　１４　　補助記憶部
　１ａ　　可搬型記憶媒体
　１ｂ　　半導体メモリ
　２　　　画像診断装置
　２１　　カテーテル
　２２　　画像処理装置
　２３　　表示装置
　５０　　生成モデル
　５１　　第１生成モデル
　５２　　第２生成モデル
　５３　　第３生成モデル
　５４　　第４生成モデル
　８０　　メニューバー
　８０１　ボタン
　８１　　第１医用画像
　８１ａ　縦断層像
　８２　　第２医用画像
　Ｎ　　　ネットワーク
　Ｐ　　　プログラム

Claims (12)

  1. 　患者の管腔器官をイメージングした第１医用画像を取得し、
    　前記第１医用画像を入力した場合に所定の第２医用画像を生成するよう学習済みのモデルに、取得した前記第１医用画像を入力して前記第２医用画像を生成する
    　処理をコンピュータに実行させるプログラム。
  2. 　前記第１医用画像からノイズ又はアーチファクトを低減した前記第２医用画像を生成する
    　請求項１に記載のプログラム。
  3. 　前記第１医用画像は、前記患者の血管内をイメージングした医用画像であり、
    　前記第１医用画像から血球由来のノイズを低減した前記第２医用画像を生成する
    　請求項２に記載のプログラム。
  4. 　前記第１医用画像は、前記患者の血管内の超音波断層像又は光干渉断層像であり、
    　超音波断層像及び光干渉断層像を相互に変換する前記モデルに前記超音波断層像又は光干渉断層像を入力して、光干渉断層像又は超音波断層像である前記第２医用画像を生成する
    　請求項１～３のいずれか１項に記載のプログラム。
  5. 　前記第１医用画像は、前記管腔器官の治療前の医用画像であり、
    　前記第１医用画像を前記モデルに入力して、前記管腔器官の治療後の医用画像である前記第２医用画像を生成する
    　請求項１～４のいずれか１項に記載のプログラム。
  6. 　前記管腔器官の治療に用いる治療用デバイスに関するデバイス情報の入力を受け付け、
    　前記第１医用画像及びデバイス情報を前記モデルに入力して、前記第２医用画像を生成する
    　請求項５に記載のプログラム。
  7. 　前記第１医用画像は、前記患者の血管内をイメージングした医用画像であり、
    　前記第１医用画像を前記モデルに入力して、前記血管内にステントを留置後の医用画像である前記第２医用画像を生成する
    　請求項５又は６に記載のプログラム。
  8. 　前記第１医用画像は、前記患者の血管内をイメージングした医用画像であり、
    　前記第１医用画像を前記モデルに入力して、前記血管にバルーンで拡張後の医用画像である前記第２医用画像を生成する
    　請求項５～７のいずれか１項に記載のプログラム。
  9. 　前記第１医用画像は、前記患者の血管内の超音波断層像であり、
    　前記第１医用画像を前記モデルに入力して、超音波周波数を変換した第２の超音波断層像を生成する
    　請求項１～８のいずれか１項に記載のプログラム。
  10. 　患者の管腔器官をイメージングした第１医用画像を取得し、
    　前記第１医用画像を入力した場合に所定の第２医用画像を生成するよう学習済みのモデルに、取得した前記第１医用画像を入力して前記第２医用画像を生成する
    　処理をコンピュータが実行する情報処理方法。
  11. 　患者の管腔器官をイメージングした第１医用画像を取得する取得部と、
    　前記第１医用画像を入力した場合に所定の第２医用画像を生成するよう学習済みのモデルに、取得した前記第１医用画像を入力して前記第２医用画像を生成する生成部と
    　を備える情報処理装置。
  12. 　患者の管腔器官をイメージングした第１医用画像及び第２医用画像を含む訓練データを取得し、
    　前記訓練データに基づき、前記第１医用画像を入力した場合に前記第２医用画像を生成する学習済みモデルを生成する
    　処理をコンピュータが実行するモデル生成方法。
PCT/JP2021/009325 2020-03-27 2021-03-09 プログラム、情報処理方法、情報処理装置及びモデル生成方法 WO2021193026A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-059000 2020-03-27
JP2020059000 2020-03-27

Publications (1)

Publication Number Publication Date
WO2021193026A1 true WO2021193026A1 (ja) 2021-09-30

Family

ID=77891488

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009325 WO2021193026A1 (ja) 2020-03-27 2021-03-09 プログラム、情報処理方法、情報処理装置及びモデル生成方法

Country Status (1)

Country Link
WO (1) WO2021193026A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132332A1 (ja) * 2022-01-06 2023-07-13 テルモ株式会社 コンピュータプログラム、画像処理方法及び画像処理装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350620A1 (en) * 2015-05-27 2016-12-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350620A1 (en) * 2015-05-27 2016-12-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132332A1 (ja) * 2022-01-06 2023-07-13 テルモ株式会社 コンピュータプログラム、画像処理方法及び画像処理装置

Similar Documents

Publication Publication Date Title
US11847781B2 (en) Systems and methods for medical acquisition processing and machine learning for anatomical assessment
Nam et al. Three-dimensional printing of congenital heart disease models for cardiac surgery simulation: evaluation of surgical skill improvement among inexperienced cardiothoracic surgeons
WO2021193026A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
CN114596225A (zh) 一种运动伪影模拟方法和系统
WO2021193019A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
US20230397816A1 (en) Method of and system for in vivo strain mapping of an aortic dissection
WO2022071264A1 (ja) プログラム、モデル生成方法、情報処理装置及び情報処理方法
Sachdeva et al. Novel techniques in imaging congenital heart disease: JACC scientific statement
WO2021193018A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2021193024A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2022071208A1 (ja) 情報処理装置、情報処理方法、プログラム、モデル生成方法及び訓練データ生成方法
JP7545466B2 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2021193015A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2022071265A1 (ja) プログラム、情報処理装置及び情報処理方法
WO2021193021A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
CN114331877A (zh) 一种血管内超声影像修复方法及系统
JP2022059493A (ja) モデル生成方法、モデル生成装置、画像処理方法及び画像処理装置
WO2021199961A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
WO2021193022A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2024142137A (ja) プログラム、画像処理方法及び画像処理装置
WO2024071321A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
WO2023054442A1 (ja) コンピュータプログラム、情報処理装置及び情報処理方法
JP2022142607A (ja) プログラム、画像処理方法、画像処理装置及びモデル生成方法
JP2023051176A (ja) コンピュータプログラム、情報処理装置及び情報処理方法
Lawley Automation for patient screening

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21774989

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21774989

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP