WO2023132332A1 - コンピュータプログラム、画像処理方法及び画像処理装置 - Google Patents

コンピュータプログラム、画像処理方法及び画像処理装置 Download PDF

Info

Publication number
WO2023132332A1
WO2023132332A1 PCT/JP2023/000016 JP2023000016W WO2023132332A1 WO 2023132332 A1 WO2023132332 A1 WO 2023132332A1 JP 2023000016 W JP2023000016 W JP 2023000016W WO 2023132332 A1 WO2023132332 A1 WO 2023132332A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
tomographic image
optical coherence
ultrasonic
ofdi
Prior art date
Application number
PCT/JP2023/000016
Other languages
English (en)
French (fr)
Inventor
陽 井口
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to JP2023572474A priority Critical patent/JPWO2023132332A1/ja
Publication of WO2023132332A1 publication Critical patent/WO2023132332A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters

Definitions

  • the present invention relates to a computer program, an image processing method, and an image processing apparatus.
  • Endovascular treatment represented by percutaneous coronary intervention (PCI) is performed as a minimally invasive treatment for ischemic heart disease such as angina pectoris or myocardial infarction.
  • PCI percutaneous coronary intervention
  • IFDI optical coherence tomographic imaging equipment using near infrared rays
  • other intravascular imaging diagnostic devices are used.
  • an imaging diagnostic apparatus that combines the function of IVUS and the function of OFDI, that is, an imaging diagnostic apparatus that includes an ultrasonic transmission/reception unit capable of transmitting/receiving ultrasonic waves and an optical transmission/reception unit capable of transmitting/receiving light has been proposed.
  • an imaging diagnostic apparatus that includes an ultrasonic transmission/reception unit capable of transmitting/receiving ultrasonic waves and an optical transmission/reception unit capable of transmitting/receiving light has been proposed.
  • Patent Documents 1 and 2 According to such an image diagnostic apparatus, both an ultrasonic tomographic image that utilizes the characteristics of IVUS that can measure up to a high depth area and an optical coherence tomographic image that utilizes the characteristics of OFDI that can be measured with high resolution can be obtained at one time. Can be constructed by scanning.
  • a computer program capable of correcting defects in an ultrasonic tomographic image and an optical coherence tomographic image obtained using a dual type catheter having IVUS function and OFDI function, an image processing method and An object of the present invention is to provide an image processing apparatus.
  • a computer program uses a sensor unit having an ultrasonic transmission/reception unit that transmits/receives ultrasonic waves and an optical transmission/reception unit that transmits/receives light to transmit and receive an ultrasonic tomographic image of a hollow organ and light.
  • An image processing method is an ultrasonic tomographic image and an optical coherence tomographic image of a hollow organ using a sensor unit having an ultrasonic transmission/reception unit that transmits and receives ultrasonic waves and an optical transmission/reception unit that transmits and receives light.
  • the image defect of the acquired ultrasonic tomographic image or the optical coherence tomographic image is determined, and when the optical coherence tomographic image (or the ultrasonic tomographic image) is input, the corresponding ultrasonic wave
  • a normal optical coherence tomographic image corresponding to the ultrasonic tomographic image (or the optical coherence tomographic image) determined to be defective is added to a learning model trained to output a tomographic image (or an optical coherence tomographic image).
  • the ultrasonic tomographic image By inputting the ultrasonic tomographic image (or the ultrasonic tomographic image), the corresponding normal ultrasonic tomographic image (or the optical coherence tomographic image) is output, and the ultrasonic tomographic image output from the learning model (or the The ultrasonic tomographic image (or the optical coherence tomographic image) determined to be defective is corrected using the optical coherence tomographic image).
  • An image processing apparatus uses a sensor unit having an ultrasonic transmission/reception unit that transmits/receives ultrasonic waves and an optical transmission/reception unit that transmits/receives light to obtain an ultrasonic tomographic image and an optical coherence tomographic image of a hollow organ.
  • an acquisition unit that acquires simultaneously, a determination unit that determines an image defect of the ultrasonic tomographic image or the optical coherence tomographic image acquired by the acquisition unit, and the optical coherence tomographic image (or the ultrasonic tomographic image ) is input, a learning model that has been trained to output a corresponding ultrasonic tomographic image (or optical coherence tomographic image), and the learning model includes the ultrasonic tomographic image (or By inputting the normal optical coherence tomographic image (or the ultrasonic tomographic image) corresponding to the optical coherence tomographic image), the corresponding normal ultrasonic tomographic image (or the optical coherence tomographic image) is output. , a processing unit that corrects the ultrasonic tomographic image (or the optical coherence tomographic image) determined to be defective using the ultrasonic tomographic image (or the optical coherence tomographic image) output from the learning model; Prepare.
  • FIG. 1 is an explanatory diagram showing a configuration example of an image diagnostic apparatus
  • FIG. FIG. 2 is an explanatory diagram showing a configuration example of a diagnostic imaging catheter
  • FIG. 4 is an explanatory diagram schematically showing a cross section of a blood vessel through which a sensor section is inserted
  • FIG. 4 is an explanatory diagram of a tomographic image
  • FIG. 4 is an explanatory diagram of a tomographic image
  • 1 is a block diagram showing a configuration example of an image processing apparatus
  • FIG. FIG. 4 is a block diagram showing a configuration example of an IVUS failure detection learning model
  • FIG. 4 is a block diagram showing a configuration example of an OFDI failure detection learning model
  • FIG. 4 is a block diagram showing a configuration example of an IVUS image recognition learning model
  • FIG. 4 is a block diagram showing a configuration example of an OFDI image recognition learning model
  • It is a block diagram which shows the structural example of a 1st generator.
  • FIG. 4 is a conceptual diagram showing a generation method of a first generator
  • FIG. 11 is a block diagram showing a configuration example of a second generator
  • FIG. 4 is a flowchart showing an image processing procedure according to the embodiment
  • 4 is a flowchart showing an image processing procedure according to the embodiment
  • FIG. 4 is a conceptual diagram showing a method of correcting an IVUS image and an OFDI image
  • FIG. 4 is an explanatory diagram conceptually showing a method of associating an IVUS image and an OFDI image
  • FIG. 11 is a first screen display example of an IVUS image and an OFDI image
  • FIG. 11 is a second screen display example of an IVUS image and an OFDI image
  • FIG. 11 is a first screen display example of an IVUS image and an OFDI image
  • FIG. 11 is a second screen display example of an IVUS image and an OFDI image
  • an image diagnostic apparatus using a dual-type catheter having both intravascular ultrasound (IVUS) and optical coherence tomography (OFDI) functions will be described.
  • Dual-type catheters are provided with a mode for acquiring ultrasound tomographic images only by IVUS, a mode for acquiring optical coherence tomographic images only by OFDI, and a mode for acquiring both tomographic images by IVUS and OFDI. , you can switch between these modes.
  • an ultrasound tomographic image and an optical coherence tomographic image are referred to as an IVUS image and an OFDI image, respectively.
  • An IVUS image and an OFDI image are collectively referred to as a tomographic image.
  • FIG. 1 is an explanatory diagram showing a configuration example of the diagnostic imaging apparatus 100.
  • the diagnostic imaging apparatus 100 of this embodiment includes an intravascular examination apparatus 101 , an angiography apparatus 102 , an image processing apparatus 3 , a display apparatus 4 and an input apparatus 5 .
  • An intravascular examination apparatus 101 includes a diagnostic imaging catheter 1 and an MDU (Motor Drive Unit) 2 .
  • the diagnostic imaging catheter 1 is connected to the image processing device 3 via the MDU 2 .
  • a display device 4 and an input device 5 are connected to the image processing device 3 .
  • the display device 4 is, for example, a liquid crystal display or an organic EL display
  • the input device 5 is, for example, a keyboard, mouse, trackball, microphone, or the like.
  • the display device 4 and the input device 5 may be laminated integrally to form a touch panel. Also, the input device 5 and the image processing device 3 may be configured integrally. Furthermore, the input device 5 may be a sensor that accepts gesture input, line-of-sight input, or the like.
  • the angiography device 102 is connected to the image processing device 3.
  • the angiography apparatus 102 is an angiography apparatus for capturing an image of a blood vessel using X-rays from outside the patient's body while injecting a contrast agent into the patient's blood vessel to obtain an angiography image, which is a fluoroscopic image of the blood vessel.
  • the angiography apparatus 102 includes an X-ray source and an X-ray sensor, and the X-ray sensor receives X-rays emitted from the X-ray source to image a patient's X-ray fluoroscopic image.
  • the angiography device 102 outputs an angio image obtained by imaging to the image processing device 3 and displayed on the display device 4 via the image processing device 3 .
  • FIG. 2 is an explanatory diagram showing a configuration example of the catheter 1 for diagnostic imaging.
  • the area surrounded by the dashed line on the upper side in FIG. 2 is an enlarged area surrounded by the dashed line on the bottom side.
  • the diagnostic imaging catheter 1 has a probe 11 and a connector section 15 arranged at the end of the probe 11 .
  • the probe 11 is connected to the MDU 2 via the connector section 15 .
  • the side of the diagnostic imaging catheter 1 farther from the connector portion 15 is referred to as the distal end side, and the connector portion 15 side is referred to as the proximal end side.
  • the probe 11 has a catheter sheath 11a, and a guide wire insertion portion 14 through which a guide wire can be inserted is provided at the distal end thereof.
  • the guidewire insertion part 14 constitutes a guidewire lumen, receives a guidewire previously inserted into the blood vessel, and is used to guide the probe 11 to the affected part by the guidewire.
  • the catheter sheath 11a forms a continuous tubular portion from the guide wire insertion portion 14 to the connector portion 15. As shown in FIG. A shaft 13 is inserted through the catheter sheath 11 a , and a sensor section 12 is connected to the distal end of the shaft 13 .
  • the sensor section 12 has a housing 12c, and the distal end side of the housing 12c is formed in a hemispherical shape to suppress friction and catching with the inner surface of the catheter sheath 11a.
  • an ultrasonic transmission/reception unit 12a for transmitting ultrasonic waves into the blood vessel and receiving reflected waves from the blood vessel
  • an ultrasonic wave transmitting/receiving unit 12a for transmitting near-infrared light into the blood vessel and receiving the reflected light from the blood vessel are provided.
  • An optical transmitter/receiver 12b is arranged. In the example shown in FIG.
  • an ultrasonic transmission/reception section 12a is provided on the distal side of the probe 11, and an optical transmission/reception section 12b is provided on the proximal side. That is, the ultrasonic wave transmitting/receiving section 12a and the optical transmitting/receiving section 12b are arranged in the housing 12c with a predetermined length along the axial direction on the center axis of the shaft 13 (on the two-dot chain line in FIG. 2). .
  • the ultrasonic transmission/reception unit 12a and the optical transmission/reception unit 12b are arranged so that the transmission/reception directions of ultrasonic waves and near-infrared light are in a direction (radial direction of the shaft 13) at approximately 90 degrees with respect to the axial direction of the shaft 13. It is preferable that the ultrasonic wave transmitting/receiving section 12a and the optical transmitting/receiving section 12b are installed with a slight displacement from the radial direction so as not to receive reflected waves and reflected light from the inner surface of the catheter sheath 11a. In the present embodiment, for example, as indicated by arrows in FIG.
  • the ultrasonic transmission/reception unit 12a emits ultrasonic waves in a direction inclined toward the base end with respect to the radial direction
  • the optical transmission/reception unit 12b is arranged in the radial direction. It is provided in a posture in which the direction inclined toward the tip side is the irradiation direction of the near-infrared light.
  • An electrical signal cable (not shown) connected to the ultrasonic transmission/reception section 12a and an optical fiber cable (not shown) connected to the optical transmission/reception section 12b are inserted into the shaft 13.
  • the probe 11 is inserted into the blood vessel from the tip side.
  • the sensor part 12 and the shaft 13 can move forward and backward inside the catheter sheath 11a, and can rotate in the circumferential direction.
  • the sensor unit 12 and the shaft 13 rotate around the central axis of the shaft 13 as a rotation axis.
  • the MDU 2 is detachably attached to the connector portion 15 of the diagnostic imaging catheter 1, and drives a built-in motor according to the operation of a user (medical worker) to operate the diagnostic imaging catheter 1 inserted into the blood vessel. It is the driving device to control.
  • the MDU 2 performs a pullback operation in which the sensor unit 12 and the shaft 13 inserted into the probe 11 are pulled toward the MDU 2 side at a constant speed and rotated in the circumferential direction.
  • the sensor unit 12 continuously scans the inside of the blood vessel at predetermined time intervals while rotating while moving from the distal end side to the proximal end side by a pullback operation, thereby obtaining a plurality of transverse layer images substantially perpendicular to the probe 11 . are taken continuously at predetermined intervals.
  • the MDU 2 outputs to the image processing device 3 the reflected ultrasonic wave signal received by the ultrasonic transmission/reception section 12a and the reflected light signal received by the optical transmission/reception section 12b.
  • the image processing device 3 acquires reflected wave signals of ultrasonic waves output from the ultrasonic transmission/reception unit 12a via the MDU 2 as reflected wave data, and generates ultrasonic line data based on the acquired reflected wave data.
  • the ultrasonic line data is data indicating the reflection intensity of ultrasonic waves in the depth direction of the blood vessel viewed from the ultrasonic transmission/reception unit 12a.
  • the image processing device 3 constructs an IVUS image P1 (see FIGS. 4A and 4B) representing the cross-sectional layers of the blood vessel based on the generated ultrasound line data.
  • the image processing device 3 acquires interference light data by causing the reflected light signal output from the light transmitting/receiving unit 12b via the MDU 2 to interfere with the reference light obtained by separating the light from the light source. and generate light line data based on the acquired interference light data.
  • the light line data is data indicating the reflection intensity of the reflected light in the depth direction of the blood vessel viewed from the light transmitting/receiving unit 12b.
  • the image processing device 3 constructs an OFDI image P2 (see FIGS. 4A and 4B) representing the transverse layers of the blood vessel based on the generated light line data.
  • the ultrasound line data and the optical line data obtained by the ultrasound transmission/reception unit 12a and the optical transmission/reception unit 12b, and the IVUS image P1 and the OFDI image P2 constructed from the ultrasound line data and the optical line data will be described.
  • FIG. 3 is an explanatory diagram schematically showing a cross section of a blood vessel through which the sensor section 12 is passed
  • FIGS. 4A and 4B are explanatory diagrams of tomographic images.
  • the sensor unit 12 When imaging of a tomographic image is started with the sensor unit 12 and the shaft 13 inserted into the blood vessel, the sensor unit 12 rotates about the central axis of the shaft 13 in the direction indicated by the arrow. At this time, the ultrasonic transmission/reception unit 12a transmits and receives ultrasonic waves at each rotation angle. Lines 1, 2, . . . 512 indicate the transmission and reception directions of ultrasonic waves at each rotation angle. In this embodiment, the ultrasonic transmission/reception unit 12a intermittently transmits and receives ultrasonic waves 512 times while rotating 360 degrees (one rotation) in the blood vessel.
  • the ultrasonic wave transmitting/receiving unit 12a obtains data of one line in the transmitting/receiving direction by transmitting/receiving the ultrasonic wave once, and thus obtains 512 ultrasonic wave line data radially extending from the center of rotation during one rotation. be able to.
  • the 512 ultrasonic line data are dense near the center of rotation, but become sparse with distance from the center of rotation. Therefore, the image processing device 3 can construct a two-dimensional IVUS image P1 as shown in FIG. 4A by generating pixels in the empty space of each line by a well-known interpolation process.
  • the optical transmitter/receiver 12b also transmits and receives near-infrared light (measurement light) at each rotation angle. Since the optical transmitter/receiver 12b also transmits and receives the measurement light 512 times while rotating 360 degrees in the blood vessel, it is possible to obtain 512 optical line data radially extending from the center of rotation during one rotation. can be done.
  • the image processing device 3 can construct the two-dimensional OFDI image P2 shown in FIG. 4A by generating pixels in the empty space of each line by a well-known interpolation process.
  • a two-dimensional tomographic image constructed from multiple ultrasound line data in this way is called an IVUS image P1 of one frame.
  • a two-dimensional tomographic image constructed from a plurality of optical line data is called an OFDI image P2 of one frame. Since the sensor unit 12 scans while moving inside the blood vessel, one frame of the IVUS image P1 or the OFDI image P2 is acquired at each position after one rotation within the movement range. That is, one frame of the IVUS image P1 or the OFDI image P2 is acquired at each position from the distal side to the proximal side of the probe 11 within the movement range. An image P1 or an OFDI image P2 is acquired.
  • the number of transmissions and receptions of ultrasonic waves and light in one rotation is an example, and the number of transmissions and receptions is not limited to 512 times. Further, the number of times of transmission/reception of ultrasonic waves and the number of times of transmission/reception of light may be the same or different.
  • FIG. 5 is a block diagram showing a configuration example of the image processing device 3.
  • the image processing apparatus 3 is a computer and includes a processing section 31 , a storage section 32 , an ultrasound line data generation section 33 , an optical line data generation section 34 , an input/output I/F 35 and a reading section 36 .
  • the processing unit 31 includes one or more CPU (Central Processing Unit), MPU (Micro-Processing Unit), GPU (Graphics Processing Unit), GPGPU (General-purpose computing on graphics processing units), TPU (Tensor Processing Unit), etc. is configured using an arithmetic processing unit.
  • the processing unit 31 is connected to each hardware unit constituting the image processing apparatus 3 via a bus.
  • the storage unit 32 has, for example, a main storage unit and an auxiliary storage unit.
  • the main storage unit is a temporary storage area such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the processing unit 31 to perform arithmetic processing. do.
  • the auxiliary storage unit is a storage device such as a hard disk, EEPROM (Electrically Erasable Programmable ROM), flash memory, or the like.
  • the auxiliary storage unit stores a computer program P executed by the processing unit 31, an IVUS defect detection learning model 61, an OFDI defect detection learning model 62, an IVUS image recognition learning model 71, an OFDI image recognition learning model 72, a first generator (first learning model) 81, a second generator (second learning model) 82, and various data necessary for other processing are stored.
  • the auxiliary storage unit may be an external storage device connected to the image processing device 3 .
  • the computer program P may be written in the auxiliary storage unit at the manufacturing stage of the image processing apparatus 3, or may be distributed by a remote server apparatus and acquired by the image processing apparatus 3 through communication and stored in the auxiliary storage unit.
  • the computer program P may be readable and recorded on the recording medium 30 such as a magnetic disk, an optical disk, or a semiconductor memory, or may be read from the recording medium 30 by the reading unit 36 and stored in the auxiliary storage unit. .
  • the ultrasonic line data generation unit 33 acquires reflected wave signals of ultrasonic waves output from the ultrasonic transmission/reception unit 12a of the intravascular examination apparatus 101 as reflected wave data, and generates ultrasonic line data based on the acquired reflected wave data. to generate
  • the optical line data generation unit 34 generates interference light data by causing the reflected light signal output from the light transmission/reception unit 12b of the intravascular examination apparatus 101 to interfere with the reference light obtained by separating the light from the light source. is obtained, and light line data is generated based on the obtained interference light data.
  • the input/output I/F 35 is an interface to which the intravascular examination device 101, the angiography device 102, the display device 4 and the input device 5 are connected.
  • the processing unit 31 acquires the angiographic image from the angiography apparatus 102 via the input/output I/F 35 .
  • the processing unit 31 outputs the medical image signal of the IVUS image P1, the OFDI image P2, or the angio image to the display device 4 via the input/output I/F 35, thereby displaying the medical image on the display device 4.
  • the processing unit 31 receives information input to the input device 5 via the input/output I/F 35 .
  • the image processing device 3 may be a multicomputer including a plurality of computers. Further, the image processing device 3 may be a server client system, a cloud server, or a virtual machine virtually constructed by software. In the following description, it is assumed that the image processing apparatus 3 is one computer.
  • the processing unit 31 of the image processing apparatus 3 reads and executes the computer program P stored in the storage unit 32 to generate ultrasound line data in the ultrasound line data generation unit 33, and generates ultrasound line data. A process is performed to construct an IVUS image P1 based on the data. Further, the processing unit 31 reads out and executes the computer program P stored in the storage unit 32 to generate optical line data in the optical line data generation unit 34, and generates an OFDI image based on the generated optical line data. Execute the process of building P2.
  • the ultrasonic transmission/reception unit 12a and the optical transmission/reception unit 12b are arranged in different positions in the sensor unit 12, and the transmission/reception directions of ultrasonic waves and light are also different.
  • Observation position deviations are deviations in the longitudinal direction and running direction of the blood vessel.
  • the deviation in the observation direction is the deviation in the circumferential direction of the blood vessel. Therefore, the processing unit 31 reads out and executes the computer program P stored in the storage unit 32, so that when constructing the IVUS image P1 and the OFDI image P2, the observation position and the observation direction in the IVUS image P1 and the OFDI image P2 are determined. , and performs processing to correct the deviation.
  • the processing unit 31 uses the IVUS image recognition learning model 71 and the OFDI image recognition learning model 72 to recognize lumen images in the IVUS image P1 and the OFDI image P2. Then, the processing unit 31 specifies, for example, the amount of translation and the amount of rotation for matching the three-dimensional lumen image based on the IVUS image P1 and the three-dimensional lumen image based on the OFDI image P2, and the specified translation amount and the amount of rotation, the IVUS image P1 and the OFDI image P2 are associated so that the observation position and the observation direction match.
  • the processing unit 31 reads and executes the computer program P stored in the storage unit 32 to detect defects in the IVUS image P1 and the OFDI image P2. Specifically, the processing unit 31 uses the IVUS defect detection learning model 61 and the OFDI defect detection learning model 62 to detect defects in the IVUS image P1 and the OFDI image P2.
  • the processing unit 31 reads out and executes the computer program P stored in the storage unit 32, thereby correcting the frame image of the IVUS image P1 with a defective image using the corresponding normal OFDI image P2.
  • the processing unit 31 uses the first generator 81 to generate a corresponding normal IVUS image P1 from the normal OFDI image P2, and converts the image-defective IVUS image P1 to the generated IVUS image P1.
  • the processing unit 31 uses the second generator 82 to read out and execute the computer program P stored in the storage unit 32, so that the frame image of the defective OFDI image P2 is replaced with the corresponding normal image.
  • a correction process is executed using the IVUS image P1.
  • the processing unit 31 generates a corresponding normal OFDI image P2 from the normal IVUS image P1, and performs a process of replacing the defective OFDI image P2 with the generated OFDI image P2.
  • image defects in the IVUS image P1 or OFDI image P2 due to improper priming or flash can be corrected.
  • FIG. 6A is a block diagram showing a configuration example of the IVUS failure detection learning model 61
  • FIG. 6B is a block diagram showing a configuration example of the OFDI failure detection learning model 62.
  • FIG. 6A shows a configuration example of the IVUS failure detection learning model 61.
  • the IVUS failure detection learning model 61 is a trained model for detecting failure of the IVUS image P1 due to priming failure.
  • the IVUS defect detection learning model 61 includes, for example, an input layer 61a that receives an input of the IVUS image P1, an intermediate layer 61b that extracts the feature amount of the image, and an output layer 61c that outputs the presence or absence of an image defect in the IVUS image P1.
  • It is a neural network with
  • the IVUS failure detection learning model 61 of this embodiment is a CNN (Convolution Neural Network) such as ResNet and DenseNet.
  • CNN Convolution Neural Network
  • the image processing device 3 generates an IVUS defect detection learning model 61 by performing deep learning on the CNN model to learn the relationship between the IVUS image P1 and the presence or absence of an image defect. More specifically, an association between a normal IVUS image P1 and training data indicating that it is normal, and an association between a defective IVUS image P1 and training data indicating that the image is defective. Prepare training data containing Then, the image processing device 3 optimizes the parameters of the neural network so that the difference between the data output when the IVUS image P1 of the training data is input to the unlearned neural network and the teacher data is small. do.
  • the parameters are, for example, weights (coupling coefficients) between nodes.
  • the parameter optimization method is not particularly limited, for example, the processing unit 31 optimizes various parameters using the steepest descent method or the like.
  • the input layer 61a of the neural network has a plurality of nodes that receive input of pixel values of pixels related to the IVUS image P1, and transfers the input pixel values to the intermediate layer 61b.
  • the intermediate layer 61b has a plurality of layers, each layer has a plurality of nodes for extracting image feature amounts, and passes the extracted feature amounts to the output layer 61c.
  • the IVUS defect detection learning model 61 is a CNN
  • the intermediate layer 61b includes a convolution layer that convolves the pixel values of each pixel input from the input layer 61a, and a pooling that maps the pixel values convolved in the convolution layer.
  • the output layer 61c has nodes for outputting data indicating the presence or absence of image defects or the degree of certainty.
  • the IVUS failure detection learning model 61 is assumed to be a CNN such as DenseNet, but the configuration of the model is not limited to CNN.
  • the IVUS failure detection learning model 61 may be, for example, a neural network other than CNN, an SVM (Support Vector Machine), a Bayesian network, or a learning model such as a decision tree such as XGBoost.
  • the output layer 61c may include a plurality of nodes for outputting data indicating types of image defects.
  • FIG. 6B shows a configuration example of the OFDI failure detection learning model 62 .
  • the OFDI defect detection learning model 62 is a trained model for detecting defects in the OFDI image P2 due to flash defects.
  • the OFDI defect detection learning model 62 includes, for example, an input layer 62a that receives an input of the OFDI image P2, an intermediate layer 62b that extracts the feature amount of the image, and an output layer 62c that outputs the presence or absence of image defects in the OFDI image P2. It is a neural network with
  • the image processing device 3 generates an OFDI defect detection learning model 62 by performing deep learning for learning the relationship between the OFDI image P2 and the presence or absence of an image defect with respect to the CNN model. Since the details of the configuration of the OFDI failure detection learning model 62 and the generation method thereof are the same as those of the IVUS failure detection learning model 61, the details are omitted.
  • FIG. 7A is a block diagram showing a configuration example of the IVUS image recognition learning model 71
  • FIG. 7B is a block diagram showing configuration examples of the IVUS image recognition learning model 71 and the OFDI image recognition learning model 72.
  • FIG. 7A is a block diagram showing a configuration example of the IVUS image recognition learning model 71.
  • the IVUS image recognition learning model 71 is a model for recognizing a predetermined object included in the IVUS image P1.
  • the IVUS image recognition learning model 71 for example, by using an image recognition technology using semantic segmentation (Semantic Segmentation), can classify objects in units of pixels, and recognize various objects included in the IVUS image P1. can do.
  • the IVUS image recognition learning model 71 recognizes the lumen image in the IVUS image P1.
  • the IVUS image recognition learning model 71 may be configured to recognize blood vessel wall images.
  • the vascular wall is the media, more specifically the external elastic membrane (EEM).
  • EEM external elastic membrane
  • the lumen image and blood vessel wall image in the IVUS image P1 are examples of the first object image.
  • the IVUS image recognition learning model 71 is, for example, a convolutional neural network (CNN) that has been trained by deep learning.
  • the IVUS image recognition learning model 71 includes an input layer 71a to which the IVUS image P1 is input, an intermediate layer 71b that extracts and restores the feature amount of the IVUS image P1, and an object that indicates the object image included in the IVUS image P1 in units of pixels. and an output layer 71c for outputting the extracted IVUS image P1'.
  • the IVUS image recognition learning model 71 is, for example, U-Net, FCN (Fully Convolution Network), SegNet, or the like.
  • the input layer 71a of the IVUS image recognition learning model 71 has a plurality of neurons that receive the input of the pixel values of the pixels that form the IVUS image P1, that is, the IVUS image P1, and the intermediate layer 71b receives the input pixel values. hand over.
  • the intermediate layer 71b has a plurality of convolution layers (CONV layers) and a plurality of deconvolution layers (DECONV layers).
  • CONV layers convolution layers
  • DECONV layers deconvolution layers
  • the convolution layer is a layer that dimensionally compresses the IVUS image P1.
  • the feature quantity of the object image is extracted by dimensional compression.
  • the deconvolution layer performs the deconvolution process to restore the original dimensions.
  • the deconvolution process in the deconvolution layer produces an object-extracted IVUS image P1' in which each pixel has a pixel value (class data) corresponding to the class of the object.
  • the output layer 71c has multiple neurons that output an object-extracted IVUS image P1'.
  • the object-extracted IVUS image P1' is, as shown in FIG. 7A, an image that is classified, for example, color-coded, for each type of object such as a lumen image, a blood vessel wall image, and a plaque image.
  • the IVUS image recognition learning model 71 includes an IVUS image P1 obtained by the ultrasound transmitting/receiving unit 12a and an object extraction IVUS in which each pixel of the IVUS image P1 is annotated with class data corresponding to the type of the corresponding object. It can be generated by preparing training data having the image P1′ and performing machine learning on an unlearned neural network using the training data. Specifically, the object extraction IVUS image P1 ′ output when the training data IVUS image P1 is input to an unlearned neural network and the image annotated as training data are reduced.
  • Optimize neural network parameters are, for example, weights (coupling coefficients) between nodes.
  • the parameter optimization method is not particularly limited, for example, the processing unit 31 optimizes various parameters using the steepest descent method or the like.
  • FIG. 7B is a block diagram showing a configuration example of the OFDI image recognition learning model 72.
  • the OFDI image recognition learning model 72 is a model for recognizing a predetermined object included in the OFDI image P2.
  • the OFDI image recognition learning model 72 like the IVUS image recognition learning model 71, uses an image recognition technique that uses semantic segmentation, for example, to classify objects in units of pixels, which are included in the OFDI image P2.
  • Various objects can be recognized.
  • the OFDI image recognition learning model 72 recognizes a lumen image, a blood vessel image, etc. in the OFDI image P2.
  • the lumen image and blood vessel wall image in the OFDI image P2 are examples of the second object image.
  • the OFDI image recognition learning model 72 is, for example, a convolutional neural network that has been trained by deep learning.
  • the OFDI image recognition learning model 72 includes an input layer 72a to which the OFDI image P2 is input, an intermediate layer 72b that extracts and restores the feature amount of the OFDI image P2, and an object that indicates the object image included in the OFDI image P2 in units of pixels. and an output layer 72c for outputting the extracted OFDI image P2'.
  • the OFDI image recognition learning model 72 is, for example, U-Net, FCN (Fully Convolution Network), SegNet, or the like.
  • the input layer 72a of the OFDI image recognition learning model 72 has a plurality of neurons that receive input of the pixel values of the pixels forming the OFDI image P2, that is, the OFDI image P2. hand over.
  • the middle layer 72b has multiple convolution layers and multiple deconvolution layers.
  • the convolution layer is a layer that dimensionally compresses the OFDI image P2.
  • the feature quantity of the object image is extracted by dimensional compression.
  • the deconvolution layer performs the deconvolution process to restore the original dimensions.
  • the deconvolution process in the deconvolution layer produces an object-extracted OFDI image P2' in which each pixel has a pixel value (class data) corresponding to the class of the object.
  • the output layer 72c has a plurality of neurons that output an object-extracted OFDI image P2'.
  • the object-extracted OFDI image P2' is an image classified, for example, color-coded, for each type of object such as a lumen image, a blood vessel wall image, a plaque image, and a stent image.
  • the OFDI image recognition learning model 72 includes an OFDI image P2 obtained by the optical transmitter/receiver 12b and an object extraction OFDI image in which each pixel of the OFDI image P2 is annotated with class data corresponding to the type of the corresponding object.
  • P2′ can be generated by preparing training data having P2′ and performing machine learning on an unlearned neural network using the training data.
  • the object extraction OFDI image P2 ′ output when the training data OFDI image P2 is input to the unlearned neural network, and the annotated training data
  • the parameters of the neural network are optimized so that the difference with the image becomes small.
  • FIG. 8 is a block diagram showing a configuration example of the first generator 81.
  • the first generator 81 is a learning model that generates the IVUS image P1 from the OFDI image P2.
  • the first generator 81 includes an input layer 81a to which the OFDI image P2 is input, an intermediate layer 81b that extracts the feature amount of the OFDI image P2 and restores the IVUS image P1, and an output that outputs the generated IVUS image P1.
  • layer 81c is a GAN such as pix2pix, CycleGAN, or StarGAN, a VAE (Variational Autoencoder), a neural network such as CNN (eg, U-net), or the like.
  • the input layer 81a of the first generator 81 has a plurality of neurons that receive input of the pixel values of the pixels forming the OFDI image P2, that is, the OFDI image P2, and passes the input pixel values to the intermediate layer 81b.
  • the intermediate layer 81b has a plurality of convolution layers (CONV layers) and a plurality of deconvolution layers (DECONV layers).
  • CONV layers convolution layers
  • DECONV layers deconvolution layers
  • the convolution layer is a layer that dimensionally compresses the IVUS image P1.
  • the feature quantity of the object image is extracted by dimensional compression.
  • the deconvolution layer performs the deconvolution process to restore the original dimensions.
  • the restoration process in the deconvolution layer produces an IVUS image P1 in which each pixel has the pixel value of the IVUS image P1.
  • the output layer 81c has multiple neurons that output an IVUS image P1 corresponding to the input OFDI image P2. As shown in FIG. 8, when the OFDI image P2, which is a normal image, is input to the first generator 81, a normal IVUS image P1, which is a generated image, is output.
  • the first generator 81 prepares training data that associates the OFDI image P2, which is a normal image for training, and the IVUS image P1, which is a normal image for training, and uses this training data to generate an unlearned learning model. is generated by learning
  • the OFDI image P2 and the IVUS image P1 for training are desirably images including a lesion where it is determined that endovascular treatment is necessary.
  • the image processing apparatus 3 of this embodiment performs learning using the OFDI image P2 and the IVUS image P1 prepared for training, and generates the first generator 81 that generates the IVUS image P1 from the OFDI image P2.
  • FIG. 9 is a conceptual diagram showing the generation method of the first generator 81.
  • the first generator 81 can be generated, for example, by preparing a discriminator 81d and performing adversarial learning between the first generator 81 and the discriminator 81d. For example, as shown in the upper diagram of FIG. 9, the learning of the discriminator 81d and the learning of the first generator 81 are alternately performed.
  • the image processing device 3 fixes the parameters of the first generator 81 and inputs the training OFDI image P2.
  • the first generator 81 to which the training OFDI image P2 is input, generates and outputs an IVUS image P1.
  • the image processing device 3 converts a pair of an OFDI image P2 (a training OFDI image P2) and an IVUS image P1 (an IVUS image P1 generated by the first generator 81) corresponding to the input/output of the first generator 81 into fake data. , is given to the discriminator 81d. Further, the image processing device 3 gives the pair of the OFDI image P2 and the IVUS image P1 included in the training data to the discriminator 81d as true data.
  • the image processing device 3 optimizes the parameters of the discriminator 81d so that a false value is output when false data is input, and a true value is output when true data is input.
  • the image processing device 3 fixes the parameters of the classifier 81d and learns the first generator 81 as shown in the lower diagram of FIG.
  • the image processing device 3 inputs the training OFDI image P2 to the first generator 81, and inputs the training OFDI image P2 and the IVUS image P1 generated by the first generator 81 to the classifier 81d
  • the parameters of the first generator 81 are optimized so that the probability of truth is close to 50%. In this way, by performing the learning of the first generator 81 and the learning of the discriminator 81d under an adversarial relationship, as shown in FIG.
  • a first generator 81 is generated which is capable of outputting an IVUS image P1 to be used.
  • the parameters to be optimized are, for example, weights (coupling coefficients) between neurons, and error backpropagation or the like can be used to optimize the parameters.
  • the image processing device 3 uses only the first generator 81 when generating the IVUS image P1 using the first generator 81 .
  • the training of the first generator 81 may be performed by another training device.
  • the learned first generator 81 generated by learning in another learning device is downloaded from the learning device to the image processing device 3 via a network or via the recording medium 30, for example, and stored in the storage unit 32. .
  • FIG. 10 is a block diagram showing a configuration example of the second generator 82.
  • the second generator 82 is a learning model that generates the OFDI image P2 from the IVUS image P1.
  • the second generator 82 has the same configuration as the first generator 81 .
  • the second generator 82 includes an input layer 82a to which the IVUS image P1 is input, an intermediate layer 82b that extracts the feature amount of the IVUS image P1 and restores the OFDI image P2, and an output that outputs the generated OFDI image P2. layer 82c.
  • the second generator 82 is a GAN such as pix2pix, CycleGAN, or StarGAN, a VAE (Variational Autoencoder), a neural network such as CNN (eg, U-net), or the like.
  • the second generator 82 prepares training data that associates the IVUS image P1, which is a normal image for training, and the OFDI image P2, which is a normal image for training, and uses this training data to prepare an unlearned learning model is generated by learning
  • the training IVUS image P1 and OFDI image P2 are preferably images that include a lesion area determined to require endovascular treatment.
  • the image processing apparatus 3 of the present embodiment performs learning using the IVUS image P1 and the OFDI image P2 prepared for training, and generates the second generator 82 that generates the OFDI image P2 from the IVUS image P1.
  • FIG. 13 is a conceptual diagram showing a correction method for the IVUS image P1 and the OFDI image P2.
  • the ultrasonic line data generation unit 33 and the optical line data generation unit 34 of the image processing device 3 generate the following by interference between the reflected wave data output from the ultrasonic transmission/reception unit 12a, the reflected light output from the optical transmission/reception unit 12b, and the reference light.
  • a plurality of ultrasonic line data and optical line data are generated based on the obtained interference light data (step S111).
  • a plurality of lines of ultrasound line data and optical line data are assigned line numbers, for example, in chronological order of observation time. Line numbers correspond to observation time points. In other words, the line number corresponds to the viewing position and viewing direction.
  • the processing unit 31 constructs a multiple-frame IVUS image P1 based on the ultrasound line data, and constructs a multiple-frame OFDI image P2 based on the optical line data (step S112).
  • Frame numbers are assigned to the IVUS images P1 and OFDI images P2 of multiple frames, for example, in chronological order of observation time.
  • the frame number corresponds to the viewing position.
  • the IVUS images P1 and OFDI images P2 of multiple frames correspond to images obtained by observing the blood vessel at multiple observation positions from the distal side to the proximal side of the probe 11 .
  • the observation positions of the IVUS image P1 and the OFDI image P2 assigned the same frame number do not necessarily match because the arrangement of the ultrasonic transmission/reception unit 12a and the optical transmission/reception unit 12b and the transmission/reception direction of ultrasonic waves or light are different.
  • the IVUS image P1 and the OFDI image P2 are misaligned in the running direction of the blood vessel.
  • the positions of the IVUS image P1 and the OFDI image P2 are also shifted in the circumferential direction of the blood vessel.
  • the processing unit 31, the ultrasound line data generation unit 33, and the optical line data generation unit 34 that execute the processing of steps S111 and S112 generate an IVUS image P1 (ultrasound tomographic image) and an OFDI image P2 (optical coherence tomographic image). ) at the same time.
  • the left diagram of FIG. 13 shows a plurality of acquired IVUS images P1 and OFDI images P2.
  • the processing unit 31 recognizes the lumen image in the IVUS image P1 by inputting the IVUS image P1 into the IVUS image recognition learning model 71 (step S113).
  • the processing unit 31 executes image recognition processing for each of the IVUS images P1 of a plurality of frames.
  • the object-extracted IVUS image P1' output from the IVUS image recognition learning model 71 is given the same or similar frame number as the input IVUS image P1.
  • the processing unit 31 recognizes the lumen image in the OFDI image P2 by inputting the OFDI image P2 into the OFDI image recognition learning model 72 (step S114).
  • the processing unit 31 executes image recognition processing for each of the OFDI images P2 of multiple frames.
  • the object extraction OFDI image P2' output from the OFDI image recognition learning model 72 is given the same or similar frame number as the input OFDI image P2.
  • Object images that can be recognized by the IVUS image recognition learning model 71 and the OFDI image recognition learning model 72 are not necessarily the same, but the processing unit 31 recognizes at least the lumen image in the IVUS image P1 and the lumen image in the OFDI image P2. and can be recognized.
  • the processing unit 31 matches the positions and orientations of the three-dimensional lumen image based on the object-extracted IVUS image P1′ and the three-dimensional lumen image based on the object-extracted OFDI image P2′ by rigid body registration.
  • the amount of translation and the amount of rotation of the dimensional lumen image are identified (step S115).
  • the processing unit 31 identifies the correspondence relationship between the frame numbers in which the lumen images in the IVUS images P1 of multiple frames and the lumen images in the OFDI images P2 of multiple frames match.
  • the processing unit 31 specifies the amount of rotation of the IVUS image P1 or OFDI image P2 that matches the orientation of the lumen image in the IVUS image P1 and the orientation of the lumen image in the OFDI image P2.
  • the multiple-frame object-extracted IVUS image P1′ indicates the lumen region at multiple observation positions in the running direction of the blood vessel.
  • a three-dimensional lumen image can be constructed based on the images of .
  • the multiple-frame object-extracted OFDI image P2′ indicates the lumen region at multiple observation positions in the running direction of the blood vessel.
  • a three-dimensional lumen image can be constructed based on the images of the lumen region.
  • the processing unit 31 translates the 3D lumen image based on the object-extracted IVUS image P1′ by, for example, rigid body registration and rotates it in the circumferential direction, so that the position and orientation of the 3D lumen image are changed. Identify matching translation and rotation amounts.
  • the processing unit 31 calculates the degree of similarity or the degree of dissimilarity between the two 3D lumen images in the 3D coordinate system, and determines the amount of translation and the amount of rotation that maximizes the degree of similarity or minimizes the degree of dissimilarity. Identify.
  • the degree of similarity for example, normalized cross-correlation or the like may be used. The residual sum of squares or the like may be used as the degree of dissimilarity.
  • the processing unit 31 may calculate the degree of similarity or the degree of difference between the contours of the three-dimensional lumen images.
  • FIG. 14 is an explanatory diagram conceptually showing a method of associating the IVUS image P1 and the OFDI image P2.
  • Parallel movement of the three-dimensional lumen image by rigid body registration corresponds to correction of the correspondence relationship between the frame number of the IVUS image P1 and the frame image of the OFDI image P2.
  • rotation of the three-dimensional lumen image corresponds to image rotation processing in the IVUS image P1.
  • the processing unit 31 corrects the correspondence relationship between the IVUS image P1 and the OFDI image P2 (step S116). That is, the frame image of the IVUS image P1 captured at the same observation position is associated with the frame image of the OFDI image P2. Specifically, the frame number of the IVUS image P1 captured at the same observation position is associated with the frame number of the OFDI image P2.
  • the translation amount specified in step S115 corresponds to the difference between the frame number of the IVUS image P1 captured at the same observation position and the frame number of the OFDI image P2. , the IVUS image P1 and the OFDI image P2. Note that the image processing device 3 stores the correspondence relationship between the amount of parallel movement and the frame number difference.
  • step S115 corresponds to the amount of misalignment between the orientations of the IVUS image P1 and the OFDI image P2, that is, the amount of misalignment of the rotation angle. By rotating the image, the orientations of the IVUS image P1 and the OFDI image P2 can be aligned.
  • the object extraction IVUS image P1′ and the object extraction OFDI image P2′ are directly processed without constructing the 3D lumen image.
  • the viewing position, viewing direction and scale may be corrected by symmetrical comparison.
  • n is an integer of 1 or more.
  • the processing unit 31 calculates, for example, the degree of similarity or difference between the lumen region in the object extraction IVUS image P1′ and the lumen region in the object extraction OFDI image P2′ of the corresponding frame number.
  • the processing unit 31 calculates the degree of similarity or the degree of dissimilarity of the lumen region for a predetermined number of object-extracted IVUS images P1′ and object-extracted OFDI images P2′.
  • the processing unit 31 similarly calculates the degree of similarity or difference between the lumen region in the object-extracted IVUS image P1′ of the (n+ ⁇ )-th frame and the lumen region in the object-extracted OFDI image P2′ of the n-th frame. calculate.
  • ⁇ is an integer and corresponds to the translation amount of the three-dimensional lumen image.
  • the processing unit 31 verifies the correspondence relationship between the object extraction IVUS image P1′ and the object extraction OFDI image P2′ while incrementing the variable ⁇ by one. Further, when comparing the lumen regions, the processing unit 31 rotates the direction of the lumen region in the object extraction IVUS image P1′ in the circumferential direction by the angle correction amount ⁇ .
  • the angle correction amount ⁇ corresponds to the amount of rotation of the three-dimensional lumen image. Note that the center of rotation is not the center of the object extraction IVUS image P1′, but the position corresponding to the center of the sensor unit 12 is rotated.
  • the processing unit 31 calculates the similarity or difference between the lumen regions in the object extraction IVUS image P1′ and the object extraction OFDI image P2′ while changing the angle correction amount ⁇ along with the variable ⁇ by a predetermined amount. is maximized or the difference is minimized, and the angle correction amount ⁇ is specified. Then, the processing unit 31 stores the specified variable ⁇ and the angle correction amount ⁇ .
  • the processing unit 31 that has completed the processing of step S116 inputs the plurality of IVUS images P1 acquired in the processing of steps S111 and S112 to the IVUS defect detection learning model 61 to determine whether each IVUS image P1 is a defective image. It is determined whether or not (step S117). Similarly, the processing unit 31 inputs the plurality of OFDI images P2 acquired in the processing of steps S111 and S112 to the OFDI defect detection learning model 62, thereby determining whether each OFDI image P2 is a defective image. (step S118). In the central diagram of FIG. 13, the frames surrounded by thick frames indicate the frames of the IVUS image P1 and the OFDI image P2 determined as defective images.
  • the processing unit 31 determines whether or not there is an image defect in the IVUS image P1 based on the detection result of step S117 (step S119). Note that the processing unit 31 that executes the process of step S119 functions as a determination unit that determines image defects in the obtained IVUS image P1. If it is determined that there is an IVUS image P1 with an image defect (step S119: YES), the processing unit 31 identifies a normal OFDI image P2 corresponding to the IVUS image P1 determined to have an image defect, and identifies the corresponding normal OFDI image P2. The image P2 is input to the first generator 81 to generate and output a corresponding normal IVUS image P1 (step S120).
  • the OFDI image P2 corresponding to the IVUS image P1 determined to be defective is the OFDI image P2 obtained at substantially the same observation position and observation direction as the IVUS image P1 determined to be defective. That is, it is the OFDI image P2 that has been corrected in step S116 and has a corresponding relationship with the IVUS image P1.
  • the processing unit 31 uses the IVUS image P1 output from the first generator 81 to correct the IVUS image P1 determined to be defective (step S121). For example, as shown in the right diagram of FIG. 13, the processing unit 31 corrects the IVUS image P1 determined to be defective by replacing it with the generated IVUS image P1.
  • the processing unit 31 may be configured to perform correction using any known image correction method such as synthesizing the IVUS image P1 determined to be defective and the generated IVUS image P1. Note that when there are a plurality of IVUS images P1 determined to be defective, the processing unit 31 performs the processing of steps S120 and S121 on each of the plurality of IVUS images P1 to correct the IVUS images P1.
  • step S121 determines the OFDI image P2 based on the detection result of step S118. It is determined whether or not there is an image defect (step S122). Note that the processing unit 31 that executes the process of step S122 functions as a determination unit that determines image defects in the obtained OFDI image P2.
  • step S122 If it is determined that there is an OFDI image P2 with a defective image (step S122: YES), the processing unit 31 identifies a normal IVUS image P1 corresponding to the OFDI image P2 determined to have a defective image, By inputting the image P1 to the second generator 82, a corresponding normal OFDI image P2 is generated and output (step S123).
  • the IVUS image P1 corresponding to the OFDI image P2 determined to be defective is the IVUS image P1 obtained at substantially the same observation position and observation direction as the OFDI image P2 determined to be defective. That is, it is the IVUS image P1 that has been corrected in step S116 and has a corresponding relationship with the OFDI image P2.
  • the processing unit 31 uses the OFDI image P2 output from the second generator 82 to correct the OFDI image P2 determined to be defective (step S124). For example, as shown in the right diagram of FIG. 13, the processing unit 31 corrects the OFDI image P2 determined to be defective by replacing it with the generated OFDI image P2. Note that the processing unit 31 may be configured to perform correction using any known image correction method such as synthesizing the OFDI image P2 determined to be defective and the generated OFDI image P2. Note that when there are a plurality of OFDI images P2 determined to be defective, the processing unit 31 performs the processing of steps S123 and S124 on each of the plurality of OFDI images P2 to correct the OFDI images P2.
  • step S124 When the process of step S124 is completed, or when it is determined in step S122 that there is no OFDI image P2 with an image defect (step S122: NO), the processing unit 31 outputs the medical image signal to the display device 4, and the image defect is detected.
  • the corrected IVUS image P1 and OFDI image P2 are displayed on the display device 4 (step S125).
  • the processing unit 31 displays the first frame image F1 in the frame of the corrected IVUS image P1 (step S126), and displays the second frame image F2 in the frame of the corrected OFDI image P2 (step S127).
  • the first frame image F1 and the second frame image F2 may be configured to have different colors, line types, thicknesses, and the like.
  • FIG. 15 is a first screen display example of the IVUS image P1 and the OFDI image P2.
  • the processing unit 31 displays, for example, an IVUS image P1 and an OFDI image P2, which are cross-sectional images substantially perpendicular to the long axis of the blood vessel, and a longitudinal cross-sectional image substantially parallel to the central axis of the blood vessel, arranged vertically.
  • the IVUS image P1 and the OFDI image P2 at the distal side reference part (Ref.Distal), the proximal side reference part (Ref.Proximal) and the lesion area (MLA: minimum lumen area) are displayed.
  • the corrected IVUS image P1 is surrounded by the first frame image F1
  • the corrected OFDI image P2 is surrounded by the second frame image F2.
  • the user can recognize the corrected IVUS image P1 and OFDI image P2 among the displayed IVUS image P1 and OFDI image P2 by the first frame image F1 and the second frame image F2.
  • FIG. 16 is a second screen display example of the IVUS image P1 and the OFDI image P2.
  • the processing unit 31 displays, for example, an IVUS image P1 and an OFDI image P2, and a vertical cross-sectional image substantially parallel to the central axis of the blood vessel, arranged vertically.
  • the processing unit 31 displays both the IVUS image P1, which is a defective image before correction, and the corrected IVUS image P1.
  • the processing unit 31 displays both the OFDI image P2, which is the defective image before correction, and the corrected OFDI image P2.
  • the processing unit 31 switches between the IVUS image P1 and OFDI image P2, which are defective images before correction, and the IVUS image P1 and OFDI image P2 after correction. may be configured to display Further, when the predetermined scanning is received by the input device 5, for example, when the IVUS image P1 or OFDI image P2 after correction is clicked, the processing unit 31 displays the IVUS image P1 or OFDI image P2 before correction. It may be configured to
  • defects in the IVUS image P1 and the OFDI image P2 obtained using a dual-type catheter having the IVUS function and the OFDI function can be corrected. .
  • the first generator 81 can be used to correct the IVUS image P1.
  • the second generator 82 can be used to correct the OFDI image P2.
  • the IVUS image P1 and the OFDI image P2 After aligning the observation position and observation direction of the IVUS image P1 and the OFDI image P2 obtained using a dual type catheter having the IVUS function and the OFDI function, the IVUS image P1 and the OFDI image P2 are corrected. Therefore, the IVUS image P1 and OFDI image P2 having image defects can be corrected more accurately.
  • the processing unit 31 displays the first frame image F1 on the corrected IVUS image P1 so that the user can see that the IVUS image P1 displayed on the display device 4 is corrected. It can be recognized whether it is an image or not. Similarly, the processing unit 31 displays the second frame image F2 on the corrected OFDI image P2 so that the user can determine whether the OFDI image P2 displayed on the display device 4 is a corrected image. can recognize
  • the processing unit 31 can display the IVUS image P1 before correction together with the corrected IVUS image P1.
  • the uncorrected OFDI image P2 can be displayed along with the corrected OFDI image P2. The user can more accurately recognize the state of blood vessels using the IVUS image P1 and OFDI image P2 before and after correction.
  • the processing may be configured to detect image defects.
  • the processing unit 31 may be configured to detect the presence or absence of a typical pattern image included in the IVUS image P1, for example, the presence or absence of a double ring image by processing such as pattern matching, and detect an image defect.
  • the processing unit 31 may be configured to detect an image defect in the OFDI image P2 by comparing the average luminance value of the OFDI image P2 with a predetermined threshold value. More specifically, an OFDI image P2 whose average luminance value is less than a predetermined threshold value should be detected as a defective image.
  • the contour of the lumen image may be extracted by image processing such as pattern matching.
  • diagnostic imaging catheter 2 MDU 3 image processing device 4 display device 5 input device 11 probe 12 sensor section 12a ultrasonic transmission/reception section 12b optical transmission/reception section 12c housing 13 shaft 14 guide wire insertion section 15 connector section 30 recording medium 31 processing section 32 storage section 33 ultrasonic line data Generation unit 34
  • Light line data generation unit 61 IVUS defect detection learning model 62 OFDI defect detection learning model 71 IVUS image recognition learning model 72 OFDI image recognition learning model 81 First generator 82 Second generator P1 IVUS image P1' Object extraction IVUS image P2 OFDI image P2' object extraction OFDI image 100 diagnostic imaging apparatus 101 intravascular examination apparatus 102 angiography apparatus

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

コンピュータに、超音波を送受信する超音波送受信部及び光を送受信する光送受信部を有するセンサ部を用いて管腔器官の超音波断層画像及び光干渉断層画像を同時的に取得し、取得した超音波断層画像又は光干渉断層画像の画像不良を判定し、光干渉断層画像を入力した場合に、対応する超音波断層画像を出力するように学習済みの学習モデルに、画像不良と判定された超音波断層画像に対応する正常な光干渉断層画像を入力することによって、対応する正常な超音波断層画像を出力させ、学習モデルから出力された超音波断層画像を用いて、画像不良と判定された超音波断層画像を補正する処理を実行させる。

Description

コンピュータプログラム、画像処理方法及び画像処理装置
　本発明は、コンピュータプログラム、画像処理方法及び画像処理装置に関する。
　狭心症又は心筋梗塞等の虚血性心疾患に対する低侵襲治療として、経皮的冠動脈インターベンション（PCI: Percutaneous Coronary Intervention）に代表される血管内治療が行われている。血管内治療における術前診断、又は術後の結果確認のために、超音波を用いた超音波断層画像診断装置（IVUS: IntraVascular Ultra Sound）、近赤外線を用いた光干渉断層画像診断装置（OFDI: Optical Frequency Domain Imaging）等の血管内画像診断装置が使用されている。
　また、ＩＶＵＳの機能と、ＯＦＤＩの機能とを組み合わせた画像診断装置、つまり超音波を送受信可能な超音波送受信部と、光を送受信可能な光送受信部とを備える画像診断装置が提案されている（例えば、特許文献１及び２）。
　このような画像診断装置によれば、高深度領域まで測定できるＩＶＵＳの特性を活かした超音波断層画像と、高分解能で測定できるＯＦＤＩの特性を活かした光干渉断層画像の両方を、一回の走査で構築することができる。
特開平１１－５６７５２号公報 特表２０１０－５０８９７３号公報
　ところで、ＩＶＵＳでは血管内を撮影する上でセンサ部周辺（カテーテル内部）を生理食塩液でプライミングする必要がある。正しくプライミングが実施されていない場合、エアーの混入等によって超音波が減衰するため、正しく血管断層像（超音波断層画像）を取得できないという問題がある。
　ＯＦＤＩでは血管内を撮影する上で血管内の血液を造影剤でフラッシュする必要がある。正しくフラッシュできていない場合、血液の影響によって正しく血管断層像（光干渉断層画像）を取得できないという問題がある。
　ＩＶＵＳ及びＯＦＤＩの両機能を有する画像診断装置では同一血管を２つのセンサ部で同時に観察できるというメリットが生まれる反面、上記のプライミング不良及びフラッシュ不良による画像不良のいずれも発生する可能性がある。
　画像不良が発生した場合、プライミング不良時には一度体外にカテーテルを抜去した後再プライミングを行った上で再撮影が必要であり、術者の手間が増えて負担となる。また、フラッシュ不良の場合は再度造影剤でフラッシュして再撮影する必要があり、造影剤の使用量増加により患者負担が増える。
　本開示の一つの側面では、ＩＶＵＳ機能及びＯＦＤＩ機能を備えるデュアルタイプのカテーテルを用いて得られた超音波断層画像及び光干渉断層画像の不良を補正することが可能なコンピュータプログラム、画像処理方法及び画像処理装置を提供することを目的とする。
　本開示の一つの側面に係るコンピュータプログラム（プログラム製品）は、超音波を送受信する超音波送受信部及び光を送受信する光送受信部を有するセンサ部を用いて管腔器官の超音波断層画像及び光干渉断層画像を同時的に取得し、取得した前記超音波断層画像又は前記光干渉断層画像の画像不良を判定し、前記光干渉断層画像（又は前記超音波断層画像）を入力した場合に、対応する超音波断層画像（又は光干渉断層画像）を出力するように学習済みの学習モデルに、画像不良と判定された前記超音波断層画像（又は前記光干渉断層画像）に対応する正常な前記光干渉断層画像（又は前記超音波断層画像）を入力することによって、対応する正常な前記超音波断層画像（又は前記光干渉断層画像）を出力させ、前記学習モデルから出力された前記超音波断層画像（又は前記光干渉断層画像）を用いて、画像不良と判定された前記超音波断層画像（又は前記光干渉断層画像）を補正する処理をコンピュータに実行させる。
　本開示の一つの側面に係る画像処理方法は、超音波を送受信する超音波送受信部及び光を送受信する光送受信部を有するセンサ部を用いて管腔器官の超音波断層画像及び光干渉断層画像を同時的に取得し、取得した前記超音波断層画像又は前記光干渉断層画像の画像不良を判定し、前記光干渉断層画像（又は前記超音波断層画像）を入力した場合に、対応する超音波断層画像（又は光干渉断層画像）を出力するように学習済みの学習モデルに、画像不良と判定された前記超音波断層画像（又は前記光干渉断層画像）に対応する正常な前記光干渉断層画像（又は前記超音波断層画像）を入力することによって、対応する正常な前記超音波断層画像（又は前記光干渉断層画像）を出力させ、前記学習モデルから出力された前記超音波断層画像（又は前記光干渉断層画像）を用いて、画像不良と判定された前記超音波断層画像（又は前記光干渉断層画像）を補正する。
　本開示の一つの側面に係る画像処理装置は、超音波を送受信する超音波送受信部及び光を送受信する光送受信部を有するセンサ部を用いて管腔器官の超音波断層画像及び光干渉断層画像を同時的に取得する取得部と、前記取得部にて取得した前記超音波断層画像又は前記光干渉断層画像の画像不良を判定する判定部と、前記光干渉断層画像（又は前記超音波断層画像）を入力した場合に、対応する超音波断層画像（又は光干渉断層画像）を出力するように学習済みの学習モデルと、前記学習モデルに、画像不良と判定された前記超音波断層画像（又は前記光干渉断層画像）に対応する正常な前記光干渉断層画像（又は前記超音波断層画像）を入力することによって、対応する正常な前記超音波断層画像（又は前記光干渉断層画像）を出力させ、前記学習モデルから出力された前記超音波断層画像（又は前記光干渉断層画像）を用いて、画像不良と判定された前記超音波断層画像（又は前記光干渉断層画像）を補正する処理部とを備える。
　本開示の一つの側面では、ＩＶＵＳ機能及びＯＦＤＩ機能を備えるデュアルタイプのカテーテルを用いて得られた超音波断層画像及び光干渉断層画像の不良を補正することができる。
画像診断装置の構成例を示す説明図である。 画像診断用カテーテルの構成例を示す説明図である。 センサ部を挿通させた血管の断面を模式的に示す説明図である。 断層画像の説明図である。 断層画像の説明図である。 画像処理装置の構成例を示すブロック図である。 ＩＶＵＳ不良検出学習モデルの構成例を示すブロック図である。 ＯＦＤＩ不良検出学習モデルの構成例を示すブロック図である。 ＩＶＵＳ画像認識学習モデルの構成例を示すブロック図である。 ＯＦＤＩ画像認識学習モデルの構成例を示すブロック図である。 第１生成器の構成例を示すブロック図である。 第１生成器の生成方法を示す概念図である。 第２生成器の構成例を示すブロック図である。 本実施形態に係る画像処理手順を示すフローチャートである。 本実施形態に係る画像処理手順を示すフローチャートである。 ＩＶＵＳ画像及びＯＦＤＩ画像の補正方法を示す概念図である。 ＩＶＵＳ画像及びＯＦＤＩ画像の対応付け方法を概念的に示す説明図である。 ＩＶＵＳ画像及びＯＦＤＩ画像の第１の画面表示例である。 ＩＶＵＳ画像及びＯＦＤＩ画像の第２の画面表示例である。
　以下、本開示のコンピュータプログラム、画像処理方法及び画像処理装置について、その実施形態を示す図面に基づいて詳述する。以下の各実施形態では、血管内治療である心臓カテーテル治療を一例に説明する。本発明はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
　本実施形態では、血管内超音波診断法（ＩＶＵＳ）及び光干渉断層診断法（ＯＦＤＩ）の両方の機能を備えるデュアルタイプのカテーテルを用いた画像診断装置について説明する。デュアルタイプのカテーテルでは、ＩＶＵＳのみによって超音波断層画像を取得するモードと、ＯＦＤＩのみによって光干渉断層画像を取得するモードと、ＩＶＵＳ及びＯＦＤＩによって両方の断層画像を取得するモードとが設けられており、これらのモードを切り替えて使用することができる。以下、超音波断層画像及び光干渉断層画像それぞれを適宜、ＩＶＵＳ画像及びＯＦＤＩ画像という。また、ＩＶＵＳ画像及びＯＦＤＩ画像を総称して断層画像という。
　図１は、画像診断装置１００の構成例を示す説明図である。本実施形態の画像診断装置１００は、血管内検査装置１０１と、血管造影装置１０２と、画像処理装置３と、表示装置４と、入力装置５とを備える。血管内検査装置１０１は、画像診断用カテーテル１及びＭＤＵ（Motor Drive Unit）２を備える。画像診断用カテーテル１は、ＭＤＵ２を介して画像処理装置３に接続されている。画像処理装置３には、表示装置４及び入力装置５が接続されている。表示装置４は、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等であり、入力装置５は、例えばキーボード、マウス、トラックボール又はマイク等である。表示装置４と入力装置５とは、一体に積層されて、タッチパネルを構成していてもよい。また入力装置５と画像処理装置３とは、一体に構成されていてもよい。更に入力装置５は、ジェスチャ入力又は視線入力等を受け付けるセンサであってもよい。
　血管造影装置１０２は画像処理装置３に接続されている。血管造影装置１０２は、患者の血管に造影剤を注入しながら、患者の生体外からＸ線を用いて血管を撮像し、当該血管の透視画像であるアンギオ画像を得るためのアンギオグラフィ装置である。血管造影装置１０２は、Ｘ線源及びＸ線センサを備え、Ｘ線源から照射されたＸ線をＸ線センサが受信することにより、患者のＸ線透視画像をイメージングする。血管造影装置１０２は、撮像して得られたアンギオ画像を画像処理装置３へ出力し、画像処理装置３を介して表示装置４に表示される。
　図２は画像診断用カテーテル１の構成例を示す説明図である。なお、図２中の上側の一点鎖線で囲まれた領域は、下側の一点鎖線で囲まれた領域を拡大したものである。画像診断用カテーテル１は、プローブ１１と、プローブ１１の端部に配置されたコネクタ部１５とを有する。プローブ１１は、コネクタ部１５を介してＭＤＵ２に接続される。以下の説明では画像診断用カテーテル１のコネクタ部１５から遠い側を先端側と記載し、コネクタ部１５側を基端側という。プローブ１１は、カテーテルシース１１ａを備え、その先端部には、ガイドワイヤが挿通可能なガイドワイヤ挿通部１４が設けられている。ガイドワイヤ挿通部１４はガイドワイヤルーメンを構成し、予め血管内に挿入されたガイドワイヤを受け入れ、ガイドワイヤによってプローブ１１を患部まで導くのに使用される。カテーテルシース１１ａは、ガイドワイヤ挿通部１４からコネクタ部１５に亘って連続する管部を形成している。カテーテルシース１１ａの内部にはシャフト１３が挿通されており、シャフト１３の先端側にはセンサ部１２が接続されている。
　センサ部１２は、ハウジング１２ｃを有し、ハウジング１２ｃの先端側は、カテーテルシース１１ａの内面との摩擦や引っ掛かりを抑制するために半球状に形成されている。ハウジング１２ｃ内には、超音波を血管内に送信すると共に血管内からの反射波を受信する超音波送受信部１２ａと、近赤外光を血管内に送信すると共に血管内からの反射光を受信する光送受信部１２ｂとが配置されている。図２に示す例では、プローブ１１の先端側に超音波送受信部１２ａが設けられており、基端側に光送受信部１２ｂが設けられている。つまり、超音波送受信部１２ａ及び光送受信部１２ｂは、シャフト１３の中心軸上（図２中の二点鎖線上）において軸方向に沿って所定長だけ離れて、ハウジング１２ｃ内に配置されている。
　また、超音波送受信部１２ａ及び光送受信部１２ｂは、超音波及び近赤外光の送受信方向がシャフト１３の軸方向に対して略９０度の方向（シャフト１３の径方向）となるように配置されている。なお、超音波送受信部１２ａ及び光送受信部１２ｂは、カテーテルシース１１ａの内面での反射波及び反射光を受信しないように、径方向よりややずらして取り付けられることが望ましい。本実施形態では、例えば図２中の矢符で示すように、超音波送受信部１２ａは径方向に対して基端側に傾斜した方向を超音波の照射方向とし、光送受信部１２ｂは径方向に対して先端側に傾斜した方向を近赤外光の照射方向とする姿勢で設けられている。
　シャフト１３には、超音波送受信部１２ａに接続された電気信号ケーブル（図示せず）と、光送受信部１２ｂに接続された光ファイバケーブル（図示せず）とが内挿されている。プローブ１１は、先端側から血管内に挿入される。センサ部１２及びシャフト１３は、カテーテルシース１１ａの内部で進退可能であり、また、周方向に回転することができる。センサ部１２及びシャフト１３は、シャフト１３の中心軸を回転軸として回転する。
　ＭＤＵ２は、画像診断用カテーテル１のコネクタ部１５が着脱可能に取り付けられ、ユーザ（医療従事者）の操作に応じて内蔵モータを駆動し、血管内に挿入された画像診断用カテーテル１の動作を制御する駆動装置である。例えばＭＤＵ２は、プローブ１１に内挿されたセンサ部１２及びシャフト１３を一定の速度でＭＤＵ２側に向けて引っ張りながら周方向に回転させるプルバック操作を行う。センサ部１２は、プルバック操作によって先端側から基端側に移動しながら回転しつつ、所定の時間間隔で連続的に血管内を走査することにより、プローブ１１に略垂直な複数枚の横断層像を所定の間隔で連続的に撮影する。ＭＤＵ２は、超音波送受信部１２ａが受信した超音波の反射波信号と、光送受信部１２ｂが受信した反射光信号とを画像処理装置３へ出力する。
　画像処理装置３は、ＭＤＵ２を介して超音波送受信部１２ａから出力された超音波の反射波信号を反射波データとして取得し、取得した反射波データに基づいて超音波ラインデータを生成する。超音波ラインデータは、超音波送受信部１２ａからみた血管の深さ方向における超音波の反射強度を示すデータである。画像処理装置３は、生成した超音波ラインデータに基づいて血管の横断層を表すＩＶＵＳ画像Ｐ１（図４Ａ及び図４Ｂ参照）を構築する。
　また、画像処理装置３は、ＭＤＵ２を介して光送受信部１２ｂから出力された反射光信号と、光源からの光を分離して得られた参照光とを干渉させることにより、干渉光データを取得し、取得した干渉光データに基づいて光ラインデータを生成する。光ラインデータは、光送受信部１２ｂからみた血管の深さ方向における反射光の反射強度を示すデータである。画像処理装置３は、生成した光ラインデータに基づいて血管の横断層を表したＯＦＤＩ画像Ｐ２（図４Ａ及び図４Ｂ参照）を構築する。
　ここで、超音波送受信部１２ａ及び光送受信部１２ｂによって得られる超音波ラインデータ及び光ラインデータと、超音波ラインデータ及び光ラインデータから構築されるＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２について説明する。
　図３は、センサ部１２を挿通させた血管の断面を模式的に示す説明図であり、図４Ａ及び図４Ｂは断層画像の説明図である。まず、図３を用いて、血管内における超音波送受信部１２ａ及び光送受信部１２ｂの動作と、超音波送受信部１２ａ及び光送受信部１２ｂによって得られる超音波ラインデータ及び光ラインデータについて説明する。
　センサ部１２及びシャフト１３が血管内に挿通された状態で断層画像の撮像が開始されると、センサ部１２が矢符で示す方向に、シャフト１３の中心軸を回転中心として回転する。このとき、超音波送受信部１２ａは、各回転角度において超音波の送信及び受信を行う。ライン１，２，…５１２は各回転角度における超音波の送受信方向を示している。本実施形態では、超音波送受信部１２ａは、血管内において３６０度回動（１回転）する間に５１２回の超音波の送信及び受信を断続的に行う。超音波送受信部１２ａは、１回の超音波の送受信により、送受信方向の１ラインのデータを取得するので、１回転の間に、回転中心から放射線状に延びる５１２本の超音波ラインデータを得ることができる。５１２本の超音波ラインデータは、回転中心の近傍では密であるが、回転中心から離れるにつれて互いに疎になっていく。そこで、画像処理装置３は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図４Ａに示すような２次元のＩＶＵＳ画像Ｐ１を構築することができる。
　同様に、光送受信部１２ｂも、各回転角度において近赤外光（測定光）の送信及び受信を行う。光送受信部１２ｂも血管内において３６０度回動する間に５１２回の測定光の送信及び受信を行うので、１回転の間に、回転中心から放射線状に延びる５１２本の光ラインデータを得ることができる。光ラインデータについても、画像処理装置３は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図４Ａに示す２次元のＯＦＤＩ画像Ｐ２を構築することができる。
　このように複数本の超音波ラインデータから構築される２次元の断層画像を１フレームのＩＶＵＳ画像Ｐ１という。また、複数本の光ラインデータから構築される２次元の断層画像を１フレームのＯＦＤＩ画像Ｐ２という。センサ部１２は血管内を移動しながら走査するため、移動範囲内において１回転した各位置で１フレームのＩＶＵＳ画像Ｐ１又はＯＦＤＩ画像Ｐ２が取得される。即ち、移動範囲においてプローブ１１の先端側から基端側への各位置で１フレームのＩＶＵＳ画像Ｐ１又はＯＦＤＩ画像Ｐ２が取得されるので、図４Ｂに示すように、移動範囲内で複数フレームのＩＶＵＳ画像Ｐ１又はＯＦＤＩ画像Ｐ２が取得される。
　なお、１回転における超音波及び光の送受信回数は一例であり、送受信回数は５１２回に限定されるものではない。また、超音波の送受信回数と、光の送受信回数とは同一であっても良いし、異なっていてもよい。
　図５は画像処理装置３の構成例を示すブロック図である。画像処理装置３はコンピュータであり、処理部３１、記憶部３２、超音波ラインデータ生成部３３、光ラインデータ生成部３４、入出力Ｉ／Ｆ３５、読取部３６を備える。処理部３１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等の演算処理装置を用いて構成されている。処理部３１は、バスを介して画像処理装置３を構成するハードウェア各部と接続されている。
　記憶部３２は、例えば主記憶部及び補助記憶部を有する。主記憶部は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、処理部３１が演算処理を実行するために必要なデータを一時的に記憶する。補助記憶部は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の記憶装置である。補助記憶部は、処理部３１が実行するコンピュータプログラムＰ、ＩＶＵＳ不良検出学習モデル６１、ＯＦＤＩ不良検出学習モデル６２、ＩＶＵＳ画像認識学習モデル７１、ＯＦＤＩ画像認識学習モデル７２、第１生成器（第１学習モデル）８１、第２生成器（第２学習モデル）８２、その他の処理に必要な各種データを記憶する。なお、補助記憶部は画像処理装置３に接続された外部記憶装置であってもよい。コンピュータプログラムＰは、画像処理装置３の製造段階において補助記憶部に書き込まれてもよいし、遠隔のサーバ装置が配信するものを画像処理装置３が通信にて取得して補助記憶部に記憶させてもよい。コンピュータプログラムＰは、磁気ディスク、光ディスク、半導体メモリ等の記録媒体３０に読み出し可能に記録された態様であってもよく、読取部３６が記録媒体３０から読み出して補助記憶部に記憶させてもよい。
　超音波ラインデータ生成部３３は、血管内検査装置１０１の超音波送受信部１２ａから出力された超音波の反射波信号を反射波データとして取得し、取得した反射波データに基づいて超音波ラインデータを生成する。
　光ラインデータ生成部３４は、血管内検査装置１０１の光送受信部１２ｂから出力された反射光信号と、光源からの光を分離して得られた参照光とを干渉させることにより、干渉光データを取得し、取得した干渉光データに基づいて光ラインデータを生成する。
　入出力Ｉ／Ｆ３５は、血管内検査装置１０１、血管造影装置１０２、表示装置４及び入力装置５が接続されるインタフェースである。処理部３１は、入出力Ｉ／Ｆ３５を介して、血管造影装置１０２からアンギオ画像を取得する。また、処理部３１は、入出力Ｉ／Ｆ３５を介して、ＩＶＵＳ画像Ｐ１、ＯＦＤＩ画像Ｐ２、又はアンギオ画像の医用画像信号を表示装置４へ出力することによって、表示装置４に医用画像を表示する。更に、処理部３１は、入出力Ｉ／Ｆ３５を介して、入力装置５に入力された情報を受け付ける。
　画像処理装置３は、複数のコンピュータを含んで構成されるマルチコンピュータであってよい。また、画像処理装置３は、サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、画像処理装置３が１台のコンピュータであるものとして説明する。
　画像処理装置３の処理部３１は、記憶部３２が記憶するコンピュータプログラムＰを読み出して実行することにより、超音波ラインデータ生成部３３にて超音波ラインデータを生成し、生成された超音波ラインデータに基づいてＩＶＵＳ画像Ｐ１を構築する処理を実行する。また、処理部３１は、記憶部３２が記憶するコンピュータプログラムＰを読み出して実行することにより、光ラインデータ生成部３４にて光ラインデータを生成し、生成された光ラインデータに基づいてＯＦＤＩ画像Ｐ２を構築する処理を実行する。
　ところで、超音波送受信部１２ａ及び光送受信部１２ｂは、センサ部１２における配置位置が異なり、超音波及び光の送受信方向も異なため、超音波送受信部１２ａ及び光送受信部１２ｂが同じ撮像タイミングで血管を走査したとしても血管の観察位置及び観察方向にずれが生じる。観察位置のずれは、血管の長手方向及び走行方向のずれである。観察方向のずれは、血管の周方向におけるずれである。
　そこで、処理部３１は、記憶部３２が記憶するコンピュータプログラムＰを読み出して実行することにより、ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２を構築する際に、ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２における観察位置及び観察方向のずれを補正する処理を実行する。具体的には、処理部３１は、ＩＶＵＳ画像認識学習モデル７１及びＯＦＤＩ画像認識学習モデル７２を用いて、ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２における内腔画像を認識する。そして、処理部３１は、例えば、ＩＶＵＳ画像Ｐ１に基づく３次元内腔画像と、ＯＦＤＩ画像Ｐ２に基づく３次元内腔画像とを合致させる平行移動量及び回転量を特定し、特定した平行移動量及び回転量に基づいて、観察位置及び観察方向が一致するようにＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２を対応付ける。
　また、プライミングが適切に実施されていないと、エアーの混入等によって超音波が減衰するため、ＩＶＵＳ画像Ｐ１の画像不良が発生することがある。血液を造影剤でフラッシュする処置が適切に実施されていないと、血液の影響によってＯＦＤＩ画像Ｐ２の画像不良が発生する。
　そこで、処理部３１は、記憶部３２が記憶するコンピュータプログラムＰを読み出して実行することにより、ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２の不良を検出する。具体的には、処理部３１は、ＩＶＵＳ不良検出学習モデル６１及びＯＦＤＩ不良検出学習モデル６２を用いて、ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２の不良を検出する。
　更に、処理部３１は、記憶部３２が記憶するコンピュータプログラムＰを読み出して実行することにより、画像が不良なＩＶＵＳ画像Ｐ１のフレーム画像を、対応する正常なＯＦＤＩ画像Ｐ２を用いて補正する処理を実行する。具体的には、処理部３１は、第１生成器８１を用いて、正常なＯＦＤＩ画像Ｐ２から、対応する正常なＩＶＵＳ画像Ｐ１を生成し、画像不良のＩＶＵＳ画像Ｐ１を生成したＩＶＵＳ画像Ｐ１に置換する処理を実行する。同様に、処理部３１は、第２生成器８２を用いて、記憶部３２が記憶するコンピュータプログラムＰを読み出して実行することにより、画像が不良なＯＦＤＩ画像Ｐ２のフレーム画像を、対応する正常なＩＶＵＳ画像Ｐ１を用いて補正する処理を実行する。具体的には、処理部３１は、正常なＩＶＵＳ画像Ｐ１から、対応する正常なＯＦＤＩ画像Ｐ２を生成し、画像不良のＯＦＤＩ画像Ｐ２を生成したＯＦＤＩ画像Ｐ２に置換する処理を実行する。
　上記処理により、不適切なプライミング又はフラッシュによるＩＶＵＳ画像Ｐ１又はＯＦＤＩ画像Ｐ２の画像不良を補正することができる。
＜不良検出学習モデル＞
　ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２の画像不良を検出するＩＶＵＳ不良検出学習モデル６１及びＯＦＤＩ不良検出学習モデル６２について説明する。
　図６Ａは、ＩＶＵＳ不良検出学習モデル６１の構成例を示すブロック図、図６Ｂは、ＯＦＤＩ不良検出学習モデル６２の構成例を示すブロック図である。
　図６Ａは、ＩＶＵＳ不良検出学習モデル６１の構成例を示す。ＩＶＵＳ不良検出学習モデル６１は、プライミング不良によるＩＶＵＳ画像Ｐ１の不良を検出する学習済みモデルである。ＩＶＵＳ不良検出学習モデル６１は、例えば、ＩＶＵＳ画像Ｐ１の入力を受け付ける入力層６１ａと、画像の特徴量を抽出する中間層６１ｂと、ＩＶＵＳ画像Ｐ１の画像不良の有無を出力する出力層６１ｃとを有するニューラルネットワークである。本実施形態のＩＶＵＳ不良検出学習モデル６１は、ＲｅｓＮｅｔ、ＤｅｎｓｅＮｅｔ等のＣＮＮ（Convolution Neural Network）である。
　画像処理装置３は、ＣＮＮのモデルに対して、ＩＶＵＳ画像Ｐ１と、画像不良の有無との関係を学習するディープラーニングを行うことで、ＩＶＵＳ不良検出学習モデル６１を生成する。より具体的には、正常なＩＶＵＳ画像Ｐ１と、正常であることを示す教師データとを対応付けたもの、不良なＩＶＵＳ画像Ｐ１と、画像不良であることを示す教師データとを対応付けたものを含む訓練データを用意する。そして、画像処理装置３は、訓練データのＩＶＵＳ画像Ｐ１を未学習のニューラルネットワークに入力した場合に出力されるデータと、教師データとの差分が小さくなるように、当該ニューラルネットワークのパラメータを最適化する。当該パラメータは、例えばノード間の重み（結合係数）などである。パラメータの最適化の方法は特に限定されないが、例えば処理部３１は最急降下法等を用いて各種パラメータの最適化を行う。
　ニューラルネットワークの入力層６１ａは、ＩＶＵＳ画像Ｐ１に係る各画素の画素値の入力を受け付ける複数のノードを有し、入力された画素値を中間層６１ｂに受け渡す。中間層６１ｂは、複数層であり、各層は画像の特徴量を抽出する複数のノードを有し、抽出した特徴量を出力層６１ｃに受け渡す。例えばＩＶＵＳ不良検出学習モデル６１がＣＮＮである場合、中間層６１ｂは、入力層６１ａから入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが複数連結された構成を有し、画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。出力層６１ｃは、画像不良の有無又は確度を示すデータを出力するノードを有する。
　なお本実施形態においては、ＩＶＵＳ不良検出学習モデル６１がＤｅｎｓｅＮｅｔ等のＣＮＮであるものとするが、モデルの構成はＣＮＮに限るものではない。ＩＶＵＳ不良検出学習モデル６１は、例えばＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、又は、ＸＧＢｏｏｓｔ等の決定木、等の構成の学習モデルであってよい。また、出力層６１ｃは画像不良の種類を示すデータを出力する複数のノードを備えてもよい。
　図６Ｂは、ＯＦＤＩ不良検出学習モデル６２の構成例を示す。ＯＦＤＩ不良検出学習モデル６２は、フラッシュ不良によるＯＦＤＩ画像Ｐ２の不良を検出する学習済みモデルである。ＯＦＤＩ不良検出学習モデル６２は、例えば、ＯＦＤＩ画像Ｐ２の入力を受け付ける入力層６２ａと、画像の特徴量を抽出する中間層６２ｂと、ＯＦＤＩ画像Ｐ２の画像不良の有無を出力する出力層６２ｃとを有するニューラルネットワークである。画像処理装置３は、ＣＮＮのモデルに対して、ＯＦＤＩ画像Ｐ２と、画像不良の有無との関係を学習するディープラーニングを行うことで、ＯＦＤＩ不良検出学習モデル６２を生成する。
　ＯＦＤＩ不良検出学習モデル６２の構成の詳細、生成方法はＩＶＵＳ不良検出学習モデル６１と同様であるため、詳細を省略する。
＜画像認識学習モデル＞
　ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２の観察位置及び観察方向のずれ補正を行うために用いるＩＶＵＳ画像認識学習モデル７１及びＯＦＤＩ画像認識学習モデル７２について説明する。
　図７Ａは、ＩＶＵＳ画像認識学習モデル７１の構成例を示すブロック図、図７Ｂは、ＩＶＵＳ画像認識学習モデル７１及びＯＦＤＩ画像認識学習モデル７２の構成例を示すブロック図である。
　図７Ａは、ＩＶＵＳ画像認識学習モデル７１の構成例を示すブロック図である。ＩＶＵＳ画像認識学習モデル７１は、ＩＶＵＳ画像Ｐ１に含まれる所定のオブジェクトを認識するモデルである。ＩＶＵＳ画像認識学習モデル７１は、例えば、セマンティックセグメンテーション（Semantic Segmentation）を用いた画像認識技術を利用することにより、オブジェクトを画素単位でクラス分けすることができ、ＩＶＵＳ画像Ｐ１に含まれる各種オブジェクトを認識することができる。具体的には、ＩＶＵＳ画像認識学習モデル７１は、ＩＶＵＳ画像Ｐ１における内腔画像を認識する。なお、ＩＶＵＳ画像認識学習モデル７１は、血管壁画像を認識するように構成してもよい。血管壁は中膜であり、より具体的には外弾性膜（ＥＥＭ）である。ＩＶＵＳ画像Ｐ１における内腔画像、血管壁画像は第１オブジェクト画像の一例である。
　ＩＶＵＳ画像認識学習モデル７１は、例えば深層学習による学習済みの畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）である。ＩＶＵＳ画像認識学習モデル７１は、ＩＶＵＳ画像Ｐ１が入力される入力層７１ａと、ＩＶＵＳ画像Ｐ１の特徴量を抽出し復元する中間層７１ｂと、ＩＶＵＳ画像Ｐ１に含まれるオブジェクト画像を画素単位で示すオブジェクト抽出ＩＶＵＳ画像Ｐ１’を出力する出力層７１ｃとを有する。ＩＶＵＳ画像認識学習モデル７１は、例えばＵ－Ｎｅｔ、ＦＣＮ（Fully Convolution Network）、ＳｅｇＮｅｔ等である。
　ＩＶＵＳ画像認識学習モデル７１の入力層７１ａは、ＩＶＵＳ画像Ｐ１、つまりＩＶＵＳ画像Ｐ１を構成する各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層７１ｂに受け渡す。中間層７１ｂは、複数の畳み込み層（ＣＯＮＶ層）と、複数の逆畳み込み層（ＤＥＣＯＮＶ層）とを有する。畳み込み層は、ＩＶＵＳ画像Ｐ１を次元圧縮する層である。次元圧縮により、オブジェクト画像の特徴量が抽出される。逆畳み込み層は逆畳み込み処理を行い、元の次元に復元する。逆畳み込み層における復元処理により、各画素がオブジェクトのクラスに対応する画素値（クラスデータ）を有するオブジェクト抽出ＩＶＵＳ画像Ｐ１’が生成される。出力層７１ｃは、オブジェクト抽出ＩＶＵＳ画像Ｐ１’を出力する複数のニューロンを有する。オブジェクト抽出ＩＶＵＳ画像Ｐ１’は、図７Ａに示すように、内腔画像、血管壁画像、プラーク画像等のオブジェクトの種類毎にクラス分け、例えば色分けされたような画像である。
　ＩＶＵＳ画像認識学習モデル７１は、超音波送受信部１２ａにて得られるＩＶＵＳ画像Ｐ１と、当該ＩＶＵＳ画像Ｐ１の各画素に、対応するオブジェクトの種類に応じたクラスデータを付与（アノテーション）したオブジェクト抽出ＩＶＵＳ画像Ｐ１’とを有する訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。具体的には、訓練データのＩＶＵＳ画像Ｐ１を未学習のニューラルネットワークに入力した場合に出力されるオブジェクト抽出ＩＶＵＳ画像Ｐ１’と、訓練データとしてアノテーションされた画像との差分が小さくなるように、当該ニューラルネットワークのパラメータを最適化する。当該パラメータは、例えばノード間の重み（結合係数）などである。パラメータの最適化の方法は特に限定されないが、例えば処理部３１は最急降下法等を用いて各種パラメータの最適化を行う。
　このように学習されたＩＶＵＳ画像認識学習モデル７１によれば、図７Ａに示すようにＩＶＵＳ画像Ｐ１をＩＶＵＳ画像認識学習モデル７１に入力することによって、血管の内腔画像、血管壁画像、プラーク画像等のオブジェクトの種類に応じて各部が画素単位でクラス分けされたオブジェクト抽出ＩＶＵＳ画像Ｐ１’が得られる。
　図７Ｂは、ＯＦＤＩ画像認識学習モデル７２の構成例を示すブロック図である。ＯＦＤＩ画像認識学習モデル７２は、ＯＦＤＩ画像Ｐ２に含まれる所定のオブジェクトを認識するモデルである。ＯＦＤＩ画像認識学習モデル７２は、ＩＶＵＳ画像認識学習モデル７１と同様、例えばセマンティックセグメンテーションを用いた画像認識技術を利用することにより、オブジェクトを画素単位でクラス分けすることができ、ＯＦＤＩ画像Ｐ２に含まれる各種オブジェクトを認識することができる。具体的には、ＯＦＤＩ画像認識学習モデル７２は、ＯＦＤＩ画像Ｐ２における内腔画像、血管画像等を認識する。ＯＦＤＩ画像Ｐ２における内腔画像、血管壁画像は第２オブジェクト画像の一例である。
　ＯＦＤＩ画像認識学習モデル７２は、例えば深層学習による学習済みの畳み込みニューラルネットワークである。ＯＦＤＩ画像認識学習モデル７２は、ＯＦＤＩ画像Ｐ２が入力される入力層７２ａと、ＯＦＤＩ画像Ｐ２の特徴量を抽出し復元する中間層７２ｂと、ＯＦＤＩ画像Ｐ２に含まれるオブジェクト画像を画素単位で示すオブジェクト抽出ＯＦＤＩ画像Ｐ２’を出力する出力層７２ｃとを有する。ＯＦＤＩ画像認識学習モデル７２は、例えばＵ－Ｎｅｔ、ＦＣＮ（Fully Convolution Network）、ＳｅｇＮｅｔ等である。
　ＯＦＤＩ画像認識学習モデル７２の入力層７２ａは、ＯＦＤＩ画像Ｐ２、つまりＯＦＤＩ画像Ｐ２を構成する各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層７２ｂに受け渡す。中間層７２ｂは、複数の畳み込み層と、複数の逆畳み込み層とを有する。畳み込み層は、ＯＦＤＩ画像Ｐ２を次元圧縮する層である。次元圧縮により、オブジェクト画像の特徴量が抽出される。逆畳み込み層は逆畳み込み処理を行い、元の次元に復元する。逆畳み込み層における復元処理により、各画素がオブジェクトのクラスに対応する画素値（クラスデータ）を有するオブジェクト抽出ＯＦＤＩ画像Ｐ２’が生成される。出力層７２ｃは、オブジェクト抽出ＯＦＤＩ画像Ｐ２’を出力する複数のニューロンを有する。オブジェクト抽出ＯＦＤＩ画像Ｐ２’は、内腔画像、血管壁画像、プラーク画像、ステント画像等のオブジェクトの種類毎にクラス分け、例えば色分けされたような画像である。
　ＯＦＤＩ画像認識学習モデル７２は、光送受信部１２ｂにて得られるＯＦＤＩ画像Ｐ２と、当該ＯＦＤＩ画像Ｐ２の各画素に、対応するオブジェクトの種類に応じたクラスデータを付与（アノテーション）したオブジェクト抽出ＯＦＤＩ画像Ｐ２’とを有する訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。具体的には、ＩＶＵＳ画像認識学習モデル７１の学習と同様、訓練データのＯＦＤＩ画像Ｐ２を未学習のニューラルネットワークに入力した場合に出力されるオブジェクト抽出ＯＦＤＩ画像Ｐ２’と、訓練データとしてアノテーションされた画像との差分が小さくなるように、当該ニューラルネットワークのパラメータを最適化する。
　このように学習されたＯＦＤＩ画像認識学習モデル７２によれば、図７Ｂに示すようにＯＦＤＩ画像Ｐ２をＯＦＤＩ画像認識学習モデル７２に入力することによって、血管の内腔画像、血管壁画像、プラーク画像等のオブジェクトの種類に応じて各部が画素単位でクラス分けされたオブジェクト抽出ＯＦＤＩ画像Ｐ２’が得られる。
＜画像生成学習モデル＞
　図８は、第１生成器８１の構成例を示すブロック図である。第１生成器８１は、ＯＦＤＩ画像Ｐ２からＩＶＵＳ画像Ｐ１を生成する学習モデルである。第１生成器８１は、ＯＦＤＩ画像Ｐ２が入力される入力層８１ａと、ＯＦＤＩ画像Ｐ２の特徴量を抽出し、ＩＶＵＳ画像Ｐ１を復元する中間層８１ｂと、生成されたＩＶＵＳ画像Ｐ１を出力する出力層８１ｃとを有する。第１生成器８１は、ｐｉｘ２ｐｉｘ、ＣｙｃｌｅＧＡＮ、ＳｔａｒＧＡＮ等のＧＡＮ、ＶＡＥ（Variational Autoencoder）、ＣＮＮ（例えばＵ－ｎｅｔ）等のニューラルネットワーク等である。
　第１生成器８１の入力層８１ａは、ＯＦＤＩ画像Ｐ２、つまりＯＦＤＩ画像Ｐ２を構成する各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層８１ｂに受け渡す。中間層８１ｂは、複数の畳み込み層（ＣＯＮＶ層）と、複数の逆畳み込み層（ＤＥＣＯＮＶ層）とを有する。畳み込み層は、ＩＶＵＳ画像Ｐ１を次元圧縮する層である。次元圧縮により、オブジェクト画像の特徴量が抽出される。逆畳み込み層は逆畳み込み処理を行い、元の次元に復元する。逆畳み込み層における復元処理により、各画素がＩＶＵＳ画像Ｐ１の画素値を有するＩＶＵＳ画像Ｐ１が生成される。出力層８１ｃは、入力されたＯＦＤＩ画像Ｐ２に対応するＩＶＵＳ画像Ｐ１を出力する複数のニューロンを有する。図８に示すように、正常画像であるＯＦＤＩ画像Ｐ２が第１生成器８１に入力された場合、生成画像である正常なＩＶＵＳ画像Ｐ１が出力される。
　第１生成器８１は、訓練用の正常画像であるＯＦＤＩ画像Ｐ２と、訓練用の正常画像であるＩＶＵＳ画像Ｐ１とを関連付けた訓練データを用意し、この訓練データを用いて未学習の学習モデルを学習させることにより生成される。なお、訓練用のＯＦＤＩ画像Ｐ２及びＩＶＵＳ画像Ｐ１は、血管内治療を行う必要があると判断された病変部を含む画像であることが望ましい。本実施形態の画像処理装置３は、訓練用に用意されたＯＦＤＩ画像Ｐ２及びＩＶＵＳ画像Ｐ１を用いて学習を行い、ＯＦＤＩ画像Ｐ２からＩＶＵＳ画像Ｐ１を生成する第１生成器８１を生成する。
　図９は、第１生成器８１の生成方法を示す概念図である。第１生成器８１は、例えば識別器８１ｄを用意し、第１生成器８１と識別器８１ｄとの敵対的学習により生成することができる。例えば、図９上図に示すように、識別器８１ｄの学習と、第１生成器８１との学習を交互に行う。
　識別器８１ｄの学習において、画像処理装置３は、第１生成器８１のパラメータを固定した上で訓練用のＯＦＤＩ画像Ｐ２を入力する。訓練用のＯＦＤＩ画像Ｐ２が入力された第１生成器８１は、ＩＶＵＳ画像Ｐ１を生成して出力する。画像処理装置３は、第１生成器８１の入出力に相当するＯＦＤＩ画像Ｐ２（訓練用のＯＦＤＩ画像Ｐ２）及びＩＶＵＳ画像Ｐ１（第１生成器８１が生成したＩＶＵＳ画像Ｐ１）のペアを偽データとして、識別器８１ｄに与える。また、画像処理装置３は、訓練データに含まれるＯＦＤＩ画像Ｐ２及びＩＶＵＳ画像Ｐ１のペアを真データとして、識別器８１ｄに与える。画像処理装置３は、偽データが入力された場合に偽値を出力し、真データが入力された場合に真値を出力するように識別器８１ｄのパラメータを最適化する。
　一方、第１生成器８１の学習において、画像処理装置３は、識別器８１ｄのパラメータを固定し、図９下図に示すように、第１生成器８１の学習を行う。画像処理装置３は、訓練用のＯＦＤＩ画像Ｐ２を第１生成器８１に入力し、訓練用のＯＦＤＩ画像Ｐ２と、第１生成器８１が生成したＩＶＵＳ画像Ｐ１とを識別器８１ｄに入力した場合に、真偽の確率が５０％に近似するように第１生成器８１のパラメータを最適化する。このように、第１生成器８１の学習と、識別器８１ｄの学習とを敵対的な関係のもとで行うことにより、図８に示すように、ＯＦＤＩ画像Ｐ２が入力された場合に、対応するＩＶＵＳ画像Ｐ１を出力することができる第１生成器８１が生成される。なお、最適化されるパラメータは、例えばニューロン間の重み（結合係数）等であり、パラメータの最適化には誤差逆伝播法等が用いることができる。
　画像処理装置３は、第１生成器８１を用いてＩＶＵＳ画像Ｐ１を生成する際は、第１生成器８１のみを用いる。第１生成器８１の学習は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの第１生成器８１は、例えばネットワーク経由又は記録媒体３０経由で学習装置から画像処理装置３にダウンロードされて記憶部３２に記憶される。
　図１０は、第２生成器８２の構成例を示すブロック図である。第２生成器８２は、ＩＶＵＳ画像Ｐ１からＯＦＤＩ画像Ｐ２を生成する学習モデルである。第２生成器８２は、第１生成器８１と同様の構成である。第２生成器８２は、ＩＶＵＳ画像Ｐ１が入力される入力層８２ａと、ＩＶＵＳ画像Ｐ１の特徴量を抽出し、ＯＦＤＩ画像Ｐ２を復元する中間層８２ｂと、生成されたＯＦＤＩ画像Ｐ２を出力する出力層８２ｃとを有する。第２生成器８２は、ｐｉｘ２ｐｉｘ、ＣｙｃｌｅＧＡＮ、ＳｔａｒＧＡＮ等のＧＡＮ、ＶＡＥ（Variational Autoencoder）、ＣＮＮ（例えばＵ－ｎｅｔ）等のニューラルネットワーク等である。
　第２生成器８２は、訓練用の正常画像であるＩＶＵＳ画像Ｐ１と、訓練用の正常画像であるＯＦＤＩ画像Ｐ２とを関連付けた訓練データを用意し、この訓練データを用いて未学習の学習モデルを学習させることにより生成される。なお、訓練用のＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２は、血管内治療を行う必要があると判断された病変部を含む画像であることが望ましい。本実施形態の画像処理装置３は、訓練用に用意されたＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２を用いて学習を行い、ＩＶＵＳ画像Ｐ１からＯＦＤＩ画像Ｐ２を生成する第２生成器８２を生成する。
＜画像処理手順＞
　図１１及び図１２は、本実施形態に係る画像処理手順を示すフローチャート、図１３は、ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２の補正方法を示す概念図である。画像処理装置３の超音波ラインデータ生成部３３及び光ラインデータ生成部３４は、超音波送受信部１２ａから出力される反射波データ、光送受信部１２ｂから出力される反射光及び参照光の干渉により得られる干渉光データに基づいて、複数本の超音波ラインデータ及び光ラインデータを生成する（ステップＳ１１１）。複数本の超音波ラインデータ及び光ラインデータには、例えば観察時間の時系列順にライン番号が付されている。ライン番号は、観察時点に相当する。言い換えると、ライン番号は観察位置及び観察方向に相当する。
　次いで処理部３１は、超音波ラインデータに基づいて複数フレームのＩＶＵＳ画像Ｐ１を構築し、光ラインデータに基づいて複数フレームのＯＦＤＩ画像Ｐ２を構築する（ステップＳ１１２）。複数フレームのＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２には、例えば観察時間の時系列順にフレーム番号が付されている。フレーム番号は、観察位置に相当する。複数フレームのＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２は、プローブ１１の先端側から基端側に亘る複数の観察位置で血管を観察して得た画像に相当する。但し、超音波送受信部１２ａ及び光送受信部１２ｂの配置、超音波又は光の送受信方向が異なるため、同一フレーム番号が付されたＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２の観察位置は必ずしも一致していない。言い換えると、ＩＶＵＳ画像Ｐ１と、ＯＦＤＩ画像Ｐ２とは、血管の走行方向に位置ずれしている。また、同様の理由により、ＩＶＵＳ画像Ｐ１と、ＯＦＤＩ画像Ｐ２とは、血管の周方向にも位置ずれしている。
　なお、ステップＳ１１１及びステップＳ１１２の処理を実行する処理部３１、超音波ラインデータ生成部３３及び光ラインデータ生成部３４は、ＩＶＵＳ画像Ｐ１（超音波断層画像）及びＯＦＤＩ画像Ｐ２（光干渉断層画像）を同時的に取得する取得部として機能する。図１３左図は、取得された複数のＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２を示している。
　次いで、処理部３１は、ＩＶＵＳ画像Ｐ１をＩＶＵＳ画像認識学習モデル７１に入力することによって、ＩＶＵＳ画像Ｐ１における内腔画像を認識する（ステップＳ１１３）。処理部３１は、複数フレームのＩＶＵＳ画像Ｐ１それぞれについて、画像認識処理を実行する。なお、ＩＶＵＳ画像認識学習モデル７１から出力されるオブジェクト抽出ＩＶＵＳ画像Ｐ１’には、入力したＩＶＵＳ画像Ｐ１と同じフレーム番号又は同様のフレーム番号が付されている。
　また、処理部３１は、ＯＦＤＩ画像Ｐ２をＯＦＤＩ画像認識学習モデル７２に入力することによって、ＯＦＤＩ画像Ｐ２における内腔画像を認識する（ステップＳ１１４）。処理部３１は、複数フレームのＯＦＤＩ画像Ｐ２それぞれについて、画像認識処理を実行する。なお、ＯＦＤＩ画像認識学習モデル７２から出力されるオブジェクト抽出ＯＦＤＩ画像Ｐ２’には、入力したＯＦＤＩ画像Ｐ２と同じフレーム番号又は同様のフレーム番号が付されている。
　ＩＶＵＳ画像認識学習モデル７１及びＯＦＤＩ画像認識学習モデル７２により認識することができるオブジェクト画像は必ずしも同一では無いが、処理部３１は、少なくともＩＶＵＳ画像Ｐ１における内腔画像と、ＯＦＤＩ画像Ｐ２における内腔画像とを認識することができる。
　次いで、処理部３１は、剛体レジストレーションにより、オブジェクト抽出ＩＶＵＳ画像Ｐ１’に基づく３次元内腔画像と、オブジェクト抽出ＯＦＤＩ画像Ｐ２’に基づく３次元内腔画像との位置及び向きを合致させる、３次元内腔画像の平行移動量及び回転量を特定する（ステップＳ１１５）。つまり、処理部３１は、複数フレームのＩＶＵＳ画像Ｐ１における内腔画像と、複数フレームのＯＦＤＩ画像Ｐ２における内腔画像とが合致するフレーム番号の対応関係を特定する。また、処理部３１は、ＩＶＵＳ画像Ｐ１における内腔画像の向きと、ＯＦＤＩ画像Ｐ２における内腔画像の向きとを合致させる、ＩＶＵＳ画像Ｐ１又はＯＦＤＩ画像Ｐ２の回転量を特定する。
　複数フレームのオブジェクト抽出ＩＶＵＳ画像Ｐ１’は、血管の走行方向の複数の観察位置における内腔領域を示しており、処理部３１は、当該複数フレームのオブジェクト抽出ＩＶＵＳ画像Ｐ１’に含まれる内腔領域の画像に基づいて、３次元内腔画像を構成することができる。同様に、複数フレームのオブジェクト抽出ＯＦＤＩ画像Ｐ２’は、血管の走行方向の複数の観察位置における内腔領域を示しており、処理部３１は、当該複数フレームのオブジェクト抽出ＯＦＤＩ画像Ｐ２’に含まれる内腔領域の画像に基づいて、３次元内腔画像を構成することができる。そして、処理部３１は、例えば、剛体レジストレーションにより、オブジェクト抽出ＩＶＵＳ画像Ｐ１’に基づく３次元内腔画像を平行移動させ、周方向に回転させることによって、３次元内腔画像の位置及び向きが合致する平行移動量及び回転量を特定する。具体的には、処理部３１は、３次元座標系における２つの３次元内腔画の類似度又は相違度を算出し、類似度が最大又は相違度が最小になる平行移動量及び回転量を特定する。類似度としては、例えば正規化相互相関等を用いればよい。相違度としては、残差２乗和等を用いればよい。なお、処理部３１は、３次元内腔画像の輪郭の類似度又は相違度を算出すればよい。
　図１４は、ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２の対応付け方法を概念的に示す説明図である。剛体レジストレーションによる３次元内腔画像の平行移動は、ＩＶＵＳ画像Ｐ１のフレーム番号と、ＯＦＤＩ画像Ｐ２のフレーム画像との対応関係の補正に相当する。また、３次元内腔画像の回転は、ＩＶＵＳ画像Ｐ１における画像の回転処理に相当する。
　処理部３１は、ＩＶＵＳ画像Ｐ１と、ＯＦＤＩ画像Ｐ２との対応関係を補正する（ステップＳ１１６）。つまり、同じ観察位置で撮像されたＩＶＵＳ画像Ｐ１のフレーム画像と、ＯＦＤＩ画像Ｐ２のフレーム画像とを対応付ける。具体的には、同じ観察位置で撮像されたＩＶＵＳ画像Ｐ１のフレーム番号と、ＯＦＤＩ画像Ｐ２のフレーム番号とを対応付ける。ステップＳ１１５で特定された平行移動量は、同じ観察位置で撮像されたＩＶＵＳ画像Ｐ１のフレーム番号と、ＯＦＤＩ画像Ｐ２のフレーム番号との差分に相当するため、当該差分に当たるフレーム数を加減算することによって、ＩＶＵＳ画像Ｐ１と、ＯＦＤＩ画像Ｐ２とを対応付けることができる。なお、画像処理装置３は、平行移動量と、フレーム番号の差分との対応関係を記憶している。また、ステップＳ１１５で特定された回転量は、ＩＶＵＳ画像Ｐ１と、ＯＦＤＩ画像Ｐ２の向きのずれ量、つまり回転角度のずれ量に相当するため、処理部３１は、当該ずれ量分だけＩＶＵＳ画像Ｐ１を画像回転させることによって、ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２の向きを揃えることができる。
　なお、３次元内腔画像の剛体レジストレーションによる観察位置及び観察方向の補正について説明したが、３次元内腔画像を構成せずに、オブジェクト抽出ＩＶＵＳ画像Ｐ１’及びオブジェクト抽出ＯＦＤＩ画像Ｐ２’を直接的に比較することによって、観察位置、観察方向及びスケールを補正してもよい。
　平行移動前においては、第ｎフレームのＩＶＵＳ画像Ｐ１と、第ｎフレームのＯＦＤＩ画像Ｐ２とが対応付けられているものとする。ｎは１以上の整数である。処理部３１は、例えば対応するフレーム番号のオブジェクト抽出ＩＶＵＳ画像Ｐ１’における内腔領域と、オブジェクト抽出ＯＦＤＩ画像Ｐ２’における内腔領域との類似度又は相違度を算出する。処理部３１は、所定数のオブジェクト抽出ＩＶＵＳ画像Ｐ１’及びオブジェクト抽出ＯＦＤＩ画像Ｐ２’について、内腔領域の類似度又は相違度を算出する。次いで、処理部３１は、第（ｎ＋α）フレームのオブジェクト抽出ＩＶＵＳ画像Ｐ１’における内腔領域と、第ｎフレームのオブジェクト抽出ＯＦＤＩ画像Ｐ２’における内腔領域との類似度又は相違度を同様にして算出する。αは整数であり、３次元内腔画像の平行移動量に相当する。処理部３１は、変数αを１ずるインクリメントしながら、オブジェクト抽出ＩＶＵＳ画像Ｐ１’と、オブジェクト抽出ＯＦＤＩ画像Ｐ２’との対応関係を検証する。
　また、処理部３１は、内腔領域を対比する際、オブジェクト抽出ＩＶＵＳ画像Ｐ１’における内腔領域の向きを周方向に角度補正量θだけ回転させる。角度補正量θは、３次元内腔画像の回転量に相当する。なお、回転中心はオブジェクト抽出ＩＶＵＳ画像Ｐ１’の中心では無く、センサ部１２の中心に相当する位置を中心にして回転させる。処理部３１は、変数αと共に、角度補正量θを所定量ずつ変化させながら、オブジェクト抽出ＩＶＵＳ画像Ｐ１’及びオブジェクト抽出ＯＦＤＩ画像Ｐ２’における内腔領域の類似度又は相違度を算出し、類似度が最大になる、又は相違度が最小になる変数α、及び角度補正量θを特定する。そして、処理部３１は特定した変数α、及び角度補正量θを記憶する。
　ステップＳ１１６の処理を終えた処理部３１は、ステップＳ１１１及びステップＳ１１２の処理で取得した複数のＩＶＵＳ画像Ｐ１をＩＶＵＳ不良検出学習モデル６１に入力することによって、各ＩＶＵＳ画像Ｐ１が不良画像であるか否かを判定する（ステップＳ１１７）。同様に、処理部３１は、ステップＳ１１１及びステップＳ１１２の処理で取得した複数のＯＦＤＩ画像Ｐ２をＯＦＤＩ不良検出学習モデル６２に入力することによって、各ＯＦＤＩ画像Ｐ２が不良画像であるか否かを判定する（ステップＳ１１８）。
　図１３中央の図において、太枠で囲まれたフレームは、不良画像と判定されたＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２のフレームを示している。
　処理部３１は、ステップＳ１１７の検出結果に基づいて、ＩＶＵＳ画像Ｐ１の画像不良の有無を判定する（ステップＳ１１９）。なお、ステップＳ１１９の処理を実行する処理部３１は、取得したＩＶＵＳ画像Ｐ１の画像不良を判定する判定部として機能する。
　画像不良のＩＶＵＳ画像Ｐ１があると判定した場合（ステップＳ１１９：ＹＥＳ）、処理部３１は、画像不良と判定されたＩＶＵＳ画像Ｐ１に対応する正常なＯＦＤＩ画像Ｐ２を特定し、対応する正常なＯＦＤＩ画像Ｐ２を第１生成器８１に入力することによって、対応する正常なＩＶＵＳ画像Ｐ１を生成及び出力させる（ステップＳ１２０）。なお、画像不良と判定されたＩＶＵＳ画像Ｐ１に対応するＯＦＤＩ画像Ｐ２は、画像不良と判定されたＩＶＵＳ画像Ｐ１と略同一の観察位置及び観察方向で得られたＯＦＤＩ画像Ｐ２である。つまりステップＳ１１６で補正済みの、ＩＶＵＳ画像Ｐ１と対応関係にあるＯＦＤＩ画像Ｐ２である。処理部３１は、第１生成器８１から出力されたＩＶＵＳ画像Ｐ１を用いて、画像不良と判定されたＩＶＵＳ画像Ｐ１を補正する（ステップＳ１２１）。例えば、処理部３１は、図１３右図に示すように、画像不良と判定されたＩＶＵＳ画像Ｐ１を、生成したＩＶＵＳ画像Ｐ１に置換することによって補正する。なお、処理部３１は、画像不良と判定されたＩＶＵＳ画像Ｐ１と、生成したＩＶＵＳ画像Ｐ１とを合成する等、任意の公知の画像補正方法を用いて補正するように構成してもよい。なお、画像不良と判定された複数のＩＶＵＳ画像Ｐ１がある場合、処理部３１は、複数のＩＶＵＳ画像Ｐ１それぞれに対してステップＳ１２０及びステップＳ１２１の処理を実行し、ＩＶＵＳ画像Ｐ１を補正する。
　ステップＳ１２１の処理を終えた場合、又はステップＳ１１９において画像不良のＩＶＵＳ画像Ｐ１が無いと判定した場合（ステップＳ１１９：ＮＯ）、処理部３１は、ステップＳ１１８の検出結果に基づいて、ＯＦＤＩ画像Ｐ２の画像不良の有無を判定する（ステップＳ１２２）。なお、ステップＳ１２２の処理を実行する処理部３１は、取得したＯＦＤＩ画像Ｐ２の画像不良を判定する判定部として機能する。
　画像不良のＯＦＤＩ画像Ｐ２があると判定した場合（ステップＳ１２２：ＹＥＳ）、処理部３１は、画像不良と判定されたＯＦＤＩ画像Ｐ２に対応する正常なＩＶＵＳ画像Ｐ１を特定し、対応する正常なＩＶＵＳ画像Ｐ１を第２生成器８２に入力することによって、対応する正常なＯＦＤＩ画像Ｐ２を生成及び出力させる（ステップＳ１２３）。なお、画像不良と判定されたＯＦＤＩ画像Ｐ２に対応するＩＶＵＳ画像Ｐ１は、画像不良と判定されたＯＦＤＩ画像Ｐ２と略同一の観察位置及び観察方向で得られたＩＶＵＳ画像Ｐ１である。つまりステップＳ１１６で補正済みの、ＯＦＤＩ画像Ｐ２と対応関係にあるＩＶＵＳ画像Ｐ１である。処理部３１は、第２生成器８２から出力されたＯＦＤＩ画像Ｐ２を用いて、画像不良と判定されたＯＦＤＩ画像Ｐ２を補正する（ステップＳ１２４）。例えば、処理部３１は、図１３右図に示すように、画像不良と判定されたＯＦＤＩ画像Ｐ２を、生成したＯＦＤＩ画像Ｐ２に置換することによって補正する。なお、処理部３１は、画像不良と判定されたＯＦＤＩ画像Ｐ２と、生成したＯＦＤＩ画像Ｐ２とを合成する等、任意の公知の画像補正方法を用いて補正するように構成してもよい。なお、画像不良と判定された複数のＯＦＤＩ画像Ｐ２がある場合、処理部３１は、複数のＯＦＤＩ画像Ｐ２それぞれに対してステップＳ１２３及びステップＳ１２４の処理を実行し、ＯＦＤＩ画像Ｐ２を補正する。
　ステップＳ１２４の処理を終えた場合、又はステップＳ１２２において画像不良のＯＦＤＩ画像Ｐ２が無いと判定した場合（ステップＳ１２２：ＮＯ）、処理部３１は、医用画像信号を表示装置４へ出力し、画像不良が補正されたＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２を表示装置４に表示させる（ステップＳ１２５）。
　処理部３１は、補正されたＩＶＵＳ画像Ｐ１のフレームに第１枠画像Ｆ１を表示し（ステップＳ１２６）、補正されたＯＦＤＩ画像Ｐ２のフレームに第２枠画像Ｆ２を表示する（ステップＳ１２７）。第１枠画像Ｆ１及び第２枠画像Ｆ２は、異なる色、線種、太さ等を有するように構成してもよい。
　図１５は、ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２の第１の画面表示例である。処理部３１は、例えば血管の長軸に略垂直な横断面画像であるＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２と、血管の中心軸に略平行な縦断面画像とを上下に並べて表示する。図１５に示す例では、遠位側参照部（Ref.Distal）、近位側参照部（Ref.Proximal）及び病変部（ＭＬＡ：minimum lumen area）におけるＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２が表示されている。上記したように、補正されたＩＶＵＳ画像Ｐ１は第１枠画像Ｆ１で囲まれ、補正されたＯＦＤＩ画像Ｐ２は第２枠画像Ｆ２によって囲まれている。ユーザは、第１枠画像Ｆ１及び第２枠画像Ｆ２によって、表示されているＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２のうち、補正されているＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２を認識することができる。
　図１６は、ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２の第２の画面表示例である。処理部３１は、例えばＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２と、血管の中心軸に略平行な縦断面画像とを上下に並べて表示する。図１６に示す例では、処理部３１は、補正前の不良画像であるＩＶＵＳ画像Ｐ１と、補正されたＩＶＵＳ画像Ｐ１との双方を表示する。同様に、処理部３１は、補正前の不良画像であるＯＦＤＩ画像Ｐ２と、補正後されたＯＦＤＩ画像Ｐ２との双方を表示する。なお、処理部３１は、入力装置５にて表示切替操作を受け付けた場合、補正前の不良画像であるＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２と、補正後のＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２とを切り替えて表示するように構成してもよい。また、処理部３１は、入力装置５にて所定走査を受け付けた場合、例えば、補正後のＩＶＵＳ画像Ｐ１又はＯＦＤＩ画像Ｐ２がクリック操作された場合、補正前のＩＶＵＳ画像Ｐ１又はＯＦＤＩ画像Ｐ２を表示するように構成してもよい。
　以上の通り、本実施形態に係る画像処理装置３等によれば、ＩＶＵＳ機能及びＯＦＤＩ機能を備えるデュアルタイプのカテーテルを用いて得られたＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２の不良を補正することができる。
　また、複数のＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２が検出された場合であっても、これらの複数のＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２を補正することができる。
　画像不良のＩＶＵＳ画像Ｐ１に対応する正常なＯＦＤＩ画像Ｐ２があれば、第１生成器８１を用いて、ＩＶＵＳ画像Ｐ１を補正することができる。
　同様に、画像不良のＯＦＤＩ画像Ｐ２に対応する正常なＩＶＵＳ画像Ｐ１があれば、第２生成器８２を用いて、ＯＦＤＩ画像Ｐ２を補正することができる。
　ＩＶＵＳ機能及びＯＦＤＩ機能を備えるデュアルタイプのカテーテルを用いて得られたＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２の観察位置及び観察方向を整合させた上で、ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２を補正する構成であるため、より正確に画像不良のＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２を補正することができる。
　また、図１５に示すように、処理部３１は、補正されたＩＶＵＳ画像Ｐ１に第１枠画像Ｆ１を表示することによって、ユーザは、表示装置４に表示されているＩＶＵＳ画像Ｐ１が補正された画像であるか否かを認識できる。同様に、処理部３１は、補正されたＯＦＤＩ画像Ｐ２に第２枠画像Ｆ２を表示することによって、ユーザは、表示装置４に表示されているＯＦＤＩ画像Ｐ２が補正された画像であるか否かを認識できる。
　更に、図１６に示すように、処理部３１は、補正されたＩＶＵＳ画像Ｐ１と共に補正前のＩＶＵＳ画像Ｐ１を表示することができる。同様に、補正されたＯＦＤＩ画像Ｐ２と共に補正前のＯＦＤＩ画像Ｐ２を表示することができる。ユーザは、補正前後のＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２を用いて、より正確に血管の状態を認識することができる。
　なお、本実施形態では、学習モデルであるＩＶＵＳ不良検出学習モデル６１及びＯＦＤＩ不良検出学習モデル６２を用いて、ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２の画像不良を検出する例を説明したが、ルールベースの処理で画像不良を検出するように構成してもよい。例えば、処理部３１は、ＩＶＵＳ画像Ｐ１に含まれる典型的なパターン画像の有無、例えば二重リング画像の有無をパターンマッチング等の処理によって検出し、画像不良を検出するように構成してもよい。また、処理部３１は、ＯＦＤＩ画像Ｐ２の平均輝度値と、所定閾値とを比較することによって、ＯＦＤＩ画像Ｐ２の画像不良を検出するように構成してもよい。より具体的には、平均輝度値が所定閾値未満のＯＦＤＩ画像Ｐ２を不良画像として検出するとよい。
　また、本実施形態では、ＩＶＵＳ画像認識学習モデル７１及びＯＦＤＩ画像認識学習モデル７２を用いて、ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２における内腔画像を認識する例を説明したが、２値化、エッジ検出、パターンマッチング等の画像処理によって、内腔画像の輪郭を抽出するようにしてもよい。
　更に、ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２の観察位置及び観察方向の補正を行うことを説明したが、合わせて径方向のスケール補正を行ってもよい。
　更にまた、ＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２の対応付けをフレーム画像単位で行う例を説明したが、超音波ラインデータ及び光ラインデータベースで、観察位置及び観察方向を対応付ける補正を行い、各ラインデータの対応付けを行った後にＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２を構成するように構成してもよい。
　１　　　画像診断用カテーテル
　２　　　ＭＤＵ
　３　　　画像処理装置
　４　　　表示装置
　５　　　入力装置
　１１　プローブ
　１２　センサ部
　１２ａ　超音波送受信部
　１２ｂ　光送受信部
　１２ｃ　ハウジング
　１３　シャフト
　１４　ガイドワイヤ挿通部
　１５　コネクタ部
　３０　記録媒体
　３１　処理部
　３２　記憶部
　３３　超音波ラインデータ生成部
　３４　光ラインデータ生成部
　６１　ＩＶＵＳ不良検出学習モデル
　６２　ＯＦＤＩ不良検出学習モデル
　７１　ＩＶＵＳ画像認識学習モデル
　７２　ＯＦＤＩ画像認識学習モデル
　８１　第１生成器
　８２　第２生成器
　Ｐ１　ＩＶＵＳ画像
　Ｐ１’　オブジェクト抽出ＩＶＵＳ画像
　Ｐ２　ＯＦＤＩ画像
　Ｐ２’　オブジェクト抽出ＯＦＤＩ画像
　１００　画像診断装置
　１０１　血管内検査装置
　１０２　血管造影装置
 

Claims (8)

  1. 　超音波を送受信する超音波送受信部及び光を送受信する光送受信部を有するセンサ部を用いて管腔器官の超音波断層画像及び光干渉断層画像を同時的に取得し、
    　取得した前記超音波断層画像又は前記光干渉断層画像の画像不良を判定し、
    　前記光干渉断層画像（又は前記超音波断層画像）を入力した場合に、対応する超音波断層画像（又は光干渉断層画像）を出力するように学習済みの学習モデルに、画像不良と判定された前記超音波断層画像（又は前記光干渉断層画像）に対応する正常な前記光干渉断層画像（又は前記超音波断層画像）を入力することによって、対応する正常な前記超音波断層画像（又は前記光干渉断層画像）を出力させ、
    　前記学習モデルから出力された前記超音波断層画像（又は前記光干渉断層画像）を用いて、画像不良と判定された前記超音波断層画像（又は前記光干渉断層画像）を補正する
    　処理をコンピュータに実行させるためのコンピュータプログラム。
  2. 　前記センサ部を前記管腔器官の走行方向に沿って移動させながら複数の前記超音波断層画像及び複数の前記光干渉断層画像を取得し、
    　複数の前記超音波断層画像及び複数の前記光干渉断層画像それぞれの画像不良を判定し、不良と判定された前記超音波断層画像及び前記光干渉断層画像それぞれを補正する
    　請求項１に記載のコンピュータプログラム。
  3. 　前記学習モデルは、
    　前記光干渉断層画像を入力した場合に対応する前記超音波断層画像を出力するように学習済みの第１学習モデルと
    　前記超音波断層画像を入力した場合に対応する前記光干渉断層画像を出力するように学習済みの第２学習モデルと、
    　を含み、
    　前記第１学習モデルに、画像不良と判定された前記超音波断層画像に対応する前記光干渉断層画像を入力することによって、対応する正常な前記超音波断層画像を出力させると共に、前記第２学習モデルに、画像不良と判定された前記光干渉断層画像に対応する前記超音波断層画像を入力することによって、対応する正常な前記光干渉断層画像を出力させ、
    　前記第１学習モデル及び前記第２学習モデルから出力された前記超音波断層画像及び前記光干渉断層画像を用いて、画像不良と判定された前記超音波断層画像及び前記光干渉断層画像を補正する
    　請求項２に記載のコンピュータプログラム。
  4. 　複数の前記超音波断層画像に含まれる第１オブジェクト画像と、複数の前記光干渉断層画像に含まれる第２オブジェクト画像とを比較することによって、不良画像と判定された前記超音波断層画像（又は前記光干渉断層画像）と略同一の観察位置の断層像である前記光干渉断層画像（又は前記超音波断層画像）を特定し、
    　特定された前記光干渉断層画像（又は前記超音波断層画像）を前記学習モデルに入力することによって、前記超音波断層画像（又は前記光干渉断層画像）を出力させる
    　請求項１から請求項３のいずれか１項に記載のコンピュータプログラム。
  5. 　前記超音波断層画像又は前記光干渉断層画像の補正の有無を画像表示する
    　請求項１から請求項４のいずれか１項に記載のコンピュータプログラム。
  6. 　補正前の前記超音波断層画像又は前記光干渉断層画像と、補正後の前記超音波断層画像又は前記光干渉断層画像との双方を表示する
    　請求項１から請求項５のいずれか１項に記載のコンピュータプログラム。
  7. 　超音波を送受信する超音波送受信部及び光を送受信する光送受信部を有するセンサ部を用いて管腔器官の超音波断層画像及び光干渉断層画像を同時的に取得し、
    　取得した前記超音波断層画像又は前記光干渉断層画像の画像不良を判定し、
    　前記光干渉断層画像（又は前記超音波断層画像）を入力した場合に、対応する超音波断層画像（又は光干渉断層画像）を出力するように学習済みの学習モデルに、画像不良と判定された前記超音波断層画像（又は前記光干渉断層画像）に対応する正常な前記光干渉断層画像（又は前記超音波断層画像）を入力することによって、対応する正常な前記超音波断層画像（又は前記光干渉断層画像）を出力させ、
    　前記学習モデルから出力された前記超音波断層画像（又は前記光干渉断層画像）を用いて、画像不良と判定された前記超音波断層画像（又は前記光干渉断層画像）を補正する
    　画像処理方法。
  8. 　超音波を送受信する超音波送受信部及び光を送受信する光送受信部を有するセンサ部を用いて管腔器官の超音波断層画像及び光干渉断層画像を同時的に取得する取得部と、
    　前記取得部にて取得した前記超音波断層画像又は前記光干渉断層画像の画像不良を判定する判定部と、
    　前記光干渉断層画像（又は前記超音波断層画像）を入力した場合に、対応する超音波断層画像（又は光干渉断層画像）を出力するように学習済みの学習モデルと、
    　前記学習モデルに、画像不良と判定された前記超音波断層画像（又は前記光干渉断層画像）に対応する正常な前記光干渉断層画像（又は前記超音波断層画像）を入力することによって、対応する正常な前記超音波断層画像（又は前記光干渉断層画像）を出力させ、前記学習モデルから出力された前記超音波断層画像（又は前記光干渉断層画像）を用いて、画像不良と判定された前記超音波断層画像（又は前記光干渉断層画像）を補正する処理部と
    　を備える画像処理装置。
     
PCT/JP2023/000016 2022-01-06 2023-01-04 コンピュータプログラム、画像処理方法及び画像処理装置 WO2023132332A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023572474A JPWO2023132332A1 (ja) 2022-01-06 2023-01-04

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-001257 2022-01-06
JP2022001257 2022-01-06

Publications (1)

Publication Number Publication Date
WO2023132332A1 true WO2023132332A1 (ja) 2023-07-13

Family

ID=87073667

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/000016 WO2023132332A1 (ja) 2022-01-06 2023-01-04 コンピュータプログラム、画像処理方法及び画像処理装置

Country Status (2)

Country Link
JP (1) JPWO2023132332A1 (ja)
WO (1) WO2023132332A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014041579A1 (ja) * 2012-09-11 2014-03-20 テルモ株式会社 画像診断装置及び画像処理方法
JP2014180575A (ja) * 2013-03-15 2014-09-29 Lightlab Imaging Inc プローブ、システム及び画像を整合する方法（プローブ）
JP2015535723A (ja) * 2012-10-05 2015-12-17 ナサニエル ジェイ． ケンプ， パラメータ確立、再生、およびアーチファクト除去３次元撮像のための方法およびシステム
WO2021193008A1 (ja) * 2020-03-27 2021-09-30 テルモ株式会社 プログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2021193026A1 (ja) * 2020-03-27 2021-09-30 テルモ株式会社 プログラム、情報処理方法、情報処理装置及びモデル生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014041579A1 (ja) * 2012-09-11 2014-03-20 テルモ株式会社 画像診断装置及び画像処理方法
JP2015535723A (ja) * 2012-10-05 2015-12-17 ナサニエル ジェイ． ケンプ， パラメータ確立、再生、およびアーチファクト除去３次元撮像のための方法およびシステム
JP2014180575A (ja) * 2013-03-15 2014-09-29 Lightlab Imaging Inc プローブ、システム及び画像を整合する方法（プローブ）
WO2021193008A1 (ja) * 2020-03-27 2021-09-30 テルモ株式会社 プログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2021193026A1 (ja) * 2020-03-27 2021-09-30 テルモ株式会社 プログラム、情報処理方法、情報処理装置及びモデル生成方法

Also Published As

Publication number Publication date
JPWO2023132332A1 (ja) 2023-07-13

Similar Documents

Publication Publication Date Title
US20230230244A1 (en) Program, model generation method, information processing device, and information processing method
WO2021199968A1 (ja) コンピュータプログラム、情報処理方法、情報処理装置及びモデル生成方法
US20240013514A1 (en) Information processing device, information processing method, and program
US20240013385A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
JP2021041029A (ja) 診断支援装置、診断支援システム、及び診断支援方法
US20240013386A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
JP7489882B2 (ja) コンピュータプログラム、画像処理方法及び画像処理装置
US20240013434A1 (en) Program, information processing method, and information processing device
US20230222655A1 (en) Program, information processing device, and information processing method
WO2023132332A1 (ja) コンピュータプログラム、画像処理方法及び画像処理装置
US20230017227A1 (en) Program, information processing method, information processing apparatus, and model generation method
WO2023054467A1 (ja) モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置
JP2022146621A (ja) コンピュータプログラム、画質改善学習モデル、学習モデル生成方法、画像処理方法及び画像処理装置
WO2022209652A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
JP2024523449A (ja) 生体内ナビゲーションのための機械学習を利用するシステムおよび方法
WO2023189308A1 (ja) コンピュータプログラム、画像処理方法及び画像処理装置
WO2022202320A1 (ja) プログラム、情報処理方法及び情報処理装置
WO2022209705A1 (ja) プログラム、画像処理方法及び画像処理装置
JP7548852B2 (ja) コンピュータプログラム、画像処理方法及び画像処理装置
JP2022146619A (ja) コンピュータプログラム、画像処理方法及び画像処理装置
WO2024202465A1 (ja) プログラム、画像処理方法及び画像処理装置
US20240008849A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
JP2020092816A (ja) 医用画像処理装置、ｘ線ｃｔ装置及び医用画像処理方法
WO2024071322A1 (ja) 情報処理方法、学習モデルの生成方法、コンピュータプログラム及び情報処理装置
JP2024142137A (ja) プログラム、画像処理方法及び画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23737283

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023572474

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE