WO2023189308A1 - コンピュータプログラム、画像処理方法及び画像処理装置 - Google Patents

コンピュータプログラム、画像処理方法及び画像処理装置 Download PDF

Info

Publication number
WO2023189308A1
WO2023189308A1 PCT/JP2023/008701 JP2023008701W WO2023189308A1 WO 2023189308 A1 WO2023189308 A1 WO 2023189308A1 JP 2023008701 W JP2023008701 W JP 2023008701W WO 2023189308 A1 WO2023189308 A1 WO 2023189308A1
Authority
WO
WIPO (PCT)
Prior art keywords
treatment
image
tomographic
images
tomographic image
Prior art date
Application number
PCT/JP2023/008701
Other languages
English (en)
French (fr)
Inventor
雄紀 坂口
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Publication of WO2023189308A1 publication Critical patent/WO2023189308A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/01—Guiding arrangements therefore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters

Definitions

  • the present invention relates to a computer program, an image processing method, and an image processing device.
  • IVUS IntraVascular Ultra Sound
  • OFDI near-infrared optical coherence tomography
  • IVUS IntraVascular Ultra Sound
  • OFDI near-infrared optical coherence tomography
  • a computer program capable of displaying tomographic images of a hollow organ obtained before and after treatment of the hollow organ with the longitudinal position of the hollow organ aligned;
  • An object of the present invention is to provide an image processing method and an image processing device.
  • a computer program acquires a plurality of tomographic images of a hollow organ while moving a sensor unit for scanning the hollow organ along a running direction of the hollow organ, Select at least one tomographic image related to the target site where the treatment for the hollow organ is to be performed from among the plurality of tomographic images acquired before the treatment of the hollow organ, and select an image of the plurality of tomographic images acquired after the treatment.
  • a tomographic image after the treatment corresponding to the selected tomographic image before the treatment is identified, and based on the identification result of the tomographic image, the tomographic image acquired before the treatment and the tomographic image acquired after the treatment are identified.
  • the computer executes the process of displaying the images in association with each other.
  • An image processing method provides a plurality of tomographic images of a hollow organ obtained by moving a sensor unit for scanning the hollow organ along a running direction of the hollow organ. , select at least one tomographic image related to the target site where the treatment for the hollow organ is to be performed from among the plurality of tomographic images acquired before the treatment for the hollow organ, and select the plurality of tomographic images acquired after the treatment.
  • a post-treatment tomographic image corresponding to the selected tomographic image before treatment is identified through image recognition processing of the tomographic image, and based on the identification result of the tomographic image, a tomographic image acquired before the treatment is identified;
  • the tomographic images acquired after the treatment are displayed in association with each other.
  • An image processing device acquires a plurality of tomographic images of a hollow organ while moving a sensor unit for scanning the hollow organ along a running direction of the hollow organ. and a processing unit that executes a process of displaying the tomographic image acquired by the acquisition unit on a display device, and the processing unit is configured to select one of the plurality of tomographic images acquired before the treatment of the hollow organ.
  • At least one tomographic image related to the target site where the treatment for the hollow organ is to be performed is selected, and the one tomographic image before the selected treatment is processed by image recognition processing of the plurality of tomographic images acquired after the treatment.
  • the corresponding tomographic image after the treatment is identified, and the tomographic image acquired before the treatment and the tomographic image acquired after the treatment are displayed in association with each other based on the identification result of the tomographic image.
  • the longitudinal position of the hollow organ when displaying tomographic images of a hollow organ acquired before and after treatment of the hollow organ, the longitudinal position of the hollow organ can be aligned and displayed.
  • FIG. 2 is an explanatory diagram showing a configuration example of an image diagnostic apparatus. It is an explanatory view showing an example of composition of a catheter for image diagnosis.
  • FIG. 2 is an explanatory diagram schematically showing a cross section of a blood vessel through which a sensor section is inserted.
  • FIG. 2 is an explanatory diagram of a tomographic image.
  • FIG. 2 is an explanatory diagram of a tomographic image.
  • 1 is a block diagram showing a configuration example of an image processing device.
  • FIG. FIG. 2 is a block diagram showing a configuration example of an IVUS image recognition learning model.
  • FIG. 2 is a block diagram showing a configuration example of an IVUS image recognition learning model.
  • 3 is a flowchart showing an image processing procedure according to the first embodiment.
  • FIG. 3 is a flowchart showing an image processing procedure according to the first embodiment.
  • This is a display example of an IVUS image and a treatment plan screen before treatment.
  • This is a display example of IVUS images before and after treatment.
  • 7 is a flowchart showing an image processing procedure according to the second embodiment.
  • FIG. 7 is an explanatory diagram showing an image processing method according to the second embodiment.
  • FIG. 7 is an explanatory diagram showing an image processing method according to the second embodiment.
  • FIG. 7 is an explanatory diagram showing an image processing method according to the second embodiment.
  • 12 is a flowchart showing an image processing procedure according to the third embodiment.
  • 12 is a flowchart showing an image processing procedure according to the fourth embodiment.
  • , is an explanatory diagram showing a plurality of pre-treatment and post-treatment IVUS images P1 arranged in the longitudinal direction of a blood vessel.
  • 12 is a flowchart showing an image processing procedure according to the fifth embodiment.
  • cardiac catheterization which is endovascular treatment
  • luminal organs targeted for catheterization are not limited to blood vessels, and include other organs such as bile ducts, pancreatic ducts, bronchi, and intestines. It may also be a hollow organ.
  • present invention is not limited to these examples, but is indicated by the scope of the claims, and is intended to include all changes within the meaning and scope equivalent to the scope of the claims. At least some of the embodiments described below may be combined arbitrarily.
  • an image diagnostic apparatus using a dual-type catheter that has the functions of both intravascular ultrasound diagnosis (IVUS) and optical coherence tomography diagnosis (OFDI) will be described.
  • a dual-type catheter has a mode in which ultrasonic tomographic images are acquired only by IVUS, a mode in which optical coherence tomographic images are acquired only in OFDI, and a mode in which both tomographic images are acquired by IVUS and OFDI. , you can switch between these modes.
  • the ultrasound tomographic image and the optical coherence tomographic image will be referred to as an IVUS image and an OFDI image, respectively.
  • IVUS images and OFDI images are collectively referred to as tomographic images.
  • FIG. 1 is an explanatory diagram showing a configuration example of an image diagnostic apparatus 100.
  • the image diagnostic apparatus 100 of the first embodiment includes an intravascular examination apparatus 101, an angiography apparatus 102, an image processing apparatus 3, a display apparatus 4, and an input apparatus 5.
  • the intravascular examination apparatus 101 includes an image diagnosis catheter 1 and an MDU (Motor Drive Unit) 2.
  • the diagnostic imaging catheter 1 is connected to an image processing device 3 via an MDU 2.
  • a display device 4 and an input device 5 are connected to the image processing device 3.
  • the display device 4 is, for example, a liquid crystal display or an organic EL display
  • the input device 5 is, for example, a keyboard, a mouse, a trackball, a microphone, or the like.
  • the display device 4 and the input device 5 may be integrally stacked to form a touch panel. Furthermore, the input device 5 and the image processing device 3 may be configured as one unit. Furthermore, the input device 5 may be a sensor that accepts gesture input, gaze input, or the like.
  • the angiography device 102 is connected to the image processing device 3.
  • the angiography apparatus 102 is an angiography apparatus that images the blood vessel using X-rays from outside the patient's body while injecting a contrast medium into the patient's blood vessel, and obtains an angiography image that is a transparent image of the blood vessel.
  • the angiography apparatus 102 includes an X-ray source and an X-ray sensor, and the X-ray sensor receives X-rays emitted from the X-ray source to image a patient's X-ray fluoroscopic image.
  • the angiography apparatus 102 outputs the obtained angiography image to the image processing apparatus 3 and displays it on the display apparatus 4 via the image processing apparatus 3.
  • FIG. 2 is an explanatory diagram showing an example of the configuration of the diagnostic imaging catheter 1. Note that the area surrounded by the upper dashed line in FIG. 2 is an enlarged area of the area surrounded by the lower dashed line.
  • the diagnostic imaging catheter 1 includes a probe 11 and a connector section 15 disposed at an end of the probe 11.
  • the probe 11 is connected to the MDU 2 via the connector section 15.
  • the side of the diagnostic imaging catheter 1 far from the connector portion 15 will be referred to as the distal end side, and the side of the connector portion 15 will be referred to as the proximal end side.
  • the probe 11 includes a catheter sheath 11a, and a guide wire insertion portion 14 through which a guide wire can be inserted is provided at the distal end thereof.
  • the guide wire insertion section 14 constitutes a guide wire lumen, and is used to receive a guide wire that has been inserted into a blood vessel in advance, and to guide the probe 11 to the affected area using the guide wire.
  • the catheter sheath 11a forms a continuous tube section extending from the guide wire insertion section 14 to the connector section 15.
  • a shaft 13 is inserted into the interior of the catheter sheath 11a, and a sensor section 12 is connected to the distal end side of the shaft 13.
  • the sensor section 12 has a housing 12c, and the distal end side of the housing 12c is formed into a hemispherical shape to suppress friction and catch with the inner surface of the catheter sheath 11a.
  • Inside the housing 12c there is an ultrasonic transmitting/receiving unit 12a that transmits ultrasonic waves into the blood vessel and receives reflected waves from within the blood vessel, and an ultrasonic transmitting/receiving unit 12a that transmits near-infrared light into the blood vessel and receives reflected light from within the blood vessel.
  • An optical transmitting/receiving section 12b is arranged. In the example shown in FIG.
  • an ultrasonic transmitter/receiver 12a is provided on the distal end side of the probe 11, and an optical transmitter/receiver 12b is provided on the proximal end side. That is, the ultrasonic transmitter/receiver 12a and the optical transmitter/receiver 12b are arranged in the housing 12c at a predetermined length apart along the axial direction on the central axis of the shaft 13 (on the chain double-dashed line in FIG. 2). .
  • the ultrasonic transmitting/receiving section 12a and the optical transmitting/receiving section 12b are arranged so that the direction of transmitting and receiving the ultrasonic waves and near-infrared light is approximately 90 degrees with respect to the axial direction of the shaft 13 (radial direction of the shaft 13). has been done. Note that it is desirable that the ultrasonic transmitter/receiver 12a and the optical transmitter/receiver 12b be installed slightly offset from the radial direction so as not to receive reflected waves and reflected light on the inner surface of the catheter sheath 11a. In the first embodiment, for example, as shown by arrows in FIG.
  • the ultrasonic transmitter/receiver 12a emits ultrasound in a direction inclined toward the proximal end with respect to the radial direction
  • the optical transmitter/receiver 12b The near-infrared light is irradiated in a direction that is inclined toward the tip side with respect to the direction.
  • An electrical signal cable (not shown) connected to the ultrasonic transmitting/receiving section 12a and an optical fiber cable (not shown) connected to the optical transmitting/receiving section 12b are inserted into the shaft 13.
  • the probe 11 is inserted into the blood vessel from the distal end side.
  • the sensor section 12 and the shaft 13 can move forward and backward inside the catheter sheath 11a, and can also rotate in the circumferential direction.
  • the sensor unit 12 and the shaft 13 rotate about the central axis of the shaft 13 as a rotation axis.
  • the connector part 15 of the diagnostic imaging catheter 1 is detachably attached to the MDU 2, and the MDU 2 drives a built-in motor according to the operation of the user (medical staff) to control the operation of the diagnostic imaging catheter 1 inserted into the blood vessel. It is a driving device to control.
  • the MDU 2 performs a pullback operation in which the sensor section 12 and shaft 13 inserted into the probe 11 are pulled toward the MDU 2 at a constant speed and rotated in the circumferential direction.
  • the sensor section 12 scans the inside of the blood vessel continuously at predetermined time intervals while rotating while moving from the distal end side to the proximal end side by a pullback operation, thereby generating a plurality of transverse layer images approximately perpendicular to the probe 11. are taken continuously at predetermined intervals.
  • the MDU 2 outputs the reflected ultrasound signal received by the ultrasound transmitter/receiver 12 a and the reflected light signal received by the optical transmitter/receiver 12 b to the image processing device 3 .
  • the image processing device 3 acquires the reflected wave signal of the ultrasound output from the ultrasound transmitting/receiving unit 12a via the MDU 2 as reflected wave data, and generates ultrasound line data based on the acquired reflected wave data.
  • the ultrasound line data is data indicating the reflected intensity of ultrasound in the depth direction of the blood vessel as seen from the ultrasound transmitter/receiver 12a.
  • the image processing device 3 constructs an IVUS image P1 (see FIGS. 4A and 4B) representing a cross-section of a blood vessel based on the generated ultrasound line data.
  • the image processing device 3 acquires interference light data by causing the reflected light signal output from the optical transmitter/receiver 12b via the MDU 2 to interfere with the reference light obtained by separating the light from the light source. Then, optical line data is generated based on the acquired interference light data.
  • the optical line data is data indicating the reflection intensity of reflected light in the depth direction of the blood vessel as seen from the optical transmitter/receiver 12b.
  • the image processing device 3 constructs an OFDI image P2 (see FIGS. 4A and 4B) representing a cross-sectional layer of a blood vessel based on the generated optical line data.
  • the ultrasound line data and optical line data obtained by the ultrasound transmitting/receiving unit 12a and the optical transmitting/receiving unit 12b, and the IVUS image P1 and OFDI image P2 constructed from the ultrasound line data and optical line data will be described.
  • FIG. 3 is an explanatory diagram schematically showing a cross section of a blood vessel through which the sensor section 12 is inserted
  • FIGS. 4A and 4B are explanatory diagrams of tomographic images.
  • the sensor section 12 When capturing a tomographic image is started with the sensor section 12 and shaft 13 inserted into the blood vessel, the sensor section 12 rotates about the central axis of the shaft 13 in the direction shown by the arrow. At this time, the ultrasonic transmitter/receiver 12a transmits and receives ultrasonic waves at each rotation angle. Lines 1, 2, . . . 512 indicate the transmission and reception directions of ultrasonic waves at each rotation angle. In the first embodiment, the ultrasound transmitting/receiving unit 12a intermittently transmits and receives ultrasound 512 times while rotating 360 degrees (one rotation) within the blood vessel.
  • the ultrasonic transmitter/receiver 12a acquires one line of data in the transmitting/receiving direction by transmitting and receiving ultrasonic waves one time, so it obtains data on 512 ultrasonic lines extending radially from the rotation center during one rotation. be able to.
  • the 512 ultrasonic line data are dense near the rotation center, but become sparse as they move away from the rotation center. Therefore, the image processing device 3 can construct a two-dimensional IVUS image P1 as shown in FIG. 4A by generating pixels in the empty space of each line using well-known interpolation processing.
  • the optical transmitter/receiver 12b also transmits and receives near-infrared light (measurement light) at each rotation angle. Since the optical transmitter/receiver 12b also transmits and receives measurement light 512 times while rotating 360 degrees within the blood vessel, it is possible to obtain data on 512 optical lines extending radially from the center of rotation during one rotation. I can do it.
  • the image processing device 3 can construct the two-dimensional OFDI image P2 shown in FIG. 4A by generating pixels in the empty space of each line using well-known interpolation processing.
  • a two-dimensional tomographic image constructed from a plurality of ultrasound line data in this way is called one frame of IVUS image P1.
  • a two-dimensional tomographic image constructed from data of a plurality of optical lines is referred to as one frame OFDI image P2. Since the sensor unit 12 scans while moving within the blood vessel, one frame of IVUS image P1 or OFDI image P2 is acquired at each position rotated once within the movement range. That is, since one frame of IVUS image P1 or OFDI image P2 is acquired at each position from the distal end to the proximal end of the probe 11 within the moving range, multiple frames of IVUS images within the moving range are obtained. Image P1 or OFDI image P2 is acquired.
  • the number of times of transmission and reception of ultrasonic waves and light in one rotation is an example, and the number of times of transmission and reception is not limited to 512 times. Furthermore, the number of times ultrasonic waves are transmitted and received and the number of times that light is transmitted and received may be the same or different.
  • FIG. 5 is a block diagram showing an example of the configuration of the image processing device 3.
  • the image processing device 3 is a computer and includes a processing section 31, a storage section 32, an ultrasound line data generation section 33, an optical line data generation section 34, an input/output I/F 35, and a reading section 36.
  • the processing unit 31 includes one or more CPUs (Central Processing Unit), MPU (Micro-Processing Unit), GPU (Graphics Processing Unit), GPGPU (General-purpose computing on graphics processing units), TPU (Tensor Processing Unit), etc. It is constructed using arithmetic processing units.
  • the processing section 31 is connected to each hardware section making up the image processing device 3 via a bus.
  • the storage section 32 includes, for example, a main storage section and an auxiliary storage section.
  • the main storage unit is a temporary storage area such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the processing unit 31 to perform arithmetic processing. do.
  • the auxiliary storage unit is a storage device such as a hard disk, an EEPROM (Electrically Erasable Programmable ROM), or a flash memory.
  • the auxiliary storage unit stores a computer program (program product) P executed by the processing unit 31, an IVUS image recognition learning model 61, an OFDI image recognition learning model 62, and various data necessary for other processing.
  • the storage unit 32 functions as a tomographic image DB 63.
  • the tomographic image DB 63 stores ID (identification information), imaging date and time, imaged blood vessel name, lesion name, and treatment-related information in association with the plurality of IVUS images P1 acquired by the image processing device 3. Further, the tomographic image DB 63 stores ID (identification information), imaging date and time, imaged blood vessel name, lesion name, and treatment-related information in association with the plurality of OFDI images P2 acquired by the image processing device 3.
  • the treatment-related information is information indicating the type of treatment for a blood vessel, such as stent placement, balloon expansion, and expansion of an placed stent, and information related to the treatment.
  • the treatment-related information is information that serves as a clue for identifying a predetermined pre-treatment tomographic image as a tomographic image related to a post-treatment tomographic image among the plurality of IVUS images P1 acquired at different timings.
  • the content of the treatment-related information is not particularly limited as long as it is possible to identify a post-treatment tomographic image that corresponds to a prescribed pre-treatment tomographic image.
  • the auxiliary storage unit may be an external storage device connected to the image processing device 3.
  • the computer program P may be written into the auxiliary storage unit at the manufacturing stage of the image processing device 3, or the image processing device 3 may obtain the program distributed by a remote server device through communication and store it in the auxiliary storage unit. It's okay.
  • the computer program P may be readably recorded on a recording medium 30 such as a magnetic disk, an optical disk, or a semiconductor memory, or the reading section 36 may read it from the recording medium 30 and store it in an auxiliary storage section. .
  • the ultrasound line data generation unit 33 acquires the reflected wave signal of the ultrasound output from the ultrasound transmitting/receiving unit 12a of the intravascular examination apparatus 101 as reflected wave data, and generates ultrasound line data based on the acquired reflected wave data. generate.
  • the optical line data generation unit 34 generates interference light data by interfering the reflected light signal output from the optical transmitting/receiving unit 12b of the intravascular inspection device 101 with the reference light obtained by separating the light from the light source. and generate optical line data based on the acquired interference light data.
  • the input/output I/F 35 is an interface to which the intravascular examination device 101, the angiography device 102, the display device 4, and the input device 5 are connected.
  • the processing unit 31 acquires an angio image from the angiography apparatus 102 via the input/output I/F 35. Furthermore, the processing unit 31 displays the medical image on the display device 4 by outputting the medical image signal of the IVUS image P1, OFDI image P2, or angio image to the display device 4 via the input/output I/F 35. . Further, the processing unit 31 receives information input to the input device 5 via the input/output I/F 35.
  • the image processing device 3 may be a multicomputer including multiple computers. Further, the image processing device 3 may be a server client system, a cloud server, or a virtual machine virtually constructed using software. In the following description, it is assumed that the image processing device 3 is one computer.
  • the processing unit 31 of the image processing device 3 generates ultrasound line data in the ultrasound line data generation unit 33 by reading and executing the computer program P stored in the storage unit 32, and generates the generated ultrasound line data. A process for constructing an IVUS image P1 is executed based on the data. Further, the processing unit 31 generates optical line data in the optical line data generation unit 34 by reading out and executing the computer program P stored in the storage unit 32, and generates an OFDI image based on the generated optical line data. Execute processing to construct P2.
  • the processing unit 31 of the image processing device 3 reads out and executes the computer program P stored in the storage unit 32, thereby processing a plurality of IVUS images acquired before a predetermined treatment such as stent placement in a blood vessel.
  • a process of aligning P1 and a plurality of IVUS images P1 acquired after the treatment in the longitudinal direction and displaying them is executed (see FIG. 10).
  • the user can confirm the condition of the blood vessel and the treatment effect by comparing the pre-treatment and post-treatment IVUS images P1 displayed with their longitudinal positions aligned.
  • the IVUS image recognition learning model 61 is a model that recognizes a predetermined object image included in the IVUS image P1.
  • the IVUS image recognition learning model 61 can classify objects into classes on a pixel basis by using image recognition technology using semantic segmentation, and can recognize various objects included in the IVUS image P1. can do.
  • the IVUS image recognition learning model 61 recognizes the lumen image in the IVUS image P1, as shown in FIGS. 6A and 6B.
  • the IVUS image recognition learning model 61 recognizes stent images, plaque images, blood vessel wall images, etc., as shown in FIG. 6A, for example.
  • the blood vessel wall is the tunica media, more specifically the external elastic membrane (EEM).
  • EEM external elastic membrane
  • the plaque image shown in FIG. 6 is an example of an object image, and the IVUS image recognition learning model 61 may be configured to recognize side branches, epicardium, veins, and the like.
  • the IVUS image recognition learning model 61 is, for example, a convolutional neural network (CNN) trained by deep learning.
  • the IVUS image recognition learning model 61 includes an input layer 61a into which the IVUS image P1 is input, an intermediate layer 61b that extracts and restores the feature amount of the IVUS image P1, and an object that indicates object images included in the IVUS image P1 in pixel units. It has an output layer 61c that outputs the extracted IVUS image P1'.
  • the IVUS image recognition learning model 61 is, for example, U-Net, FCN (Fully Convolution Network), SegNet, or the like.
  • the input layer 61a of the IVUS image recognition learning model 61 has a plurality of neurons that accept the input of the pixel value of each pixel constituting the IVUS image P1, that is, the IVUS image P1, and the input pixel value is received in the intermediate layer 61b. hand over.
  • the intermediate layer 61b includes a plurality of convolution layers (CONV layers) and a plurality of deconvolution layers (DECONV layers).
  • CONV layers convolution layers
  • DECONV layers deconvolution layers
  • the convolution layer is a layer that compresses the dimensions of the IVUS image P1.
  • the feature amount of the object image is extracted by dimensional compression.
  • the deconvolution layer performs deconvolution processing to restore the original dimensions.
  • the restoration process in the deconvolution layer generates an object extracted IVUS image P1' in which each pixel has a pixel value (class data) corresponding to the class of the object.
  • the output layer 61c has a plurality of neurons that output the object extracted IVUS image P1'.
  • the object extraction IVUS image P1' is divided into classes according to the object type, such as a lumen image, a stent image, a blood vessel wall image, a plaque image, a side branch, an epicardium, or a vein. It is a color-coded image.
  • the IVUS image recognition learning model 61 includes an IVUS image P1 obtained by the ultrasound transmitting/receiving unit 12a and an object extraction IVUS in which each pixel of the IVUS image P1 is annotated with class data according to the type of the corresponding object. It can be generated by preparing training data having the image P1' and subjecting an untrained neural network to machine learning using the training data. Specifically, the IVUS image P1 of the training data is adjusted so that the difference between the object extraction IVUS image P1' that is output when the training data IVUS image P1 is input to an untrained neural network and the image annotated as the training data is small.
  • the parameter is, for example, a weight (coupling coefficient) between nodes.
  • the method for optimizing parameters is not particularly limited, for example, the processing unit 31 optimizes various parameters using a steepest descent method or the like.
  • the IVUS image recognition learning model 61 trained in this way, by inputting the IVUS image P1 obtained by imaging a blood vessel in which a stent is placed into the IVUS image recognition learning model 61 as shown in FIG. An object extracted IVUS image P1' is obtained in which each part is classified in pixel units according to the object type, such as a blood vessel lumen image, a blood vessel wall image, a plaque image, or a stent.
  • the IVUS image P1 obtained by imaging a blood vessel without a stent to the IVUS image recognition learning model 61, images such as a blood vessel lumen image, a blood vessel wall image, a plaque image, etc.
  • An object extracted IVUS image P1' is obtained in which each part is classified in pixel units according to the type of object.
  • the OFDI image recognition learning model 62 has the same configuration as the IVUS image recognition learning model 61, and recognizes the lumen image and other object images in the OFDI image P2.
  • objects are extracted in which each part is classified into classes on a pixel basis according to the object type, such as a blood vessel lumen image, stent image, blood vessel wall image, plaque image, etc. An OFDI image is obtained.
  • ⁇ Image processing procedure> 7 and 8 are flowcharts showing the image processing procedure according to the first embodiment. Below, the image processing procedure for the IVUS image P1 will be mainly described.
  • the processing unit 31 of the image processing device 3 uses the ultrasound line data generation unit 33 to acquire a plurality of IVUS images P1 before treatment such as stent placement (step S111). Specifically, the ultrasound line data generation unit 33 of the image processing device 3 generates a plurality of ultrasound line data based on the reflected wave data output from the ultrasound transmission/reception unit 12a. Line numbers are assigned to the plurality of ultrasound line data, for example, in chronological order of observation time. Line numbers correspond to observation time points. In other words, the line number corresponds to the observation position and observation direction. The processing unit 31 constructs a plurality of frames of IVUS images P1 based on the ultrasound line data. The multiple frames of IVUS images P1 are assigned frame numbers, for example, in chronological order of observation time.
  • the frame number corresponds to the observation position.
  • the multiple frames of IVUS images P1 correspond to images obtained by observing blood vessels at multiple observation positions ranging from the distal end to the proximal end of the probe 11.
  • the processing unit 31 that executes the process in step S111 functions as an acquisition unit that acquires a plurality of IVUS images P1 of the blood vessel while moving the sensor unit 12 along the running direction of the blood vessel.
  • the processing unit 31 stores the plurality of IVUS images P1 acquired before the treatment on the blood vessel in the storage unit 32 in association with the ID, imaging date and time, blood vessel name, lesion name, and treatment-related information (step S112).
  • the processing unit 31 creates treatment plan information for stent placement and stores it in the storage unit 32 (step S113).
  • FIG. 9 is a display example of the IVUS image P1 before treatment and the treatment plan screen.
  • the processing unit 31 Based on the plurality of IVUS images P1 acquired before the treatment, the processing unit 31 generates, for example, an IVUS image P1 which is a cross-sectional image substantially perpendicular to the long axis of the blood vessel, and a longitudinal cross-sectional image substantially parallel to the central axis of the blood vessel. Display them vertically.
  • IVUS images P1 at a distal reference area (Ref.Distal), a proximal reference area (Ref.Proximal), and a minimum lumen area (MLA) are displayed.
  • the user uses the vertical cross-sectional image and the cross-sectional image (IVUS image P1) of the blood vessel displayed on the display device 4 to confirm the narrowest part, and plans the size, position, etc. of the stent to be placed.
  • the user specifies the stent placement position and size using the input device 5, and the image processing device 3 receives various specifying operations using the input device 5, and creates treatment plan information including the stent placement position and size. , is stored in the storage unit 32.
  • the white arrows shown in FIG. 9 indicate treatment plan information, and the treatment plan information includes, for example, information indicating frames of the IVUS image P1 corresponding to both ends and the center position in the longitudinal direction of the stent to be placed.
  • the processing unit 31 uses the ultrasound line data generation unit 33 to acquire a plurality of post-treatment IVUS images P1 (step S114).
  • the processing unit 31 that executes the process in step S114 functions as an acquisition unit that acquires a plurality of IVUS images P1 of the blood vessel while moving the sensor unit 12 along the running direction of the blood vessel.
  • the processing unit 31 stores the plurality of IVUS images P1 acquired after the treatment on the blood vessel in the storage unit 32 in association with the ID, imaging date and time, blood vessel name, lesion name, and treatment-related information (step S115).
  • the processing unit 31 reads out the pre-treatment IVUS image P1 to be compared (step S116).
  • the user can select the pre-treatment IVUS image P1 to be compared using the input device 5, and the processing unit 31 reads the selected IVUS image P1 as the pre-treatment IVUS image P1 to be compared.
  • the processing unit 31 reads treatment plan information associated with the pre-treatment IVUS image P1 from the storage unit 32 (step S117). Based on the read treatment plan information, the processing unit 31 identifies a representative frame image of the pre-treatment IVUS image P1 related to the stent placement position (step S118). Specifically, the processing unit 31 identifies frame images of the IVUS image P1 corresponding to the positions of both ends and the center of the stent to be placed.
  • the frame number of the IVUS image P1 of the stent end on the distal side of the blood vessel is n
  • the frame number of the IVUS image P1 of the stent end on the proximal side of the blood vessel is (n+ns)
  • the frame number of the IVUS image P1 of the stent end on the proximal side of the blood vessel is (n+ns).
  • the processing unit 31 performs image recognition processing on the IVUS image P1 by inputting the plurality of IVUS images P1 acquired after the treatment to the IVUS image recognition learning model 61, and recognizes the stent image (step S119).
  • the processing unit 31 can recognize the plurality of post-treatment IVUS images P1 by distinguishing them into frame images that include a stent image and frame images that do not include an obtained stent image.
  • the processing unit 31 identifies a representative frame of the post-treatment IVUS image P1 related to the stent placement position (step S120). Specifically, the processing unit 31 identifies frame images of the IVUS image P1 corresponding to the positions of both ends and the center of the stent to be placed. Frame images including stent images are continuous. For example, if a stent image is included in the frame images from frame number N to frame number N+Ns, the IVUS image P1 with frame number N, the IVUS image P1 with frame number (N+Ns), and the frame number (N+Ns/ 2) IVUS image P1 is identified as the representative frame image.
  • the IVUS image P1 with frame number N is a frame image of the stent end on the distal side of the blood vessel
  • the IVUS image P1 with frame number (N+Ns) is a frame image of the stent end on the proximal side of the blood vessel.
  • the processing unit 31 associates the plurality of pre-treatment and post-treatment IVUS images P1, respectively, based on the specified pre-treatment representative frame image and post-treatment representative frame image (step S121). Specifically, the IVUS image P1 of frame number n, which corresponds to one end of the stent before treatment, is associated with the IVUS image P1 of frame number N, after treatment. Similarly, the IVUS image P1 with frame number ns, which corresponds to the other end of the stent before treatment, and the IVUS image P1 after treatment with frame number Ns are associated. Furthermore, the IVUS image P1 of frame number (n+ns/2) corresponding to the central part of the stent before treatment is associated with the IVUS image P1 of frame number (N+Ns/2) after treatment.
  • the IVUS image P1 before the treatment and the longitudinal scale of the IVUS image P1 acquired after the treatment do not completely match, the IVUS image P1 before the treatment or after the treatment
  • the pre-treatment representative frame image and the post-treatment representative frame image may be associated with each other by interpolating or thinning out as necessary.
  • the processing unit 31 displays the pre-treatment and post-treatment IVUS longitudinal cross-sectional images while aligning the longitudinal positions (step S122).
  • FIG. 10 is a display example of the IVUS images P1 and the like before and after the treatment.
  • the processing unit 31 displays a vertical cross-sectional image of a blood vessel before treatment and a vertical cross-sectional image of a blood vessel after treatment vertically side by side. Specifically, the processing unit 31 generates a first vertical cross-sectional image substantially parallel to the central axis of the blood vessel, based on the plurality of IVUS images P1 acquired before the treatment, and displays it on the display device 4. Similarly, the processing unit 31 generates a second longitudinal section image substantially parallel to the central axis of the blood vessel based on the plurality of IVUS images P1 acquired after the treatment, and displays it on the display device 4. In the example shown in FIG.
  • the processing unit 31 displays the first longitudinal tomographic image before the treatment on the upper side and the second longitudinal tomographic image after the treatment on the lower side.
  • the display of the distal reference area (Ref. Distal), the proximal reference area (Ref. Proximal), and the minimum lumen area (MLA) is the same as in FIG. 9 .
  • the processing unit 31 sets and displays the section designation bar B in the distal frame where the pre-treatment and post-treatment IVUS images P1 are located (step S123).
  • the section designation bar B is a line image that specifies an arbitrary IVUS image P1 in the pre-treatment IVUS longitudinal section image and an IVUS image P1 corresponding to that one IVUS image P1 in the post-treatment IVUS longitudinal section image.
  • the section designation bar B is a thick line image that vertically passes through the IVUS longitudinal tomographic image before the treatment and the IVUS longitudinal tomographic image after the treatment.
  • the processing unit 31 displays a section designation bar B in the peripheral frame (the leftmost frame image in FIG. 10) in which both the pre-treatment and post-treatment IVUS images P1 are present.
  • step S124 determines whether a change in the position of the cross-section designation bar B has been accepted. If it is determined that the position change has been accepted (step S124: YES), the processing unit 31 changes the position of the section designation bar B and displays it (step S125).
  • step S125 When the process of step S125 is finished or when it is determined that the change of the cross-section designation bar B is not accepted (step S124: NO), the processing unit 31 performs the processing before and after the treatment corresponding to the position of the cross-section designation bar B.
  • the IVUS image P1 cross-sectional image
  • step S126 The IVUS image P1 (cross-sectional image) is displayed (step S126).
  • the pre-treatment and post-treatment IVUS images P1 displayed by the above processing correspond in longitudinal position, but do not necessarily match in circumferential direction.
  • the user can rotate the IVUS image P1 by operating the input device 5, and the processing unit 31 accepts circumferential position correction in the IVUS image P1 (step S127). Then, the processing unit 31 rotates the IVUS image P1 and corrects its circumferential orientation based on the content of the received position correction, that is, the angle information for rotating the IVUS image P1 (step S128).
  • the processing unit 31 displays an automatic playback button, and the user can operate the automatic playback button by operating the input device 5.
  • the processing unit 31 determines whether an automatic playback instruction has been received (step S129). If it is determined that the automatic playback instruction has not been received (step S129: NO), the processing unit 31 returns the process to step S123.
  • step S129 If it is determined that the automatic reproduction instruction has been received (step S129: YES), the processing unit 31 converts the distal side IVUS image P1 to the proximal side IVUS image P1 for each of the plurality of pre-treatment and post-treatment IVUS images P1.
  • An automatic playback display is executed to sequentially display up to (step S130), and the process returns to step S123.
  • the image processing device 3 and the like when displaying the IVUS images P1 of the blood vessel acquired before and after the treatment on the blood vessel, the longitudinal position of the blood vessel is aligned and the images before and after the treatment are displayed. IVUS images P1 can be displayed in association with each other.
  • the IVUS images P1 of the ends and the center of the stent to be placed and the IVUS images of the ends and the center of the stent identified by image recognition of the IVUS image P1 after the treatment.
  • the image P1 By associating the image P1 with the image P1, it is possible to associate the plurality of IVUS images P1 acquired before and after the treatment.
  • the pre-treatment and post-treatment IVUS images P1 After matching the observation positions of the pre-treatment and post-treatment IVUS images P1 in the long axis direction, it becomes possible to compare the pre-treatment and post-treatment IVUS images P1 and extract the difference. For example, when a calcified lesion is scraped off, the three-dimensional volume scraped off can be calculated using a comparison image of the IVUS image P1.
  • Embodiment 1 an example was explained in which the pre-treatment and post-treatment IVUS images P1 are displayed by aligning the longitudinal positions of the blood vessels, but the OFDI image P2 is also aligned in the longitudinal direction of the blood vessels by the same process. It may be configured to display the OFDI images P2 before and after the treatment while aligning the positions.
  • the IVUS image recognition learning model 61 that can recognize a stent image by classifying the IVUS image P1 pixel by pixel using semantic segmentation has been described.
  • the image processing device 3 may be configured using a learning model that determines the presence or absence of a stent.
  • the image diagnostic apparatus 100 according to the second embodiment is implemented in that the pre-treatment and post-treatment IVUS images P1 are displayed in association with each other by aligning the longitudinal position of the blood vessel based on the feature amount on the outside of the balloon expansion site.
  • Different from form 1 The rest of the configuration of the image processing device 3 is the same as that of the image processing device 3 according to the first embodiment, so similar parts are given the same reference numerals and detailed explanations are omitted.
  • FIG. 11 is a flowchart showing an image processing procedure according to the second embodiment
  • FIGS. 12A, 2B, and 12C are explanatory diagrams showing the image processing method according to the second embodiment.
  • the processing unit 31 of the image processing device 3 acquires a plurality of IVUS images P1 (step S211) and stores them in the storage unit 32 (step S212), as in the first embodiment.
  • the user uses the vertical cross-sectional image and the cross-sectional image (IVUS image P1) of the blood vessel displayed on the display device 4 to confirm the narrowest part and plan the position for balloon expansion.
  • the user specifies the target region for balloon expansion using the input device 5, and the image processing device 3 receives various designation operations using the input device 5, and as shown in FIG. 12A, the target region for balloon expansion (planned expansion range) ) etc. is created and stored in the storage unit 32 (step S213).
  • the processing unit 31 uses the ultrasound line data generation unit 33 to acquire a plurality of post-treatment IVUS images P1 (step S214), and stores them in the storage unit 32 (step S215).
  • the processing unit 31 reads out the pre-treatment IVUS image P1 to be compared (step S216). Furthermore, treatment plan information associated with the pre-treatment IVUS image P1 is read from the storage unit 32 (step S217).
  • the processing unit 31 performs image recognition processing on the IVUS image P1 by inputting the plurality of IVUS images P1 acquired before and after the treatment to the IVUS image recognition learning model 61, and recognizes the lumen image or the external elastic membrane. (Step S218).
  • the processing unit 31 calculates the lumen diameter or blood vessel diameter outside the target area before the treatment where balloon expansion is to be performed, based on the image recognition result in step S218 and the treatment plan information (step S219). . Specifically, as shown in FIG. 12B, the processing unit 31 can calculate the lumen diameter based on the lumen image obtained by image recognition of the IVUS image P1 outside the target region. Furthermore, the processing unit 31 can calculate the blood vessel diameter based on the external elastic membrane image obtained by image recognition of the IVUS image P1 outside the target region.
  • the processing unit 31 calculates the lumen diameter or blood vessel diameter outside the target region after the balloon expansion procedure (step S220). Since the longitudinal positions of the IVUS image P1 acquired before the treatment and the IVUS image P1 acquired after the treatment roughly correspond, the processing unit 31, as shown in FIG. 12C, based on the treatment plan information, It is possible to specify the IVUS image P1 of the outside of the target region where balloon expansion has been performed, and calculate the lumen diameter based on the lumen image obtained by image recognition of the IVUS image P1. A similar processing unit 31 can calculate the blood vessel diameter. Note that the processing unit 31 may be configured to calculate the lumen diameter or blood vessel diameter for each of the plurality of IVUS images P1 after treatment.
  • the processing unit 31 associates the pre-treatment and post-treatment IVUS images P1 so that the lumen diameter or blood vessel diameter outside the expansion range matches (step S221). Since the lumen diameter or blood vessel diameter does not necessarily match completely before and after the treatment due to the influence of pulsation, etc., the processing unit 31 adjusts the diameter so that the lumen diameter or blood vessel diameter outside the expansion range approximately matches. A process of associating the pre-treatment and post-treatment IVUS images P1 (so that they substantially match) is executed.
  • the processing unit 31 calculates the difference between the lumen diameter or vascular diameter based on the pre-treatment IVUS image P1 and the lumen diameter or vascular diameter based on the corresponding post-treatment IVUS image P1, and A correspondence relationship between the pre-treatment IVUS image P1 and the post-treatment IVUS image P1 is identified such that the sum of the differences based on the above is minimized. That is, the processing unit 31 associates both the IVUS images P1 so that the observation position of the IVUS image P1 acquired before the treatment matches the observation position of the IVUS image P1 acquired after the treatment. By associating the IVUS image P1 before the treatment with the IVUS image P1 after the treatment so that the sum of the above-mentioned differences is minimized, the lumen diameter or blood vessel diameter outside the expansion range is made to match substantially. becomes possible.
  • n is an integer of 1 or more.
  • the processing unit 31 calculates, for example, a difference in the lumen diameter or blood vessel diameter based on the object extraction IVUS image P1' of the corresponding frame number.
  • the processing unit 31 calculates the difference in lumen diameter or blood vessel diameter for a predetermined number of object extraction IVUS images P1'.
  • the processing unit 31 calculates the difference between the lumen diameter or blood vessel diameter based on the object extraction IVUS image P1' of the (n+ ⁇ )th frame and the lumen diameter or blood vessel diameter based on the object extraction IVUS image P1' of the nth frame. is calculated in the same way.
  • ⁇ is an integer and corresponds to the amount of translation of the three-dimensional lumen image.
  • the processing unit 31 increments the variable ⁇ by 1 while verifying the correspondence between the pre-treatment and post-treatment object extraction IVUS images P1'. Then, the variable ⁇ that minimizes the sum of the differences, for example, the sum of squares of the differences, is specified.
  • step S221 After completing the process of step S221, the processing unit 31 executes the same process as steps S122 to S130 of the first embodiment.
  • the lumen diameter or the blood vessel diameter outside the target area before the balloon expansion is to be performed, and the lumen diameter or the blood vessel diameter of the blood vessel after the treatment.
  • the image diagnostic apparatus 100 When stent expansion (optimization) is performed, the image diagnostic apparatus 100 according to the third embodiment aligns the longitudinal position of the blood vessel based on the stent images before and after the procedure, and performs IVUS before and after the procedure.
  • This embodiment differs from the first embodiment in that images P1 are displayed in association with each other.
  • the rest of the configuration of the image processing device 3 is the same as that of the image processing device 3 according to the first embodiment, so similar parts are given the same reference numerals and detailed explanations are omitted.
  • FIG. 13 is a flowchart showing the image processing procedure according to the third embodiment.
  • the processing unit 31 of the image processing device 3 executes the same processing as steps S111 to S117 in the first embodiment (steps S311 to S317).
  • the processing unit 31 After completing the process in step S317, the processing unit 31 inputs the plurality of IVUS images P1 acquired before and after the treatment into the IVUS image recognition learning model 61, thereby performing image recognition processing on the IVUS image P1. and recognizes the stent image (step S318).
  • the processing unit 31 identifies a representative frame related to the stent placement position before expansion (step S319). Specifically, the processing unit 31 identifies frame images of the IVUS image P1 corresponding to the positions of both ends and the center of the stent from the plurality of IVUS images P1 acquired before the treatment.
  • the processing unit 31 identifies a representative frame related to the stent placement position after expansion (step S320). Specifically, the processing unit 31 identifies frame images of the IVUS image P1 corresponding to the positions of both ends and the center of the stent from the plurality of IVUS images P1 acquired after the treatment.
  • the processing unit 31 calculates pre-treatment (before optimizing the stent placement state) and post-treatment (stent placement state) based on the specified pre-treatment representative frame image and post-treatment representative frame image.
  • the plurality of IVUS images P1 (after optimization) are associated with each other (step S321). Specifically, the IVUS image P1 corresponding to one end of the stent before treatment is associated with the IVUS image P1. Similarly, the IVUS image P1 corresponding to the other end of the stent before treatment is associated with the IVUS image P1 after treatment. Furthermore, the IVUS image P1 corresponding to the central portion of the stent before treatment is associated with the IVUS image P1 after treatment.
  • step S321 After completing the process of step S321, the processing unit 31 executes the same process as steps S122 to S130 of the first embodiment.
  • the plurality of IVUS images P1 obtained before and after the treatment are matched by aligning the positions of the stent images.
  • the IVUS images P1 before and after the treatment can be displayed in association with each other by aligning the longitudinal positions of the blood vessels.
  • the image diagnostic apparatus 100 according to the fourth embodiment has the advantage that the pre-treatment and post-treatment IVUS images P1 are displayed in association with each other based on the image of the calcified site in the IVUS image P1, with the blood vessels aligned in the longitudinal direction. This is different from the first embodiment.
  • the rest of the configuration of the image processing device 3 is the same as that of the image processing device 3 according to the first embodiment, so similar parts are given the same reference numerals and detailed explanations are omitted.
  • FIG. 14 is a flowchart showing the image processing procedure according to the fourth embodiment.
  • the processing unit 31 of the image processing device 3 executes the same processing as steps S111 to S121 of the first embodiment. By the processing in step S121, the positions of the pre-treatment IVUS image P1 and the post-treatment IVUS image P1 in the longitudinal direction of the blood vessel can be approximately matched.
  • the processing unit 31 according to the fourth embodiment finely corrects the correspondence between the pre-treatment and post-treatment IVUS images P1 by executing the following process.
  • the processing unit 31 executes image recognition processing of the IVUS image P1 by inputting the plurality of IVUS images P1 acquired before and after the treatment to the IVUS image recognition learning model 61, and detects calcification.
  • the part image is recognized (step S421).
  • the processing unit 31 identifies a frame image of the IVUS image P1 including the calcified site image. Furthermore, the processing unit 31 identifies the central angle of the calcified site image in the IVUS image P1.
  • FIG. 15 is an explanatory diagram showing a plurality of pre-treatment and post-treatment IVUS images P1 arranged in the longitudinal direction of the blood vessel.
  • the above figure shows multiple pre-treatment IVUS images P1 lined up in the longitudinal direction of the blood vessel, the white part shows the IVUS image P1 that does not include calcified site images, and the hatched part shows the calcified site.
  • An IVUS image P1 including images is shown. "20°”, “70°”, “120°”, etc. indicate the central angle of the calcified site in the IVUS image P1 including the calcified site image, that is, the circumferential position of the calcified site in the IVUS image P1. ing.
  • the figure below shows a plurality of post-treatment IVUS images P1 arranged in the longitudinal direction of the blood vessel.
  • the processing unit 31 associates the pre-treatment and post-treatment IVUS images P1 so that the longitudinal positions of the plurality of calcified sites match (step S422). For example, when a calcified site image is included in a plurality of consecutive IVUS images P1, the processing unit 31 recognizes the plurality of IVUS images P1 as one group, and selects an IVUS image P1 at the center in the longitudinal direction of the blood vessel. Specify as a representative frame image. The processing unit 31 treats as a pair the representative frame image before treatment and the representative frame image after treatment whose distance is closest in the longitudinal direction, and calculates the distance between the representative frame images.
  • the processing unit 31 calculates the distance between each representative frame image, finely adjusts the longitudinal position of the IVUS image P1 so that the sum of the distances is the minimum, and takes appropriate action.
  • the previous IVUS image P1 and the post-treatment IVUS image P1 are associated.
  • the processing unit 31 corrects the rotation angle of the IVUS image P1 so that the center angles of the calcified site images in the IVUS image P1 match (step S423). For example, the processing unit 31 calculates the difference between the central angle of the calcified site image included in the representative frame image before processing and the central angle of the calcified site image included in the corresponding representative frame image after treatment. Then, the processing unit 31 similarly calculates the difference in center angle for the other representative frame images, calculates the correction amount of the rotation angle so that the sum of the differences is the minimum, and processes the IVUS image by the calculated correction amount. By rotating P1, the orientation of the IVUS image P1 is corrected. In the example shown in FIG.
  • the processing unit 31 displays the pre-treatment representative frame image whose longitudinal position has been finely adjusted and the center angle corrected in the processes of steps S422 and S423, and the post-treatment representative frame image in association with each other. (Step S424).
  • the longitudinal position of the blood vessel can be aligned more accurately and the IVUS images P1 before and after the treatment can be displayed in association with each other. I can do it. Furthermore, the rotation angles, that is, the orientations, of the IVUS images P1 before and after the treatment can be displayed together.
  • the pre-treatment and post-treatment IVUS images P1 are correlated based on the stent placement position, and the correspondence relationship and the IVUS image P1 are determined based on the position and center angle of the calcified site image.
  • the IVUS images P1 before and after the treatment may be displayed in association with each other using only the method of the fourth embodiment.
  • the image diagnostic apparatus 100 according to the fifth embodiment differs from the first embodiment in that the process of step S116 according to the first embodiment is automatically executed.
  • the rest of the configuration of the image processing device 3 is the same as that of the image processing device 3 according to the first embodiment, so similar parts are given the same reference numerals and detailed explanations are omitted.
  • FIG. 16 is a flowchart showing the image processing procedure according to the fifth embodiment.
  • the processing unit 31 executes the following process in step S116.
  • the processing unit 31 reads the imaging date and time, blood vessel name, lesion name, treatment-related information, etc. regarding the IVUS image P1 after the treatment from the storage unit 32 (step S551).
  • the processing unit 31 searches for an IVUS image P1 whose imaging date and time is earlier, whose blood vessel name, lesion name, etc.
  • step S552 match, and whose treatment details match (step S552), and searches for an IVUS image P1 that has an earlier imaging date and time, matches the blood vessel name, lesion name, etc., and matches the treatment details (step S552), and The IVUS image P1 is read out from the tomographic image DB 63 (step S553).
  • the image processing device 3 and the like according to the fifth embodiment when the IVUS image P1 is acquired after the treatment, the data of the IVUS image P1 before the treatment, which is the comparison target, is automatically read out from the storage unit 32. , the longitudinal tomographic image P1 of the blood vessel and the IVUS image P1 based on each IVUS image P1 can be displayed side by side on the display device 4.
  • Diagnostic imaging catheter 2 MDU 3 Image processing device 4
  • Display device 5 Input device 11
  • Probe 12 Sensor section 12a
  • Ultrasonic transceiver section 12b Optical transceiver section 12c Housing 13
  • Shaft 14 Guide wire insertion section 15
  • Connector section 30 Recording medium 31
  • Processing section 32 Storage section 33
  • Ultrasonic line data Generation unit 34 Optical line data generation unit 61
  • IVUS image recognition learning model 62 OFDI image recognition learning model P1 IVUS image P1' Object extraction IVUS image P2 OFDI image 100
  • Intravascular examination device 102 Angiography device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

管腔器官を走査するためのセンサ部を管腔器官の走行方向に沿って移動させながら管腔器官の複数の断層画像を取得し、管腔器官に対する処置前に取得した複数の断層画像のうち、管腔器官に対する処置が行われるべき対象部位に関連する少なくとも一の断層画像を選択し、処置後に取得した複数の断層画像の画像認識処理により、選択された処置前の一の断層画像に対応する処置後の断層画像を特定し、断層画像の特定結果に基づいて、処置前に取得した断層画像と、処置後に取得した断層画像とを対応付けて表示する処理をコンピュータに実行させる。

Description

コンピュータプログラム、画像処理方法及び画像処理装置
　本発明は、コンピュータプログラム、画像処理方法及び画像処理装置に関する。
　狭心症又は心筋梗塞等の虚血性心疾患に対する低侵襲治療として、経皮的冠動脈インターベンション（PCI: Percutaneous Coronary Intervention）に代表される血管内治療が行われている。血管内治療における術前診断、又は術後の結果確認のために、超音波を用いた超音波断層画像診断装置（IVUS:IntraVascular Ultra Sound）、近赤外線を用いた光干渉断層画像診断装置（OFDI: Optical Frequency Domain Imaging）等の血管内画像診断装置が使用されている。
特開平１１－５６７５２号公報 特表２０１０－５０８９７３号公報
　医療従事者は、処置後に取得した超音波断層画像を用いて血管の状態を確認する際に、処置前の超音波断層画像と比較し、治療の効果を確認する。超音波断層画像を比較する際、血管の長手方向の同じ位置で撮像された処置前後の超音波断層画像を確認する必要がある。
　一方で、血管内における走査開始位置を厳密に合わせることが難しく、処置前及び処置後に取得した超音波断層画像は長手方向に位置ずれしている。現状は医療従事者が手動で同じ位置の血管を示した超音波断層画像のデータを選択し、長手方向の位置を手動で合わせて、治療効果を確認している。上記事情は、光干渉断層画像についても同様である。
　本開示の一つの側面では、管腔器官に対する処置前及び処置後に取得した当該管腔器官の断層画像を表示する際、管腔器官の長手方向の位置を合わせて表示することができるコンピュータプログラム、画像処理方法及び画像処理装置を提供することを目的とする。
　本開示の一つの側面に係るコンピュータプログラムは、管腔器官を走査するためのセンサ部を前記管腔器官の走行方向に沿って移動させながら該管腔器官の複数の断層画像を取得し、前記管腔器官に対する処置前に取得した複数の断層画像のうち、前記管腔器官に対する処置が行われるべき対象部位に関連する少なくとも一の断層画像を選択し、処置後に取得した複数の断層画像の画像認識処理により、選択された処置前の前記一の断層画像に対応する処置後の断層画像を特定し、断層画像の特定結果に基づいて、処置前に取得した断層画像と、処置後に取得した断層画像とを対応付けて表示する処理をコンピュータに実行させる。
　本開示の一つの側面に係る画像処理方法は、管腔器官を走査するためのセンサ部を前記管腔器官の走行方向に沿って移動させることによって得られた該管腔器官の複数の断層画像を取得し、前記管腔器官に対する処置前に取得した複数の断層画像のうち、前記管腔器官に対する処置が行われるべき対象部位に関連する少なくとも一の断層画像を選択し、処置後に取得した複数の断層画像の画像認識処理により、選択された処置前の前記一の断層画像に対応する処置後の断層画像を特定し、断層画像の特定結果に基づいて、処置前に取得した断層画像と、処置後に取得した断層画像とを対応付けて表示する。
　本開示の一つの側面に係る画像処理装置は、管腔器官を走査するためのセンサ部を前記管腔器官の走行方向に沿って移動させながら該管腔器官の複数の断層画像を取得する取得部と、該取得部にて取得した断層画像を表示装置に表示させる処理を実行する処理部とを備え、前記処理部は、前記管腔器官に対する処置前に取得した複数の断層画像のうち、前記管腔器官に対する処置が行われるべき対象部位に関連する少なくとも一の断層画像を選択し、処置後に取得した複数の断層画像の画像認識処理により、選択された処置前の前記一の断層画像に対応する処置後の断層画像を特定し、断層画像の特定結果に基づいて、処置前に取得した断層画像と、処置後に取得した断層画像とを対応付けて表示する。
　本開示の一つの側面では、管腔器官に対する処置前及び処置後に取得した当該管腔器官の断層画像を表示する際、管腔器官の長手方向の位置を合わせて表示することができる。
画像診断装置の構成例を示す説明図である。 画像診断用カテーテルの構成例を示す説明図である。 センサ部を挿通させた血管の断面を模式的に示す説明図である。 断層画像の説明図である。 断層画像の説明図である。 画像処理装置の構成例を示すブロック図である。 ＩＶＵＳ画像認識学習モデルの構成例を示すブロック図である。 ＩＶＵＳ画像認識学習モデルの構成例を示すブロック図である。 本実施形態１に係る画像処理手順を示すフローチャートである。 本実施形態１に係る画像処理手順を示すフローチャートである。 処置前のＩＶＵＳ画像及び処置計画画面の表示例である。 処置前及び処置後のＩＶＵＳ画像等の表示例である。 本実施形態２に係る画像処理手順を示すフローチャートである。 本実施形態２に係る画像処理方法を示す説明図である。 本実施形態２に係る画像処理方法を示す説明図である。 本実施形態２に係る画像処理方法を示す説明図である。 本実施形態３に係る画像処理手順を示すフローチャートである。 本実施形態４に係る画像処理手順を示すフローチャートである。 、血管の長手方向に並ぶ処置前及び処置後の複数のＩＶＵＳ画像Ｐ１を示す説明図である。 本実施形態５に係る画像処理手順を示すフローチャートである。
　以下、本開示のコンピュータプログラム、画像処理方法及び画像処理装置について、その実施形態を示す図面に基づいて詳述する。以下の各実施形態では、血管内治療である心臓カテーテル治療を一例に説明するが、カテーテル治療の対象とする管腔器官は血管に限定されず、例えば胆管、膵管、気管支、腸等の他の管腔器官であってもよい。また、本発明はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
　本実施形態では、血管内超音波診断法（ＩＶＵＳ）及び光干渉断層診断法（ＯＦＤＩ）の両方の機能を備えるデュアルタイプのカテーテルを用いた画像診断装置について説明する。デュアルタイプのカテーテルでは、ＩＶＵＳのみによって超音波断層画像を取得するモードと、ＯＦＤＩのみによって光干渉断層画像を取得するモードと、ＩＶＵＳ及びＯＦＤＩによって両方の断層画像を取得するモードとが設けられており、これらのモードを切り替えて使用することができる。以下、超音波断層画像及び光干渉断層画像それぞれを適宜、ＩＶＵＳ画像及びＯＦＤＩ画像という。また、ＩＶＵＳ画像及びＯＦＤＩ画像を総称して断層画像という。
（実施形態１）
　図１は、画像診断装置１００の構成例を示す説明図である。本実施形態１の画像診断装置１００は、血管内検査装置１０１と、血管造影装置１０２と、画像処理装置３と、表示装置４と、入力装置５とを備える。血管内検査装置１０１は、画像診断用カテーテル１及びＭＤＵ（Motor Drive Unit）２を備える。画像診断用カテーテル１は、ＭＤＵ２を介して画像処理装置３に接続されている。画像処理装置３には、表示装置４及び入力装置５が接続されている。表示装置４は、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等であり、入力装置５は、例えばキーボード、マウス、トラックボール又はマイク等である。表示装置４と入力装置５とは、一体に積層されて、タッチパネルを構成していてもよい。また入力装置５と画像処理装置３とは、一体に構成されていてもよい。更に入力装置５は、ジェスチャ入力又は視線入力等を受け付けるセンサであってもよい。
　血管造影装置１０２は画像処理装置３に接続されている。血管造影装置１０２は、患者の血管に造影剤を注入しながら、患者の生体外からＸ線を用いて血管を撮像し、当該血管の透視画像であるアンギオ画像を得るためのアンギオグラフィ装置である。血管造影装置１０２は、Ｘ線源及びＸ線センサを備え、Ｘ線源から照射されたＸ線をＸ線センサが受信することにより、患者のＸ線透視画像をイメージングする。血管造影装置１０２は、撮像して得られたアンギオ画像を画像処理装置３へ出力し、画像処理装置３を介して表示装置４に表示される。
　図２は画像診断用カテーテル１の構成例を示す説明図である。なお、図２中の上側の一点鎖線で囲まれた領域は、下側の一点鎖線で囲まれた領域を拡大したものである。画像診断用カテーテル１は、プローブ１１と、プローブ１１の端部に配置されたコネクタ部１５とを有する。プローブ１１は、コネクタ部１５を介してＭＤＵ２に接続される。以下の説明では画像診断用カテーテル１のコネクタ部１５から遠い側を先端側と記載し、コネクタ部１５側を基端側という。プローブ１１は、カテーテルシース１１ａを備え、その先端部には、ガイドワイヤが挿通可能なガイドワイヤ挿通部１４が設けられている。ガイドワイヤ挿通部１４はガイドワイヤルーメンを構成し、予め血管内に挿入されたガイドワイヤを受け入れ、ガイドワイヤによってプローブ１１を患部まで導くのに使用される。カテーテルシース１１ａは、ガイドワイヤ挿通部１４からコネクタ部１５に亘って連続する管部を形成している。カテーテルシース１１ａの内部にはシャフト１３が挿通されており、シャフト１３の先端側にはセンサ部１２が接続されている。
　センサ部１２は、ハウジング１２ｃを有し、ハウジング１２ｃの先端側は、カテーテルシース１１ａの内面との摩擦や引っ掛かりを抑制するために半球状に形成されている。ハウジング１２ｃ内には、超音波を血管内に送信すると共に血管内からの反射波を受信する超音波送受信部１２ａと、近赤外光を血管内に送信すると共に血管内からの反射光を受信する光送受信部１２ｂとが配置されている。図２に示す例では、プローブ１１の先端側に超音波送受信部１２ａが設けられており、基端側に光送受信部１２ｂが設けられている。つまり、超音波送受信部１２ａ及び光送受信部１２ｂは、シャフト１３の中心軸上（図２中の二点鎖線上）において軸方向に沿って所定長だけ離れて、ハウジング１２ｃ内に配置されている。
　また、超音波送受信部１２ａ及び光送受信部１２ｂは、超音波及び近赤外光の送受信方向がシャフト１３の軸方向に対して略９０度の方向（シャフト１３の径方向）となるように配置されている。なお、超音波送受信部１２ａ及び光送受信部１２ｂは、カテーテルシース１１ａの内面での反射波及び反射光を受信しないように、径方向よりややずらして取り付けられることが望ましい。本実施形態１では、例えば図２中の矢符で示すように、超音波送受信部１２ａは径方向に対して基端側に傾斜した方向を超音波の照射方向とし、光送受信部１２ｂは径方向に対して先端側に傾斜した方向を近赤外光の照射方向とする姿勢で設けられている。
　シャフト１３には、超音波送受信部１２ａに接続された電気信号ケーブル（図示せず）と、光送受信部１２ｂに接続された光ファイバケーブル（図示せず）とが内挿されている。プローブ１１は、先端側から血管内に挿入される。センサ部１２及びシャフト１３は、カテーテルシース１１ａの内部で進退可能であり、また、周方向に回転することができる。センサ部１２及びシャフト１３は、シャフト１３の中心軸を回転軸として回転する。
　ＭＤＵ２は、画像診断用カテーテル１のコネクタ部１５が着脱可能に取り付けられ、ユーザ（医療従事者）の操作に応じて内蔵モータを駆動し、血管内に挿入された画像診断用カテーテル１の動作を制御する駆動装置である。例えばＭＤＵ２は、プローブ１１に内挿されたセンサ部１２及びシャフト１３を一定の速度でＭＤＵ２側に向けて引っ張りながら周方向に回転させるプルバック操作を行う。センサ部１２は、プルバック操作によって先端側から基端側に移動しながら回転しつつ、所定の時間間隔で連続的に血管内を走査することにより、プローブ１１に略垂直な複数枚の横断層像を所定の間隔で連続的に撮影する。ＭＤＵ２は、超音波送受信部１２ａが受信した超音波の反射波信号と、光送受信部１２ｂが受信した反射光信号とを画像処理装置３へ出力する。
　画像処理装置３は、ＭＤＵ２を介して超音波送受信部１２ａから出力された超音波の反射波信号を反射波データとして取得し、取得した反射波データに基づいて超音波ラインデータを生成する。超音波ラインデータは、超音波送受信部１２ａからみた血管の深さ方向における超音波の反射強度を示すデータである。画像処理装置３は、生成した超音波ラインデータに基づいて血管の横断層を表すＩＶＵＳ画像Ｐ１（図４Ａ及び図４Ｂ参照）を構築する。
　また、画像処理装置３は、ＭＤＵ２を介して光送受信部１２ｂから出力された反射光信号と、光源からの光を分離して得られた参照光とを干渉させることにより、干渉光データを取得し、取得した干渉光データに基づいて光ラインデータを生成する。光ラインデータは、光送受信部１２ｂからみた血管の深さ方向における反射光の反射強度を示すデータである。画像処理装置３は、生成した光ラインデータに基づいて血管の横断層を表したＯＦＤＩ画像Ｐ２（図４Ａ及び図４Ｂ参照）を構築する。
　ここで、超音波送受信部１２ａ及び光送受信部１２ｂによって得られる超音波ラインデータ及び光ラインデータと、超音波ラインデータ及び光ラインデータから構築されるＩＶＵＳ画像Ｐ１及びＯＦＤＩ画像Ｐ２について説明する。
　図３は、センサ部１２を挿通させた血管の断面を模式的に示す説明図であり、図４Ａ及び図４Ｂは断層画像の説明図である。まず、図３を用いて、血管内における超音波送受信部１２ａ及び光送受信部１２ｂの動作と、超音波送受信部１２ａ及び光送受信部１２ｂによって得られる超音波ラインデータ及び光ラインデータについて説明する。
　センサ部１２及びシャフト１３が血管内に挿通された状態で断層画像の撮像が開始されると、センサ部１２が矢符で示す方向に、シャフト１３の中心軸を回転中心として回転する。このとき、超音波送受信部１２ａは、各回転角度において超音波の送信及び受信を行う。ライン１，２，…５１２は各回転角度における超音波の送受信方向を示している。本実施形態１では、超音波送受信部１２ａは、血管内において３６０度回動（１回転）する間に５１２回の超音波の送信及び受信を断続的に行う。超音波送受信部１２ａは、１回の超音波の送受信により、送受信方向の１ラインのデータを取得するので、１回転の間に、回転中心から放射線状に延びる５１２本の超音波ラインデータを得ることができる。５１２本の超音波ラインデータは、回転中心の近傍では密であるが、回転中心から離れるにつれて互いに疎になっていく。そこで、画像処理装置３は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図４Ａに示すような２次元のＩＶＵＳ画像Ｐ１を構築することができる。
　同様に、光送受信部１２ｂも、各回転角度において近赤外光（測定光）の送信及び受信を行う。光送受信部１２ｂも血管内において３６０度回動する間に５１２回の測定光の送信及び受信を行うので、１回転の間に、回転中心から放射線状に延びる５１２本の光ラインデータを得ることができる。光ラインデータについても、画像処理装置３は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図４Ａに示す２次元のＯＦＤＩ画像Ｐ２を構築することができる。
　このように複数本の超音波ラインデータから構築される２次元の断層画像を１フレームのＩＶＵＳ画像Ｐ１という。また、複数本の光ラインデータから構築される２次元の断層画像を１フレームのＯＦＤＩ画像Ｐ２という。センサ部１２は血管内を移動しながら走査するため、移動範囲内において１回転した各位置で１フレームのＩＶＵＳ画像Ｐ１又はＯＦＤＩ画像Ｐ２が取得される。即ち、移動範囲においてプローブ１１の先端側から基端側への各位置で１フレームのＩＶＵＳ画像Ｐ１又はＯＦＤＩ画像Ｐ２が取得されるので、図４Ｂに示すように、移動範囲内で複数フレームのＩＶＵＳ画像Ｐ１又はＯＦＤＩ画像Ｐ２が取得される。
　なお、１回転における超音波及び光の送受信回数は一例であり、送受信回数は５１２回に限定されるものではない。また、超音波の送受信回数と、光の送受信回数とは同一であっても良いし、異なっていてもよい。
　図５は画像処理装置３の構成例を示すブロック図である。画像処理装置３はコンピュータであり、処理部３１、記憶部３２、超音波ラインデータ生成部３３、光ラインデータ生成部３４、入出力Ｉ／Ｆ３５、読取部３６を備える。処理部３１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等の演算処理装置を用いて構成されている。処理部３１は、バスを介して画像処理装置３を構成するハードウェア各部と接続されている。
　記憶部３２は、例えば主記憶部及び補助記憶部を有する。主記憶部は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、処理部３１が演算処理を実行するために必要なデータを一時的に記憶する。補助記憶部は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の記憶装置である。補助記憶部は、処理部３１が実行するコンピュータプログラム（プログラム製品）Ｐ、ＩＶＵＳ画像認識学習モデル６１、ＯＦＤＩ画像認識学習モデル６２、その他の処理に必要な各種データを記憶する。また、記憶部３２は、断層画像ＤＢ６３として機能する。断層画像ＤＢ６３は、画像処理装置３が取得した複数のＩＶＵＳ画像Ｐ１に、ＩＤ（識別情報）、撮像日時、撮像した血管名、病変名、処置関連情報を対応付けて記憶する。また、断層画像ＤＢ６３は、画像処理装置３が取得した複数のＯＦＤＩ画像Ｐ２に、ＩＤ（識別情報）、撮像日時、撮像した血管名、病変名、処置関連情報を対応付けて記憶する。処置関連情報は、ステント留置、バルーン拡張、留置されたステントの拡張等、血管に対する処置の種類を示す情報、処置に関連する情報である。言い換えると処置関連情報は、異なるタイミングで取得した複数のＩＶＵＳ画像Ｐ１について、処置後の断層画像に関連する断層画像として、所定の処置前の断層画像を識別する手掛かりとなる情報である。所定の処置前の断層画像に対応する、処置後の断層画像を識別することができれば、処置関連情報の内容は特に限定されるものではない。
　なお、補助記憶部は画像処理装置３に接続された外部記憶装置であってもよい。コンピュータプログラムＰは、画像処理装置３の製造段階において補助記憶部に書き込まれてもよいし、遠隔のサーバ装置が配信するものを画像処理装置３が通信にて取得して補助記憶部に記憶させてもよい。コンピュータプログラムＰは、磁気ディスク、光ディスク、半導体メモリ等の記録媒体３０に読み出し可能に記録された態様であってもよく、読取部３６が記録媒体３０から読み出して補助記憶部に記憶させてもよい。
　超音波ラインデータ生成部３３は、血管内検査装置１０１の超音波送受信部１２ａから出力された超音波の反射波信号を反射波データとして取得し、取得した反射波データに基づいて超音波ラインデータを生成する。
　光ラインデータ生成部３４は、血管内検査装置１０１の光送受信部１２ｂから出力された反射光信号と、光源からの光を分離して得られた参照光とを干渉させることにより、干渉光データを取得し、取得した干渉光データに基づいて光ラインデータを生成する。
　入出力Ｉ／Ｆ３５は、血管内検査装置１０１、血管造影装置１０２、表示装置４及び入力装置５が接続されるインタフェースである。処理部３１は、入出力Ｉ／Ｆ３５を介して、血管造影装置１０２からアンギオ画像を取得する。また、処理部３１は、入出力Ｉ／Ｆ３５を介して、ＩＶＵＳ画像Ｐ１、ＯＦＤＩ画像Ｐ２、又はアンギオ画像の医用画像信号を表示装置４へ出力することによって、表示装置４に医用画像を表示する。更に、処理部３１は、入出力Ｉ／Ｆ３５を介して、入力装置５に入力された情報を受け付ける。
　画像処理装置３は、複数のコンピュータを含んで構成されるマルチコンピュータであってよい。また、画像処理装置３は、サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、画像処理装置３が１台のコンピュータであるものとして説明する。
　画像処理装置３の処理部３１は、記憶部３２が記憶するコンピュータプログラムＰを読み出して実行することにより、超音波ラインデータ生成部３３にて超音波ラインデータを生成し、生成された超音波ラインデータに基づいてＩＶＵＳ画像Ｐ１を構築する処理を実行する。また、処理部３１は、記憶部３２が記憶するコンピュータプログラムＰを読み出して実行することにより、光ラインデータ生成部３４にて光ラインデータを生成し、生成された光ラインデータに基づいてＯＦＤＩ画像Ｐ２を構築する処理を実行する。
　本実施形態１に係る画像処理装置３の処理部３１は、記憶部３２が記憶するコンピュータプログラムＰを読み出して実行することにより、血管に対するステント留置等の所定の処置前に取得した複数のＩＶＵＳ画像Ｐ１と、処置後に取得した複数のＩＶＵＳ画像Ｐ１との長手方向における位置を合わせて、表示する処理を実行する（図１０参照）。ユーザは、長手方向の位置を合わせて表示された処置前と処置後のＩＶＵＳ画像Ｐ１を比較することにより、血管の状態及び治療効果を確認することができる。
＜画像認識学習モデル＞
　図６Ａ及び図６Ｂは、ＩＶＵＳ画像認識学習モデル６１の構成例を示すブロック図である。ＩＶＵＳ画像認識学習モデル６１は、ＩＶＵＳ画像Ｐ１に含まれる所定のオブジェクト画像を認識するモデルである。ＩＶＵＳ画像認識学習モデル６１は、例えば、セマンティックセグメンテーション（Semantic Segmentation）を用いた画像認識技術を利用することにより、オブジェクトを画素単位でクラス分けすることができ、ＩＶＵＳ画像Ｐ１に含まれる各種オブジェクトを認識することができる。具体的には、ＩＶＵＳ画像認識学習モデル６１は、図６Ａ及び図６Ｂに示すように、ＩＶＵＳ画像Ｐ１における内腔画像を認識する。また、ＩＶＵＳ画像認識学習モデル６１は、例えば図６Ａに示すようにステント画像、プラーク画像、血管壁画像等を認識する。血管壁は中膜であり、より具体的には外弾性膜（ＥＥＭ）である。なお、図６に示したプラーク画像等はオブジェクト画像の一例であり、ＩＶＵＳ画像認識学習モデル６１は、側枝、心外膜又は静脈等を認識するように構成してもよい。
　ＩＶＵＳ画像認識学習モデル６１は、例えば深層学習による学習済みの畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）である。ＩＶＵＳ画像認識学習モデル６１は、ＩＶＵＳ画像Ｐ１が入力される入力層６１ａと、ＩＶＵＳ画像Ｐ１の特徴量を抽出し復元する中間層６１ｂと、ＩＶＵＳ画像Ｐ１に含まれるオブジェクト画像を画素単位で示すオブジェクト抽出ＩＶＵＳ画像Ｐ１’を出力する出力層６１ｃとを有する。ＩＶＵＳ画像認識学習モデル６１は、例えばＵ－Ｎｅｔ、ＦＣＮ（Fully Convolution Network）、ＳｅｇＮｅｔ等である。
　ＩＶＵＳ画像認識学習モデル６１の入力層６１ａは、ＩＶＵＳ画像Ｐ１、つまりＩＶＵＳ画像Ｐ１を構成する各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層６１ｂに受け渡す。中間層６１ｂは、複数の畳み込み層（ＣＯＮＶ層）と、複数の逆畳み込み層（ＤＥＣＯＮＶ層）とを有する。畳み込み層は、ＩＶＵＳ画像Ｐ１を次元圧縮する層である。次元圧縮により、オブジェクト画像の特徴量が抽出される。逆畳み込み層は逆畳み込み処理を行い、元の次元に復元する。逆畳み込み層における復元処理により、各画素がオブジェクトのクラスに対応する画素値（クラスデータ）を有するオブジェクト抽出ＩＶＵＳ画像Ｐ１’が生成される。出力層６１ｃは、オブジェクト抽出ＩＶＵＳ画像Ｐ１’を出力する複数のニューロンを有する。オブジェクト抽出ＩＶＵＳ画像Ｐ１’は、図６Ａ及び図６Ｂに示すように、内腔画像、ステント画像、血管壁画像、プラーク画像、側枝、心外膜又は静脈等のオブジェクトの種類毎にクラス分け、例えば色分けされたような画像である。
　ＩＶＵＳ画像認識学習モデル６１は、超音波送受信部１２ａにて得られるＩＶＵＳ画像Ｐ１と、当該ＩＶＵＳ画像Ｐ１の各画素に、対応するオブジェクトの種類に応じたクラスデータを付与（アノテーション）したオブジェクト抽出ＩＶＵＳ画像Ｐ１’とを有する訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。具体的には、訓練データのＩＶＵＳ画像Ｐ１を未学習のニューラルネットワークに入力した場合に出力されるオブジェクト抽出ＩＶＵＳ画像Ｐ１’と、訓練データとしてアノテーションされた画像との差分が小さくなるように、当該ニューラルネットワークのパラメータを最適化する。当該パラメータは、例えばノード間の重み（結合係数）などである。パラメータの最適化の方法は特に限定されないが、例えば処理部３１は最急降下法等を用いて各種パラメータの最適化を行う。
　このように学習されたＩＶＵＳ画像認識学習モデル６１によれば、図６Ａに示すようにステントが留置された血管を撮像して得られたＩＶＵＳ画像Ｐ１をＩＶＵＳ画像認識学習モデル６１に入力することによって、血管の内腔画像、血管壁画像、プラーク画像、ステント等のオブジェクトの種類に応じて各部が画素単位でクラス分けされたオブジェクト抽出ＩＶＵＳ画像Ｐ１’が得られる。また、図６Ｂに示すように、ステントの無い血管を撮像して得られたＩＶＵＳ画像Ｐ１をＩＶＵＳ画像認識学習モデル６１に入力することによって、血管の内腔画像、血管壁画像、プラーク画像等のオブジェクトの種類に応じて各部が画素単位でクラス分けされたオブジェクト抽出ＩＶＵＳ画像Ｐ１’が得られる。
　ＯＦＤＩ画像認識学習モデル６２は、ＩＶＵＳ画像認識学習モデル６１と同様の構成であり、ＯＦＤＩ画像Ｐ２における内腔画像、その他のオブジェクト画像を認識する。ＯＦＤＩ画像Ｐ２をＯＦＤＩ画像認識学習モデル６２に入力することによって、血管の内腔画像、ステント画像、血管壁画像、プラーク画像等のオブジェクトの種類に応じて各部が画素単位でクラス分けされたオブジェクト抽出ＯＦＤＩ画像が得られる。
＜画像処理手順＞
　図７及び図８は、本実施形態１に係る画像処理手順を示すフローチャートである。以下では、主にＩＶＵＳ画像Ｐ１の画像処理手順について説明する。
　画像処理装置３の処理部３１は、超音波ラインデータ生成部３３にて、ステント留置等の処置前の複数のＩＶＵＳ画像Ｐ１を取得する（ステップＳ１１１）。具体的には、画像処理装置３の超音波ラインデータ生成部３３は、超音波送受信部１２ａから出力される反射波データに基づいて、複数本の超音波ラインデータを生成する。複数本の超音波ラインデータには、例えば観察時間の時系列順にライン番号が付されている。ライン番号は、観察時点に相当する。言い換えると、ライン番号は観察位置及び観察方向に相当する。処理部３１は、超音波ラインデータに基づいて複数フレームのＩＶＵＳ画像Ｐ１を構築する。複数フレームのＩＶＵＳ画像Ｐ１には、例えば観察時間の時系列順にフレーム番号が付されている。フレーム番号は、観察位置に相当する。複数フレームのＩＶＵＳ画像Ｐ１は、プローブ１１の先端側から基端側に亘る複数の観察位置で血管を観察して得た画像に相当する。なお、ステップＳ１１１の処理を実行する処理部３１は、センサ部１２を血管の走行方向に沿って移動させながら血管の複数のＩＶＵＳ画像Ｐ１を取得する取得部として機能する。
　次いで、処理部３１は、血管に対する処置前に取得した複数のＩＶＵＳ画像Ｐ１を、ＩＤ、撮像日時、血管名、病変名及び処置関連情報と対応付けて記憶部３２に記憶する（ステップＳ１１２）。
　次いで、処理部３１は、ステント留置の処置計画情報を作成し、記憶部３２に記憶する（ステップＳ１１３）。
　図９は、処置前のＩＶＵＳ画像Ｐ１及び処置計画画面の表示例である。処理部３１は、処置前に取得した複数のＩＶＵＳ画像Ｐ１に基づいて、例えば血管の長軸に略垂直な横断面画像であるＩＶＵＳ画像Ｐ１と、血管の中心軸に略平行な縦断面画像とを上下に並べて表示する。図９に示す例では、遠位側参照部（Ref.Distal）、近位側参照部（Ref.Proximal）及び最狭窄部（ＭＬＡ：minimum lumen area）におけるＩＶＵＳ画像Ｐ１が表示されている。ユーザは、表示装置４に表示された血管の縦断面画像及び横断面画像（ＩＶＵＳ画像Ｐ１）とを用いて最狭窄部を確認し、留置するステントのサイズ、留置位置等を計画する。ユーザは、入力装置５にてステントの留置位置及びサイズを指定し、画像処理装置３は、入力装置５にて各種指定操作を受け付け、ステントの留置位置及びサイズ等を含む処置計画情報を作成し、記憶部３２に記憶する。図９に示す白抜き矢印は処置計画情報を示しており、処置計画情報は、例えば留置されるべきステントの長手方向における両端部及び中心位置に対応するＩＶＵＳ画像Ｐ１のフレームを示す情報を含む。
　次いで、処理部３１は、超音波ラインデータ生成部３３にて、処置後の複数のＩＶＵＳ画像Ｐ１を取得する（ステップＳ１１４）。ステップＳ１１４の処理を実行する処理部３１は、センサ部１２を血管の走行方向に沿って移動させながら血管の複数のＩＶＵＳ画像Ｐ１を取得する取得部として機能する。そして、処理部３１は、血管に対する処置後に取得した複数のＩＶＵＳ画像Ｐ１を、ＩＤ、撮像日時、血管名、病変名及び処置関連情報と対応付けて記憶部３２に記憶する（ステップＳ１１５）。
　次いで、処理部３１は、比較対象である処置前のＩＶＵＳ画像Ｐ１を読み出す（ステップＳ１１６）。ユーザは、入力装置５にて比較対象とする処置前のＩＶＵＳ画像Ｐ１を選択することができ、処理部３１は選択されたＩＶＵＳ画像Ｐ１を、比較対象である処置前のＩＶＵＳ画像Ｐ１として読み出す。
　また、処理部３１は、処置前のＩＶＵＳ画像Ｐ１に関連付けられた処置計画情報を記憶部３２から読み出す（ステップＳ１１７）。処理部３１は、読み出した処置計画情報に基づいて、ステント留置位置に係る処置前のＩＶＵＳ画像Ｐ１の代表フレーム画像を特定する（ステップＳ１１８）。具体的には、処理部３１は、留置されるべきステントの両端及び中央部の位置に相当するＩＶＵＳ画像Ｐ１のフレーム画像を特定する。ここでは、血管の先端側のステント端部のＩＶＵＳ画像Ｐ１のフレーム番号をｎ、血管の基端側のステント端部のＩＶＵＳ画像Ｐ１のフレーム番号を（ｎ＋ｎｓ）、ステント中央部のＩＶＵＳ画像Ｐ１のフレーム番号を（ｎ＋ｎｓ／２）とする。
　次いで、処理部３１は、処置後に取得した複数のＩＶＵＳ画像Ｐ１をＩＶＵＳ画像認識学習モデル６１に入力することによって、ＩＶＵＳ画像Ｐ１における画像認識処理を実行し、ステント画像を認識する（ステップＳ１１９）。ステップＳ１１９の処理により、処理部３１は、処置後の複数のＩＶＵＳ画像Ｐ１を、ステント画像を含むフレーム画像と、得ステント画像を含まないフレーム画像とに区別して認識することができる。
　処理部３１は、ステップＳ１１９の認識結果に基づいて、ステント留置位置に係る処置後のＩＶＵＳ画像Ｐ１の代表フレームを特定する（ステップＳ１２０）。具体的には、処理部３１は、留置されるべきステントの両端及び中央部の位置に相当するＩＶＵＳ画像Ｐ１のフレーム画像を特定する。ステント画像を含むフレーム画像は連続している。例えば、フレーム番号Ｎ番からフレーム番号Ｎ＋Ｎｓのフレーム画像にステント画像が含まれている場合、フレーム番号Ｎ番のＩＶＵＳ画像Ｐ１と、フレーム番号（Ｎ＋Ｎｓ）番のＩＶＵＳ画像Ｐ１と、フレーム番号（Ｎ＋Ｎｓ／２）番のＩＶＵＳ画像Ｐ１とを、代表フレーム画像として特定する。フレーム番号Ｎ番のＩＶＵＳ画像Ｐ１は、血管の先端側のステント端部のフレーム画像であり、フレーム番号（Ｎ＋Ｎｓ）番のＩＶＵＳ画像Ｐ１は血管の基端側のステント端部のフレーム画像である。
　処理部３１は、特定された処置前の代表フレーム画像と、処置後の代表フレーム画像とに基づいて、処置前及び処置後の複数のＩＶＵＳ画像Ｐ１をそれぞれ対応付ける（ステップＳ１２１）。具体的には、処置前のステントの一端に相当するフレーム番号ｎ番のＩＶＵＳ画像Ｐ１と、フレーム番号Ｎ番の処置後のＩＶＵＳ画像Ｐ１とを対応付ける。同様に、処置前のステントの他端に相当するフレーム番号ｎｓ番のＩＶＵＳ画像Ｐ１と、フレーム番号Ｎｓ番の処置後のＩＶＵＳ画像Ｐ１とを対応付ける。また、処置前のステントの中央部に相当するフレーム番号（ｎ＋ｎｓ／２）のＩＶＵＳ画像Ｐ１と、フレーム番号（Ｎ＋Ｎｓ／２）番番の処置後のＩＶＵＳ画像Ｐ１とを対応付ける。
　なお、処置前に取得したＩＶＵＳ画像Ｐ１に係る長手方向のスケールと、処置後に取得したＩＶＵＳ画像Ｐ１に係る長手方向のスケールとが完全に一致していない場合、処置前又は処置後のＩＶＵＳ画像Ｐ１を必要に応じて補間し、又は間引くことによって、処置前の代表フレーム画像と、処置後の代表フレーム画像とを対応付けるとよい。
　次いで、処理部３１は、長手方向の位置を合わせて、処置前及び処置後のＩＶＵＳ縦断面画像を表示する（ステップＳ１２２）。
　図１０は、処置前及び処置後のＩＶＵＳ画像Ｐ１等の表示例である。処理部３１は、処置前の血管の縦断面画像と、処置後の血管の縦断層画像とを上下に並べて表示する。具体的には、処理部３１は、処置前に取得した複数のＩＶＵＳ画像Ｐ１に基づいて、血管の中心軸に略平行な第１の縦断面画像を生成し、表示装置４に表示する。同様に、処理部３１は、処置後に取得した複数のＩＶＵＳ画像Ｐ１に基づいて、血管の中心軸に略平行な第２の縦断面画像を生成し、表示装置４に表示する。図１０に示す例では、処理部３１は、処置前の第１の縦断層画像を上側に、処置後の第２の縦断層画像を下側に表示している。遠位側参照部（Ref.Distal）、近位側参照部（Ref.Proximal）及び最狭窄部（ＭＬＡ：minimum lumen area）の表示は、図９と同様である。
　次いで、図１０に示すように、処理部３１は、処置前及び処置後のＩＶＵＳ画像Ｐ１がある末梢側フレームに断面指定バーＢをセットして表示する（ステップＳ１２３）。断面指定バーＢは、処置前のＩＶＵＳ縦断面画像における任意の一のＩＶＵＳ画像Ｐ１と、処置後のＩＶＵＳ縦断面画像における当該一のＩＶＵＳ画像Ｐ１に対応するＩＶＵＳ画像Ｐ１を指定する線画像である。より具立的には、断面指定バーＢは、処置前のＩＶＵＳ縦断層画像と、処置後のＩＶＵＳ縦断層画像とを縦方向に貫く太線画像である。ステップＳ１２３の処理により、処理部３１は、処置前及び処置後の双方のＩＶＵＳ画像Ｐ１が存在する末梢側フレーム（図１０中、左端のフレーム画像）に断面指定バーＢを表示する。
　ユーザは、入力装置５の操作によって断面指定バーＢを図１０中左右方向に移動させることができ、処理部３１は、断面指定バーＢの位置の変更を受け付けたか否かを判定する（ステップＳ１２４）。位置の変更を受け付けたと判定した場合（ステップＳ１２４：ＹＥＳ）、処理部３１は、断面指定バーＢの位置を変更して表示する（ステップＳ１２５）。
　ステップＳ１２５の処理を終えた場合又は断面指定バーＢの変更を受け付けていないと判定した場合（ステップＳ１２４：ＮＯ）、処理部３１は、断面指定バーＢの位置に対応する処置前及び処置後のＩＶＵＳ画像Ｐ１（横断面画像）を表示する（ステップＳ１２６）。
　上記処理によって表示された処置前及び処置後のＩＶＵＳ画像Ｐ１は、長手方向の位置は対応しているが、周方向の向きは必ずしも一致していない。ユーザは、入力装置５の操作によってＩＶＵＳ画像Ｐ１を回転させることができ、処理部３１は、ＩＶＵＳ画像Ｐ１における周方向の位置補正を受け付ける（ステップＳ１２７）。そして、処理部３１は、受け付けた位置補正の内容、つまりＩＶＵＳ画像Ｐ１を回転させる角度情報に基づいて、ＩＶＵＳ画像Ｐ１を回転させ、その周方向の向きを補正する（ステップＳ１２８）。
　処理部３１は、自動再生ボタンを表示しており、ユーザは、入力装置５の操作によって自動再生ボタンを操作することができる。処理部３１は、自動再生の指示を受け付けたか否かを判定する（ステップＳ１２９）。自動再生の指示を受け付けていないと判定した場合（ステップＳ１２９：ＮＯ）、処理部３１は、処理をステップＳ１２３へ戻す。
　自動再生の指示を受け付けたと判定した場合（ステップＳ１２９：ＹＥＳ）、処理部３１は、処置前及び処置後の複数のＩＶＵＳ画像Ｐ１それぞれについて、先端側のＩＶＵＳ画像Ｐ１から基端側のＩＶＵＳ画像Ｐ１まで順次表示する自動再生表示を実行し（ステップＳ１３０）、処理をステップＳ１２３へ戻す。
　以上の通り、本実施形態１に係る画像処理装置３等によれば、血管に対する処置前及び処置後に取得した当該血管のＩＶＵＳ画像Ｐ１を表示する際、血管の長手方向の位置を合わせて処置前後のＩＶＵＳ画像Ｐ１を対応付けて表示することができる。
　具体的には、処置計画情報に基づいて、留置されるべきステントの端部及び中央部のＩＶＵＳ画像Ｐ１と、処置後のＩＶＵＳ画像Ｐ１の画像認識により特定されたステントの末端及び中央部のＩＶＵＳ画像Ｐ１とを対応付けることによって、処置前及び処置後に取得した複数のＩＶＵＳ画像Ｐ１を対応付けることができる。
　処置前及び処置後のＩＶＵＳ画像Ｐ１の、長軸方向における観察位置を一致させた後には、処置前及び処置後のＩＶＵＳ画像Ｐ１を比較し、差分を抽出することが可能となる。例えば、石灰化病変を削り取った場合には、ＩＶＵＳ画像Ｐ１の比較画像により三次元的に削り取られた体積を算出することができる。
　なお、本実施形態１では、血管の長手方向の位置を合わせて処置前及び処置後のＩＶＵＳ画像Ｐ１を表示する例を説明したが、ＯＦＤＩ画像Ｐ２についても同様の処理で、血管の長手方向の位置を合わせて処置前及び処置後のＯＦＤＩ画像Ｐ２を表示するように構成してもよい。
　また、本実施形態１では、セマンティックセグメンテーションを用いて、ＩＶＵＳ画像Ｐ１を画素単位でクラス分けすることによって、ステント画像を認識することが可能なＩＶＵＳ画像認識学習モデル６１を説明したが、フレーム画像単位でステントの有無を判定する学習モデルを用いて画像処理装置３を構成してもよい。
（実施形態２）
　実施形態２に係る画像診断装置１００は、バルーン拡張部位の外側の特徴量に基づいて、血管の長手方向の位置を合わせて処置前及び処置後のＩＶＵＳ画像Ｐ１を対応付けて表示する点が実施形態１と異なる。画像処理装置３のその他の構成は、実施形態１に係る画像処理装置３と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。
　図１１は、本実施形態２に係る画像処理手順を示すフローチャート、図１２Ａ、図２Ｂ及び図１２Ｃは、本実施形態２に係る画像処理方法を示す説明図である。画像処理装置３の処理部３１は、実施形態１と同様、複数のＩＶＵＳ画像Ｐ１を取得し（ステップＳ２１１）、記憶部３２に記憶する（ステップＳ２１２）。
　ユーザは、表示装置４に表示された血管の縦断面画像及び横断面画像（ＩＶＵＳ画像Ｐ１）とを用いて最狭窄部を確認し、バルーン拡張する位置等を計画する。ユーザは、入力装置５にてバルーン拡張する対象部位を指定し、画像処理装置３は、入力装置５にて各種指定操作を受け付け、図１２Ａに示すように、バルーン拡張する対象部位（計画拡張範囲）等を含む処置計画情報を作成し、記憶部３２に記憶する（ステップＳ２１３）。
　次いで、処理部３１は、実施形態１と同様、超音波ラインデータ生成部３３にて、処置後の複数のＩＶＵＳ画像Ｐ１を取得し（ステップＳ２１４）、記憶部３２に記憶する（ステップＳ２１５）。処理部３１は、比較対象である処置前のＩＶＵＳ画像Ｐ１を読み出す（ステップＳ２１６）。また、処置前のＩＶＵＳ画像Ｐ１に関連付けられた処置計画情報を記憶部３２から読み出す（ステップＳ２１７）。
　処理部３１は、処置前及び処置後に取得した複数のＩＶＵＳ画像Ｐ１をＩＶＵＳ画像認識学習モデル６１に入力することによって、ＩＶＵＳ画像Ｐ１における画像認識処理を実行し、内腔画像又は外弾性膜を認識する（ステップＳ２１８）。
　次いで、処理部３１は、ステップＳ２１８の画像認識結果と、処置計画情報とに基づいて、バルーン拡張が行われれるべき処置前の対象部位外側の内腔径又は血管径を算出する（ステップＳ２１９）。具体的には、処理部３１は、図１２Ｂに示すように、当該対象部位外側のＩＶＵＳ画像Ｐ１の画像認識により得られた内腔画像に基づいて、内腔径を算出することができる。また、処理部３１は、当該対象部位外側のＩＶＵＳ画像Ｐ１の画像認識により得られた外弾性膜画像に基づいて、血管径を算出することができる。
　一方で、処理部３１は、バルーン拡張が行われた処置後の対象部位外側の内腔径又は血管径を算出する（ステップＳ２２０）。処置前に取得したＩＶＵＳ画像Ｐ１と、処置後に取得したＩＶＵＳ画像Ｐ１との長手方向の位置はおおよそ対応しているため、処理部３１は、図１２Ｃに示すように、処置計画情報に基づいて、バルーン拡張が行われた対象部位外側のＩＶＵＳ画像Ｐ１を特定し、当該ＩＶＵＳ画像Ｐ１の画像認識により得られた内腔画像に基づいて、内腔径を算出することができる。同様の処理部３１は血管径を算出することができる。なお、処理部３１は、処置後の複数のＩＶＵＳ画像Ｐ１それぞれについて、内腔径又は血管径を算出するように構成してもよい。
　次いで、処理部３１は、拡張範囲外側の内腔径又は血管径が一致するよう、処置前及び処置後のＩＶＵＳ画像Ｐ１を対応付ける（ステップＳ２２１）。内腔径又は血管径は、拍動の影響等によって処置前と処置後で完全に一致するとは限らないため、処理部３１は、拡張範囲外側の内腔径又は血管径が略一致するように（実質的に一致するように）、処置前及び処置後のＩＶＵＳ画像Ｐ１を対応付ける処理を実行する。例えば、処理部３１は、処置前のＩＶＵＳ画像Ｐ１に基づく内腔径又は血管径と、対応する処置後のＩＶＵＳ画像Ｐ１に基づく内腔径又は血管径の差分を算出し、複数のＩＶＵＳ画像Ｐ１に基づく当該差分の総和が最小になるような、処置前のＩＶＵＳ画像Ｐ１と、処置後のＩＶＵＳ画像Ｐ１との対応関係を特定する。つまり、処理部３１は、処置前に取得したＩＶＵＳ画像Ｐ１の観察位置と、処置後に取得したＩＶＵＳ画像Ｐ１の観察位置とが一致するように、両ＩＶＵＳ画像Ｐ１を対応付ける。上記差分の総和が最小になるように処置前のＩＶＵＳ画像Ｐ１と、処置後のＩＶＵＳ画像Ｐ１とを対応付けることによって、拡張範囲外側の内腔径又は血管径が実質的に一致するような対応付けが可能になる。
　ステップＳ２１１の処理の詳細は以下の通りである。ステップＳ２２１の処理前においては、第ｎフレームのＩＶＵＳ画像Ｐ１と、第ｎフレームのＩＶＵＳ画像Ｐ１とが対応付けられているものとする。ｎは１以上の整数である。処理部３１は、例えば対応するフレーム番号のオブジェクト抽出ＩＶＵＳ画像Ｐ１’に基づく内腔径又は血管径の差分を算出する。処理部３１は、所定数のオブジェクト抽出ＩＶＵＳ画像Ｐ１’について、内腔径又は血管径の差分を算出する。次いで、処理部３１は、第（ｎ＋α）フレームのオブジェクト抽出ＩＶＵＳ画像Ｐ１’に基づく内腔径又は血管径と、第ｎフレームのオブジェクト抽出ＩＶＵＳ画像Ｐ１’に基づく内腔径又は血管径との差分を同様にして算出する。αは整数であり、３次元内腔画像の平行移動量に相当する。処理部３１は、変数αを１ずるインクリメントしながら、処置前及び処置後のオブジェクト抽出ＩＶＵＳ画像Ｐ１’の対応関係を検証する。そして、差分の総和、例えば差分の二乗和が最小になる変数αを特定する。
　ステップＳ２２１の処理を終えた処理部３１は、実施形態１のステップＳ１２２～ステップＳ１３０と同様の処理を実行する。
　以上の通り、本実施形態２に係る画像処理装置３等によれば、バルーン拡張が行われるべき処置前の対象部位外側の内腔径又は血管径と、処置後の血管の内腔径又は血管径とが最も一致するように、処置前及び処置後に取得した複数のＩＶＵＳ画像Ｐ１を対応付けることによって、血管の長手方向の位置を合わせて処置前後のＩＶＵＳ画像Ｐ１を対応付けて表示することができる。
（実施形態３）
　実施形態３に係る画像診断装置１００は、ステント拡張（最適化）が行われる場合において、処置前及び処置後のステント画像に基づき、血管の長手方向の位置を合わせて処置前及び処置後のＩＶＵＳ画像Ｐ１を対応付けて表示する点が実施形態１と異なる。画像処理装置３のその他の構成は、実施形態１に係る画像処理装置３と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。
　図１３は、本実施形態３に係る画像処理手順を示すフローチャートである。画像処理装置３の処理部３１は、実施形態１のステップＳ１１１～ステップＳ１１７と同様の処理を実行する（ステップＳ３１１～ステップＳ３１７）。
　ステップＳ３１７の処理を終えた処理部３１は、処理部３１は、処置前及び処置後に取得した複数のＩＶＵＳ画像Ｐ１をＩＶＵＳ画像認識学習モデル６１に入力することによって、ＩＶＵＳ画像Ｐ１の画像認識処理を実行し、ステント画像を認識する（ステップＳ３１８）。
　次いで、処理部３１は、拡張前のステント留置位置に係る代表フレームを特定する（ステップＳ３１９）。具体的には、処理部３１は、処置前に取得した複数のＩＶＵＳ画像Ｐ１から、ステントの両端及び中央部の位置に相当するＩＶＵＳ画像Ｐ１のフレーム画像を特定する。
　また、処理部３１は、拡張後のステント留置位置に係る代表フレームを特定する（ステップＳ３２０）。具体的には、処理部３１は、処置後に取得した複数のＩＶＵＳ画像Ｐ１から、ステントの両端及び中央部の位置に相当するＩＶＵＳ画像Ｐ１のフレーム画像を特定する。
　次いで、処理部３１は、特定された処置前の代表フレーム画像と、処置後の代表フレーム画像とに基づいて、処置前（ステントの留置状態の最適化前）及び処置後（ステントの留置状態の最適化後）の複数のＩＶＵＳ画像Ｐ１をそれぞれ対応付ける（ステップＳ３２１）。具体的には、処置前のステントの一端に相当するＩＶＵＳ画像Ｐ１と、ＩＶＵＳ画像Ｐ１とを対応付ける。同様に、処置前のステントの他端に相当するＩＶＵＳ画像Ｐ１と、処置後のＩＶＵＳ画像Ｐ１とを対応付ける。また、処置前のステントの中央部に相当するのＩＶＵＳ画像Ｐ１と、処置後のＩＶＵＳ画像Ｐ１とを対応付ける。
　ステップＳ３２１の処理を終えた処理部３１は、実施形態１のステップＳ１２２～ステップＳ１３０と同様の処理を実行する。
　以上の通り、本実施形態３に係る画像処理装置３等によれば、ステント拡張が行われる場合において、ステント画像の位置を合わせることによって、処置前及び処置後に取得した複数のＩＶＵＳ画像Ｐ１を対応付けることができ、血管の長手方向の位置を合わせて処置前後のＩＶＵＳ画像Ｐ１を対応付けて表示することができる。
（実施形態４）
　実施形態４に係る画像診断装置１００は、ＩＶＵＳ画像Ｐ１における石灰化部位の画像に基づいて、血管の長手方向の位置を合わせて処置前及び処置後のＩＶＵＳ画像Ｐ１を対応付けて表示する点が実施形態１と異なる。画像処理装置３のその他の構成は、実施形態１に係る画像処理装置３と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。
　図１４は、本実施形態４に係る画像処理手順を示すフローチャートである。画像処理装置３の処理部３１は、実施形態１のステップＳ１１１～ステップＳ１２１と同様の処理を実行する。ステップＳ１２１の処理によって、血管の長手方向における処置前のＩＶＵＳ画像Ｐ１と、処置後のＩＶＵＳ画像Ｐ１との位置はおよそ一致させることができる。実施形態４に係る処理部３１は、以下の処理を実行することによって、処置前及び処置後のＩＶＵＳ画像Ｐ１の対応関係を微修正する。
　ステップＳ１２１の処理を終えた処理部３１は、処置前及び処置後に取得した複数のＩＶＵＳ画像Ｐ１をＩＶＵＳ画像認識学習モデル６１に入力することによって、ＩＶＵＳ画像Ｐ１の画像認識処理を実行し、石灰化部位画像を認識する（ステップＳ４２１）。処理部３１は、石灰化部位画像を含むＩＶＵＳ画像Ｐ１のフレーム画像を特定する。また、処理部３１は、ＩＶＵＳ画像Ｐ１における石灰化部位画像の中心角度を特定する。
　図１５は、血管の長手方向に並ぶ処置前及び処置後の複数のＩＶＵＳ画像Ｐ１を示す説明図である。上図は、血管の長手方向に並ぶ処置前の複数のＩＶＵＳ画像Ｐ１を示しており、白抜き部分は石灰化部位画像を含まないＩＶＵＳ画像Ｐ１を示し、ハッチングが付された部位は石灰化部位画像を含むＩＶＵＳ画像Ｐ１を示している。「２０°」、「７０°」、「１２０°」などは、石灰化部位画像を含むＩＶＵＳ画像Ｐ１における石灰化部位の中心角度、つまり、ＩＶＵＳ画像Ｐ１における石灰化部位の周方向の位置を示している。下図は、血管の長手方向に並ぶ処置後の複数のＩＶＵＳ画像Ｐ１を示している。処置前及び処置後のＩＶＵＳ画像Ｐ１を比較した場合、血管の長手方向における観察位置及び観察方向が、両者で異なることが分かる。
　次いで、処理部３１は、複数の石灰化部位の長手方向位置が一致するように処置前及び処置後のＩＶＵＳ画像Ｐ１を対応付ける（ステップＳ４２２）。例えば、処理部３１は、連続する複数のＩＶＵＳ画像Ｐ１に石灰化部位画像が含まれている場合、当該複数のＩＶＵＳ画像Ｐ１を一つのグループとして認識し、血管の長手方向中央のＩＶＵＳ画像Ｐ１を代表フレーム画像として特定する。長手方向における処置前の代表フレーム画像と、処置後の代表フレーム画像との距離が最も近いものをペアとして扱い、処理部３１は、当該代表フレーム画像の距離を算出する。複数組みの代表フレーム画像がある場合、処理部３１は、各代表フレーム画像間の距離を算出し、距離の総和が最小となるように、ＩＶＵＳ画像Ｐ１の長手方向の位置を微調整し、処置前のＩＶＵＳ画像Ｐ１と、処置後のＩＶＵＳ画像Ｐ１とを対応付ける。
　次いで、処理部３１は、ＩＶＵＳ画像Ｐ１における石灰化部位画像の中心角度が一致するようにＩＶＵＳ画像Ｐ１の回転角を補正する（ステップＳ４２３）。例えば、処理部３１は、処理前の代表フレーム画像に含まれる石灰化部位画像の中心角と、対応する処置後の代表フレーム画像に含まれる石灰化部位画像の中心角度との差分を算出する。そして、処理部３１は、他の代表フレーム画像についても同様にして中心角度の差分を算出し、差分の総和が最小となるように回転角度の補正量を算出し、算出した補正量だけＩＶＵＳ画像Ｐ１を回転させることによって、ＩＶＵＳ画像Ｐ１の向きを補正する。図１５に示す例では、処置後のＩＶＵＳ画像Ｐ１の周方向の角度を、３０度減算、言い換えると時計回りに３０度回転させることによって、処置前のＩＶＵＳ画像Ｐ１と処置後のＩＶＵＳ画像Ｐ１の向きを揃えることができる。
　処理部３１は、ステップＳ４２２及びステップＳ４２３の処理で長手方向の位置が微調整され、中心角度が補正された処置前の代表フレーム画像と、処置後の代表フレーム画像とをそれぞれ対応付けて表示する（ステップＳ４２４）。
　以上の通り、本実施形態４に係る画像処理装置３等によれば、実施形態１に比べてより正確に血管の長手方向の位置を合わせて処置前後のＩＶＵＳ画像Ｐ１を対応付けて表示することができる。また、処置前及び処置後のＩＶＵＳ画像Ｐ１の回転角度、つまり向きを合わせて表示することができる。
　なお、本実施形態４では、ステント留置位置に基づいて、処置前及び処置後のＩＶＵＳ画像Ｐ１を対応付けた上、石灰化部位画像の位置及び中心角度に基づいて、ＩＶＵＳ画像Ｐ１の対応関係及び中心角度を補正する例を説明したが、本実施形態４の手法のみで、処置前及び処置後のＩＶＵＳ画像Ｐ１を対応付けて表示するように構成してもよい。
　また、本実施形態４では、石灰化部位画像を用いて、血管の長手方向における観察位置及び観察方向が一致するように、処置前及び処置後のＩＶＵＳ画像Ｐ１を対応付ける例を説明したが、側枝、Attenuated プラーク、心外膜又は静脈等、その他のオブジェクト画像に基づいて、同様の処理を実行するように構成してもよい。
（実施形態５）
　実施形態５に係る画像診断装置１００は、実施形態１に係るステップＳ１１６の処理を自動的に実行する点が実施形態１と異なる。画像処理装置３のその他の構成は、実施形態１に係る画像処理装置３と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。
　図１６は、本実施形態５に係る画像処理手順を示すフローチャートである。処理部３１は、ステップＳ１１６において、以下の処理を実行する。処理部３１は、処置後のＩＶＵＳ画像Ｐ１に係る撮像日時、血管名、病変名、処置関連情報等を記憶部３２から読み出す（ステップＳ５５１）。次いで、処理部３１は、撮像日時がより前の日時であり、血管名、病変名等が一致し、処置内容が整合するＩＶＵＳ画像Ｐ１を検索し（ステップＳ５５２）、検索条件に合致する処置前のＩＶＵＳ画像Ｐ１を断層画像ＤＢ６３から読み出す（ステップＳ５５３）。
　以上の通り、本実施形態５に係る画像処理装置３等によれば、処置後にＩＶＵＳ画像Ｐ１を取得した場合、自動的に比較対象である処置前のＩＶＵＳ画像Ｐ１のデータを記憶部３２から読み出し、各ＩＶＵＳ画像Ｐ１に基づく、血管の縦断層画像Ｐ１及びＩＶＵＳ画像Ｐ１を並べて表示装置４に表示することができる。
　１　　　画像診断用カテーテル
　２　　　ＭＤＵ
　３　　　画像処理装置
　４　　　表示装置
　５　　　入力装置
　１１　プローブ
　１２　センサ部
　１２ａ　超音波送受信部
　１２ｂ　光送受信部
　１２ｃ　ハウジング
　１３　シャフト
　１４　ガイドワイヤ挿通部
　１５　コネクタ部
　３０　記録媒体
　３１　処理部
　３２　記憶部
　３３　超音波ラインデータ生成部
　３４　光ラインデータ生成部
　６１　ＩＶＵＳ画像認識学習モデル
　６２　ＯＦＤＩ画像認識学習モデル
　Ｐ１　ＩＶＵＳ画像
　Ｐ１’　オブジェクト抽出ＩＶＵＳ画像
　Ｐ２　ＯＦＤＩ画像
　１００　画像診断装置
　１０１　血管内検査装置
　１０２　血管造影装置
 

Claims (13)

  1. 　管腔器官を走査するためのセンサ部を前記管腔器官の走行方向に沿って移動させながら該管腔器官の複数の断層画像を取得し、
    　前記管腔器官に対する処置前に取得した複数の断層画像のうち、前記管腔器官に対する処置が行われるべき対象部位に関連する少なくとも一の断層画像を選択し、
    　処置後に取得した複数の断層画像の画像認識処理により、選択された処置前の前記一の断層画像に対応する処置後の断層画像を特定し、
    　断層画像の特定結果に基づいて、処置前に取得した断層画像と、処置後に取得した断層画像とを対応付けて表示する
    　処理をコンピュータに実行させるためのコンピュータプログラム。
  2. 　前記管腔器官に対する処置が行われる対象部位の断層画像を示す処置計画情報を取得し、
    　取得した前記処置計画情報に基づいて、前記管腔器官に対する処置が行われるべき対象部位に関連する少なくとも一の断層画像を選択する
    　請求項１に記載のコンピュータプログラム。
  3. 　前記処置計画情報は、処置前に取得した複数の断層画像のうち、ステントが留置されるべき対象部位の端部又は中央部の断層画像を示す情報を含み、
    　処置後に取得した複数の断層画像の画像認識処理により、ステントの画像を含む断層画像を認識し、
    　留置されたステントの端部又は中央部の処置後の断層画像を、処置前の前記端部又は中央部の断層画像に対応する断層画像として特定する
    　請求項２に記載のコンピュータプログラム。
  4. 　前記処置計画情報は、処置前に取得した複数の断層画像のうち、バルーン拡張が行われるべき対象部位の断層画像を示す情報を含み、
    　バルーン拡張が行われるべき対象部位の外側の断層画像の画像認識処理により得られる特徴量と、処置後に取得した複数の断層画像の画像認識処理により得られる前記特徴量とを比較することによって、バルーン拡張が行われるべき対象部位の外側の処置前の断層画像に対応する処置後の断層画像を特定する
    　請求項２又は請求項３に記載のコンピュータプログラム。
  5. 　前記管腔器官に留置されたステントの留置状態の最適化に係る処置が行われる場合、処置前及び処置後に取得した複数の断層画像の画像認識処理により、ステントの画像を含む断層画像を認識し、
    　最適化後のステントの端部又は中央部の処置後の断層画像を、最適化前の留置されたステントの前記端部又は中央部の処置前の断層画像に対応する断層画像として特定する
    　請求項１から請求項４のいずれか１項に記載のコンピュータプログラム。
  6. 　処置前及び処置後に取得した複数の断層画像にそれぞれ含まれるオブジェクト画像を認識し、
    　処置前及び処置後の各断層画像に含まれるオブジェクト画像の位置が対応するように、処置前に取得した断層画像と、処置後に取得した断層画像とを対応付ける
    　請求項１から請求項５のいずれか１項に記載のコンピュータプログラム。
  7. 　処置前及び処置後に取得した複数の断層画像にそれぞれ含まれるオブジェクト画像を認識し、
    　前記処置計画情報に基づいて、処置前に取得した断層画像と、処置後に取得した断層画像との対応関係を特定した後に、処置前及び処置後の断層画像に含まれるオブジェクト画像の位置が対応するように、前記対応関係を修正する
    　請求項２から請求項４のいずれか１項に記載のコンピュータプログラム。
  8. 　走行方向に離隔する複数の部位に相当する処置前及び処置後の断層画像にオブジェクト画像が含まれる場合、前記複数の部位の処置前の断層画像と、前記複数の部位の処置後の断層画像とを対応付けることによって、処置前の複数の断層画像と、処置後の複数の断層画像との対応関係を特定し、
    　前記管腔器官の走行方向の位置が合うように、処置前に取得した断層画像と、処置後に取得した断層画像とを対応付けて表示する
    　請求項１から請求項７のいずれか１項に記載のコンピュータプログラム。
  9. 　処置前及び処置後の断層画像にオブジェクト画像が含まれる場合、処置前の断層画像に含まれるオブジェクト画像と、処置後の断層画像に含まれるオブジェクト画像とを対応付けることによって、処置前の複数の断層画像における管腔器官の周方向の角度と、処置後の複数の断層画像における管腔器官の周方向の角度との対応関係を特定し、
    　前記管腔器官の走行方向の位置及び周方向の角度が合うように、処置前に取得した断層画像と、処置後に取得した断層画像とを対応付けて表示する
    　請求項１から請求項８のいずれか１項に記載のコンピュータプログラム。
  10. 　前記オブジェクト画像は、プラーク、側枝、心外膜又は静脈の画像を含む
    　請求項６から請求項９のいずれか１項に記載のコンピュータプログラム。
  11. 　前記管腔器官の複数の断層画像を取得した場合、取得した複数の断層画像と、該断層画像に係る前記管腔器官を識別する識別情報と、前記管腔器官に対する処置に関連する処置関連情報とを対応付けて記憶部に記憶し、
    　前記識別情報及び前記処置関連情報に基づいて、処置後に取得した複数の断層画像と対応付けて表示すべき、処置前に取得した複数の断層画像を前記記憶部から読み出す
    　請求項１から請求項１０のいずれか１項に記載のコンピュータプログラム。
  12. 　管腔器官を走査するためのセンサ部を前記管腔器官の走行方向に沿って移動させることによって得られた該管腔器官の複数の断層画像を取得し、
    　前記管腔器官に対する処置前に取得した複数の断層画像のうち、前記管腔器官に対する処置が行われるべき対象部位に関連する少なくとも一の断層画像を選択し、
    　処置後に取得した複数の断層画像の画像認識処理により、選択された処置前の前記一の断層画像に対応する処置後の断層画像を特定し、
    　断層画像の特定結果に基づいて、処置前に取得した断層画像と、処置後に取得した断層画像とを対応付けて表示する
    　画像処理方法。
  13. 　管腔器官を走査するためのセンサ部を前記管腔器官の走行方向に沿って移動させながら該管腔器官の複数の断層画像を取得する取得部と、
    　該取得部にて取得した断層画像を表示装置に表示させる処理を実行する処理部と
    　を備え、
    　前記処理部は、
    　前記管腔器官に対する処置前に取得した複数の断層画像のうち、前記管腔器官に対する処置が行われるべき対象部位に関連する少なくとも一の断層画像を選択し、
    　処置後に取得した複数の断層画像の画像認識処理により、選択された処置前の前記一の断層画像に対応する処置後の断層画像を特定し、
    　断層画像の特定結果に基づいて、処置前に取得した断層画像と、処置後に取得した断層画像とを対応付けて表示する
    　画像処理装置。
     
PCT/JP2023/008701 2022-03-28 2023-03-08 コンピュータプログラム、画像処理方法及び画像処理装置 WO2023189308A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022052274 2022-03-28
JP2022-052274 2022-03-28

Publications (1)

Publication Number Publication Date
WO2023189308A1 true WO2023189308A1 (ja) 2023-10-05

Family

ID=88201447

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/008701 WO2023189308A1 (ja) 2022-03-28 2023-03-08 コンピュータプログラム、画像処理方法及び画像処理装置

Country Status (1)

Country Link
WO (1) WO2023189308A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009240359A (ja) * 2008-03-28 2009-10-22 Kazunori Urasawa 画像解析装置及び画像解析方法
JP2012061086A (ja) * 2010-09-15 2012-03-29 Toshiba Corp 医用画像表示システム
JP2012200532A (ja) * 2011-03-28 2012-10-22 Terumo Corp 画像診断装置及び表示方法
JP2013056113A (ja) * 2011-09-09 2013-03-28 Toshiba Corp 画像表示装置
JP2016064073A (ja) * 2014-09-25 2016-04-28 テルモ株式会社 画像処理装置、画像処理装置の制御方法、プログラムおよび記憶媒体
JP2017527418A (ja) * 2014-07-24 2017-09-21 ライトラボ・イメージング・インコーポレーテッド ステント及び血管の可視化及び診断のシステム、装置、及び方法
JP2021517034A (ja) * 2018-03-15 2021-07-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 管腔内病巣評価及び処置計画のための解剖学的標識の決定及び可視化

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009240359A (ja) * 2008-03-28 2009-10-22 Kazunori Urasawa 画像解析装置及び画像解析方法
JP2012061086A (ja) * 2010-09-15 2012-03-29 Toshiba Corp 医用画像表示システム
JP2012200532A (ja) * 2011-03-28 2012-10-22 Terumo Corp 画像診断装置及び表示方法
JP2013056113A (ja) * 2011-09-09 2013-03-28 Toshiba Corp 画像表示装置
JP2017527418A (ja) * 2014-07-24 2017-09-21 ライトラボ・イメージング・インコーポレーテッド ステント及び血管の可視化及び診断のシステム、装置、及び方法
JP2016064073A (ja) * 2014-09-25 2016-04-28 テルモ株式会社 画像処理装置、画像処理装置の制御方法、プログラムおよび記憶媒体
JP2021517034A (ja) * 2018-03-15 2021-07-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 管腔内病巣評価及び処置計画のための解剖学的標識の決定及び可視化

Similar Documents

Publication Publication Date Title
US20220346885A1 (en) Artificial intelligence coregistration and marker detection, including machine learning and using results thereof
US8126534B2 (en) Medical catheter and system for inserting a catheter into a vessel
US20090234445A1 (en) Catheter device and associated Medical examination and treatment apparatus as well as associated method
WO2014136137A1 (ja) 画像診断装置及び情報処理装置及びそれらの制御方法、プログラム及びコンピュータ可読記憶媒体
WO2021048834A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
JP2016506276A (ja) 血管内画像の位置の特定
US20240013385A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
JP6794226B2 (ja) 画像診断装置、画像診断装置の作動方法およびプログラム
JP6717801B2 (ja) 画像診断装置および画像構築方法
CN115666402A (zh) 带成像的自扩展支架系统
JP6170565B2 (ja) 画像診断装置及びその作動方法
WO2023189308A1 (ja) コンピュータプログラム、画像処理方法及び画像処理装置
JP2022055170A (ja) コンピュータプログラム、画像処理方法及び画像処理装置
JP2017131348A (ja) 画像表示装置およびその制御方法、ｘ線不透過マーカ検出方法
WO2023054467A1 (ja) モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置
JP2014204904A (ja) 医用ガイドシステム
US20240008849A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
US20240013386A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
WO2022209652A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
WO2023132332A1 (ja) コンピュータプログラム、画像処理方法及び画像処理装置
WO2022202320A1 (ja) プログラム、情報処理方法及び情報処理装置
WO2022209705A1 (ja) プログラム、画像処理方法及び画像処理装置
WO2024071322A1 (ja) 情報処理方法、学習モデルの生成方法、コンピュータプログラム及び情報処理装置
WO2023100838A1 (ja) コンピュータプログラム、情報処理装置、情報処理方法及び学習モデル生成方法
JP2022146619A (ja) コンピュータプログラム、画像処理方法及び画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23779335

Country of ref document: EP

Kind code of ref document: A1