WO2022209657A1 - コンピュータプログラム、情報処理方法及び情報処理装置 - Google Patents

コンピュータプログラム、情報処理方法及び情報処理装置 Download PDF

Info

Publication number
WO2022209657A1
WO2022209657A1 PCT/JP2022/010199 JP2022010199W WO2022209657A1 WO 2022209657 A1 WO2022209657 A1 WO 2022209657A1 JP 2022010199 W JP2022010199 W JP 2022010199W WO 2022209657 A1 WO2022209657 A1 WO 2022209657A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
medical images
medical
ivus
images
Prior art date
Application number
PCT/JP2022/010199
Other languages
English (en)
French (fr)
Inventor
雄紀 坂口
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to JP2023510770A priority Critical patent/JPWO2022209657A1/ja
Publication of WO2022209657A1 publication Critical patent/WO2022209657A1/ja
Priority to US18/471,264 priority patent/US20240013386A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to a computer program, an information processing method, and an information processing apparatus.
  • Medical images including ultrasonic tomograms of blood vessels are generated by the intravascular ultrasound (IVUS: Intra Vascular Ultra Sound) method using a catheter, and intravascular ultrasound examinations are performed.
  • IVUS Intra Vascular Ultra Sound
  • techniques for adding information to medical images by image processing or machine learning are being developed for the purpose of assisting doctors' diagnosis (for example, Patent Document 1).
  • a feature detection method in a blood vessel image described in Patent Document 1 detects a lumen wall, a stent, and the like included in the blood vessel image.
  • An object of the present disclosure is to provide a computer program or the like that efficiently detects objects based on medical images obtained by scanning a hollow organ with a catheter.
  • the computer program causes the computer to acquire a plurality of first medical images generated along the axial direction of the hollow organ based on signals detected by a catheter inserted into the hollow organ, and acquires A plurality of second medical images are extracted from the plurality of first medical images obtained at predetermined intervals in the axial direction of the hollow organ, and the extracted plurality of second medical images are obtained when a medical image is input.
  • a learning model that outputs information about objects included in the extracted second medical images
  • the types and regions of the objects are specified, and the specified types and regions of the objects are identified.
  • a reference image is determined from the plurality of second medical images, and a first medical image within a predetermined range in the axial direction of the hollow organ from the determined reference image is input to the learning model.
  • the information processing method acquires, in a computer, a plurality of first medical images generated along the axial direction of the hollow organ based on signals detected by a catheter inserted into the hollow organ, A plurality of second medical images are extracted at predetermined intervals in the axial direction of the hollow organ from the plurality of acquired first medical images, and the plurality of extracted second medical images are input when medical images are input.
  • An information processing apparatus includes an acquisition unit that acquires a plurality of first medical images generated along the axial direction of the hollow organ based on signals detected by a catheter inserted into the hollow organ; an extraction unit for extracting a plurality of second medical images at predetermined intervals in the axial direction of the hollow organ from the plurality of acquired first medical images; an identifying unit that identifies the types and regions of the objects included in the plurality of extracted second medical images by inputting information about the objects included in the medical images into a learning model that outputs information about the objects included in the medical images when the a determination unit that determines a reference image from the plurality of second medical images based on the type and region of the object; and a first medical image within a predetermined range in the axial direction of the hollow organ from the determined reference image. to the learning model.
  • FIG. 1 is an explanatory diagram showing a configuration example of an image diagnostic apparatus
  • FIG. FIG. 2 is an explanatory diagram for explaining an outline of a diagnostic imaging catheter
  • FIG. 4 is an explanatory view showing a cross section of a blood vessel through which a sensor section is passed
  • FIG. 4 is an explanatory diagram for explaining a tomographic image
  • 1 is a block diagram showing a configuration example of an image processing apparatus
  • FIG. FIG. 4 is an explanatory diagram showing an example of a learning model
  • FIG. 10 is an explanatory diagram relating to extraction of a second medical image
  • FIG. 10 is an explanatory diagram of a representative value (plaque burden) of a second medical image
  • FIG. 10 is an explanatory diagram regarding a range determined based on a reference image
  • 4 is a flowchart showing an information processing procedure by a control unit
  • 4 is a flow chart showing a stent size selection procedure.
  • FIG. 11 is an explanatory diagram of a range determined based on a reference image in Embodiment 2;
  • cardiac catheterization which is intravascular treatment
  • lumenal organs targeted for catheterization are not limited to blood vessels. It may be a hollow organ.
  • FIG. 1 is an explanatory diagram showing a configuration example of an image diagnostic apparatus 100.
  • an image diagnostic apparatus using a dual-type catheter having both intravascular ultrasound (IVUS) and optical coherence tomography (OCT) functions will be described.
  • Dual-type catheters are provided with a mode for acquiring ultrasound tomographic images only by IVUS, a mode for acquiring optical coherence tomographic images only by OCT, and a mode for acquiring both tomographic images by IVUS and OCT. , you can switch between these modes.
  • an ultrasound tomographic image and an optical coherence tomographic image will be referred to as an IVUS image and an OCT image, respectively.
  • IVUS images and OCT images are collectively referred to as tomographic images, which correspond to medical images.
  • the diagnostic imaging apparatus 100 of this embodiment includes an intravascular examination apparatus 101 , an angiography apparatus 102 , an image processing apparatus 3 , a display apparatus 4 and an input apparatus 5 .
  • An intravascular examination apparatus 101 includes a diagnostic imaging catheter 1 and an MDU (Motor Drive Unit) 2 .
  • the diagnostic imaging catheter 1 is connected to the image processing device 3 via the MDU 2 .
  • a display device 4 and an input device 5 are connected to the image processing device 3 .
  • the display device 4 is, for example, a liquid crystal display or an organic EL display
  • the input device 5 is, for example, a keyboard, mouse, trackball, microphone, or the like.
  • the display device 4 and the input device 5 may be laminated integrally to form a touch panel.
  • the input device 5 and the image processing device 3 may be configured integrally.
  • the input device 5 may be a sensor that accepts gesture input, line-of-sight input, or the like.
  • the angiography device 102 is connected to the image processing device 3.
  • the angiography apparatus 102 is an angiography apparatus for capturing an image of a blood vessel using X-rays from outside the patient's body while injecting a contrast agent into the patient's blood vessel to obtain an angiography image, which is a fluoroscopic image of the blood vessel.
  • the angiography apparatus 102 includes an X-ray source and an X-ray sensor, and the X-ray sensor receives X-rays emitted from the X-ray source to image a patient's X-ray fluoroscopic image.
  • the diagnostic imaging catheter 1 is provided with a marker that does not transmit X-rays, and the position of the diagnostic imaging catheter 1 (marker) is visualized in the angiographic image.
  • the angiography apparatus 102 outputs an angio image obtained by imaging to the image processing apparatus 3 and causes the display apparatus 4 to display the angio image via the image processing apparatus 3 .
  • the display device 4 displays an angiographic image and a tomographic image captured using the diagnostic imaging catheter 1 .
  • FIG. 2 is an explanatory diagram for explaining the outline of the diagnostic imaging catheter 1.
  • FIG. The upper one-dot chain line area in FIG. 2 is an enlarged view of the lower one-dot chain line area.
  • the diagnostic imaging catheter 1 has a probe 11 and a connector portion 15 arranged at the end of the probe 11 .
  • the probe 11 is connected to the MDU 2 via the connector section 15 .
  • the side far from the connector portion 15 of the diagnostic imaging catheter 1 is referred to as the distal end side, and the connector portion 15 side is referred to as the proximal end side.
  • the probe 11 has a catheter sheath 11a, and a guide wire insertion portion 14 through which a guide wire can be inserted is provided at the distal end thereof.
  • the guidewire insertion part 14 constitutes a guidewire lumen, receives a guidewire previously inserted into the blood vessel, and is used to guide the probe 11 to the affected part by the guidewire.
  • the catheter sheath 11 a forms a continuous tube portion from the connection portion with the guide wire insertion portion 14 to the connection portion with the connector portion 15 .
  • a shaft 13 is inserted through the catheter sheath 11 a , and a sensor section 12 is connected to the distal end of the shaft 13 .
  • the sensor section 12 has a housing 12d, and the distal end side of the housing 12d is formed in a hemispherical shape to suppress friction and catching with the inner surface of the catheter sheath 11a.
  • an ultrasonic transmission/reception unit 12a (hereinafter referred to as an IVUS sensor 12a) for transmitting ultrasonic waves into the blood vessel and receiving reflected waves from the blood vessel
  • An optical transmitter/receiver 12b (hereinafter referred to as an OCT sensor 12b) for receiving reflected light from inside the blood vessel is arranged.
  • an IVUS sensor 12a is provided on the distal end side of the probe 11
  • an OCT sensor 12b is provided on the proximal end side.
  • the IVUS sensor 12a and the OCT sensor 12b are attached in a direction that is approximately 90 degrees to the axial direction of the shaft 13 (the radial direction of the shaft 13) as the transmitting/receiving direction of ultrasonic waves or near-infrared light. It is The IVUS sensor 12a and the OCT sensor 12b are desirably installed with a slight displacement from the radial direction so as not to receive reflected waves or reflected light from the inner surface of the catheter sheath 11a. In the present embodiment, for example, as indicated by the arrow in FIG.
  • the IVUS sensor 12a emits ultrasonic waves in a direction inclined toward the proximal side with respect to the radial direction, and the OCT sensor 12b It is attached so that the direction inclined toward the tip side is the irradiation direction of the near-infrared light.
  • An electric signal cable (not shown) connected to the IVUS sensor 12a and an optical fiber cable (not shown) connected to the OCT sensor 12b are inserted into the shaft 13.
  • the probe 11 is inserted into the blood vessel from the tip side.
  • the sensor unit 12 and the shaft 13 can move forward and backward inside the catheter sheath 11a, and can rotate in the circumferential direction.
  • the sensor unit 12 and the shaft 13 rotate around the central axis of the shaft 13 as a rotation axis.
  • an ultrasonic tomographic image IVUS image
  • OCT image optical interference image
  • the MDU 2 is a driving device to which the probe 11 (catheter 1 for diagnostic imaging) is detachably attached via the connector portion 15. By driving the built-in motor according to the operation of the medical staff, the image inserted into the blood vessel is displayed. It controls the operation of the diagnostic catheter 1 .
  • the MDU 2 performs a pullback operation in which the sensor unit 12 and the shaft 13 inserted into the probe 11 are pulled toward the MDU 2 side at a constant speed and rotated in the circumferential direction.
  • the sensor unit 12 continuously scans the inside of the blood vessel at predetermined time intervals while rotating while moving from the distal end side to the proximal end side by a pullback operation, thereby obtaining a plurality of transverse layer images substantially perpendicular to the probe 11 . are taken continuously at predetermined intervals.
  • the MDU 2 outputs the ultrasonic reflected wave data received by the IVUS sensor 12 a and the reflected light data received by the OCT sensor 12 b to the image processing device 3 .
  • the image processing device 3 acquires a signal data set that is reflected wave data of ultrasonic waves received by the IVUS sensor 12a via the MDU 2 and a signal data set that is reflected light data received by the OCT sensor 12b.
  • the image processing device 3 generates ultrasound line data from the ultrasound signal data set, and constructs an ultrasound tomographic image (IVUS image) of the transverse layer of the blood vessel based on the generated ultrasound line data.
  • the image processing device 3 also generates optical line data from the signal data set of the reflected light, and constructs an optical tomographic image (OCT image) of the transverse layer of the blood vessel based on the generated optical line data.
  • FIG. 3 is an explanatory view showing a cross section of a blood vessel through which the sensor section 12 is passed
  • FIG. 4 is an explanatory view explaining a tomographic image.
  • the operations of the IVUS sensor 12a and the OCT sensor 12b in the blood vessel and the signal data sets (ultrasound line data and optical line data) acquired by the IVUS sensor 12a and the OCT sensor 12b will be described.
  • the imaging core rotates about the central axis of the shaft 13 in the direction indicated by the arrow.
  • the IVUS sensor 12a transmits and receives ultrasonic waves at each rotation angle.
  • Lines 1, 2, . . . 512 indicate the transmission and reception directions of ultrasonic waves at each rotation angle.
  • the IVUS sensor 12a intermittently transmits and receives ultrasonic waves 512 times while rotating 360 degrees (one rotation) in the blood vessel. Since the IVUS sensor 12a obtains data of one line in the transmitting/receiving direction by one transmission/reception of ultrasonic waves, it is possible to obtain 512 ultrasonic line data radially extending from the center of rotation during one rotation. can.
  • the 512 ultrasonic line data are dense near the center of rotation, but become sparse with distance from the center of rotation. Therefore, the image processing device 3 can generate a two-dimensional ultrasonic tomographic image (IVUS image) as shown in FIG. 4A by generating pixels in the empty space of each line by a well-known interpolation process. .
  • the OCT sensor 12b also transmits and receives measurement light at each rotation angle. Since the OCT sensor 12b also transmits and receives measurement light 512 times while rotating 360 degrees inside the blood vessel, it is possible to obtain 512 optical line data radially extending from the center of rotation during one rotation. can.
  • the image processing device 3 generates a two-dimensional optical coherence tomographic image (OCT image) similar to the IVUS image shown in FIG. ) can be generated. That is, the image processing device 3 generates light line data based on the interference light generated by causing the reflected light and the reference light obtained by, for example, separating the light from the light source in the image processing device 3 to interfere with each other. is generated, and an optical tomographic image (OCT image) obtained by imaging the transverse layer of the blood vessel is constructed based on the generated optical line data.
  • OCT image optical coherence tomographic image
  • a two-dimensional tomographic image generated from 512 line data in this way is called a one-frame IVUS image or OCT image. Since the sensor unit 12 scans while moving inside the blood vessel, one frame of IVUS image or OCT image is acquired at each position after one rotation within the movement range. That is, since one frame of IVUS image or OCT image is acquired at each position from the distal side to the proximal side of the probe 11 in the movement range, as shown in FIG. 4B, multiple frames of IVUS images or An OCT image is acquired.
  • the diagnostic imaging catheter 1 does not transmit X-rays in order to confirm the positional relationship between the IVUS image obtained by the IVUS sensor 12a or the OCT image obtained by the OCT sensor 12b and the angiographic image obtained by the angiography device 102.
  • markers In the example shown in FIG. 2, a marker 14a is provided at the distal end portion of the catheter sheath 11a, for example, the guide wire insertion portion 14, and a marker 12c is provided at the sensor portion 12 on the shaft 13 side.
  • the diagnostic imaging catheter 1 configured in this manner is imaged with X-rays, an angiographic image in which the markers 14a and 12c are visualized is obtained.
  • the positions at which the markers 14a and 12c are provided are examples, the marker 12c may be provided on the shaft 13 instead of the sensor section 12, and the marker 14a may be provided at a location other than the distal end of the catheter sheath 11a.
  • FIG. 5 is a block diagram showing a configuration example of the image processing device 3.
  • the image processing device 3 is a computer (information processing device) and includes a control section 31 , a main storage section 32 , an input/output I/F 33 , an auxiliary storage section 34 and a reading section 35 .
  • the control unit 31 includes one or more CPU (Central Processing Unit), MPU (Micro-Processing Unit), GPU (Graphics Processing Unit), GPGPU (General-purpose computing on graphics processing units), TPU (Tensor Processing Unit), etc. is configured using an arithmetic processing unit.
  • the control unit 31 is connected to each hardware unit constituting the image processing apparatus 3 via a bus.
  • the main storage unit 32 is a temporary storage area such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the control unit 31 to perform arithmetic processing.
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • flash memory etc.
  • the input/output I/F 33 is an interface to which the intravascular examination device 101, the angiography device 102, the display device 4 and the input device 5 are connected.
  • the control unit 31 acquires IVUS images and OCT images from the intravascular examination apparatus 101 and acquires angiographic images from the angiography apparatus 102 via the input/output I/F 33 . Further, the control unit 31 displays a medical image on the display device 4 by outputting a medical image signal of an IVUS image, an OCT image, or an angio image to the display device 4 via the input/output I/F 33 . Furthermore, the control unit 31 receives information input to the input device 5 via the input/output I/F 33 .
  • the input/output I/F 33 is connected to, for example, a 4G, 5G, or WiFi wireless communication unit, and the image processing device 3 is connected to an external network such as the Internet via the communication unit. It may be communicably connected to an external server such as a cloud server.
  • the control unit 31 accesses the external server via the communication unit and the external network, refers to medical data, article information, etc. stored in the storage device included in the external server, and performs processing related to information provision. (Providing process for providing support information) may be performed. Alternatively, the control unit 31 may perform processing in cooperation with the external server, for example, by performing inter-process communication.
  • the auxiliary storage unit 34 is a storage device such as a hard disk, EEPROM (Electrically Erasable Programmable ROM), flash memory, or the like.
  • the auxiliary storage unit 34 stores a computer program P (program product) executed by the control unit 31 and various data required for processing by the control unit 31 .
  • the auxiliary storage unit 34 may be an external storage device connected to the image processing device 3 .
  • the computer program P (program product) may be written in the auxiliary storage unit 34 at the manufacturing stage of the image processing apparatus 3, or may be distributed by a remote server apparatus and acquired by the image processing apparatus 3 through communication. You may make it memorize
  • the computer program P (program product) may be readable and recorded on a recording medium 30 such as a magnetic disk, an optical disk, or a semiconductor memory. may be stored.
  • the image processing device 3 may be a multicomputer including a plurality of computers. Further, the image processing device 3 may be a server client system, a cloud server, or a virtual machine virtually constructed by software. In the following description, it is assumed that the image processing apparatus 3 is one computer. In this embodiment, the image processing device 3 is connected to the angiography device 102 for capturing two-dimensional angiographic images. It is not limited to the angiography apparatus 102 as long as it is an apparatus that
  • the control unit 31 reads out and executes the computer program P stored in the auxiliary storage unit 34, thereby obtaining an IVUS image based on the signal data set received from the IVUS sensor 12a and an OCT image.
  • a process is performed to construct an OCT image based on the signal data set received from the sensor 12b.
  • the observation positions of the IVUS sensor 12a and the OCT sensor 12b are shifted at the same imaging timing. Therefore, the control unit 31 executes processing to correct the observation position shift between the IVUS image and the OCT image. . Therefore, the image processing apparatus 3 of the present embodiment provides an image that is easy to read by providing an IVUS image and an OCT image with matching observation positions.
  • the diagnostic imaging catheter is a dual-type catheter that has both intravascular ultrasound (IVUS) and optical coherence tomography (OCT) functions, but is not limited to this.
  • the diagnostic imaging catheter may be a single-type catheter with either intravascular ultrasound (IVUS) or optical coherence tomography (OCT) capabilities.
  • the diagnostic imaging catheter has an intravascular ultrasound (IVUS) function, and the description will be based on an IVUS image generated by the IVUS function.
  • the medical image is not limited to the IVUS image, and the processing of the present embodiment may be performed using an OCT image as the medical image.
  • FIG. 6 is an explanatory diagram showing an example of the learning model 341.
  • FIG. Learning model 341 is, for example, a neural network that performs object detection, semantic segmentation, or instance segmentation. Based on each IVUS image in the input IVUS image group, the learning model 341 determines whether the IVUS image includes an object such as a stent or plaque (presence or absence), and if the object is included (if there is an object). case), the type (class) of the object, the region in the IVUS image, and the estimation accuracy (score) are output.
  • the learning model 341 is configured by, for example, a convolutional neural network (CNN) that has been trained by deep learning.
  • the learning model 341 includes, for example, an input layer 341a to which a medical image such as an IVUS image is input, an intermediate layer 341b that extracts the image feature amount (image feature amount), and the positions and types of objects included in the medical image. and an output layer 341c for outputting information indicating.
  • the input layer 341a of the learning model 341 has a plurality of neurons that receive pixel values of pixels included in the medical image, and transfers the input pixel values to the intermediate layer 341b.
  • the intermediate layer 341b has a configuration in which a convolution layer for convolving the pixel value of each pixel input to the input layer 341a and a pooling layer for mapping the pixel value convoluted in the convolution layer are alternately connected.
  • the feature amount of the image is extracted while compressing the pixel information of the image.
  • the intermediate layer 341b transfers the extracted feature quantity to the output layer 341c.
  • the output layer 341c has one or more neurons that output the position, range, type, etc. of the image area of the object contained in the image, for example, as a label image.
  • the label image is an image in which, for example, pixels corresponding to areas of plaque are of class "1" and pixels corresponding to other images are of class "0".
  • learning model 341 is assumed to be CNN, the configuration of learning model 341 is not limited to CNN.
  • the learning model 341 is, for example, a neural network other than CNN, an FCN (fully convolution network) such as U-net, SegNet, SSD, SPPnet, SVM (Support Vector Machine), a Bayesian network, or a learned configuration such as a regression tree can be a model.
  • the learning model 341 may perform object recognition by inputting the image feature amount output from the intermediate layer to an SVM (support vector machine).
  • the learning model 341 has a segmentation function, an object detection function, a classification function, or a regression function, and performs segmentation, object detection, classification, or regression to output (estimate) information about objects included in the medical image. )do.
  • Information about the object includes presence/absence, type, area, or estimation accuracy (score) of the object.
  • the learning model 341 prepares training data in which medical images including objects such as stents, plaques, calcifications, and dissections are associated with labels (label images) indicating the position (region) and type of each object. , can be generated by machine-learning an unlearned neural network using the training data. According to the learning model 341 configured in this way, by inputting a medical image such as an IVUS image into the learning model 341, information indicating the position and type of an object included in the medical image can be obtained. If no object is included in the medical image, the learning model 341 does not output information indicating the position and type.
  • the control unit 31 determines whether or not an object is included in the medical image input to the learning model 341 (presence or absence), and if included, the type of the object. (class), location (region in the medical image), and estimated accuracy (score) can be obtained. That is, by using the learning model 341 that has been learned in this way, it is possible to acquire a label image that indicates the plaque region in units of pixels by inputting an IVUS image into the learning model 341 as shown in this embodiment. can.
  • a region (plaque region) extracted as a plaque in an IVUS image is a region including the plaque itself and the media due to cholesterol or the like. That is, in this embodiment, the plaque in the IVUS image indicates the combined area of the plaque and the media.
  • the control unit 31 may input each IVUS image (frame image) to the learning model 341 one by one and process it, but a plurality of consecutive frame images are input at the same time, and the plaque is determined from the plurality of frame images. It may be one that detects regions at the same time.
  • the control unit 31 sets the learning model 341 as a 3D-CNN (eg, 3D U-net) that handles three-dimensional input data. Then, the control unit 31 treats the coordinates of the two-dimensional frame images as three-dimensional data, with the coordinates of the two-dimensional frame images as two axes and the time (generation time point) t at which each frame image was acquired as one axis.
  • 3D-CNN eg, 3D U-net
  • the control unit 31 inputs a set of multiple frame images (for example, 16 frames) for a predetermined unit time to the learning model 341, and simultaneously outputs an image in which the plaque region is labeled for each of the multiple frame images. do.
  • a set of multiple frame images for example, 16 frames
  • the learning model 341 inputs a set of multiple frame images (for example, 16 frames) for a predetermined unit time to the learning model 341, and simultaneously outputs an image in which the plaque region is labeled for each of the multiple frame images. do.
  • control unit 31 Based on the information obtained from the learning model 341, the control unit 31 derives object information regarding the type and area of the object included in the IVUS image. Alternatively, the control unit 31 may derive the object information by using the information itself acquired from the learning model 341 as the object information.
  • FIG. 7 is an explanatory diagram regarding extraction of the second medical image.
  • FIG. 8 is an explanatory diagram relating to the representative value (plaque burden) of the second medical image.
  • FIG. 9 is an explanatory diagram regarding the range determined based on the reference image.
  • the sensor unit 12 is pulled back from the distal side (Distal) toward the proximal side (Proximal) at a constant speed (for example, 0.5 mm/sec or 1.0 mm/sec) by the MDU2.
  • the spatial resolution of the imaging core in generating IVUS images is, for example, 100 to 200 ⁇ m.
  • the pullback speed is 1.0 mm/sec and the spatial resolution is 100 ⁇ m, 10 IVUS images will be generated per second.
  • the length of blood vessels included in the ten IVUS images is 1 mm. That is, the ten IVUS images represent tomograms (longitudinal tomograms) of blood vessels at intervals of 0.1 mm (separation distance). Also, the ten IVUS images are generated in units of 0.1 seconds.
  • these multiple IVUS images are positioned according to the separation distance determined based on the pullback speed and spatial resolution. become a thing. Thereby, the position in the axial direction of the blood vessel is specified for each of the plurality of IVUS images. That is, the position of the generated IVUS image indicates the axial position of the blood vessel included in the IVUS image.
  • first IVUS images All IVUS images (medical images) acquired in one pullback scan in this manner are referred to as first IVUS images (first medical images).
  • first IVUS images first medical images
  • first IVUS images first medical images
  • first IVUS images aligned along the axial direction of the blood vessel (lumen organ) through a separation distance in units of 0.1 mm
  • a plurality of IVUS images are extracted at predetermined intervals of 1 mm, and the extracted Let the IVUS image be the second IVUS image. That is, the first IVUS image is composed of the IVUS image extracted as the second IVUS image and the remaining IVUS image (residual IVUS image) that was not extracted as the second IVUS image.
  • the second IVUS images extracted at predetermined intervals of 1 mm are extracted at intervals of 1 second. That is, IVUS images extracted from the first IVUS image (all generated IVUS images) at 1-second time intervals (1-second sampling period) correspond to the second IVUS image.
  • the second IVUS image is extracted from all IVUS images (first IVUS image) at a predetermined distance interval such as 1 mm (predetermined time interval such as 1 second).
  • the second IVUS image can be efficiently extracted over the entire length of the . Since the distance interval for extraction is about 1 mm, it is possible to select an appropriate stent type even when stent types with a stent length of 3 mm are available.
  • the multiple second IVUS images correspond to a portion of all IVUS images (first IVUS images) generated in one pullback. For example, by extracting at a predetermined interval of 1 mm (spatial resolution: at 100 ⁇ m), the number (number) of the second IVUS images is 10 minutes of the number (number) of the first IVUS images (all IVUS images generated) becomes 1 (1/10) of
  • FIG. 7 shows the second IVUS image extracted at intervals of 1 mm, for example, in the blood vessel targeted for the pullback operation.
  • Nine first IVUS images (the first IVUS images that were not extracted as the second IVUS images in all the generated IVUS images) are located in the two adjacent second IVUS images.
  • Each of the plurality of extracted second IVUS images is input to the learning model 341 and subjected to segmentation processing to specify the regions of objects such as plaques in each of the plurality of second IVUS images.
  • the control unit 31 calculates (derives) the plaque burden (cross-sectional area ratio of plaque), which is the area (cross-sectional area) ratio of the plaque region to the cross-sectional area of the blood vessel (Vessel) in each of the second IVUS images.
  • a vessel (Vessel) in an IVUS image indicates a region surrounded by the external elastic lamina.
  • the control unit 31 may use the plaque burden as a representative value of each second IVUS image, generate a graph as illustrated in the present embodiment, and cause the display device 4 to display the generated graph.
  • the control unit 31 identifies the largest plaque burden (representative value) in the plaque burden (representative value) in each second IVUS image, and identifies the second IVUS image containing the maximum plaque burden as the reference image. Since the reference image is an IVUS image containing the largest plaque burden, it is an IVUS image that is highly likely to be used for decision-making when a doctor or the like performs lesion analysis. By performing such processing, first, the identified reference image and the position (reference point) of the reference image can be provided early to the doctor or the like.
  • the control unit 31 identifies the distal side image and the proximal side image from the second IVUS images positioned on the distal side and the proximal side, respectively. For example, the control unit 31 specifies the second IVUS image with the smallest plaque burden (representative value) as the distal side image and the proximal side image within a predetermined range centering on the position (reference point) of the reference image. may be
  • the reference image is positioned between the specified distal image and the proximal image, and the control unit 31 sets the range from the distal image to the proximal image as a priority processing range (high priority range).
  • a range other than the range from the distal side image to the proximal side image may be determined as the low priority range.
  • the low-priority range includes two ranges, a range proximal to the proximal image and a range proximal to the distal image.
  • the control unit 31 identifies a plurality of first IVUS images located in the range from the distal image to the proximal image, which is the priority processing range (high priority range), and uses these identified first IVUS images as a learning model. Enter 341.
  • the IVUS images located in the range from the distal image to the proximal image include the second IVUS image that has already been input to the learning model 341 and the first IVUS image that has not been extracted as the second IVUS image. Therefore, the control unit 31 inputs only the first IVUS images, which are not extracted as the second IVUS images, from among the first IVUS images located in the range from the distal image to the proximal image to the learning model 341. good too.
  • the control unit 31 When inputting the first IVUS images located in the range from the distal side image to the proximal side image to the learning model 341, the control unit 31 inputs the first IVUS images to the learning model 341 in order of proximity to the reference image.
  • the first IVUS image, either distal or proximal, adjacent to the reference image is input to the learning model 341 first, followed by the first IVUS image, either distal or proximal, adjacent to the reference image.
  • One IVUS image is finally input to the learning model 341 .
  • the first IVUS image closer to the reference image is assumed to contain more information about the lesion. Therefore, by sequentially inputting the first IVUS images to the learning model 341 in order of proximity to the reference image, it is possible to efficiently provide support information to doctors and the like.
  • the control unit 31 acquires the estimation result by the learning model 341, and outputs information about an object such as a plaque contained in the first IVUS image located in the range from the distal image to the proximal image, and outputs the information. It may be displayed on the display device 4 .
  • Information about the object includes, for example, an image showing the area of plaque contained in each first IVUS image, plaque burden, vessel diameter or area (Vessel), lumen diameter or area (Lumen) and stenosis rate. good too.
  • the control unit 31 After performing processing such as inputting the first IVUS image located in the range from the distal image to the proximal image (high priority range) to the learning model 341, the control unit 31 performs processing such as inputting from the distal image to the proximal image. Processing such as inputting the first IVUS image positioned in a range (low priority range) other than the range of the side image to the learning model 341 may be performed.
  • plaque burden was used as a representative value in the IVUS image (second IVUS image), but the present invention is not limited to this.
  • the control unit 31 controls objects such as, for example, the diameter or area ratio (Lumen/Vessel) between the vessel (Vessel) and the lumen diameter (Lumen) included in the second IVUS image, the stenosis rate, the stent, the dissection, and the calcified portion.
  • the reference screen or the like may be specified using a measurement value derived based on the type of the image as a representative value. When using these measured values as representative values, the reference screen may be specified based on the minimum value.
  • FIG. 10 is a flowchart showing an information processing procedure by the control unit 31.
  • the control unit 31 of the image processing apparatus 3 executes the following processes based on input data output from the input device 5 in response to operations by an operator of the diagnostic imaging catheter, such as a doctor.
  • the control unit 31 acquires a plurality of first IVUS images generated along the axial direction of a hollow organ such as a blood vessel (S101).
  • the control unit 31 reads all the IVUS images (first IVUS images) obtained by pulling back to acquire medical images composed of these IVUS images.
  • the control unit 31 extracts a plurality of second IVUS images at predetermined intervals in the axial direction of the hollow organ from the plurality of first IVUS images (S102).
  • the control unit 31 extracts, for example, a plurality of IVUS images at predetermined intervals of 1 mm in the axial direction of the blood vessel (lumen organ) from the plurality of first IVUS images (all IVUS images), and extracts the extracted plurality of is set as the second IVUS image. If the spatial resolution of the imaging core in the generation of IVUS images is, for example, 100 ⁇ m (0.1 mm), the number (1/10) of the number (number) of the first IVUS images (all IVUS images) ( number) of the second IVUS images are to be extracted.
  • the predetermined interval is 1 mm (time point interval is 1 second), but the present invention is not limited to this. seconds, etc.), and a selection unit that accepts a selection by a doctor or the like within a predetermined range to enable selection of a predetermined interval.
  • the predetermined interval value for extracting the second IVUS image may be stored (saved) in the auxiliary storage unit 34 of the image processing device 3 .
  • the control unit 31 inputs the plurality of extracted second IVUS images to the learning model 341 (S103).
  • the control unit 31 inputs, for example, a plurality of second IVUS images extracted at predetermined intervals of 1 mm to a learning model 341 having a segmentation network function.
  • the control unit 31 Based on the estimation result output from the learning model 341, the control unit 31 identifies the type and area of the object included in each second IVUS image (S104).
  • the learning model 341 outputs information on the type (class), area, and class accuracy (estimation accuracy) of an object such as plaque contained in the input IVUS image as an estimation result.
  • the learning model 341 identifies the external elastic lamina (Vessel) and the lumen (Lumen) of the blood vessel included in the IVUS image as object types, and identifies the external elastic lamina (Vessel) and the lumen (Lumen) of the blood vessel. Based on this, the plaque interposed therebetween may be specified. For example, if the object type is plaque, the control unit 31 identifies the plaque region included in each of the second IVUS images based on the estimation results output from the learning model 341 .
  • the control unit 31 derives a representative value for each of the plurality of second IVUS images based on the identified object type and region (S105).
  • the control unit 31 derives the plaque burden (ratio of cross-sectional area of plaque) calculated based on the identified plaque or the like as a representative value for each of the plurality of second IVUS images.
  • plaque burden was used as a representative value in the IVUS image (second IVUS image), but is not limited to this.
  • the ratio of the diameter or area (Lumen /Vessel), stenosis rate, stent, dissection, calcification, or other measurement value derived based on the type of object may be used as the representative value.
  • the control unit 31 determines a reference image from the plurality of second IVUS images based on the derived representative value (S106). Based on the representative values (plaque burden) derived from each of the plurality of second IVUS images, the control unit 31 determines, for example, the second IVUS image with the largest (largest) representative value (plaque burden) as the reference image.
  • the control unit 31 determines the distal side image and the proximal side image based on the derived representative value and the reference image (S107). Using the axial position of the blood vessel (lumen organ) indicated by the reference image as a reference point, the control unit 31 selects the second IVUS image having the smallest representative value (plaque burden) on the distal side and the proximal side. Two IVUS images are determined as the distal image and the proximal image. When determining the distal-side image and the proximal-side image, the control unit 31 determines the distal-side image and the proximal-side image within a predetermined range centering on the reference point of the reference image. good.
  • the control unit 31 inputs the first IVUS image positioned between the distal image and the proximal image to the learning model 341 (S108).
  • a plurality of first IVUS images that have not been extracted as second IVUS images are positioned between the distal side image and the proximal side image. Since the reference image is included in the range from the distal side image to the proximal side image, this range corresponds to a high priority range in which processing is preferentially performed.
  • the control unit 31 may input only the first IVUS image, which is not extracted as the second IVUS image, out of the first IVUS images located in the range from the distal image to the proximal image to the learning model 341. .
  • the control unit 31 Based on the estimation results output from the learning model 341, the control unit 31 identifies the types and regions of objects included in each of the first IVUS images located between the distal image and the proximal image (S109). . Based on the estimation result output from the learning model 341, the control unit 31 identifies the plaque region included in each of the first IVUS images located in the range from the distal image to the proximal image (high priority range). do.
  • the control unit 31 outputs information (representative value, etc.) on the type and area of the specified object (S110).
  • the control unit 31 outputs information about the type and area of an object such as plaque identified in each of the first IVUS images located in the high priority range including the reference image to the display device 4, and outputs the information to the display device 4. display.
  • the control unit 31 determines the plaque burden, the diameter or area ratio (Lumen/Vessel) between the blood vessel (Vessel) and the lumen diameter (Lumen) in each of the first IVUS images located in the high priority range,
  • the information may include measurement values derived based on the type of object such as stenosis rate, stent, dissection, calcification, and the like.
  • the control unit 31 After performing processing such as inputting the first IVUS image located in the range from the distal image to the proximal image (high priority range) to the learning model 341, the control unit 31 performs processing such as inputting from the distal image to the proximal image.
  • the same processing as the high priority range, such as input to the learning model 341, may be performed.
  • the controller 31 has been described as sequentially performing the processes from S101 to S104, but the present invention is not limited to this.
  • the control unit 31 extracts a second IVUS image at predetermined intervals from a plurality of already generated first IVUS images in parallel with the process of generating and acquiring the first IVUS image by performing pullback, that is, during the pullback operation, and
  • the second IVUS image may be input to the learning model 341 to perform processing such as segmentation to identify the type and region of the object. That is, while pulling back, the control unit 31 may extract the second IVUS images at predetermined intervals and input them to the learning model 341 to advance the segmentation.
  • the control unit 31 may perform pullback and concurrently perform the processes from S101 to S105.
  • FIG. 11 is a flow chart showing the stent size selection procedure.
  • the control unit 31 of the image processing apparatus 3 executes the following processes based on input data output from the input device 5 in response to operations by an operator of the diagnostic imaging catheter, such as a doctor.
  • the control unit 31 performs the following processes for stent size selection based on the information (representative values, etc.) on the type and region of the object contained in the first IVUS image derived in the above-described processes S101 to S110.
  • the control unit 31 acquires information (representative value, etc.) on the type and area of the specified object (T101). By using the output result of the process S110 in the flow described above, the control unit 31 determines the type and region of the object identified in the first IVUS image located in the range from the distal image to the proximal image (high priority range) Acquire information about (representative value, etc.). The control unit 31 may activate an application (stent selection APP) for selecting a stent size using the acquired information as an input factor.
  • an application stent selection APP
  • the control unit 31 determines whether the body part is abnormal based on the representative value of the reference image (T102). When the representative value is plaque burden, the control unit 31 determines whether the internal body part shown in the IVUS image (reference image) is greater than or equal to a predetermined value, such as whether the plaque burden is greater than or equal to 50%. Determine whether or not there is an abnormality. Alternatively, the control unit 31 determines whether or not the internal site shown in the reference image is abnormal according to the vascular properties, presence or absence of complication risk findings, plaque distribution, calcification, collateral branches, or remodeling. may be determined.
  • the control unit 31 determines the stent placement site based on the position of the reference image (T103).
  • the controller 31 determines stent length candidates (T104).
  • the control unit 31 determines a stent placement site (landing zone) based on information such as a representative value of each IVUS image (first IVUS image) including the reference image.
  • the control unit 31 determines stent length candidates based on the determined stent placement site.
  • the control unit 31 determines the range of the reference blood vessel (T105).
  • the control unit 31 determines, for example, 1 cm before and after the lesion (distal and proximal to the reference point) included in the reference image or the like as the range of the reference blood vessel.
  • the control unit 31 determines the reference blood vessel diameter (T106). The control unit 31 determines the maximum blood vessel diameter as the reference blood vessel diameter in the range of the determined reference blood vessels.
  • the control unit 31 determines stent diameter candidates (T107).
  • the control unit 31 determines, for example, 0.9 times the determined reference blood vessel diameter as a stent diameter candidate.
  • the control unit 31 may determine stent diameter candidates based on a representative value calculated from a distal reference lumen diameter, a lumen diameter such as a mid-wall, or a blood vessel diameter.
  • control unit 31 determines stent type candidates (T108). The control unit 31 selects stent varieties prepared in advance according to the determined stent diameter candidate and stent length candidate, thereby determining a stent variety candidate having an appropriate size.
  • the image processing apparatus 3 converts a plurality of acquired first medical images (first IVUS images) into a plurality of second medical images (second IVUS images) that are part of the first medical images.
  • Each extracted second medical image is input to the learning model 341 .
  • the image processing device 3 may, for example, extract a plurality of second medical images at predetermined intervals such as 1 mm in the axial direction of the hollow organ.
  • the number (number of sheets) of the second medical images can be made smaller than the number (number of sheets) of the first medical images. Therefore, the reference image can be determined by inputting to the learning model 341 the second medical images whose number (number of sheets) is smaller than the number (number of sheets) of the first medical images. The load can be reduced and the time required for determining the reference image can be reduced.
  • the image diagnosis catheter operator such as a doctor uses it for decision-making when performing lesion analysis. is included.
  • the image processing apparatus 3 inputs the first medical image within a predetermined range in the axial direction of the hollow organ from the reference image to the learning model 341, the first medical image within the predetermined range including the reference image, such as the vicinity of the reference image. Medical images can be preferentially input to the learning model 341 to efficiently detect information about objects contained in these first medical images. By performing such processing, the computational load can be reduced compared to the case of uniformly inputting all medical images generated using a diagnostic imaging catheter into the learning model 341, for example. It is possible to preferentially input some medical images that fall within a predetermined range to the learning model 341 and provide support information to doctors and the like at an early stage.
  • the input to the learning model 341 is not limited to only some medical images within a predetermined range including the reference image.
  • the remaining medical images (medical images other than the partial medical images) are input to the learning model 341 to determine the types of objects in these remaining medical images. and may specify a region. That is, the priority of processing for the remaining medical images may be lower than the priority of processing for some of the medical images within a predetermined range including the reference image.
  • the image processing apparatus 3 identifies (segments) the external elastic lamina (Vessel) and the lumen (Lumen) of the blood vessel as the types of objects, and segments the external elastic lamina (Vessel) and the lumen (Lumen) of the segmented blood vessel.
  • the plaque area ratio (plaque burden) is calculated based on the area of the lumen (Lumen).
  • the image processing apparatus 3 uses the plaque burden as a representative value for each of the second medical images, and determines a reference image based on the representative value. A reference image can be efficiently determined.
  • plaque burden is used as a representative value in the present embodiment, the present invention is not limited to this. For example, a stenosis rate using a predetermined reference value may be used as a representative value.
  • the reference image including the body part required for decision-making when the doctor or the like performs lesion analysis can be efficiently used. can be determined objectively.
  • the reference A range containing an image can be efficiently specified.
  • the need for a stent is determined based on the representative value indicating plaque burden. For example, when the plaque burden (representative value) is 50% or more, the image processing device 3 obtains the proximal image from the distance from the distal image to the proximal image, that is, the site where the distal image was generated. A stent length candidate is identified based on the generated distance to the site. Furthermore, the image processing device 3 identifies a stent diameter candidate based on whichever of the lumen diameters of the lumen (Lumen) in the distal side image and the proximal side image is smaller. A candidate stent diameter may be specified, for example, as 90% (0.9 times) of the smaller lumen diameter. In this manner, the image processing device 3 can efficiently identify stent size candidates based on the representative values and the distal and proximal images, and outputs information about the identified stent size candidates. , and support such as lesion analysis by doctors.
  • FIG. 12 is an explanatory diagram of the range determined based on the reference image according to the second embodiment.
  • the control unit 31 in the second embodiment identifies the reference image based on the rate of change in plaque burden (representative value) of each second IVUS image.
  • the control unit 31 derives an approximate curve formula for plaque burden (representative value) that is specified according to the position of each second IVUS image, and the differential value in the approximate curve formula is 0 (a change from positive to negative when the minute change is negative).
  • the reference image may be specified based on the position of the point). In other words, the control unit 31 may obtain a large variation in nearby values from a differential value or the like, and specify a detailed detection range and a rough detection range.
  • the control unit 31 may determine the priority of these reference images (reference points) based on the size of the plaque burden (representative value). .
  • the control unit 31 uses the reference image with a large plaque burden (representative value) as a reference point for determining the high priority range, and the reference image with a small plaque burden (representative value) as a medium priority range. It may be determined as a reference point.
  • the control unit 31 may perform processing on individual reference images (reference points) according to the priority. That is, the control unit 31 inputs the first IVUS image in the range based on the reference image (reference point) with the highest priority (high priority) to the learning model 341, and then the next highest priority (medium priority). 3.) A first IVUS image of a range based on a reference image (reference point) may be input to the learning model 341 .
  • control unit 31 may perform stent detection and scan only the portion having the stent in detail using segmentation or the like by the learning model 341 .
  • the control unit 31 may perform stent detection and scan only the portion having the stent in detail using segmentation or the like by the learning model 341 .
  • vascular dissection, etc. may be overlooked at wide intervals. It may be a detailed scan.
  • the range determined automatically or manually (acceptance of operation by the operator) is scanned in detail using segmentation, etc. by the learning model 341. can be anything.
  • the IVUS image (first IVUS image) to be preferentially processed can be efficiently specified.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

コンピュータプログラムは、コンピュータに、管腔器官に挿入されたカテーテルにて検出した信号に基づき、管腔器官の軸方向に沿って生成された複数の第１医用画像を取得し、取得した複数の第１医用画像から、管腔器官の軸方向において所定間隔となる複数の第２医用画像を抽出し、複数の第２医用画像を、医用画像を入力した場合に医用画像に含まれるオブジェクトに関する情報を出力する学習モデルに入力することによって、抽出した複数の第２医用画像に含まれるオブジェクトの種類及び領域を特定し、オブジェクトの種類及び領域に基づき、複数の第２医用画像から基準画像を決定し、基準画像から管腔器官の軸方向にて所定範囲内の第１医用画像を学習モデルに入力する処理を実行させる。

Description

コンピュータプログラム、情報処理方法及び情報処理装置
　本発明は、コンピュータプログラム、情報処理方法及び情報処理装置に関する。
　カテーテルを用いた血管内超音波（IVUS:Intra Vascular Ultra Sound）法によって血管の超音波断層像を含む医用画像を生成し、血管内の超音波検査が行われている。一方で、医師の診断の補助を目的に、医用画像に画像処理や機械学習により情報を付加する技術の開発が行われている（例えば特許文献１）。特許文献１に記載されている血管画像における特徴検出方法は、血管画像に含まれる管腔壁、ステント等を検出する。
特表２０１６－５２５８９３号公報
　しかしながら、特許文献１の検出方法においては、生成した全ての血管画像に対し、一律に管腔壁等の特徴を検出するため、当該特徴を効率的に検出することが困難であるという問題点がある。
　本開示の目的は、カテーテルにより管腔器官をスキャンして得た医用画像に基づき、効率的にオブジェクトを検出するコンピュータプログラム等を提供することである。
　本態様に係るコンピュータプログラムは、コンピュータに、管腔器官に挿入されたカテーテルにて検出した信号に基づき、管腔器官の軸方向に沿って生成された複数の第１医用画像を取得し、取得した前記複数の第１医用画像から、管腔器官の軸方向において所定間隔となる複数の第２医用画像を抽出し、抽出した前記複数の第２医用画像を、医用画像を入力した場合に該医用画像に含まれるオブジェクトに関する情報を出力する学習モデルに入力することによって、前記抽出した前記複数の第２医用画像に含まれるオブジェクトの種類及び領域を特定し、特定した前記オブジェクトの種類及び領域に基づき、前記複数の第２医用画像から基準画像を決定し、決定した前記基準画像から、前記管腔器官の軸方向にて所定範囲内の第１医用画像を前記学習モデルに入力する処理を実行させる。
　本態様に係る情報処理方法は、コンピュータに、管腔器官に挿入されたカテーテルにて検出した信号に基づき、管腔器官の軸方向に沿って生成された複数の第１医用画像を取得し、取得した前記複数の第１医用画像から、管腔器官の軸方向において所定間隔となる複数の第２医用画像を抽出し、抽出した前記複数の第２医用画像を、医用画像を入力した場合に該医用画像に含まれるオブジェクトに関する情報を出力する学習モデルに入力することによって、前記抽出した前記複数の第２医用画像に含まれるオブジェクトの種類及び領域を特定し、特定した前記オブジェクトの種類及び領域に基づき、前記複数の第２医用画像から基準画像を決定し、決定した前記基準画像から、前記管腔器官の軸方向にて所定範囲内の第１医用画像を前記学習モデルに入力する処理を実行させる。
　本態様に係る情報処理装置は、管腔器官に挿入されたカテーテルにて検出した信号に基づき、管腔器官の軸方向に沿って生成された複数の第１医用画像を取得する取得部と、取得した前記複数の第１医用画像から、管腔器官の軸方向において所定間隔となる複数の第２医用画像を抽出する抽出部と、抽出した前記複数の第２医用画像を、医用画像を入力した場合に該医用画像に含まれるオブジェクトに関する情報を出力する学習モデルに入力することによって、前記抽出した前記複数の第２医用画像に含まれるオブジェクトの種類及び領域を特定する特定部と、特定した前記オブジェクトの種類及び領域に基づき、前記複数の第２医用画像から基準画像を決定する決定部と、決定した前記基準画像から、前記管腔器官の軸方向にて所定範囲内の第１医用画像を前記学習モデルに入力する入力部とを備える。
　本開示によれば、カテーテルにより管腔器官をスキャンして得た医用画像に基づき、効率的にオブジェクトを検出するコンピュータプログラム等を提供することができる。
画像診断装置の構成例を示す説明図である。 画像診断用カテーテルの概要を説明する説明図である。 センサ部を挿通させた血管の断面を示す説明図である。 断層画像を説明する説明図である。 画像処理装置の構成例を示すブロック図である。 学習モデルの一例を示す説明図である。 第２医用画像の抽出に関する説明図である。 第２医用画像の代表値（プラークバーデン）に関する説明図である。 基準画像に基づき決定される範囲に関する説明図である。 制御部による情報処理手順を示すフローチャートである。 ステントサイズの選択手順を示すフローチャートである。 実施形態２における基準画像に基づき決定される範囲に関する説明図である。
　以下、本開示の画像処理方法、画像処理装置及びプログラムについて、その実施形態を示す図面に基づいて詳述する。以下の各実施形態では、血管内治療である心臓カテーテル治療を一例に説明するが、カテーテル治療の対象とする管腔器官は血管に限定されず、例えば胆管、膵管、気管支、腸等の他の管腔器官であってもよい。
（実施形態１）
　図１は、画像診断装置１００の構成例を示す説明図である。本実施形態では、血管内超音波診断法（ＩＶＵＳ）及び光干渉断層診断法（ＯＣＴ）の両方の機能を備えるデュアルタイプのカテーテルを用いた画像診断装置について説明する。デュアルタイプのカテーテルでは、ＩＶＵＳのみによって超音波断層画像を取得するモードと、ＯＣＴのみによって光干渉断層画像を取得するモードと、ＩＶＵＳ及びＯＣＴによって両方の断層画像を取得するモードとが設けられており、これらのモードを切り替えて使用することができる。以下、超音波断層画像及び光干渉断層画像それぞれを適宜、ＩＶＵＳ画像及びＯＣＴ画像という。また、ＩＶＵＳ画像及びＯＣＴ画像を総称して断層画像といい、医用画像に相当する。
　本実施形態の画像診断装置１００は、血管内検査装置１０１と、血管造影装置１０２と、画像処理装置３と、表示装置４と、入力装置５とを備える。血管内検査装置１０１は、画像診断用カテーテル１及びＭＤＵ（Motor Drive Unit）２を備える。画像診断用カテーテル１は、ＭＤＵ２を介して画像処理装置３に接続されている。画像処理装置３には、表示装置４及び入力装置５が接続されている。表示装置４は、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等であり、入力装置５は、例えばキーボード、マウス、トラックボール又はマイク等である。表示装置４と入力装置５とは、一体に積層されて、タッチパネルを構成していてもよい。また入力装置５と画像処理装置３とは、一体に構成されていてもよい。更に入力装置５は、ジェスチャ入力又は視線入力等を受け付けるセンサであってもよい。
　血管造影装置１０２は画像処理装置３に接続されている。血管造影装置１０２は、患者の血管に造影剤を注入しながら、患者の生体外からＸ線を用いて血管を撮像し、当該血管の透視画像であるアンギオ画像を得るためのアンギオグラフィ装置である。血管造影装置１０２は、Ｘ線源及びＸ線センサを備え、Ｘ線源から照射されたＸ線をＸ線センサが受信することにより、患者のＸ線透視画像をイメージングする。なお、画像診断用カテーテル１にはＸ線を透過しないマーカが設けられており、アンギオ画像において画像診断用カテーテル１（マーカ）の位置が可視化される。血管造影装置１０２は、撮像して得られたアンギオ画像を画像処理装置３へ出力し、画像処理装置３を介して当該アンギオ画像を表示装置４に表示させる。なお、表示装置４には、アンギオ画像と、画像診断用カテーテル１を用いて撮像された断層画像とが表示される。
　図２は画像診断用カテーテル１の概要を説明する説明図である。なお、図２中の上側の一点鎖線の領域は、下側の一点鎖線の領域を拡大したものである。画像診断用カテーテル１は、プローブ１１と、プローブ１１の端部に配置されたコネクタ部１５とを有する。プローブ１１は、コネクタ部１５を介してＭＤＵ２に接続される。以下の説明では画像診断用カテーテル１のコネクタ部１５から遠い側を先端側と記載し、コネクタ部１５側を基端側と記載する。プローブ１１は、カテーテルシース１１ａを備え、その先端部には、ガイドワイヤが挿通可能なガイドワイヤ挿通部１４が設けられている。ガイドワイヤ挿通部１４はガイドワイヤルーメンを構成し、予め血管内に挿入されたガイドワイヤを受け入れ、ガイドワイヤによってプローブ１１を患部まで導くのに使用される。カテーテルシース１１ａは、ガイドワイヤ挿通部１４との接続部分からコネクタ部１５との接続部分に亘って連続する管部を形成している。カテーテルシース１１ａの内部にはシャフト１３が挿通されており、シャフト１３の先端側にはセンサ部１２が接続されている。
　センサ部１２は、ハウジング１２ｄを有し、ハウジング１２ｄの先端側は、カテーテルシース１１ａの内面との摩擦や引っ掛かりを抑制するために半球状に形成されている。ハウジング１２ｄ内には、超音波を血管内に送信すると共に血管内からの反射波を受信する超音波送受信部１２ａ（以下ではＩＶＵＳセンサ１２ａという）と、近赤外光を血管内に送信すると共に血管内からの反射光を受信する光送受信部１２ｂ（以下ではＯＣＴセンサ１２ｂという）とが配置されている。図２に示す例では、プローブ１１の先端側にＩＶＵＳセンサ１２ａが設けられており、基端側にＯＣＴセンサ１２ｂが設けられており、シャフト１３の中心軸上（図２中の二点鎖線上）において軸方向に沿って距離ｘだけ離れて配置されている。画像診断用カテーテル１において、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂは、シャフト１３の軸方向に対して略９０度となる方向（シャフト１３の径方向）を超音波又は近赤外光の送受信方向として取り付けられている。なお、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂは、カテーテルシース１１ａの内面での反射波又は反射光を受信しないように、径方向よりややずらして取り付けられることが望ましい。本実施形態では、例えば図２中の矢符で示すように、ＩＶＵＳセンサ１２ａは径方向に対して基端側に傾斜した方向を超音波の照射方向とし、ＯＣＴセンサ１２ｂは径方向に対して先端側に傾斜した方向を近赤外光の照射方向として取り付けられている。
　シャフト１３には、ＩＶＵＳセンサ１２ａに接続された電気信号ケーブル（図示せず）と、ＯＣＴセンサ１２ｂに接続された光ファイバケーブル（図示せず）とが内挿されている。プローブ１１は、先端側から血管内に挿入される。センサ部１２及びシャフト１３は、カテーテルシース１１ａの内部で進退可能であり、また、周方向に回転することができる。センサ部１２及びシャフト１３は、シャフト１３の中心軸を回転軸として回転する。画像診断装置１００では、センサ部１２及びシャフト１３によって構成されるイメージングコアを用いることにより、血管の内側から撮影された超音波断層画像（ＩＶＵＳ画像）、又は、血管の内側から撮影された光干渉断層画像（ＯＣＴ画像）によって血管内部の状態を測定する。
　ＭＤＵ２は、コネクタ部１５によってプローブ１１（画像診断用カテーテル１）が着脱可能に取り付けられる駆動装置であり、医療従事者の操作に応じて内蔵モータを駆動することにより、血管内に挿入された画像診断用カテーテル１の動作を制御する。例えばＭＤＵ２は、プローブ１１に内挿されたセンサ部１２及びシャフト１３を一定の速度でＭＤＵ２側に向けて引っ張りながら周方向に回転させるプルバック操作を行う。センサ部１２は、プルバック操作によって先端側から基端側に移動しながら回転しつつ、所定の時間間隔で連続的に血管内を走査することにより、プローブ１１に略垂直な複数枚の横断層像を所定の間隔で連続的に撮影する。ＭＤＵ２は、ＩＶＵＳセンサ１２ａが受信した超音波の反射波データと、ＯＣＴセンサ１２ｂが受信した反射光データとを画像処理装置３へ出力する。
　画像処理装置３は、ＭＤＵ２を介してＩＶＵＳセンサ１２ａが受信した超音波の反射波データである信号データセットと、ＯＣＴセンサ１２ｂが受信した反射光データである信号データセットとを取得する。画像処理装置３は、超音波の信号データセットから超音波ラインデータを生成し、生成した超音波ラインデータに基づいて血管の横断層を撮像した超音波断層画像（ＩＶＵＳ画像）を構築する。また、画像処理装置３は、反射光の信号データセットから光ラインデータを生成し、生成した光ラインデータに基づいて血管の横断層を撮像した光断層画像（ＯＣＴ画像）を構築する。ここで、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂが取得する信号データセットと、信号データセットから構築される断層画像とについて説明する。図３は、センサ部１２を挿通させた血管の断面を示す説明図であり、図４は断層画像を説明する説明図である。
　まず、図３を用いて、血管内におけるＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂの動作と、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂによって取得される信号データセット（超音波ラインデータ及び光ラインデータ）について説明する。イメージングコアが血管内に挿通された状態で断層画像の撮像が開始されると、イメージングコアが矢符で示す方向に、シャフト１３の中心軸を回転中心として回転する。このとき、ＩＶＵＳセンサ１２ａは、各回転角度において超音波の送信及び受信を行う。ライン１，２，…５１２は各回転角度における超音波の送受信方向を示している。本実施形態では、ＩＶＵＳセンサ１２ａは、血管内において３６０度回動（１回転）する間に５１２回の超音波の送信及び受信を断続的に行う。ＩＶＵＳセンサ１２ａは、１回の超音波の送受信により、送受信方向の１ラインのデータを取得するので、１回転の間に、回転中心から放射線状に延びる５１２本の超音波ラインデータを得ることができる。５１２本の超音波ラインデータは、回転中心の近傍では密であるが、回転中心から離れるにつれて互いに疎になっていく。そこで、画像処理装置３は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図４Ａに示すような２次元の超音波断層画像（ＩＶＵＳ画像）を生成することができる。
　同様に、ＯＣＴセンサ１２ｂも、各回転角度において測定光の送信及び受信を行う。ＯＣＴセンサ１２ｂも血管内において３６０度回動する間に５１２回の測定光の送信及び受信を行うので、１回転の間に、回転中心から放射線状に延びる５１２本の光ラインデータを得ることができる。光ラインデータについても、画像処理装置３は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図４Ａに示すＩＶＵＳ画像と同様の２次元の光干渉断層画像（ＯＣＴ画像）を生成することができる。すなわち、画像処理装置３は、反射光と、例えば画像処理装置３内の光源からの光を分離することで得られた参照光とを干渉させることで生成される干渉光に基づいて光ラインデータを生成し、生成した光ラインデータに基づいて血管の横断層を撮像した光断層画像（ＯＣＴ画像）を構築する。
　このように５１２本のラインデータから生成される２次元の断層画像を１フレームのＩＶＵＳ画像又はＯＣＴ画像という。なお、センサ部１２は血管内を移動しながら走査するため、移動範囲内において１回転した各位置で１フレームのＩＶＵＳ画像又はＯＣＴ画像が取得される。即ち、移動範囲においてプローブ１１の先端側から基端側への各位置で１フレームのＩＶＵＳ画像又はＯＣＴ画像が取得されるので、図４Ｂに示すように、移動範囲内で複数フレームのＩＶＵＳ画像又はＯＣＴ画像が取得される。
　画像診断用カテーテル１は、ＩＶＵＳセンサ１２ａによって得られるＩＶＵＳ画像又はＯＣＴセンサ１２ｂによって得られるＯＣＴ画像と、血管造影装置１０２によって得られるアンギオ画像との位置関係を確認するために、Ｘ線を透過しないマーカを有する。図２に示す例では、カテーテルシース１１ａの先端部、例えばガイドワイヤ挿通部１４にマーカ１４ａが設けられており、センサ部１２のシャフト１３側にマーカ１２ｃが設けられている。このように構成された画像診断用カテーテル１をＸ線で撮像すると、マーカ１４ａ，１２ｃが可視化されたアンギオ画像が得られる。マーカ１４ａ，１２ｃを設ける位置は一例であり、マーカ１２ｃはセンサ部１２ではなくシャフト１３に設けてもよく、マーカ１４ａはカテーテルシース１１ａの先端部以外の箇所に設けてもよい。
　図５は画像処理装置３の構成例を示すブロック図である。画像処理装置３はコンピュータ（情報処理装置）であり、制御部３１、主記憶部３２、入出力Ｉ／Ｆ３３、補助記憶部３４、読取部３５を備える。
　制御部３１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等の演算処理装置を用いて構成されている。制御部３１は、バスを介して画像処理装置３を構成するハードウェア各部と接続されている。
　主記憶部３２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部３１が演算処理を実行するために必要なデータを一時的に記憶する。
　入出力Ｉ／Ｆ３３は、血管内検査装置１０１及び血管造影装置１０２、表示装置４及び入力装置５が接続されるインタフェースである。制御部３１は、入出力Ｉ／Ｆ３３を介して、血管内検査装置１０１からＩＶＵＳ画像及びＯＣＴ画像を取得し、血管造影装置１０２からアンギオ画像を取得する。また、制御部３１は、入出力Ｉ／Ｆ３３を介して、ＩＶＵＳ画像、ＯＣＴ画像、又はアンギオ画像の医用画像信号を表示装置４へ出力することによって、表示装置４に医用画像を表示する。更に、制御部３１は、入出力Ｉ／Ｆ３３を介して、入力装置５に入力された情報を受け付ける。
　入出力Ｉ／Ｆ３３には、例えば、４Ｇ、５Ｇ又はＷｉＦｉ等の無線子機から成る通信部が接続され、画像処理装置３は、当該通信部を介して、インターネット等の外部ネットワークに接続されるクラウドサーバ等の外部サーバと通信可能に接続されるものであってもよい。制御部３１は、通信部及び外部ネットワークを介して、外部サーバにアクセスし、当該外部サーバに含まれるストレージ装置に保存（記憶）されている医療データ、論文情報等を参照し、情報提供に関する処理（支援情報を提供するための提供処理）を行うものであってもよい。又は、制御部３１は、当該外部サーバと例えばプロセス間通信を行うことにより、本実施形態における処理を協働して行うものであってもよい。
　補助記憶部３４は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の記憶装置である。補助記憶部３４は、制御部３１が実行するコンピュータプログラムＰ（プログラム製品）、制御部３１の処理に必要な各種データを記憶する。なお、補助記憶部３４は画像処理装置３に接続された外部記憶装置であってもよい。コンピュータプログラムＰ（プログラム製品）は、画像処理装置３の製造段階において補助記憶部３４に書き込まれてもよいし、遠隔のサーバ装置が配信するものを画像処理装置３が通信にて取得して補助記憶部３４に記憶させてもよい。コンピュータプログラムＰ（プログラム製品）は、磁気ディスク、光ディスク、半導体メモリ等の記録媒体３０に読み出し可能に記録された態様であってもよく、読取部３５が記録媒体３０から読み出して補助記憶部３４に記憶させてもよい。
　画像処理装置３は、複数のコンピュータを含んで構成されるマルチコンピュータであってよい。また、画像処理装置３は、サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、画像処理装置３が１台のコンピュータであるものとして説明する。本実施形態では、画像処理装置３に、２次元のアンギオ画像を撮像する血管造影装置１０２が接続されているが、生体外の複数の方向から患者の管腔器官及び画像診断用カテーテル１を撮像する装置であれば、血管造影装置１０２に限定されない。
　本実施形態の画像処理装置３において、制御部３１は、補助記憶部３４に記憶されたコンピュータプログラムＰを読み出して実行することにより、ＩＶＵＳセンサ１２ａから受信した信号データセットに基づくＩＶＵＳ画像、及びＯＣＴセンサ１２ｂから受信した信号データセットに基づくＯＣＴ画像を構築する処理を実行する。なお、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂは、後述するように同じ撮像タイミングでの観察位置にズレが生じるので、制御部３１は、ＩＶＵＳ画像及びＯＣＴ画像における観察位置のズレを補正する処理を実行する。よって、本実施形態の画像処理装置３は、観察位置を一致させたＩＶＵＳ画像及びＯＣＴ画像を提供することにより、読影し易い画像を提供する。
　本実施形態において、画像診断用カテーテルは、血管内超音波診断法（ＩＶＵＳ）及び光干渉断層診断法（ＯＣＴ）の両方の機能を備えるデュアルタイプのカテーテルであるとしたが、これに限定されない。画像診断用カテーテルは、血管内超音波診断法（ＩＶＵＳ）、又は光干渉断層診断法（ＯＣＴ）のいずれかの機能を備えるシングルタイプのカテーテルであってもよい。以降、本実施形態において、画像診断用カテーテルは血管内超音波診断法（ＩＶＵＳ）の機能を有し、当該ＩＶＵＳ機能により生成されたＩＶＵＳ画像を基に説明する。ただし、本実施形態における説明において、医用画像はＩＶＵＳ画像に限定されず、ＯＣＴ画像を医用画像として用いて、本実施形態の処理を行うものであってもよい。
　図６は、学習モデル３４１の一例を示す説明図である。学習モデル３４１は、例えば、物体検出、セマンティックセグメンテーション、又はインスタンスセグメンテーションを行うニューラルネットワークである。学習モデル３４１は、入力されたＩＶＵＳ画像群におけるＩＶＵＳ画像それぞれに基づき、当該ＩＶＵＳ画像にステント又はプラーク等のオブジェクトが含まれているか否か（有無）、及びオブジェクトが含まれている場合（有の場合）、当該オブジェクトの種類（クラス）、ＩＶＵＳ画像における領域、及び推定精度（スコア）を出力する。
　学習モデル３４１は、例えば深層学習による学習済みの畳み込みニューラルネットワーク（CNN：Convolutional neural network）によって構成される。学習モデル３４１は、例えば、ＩＶＵＳ画像等の医用画像が入力される入力層３４１ａと、画像の特徴量（画像特徴量）を抽出する中間層３４１ｂと、医用画像に含まれるオブジェクトの位置及び種類を示す情報を出力する出力層３４１ｃとを有する。学習モデル３４１の入力層３４１ａは、医用画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層３４１ｂに受け渡す。中間層３４１ｂは、入力層３４１ａに入力された各画素の画素値を畳み込む畳み込み層と、畳み込み層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、医用画像の画素情報を圧縮しながら画像の特徴量を抽出する。中間層３４１ｂは、抽出した特徴量を出力層３４１ｃに受け渡す。出力層３４１ｃは、画像中に含まれるオブジェクトの画像領域の位置及び範囲並びに種類等を、例えばラベル画像として出力する一又は複数のニューロンを有する。ラベル画像は、例えばプラークの領域に対応する画素がクラス「１」、その他の画像に対応する画素がクラス「０」の画像である。学習モデル３４１は、ＣＮＮであるものとしたが、学習モデル３４１の構成はＣＮＮに限るものではない。学習モデル３４１は、例えばＣＮＮ以外のニューラルネットワーク、Ｕ－ｎｅｔ等のＦＣＮ（fully convolution network）、ＳｅｇＮｅｔ、ＳＳＤ、ＳＰＰｎｅｔ、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、又は、回帰木等の構成の学習済モデルであってよい。又は、学習モデル３４１は、中間層から出力された画像特徴量をＳＶＭ（support vector machine）に入力して物体認識を行うものであってもよい。このように学習モデル３４１は、セグメンテーション機能、物体検出機能、分類機能又は回帰機能を有し、セグメンテーション、物体検出、分類又は回帰を行うことにより、該医用画像に含まれるオブジェクトに関する情報を出力（推定）する。当該オブジェクトに関する情報は、オブジェクトの有無、種類、領域、又は推定精度（スコア）を含む。
　学習モデル３４１は、ステント、プラーク、石灰化部、解離等のオブジェクトを含む医用画像と、各オブジェクトの位置（領域）及び種類を示すラベル（ラベル画像）とが対応付けられた訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。このように構成された学習モデル３４１によれば、ＩＶＵＳ画像等の医用画像を学習モデル３４１に入力することによって、当該医用画像に含まれるオブジェクトの位置及び種類を示す情報を得ることができる。医用画像にオブジェクトが含まれない場合、位置及び種類を示す情報は、学習モデル３４１から出力されない。従って、制御部３１は、学習モデル３４１を用いることにより、当該学習モデル３４１に入力された医用画像に、オブジェクトが含まれているか否か（有無）、及び含まれている場合は当該オブジェクトの種類（クラス）、位置（医用画像における領域）、及び推定精度（スコア）を取得することができる。すなわち、このように学習された学習モデル３４１を用いることにより、本実施形態における図示のようにＩＶＵＳ画像を学習モデル３４１に入力することによってプラークの領域を画素単位で示すラベル画像を取得することができる。ＩＶＵＳ画像においてプラークとして抽出される領域（プラーク領域）は、コレストロール等によるプラーク自体及び中膜を合わせた領域である。すなわち、本実施形態においてＩＶＵＳ画像におけるプラークは、プラークと中膜を合わせた領域を示す。
　制御部３１は、各ＩＶＵＳ画像等（フレーム画像）を学習モデル３４１に一枚ずつ入力して処理してもよいが、連続する複数のフレーム画像を同時に入力して、複数のフレーム画像からプラークの領域を同時に検出するものであってもよい。例えば制御部３１は、学習モデル３４１を、３次元の入力データを取り扱う３Ｄ－ＣＮＮ（例えば３Ｄ　Ｕ－ｎｅｔ）とする。そして制御部３１は、２次元のフレーム画像の座標を２軸とし、各フレーム画像を取得した時間（生成時点）ｔを１軸とする３次元データとして取り扱う。制御部３１は、所定の単位時間分の複数フレーム画像（例えば１６フレーム）を一セットとして学習モデル３４１に入力し、複数のフレーム画像それぞれに対してプラークの領域にラベルを付した画像を同時に出力する。これにより、時系列で連続する前後のフレーム画像も考慮してプラークの領域を検出することができ、検出精度を向上させることができる。
　制御部３１は、学習モデル３４１から取得したこれら情報に基づき、ＩＶＵＳ画像に含まれるオブジェクトの種類及び領域に関するオブジェクト情報を導出する。又は、制御部３１は、学習モデル３４１から取得した情報自体をオブジェクト情報として用いることにより、当該オブジェクト情報を導出するものであってもよい。
　図７は、第２医用画像の抽出に関する説明図である。図８は、第２医用画像の代表値（プラークバーデン）に関する説明図である。図９は、基準画像に基づき決定される範囲に関する説明図である。本実施形態におけるこれら図示により、生成されたＩＶＵＳ画像（医用画像）それぞれに対応する血管（管腔器官）の軸方向の位置等に関し、説明する。
　プルバック操作において、センサ部１２は、ＭＤＵ２により一定速度（例えば0.5mm/秒又は1.0mm/秒）で遠位側（Distal）から近位側（Proximal）に向かってプルバックされる。ＩＶＵＳ画像の生成におけるイメージジングコアの空間分解能は、例えば１００から２００μｍである。例えば、プルバック速度が１．０ｍｍ／秒であり、空間分解能が１００μｍである場合、１秒間に１０枚のＩＶＵＳ画像が生成されるものとなる。この場合、当該１０枚のＩＶＵＳ画像に含まれる血管の長さは、１ｍｍとなる。すなわち、当該１０枚のＩＶＵＳ画像は、０．１ｍｍの距離（離間距離）毎の血管の断層図（縦断層図）を示すものとなる。また、当該１０枚のＩＶＵＳ画像は、０．１秒単位で生成されるものとなる。このようにＩＶＵＳ画像が生成される時点（生成時点）と、ＩＶＵＳ画像が示す血管の軸方向の位置（軸方向位置）とは、対応している。
　血管（管腔器官）の軸方向に沿って、生成したＩＶＵＳ画像が示す血管の位置に並べると、これら複数のＩＶＵＳ画像は、プルバック速度及び空間分解能に基づき決定される離間距離に応じて位置するものとなる。これにより、複数のＩＶＵＳ画像それぞれは、血管の軸方向における位置が特定される。すなわち、生成したＩＶＵＳ画像の位置とは、当該ＩＶＵＳ画像に含まれる血管の軸方向における位置を示す。
　プルバック長さが１０ｃｍ（１００ｍｍ）とした場合、１０秒のプルバック時間において、１０００枚のＩＶＵＳ画像が生成されるものとなる。このように１回のプルバックのスキャンにて取得した全てのＩＶＵＳ画像（医用画像）を、第１ＩＶＵＳ画像（第１医用画像）とする。例えば、０．１ｍｍ単位での離間距離を経て、血管（管腔器官）の軸方向に沿って並ぶ第１ＩＶＵＳ画像において、例えば１ｍｍ毎の所定間隔にて複数のＩＶＵＳ画像を抽出し、当該抽出したＩＶＵＳ画像を第２ＩＶＵＳ画像とする。すなわち第１ＩＶＵＳ画像は、第２ＩＶＵＳ画像として抽出されたＩＶＵＳ画像と、第２ＩＶＵＳ画像として抽出されなかった残りのＩＶＵＳ画像（残ＩＶＵＳ画像）とにより、構成される。
　生成された時点の観点からは、１ｍｍ毎の所定間隔にて抽出された第２ＩＶＵＳ画像は、１秒の時点間隔にて抽出されるものとなる。すなわち、第１ＩＶＵＳ画像（生成した全ＩＶＵＳ画像）から、１秒の時点間隔（１秒のサンプリング周期）にて抽出されたＩＶＵＳ画像が、第２ＩＶＵＳ画像に相当する。このように、例えば１ｍｍ等の所定の距離間隔（１秒等の所定の時点間隔）で、全てのＩＶＵＳ画像（第１ＩＶＵＳ画像）から、第２ＩＶＵＳ画像を抽出することにより、プルバック操作が行われる血管の全長に亘って効率的に第２ＩＶＵＳ画像を抽出することができる。抽出するための距離間隔は１ｍｍ程度としているため、ステント長を３ｍｍ単位とするステント品種が用意されている場合であっても、適切なステント品種を選択することができる。
　上述のとおり、複数の第２ＩＶＵＳ画像は、プルバック１回にて生成した全てのＩＶＵＳ画像（第１ＩＶＵＳ画像）の一部に相当する。例えば、１ｍｍ毎の所定間隔（空間分解能：１００μｍにおいて）にて抽出することにより、第２ＩＶＵＳ画像の個数（枚数）は、第１ＩＶＵＳ画像（生成した全てのＩＶＵＳ画像）の個数（枚数）の１０分の１（１／１０）となる。
　図７においては、プルバック操作の対象となった血管において、例えば１ｍｍ間隔で抽出した第２ＩＶＵＳ画像を示すものである。隣接する２つの第２ＩＶＵＳ画像には、９つの第１ＩＶＵＳ画像（生成した全てのＩＶＵＳ画像において、第２ＩＶＵＳ画像として抽出されなかった第１ＩＶＵＳ画像）が位置するものとなる。抽出された複数の第２ＩＶＵＳ画像それぞれは、学習モデル３４１に入力されることによりセグメンテーション処理がされ、複数の第２ＩＶＵＳ画像それぞれにおけるプラーク等のオブジェクトの領域が特定される。
　制御部３１は、第２ＩＶＵＳ画像それぞれにおいて、血管（Vessel）の断面積におけるプラークの領域の面積（断面積）比率であるプラークバーデン（プラークの断面積比率）を算出（導出）する。ＩＶＵＳ画像における血管（Vessel）は、外弾性板により囲まれた領域を示す。制御部３１は、当該プラークバーデンを、各第２ＩＶＵＳ画像の代表値とし、本実施形態の図示のようなグラフを生成し、生成したグラフを表示装置４に表示させるものであってもよい。
　制御部３１は、各第２ＩＶＵＳ画像におけるプラークバーデン（代表値）において、最大となるプラークバーデン（代表値）を特定し、当該最大のプラークバーデンを含む第２ＩＶＵＳ画像を基準画像として特定する。基準画像は、最大のプラークバーデンを含むＩＶＵＳ画像であるため、医師等が病変解析を行う際の意思決定に用いられる可能性が高いＩＶＵＳ画像である。このような処理を行うことにより、まずは、特定した基準画像及び、当該基準画像の位置（基準点）を早期に医師等に提供することができる。
　制御部３１は、基準画像の位置を基準点として、遠位側及び近位側のそれぞれに位置する第２ＩＶＵＳ画像から、遠位側画像及び近位側画像を特定する。制御部３１は、例えば、基準画像の位置（基準点）を中心に所定の範囲内において、プラークバーデン（代表値）が最小の第２ＩＶＵＳ画像を遠位側画像及び近位側画像として特定するものであってもよい。
　特定した遠位側画像から近位側画像の間には基準画像が位置するものとなり、制御部３１は、当該遠位側画像から近位側画像の範囲を優先処理範囲（高優先度範囲）として定め、遠位側画像から近位側画像の範囲以外の範囲を低優先度範囲として定めるものであってもよい。本実施形態においては、低優先度範囲は、近位側画像よりも近位側となる範囲と、遠位側画像よりも近位側となる範囲とからなる２つの範囲を含む。
　制御部３１は、優先処理範囲（高優先度範囲）となる遠位側画像から近位側画像の範囲に位置する複数の第１ＩＶＵＳ画像を特定し、特定したこれら複数の第１ＩＶＵＳ画像を学習モデル３４１に入力する。遠位側画像から近位側画像の範囲に位置するＩＶＵＳ画像は、既に学習モデル３４１に入力済みの第２ＩＶＵＳ画像と、第２ＩＶＵＳ画像として抽出されなかった第１ＩＶＵＳ画像が含まれる。従って、制御部３１は、遠位側画像から近位側画像の範囲に位置する第１ＩＶＵＳ画像のうち、第２ＩＶＵＳ画像として抽出されなかった第１ＩＶＵＳ画像のみを学習モデル３４１に入力するものであってもよい。
　制御部３１は、遠位側画像から近位側画像の範囲に位置する第１ＩＶＵＳ画像を学習モデル３４１に入力するにあたり、基準画像に近接する順番で、第１ＩＶＵＳ画像を学習モデル３４１に入力するものであってもよい。この場合、基準画像に隣接する遠位側又は近位側のいずれかの第１ＩＶＵＳ画像が、最先に学習モデル３４１に入力され、遠位側画像又は近位側画像に隣接するいずれかの第１ＩＶＵＳ画像が、最後に学習モデル３４１に入力される。遠位側画像から近位側画像の範囲に位置する複数の第１ＩＶＵＳ画像において、基準画像に近接する第１ＩＶＵＳ画像のほうが、病変部に関する情報を多く含むことが想定される。従って、このように基準画像に近接する順番で、第１ＩＶＵＳ画像を学習モデル３４１に順次、入力することにより、医師等に効率的に支援情報を提供することができる。
　制御部３１は、学習モデル３４１による推定結果を取得することにより、遠位側画像から近位側画像の範囲に位置する第１ＩＶＵＳ画像に含まれるプラーク等のオブジェクトに関する情報を出力し、当該情報を表示装置４に表示させるものであってもよい。オブジェクトに関する情報は、例えば、個々の第１ＩＶＵＳ画像に含まれるプラークの領域を示す画像、プラークバーデン、血管径又は面積（Vessel）、内腔径又は面積（Lumen）及び狭窄率を含むものであってもよい。
　制御部３１は、遠位側画像から近位側画像の範囲（高優先度範囲）に位置する第１ＩＶＵＳ画像を学習モデル３４１に入力する等の処理を行った後、遠位側画像から近位側画像の範囲以外の範囲（低優先度範囲）に位置する第１ＩＶＵＳ画像を学習モデル３４１に入力する等の処理を行うものであってもよい。本実施形態においては、ＩＶＵＳ画像（第２ＩＶＵＳ画像）における代表値としてプラークバーデンを用いたがこれに限定されない。制御部３１は、例えば、第２ＩＶＵＳ画像に含まれる血管（Vessel）と内腔径(Lumen)との径又は面積の比率（Lumen/Vessel）、狭窄率、ステント、解離、石灰化部等のオブジェクトの種類に基づき導出される計測値を代表値として用いて、基準画面等を特定するものであってもよい。これら計測値等を代表値として用いる場合、最小値に基づき基準画面を特定するものであってもよい。
　図１０は、制御部３１による情報処理手順を示すフローチャートである。画像処理装置３の制御部３１は、医師等、画像診断用カテーテルの操作者の操作に応じて入力装置５から出力される入力データ等に基づき、以下の処理を実行する。
　制御部３１は、血管等の管腔器官の軸方向に沿って生成された複数の第１ＩＶＵＳ画像を取得する（Ｓ１０１）。制御部３１は、プルバックして得た全てのＩＶＵＳ画像（第１ＩＶＵＳ画像）の読み込みを行うことにより、これらＩＶＵＳ画像群からなる医用画像を取得する。
　制御部３１は、複数の第１ＩＶＵＳ画像から、管腔器官の軸方向において所定間隔となる複数の第２ＩＶＵＳ画像を抽出する（Ｓ１０２）。制御部３１は、複数の第１ＩＶＵＳ画像（全てのＩＶＵＳ画像）から、例えば、血管（管腔器官）の軸方向において１ｍｍ毎となる所定間隔にて複数のＩＶＵＳ画像を抽出し、当該抽出した複数のＩＶＵＳ画像を第２ＩＶＵＳ画像として設定する。ＩＶＵＳ画像の生成におけるイメージングコアの空間分解能が、例えば１００μｍ（０．１ｍｍ）である場合、第１ＩＶＵＳ画像（全てのＩＶＵＳ画像）の枚数（個数）の１０分の１（１／１０）の枚数（個数）の第２ＩＶＵＳ画像が、抽出されるものとなる。本実施形態において、所定間隔は１ｍｍ（時点間隔は１秒）としたが、これに限定されず、画像処理装置３は、例えば０．５ｍｍから１．５ｍｍ等（０．５秒から１．５秒等）、所定の範囲内において医師等による選択を受け付ける選択部を備え、所定間隔の選択を可能とするものであってもよい。第２ＩＶＵＳ画像を抽出するための所定間隔の値は、画像処理装置３の補助記憶部３４に記憶（保存）されるものであってもよい。
　制御部３１は、抽出した複数の第２ＩＶＵＳ画像を学習モデル３４１に入力する（Ｓ１０３）。制御部３１は、例えば、１ｍｍ毎となる所定間隔にて抽出した複数の第２ＩＶＵＳ画像を、セグメンテーションネットワークの機能を有する学習モデル３４１に入力する。
　制御部３１は、学習モデル３４１から出力される推定結果に基づき、第２ＩＶＵＳ画像それぞれに含まれるオブジェクトの種類及び領域を特定する（Ｓ１０４）。学習モデル３４１は、入力されたＩＶＵＳ画像に含まれるプラーク等、オブジェクトの種類（クラス）、領域、及びクラス精度（推定精度）に関する情報を推定結果として出力する。又は、学習モデル３４１は、ＩＶＵＳ画像に含まれる血管の外弾性板（Vessel）及び内腔（Lumen）をオブジェクトの種類として特定し、当該血管の外弾性板（Vessel）及び内腔（Lumen）に基づき、これの間に介在するプラークを特定するものであってもよい。例えばオブジェクトの種類がプラークである場合、制御部３１は、学習モデル３４１から出力される推定結果に基づき、第２ＩＶＵＳ画像それぞれに含まれるプラークの領域を特定する。
　制御部３１は、特定したオブジェクトの種類及び領域に基づき、複数の第２ＩＶＵＳ画像それぞれにおける代表値を導出する（Ｓ１０５）。制御部３１は、特定したプラーク等に基づき算出したプラークバーデン（プラークの断面積比率）を、複数の第２ＩＶＵＳ画像それぞれにおける代表値として導出する。本実施形態においては、ＩＶＵＳ画像（第２ＩＶＵＳ画像）における代表値としてプラークバーデンを用いたがこれに限定されず、例えば血管（Vessel）と内腔径(Lumen)との径又は面積の比率（Lumen/Vessel）、狭窄率、ステント、解離、石灰化部等のオブジェクトの種類に基づき導出される計測値を代表値として用いるものであってもよい。
　制御部３１は、導出した代表値に基づき、複数の第２ＩＶＵＳ画像から基準画像を決定する（Ｓ１０６）。制御部３１は、複数の第２ＩＶＵＳ画像それぞれにおいて導出した代表値（プラークバーデン）に基づき、例えば、最も代表値（プラークバーデン）が大きい（最大の）第２ＩＶＵＳ画像を、基準画像として決定する。
　制御部３１は、導出した代表値及び基準画像に基づき、遠位側画像及び近位側画像を決定する（Ｓ１０７）。制御部３１は、基準画像が示す血管（管腔器官）の軸方向の位置を基準点として、遠位側及び近位側それぞれにおける第２ＩＶＵＳ画像のうち、代表値（プラークバーデン）が最小の第２ＩＶＵＳ画像を、遠位側画像及びを近位側画像として決定する。制御部３１は、遠位側画像及び近位側画像を決定するにあたり、基準画像による基準点を中心として、所定範囲内にて遠位側画像及び近位側画像を決定するものであってもよい。
　制御部３１は、遠位側画像から近位側画像までの間に位置する第１ＩＶＵＳ画像を学習モデル３４１に入力する（Ｓ１０８）。遠位側画像から近位側画像までの間には、第２ＩＶＵＳ画像として抽出されなかった複数の第１ＩＶＵＳ画像が位置するものとなる。当該遠位側画像から近位側画像までの範囲においては、基準画像が含まれるため、当該範囲は優先して処理を行う高優先度範囲に該当する。制御部３１は、遠位側画像から近位側画像の範囲に位置する第１ＩＶＵＳ画像のうち、第２ＩＶＵＳ画像として抽出されなかった第１ＩＶＵＳ画像のみを学習モデル３４１に入力するものであってもよい。
　制御部３１は、学習モデル３４１から出力される推定結果に基づき、遠位側画像から近位側画像までの間に位置する第１ＩＶＵＳ画像それぞれに含まれるオブジェクトの種類及び領域を特定する（Ｓ１０９）。制御部３１は、学習モデル３４１から出力される推定結果に基づき、遠位側画像から近位側画像までの範囲（高優先度範囲）に位置する第１ＩＶＵＳ画像それぞれに含まれるプラークの領域を特定する。
　制御部３１は、特定したオブジェクトの種類及び領域に関する情報（代表値等）を出力する（Ｓ１１０）。制御部３１は、基準画像を含む高優先度範囲に位置する第１ＩＶＵＳ画像それぞれにて特定されたプラーク等のオブジェクトの種類及び領域に関する情報を表示装置４に出力し、当該情報を表示装置４に表示させる。制御部３１は、情報を出力するにあたり、高優先度範囲に位置する第１ＩＶＵＳ画像それぞれにおけるプラークバーデン、血管（Vessel）と内腔径(Lumen)との径又は面積の比率（Lumen/Vessel）、狭窄率、ステント、解離、石灰化部等のオブジェクトの種類に基づき導出される計測値を当該情報に含めるものであってもよい。制御部３１は、遠位側画像から近位側画像の範囲（高優先度範囲）に位置する第１ＩＶＵＳ画像を学習モデル３４１に入力する等の処理を行った後、遠位側画像から近位側画像の範囲以外の範囲（低優先度範囲）に位置する第１ＩＶＵＳ画像に対しても、学習モデル３４１に入力等、高優先度範囲と同様の処理を行うものであってもよい。
　本実施形態におけるフローチャートにおいて、制御部３１は、Ｓ１０１からＳ１０４までの処理を順次（シーケンシャル）に行うとして説明したが、これに限定されない。制御部３１は、プルバックを行うことにより第１ＩＶＵＳ画像の生成及び取得する処理と並行して、すなわちプルバック操作中に、既に生成した複数の第１ＩＶＵＳ画像から所定間隔で第２ＩＶＵＳ画像の抽出及び、当該第２ＩＶＵＳ画像を学習モデル３４１に入力してオブジェクトの種類及び領域を特定するセグメンテーション等の処理を行うものであってもよい。すなわち、制御部３１は、プルバックしながら、所定間隔で第２ＩＶＵＳ画像を抽出して学習モデル３４１に入力しセグメンテーションを進めるものであってもよい。制御部３１は、プルバックを行う共に、Ｓ１０１からＳ１０５までの処理を並行して行うものであってもよい。
　図１１は、ステントサイズの選択手順を示すフローチャートである。画像処理装置３の制御部３１は、医師等、画像診断用カテーテルの操作者の操作に応じて入力装置５から出力される入力データ等に基づき、以下の処理を実行する。制御部３１は、前述した処理Ｓ１０１からＳ１１０にて導出された第１ＩＶＵＳ画像に含まれるオブジェクトの種類及び領域に関する情報（代表値等）に基づき、ステントサイズの選択に関する以下の処理を行う。
　制御部３１は、特定したオブジェクトの種類及び領域に関する情報（代表値等）を取得する（Ｔ１０１）。制御部３１は、上述したフローにおける処理Ｓ１１０の出力結果を用いることにより、遠位側画像から近位側画像の範囲（高優先度範囲）に位置する第１ＩＶＵＳ画像において特定したオブジェクトの種類及び領域に関する情報（代表値等）を取得する。制御部３１は、取得した情報を入力因子として、ステントサイズの選択を行うアプリケーション（ステント選択ＡＰＰ）を起動するものであってもよい。
　制御部３１は、基準画像の代表値等に基づき、体内部位が異常であるか否かを判定する（Ｔ１０２）。代表値がプラークバーデンである場合、制御部３１は、プラークバーデンが例えば５０％以上であるか等、所定値以上であるか否かに基づき、ＩＶＵＳ画像（基準画像）にて示される体内部位が異常であるか否かを判定する。又は、制御部３１は、基準画像にて示される体内部位において、血管性状、合併症リスク所見の有無、プラーク分布、石灰化、側枝又はリモデリングに応じて、体内部位が異常であるか否かを判定するものであってもよい。
　体内部位が異常である場合（Ｔ１０２：ＹＥＳ）、制御部３１は、基準画像等の位置に基づき、ステント留置部位を決定する（Ｔ１０３）。制御部３１は、ステント長候補を決定する（Ｔ１０４）。制御部３１は、基準画像を含むＩＶＵＳ画像（第１ＩＶＵＳ画像）それぞれの代表値等の情報に基づき、ステント留置部位（landing zone）を決定する。制御部３１は、決定したステント留置部位に基づき、ステント長候補を決定する。
　制御部３１は、参照血管の範囲を決定する（Ｔ１０５）。制御部３１は、例えば基準画像等に含まれる病変の前後（基準点に対し遠位及び近位）にて１ｃｍ内を参照血管の範囲として決定する。
　制御部３１は、参照血管径を決定する（Ｔ１０６）。制御部３１は、決定した参照血管の範囲において、血管径の最大値を参照血管径として決定する。
　制御部３１は、ステント径候補を決定する（Ｔ１０７）。制御部３１は、例えば決定した参照血管径の０．９倍をステント径候補として決定する。又は、制御部３１は、遠位参照内腔径又はＭｉｄ－ｗａｌｌ等の内腔径や血管径から算出した代表値に基づき、ステント径候補を決定するものであってもよい。
　体内部位が異常でない場合（Ｔ１０２：ＮＯ）又は、Ｔ１０４及びＴ１０７の実行後、制御部３１は、ステント品種候補を決定する（Ｔ１０８）。制御部３１は、決定したステント径候補及びステント長候補に応じて、予め用意されているステント品種から選定することにより、適切なサイズとなるステント品種候補を決定する。
　本実施形態によれば、画像処理装置３は、取得した複数の第１医用画像（第１ＩＶＵＳ画像）において、当該第１医用画像の一部となる複数の第２医用画像（第２ＩＶＵＳ画像）を抽出し、抽出した第２医用画像それぞれを学習モデル３４１に入力する。画像処理装置３は、例えば、管腔器官の軸方向において１ｍｍ等の所定間隔にて、複数の第２医用画像を抽出するものであってもよい。このように抽出することにより、第２医用画像の個数（枚数）を、第１医用画像の個数（枚数）よりも少なくすることができる。従って、第１医用画像の個数（枚数）よりも少ない個数（枚数）となる第２医用画像を学習モデル３４１に入力することによって基準画像を決定することができ、学習モデル３４１を用いるにあたっての計算負荷を低減し、基準画像の決定の所要時間を低減することができる。
　基準画像は、学習モデル３４１の推定結果によって特定したオブジェクトの種類及び領域に基づき決定されるため、医師等の画像診断用カテーテルの操作者が病変解析を行う際に意思決定に使用される体内部位が含まれる。画像処理装置３は、基準画像から管腔器官の軸方向において所定範囲内の第１医用画像を学習モデル３４１に入力するため、当該基準画像の近傍等、基準画像を含む所定範囲内の第１医用画像を優先的に学習モデル３４１に入力し、これら第１医用画像に含まれるオブジェクトに関する情報を効率的に検出することができる。このような処理を行うことにより、例えば画像診断用カテーテルを用いて生成した全ての医用画像を一律に学習モデル３４１に入力する場合と比較して、計算負荷を低減することができ、基準画像を含む所定範囲内となる一部の医用画像を学習モデル３４１に優先的に入力して、医師等に対する支援情報を早期に提供することができる。
　本実施形態において、学習モデル３４１への入力は、当該基準画像を含む所定範囲内となる一部の医用画像のみに限定されない。当該一部の医用画像を学習モデル３４１に入力した以降、残りの医用画像（当該一部の医用画像以外の医用画像）を、学習モデル３４１に入力して、これら残りの医用画像におけるオブジェクトの種類及び領域を特定するものであってもよい。すなわち、当該残りの医用画像に対する処理の優先順位は、基準画像を含む所定範囲内となる一部の医用画像に対する処理の優先順位よりも低い優先順位とするものであってもよい。
　本実施形態によれば、画像処理装置３は、オブジェクトの種類として血管の外弾性板（Vessel）及び内腔（Lumen）を特定（セグメンテーション）し、セグメンテーションされた血管の外弾性板（Vessel）及び内腔（Lumen）の領域に基づきプラークの面積比率（プラークバーデン）を算出する。画像処理装置３は、当該プラークバーデンを第２医用画像それぞれの代表値とし、当該代表値に基づき基準画像を決定するため、医師等が病変解析等を行う際の意思決定に要する体内部位を含む基準画像を効率的に決定することができる。なお、本実施形態においてはプラークバーデンを代表値としたがこれに限定されず、例えば所定の参照値を用いた狭窄率等を代表値として用いるものであってもよい。
　本実施形態によれば、代表値であるプラークバーデンが最大の第２医用画像を基準画像として決定するため、医師等が病変解析等を行う際の意思決定に要する体内部位を含む基準画像を効率的に決定することができる。当該基準画像に対し、遠位及び近位のそれぞれにて位置する第２医用画像のうち、代表値が最小の第２医用画像を遠位側画像及び近位側画像として決定するため、当該基準画像を含む範囲を効率的に特定することができる。
　本実施形態によれば、プラークバーデンを示す代表値に基づき、ステントの要否を決定する。画像処理装置３は、例えばプラークバーデン（代表値）が５０％以上である場合、遠位側画像から近位側画像までの距離、すなわち遠位側画像を生成した部位から、近位側画像を生成した部位までの距離に基づき、ステント長候補を特定する。更に、画像処理装置３は、例えば、遠位側画像及び近位側画像の内腔（Lumen）の内腔径において、いずれか小さい内腔径に基づき、ステント径候補を特定する。ステント径候補は、例えば、当該いずれか小さい内腔径の９０％（０．９倍）として、特定するものであってもよい。このように画像処理装置３は、代表値と、遠位側画像及び近位側画像とに基づき、ステントサイズ候補を効率的に特定することができ、当該特定したステントサイズ候補に関する情報を出力し、医師等による病変解析等の支援を行うことができる。
（実施形態２）
　図１２は、実施形態２における基準画像に基づき決定される範囲に関する説明図である。実施形態２における制御部３１は、各第２ＩＶＵＳ画像のプラークバーデン（代表値）の変化率に基づき、基準画像を特定する。
　制御部３１は、各第２ＩＶＵＳ画像の位置に応じて特定されるプラークバーデン（代表値）の近似曲線式を導出し、当該近似曲線式における微分値が０（微小変化が正から負となる変化点）となる位置に基づき、基準画像を特定するものであってもよい。すなわち、制御部３１は、近傍の値で変動の大きなところを微分値等から求め、詳細に検出範囲と、荒く検出する範囲を特定するものであってもよい。
　制御部３１は、算出した微分値により、複数の基準画像を特定した場合、プラークバーデン（代表値）の大きさに基づき、これら基準画像（基準点）の優先度を決定するものあってもよい。本実施形態においては、例えば、微分値が０（微小変化が正から負となる変化点）となる位置が２点、含まれる。この場合、制御部３１は、プラークバーデン（代表値）が大きい基準画像を、高優先度範囲を決定する基準点とし、プラークバーデン（代表値）が小さい基準画像を、中優先度範囲を決定する基準点として決定してもよい。
　制御部３１は、優先度が異なる複数の基準画像（基準点）が存在する場合、優先度に応じて、個々の基準画像（基準点）に関する処理を行うものであってもよい。すなわち、制御部３１は、優先度の最も高い（高優先度）基準画像（基準点）に基づく範囲の第１ＩＶＵＳ画像を学習モデル３４１に入力し、以降に優先度が次に高い（中優先度）基準画像（基準点）に基づく範囲の第１ＩＶＵＳ画像を学習モデル３４１に入力するものであってもよい。
　制御部３１は、ステント留置後である場合、ステント検出を行い、ステントを有する箇所のみ詳細に、学習モデル３４１によるセグメンテーション等を用いたスキャンする処理を行うものであってもよい。合併症リスク所見に関する処理において、血管解離等は広い間隔では見逃す可能性があるところ、これに対しＩＶＵＳ画像（第２ＩＶＵＳ画像）の中で解離等の所見を見つけたらその近傍は０．１mm間隔など詳細にスキャンするものであってもよい。また、アンギオ画像から事前に合併症リスクのある箇所が分かっている場合は、自動又は手動（操作者のよる操作の受け付け）により決定した範囲を詳細に学習モデル３４１によるセグメンテーション等を用いたスキャンするものであってもよい。
　本実施形態によれば、第２ＩＶＵＳ画像それぞれの代表値において近傍の値で変動の大きなところを微分値等から求めことにより、優先的に学習モデル３４１に入力してセグメンテーション等を用いたスキャンを行う範囲を決定するため、優先的に処理するＩＶＵＳ画像（第１ＩＶＵＳ画像）を効率的に特定することができる。
　今回開示された実施の形態は全ての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、請求の範囲内での全ての変更及び請求の範囲と均等の範囲が含まれることが意図される。
　１　画像診断用カテーテル
　１１　プローブ
　１１ａ　カテーテルシース
　１２　センサ部
　１２ａ　超音波送受信部
　１２ａ　ＩＶＵＳセンサ
　１２ｂ　光送受信部
　１２ｂ　ＯＣＴセンサ
　１２ｃ　マーカ
　１２ｄ　ハウジング
　１３　シャフト
　１４　ガイドワイヤ挿通部
　１４ａ　マーカ
　１５　コネクタ部
　２　ＭＤＵ
　３　画像処理装置（情報処理装置）
　３０　記録媒体
　３１　制御部
　３２　主記憶部
　３３　入出力Ｉ／Ｆ
　３４　補助記憶部
　３４１　学習モデル
　３５　読取部
　４　表示装置
　５　入力装置
　１００　画像診断装置
　１０１　血管内検査装置
　１０２　血管造影装置

Claims (8)

  1. 　コンピュータに、
    　管腔器官に挿入されたカテーテルにて検出した信号に基づき、管腔器官の軸方向に沿って生成された複数の第１医用画像を取得し、
    　取得した前記複数の第１医用画像から、管腔器官の軸方向において所定間隔となる複数の第２医用画像を抽出し、
    　抽出した前記複数の第２医用画像を、医用画像を入力した場合に該医用画像に含まれるオブジェクトに関する情報を出力する学習モデルに入力することによって、前記抽出した前記複数の第２医用画像に含まれるオブジェクトの種類及び領域を特定し、
    　特定した前記オブジェクトの種類及び領域に基づき、前記複数の第２医用画像から基準画像を決定し、
    　決定した前記基準画像から、前記管腔器官の軸方向にて所定範囲内の第１医用画像を前記学習モデルに入力する
    　処理を実行させるためのコンピュータプログラム。
  2. 　特定した前記オブジェクトの種類及び領域に基づき、前記複数の第２医用画像それぞれにおける代表値を導出し、
    　前記複数の第２医用画像の代表値に基づき、前記複数の第２医用画像のうちのいずれかの第２医用画像を前記基準画像として決定する
    　請求項１に記載のコンピュータプログラム。
  3. 　前記管腔器官は血管であり、
    　特定した前記オブジェクトの種類は、前記血管の外弾性板と内腔との間に介在するプラークを含み、
    　前記代表値は、プラークの領域に基づき特定されるプラークバーデンである
    　請求項２に記載のコンピュータプログラム。
  4. 　前記複数の第２医用画像において、前記代表値が最大の第２医用画像を前記基準画像として決定する
    　請求項２又は請求項３に記載のコンピュータプログラム。
  5. 　前記管腔器官の軸方向において、前記基準画像よりも遠位に位置する前記複数の第２医用画像のうち、前記代表値が最小の第２医用画像を遠位側画像として決定し、
    　前記基準画像よりも近位に位置する前記複数の第２医用画像のうち、前記代表値が最小の第２医用画像を近位側画像として決定し、
    　前記遠位側画像から前記近位側画像までの間に位置する第１医用画像を前記学習モデルに入力する
    　請求項２から請求項４のいずれか１項に記載のコンピュータプログラム。
  6. 　前記代表値と、前記遠位側画像及び前記近位側画像とに基づき、前記管腔器官に挿入するステントサイズ候補を特定し、
    　特定した前記ステントサイズ候補に関する情報を出力する
    　請求項５に記載のコンピュータプログラム。
  7. 　コンピュータに、
    　管腔器官に挿入されたカテーテルにて検出した信号に基づき、管腔器官の軸方向に沿って生成された複数の第１医用画像を取得し、
    　取得した前記複数の第１医用画像から、管腔器官の軸方向において所定間隔となる複数の第２医用画像を抽出し、
    　抽出した前記複数の第２医用画像を、医用画像を入力した場合に該医用画像に含まれるオブジェクトに関する情報を出力する学習モデルに入力することによって、前記抽出した前記複数の第２医用画像に含まれるオブジェクトの種類及び領域を特定し、
    　特定した前記オブジェクトの種類及び領域に基づき、前記複数の第２医用画像から基準画像を決定し、
    　決定した前記基準画像から、前記管腔器官の軸方向にて所定範囲内の第１医用画像を前記学習モデルに入力する
    　処理を実行させる情報処理方法。
  8. 　管腔器官に挿入されたカテーテルにて検出した信号に基づき、管腔器官の軸方向に沿って生成された複数の第１医用画像を取得する取得部と、
    　取得した前記複数の第１医用画像から、管腔器官の軸方向において所定間隔となる複数の第２医用画像を抽出する抽出部と、
    　抽出した前記複数の第２医用画像を、医用画像を入力した場合に該医用画像に含まれるオブジェクトに関する情報を出力する学習モデルに入力することによって、前記抽出した前記複数の第２医用画像に含まれるオブジェクトの種類及び領域を特定する特定部と、
    　特定した前記オブジェクトの種類及び領域に基づき、前記複数の第２医用画像から基準画像を決定する決定部と、
    　決定した前記基準画像から、前記管腔器官の軸方向にて所定範囲内の第１医用画像を前記学習モデルに入力する入力部と
    　を備える情報処理装置。
     
PCT/JP2022/010199 2021-03-30 2022-03-09 コンピュータプログラム、情報処理方法及び情報処理装置 WO2022209657A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023510770A JPWO2022209657A1 (ja) 2021-03-30 2022-03-09
US18/471,264 US20240013386A1 (en) 2021-03-30 2023-09-20 Medical system, method for processing medical image, and medical image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021058297 2021-03-30
JP2021-058297 2021-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/471,264 Continuation US20240013386A1 (en) 2021-03-30 2023-09-20 Medical system, method for processing medical image, and medical image processing apparatus

Publications (1)

Publication Number Publication Date
WO2022209657A1 true WO2022209657A1 (ja) 2022-10-06

Family

ID=83458709

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010199 WO2022209657A1 (ja) 2021-03-30 2022-03-09 コンピュータプログラム、情報処理方法及び情報処理装置

Country Status (3)

Country Link
US (1) US20240013386A1 (ja)
JP (1) JPWO2022209657A1 (ja)
WO (1) WO2022209657A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000287165A (ja) * 1999-01-28 2000-10-13 Toshiba Corp 画像情報記述方法、映像検索方法、映像再生方法、映像検索装置、及び映像再生装置
WO2019064704A1 (ja) * 2017-09-29 2019-04-04 オリンパス株式会社 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法
WO2020105699A1 (ja) * 2018-11-21 2020-05-28 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000287165A (ja) * 1999-01-28 2000-10-13 Toshiba Corp 画像情報記述方法、映像検索方法、映像再生方法、映像検索装置、及び映像再生装置
WO2019064704A1 (ja) * 2017-09-29 2019-04-04 オリンパス株式会社 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法
WO2020105699A1 (ja) * 2018-11-21 2020-05-28 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JPWO2022209657A1 (ja) 2022-10-06
US20240013386A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
JP2022522960A (ja) 動脈画像領域及びそれらの特徴を分類するシステム及び方法
WO2014136137A1 (ja) 画像診断装置及び情報処理装置及びそれらの制御方法、プログラム及びコンピュータ可読記憶媒体
WO2021048834A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
US20230020596A1 (en) Computer program, information processing method, information processing device, and method for generating model
US20240013385A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
JP6794226B2 (ja) 画像診断装置、画像診断装置の作動方法およびプログラム
WO2021193019A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
JP2022055170A (ja) コンピュータプログラム、画像処理方法及び画像処理装置
WO2023054467A1 (ja) モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置
WO2022209657A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
WO2022209652A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
WO2021193024A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2022202302A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
WO2024071322A1 (ja) 情報処理方法、学習モデルの生成方法、コンピュータプログラム及び情報処理装置
WO2022202323A1 (ja) プログラム、情報処理方法及び情報処理装置
WO2023189308A1 (ja) コンピュータプログラム、画像処理方法及び画像処理装置
US20220028079A1 (en) Diagnosis support device, diagnosis support system, and diagnosis support method
WO2024071321A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
WO2024071121A1 (ja) コンピュータプログラム、情報処理方法、及び情報処理装置
US20230017334A1 (en) Computer program, information processing method, and information processing device
WO2022202320A1 (ja) プログラム、情報処理方法及び情報処理装置
WO2023132332A1 (ja) コンピュータプログラム、画像処理方法及び画像処理装置
WO2023054460A1 (ja) プログラム、情報処理装置及び情報処理方法
WO2023189260A1 (ja) コンピュータプログラム、情報処理装置及び情報処理方法
WO2023054442A1 (ja) コンピュータプログラム、情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22779880

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023510770

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22779880

Country of ref document: EP

Kind code of ref document: A1