WO2024071252A1 - コンピュータプログラム、情報処理方法及び情報処理装置 - Google Patents

コンピュータプログラム、情報処理方法及び情報処理装置 Download PDF

Info

Publication number
WO2024071252A1
WO2024071252A1 PCT/JP2023/035281 JP2023035281W WO2024071252A1 WO 2024071252 A1 WO2024071252 A1 WO 2024071252A1 JP 2023035281 W JP2023035281 W JP 2023035281W WO 2024071252 A1 WO2024071252 A1 WO 2024071252A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
side branch
main trunk
points
contour line
Prior art date
Application number
PCT/JP2023/035281
Other languages
English (en)
French (fr)
Inventor
雄紀 坂口
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Publication of WO2024071252A1 publication Critical patent/WO2024071252A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Definitions

  • the present invention relates to a computer program, an information processing method, and an information processing device.
  • Intravascular ultrasound IVUS: IntraVascular UltraSound
  • IVUS Intravascular ultrasound
  • Patent Document 1 The technology disclosed in Patent Document 1 makes it possible to individually extract features such as lumen walls and stents from blood vessel images.
  • the main trunk and side branches branching off from the main trunk may appear. Because the long axis of the catheter placed in the main trunk and the long axis of the side branch are not parallel, the shape of the side branch is depicted in a variety of forms depending on the observation position. In particular, the area at the branch where the main trunk and side branch are connected must be defined virtually, which is quite difficult.
  • the objective is to provide a computer program, an information processing method, and an information processing device that can automatically define the area at the branch where the main trunk and the side branch are connected.
  • a computer program causes a computer to execute a process of acquiring a cross-sectional image of a blood vessel, determining whether or not a main trunk region and a side branch region connected to the main trunk region are present in the acquired cross-sectional image, and if it is determined that the main trunk region and the side branch region are present, determining a contour line of the main trunk region, determining a contour line of the side branch region based on the determined contour line of the main trunk region, and displaying the determined contour lines of the main trunk region and the side branch region in different display modes.
  • any one of the computer programs (2) to (4) above it is preferable to determine the contour of the side branch region in the non-boundary portion based on a plurality of points selected for the side branch region excluding the points included in the boundary portion, and to determine the contour of the side branch region in the boundary portion based on the points included in the boundary portion.
  • any one of the computer programs (1) to (5) above it is preferable to determine whether or not there is a side branch region that is in contact with the boundary of the field of view based on the acquired tomographic image, and if it is determined that the side branch region exists, to determine the contour line of the side branch region based on the boundary of the field of view.
  • a computer program is a computer program for causing a computer to execute a process of displaying a tomographic image of a blood vessel, accepting, on the displayed tomographic image, the specification of a number of points on the periphery of a main trunk region and a number of points on the periphery of a side branch region connected to the main trunk region, determining a contour line of the main trunk region based on the specified number of points on the periphery of the main trunk region, determining a contour line of the side branch region based on the specified number of points on the periphery of the side branch region with reference to the determined contour line of the main trunk region, and assigning labels for identifying the main trunk region and the side branch region enclosed by the determined contour line.
  • a computer executes a process of acquiring a tomographic image of a blood vessel, determining whether or not a main trunk region and a side branch region connected to the main trunk region are present in the acquired tomographic image, and if it is determined that the main trunk region and the side branch region are present, determining a contour line of the main trunk region, determining a contour line of the side branch region based on the determined contour line of the main trunk region, and displaying the determined contour lines of the main trunk region and the side branch region in different display modes.
  • An information processing device includes an acquisition unit that acquires a tomographic image of a blood vessel, a judgment unit that judges whether a main trunk region and a side branch region connected to the main trunk region are present in the acquired tomographic image, a first determination unit that determines a contour line of the main trunk region when it is judged that the main trunk region and the side branch region are present, a second determination unit that determines a contour line of the side branch region based on the determined contour line of the main trunk region, and a display unit that displays the determined contour lines of the main trunk region and the side branch region in different display modes.
  • the area at the branch where the main trunk and side branches are connected can be automatically defined.
  • FIG. 1 is a schematic diagram showing a configuration example of an imaging diagnostic apparatus according to a first embodiment
  • FIG. 1 is a schematic diagram showing an overview of a catheter for diagnostic imaging.
  • 1 is an explanatory diagram showing a cross section of a blood vessel through which a sensor portion is inserted
  • FIG. 2 is an explanatory diagram for explaining a tomographic image.
  • FIG. 2 is an explanatory diagram for explaining a tomographic image.
  • FIG. 13 is a schematic diagram showing an example of depicting a side branch shape.
  • FIG. 1 is a block diagram showing an example of the configuration of an image processing device.
  • FIG. 2 is a schematic diagram showing an example of the configuration of a learning model.
  • 10 is a flowchart illustrating a procedure of a process executed by the image processing device.
  • FIG. 1 is a schematic diagram showing an overview of a catheter for diagnostic imaging.
  • 1 is an explanatory diagram showing a cross section of a blood vessel through which a sensor portion is inserted
  • FIG. 13 is a schematic diagram showing an example of a display of a contour line.
  • FIG. 13 is a schematic diagram showing an example of a display of a contour line.
  • FIG. 13 is a schematic diagram showing an example of a display of a contour line.
  • 10 is a flowchart showing a procedure for determining the contour of a side branch region based on the contour of a main trunk region.
  • FIG. 11 is an explanatory diagram for explaining a correction method for a boundary portion.
  • 13 is a flowchart showing a procedure for determining a contour line when a side branch contacts a visual field boundary.
  • 13 is a flowchart showing a procedure for determining the contour of a side canal region based on a boundary line of a visual field boundary.
  • FIG. 11 is a schematic diagram showing an example of selection of contour points in a side branch region;
  • FIG. 11 is a schematic diagram showing an example in which a contour line outside a viewing area is displayed by a virtual line.
  • FIG. FIG. 2 is an explanatory diagram illustrating a working environment of annotation.
  • FIG. 1 is a schematic diagram showing a configuration example of an imaging diagnostic device 100 in the first embodiment.
  • an imaging diagnostic device using a dual-type catheter having both functions of intravascular ultrasound (IVUS) and optical coherence tomography (OCT) will be described.
  • the dual-type catheter has a mode for acquiring an ultrasonic tomographic image only by IVUS, a mode for acquiring an optical coherence tomographic image only by OCT, and a mode for acquiring both tomographic images by IVUS and OCT, and these modes can be switched for use.
  • the ultrasonic tomographic image and the optical coherence tomographic image are also referred to as an IVUS image and an OCT image, respectively.
  • the IVUS image and the OCT image are examples of tomographic images of blood vessels, and when it is not necessary to distinguish between them, they are also simply referred to as tomographic images.
  • the imaging diagnostic device 100 includes an intravascular examination device 101, an angiography device 102, an image processing device 3, a display device 4, and an input device 5.
  • the intravascular examination device 101 includes an imaging diagnostic catheter 1 and an MDU (Motor Drive Unit) 2.
  • the imaging diagnostic catheter 1 is connected to the image processing device 3 via the MDU 2.
  • the display device 4 and the input device 5 are connected to the image processing device 3.
  • the display device 4 is, for example, a liquid crystal display or an organic EL display
  • the input device 5 is, for example, a keyboard, a mouse, a touch panel, or a microphone.
  • the input device 5 and the image processing device 3 may be configured as one unit.
  • the input device 5 may be a sensor that accepts gesture input, gaze input, or the like.
  • the angiography device 102 is connected to the image processing device 3.
  • the angiography device 102 is an angiography device that uses X-rays to image the blood vessels from outside the patient's body while injecting a contrast agent into the blood vessels of the patient, and obtains an angiography image, which is a fluoroscopic image of the blood vessels.
  • the angiography device 102 is equipped with an X-ray source and an X-ray sensor, and images an X-ray fluoroscopic image of the patient by the X-ray sensor receiving X-rays irradiated from the X-ray source.
  • the diagnostic imaging catheter 1 is provided with a marker that is opaque to X-rays, and the position of the diagnostic imaging catheter 1 (marker) is visualized in the angiography image.
  • the angiography device 102 outputs the angiography image obtained by imaging to the image processing device 3, and displays the angiography image on the display device 4 via the image processing device 3.
  • the display device 4 displays the angiography image and a tomography image captured using the diagnostic imaging catheter 1.
  • the image processing device 3 is connected to an angiography device 102 that captures two-dimensional angio images, but the present invention is not limited to the angiography device 102 as long as it is a device that captures images of the patient's tubular organs and the diagnostic imaging catheter 1 from multiple directions outside the living body.
  • the diagnostic imaging catheter 1 has a probe 11 and a connector section 15 disposed at the end of the probe 11.
  • the probe 11 is connected to the MDU 2 via the connector section 15.
  • the side of the diagnostic imaging catheter 1 far from the connector section 15 is described as the tip side, and the connector section 15 side is described as the base side.
  • the probe 11 has a catheter sheath 11a, and at its tip, a guidewire insertion section 14 through which a guidewire can be inserted is provided.
  • the guidewire insertion section 14 forms a guidewire lumen, which is used to receive a guidewire inserted in advance into a blood vessel and to guide the probe 11 to the affected area by the guidewire.
  • the catheter sheath 11a forms a continuous tube section from the connection section with the guidewire insertion section 14 to the connection section with the connector section 15.
  • a shaft 13 is inserted inside the catheter sheath 11a, and a sensor unit 12 is connected to the tip of the shaft 13.
  • the sensor unit 12 has a housing 12d, and the tip side of the housing 12d is formed in a hemispherical shape to suppress friction and snagging with the inner surface of the catheter sheath 11a.
  • an ultrasonic transmission/reception unit 12a (hereinafter referred to as an IVUS sensor 12a) that transmits ultrasonic waves into the blood vessel and receives reflected waves from the inside of the blood vessel
  • an optical transmission/reception unit 12b hereinafter referred to as an OCT sensor 12b) that transmits near-infrared light into the blood vessel and receives reflected light from the inside of the blood vessel are arranged.
  • an OCT sensor 12b optical transmission/reception unit 12b
  • the IVUS sensor 12a is provided at the tip side of the probe 11, and the OCT sensor 12b is provided at the base end side, and is arranged on the central axis of the shaft 13 (on the two-dot chain line in FIG. 2) along the axial direction by a distance x.
  • the IVUS sensor 12a and the OCT sensor 12b are attached in a direction that is approximately 90 degrees to the axial direction of the shaft 13 (the radial direction of the shaft 13) as the transmission and reception direction of ultrasonic waves or near-infrared light.
  • the IVUS sensor 12a and the OCT sensor 12b are attached slightly offset from the radial direction so as not to receive reflected waves or light from the inner surface of the catheter sheath 11a.
  • the IVUS sensor 12a is attached so that the direction of ultrasound irradiation is inclined toward the base end side relative to the radial direction
  • the OCT sensor 12b is attached so that the direction of near-infrared light irradiation is inclined toward the tip end side relative to the radial direction.
  • An electric signal cable (not shown) connected to the IVUS sensor 12a and an optical fiber cable (not shown) connected to the OCT sensor 12b are inserted into the shaft 13.
  • the probe 11 is inserted into the blood vessel from the tip side.
  • the sensor unit 12 and the shaft 13 can move forward and backward inside the catheter sheath 11a and can also rotate in the circumferential direction.
  • the sensor unit 12 and the shaft 13 rotate around the central axis of the shaft 13 as the axis of rotation.
  • the imaging diagnostic device 100 by using an imaging core formed by the sensor unit 12 and the shaft 13, the condition inside the blood vessel is measured by an ultrasonic tomographic image (IVUS image) taken from inside the blood vessel or an optical coherence tomographic image (OCT image) taken from inside the blood vessel.
  • IVUS image ultrasonic tomographic image
  • OCT image optical coherence tomographic image
  • the MDU2 is a drive unit to which the probe 11 (diagnostic imaging catheter 1) is detachably attached by the connector unit 15, and controls the operation of the diagnostic imaging catheter 1 inserted into the blood vessel by driving a built-in motor in response to the operation of a medical professional.
  • the MDU2 performs a pull-back operation to rotate the sensor unit 12 and shaft 13 inserted into the probe 11 in the circumferential direction while pulling them toward the MDU2 side at a constant speed.
  • the sensor unit 12 rotates while moving from the tip side to the base end by the pull-back operation, and scans the inside of the blood vessel continuously at a predetermined time interval, thereby continuously taking multiple transverse slice images approximately perpendicular to the probe 11 at a predetermined interval.
  • the MDU2 outputs reflected wave data of the ultrasound received by the IVUS sensor 12a and reflected light data received by the OCT sensor 12b to the image processing device 3.
  • the image processing device 3 acquires a signal data set, which is reflected wave data of the ultrasound received by the IVUS sensor 12a via the MDU 2, and a signal data set, which is reflected light data received by the OCT sensor 12b.
  • the image processing device 3 generates ultrasound line data from the ultrasound signal data set, and constructs an ultrasound tomographic image (IVUS image) that captures a transverse layer of the blood vessel based on the generated ultrasound line data.
  • the image processing device 3 also generates optical line data from the reflected light signal data set, and constructs an optical coherence tomographic image (OCT image) that captures a transverse layer of the blood vessel based on the generated optical line data.
  • IVUS image ultrasound tomographic image
  • OCT image optical coherence tomographic image
  • FIG. 3 is an explanatory diagram showing a cross-section of a blood vessel through which the sensor unit 12 is inserted
  • FIGS. 4A and 4B are explanatory diagrams for explaining a tomographic image.
  • the operation of the IVUS sensor 12a and the OCT sensor 12b in the blood vessel and the signal data set (ultrasound line data and optical line data) acquired by the IVUS sensor 12a and the OCT sensor 12b will be explained.
  • the imaging core rotates in the direction indicated by the arrow with the central axis of the shaft 13 as the center of rotation.
  • the IVUS sensor 12a transmits and receives ultrasound at each rotation angle.
  • Lines 1, 2, ... 512 indicate the transmission and reception direction of ultrasound at each rotation angle.
  • the IVUS sensor 12a intermittently transmits and receives ultrasound 512 times during a 360-degree rotation (one rotation) in the blood vessel.
  • the IVUS sensor 12a obtains one line of data in the transmission and reception direction by transmitting and receiving ultrasound once, so that 512 pieces of ultrasound line data extending radially from the center of rotation can be obtained during one rotation.
  • the 512 pieces of ultrasound line data are dense near the center of rotation, but become sparse as they move away from the center of rotation.
  • the image processing device 3 generates pixels in the empty spaces of each line by known interpolation processing, thereby generating a two-dimensional ultrasound tomographic image (IVUS image) as shown in FIG. 4A.
  • the OCT sensor 12b also transmits and receives measurement light at each rotation angle. Since the OCT sensor 12b also transmits and receives measurement light 512 times while rotating 360 degrees inside the blood vessel, 512 pieces of light line data extending radially from the center of rotation can be obtained during one rotation.
  • the image processing device 3 For the light line data, the image processing device 3 generates pixels in the empty space of each line by a well-known interpolation process, thereby generating a two-dimensional optical coherence tomographic image (OCT image) similar to the IVUS image shown in FIG. 4A.
  • the image processing device 3 generates light line data based on interference light generated by interfering with the reflected light and reference light obtained by, for example, separating light from a light source in the image processing device 3, and constructs an optical coherence tomographic image (OCT image) capturing a transverse layer of the blood vessel based on the generated light line data.
  • OCT image optical coherence tomographic image
  • the two-dimensional tomographic image generated from 512 lines of data in this way is called one frame of an IVUS image or OCT image. Since the sensor unit 12 scans while moving inside the blood vessel, one frame of an IVUS image or OCT image is acquired at each position of one rotation within the range of movement. In other words, one frame of an IVUS image or OCT image is acquired at each position from the tip to the base end of the probe 11 within the range of movement, so that multiple frames of IVUS images or OCT images are acquired within the range of movement, as shown in Figure 4B.
  • the diagnostic imaging catheter 1 has a marker that is opaque to X-rays in order to confirm the positional relationship between the IVUS image obtained by the IVUS sensor 12a or the OCT image obtained by the OCT sensor 12b, and the angio image obtained by the angiography device 102.
  • the marker 14a is provided at the tip of the catheter sheath 11a, for example, at the guidewire insertion portion 14, and the marker 12c is provided on the shaft 13 side of the sensor portion 12.
  • an angio image is obtained in which the markers 14a and 12c are visualized.
  • the positions at which the markers 14a and 12c are provided are just an example, and the marker 12c may be provided on the shaft 13 instead of the sensor portion 12, and the marker 14a may be provided at a location other than the tip of the catheter sheath 11a.
  • FIG. 5 is a schematic diagram showing an example of the depiction of a side branch shape.
  • the cross-sectional image obtained from the intravascular inspection device 101 shows the cross-sectional structure of the blood vessel into which the diagnostic imaging catheter 1 is inserted.
  • the blood vessel into which the diagnostic imaging catheter 1 is inserted is referred to as the main trunk.
  • the cross-sectional image may also show the cross-sectional structure of a blood vessel branching off from the main trunk.
  • a blood vessel branching off from the main trunk is referred to as a side branch.
  • the long axis of the diagnostic imaging catheter 1 inserted into the main trunk and the long axis of the side branch are generally not parallel, so the shape of the side branch is depicted in various forms depending on the observation position.
  • the longitudinal section shown in Figure 5 shows an example of a blood vessel having a main trunk and side branches branching off from the main trunk.
  • observation position A When observing the cross section of this blood vessel at observation position A, it can be seen that only the main trunk is depicted, with no side branches.
  • observation position B when observed at observation position B, it can be seen that the main trunk and side branches are depicted in a connected state.
  • observation position C when observed at observation position C, it can be seen that the main trunk and side branches are depicted as separate regions.
  • observation position D it can be seen that the main trunk and side branches are depicted as separate regions, with the side branches extending outside the field of view.
  • the image processing device 3 When the image processing device 3 according to this embodiment acquires a tomographic image of a blood vessel, it extracts the main trunk region from the acquired tomographic image. Furthermore, when the acquired tomographic image contains a side branch region in addition to the main trunk region, the image processing device 3 extracts the main trunk region and the side branch region. When the main trunk region and the side branch region are connected, the image processing device 3 defines their boundary line and presents them to the user as separate regions.
  • FIG. 6 is a block diagram showing an example of the configuration of the image processing device 3.
  • the image processing device 3 is a computer (information processing device) and includes a control unit 31, a main memory unit 32, an input/output unit 33, a communication unit 34, an auxiliary memory unit 35, and a reading unit 36.
  • the image processing device 3 is not limited to a single computer, but may be a multi-computer consisting of multiple computers.
  • the image processing device 3 may also be a server-client system, a cloud server, or a virtual machine virtually constructed by software. In the following explanation, the image processing device 3 will be described as being a single computer.
  • the control unit 31 is configured using one or more arithmetic processing devices such as a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), GPGPU (General purpose computing on graphics processing units), TPU (Tensor Processing Unit), etc.
  • the control unit 31 is connected to each hardware component that constitutes the image processing device 3 via a bus.
  • the main memory unit 32 is a temporary memory area such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), or flash memory, and temporarily stores data necessary for the control unit 31 to execute arithmetic processing.
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • flash memory temporary memory area
  • the input/output unit 33 has an interface for connecting external devices such as the intravascular inspection device 101, the angiography device 102, the display device 4, and the input device 5.
  • the control unit 31 acquires IVUS images and OCT images from the intravascular inspection device 101 and acquires angio images from the angiography device 102 via the input/output unit 33.
  • the control unit 31 also displays medical images on the display device 4 by outputting medical image signals of the IVUS images, OCT images, or angio images to the display device 4 via the input/output unit 33. Furthermore, the control unit 31 accepts information input to the input device 5 via the input/output unit 33.
  • the communication unit 34 has a communication interface that complies with communication standards such as 4G, 5G, and Wi-Fi.
  • the image processing device 3 communicates with an external server, such as a cloud server, connected to an external network such as the Internet, via the communication unit 34.
  • the control unit 31 may access the external server via the communication unit 34 and refer to various data stored in the storage of the external server. Furthermore, the control unit 31 may cooperate with the external server to perform the processing in this embodiment, for example by performing inter-process communication.
  • the auxiliary storage unit 35 is a storage device such as a hard disk or SSD (Solid State Drive).
  • the auxiliary storage unit 35 stores the computer program executed by the control unit 31 and various data required for the processing of the control unit 31.
  • the auxiliary storage unit 35 may be an external storage device connected to the image processing device 3.
  • the computer program executed by the control unit 31 may be written to the auxiliary storage unit 35 during the manufacturing stage of the image processing device 3, or the image processing device 3 may acquire the program distributed by a remote server device through communication and store it in the auxiliary storage unit 35.
  • the computer program may be recorded in a readable manner on a recording medium RM such as a magnetic disk, optical disk, or semiconductor memory, or the reading unit 36 may read the program from the recording medium RM and store it in the auxiliary storage unit 35.
  • One example of a computer program stored in the auxiliary storage unit 35 is a contour determination program PG that causes a computer to execute a process of determining the contours of the main trunk region and the side branch region from a tomographic image of a blood vessel and displaying the determined contours.
  • a contour determination program PG that causes a computer to execute a process of determining the contours of the main trunk region and the side branch region from a tomographic image of a blood vessel and displaying the determined contours.
  • the auxiliary memory unit 35 also stores a learning model MD used in a process for recognizing trunk regions and side branch regions from a tomographic image of a blood vessel.
  • FIG. 7 is a schematic diagram showing an example of the configuration of the learning model MD.
  • the learning model MD is a learning model for performing image segmentation, and is constructed, for example, by a neural network equipped with a convolutional layer such as SegNet.
  • the learning model MD is not limited to SegNet, and may be a learning model for image segmentation such as FCN (Fully Convolutional Network), U-Net (U-Shaped Network), or PSPNet (Pyramid Scene Parsing Network).
  • the learning model MD may also be a learning model for object detection such as YOLO (You Only Look Once), SSD (Single Shot Multi-Box Detector), or ViT (Vision Transformer).
  • the input image to the learning model MD is a tomographic image (IVUS image or OCT image) of a blood vessel obtained by the intravascular inspection device 101.
  • the learning model MD is trained to output information indicating the recognition results of the main trunk region and side branch region contained in the tomographic image in response to the input of the tomographic image.
  • the learning model MD is described by its definition information.
  • the definition information includes information on the layers that make up the learning model MD, information on the nodes that make up each layer, and internal parameters such as weighting coefficients and biases between nodes.
  • the internal parameters are learned by a predetermined learning algorithm.
  • the auxiliary memory unit 35 stores definition information of the learning model MD, including the trained internal parameters.
  • the learning model MD in this embodiment includes, for example, an encoder EN, a decoder DE, and a softmax layer SM.
  • the encoder EN is configured by alternating convolutional layers and pooling layers.
  • the convolutional layers are multi-layered, with 2 to 3 layers.
  • a convolution operation is performed between the input data and a filter of a predetermined size (for example, 3x3 or 5x5). That is, the input value input at the position corresponding to each element of the filter is multiplied by a weighting coefficient set in advance in the filter for each element, and a linear sum of these multiplied values for each element is calculated.
  • the output in the convolutional layer is obtained by adding a set bias to the calculated linear sum.
  • the result of the convolution operation may be transformed by an activation function. For example, ReLU (Rectified Linear Unit) can be used as the activation function.
  • the output of the convolutional layer represents a feature map that extracts the features of the input data.
  • the pooling layer calculates local statistics of the feature map output from the convolutional layer, which is a higher layer connected to the input side. Specifically, a window of a given size (e.g., 2x2, 3x3) corresponding to the position of the higher layer is set, and local statistics are calculated from the input values within the window. For example, the maximum value can be used as the statistic.
  • the size of the feature map output from the pooling layer is reduced (downsampled) according to the window size.
  • FIG. 7 shows that an input image of 224 pixels x 224 pixels is sequentially downsampled to feature maps of 112 x 112, 56 x 56, 28 x 28, ..., 1 x 1 by sequentially repeating operations in the convolutional layer and the pooling layer in the encoder 310.
  • the output of the encoder EN is input to the decoder DE.
  • the decoder DE is composed of alternating deconvolution layers and depooling layers.
  • the deconvolution layers are multi-layered, with 2 to 3 layers.
  • the deconvolution operation is an operation that restores the feature map before the convolution operation under the assumption that the input feature map is the result of a convolution operation using a specific filter.
  • the specific filter is expressed as a matrix
  • the transpose of this matrix is calculated and the product of the input feature map is calculated to generate the output feature map.
  • the operation result of the deconvolution layer may be transformed by an activation function such as the above-mentioned ReLU.
  • the inverse pooling layers in the decoder DE are individually associated with the pooling layers in the encoder EN in a one-to-one relationship, and the associated pairs have substantially the same size.
  • the inverse pooling layers re-increase (upsample) the size of the feature maps that were downsampled in the pooling layers of the encoder EN.
  • FIG. 7 shows that the decoder 320 sequentially upsamples feature maps to 1x1, 7x7, 14x14, ..., 224x224 by sequentially repeating operations in the convolutional layer and the pooling layer.
  • the output of the decoder DE is input to a softmax layer SM.
  • the softmax layer SM outputs the probability of a label that identifies a part at each position (pixel) by applying a softmax function to the input values from the deconvolution layer connected to the input side.
  • labels that identify the main trunk and side branches are set.
  • the control unit 31 of the image processing device 3 refers to the probability of the labels output from the softmax layer SM and recognizes the area belonging to the main trunk (main trunk area) and the area belonging to the side branch (side branch area) from the tomographic image.
  • the control unit 31 may recognize the area that does not belong to either the main trunk area or the side branch area as a background area.
  • step S101 the control unit 31 acquires a tomographic image of a blood vessel through the input/output unit 33 (step S101)
  • step S102 the learning model MD
  • step S103 the learning model MD
  • the control unit 31 recognizes the region based on the calculation results of the learning model MD (step S104). Specifically, the control unit 31 determines whether each pixel belongs to the main trunk or a side branch based on the probability of the label for each pixel output from the softmax layer SM of the learning model MD. The control unit 31 recognizes a set of pixels determined to belong to the main trunk as a main trunk region, and a set of pixels determined to belong to a side branch as a side branch region. The control unit 31 recognizes a set of pixels that do not belong to either the main trunk or the side branch as a background region.
  • the control unit 31 determines whether or not a side branch region is included in the region recognized in step S104 (step S105). If it is determined that a side branch region is not included (S105: NO), the control unit 31 determines the contour line of the main trunk region included in the tomographic image alone (step S106). For example, the control unit 31 determines the contour line of the main trunk region by selecting multiple points on the periphery of the main trunk region and finding an approximation curve such as a spline curve that passes through the selected multiple points (or near the points).
  • the control unit 31 determines whether the main trunk region and the side branch region are in contact (step S107). If it is determined that the main trunk region and the side branch region are in contact (S107: YES), the control unit 31 determines the contour line of the main trunk region included in the tomographic image, and determines the contour line of the side branch region based on the determined contour line of the main trunk region (step S108). The procedure for determining the contour line of the side branch region based on the contour line of the main trunk region will be described in detail using the flowchart shown in FIG. 10.
  • the control unit 31 determines the contours of the main trunk region and the side branch region included in the tomographic image separately (step S109).
  • the control unit 31 determines the contour of the main trunk region, for example, by selecting multiple points on the periphery of the main trunk region and finding an approximation curve such as a spline curve that passes through the selected multiple points (or near the points).
  • the control unit 31 also determines the contour of the side branch region by selecting multiple points on the periphery of the side branch region and finding an approximation curve such as a spline curve that passes through the selected multiple points (or near the points).
  • FIGS 9A to 9C are schematic diagrams showing examples of contour line display.
  • Figure 9A shows an example where the main trunk region is detected alone.
  • the main trunk region is depicted as a hatched region, and points on the periphery of the main trunk region (contour points) are depicted as black circles.
  • the contour line of the main trunk region is depicted as a solid line passing through the contour points (or near the contour points).
  • Figure 9B shows an example where the main trunk region and side branch region are detected without touching.
  • the main trunk region is depicted as a hatched region, and points on the periphery of the main trunk region (contour points) are depicted as black circles.
  • the contour line of the main trunk region is depicted as a solid line passing through the contour points (or in the vicinity of the contour line).
  • the side branch region is depicted as a dotted region, and points on the periphery of the side branch region (contour points) are depicted as white circles.
  • the contour line of the side branch region is depicted as a dashed line passing through the contour points (or in the vicinity of the contour points).
  • FIG. 9C shows an example where the main trunk region and the side branch region are detected as being in contact.
  • the main trunk region is depicted as a hatched region, and points on the periphery of the main trunk region (contour points) are depicted as black circles.
  • the contour of the main trunk region is depicted as a solid line passing through the contour points (or near the contour).
  • the side branch region is depicted as a dotted region, and points on the periphery of the side branch region (contour points) are depicted as white circles.
  • the contour of the side branch region is depicted as a dashed line passing through the contour points (or near the contour points).
  • the main trunk region and the side branch region are in contact, so the contour of the main trunk region and the contour of the side branch region are depicted so that they overlap at the boundary.
  • FIGS 9A to 9C an example is shown in which the contour line of the main trunk region and the contour line of the side branch region are drawn using solid and dashed lines, respectively, but the control unit 31 may simply change the display mode of the contour line between the main trunk region and the side branch region, for example, by changing the color or the line thickness.
  • FIG. 10 is a flowchart showing the procedure for determining the contour of the side branch region based on the contour of the main trunk region.
  • the control unit 31 refers to the recognition result of step S104 and removes noise within the recognized region (step S121). Specifically, if there are isolated points recognized as side branches or background within the region recognized as the main trunk, the control unit 31 performs processing to remove these isolated points.
  • An isolated point may be a single pixel or a small region consisting of multiple pixels.
  • the control unit 31 can remove an isolated point by changing the label of a pixel contained in the isolated point from "side branch" or "background” to "main trunk". The same applies to regions recognized as side branches, and the control unit 31 performs processing to remove isolated points contained in the side branch region.
  • the control unit 31 selects multiple points on the periphery of the main trunk region (step S122).
  • a set of pixels determined to belong to the main trunk is recognized as the main trunk region. If all eight pixels (four on the top, bottom, left, and right plus four diagonally) adjacent to the pixel of interest among the pixels belonging to the main trunk belong to the main trunk, the pixel of interest is recognized as a pixel inside the main trunk region, and if one or more of the eight pixels adjacent to the pixel of interest belong to a side branch or background, the pixel of interest is recognized as a pixel on the periphery.
  • the control unit 31 selects a predetermined number of pixels from the pixels belonging to the main trunk region that are recognized as pixels on the periphery. The number of pixels to be selected may be set in advance or may be set according to the size of the main trunk region.
  • the pixels selected in step S122 are called contour points of the main trunk region.
  • the control unit 31 determines the contour line of the main trunk region based on the multiple contour points selected in step S122 (step S123).
  • the control unit 31 can determine the contour line of the main trunk region by finding an approximation curve, such as a spline curve, that passes through the contour points of the main trunk region (or in the vicinity of the contour points).
  • the control unit 31 corrects the boundary between the side branch region and the main trunk region based on the outline of the main trunk region determined in step S123 (step S124).
  • FIG. 11 is an explanatory diagram for explaining the boundary correction method.
  • the boundary of the main trunk region is determined by the processing of steps S121 to S123 described above.
  • the hatched area below the boundary of the main trunk region is the main trunk region
  • the dotted area above the boundary is the side branch region, and a partially enlarged view of the vicinity of the boundary is shown.
  • the boundary of the main trunk region is determined, but the boundary of the side branch region is not determined, and whether it is a main trunk or a side branch is determined on a pixel-by-pixel basis, so there may be a gap between the boundary of the main trunk region and the side branch region.
  • each pixel is classified as a main trunk or a side branch, but the gap represents an area composed of pixels that are not classified as either a main trunk or a side branch (pixels with blank labels).
  • a void represents an area composed of pixels labeled as background or pixels not labeled.
  • step S124 a process is performed to fill the void at the boundary.
  • the control unit 31 can fill the void by changing the label of the pixels in the void from "background” or "unlabeled” to "side branch.” After filling the void, the control unit 31 may temporarily change the main trunk region to a side branch region, and subtract the original main trunk region from the side branch region obtained after the change.
  • the control unit 31 selects multiple points on the periphery from the side branch region whose boundary has been corrected (step S125). If all eight pixels adjacent to the pixel of interest among the pixels belonging to the side branch belong to the side branch, the pixel of interest is recognized as a pixel inside the region, and if one or more of the eight pixels adjacent to the pixel of interest belong to the main trunk or background, the pixel of interest is recognized as a pixel on the periphery.
  • the control unit 31 selects a predetermined number of pixels from the pixels that belong to the side branch region and are recognized as pixels on the periphery. The number of pixels to be selected may be set in advance or may be set depending on the size of the side branch region.
  • the pixels selected in step S125 are called contour points of the side branch region.
  • the control unit 31 removes the contour points of the side branch region selected in step S125 that are in contact with the main trunk region (step S126), and determines the contour line of the side branch region based on the remaining contour points (step S127). That is, the control unit 31 determines the contour line of the side branch region in the non-boundary part by finding an approximation curve, such as a spline curve, that passes through the contour points (or the vicinity of the contour points) of the non-boundary part among the contour points of the side branch region.
  • an approximation curve such as a spline curve
  • the control unit 31 determines the contour line of the side branch region at the boundary from the contour points included in the boundary (step S128). That is, the control unit 31 determines the contour line of the side branch region at the boundary by finding an approximation curve, such as a spline curve, that passes through the contour points of the boundary (or in the vicinity of the contour points) from among the contour points of the side branch region.
  • the control unit 31 determines the contour line of the entire side branch region based on the contour line of the non-boundary portion determined in step S127 and the contour line of the boundary portion determined in step S128 (step S129).
  • the contour of the side branch region is determined based on the contour of the main trunk region, so that the region (boundary line) at the branch where the main trunk and side branch are connected can be defined and presented to the user.
  • the contours of the trunk region and the side branch region are determined and displayed in different display modes, but the control unit 31 may calculate the area and diameter of the trunk region and the side branch region and display the calculated area and diameter values.
  • the control unit 31 can count the number of pixels in each region and calculate the area of each region based on the count value.
  • the contour of each region is represented by a mathematical formula such as a spline curve
  • the control unit 31 can calculate, for example, the straight-line distance from the coordinates indicating the rotation center of the IVUS sensor 12a to the contour of the trunk region or the side branch region, and can set the calculated straight-line distance as the diameter of each region.
  • the diameter calculated by the control unit 31 may be any of the minimum diameter, average diameter, and maximum diameter.
  • the control unit 31 can determine the contour lines of the trunk region and the side branch region from the cross-sectional images of each frame.
  • the control unit 31 may generate a three-dimensional image of the trunk and the side branches based on the contour lines determined from each frame.
  • the control unit 31 can display the trunk and the side branches as wire frames (three-dimensional images) by displaying the contour lines determined from each frame in the longitudinal direction of the blood vessel.
  • the control unit 31 may also display the trunk and the side branches as surface models (three-dimensional images) by calculating the center of gravity of the contour lines determined from each frame and fleshing them out along the trajectory of the calculated center of gravity.
  • control unit 31 since the control unit 31 detects the main trunk region and side branch region from the tomographic image of each frame, when a frame in which a side branch region has been detected is displayed on the display device 4, text information such as "side branch present" or an icon indicating the presence of a side branch may also be displayed.
  • control unit 31 may display text information or an icon on the display device 4 to indicate that a detection error has occurred.
  • FIG. 12 is a flowchart showing the procedure for determining the contour when a side branch contacts the visual field boundary.
  • the control unit 31 of the image processing device 3 executes the following process at an appropriate timing after determining that a side branch region is included in step S105 of the flowchart shown in FIG. 8.
  • the control unit 31 may execute the following process before step S107, which determines whether or not the main trunk region and the side branch region are in contact, or may execute the following process after step S107.
  • the control unit 31 may also execute the following process simultaneously with step S107.
  • the control unit 31 determines whether the side branch region is in contact with the field of view boundary (step S201).
  • the field of view boundary is the field of view boundary at the time of display, and the display depth (maximum diameter displayed from the center of the catheter) can be changed by user settings.
  • the tomographic image data may include data at a depth deeper than the display depth. Also, regarding depth, the data used for three-dimensional display does not necessarily need to match the depth of two-dimensional display. From the viewpoint of grasping the overall image of the blood vessel, it is preferable to use data at a deeper depth. If it is determined in step S201 that the side branch region is not in contact with the field of view region (S201: NO), the control unit 31 ends the processing according to this flowchart.
  • control unit 31 determines the contour line of the side branch region based on the boundary line of the visual field region (step S202). The procedure for determining the contour line of the side branch region based on the boundary line of the visual field region will be described in detail using the flowchart shown in FIG. 13.
  • FIG. 13 is a flowchart showing the procedure for determining the contour of the side branch region based on the boundary line of the visual field boundary.
  • the control unit 31 refers to the recognition result of step S104 and removes noise within the recognized region (step S221).
  • the method for removing noise is the same as in embodiment 1. If step S121 in FIG. 10 has already been executed, the control unit 31 may omit the procedure of step S221.
  • the control unit 31 selects multiple points on the periphery of the side branch region (step S222).
  • a set of pixels determined to belong to a side branch is recognized as a side branch region. If all eight pixels adjacent to a pixel of interest among the pixels belonging to the side branch belong to the side branch, the pixel of interest is recognized as a pixel inside the side branch region, and if one or more of the eight pixels adjacent to the pixel of interest belong to the main trunk or background, or if there are less than eight pixels adjacent to the pixel of interest (if there are no surrounding pixels), the pixel of interest is recognized as a pixel on the periphery.
  • the control unit 31 selects a predetermined number of pixels from the pixels that belong to the side branch region and are recognized as pixels on the periphery.
  • the number of pixels to be selected may be set in advance or may be set according to the size of the side branch region.
  • the pixels selected in step S222 are called contour points of the side branch region.
  • Figure 14 is a schematic diagram showing an example of the selection of contour points in a side branch region.
  • the region surrounded by the great circle is the field of view, and the regions painted in black at the four corners are outside the field of view.
  • the example in Figure 14 shows only the side branch region that is in contact with the boundary of the field of view.
  • the side branch region is in contact with the boundary of the field of view, not only the points on the boundary line between the side branch and the background but also the points on the field of view boundary (points on the great circle) are selected as points on the periphery of the side branch region.
  • the control unit 31 removes the contour points that are in contact with the field of view boundary from among the multiple points selected in step S222 (step S223), and determines the contour line of the side branch region based on the remaining contour points (step S224). That is, the control unit 31 determines the contour line of the side branch region in the non-boundary portion by finding an approximation curve, such as a spline curve, that passes through the contour points (or the vicinity of the contour points) of the non-boundary portion from among the contour points of the side branch region.
  • an approximation curve such as a spline curve
  • the control unit 31 determines the contour line of the side branch region at the boundary from the contour points included in the boundary (step S225). That is, the control unit 31 determines the contour line of the side branch region at the boundary by finding an approximation curve, such as a spline curve, that passes through the contour points of the boundary (or in the vicinity of the contour points) from among the contour points of the side branch region.
  • the control unit 31 determines the contour line of the entire side branch region based on the contour line of the non-boundary portion determined in step S224 and the contour line of the boundary portion determined in step S225 (step S226).
  • the flowchart in Figure 13 describes the procedure for determining the contour when the side branch region comes into contact with the field of view boundary, but when the side branch region also comes into contact with the main trunk region, the method described in embodiment 1 can be applied, and the contour of the side branch region can be determined for the boundary with the field of view boundary based on the field of view boundary, and the contour of the side branch region can be determined for the boundary with the main trunk region based on the contour of the main trunk region.
  • the control unit 31 may extrapolate the contour to an area outside the viewing area to estimate the contour extending outside the viewing area, and display the estimated contour outside the viewing area using a virtual line.
  • Figure 15 is a schematic diagram showing an example of a contour outside the viewing area displayed using a virtual line.
  • the contour within the viewing area is shown with a black dashed line
  • the contour estimated to exist outside the viewing area is shown with a white dashed line.
  • the processing of step S225 may be omitted.
  • the contour of the side branch area is determined based on the visual field boundary, so that the area (boundary line) at the boundary where the side branch and the visual field boundary meet can be defined and presented to the user.
  • annotation is performed on a large number of tomographic images in the training phase before the recognition process using the learning model MD is started.
  • an annotation tool AT (see FIG. 16) is started in the image processing device 3, and annotations are accepted within the working environment provided by the tool.
  • the annotation tool AT is one of the computer programs installed in the image processing device 3.
  • FIG. 16 is an explanatory diagram explaining the annotation work environment.
  • the image processing device 3 displays a work screen 300 as shown in FIG. 16 on the display device 4.
  • the work screen 300 includes a file selection tool 301, an image display field 302, a frame designation tool 303, an area designation tool 304, a segment display field 305, an editing tool 306, etc., and accepts various operations via the input device 5.
  • the file selection tool 301 is a tool for accepting the selection of various files, and includes software buttons for loading a tomographic image, saving annotation data, loading annotation data, and outputting analysis results.
  • a tomographic image is loaded using the file selection tool 301, the loaded tomographic image is displayed in the image display field 302.
  • a tomographic image is generally composed of multiple frames.
  • the frame designation tool 303 includes an input box and slider for designating a frame, and is configured to allow the frame of the tomographic image to be displayed in the image display field 302 to be designated.
  • the example in Figure 16 shows a state in which the 76th frame out of 200 frames has been designated.
  • the area designation tool 304 is a tool for accepting area designation for the tomographic image displayed in the image display field 302, and includes software buttons corresponding to each label.
  • software buttons corresponding to the labels "Main trunk” and “Side branch” are shown.
  • the number of software buttons and the types of labels are not limited to those described above, and software buttons corresponding to labels such as "EEM”, “Lumen”, “In-Stent”, “Calcification area”, “Plaque area”, and “Thrombosis area” may be arranged, and any label may be set by the user.
  • the user selects the software button labeled "Main" and plots multiple points on the image display field 302 to surround the main region.
  • the control unit 31 of the image processing device 3 derives a closed curve that passes through the multiple points (or the vicinity of the points) plotted by the user, and draws the derived closed curve in the image display field 302.
  • the interior of the closed curve is drawn in a pre-set color (or a color set by the user).
  • the example in Figure 16 shows a state in which a main trunk region is specified by a closed curve L1 passing through multiple points indicated by black circles, and a side branch region is specified by a closed curve L2 passing through multiple points indicated by white circles.
  • the control unit 31 assigns a "main trunk” label to pixels included in the specified main trunk region, and a "side branch” label to pixels included in the specified side branch region.
  • the segment display section 305 displays information about the area drawn in the image display field 302. In the example of FIG. 16, it shows that the main trunk area and the side branch area are displayed in the image display field 302.
  • Editing tool 306 is a tool for accepting edits of an area drawn in image display field 302, and includes a selection button, an edit button, an erase button, an end button, and a color setting field. By using editing tool 306, it is possible to move, add, or erase points that define an area, as well as change the color of an area that has already been drawn in image display field 302.
  • the control unit 31 stores a data set (annotation data) including the tomographic image data and the label data assigned to each area in the auxiliary storage unit 35.
  • annotation is performed manually by the user, but as the learning of the learning model MD progresses, it is also possible to perform annotation using the recognition results of the learning model MD.
  • identification information such as whether or not there is a frame out and whether or not there is a side branch on a frame-by-frame basis may be stored in the auxiliary storage unit 35 for learning purposes.
  • control unit 31 displays the acquired tomographic image in the image display field 302, while performing area recognition using the learning model MD in the background, calculating multiple points that pass through the contour of the recognized area, and plotting them in the image display field 302. If the main trunk area and the side branch area are in contact, the control unit 31 may determine the contour of the side branch area based on the contour of the main trunk area and plot points on each contour, using a procedure similar to that of embodiment 1. Also, if the side branch area and the visual field boundary are in contact, the control unit 31 may determine the contour of the side branch area based on the visual field boundary and plot points on each contour, using a procedure similar to that of embodiment 2.
  • the image processing device 3 Since the image processing device 3 knows the type of area that has been recognized, it can automatically assign a label to that area. If necessary, the image processing device 3 accepts edits to the points plotted in the image display field 302, and stores the area enclosed by the finally confirmed points and the label data for that area in the auxiliary storage unit 35 as annotation data.
  • training data can be easily generated using an annotation tool.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

コンピュータプログラム、情報処理方法及び情報処理装置の提供。　血管の断層画像を取得し、取得した断層画像に、本幹領域と、該本幹領域に連結された側枝領域とが存在するか否かを判断し、前記本幹領域及び前記側枝領域が存在すると判断した場合、前記本幹領域の輪郭線を決定し、決定した前記本幹領域の輪郭線を基準にして、前記側枝領域の輪郭線を決定し、決定した前記本幹領域及び前記側枝領域の輪郭線を互いに異なる表示態様にて表示する処理をコンピュータに実行させる。

Description

コンピュータプログラム、情報処理方法及び情報処理装置
　本発明は、コンピュータプログラム、情報処理方法及び情報処理装置に関する。
　カテーテルを用いた血管内超音波（IVUS : IntraVascular UltraSound）法によって血管の超音波断層画像を含む断層画像を生成し、血管内の超音波検査が行われている。一方で、医師の診断の補助を目的に、断層画像に画像処理や機械学習により情報を付加する技術の開発が行われている（例えば、特許文献１を参照）。特許文献１に開示されている技術では、管腔壁やステントなどの特徴を血管画像から個別に抽出することが可能である。
特表２０１６－５２５８９３号公報
　断層画像を用いて血管を観察する場合、本幹と、本幹から分岐する側枝とが現れる場合がある。本幹に留置されたカテーテルの長軸と、側枝の長軸とは平行ではないため、側枝形状は観察位置によって多様な形態で描出される。特に、本幹と側枝とが連結している分岐部における領域の定義は仮想的に行う必要があり、難易度が高い。
　一つの側面では、本幹と側枝とが連結している分岐部における領域を自動的に定義することができるコンピュータプログラム、情報処理方法及び情報処理装置を提供することを目的とする。
　（１）一つの側面に係るコンピュータプログラムは、血管の断層画像を取得し、取得した断層画像に、本幹領域と、該本幹領域に連結された側枝領域とが存在するか否かを判断し、前記本幹領域及び前記側枝領域が存在すると判断した場合、前記本幹領域の輪郭線を決定し、決定した前記本幹領域の輪郭線を基準にして、前記側枝領域の輪郭線を決定し、決定した前記本幹領域及び前記側枝領域の輪郭線を互いに異なる表示態様にて表示する処理をコンピュータに実行させるためのコンピュータプログラム。
　（２）上記（１）のコンピュータプログラムにおいて、取得した断層画像から、本幹領域と、該本幹領域に連結された側枝領域とを抽出し、抽出した本幹領域の周縁上の複数の点を選定し、選定した複数の点に基づき、前記本幹領域の輪郭線を決定し、決定した前記本幹領域の輪郭線を基準にして、前記側枝領域の前記本幹領域との境界部を補正し、前記境界部が補正された側枝領域について周縁上の複数の点を選定し、選定した複数の点に基づき、前記側枝領域の輪郭線を決定することが好ましい。
　（３）上記（２）のコンピュータプログラムにおいて、断層画像を入力した場合、該断層画像に含まれる本幹領域、及び該本幹領域に連結された側枝領域を識別する情報を出力するよう学習された学習モデルを用いて、取得した断層画像から、本幹領域と、該本幹領域に連結された側枝領域とを抽出することが好ましい。
　（４）上記（２）のコンピュータプログラムにおいて、前記本幹領域の輪郭線と前記側枝領域との間に生じる空隙を埋めることにより、前記境界部を補正することが好ましい。
　（５）上記（２）から（４）の何れか１つのコンピュータプログラムにおいて、前記側枝領域ついて選定した複数の点のうち、前記境界部に含まれる点を除いた複数の点に基づき、非境界部における前記側枝領域の輪郭線を決定し、前記境界部に含まれる点に基づき、前記境界部における前記側枝領域の輪郭線を決定することが好ましい。
　（６）上記（１）から（５）の何れか１つのコンピュータプログラムにおいて、取得した断層画像に基づき、視野領域の境界に接触している側枝領域が存在するか否かを判断し、前記側枝領域が存在すると判断した場合、前記視野領域の境界を基準にして、前記側枝領域の輪郭線を決定することが好ましい。
　（７）上記（６）のコンピュータプログラムにおいて、前記視野領域の境界を基準にして、前記側枝領域の前記視野領域との境界部を補正し、前記境界部が補正された側枝領域について周縁上の複数の点を選定し、選定した複数の点に基づき、前記側枝領域の輪郭線を決定することが好ましい。
　（８）上記（７）のコンピュータプログラムにおいて、前記側枝領域ついて選定した複数の点のうち、前記境界部に含まれる点を除いた複数の点に基づき、非境界部における前記側枝領域の輪郭線を決定することが好ましい。
　（９）上記（６）から（８）の何れか１つのコンピュータプログラムにおいて、前記複数の点に基づき、視野領域外に延びる前記側枝領域の輪郭線を推定し、推定した視野領域外に延びる前記側枝領域の輪郭線を仮想線により表示することが好ましい。
　（１０）上記（１）から（９）の何れか１つのコンピュータプログラムにおいて、決定した輪郭線により囲まれる前記本幹領域及び前記側枝領域の面積又は径を算出することが好ましい。
　（１１）上記（１）から（１０）の何れか１つのコンピュータプログラムにおいて、決定した輪郭線の情報から、前記血管の３次元画像を生成し、生成した前記血管の３次元画像を表示することが好ましい。
　（１２）一つの側面に係るコンピュータプログラムは、血管の断層画像を表示し、表示した断層画像上で、本幹領域の周縁上の複数の点を指定と、前記本幹領域に連結された側枝領域の周縁上の複数の点の指定を受付け、指定された前記本幹領域の周縁上の複数の点に基づき、前記本幹領域の輪郭線を決定し、決定した前記本幹領域の輪郭線を基準にして、指定された前記側枝領域の周縁上の複数の点に基づき、前記側枝領域の輪郭線を決定し、決定した輪郭線により囲まれる本幹領域及び側枝領域に対し、夫々を識別するためのラベルを付与する処理をコンピュータに実行させるためのコンピュータプログラムである。
　（１３）一つの側面に係る情報処理方法は、血管の断層画像を取得し、取得した断層画像に、本幹領域と、該本幹領域に連結された側枝領域とが存在するか否かを判断し、前記本幹領域及び前記側枝領域が存在すると判断した場合、前記本幹領域の輪郭線を決定し、決定した前記本幹領域の輪郭線を基準にして、前記側枝領域の輪郭線を決定し、決定した前記本幹領域及び前記側枝領域の輪郭線を互いに異なる表示態様にて表示する処理をコンピュータにより実行する。
　（１４）一つの側面に係る情報処理装置は、血管の断層画像を取得する取得部と、取得した断層画像に、本幹領域と、該本幹領域に連結された側枝領域とが存在するか否かを判断する判断部と、前記本幹領域及び前記側枝領域が存在すると判断した場合、前記本幹領域の輪郭線を決定する第１決定部と、決定した前記本幹領域の輪郭線を基準にして、前記側枝領域の輪郭線を決定する第２決定部と、決定した前記本幹領域及び前記側枝領域の輪郭線を互いに異なる表示態様にて表示する表示部とを備える。
　一つの側面では、本幹と側枝とが連結している分岐部における領域を自動的に定義することができる。
実施の形態１における画像診断装置の構成例を示す模式図である。 画像診断用カテーテルの概要を示す模式図である。 センサ部を挿通させた血管の断面を示す説明図である。 断層画像を説明する説明図である。 断層画像を説明する説明図である。 側枝形状の描出例を示す模式図である。 画像処理装置の構成例を示すブロック図である。 学習モデルの構成例を示す模式図である。 画像処理装置が実行する処理の手順を説明するフローチャートである。 輪郭線の表示例を示す模式図である。 輪郭線の表示例を示す模式図である。 輪郭線の表示例を示す模式図である。 本幹領域の輪郭線を基準に側枝領域の輪郭線を決定する手順を示すフローチャートである。 境界部の補正手法を説明する説明図である。 側枝が視野境界と接触する場合の輪郭線の決定手順を示すフローチャートである。 視野境界の境界線を基準に側枝領域の輪郭線を決定する手順を示すフローチャートである。 側枝領域における輪郭点の選定例を示す模式図である。 視野領域外の輪郭線を仮想線により表示した例を示す模式図である。 アノテーションの作業環境を説明する説明図である。
　以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
　図１は実施の形態１における画像診断装置１００の構成例を示す模式図である。本実施の形態では、血管内超音波診断法（ＩＶＵＳ）及び光干渉断層診断法（ＯＣＴ）の両方の機能を備えるデュアルタイプのカテーテルを用いた画像診断装置について説明する。デュアルタイプのカテーテルでは、ＩＶＵＳのみによって超音波断層画像を取得するモードと、ＯＣＴのみによって光干渉断層画像を取得するモードと、ＩＶＵＳ及びＯＣＴによって両方の断層画像を取得するモードとが設けられており、これらのモードを切り替えて使用することができる。以下、超音波断層画像及び光干渉断層画像をそれぞれＩＶＵＳ画像及びＯＣＴ画像とも記載する。ＩＶＵＳ画像及びＯＣＴ画像は血管の断層画像の一例であり、両者を区別して説明する必要がない場合、単に断層画像とも記載する。
　実施の形態に係る画像診断装置１００は、血管内検査装置１０１と、血管造影装置１０２と、画像処理装置３と、表示装置４と、入力装置５とを備える。血管内検査装置１０１は、画像診断用カテーテル１及びＭＤＵ（Motor Drive Unit）２を備える。画像診断用カテーテル１は、ＭＤＵ２を介して画像処理装置３に接続されている。画像処理装置３には、表示装置４及び入力装置５が接続されている。表示装置４は、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等であり、入力装置５は、例えばキーボード、マウス、タッチパネル又はマイク等である。入力装置５と画像処理装置３とは、一体に構成されていてもよい。更に入力装置５は、ジェスチャ入力又は視線入力等を受け付けるセンサであってもよい。
　血管造影装置１０２は画像処理装置３に接続されている。血管造影装置１０２は、患者の血管に造影剤を注入しながら、患者の生体外からＸ線を用いて血管を撮像し、当該血管の透視画像であるアンギオ画像を得るためのアンギオグラフィ装置である。血管造影装置１０２は、Ｘ線源及びＸ線センサを備え、Ｘ線源から照射されたＸ線をＸ線センサが受信することにより、患者のＸ線透視画像をイメージングする。なお、画像診断用カテーテル１にはＸ線を透過しないマーカが設けられており、アンギオ画像において画像診断用カテーテル１（マーカ）の位置が可視化される。血管造影装置１０２は、撮像して得られたアンギオ画像を画像処理装置３へ出力し、画像処理装置３を介して当該アンギオ画像を表示装置４に表示させる。なお、表示装置４には、アンギオ画像と、画像診断用カテーテル１を用いて撮像された断層画像とが表示される。
　なお、本実施の形態では、画像処理装置３に、２次元のアンギオ画像を撮像する血管造影装置１０２が接続されているが、生体外の複数の方向から患者の管腔器官及び画像診断用カテーテル１を撮像する装置であれば、血管造影装置１０２に限定されない。
　図２は画像診断用カテーテル１の概要を示す模式図である。なお、図２中の上側の一点鎖線の領域は、下側の一点鎖線の領域を拡大したものである。画像診断用カテーテル１は、プローブ１１と、プローブ１１の端部に配置されたコネクタ部１５とを有する。プローブ１１は、コネクタ部１５を介してＭＤＵ２に接続される。以下の説明では画像診断用カテーテル１のコネクタ部１５から遠い側を先端側と記載し、コネクタ部１５側を基端側と記載する。プローブ１１は、カテーテルシース１１ａを備え、その先端部には、ガイドワイヤが挿通可能なガイドワイヤ挿通部１４が設けられている。ガイドワイヤ挿通部１４はガイドワイヤルーメンを構成し、予め血管内に挿入されたガイドワイヤを受け入れ、ガイドワイヤによってプローブ１１を患部まで導くのに使用される。カテーテルシース１１ａは、ガイドワイヤ挿通部１４との接続部分からコネクタ部１５との接続部分に亘って連続する管部を形成している。カテーテルシース１１ａの内部にはシャフト１３が挿通されており、シャフト１３の先端側にはセンサ部１２が接続されている。
　センサ部１２は、ハウジング１２ｄを有し、ハウジング１２ｄの先端側は、カテーテルシース１１ａの内面との摩擦や引っ掛かりを抑制するために半球状に形成されている。ハウジング１２ｄ内には、超音波を血管内に送信すると共に血管内からの反射波を受信する超音波送受信部１２ａ（以下ではＩＶＵＳセンサ１２ａという）と、近赤外光を血管内に送信すると共に血管内からの反射光を受信する光送受信部１２ｂ（以下ではＯＣＴセンサ１２ｂという）とが配置されている。図２に示す例では、プローブ１１の先端側にＩＶＵＳセンサ１２ａが設けられており、基端側にＯＣＴセンサ１２ｂが設けられており、シャフト１３の中心軸上（図２中の二点鎖線上）において軸方向に沿って距離ｘだけ離れて配置されている。画像診断用カテーテル１において、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂは、シャフト１３の軸方向に対して略９０度となる方向（シャフト１３の径方向）を超音波又は近赤外光の送受信方向として取り付けられている。なお、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂは、カテーテルシース１１ａの内面での反射波又は反射光を受信しないように、径方向よりややずらして取り付けられることが望ましい。本実施の形態では、例えば図２中の矢符で示すように、ＩＶＵＳセンサ１２ａは径方向に対して基端側に傾斜した方向を超音波の照射方向とし、ＯＣＴセンサ１２ｂは径方向に対して先端側に傾斜した方向を近赤外光の照射方向として取り付けられている。
　シャフト１３には、ＩＶＵＳセンサ１２ａに接続された電気信号ケーブル（図示せず）と、ＯＣＴセンサ１２ｂに接続された光ファイバケーブル（図示せず）とが内挿されている。プローブ１１は、先端側から血管内に挿入される。センサ部１２及びシャフト１３は、カテーテルシース１１ａの内部で進退可能であり、また、周方向に回転することができる。センサ部１２及びシャフト１３は、シャフト１３の中心軸を回転軸として回転する。画像診断装置１００では、センサ部１２及びシャフト１３によって構成されるイメージングコアを用いることにより、血管の内側から撮影された超音波断層画像（ＩＶＵＳ画像）、又は、血管の内側から撮影された光干渉断層画像（ＯＣＴ画像）によって血管内部の状態を測定する。
　ＭＤＵ２は、コネクタ部１５によってプローブ１１（画像診断用カテーテル１）が着脱可能に取り付けられる駆動装置であり、医療従事者の操作に応じて内蔵モータを駆動することにより、血管内に挿入された画像診断用カテーテル１の動作を制御する。例えばＭＤＵ２は、プローブ１１に内挿されたセンサ部１２及びシャフト１３を一定の速度でＭＤＵ２側に向けて引っ張りながら周方向に回転させるプルバック操作を行う。センサ部１２は、プルバック操作によって先端側から基端側に移動しながら回転しつつ、所定の時間間隔で連続的に血管内を走査することにより、プローブ１１に略垂直な複数枚の横断層画像を所定の間隔で連続的に撮影する。ＭＤＵ２は、ＩＶＵＳセンサ１２ａが受信した超音波の反射波データと、ＯＣＴセンサ１２ｂが受信した反射光データとを画像処理装置３へ出力する。
　画像処理装置３は、ＭＤＵ２を介してＩＶＵＳセンサ１２ａが受信した超音波の反射波データである信号データセットと、ＯＣＴセンサ１２ｂが受信した反射光データである信号データセットとを取得する。画像処理装置３は、超音波の信号データセットから超音波ラインデータを生成し、生成した超音波ラインデータに基づいて血管の横断層を撮像した超音波断層画像（ＩＶＵＳ画像）を構築する。また、画像処理装置３は、反射光の信号データセットから光ラインデータを生成し、生成した光ラインデータに基づいて血管の横断層を撮像した光干渉断層画像（ＯＣＴ画像）を構築する。ここで、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂが取得する信号データセットと、信号データセットから構築される断層画像とについて説明する。
　図３はセンサ部１２を挿通させた血管の断面を示す説明図であり、図４Ａ及び図４Ｂは断層画像を説明する説明図である。まず、図３を用いて、血管内におけるＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂの動作と、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂによって取得される信号データセット（超音波ラインデータ及び光ラインデータ）について説明する。イメージングコアが血管内に挿通された状態で断層画像の撮像が開始されると、イメージングコアが矢符で示す方向に、シャフト１３の中心軸を回転中心として回転する。このとき、ＩＶＵＳセンサ１２ａは、各回転角度において超音波の送信及び受信を行う。ライン１，２，…５１２は各回転角度における超音波の送受信方向を示している。本実施の形態では、ＩＶＵＳセンサ１２ａは、血管内において３６０度回動（１回転）する間に５１２回の超音波の送信及び受信を断続的に行う。ＩＶＵＳセンサ１２ａは、１回の超音波の送受信により、送受信方向の１ラインのデータを取得するので、１回転の間に、回転中心から放射線状に延びる５１２本の超音波ラインデータを得ることができる。５１２本の超音波ラインデータは、回転中心の近傍では密であるが、回転中心から離れるにつれて互いに疎になっていく。そこで、画像処理装置３は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図４Ａに示すような２次元の超音波断層画像（ＩＶＵＳ画像）を生成することができる。
　同様に、ＯＣＴセンサ１２ｂも、各回転角度において測定光の送信及び受信を行う。ＯＣＴセンサ１２ｂも血管内において３６０度回動する間に５１２回の測定光の送信及び受信を行うので、１回転の間に、回転中心から放射線状に延びる５１２本の光ラインデータを得ることができる。光ラインデータについても、画像処理装置３は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図４Ａに示すＩＶＵＳ画像と同様の２次元の光干渉断層画像（ＯＣＴ画像）を生成することができる。すなわち、画像処理装置３は、反射光と、例えば画像処理装置３内の光源からの光を分離することで得られた参照光とを干渉させることで生成される干渉光に基づいて光ラインデータを生成し、生成した光ラインデータに基づいて血管の横断層を撮像した光干渉断層画像（ＯＣＴ画像）を構築する。
　このように５１２本のラインデータから生成される２次元の断層画像を１フレームのＩＶＵＳ画像又はＯＣＴ画像という。なお、センサ部１２は血管内を移動しながら走査するため、移動範囲内において１回転した各位置で１フレームのＩＶＵＳ画像又はＯＣＴ画像が取得される。即ち、移動範囲においてプローブ１１の先端側から基端側への各位置で１フレームのＩＶＵＳ画像又はＯＣＴ画像が取得されるので、図４Ｂに示すように、移動範囲内で複数フレームのＩＶＵＳ画像又はＯＣＴ画像が取得される。
　画像診断用カテーテル１は、ＩＶＵＳセンサ１２ａによって得られるＩＶＵＳ画像又はＯＣＴセンサ１２ｂによって得られるＯＣＴ画像と、血管造影装置１０２によって得られるアンギオ画像との位置関係を確認するために、Ｘ線を透過しないマーカを有する。図２に示す例では、カテーテルシース１１ａの先端部、例えばガイドワイヤ挿通部１４にマーカ１４ａが設けられており、センサ部１２のシャフト１３側にマーカ１２ｃが設けられている。このように構成された画像診断用カテーテル１をＸ線で撮像すると、マーカ１４ａ，１２ｃが可視化されたアンギオ画像が得られる。マーカ１４ａ，１２ｃを設ける位置は一例であり、マーカ１２ｃはセンサ部１２ではなくシャフト１３に設けてもよく、マーカ１４ａはカテーテルシース１１ａの先端部以外の箇所に設けてもよい。
　図５は側枝形状の描出例を示す模式図である。血管内検査装置１０１より得られる断層画像には、画像診断用カテーテル１が挿入されている血管の断層構造が現れる。以下では、画像診断用カテーテル１が挿入されている血管を本幹と称する。また、断層画像には、本幹から分岐して延びる血管の断層構造が現れる場合もある。以下では、本幹から分岐して延びる血管を側枝と称する。本幹に挿入される画像診断用カテーテル１の長軸と、側枝の長軸とは、一般には平行ではないため、側枝形状は観察位置によって多様な形態で描出される。
　図５に示す縦断面図は、本幹と、本幹から分岐して延びる側枝とを有する血管の例を示している。この血管の横断面を観察位置Ａにて観察すると、本幹のみが描出されており、側枝は現れていないことが分かる。一方、観察位置Ｂで観察すると、本幹と側枝とが連結した状態で描出されていることが分かる。また、観察位置Ｃで観察すると、本幹及び側枝がそれぞれ独立した領域として描出されていることが分かる。更に、観察位置Ｄで観察すると、本幹及び側枝がそれぞれ独立した領域として描出され、側枝については視野領域の外部まで延びていることが分かる。
　本実施の形態に係る画像処理装置３は、血管の断層画像を取得した場合、取得した断層画像から本幹領域を抽出する。また、画像処理装置３は、取得した断層画像に本幹領域に加え、側枝領域が含まれている場合、本幹領域及び側枝領域を抽出する。本幹領域及び側枝領域が連結している場合、画像処理装置３は、それらの境界線を定義し、それぞれ個別の領域としてユーザに提示する。
　図６は画像処理装置３の構成例を示すブロック図である。画像処理装置３はコンピュータ（情報処理装置）であり、制御部３１、主記憶部３２、入出力部３３、通信部３４、補助記憶部３５、読取部３６を備える。画像処理装置３は、単一のコンピュータに限らず、複数のコンピュータにより構成されるマルチコンピュータであってよい。また、画像処理装置３は、サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、画像処理装置３が単一のコンピュータであるものとして説明する。
　制御部３１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等の演算処理装置を用いて構成されている。制御部３１は、バスを介して画像処理装置３を構成するハードウェア各部と接続されている。
　主記憶部３２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部３１が演算処理を実行するために必要なデータを一時的に記憶する。
　入出力部３３は、血管内検査装置１０１、血管造影装置１０２、表示装置４、入力装置５等の外部装置を接続するインタフェースを備える。制御部３１は、入出力部３３を介して、血管内検査装置１０１からＩＶＵＳ画像及びＯＣＴ画像を取得し、血管造影装置１０２からアンギオ画像を取得する。また、制御部３１は、入出力部３３を介して、ＩＶＵＳ画像、ＯＣＴ画像、又はアンギオ画像の医用画像信号を表示装置４へ出力することによって、表示装置４に医用画像を表示する。更に、制御部３１は、入出力部３３を介して、入力装置５に入力された情報を受け付ける。
　通信部３４は、例えば、４Ｇ、５Ｇ、ＷｉＦｉ等の通信規格に準拠した通信インタフェースを備える。画像処理装置３は、通信部３４を介して、インターネット等の外部ネットワークに接続されるクラウドサーバ等の外部サーバと通信を行う。制御部３１は、通信部３４を介して、外部サーバにアクセスし、当該外部サーバのストレージに記憶されている各種のデータを参照するものであってもよい。また、制御部３１は、当該外部サーバと例えばプロセス間通信を行うことにより、本実施の形態における処理を協働して行うものであってもよい。
　補助記憶部３５は、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置である。補助記憶部３５には、制御部３１が実行するコンピュータプログラムや制御部３１の処理に必要な各種データが記憶される。なお、補助記憶部３５は画像処理装置３に接続された外部記憶装置であってもよい。制御部３１が実行するコンピュータプログラムは、画像処理装置３の製造段階において補助記憶部３５に書き込まれてもよいし、遠隔のサーバ装置が配信するものを画像処理装置３が通信にて取得して補助記憶部３５に記憶させてもよい。コンピュータプログラムは、磁気ディスク、光ディスク、半導体メモリ等の記録媒体ＲＭに読み出し可能に記録された態様であってもよく、読取部３６が記録媒体ＲＭから読み出して補助記憶部３５に記憶させてもよい。補助記憶部３５に記憶されるコンピュータプログラムの一例は、血管の断層画像から本幹領域及び側枝領域の輪郭線を決定し、決定した輪郭線を表示する処理をコンピュータに実行させるための輪郭決定プログラムＰＧである。
　また、補助記憶部３５には、血管の断層画像から、本幹領域及び側枝領域を認識する処理に用いられる学習モデルＭＤが記憶される。図７は学習モデルＭＤの構成例を示す模式図である。学習モデルＭＤは、画像セグメンテーションを行うための学習モデルであり、例えば、ＳｅｇＮｅｔなどの畳み込み層を備えたニューラルネットワークにより構築される。代替的に、学習モデルＭＤは、ＳｅｇＮｅｔに限らず、ＦＣＮ（Fully Convolutional Network）、Ｕ－Ｎｅｔ（U-Shaped Network）、ＰＳＰＮｅｔ（Pyramid Scene Parsing Network）など画像セグメンテーション用の学習モデルであってもよい。また、学習モデルＭＤは、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multi-Box Detector）、ＶｉＴ（Vision Transformer）など物体検出用の学習モデルであってもよい。
　本実施の形態において、学習モデルＭＤへの入力画像は、血管内検査装置１０１より得られる血管の断層画像（ＩＶＵＳ画像又はＯＣＴ画像）である。学習モデルＭＤは、断層画像の入力に対し、断層画像に含まれる本幹領域及び側枝領域の認識結果を示す情報を出力するように学習される。学習モデルＭＤはその定義情報によって記述される。定義情報は、学習モデルＭＤを構成する層の情報、各層を構成するノードの情報、ノード間の重み係数及びバイアスなどの内部パラメータを含む。内部パラメータは、所定の学習アルゴリズムによって学習される。補助記憶部３５には、学習済みの内部パラメータを含む学習モデルＭＤの定義情報が記憶される。
　本実施の形態における学習モデルＭＤは、例えば、エンコーダＥＮ、デコーダＤＥ、及びソフトマックス層ＳＭを備える。エンコーダＥＮは、畳み込み層とプーリング層とを交互に配置して構成される。畳み込み層は２～３層に多層化されている。
　畳み込み層では、入力されるデータと、それぞれにおいて定められたサイズ（例えば、３×３や５×５など）のフィルタとの畳み込み演算を行う。すなわち、フィルタの各要素に対応する位置に入力された入力値と、フィルタに予め設定された重み係数とを各要素毎に乗算し、これら要素毎の乗算値の線形和を算出する。算出した線形和に、設定されたバイアスを加算することによって、畳み込み層における出力が得られる。なお、畳み込み演算の結果は活性化関数によって変換されてもよい。活性化関数として、例えばＲｅＬＵ（Rectified Linear Unit）を用いることができる。畳み込み層の出力は、入力データの特徴を抽出した特徴マップを表している。
　プーリング層では、入力側に接続された上位層である畳み込み層から出力された特徴マップの局所的な統計量を算出する。具体的には、上位層の位置に対応する所定サイズ（例えば、２×２、３×３）のウインドウを設定し、ウインドウ内の入力値から局所の統計量を算出する。統計量としては、例えば最大値を採用できる。プーリング層から出力される特徴マップのサイズは、ウインドウのサイズに応じて縮小（ダウンサンプリング）される。図７の例は、エンコーダ３１０において畳み込み層における演算とプーリング層における演算とを順次繰り返すことによって、２２４画素×２２４画素の入力画像を、１１２×１１２、５６×５６、２８×２８、…、１×１の特徴マップに順次ダウンサンプリングしていることを示している。
　エンコーダＥＮの出力は、デコーダＤＥに入力される。デコーダＤＥは、逆畳み込み層と逆プーリング層とを交互に配置して構成される。逆畳み込み層は２～３層に多層化されている。
　逆畳み込み層では、入力された特徴マップに対して、逆畳み込み演算を行う。逆畳み込み演算とは、入力された特徴マップが特定のフィルタを用いて畳み込み演算された結果であるという推定の下、畳み込み演算される前の特徴マップを復元する演算である。この演算では、特定のフィルタを行列で表したとき、この行列に対する転置行列と、入力された特徴マップとの積を算出することで、出力用の特徴マップを生成する。なお、逆畳み込み層の演算結果は、上述したＲｅＬＵなどの活性化関数によって変換されてもよい。
　デコーダＤＥが備える逆プーリング層は、エンコーダＥＮが備えるプーリング層に１対１で個別に対応付けられており、対応付けられている対は実質的に同一のサイズを有する。逆プーリング層は、エンコーダＥＮのプーリング層においてダウンサンプリングされた特徴マップのサイズを再び拡大（アップサンプリング）する。図７の例は、デコーダ３２０において畳み込み層における演算とプーリング層における演算とを順次繰り返すことによって、１×１、７×７、１４×１４、…、２２４×２２４の特徴マップに順次アップサンプリングしていることを示している。
　デコーダＤＥの出力は、ソフトマックス層ＳＭに入力される。ソフトマックス層ＳＭは、入力側に接続された逆畳み込み層からの入力値にソフトマックス関数を適用することにより、各位置（画素）における部位を識別するラベルの確率を出力する。本実施の形態では、本幹及び側枝を識別するラベルが設定される。画像処理装置３の制御部３１は、ソフトマックス層ＳＭから出力されるラベルの確率を参照して、断層画像から本幹に属する領域（本幹領域）と、側枝に属する領域（側枝領域）とを認識する。制御部３１は、本幹領域にも側枝領域にも属さない領域を、背景領域として認識してもよい。
　以下、画像処理装置３の動作を説明する。
　図８は画像処理装置３が実行する処理の手順を説明するフローチャートである。画像処理装置３の制御部３１は、血管内検査装置１０１から断層画像を取得する都度、以下の処理を実行する。制御部３１は、入出力部３３を通じて血管の断層画像を取得した場合（ステップＳ１０１）、取得した断層画像を学習モデルＭＤへ入力し（ステップＳ１０２）、学習モデルＭＤによる演算を実行する（ステップＳ１０３）。
　制御部３１は、学習モデルＭＤによる演算結果に基づき、領域を認識する（ステップＳ１０４）。具体的には、制御部３１は、学習モデルＭＤのソフトマックス層ＳＭより出力される画素毎のラベルの確率に基づき、各画素が本幹又は側枝の何れに属するのかを判断する。制御部３１は、本幹に属すると判断した画素の集合を本幹領域として認識し、側枝に属すると判断した画素の集合を側枝領域として認識する。制御部３１は、本幹及び側枝の何れにも属さない画素の集合を背景領域として認識する。
　制御部３１は、ステップＳ１０４で認識した領域に側枝領域が含まれているか否かを判断する（ステップＳ１０５）。側枝領域が含まれていないと判断した場合（Ｓ１０５：ＮＯ）、断層画像に含まれる本幹領域の輪郭線を単独で決定する（ステップＳ１０６）。制御部３１は、例えば、本幹領域の周縁上の点を複数選定し、選定した複数の点（若しくは点の近傍）を通るスプライン曲線などの近似曲線を求めることにより、本幹領域の輪郭線を決定する。
　側枝領域が含まれていると判断した場合（Ｓ１０５：ＹＥＳ）、制御部３１は、本幹領域と側枝領域とが接触しているか否かを判断する（ステップＳ１０７）。本幹領域と側枝領域とが接触していると判断した場合（Ｓ１０７：ＹＥＳ）、制御部３１は、断層画像に含まれる本幹領域の輪郭線を決定し、決定した本幹領域の輪郭線を基準にして、側枝領域の輪郭線を決定する（ステップＳ１０８）。本幹領域の輪郭線を基準に側枝領域の輪郭線を決定する手順については、図１０に示すフローチャートを用いて詳細に説明する。
　本幹領域と側枝領域とが接触していないと判断した場合（Ｓ１０７：ＮＯ）、制御部３１は、断層画像に含まれる本幹領域及び側枝領域の輪郭線をそれぞれ単独で決定する（ステップＳ１０９）。制御部３１は、例えば、本幹領域の周縁上の点を複数選定し、選定した複数の点（若しくは点の近傍）を通るスプライン曲線などの近似曲線を求めることにより、本幹領域の輪郭線を決定する。また、制御部３１は、側枝領域の周縁上の点を複数選定し、選定した複数の点（若しくは点の近傍）を通るスプライン曲線などの近似曲線を求めることにより、側枝領域の輪郭線を決定する。
　制御部３１は、ステップＳ１０６、Ｓ１０８、又はＳ１０９で決定した輪郭線を表示する（ステップＳ１１０）。図９Ａ～図９Ｃは輪郭線の表示例を示す模式図である。図９Ａは本幹領域が単独で検出された例を示している。図９Ａでは、本幹領域はハッチングを付した領域により描画されており、本幹領域の周縁上の点（輪郭点）は黒丸により描画されている。また、本幹領域の輪郭線は、輪郭点（若しくは輪郭点の近傍）を通る実線により描画されている。
　図９Ｂは本幹領域及び側枝領域が接触せずに検出された例を示している。図９Ｂでは、本幹領域はハッチングを付した領域により描画されており、本幹領域の周縁上の点（輪郭点）は黒丸により描画されている。また、本幹領域の輪郭線は、輪郭点（若しくは輪郭線の近傍）を通る実線により描画されている。更に、図９Ｂでは、側枝領域はドットを付した領域により描画されており、側枝領域の周縁上の点（輪郭点）は白丸により描画されている。また、側枝領域の輪郭線は、輪郭点（若しくは輪郭点の近傍）を通る破線により描画されている。
　図９Ｃは本幹領域及び側枝領域が接触して検出された例を示している。図９Ｃでは、本幹領域はハッチングを付した領域により描画されており、本幹領域の周縁上の点（輪郭点）は黒丸により描画されている。また、本幹領域の輪郭線は、輪郭点（若しくは輪郭線の近傍）を通る実線により描画されている。更に、図９Ｃでは、側枝領域はドットを付した領域により描画されており、側枝領域の周縁上の点（輪郭点）は白丸により描画されている。また、側枝領域の輪郭線は、輪郭点（若しくは輪郭点の近傍）を通る破線により描画されている。この例では、本幹領域と側枝領域とが接触しているため、その境界において、本幹領域の輪郭線と側枝領域の輪郭線とが重なるように描画される。
　図９Ａ～図９Ｃでは、本幹領域の輪郭線及び側枝領域の輪郭線をそれぞれ実線及び破線により描画した例を示したが、制御部３１は、本幹領域と側枝領域とで輪郭線の表示態様を変更して表示すればよく、例えば、色を変更して表示してもよく、線の太さを変更して表示してもよい。
　図１０は本幹領域の輪郭線を基準に側枝領域の輪郭線を決定する手順を示すフローチャートである。制御部３１は、ステップＳ１０４の認識結果を参照し、認識した領域内のノイズを除去する（ステップＳ１２１）。具体的には、制御部３１は、本幹として認識した領域内に、側枝又は背景として認識される孤立点が存在する場合、これらの孤立点を除去する処理を行う。孤立点は、単一の画素であってもよく、複数の画素からなる小領域であってもよい。制御部３１は、孤立点に含まれる画素のラベルを「側枝」又は「背景」から「本幹」に変更することにより、孤立点を除去することができる。側枝として認識した領域についても同様であり、制御部３１は、側枝領域に含まれる孤立点を除去する処理を行う。
　制御部３１は、本幹領域の周縁上の点を複数選定する（ステップＳ１２２）。本実施の形態では、本幹に属すると判断した画素の集合が本幹領域として認識される。本幹に属する画素のうち、注目画素に隣接する８つの画素（上下左右の４つ＋斜め方向の４つ）が全て本幹に属する場合、その注目画素は本幹領域の内部の画素として認識され、注目画素に隣接する８つの画素の１つ以上が側枝又は背景に属する場合、その注目画素は周縁上の画素として認識される。制御部３１は、本幹領域に属する画素のうち、周縁上の画素として認識される画素から所定数の画素を選定する。選定する画素の数は、予め設定されてもよく、本幹領域の大小に応じて設定されてもよい。ステップＳ１２２で選定した画素を本幹領域の輪郭点という。
　制御部３１は、ステップＳ１２２で選定した複数の輪郭点に基づき、本幹領域の輪郭線を決定する（ステップＳ１２３）。制御部３１は、本幹領域の輪郭点（若しくは輪郭点の近傍）を通るスプライン曲線などの近似曲線を求めることにより、本幹領域の輪郭線を決定することができる。
　制御部３１は、ステップＳ１２３で決定した本幹領域の輪郭線を基準にして、側枝領域の本幹領域との境界部を補正する（ステップＳ１２４）。図１１は境界部の補正手法を説明する説明図である。上述したステップＳ１２１～Ｓ１２３の処理により、本幹領域の境界線が決定される。図１１の例は、本幹領域の境界線より下側のハッチングを付した領域が本幹領域、境界線より上側のドットを付した領域が側枝領域であり、境界付近を部分的に拡大した図を示している。ステップＳ１２３の処理を実行した時点で、本幹領域の境界は確定しているが、側枝領域の境界は確定しておらず、しかも画素単位で本幹であるか側枝であるかが判断されるので、本幹領域の境界線と側枝領域との間には空隙が生じる場合がある。画像セグメンテーションでは、各画素を本幹又は側枝に分類するが、空隙は、本幹にも側枝にも分類されなかった画素（ラベルが空欄の画素）により構成される領域を表す。なお、画像セグメンテーションにおいて、各画素を、本幹、側枝、背景に分類する場合、空隙は、背景のラベルが付与された画素、若しくはラベルが付与されなかった画素により構成される領域を表す。ステップＳ１２４では、この境界部における空隙を埋める処理を行う。具体的には、制御部３１は、空隙内の画素のラベルを「背景」若しくは「ラベルなし」から「側枝」に変更することにより、空隙を埋めることができる。制御部３１は、空隙の埋めた後、本幹領域を一時的に側枝領域に変更し、変更後に得られる側枝領域から、元の本幹領域を差し引く処理を行ってもよい。
　制御部３１は、境界部が補正された側枝領域から、周縁上の点を複数選定する（ステップＳ１２５）。側枝に属する画素のうち、注目画素に隣接する８つの画素が全て側枝に属する場合、その注目画素は領域内部の画素として認識され、注目画素に隣接する８つの画素の１つ以上が本幹又は背景に属する場合、その注目画素は周縁上の画素として認識される。制御部３１は、側枝領域に属する画素のうち、周縁上の画素として認識される画素から所定数の画素を選定する。選定する画素の数は、予め設定されてもよく、側枝領域の大小に応じて設定されてもよい。ステップＳ１２５で選定した画素を側枝領域の輪郭点という。
　制御部３１は、ステップＳ１２５で選定した側枝領域の輪郭点のうち、本幹領域と接触する輪郭点を除去し（ステップＳ１２６）、残りの輪郭点に基づき、側枝領域の輪郭線を決定する（ステップＳ１２７）。すなわち、制御部３１は、側枝領域の輪郭点のうち、非境界部の輪郭点（若しくは輪郭点の近傍）を通るスプライン曲線などの近似曲線を求めることにより、非境界部における側枝領域の輪郭線を決定する。
　制御部３１は、境界部に含まれる輪郭点から、境界部における側枝領域の輪郭線を決定する（ステップＳ１２８）。すなわち、制御部３１は、側枝領域の輪郭点のうち、境界部の輪郭点（若しくは輪郭点の近傍）を通るスプライン曲線などの近似曲線を求めることにより、境界部における側枝領域の輪郭線を決定する。制御部３１は、ステップＳ１２７で定めた非境界部の輪郭線と、ステップＳ１２８で定めた境界部の輪郭線とに基づき、側枝領域全体の輪郭線を決定する（ステップＳ１２９）。
　以上のように、実施の形態１では、本幹領域の輪郭線を基準にして、側枝領域の輪郭線を決定するので、本幹と側枝とが連結している分岐部での領域（境界線）を定義してユーザに提示することができる。
　本実施の形態では、本幹領域及び側枝領域の輪郭線を決定し、それぞれを異なる表示態様で表示する構成としたが、制御部３１は、本幹領域及び側枝領域の面積や径を算出し、算出した面積や径の値を表示してもよい。制御部３１は、各領域内の画素数をカウントし、カウント値に基づき各領域の面積を算出することができる。また、各領域の輪郭線はスプライン曲線などの数式によって表されるので、制御部３１は、例えばＩＶＵＳセンサ１２ａの回転中心を示す座標から本幹領域又は側枝領域の輪郭線までの直線距離を演算によって求めることができ、求めた直線距離を各領域の径として定めることができる。なお、制御部３１が算出する径は、最小径、平均径、及び最大径の何れであってもよい。
　制御部３１は、各フレームの断層画像から本幹領域及び側枝領域の輪郭線をそれぞれ決定することができる。制御部３１は、各フレームから決定した輪郭線に基づき、本幹及び側枝の３次元画像を生成してもよい。制御部３１は、各フレームから決定した輪郭線を血管の長軸方向に並べて表示することにより、本幹及び側枝をワイヤーフレーム（３次元画像）として表示することができる。また、制御部３１は、各フレームから決定した輪郭線の重心を算出し、算出した重心の軌跡に沿って肉付けすることにより、本幹及び側枝をサーフェスモデル（３次元画像）として表示してもよい。
　また、制御部３１は、各フレームの断層画像から本幹領域及び側枝領域を検出しているので、側枝領域が検出されたフレームを表示装置４に表示する際には、「側枝あり」との文字情報や側枝が存在する旨のアイコン等を併せて表示してもよい。
　更に、制御部３１は、連続した複数のフレームにおいて側枝が検出された場合であって、その中途に側枝が検出されていないフレームが存在する場合、検出漏れが発生した旨の文字情報又はアイコンを表示装置４に表示してもよい。
（実施の形態２）
　実施の形態２では、側枝が視野境界と接触する場合の輪郭線の決定手法について説明する。
　画像診断装置１００の全体構成、画像処理装置３の内部構成等については、実施の形態１と同様であるため、その説明を省略することとする。
　図１２は側枝が視野境界と接触する場合の輪郭線の決定手順を示すフローチャートである。画像処理装置３の制御部３１は、図８に示すフローチャートのステップＳ１０５で側枝領域が含まれると判断した後の適宜のタイミングにおいて、以下の処理を実行する。例えば、制御部３１は、本幹領域と側枝領域とが接触しているか否かを判断するステップＳ１０７の手順の前に以下の処理を実行してもよく、ステップＳ１０７の手順の後に以下の処理を実行してもよい。また、制御部３１は、ステップＳ１０７の手順と同時並行的に以下の処理を実行してもよい。
　制御部３１は、側枝領域が視野境界に接触しているか否かを判断する（ステップＳ２０１）。ここで、視野境界は、表示時の視野境界であり、ユーザによる設定によって、その表示深度（カテーテル中心から表示する最大径）を変更可能である。なお、断層画像のデータには、表示深度よりも深い深度のデータが含まれてもよい。また、深度に関して、３次元表示に使用するデータは、必ずしも２次元表示の深度に合致している必要はない。血管の全体像を把握する観点からは、より深度の深いデータを使用する方が好ましい。ステップＳ２０１において、側枝領域が視野領域に接触していないと判断した場合（Ｓ２０１：ＮＯ）、制御部３１は、本フローチャートによる処理を終了する。
　側枝領域が視野領域に接触していると判断した場合（Ｓ２０１：ＹＥＳ）、制御部３１は、視野領域の境界線を基準にして、側枝領域の輪郭線を決定する（ステップＳ２０２）。視野領域の境界線を基準に側枝領域の輪郭線を決定する手順については、図１３に示すフローチャートを用いて詳細に説明する。
　図１３は視野境界の境界線を基準に側枝領域の輪郭線を決定する手順を示すフローチャートである。制御部３１は、ステップＳ１０４の認識結果を参照し、認識した領域内のノイズを除去する（ステップＳ２２１）。ノイズを除去する手法は実施の形態１と同様である。図１０のステップＳ１２１が既に実行されている場合、制御部３１は、ステップＳ２２１の手順を省略してもよい。
　制御部３１は、側枝領域の周縁上の点を複数選定する（ステップＳ２２２）。本実施の形態では、側枝に属すると判断した画素の集合が側枝領域として認識される。側枝に属する画素のうち、注目画素に隣接する８つの画素が全て側枝に属する場合、その注目画素は側枝領域の内部の画素として認識され、注目画素に隣接する８つの画素の１つ以上が本幹又は背景に属する場合、若しくは、注目画素に隣接する画素が８つ未満の場合（周辺画素が存在しない場合）、その注目画素は周縁上の画素として認識される。制御部３１は、側枝領域に属する画素のうち、周縁上の画素として認識される画素から所定数の画素を選定する。選定する画素の数は、予め設定されてもよく、側枝領域の大小に応じて設定されてもよい。ステップＳ２２２で選定した画素を側枝領域の輪郭点という。
　図１４は側枝領域における輪郭点の選定例を示す模式図である。図１４に示す矩形状の領域のうち、大円によって囲まれる領域は視野領域、四隅の黒色で塗られた領域は視野外の領域である。図１４の例では、簡略化のために、視野領域の境界と接触した側枝領域のみを示している。この例では、側枝領域が視野領域の境界と接触しているので、側枝領域の周縁上の点として、側枝と背景との境界線上の点だけでなく、視野境界上の点（大円上の点）が選定される。
　制御部３１は、ステップＳ２２２で選定した複数の点のうち、視野境界と接触する輪郭点を除去し（ステップＳ２２３）、残りの輪郭点に基づき、側枝領域の輪郭線を決定する（ステップＳ２２４）。すなわち、制御部３１は、側枝領域の輪郭点のうち、非境界部の輪郭点（若しくは輪郭点の近傍）を通るスプライン曲線などの近似曲線を求めることにより、非境界部における側枝領域の輪郭線を決定する。
　制御部３１は、境界部に含まれる輪郭点から、境界部における側枝領域の輪郭線を決定する（ステップＳ２２５）。すなわち、制御部３１は、側枝領域の輪郭点のうち、境界部の輪郭点（若しくは輪郭点の近傍）を通るスプライン曲線などの近似曲線を求めることにより、境界部における側枝領域の輪郭線を決定する。制御部３１は、ステップＳ２２４で定めた非境界部の輪郭線と、ステップＳ２２５で定めた境界部の輪郭線とに基づき、側枝領域全体の輪郭線を決定する（ステップＳ２２６）。
　図１３のフローチャートでは、側枝領域が視野境界と接触する場合の輪郭線の決定手順について説明したが、側枝領域が更に本幹領域と接触する場合には、実施の形態１で説明した手法を適用し、視野境界との境界部については視野境界を基準に側枝領域の輪郭線を決定し、本幹領域との境界部については本幹領域の輪郭線を基準に側枝領域の輪郭線を決定すればよい。
　また、制御部３１は、ステップＳ２２４で非境界部の輪郭線を決定する際に、輪郭線を視野領域の外部の領域まで外挿して、視野領域外に延びる輪郭線を推定し、推定した視野領域外の輪郭線を仮想線により表示してもよい。図１５は視野領域外の輪郭線を仮想線により表示した例を示す模式図である。この例では、視野領域内の輪郭線を黒色の破線で示し、視野領域外に存在すると推定される輪郭線を白色の破線で示している。この例では、輪郭線は視野領域外に延びると推定しているので、視野境界との境界部における輪郭線を決定する必要はなく、ステップＳ２２５の処理を省略してもよい。
　以上のように、実施の形態２では、視野境界を基準にして、側枝領域の輪郭線を決定するので、側枝と視野境界とが接触している境界部での領域（境界線）を定義してユーザに提示することができる。
（実施の形態３）
　実施の形態３では、学習モデルＭＤの学習時に使用されるアノテーションツールについて説明する。
　画像診断装置１００の全体構成、画像処理装置３の内部構成等については、実施の形態１と同様であるため、その説明を省略することとする。
　本実施の形態では、学習モデルＭＤによる認識処理が開始される前の訓練フェーズにおいて、多数の断層画像に対するアノテーションが実施される。具体的には、画像処理装置３において、アノテーションツールＡＴ（図１６を参照）が起動され、当該ツールにて提供される作業環境内でアノテーションを受付ける。アノテーションツールＡＴは、画像処理装置３にインストールされるコンピュータプログラムの１つである。
　図１６はアノテーションの作業環境を説明する説明図である。アノテーションツールＡＴが起動された場合、画像処理装置３は、図１６に示すような作業画面３００を表示装置４に表示する。作業画面３００は、ファイル選択ツール３０１、画像表示フィールド３０２、フレーム指定ツール３０３、領域指定ツール３０４、セグメント表示欄３０５、編集ツール３０６等を備えており、入力装置５を通じて各種の操作を受付ける。
　ファイル選択ツール３０１は、各種ファイルの選択操作を受付けるためのツールであり、断層画像の読込み、アノテーションデータの保存、アノテーションデータの読込み、解析結果の出力を行うためのソフトウェアボタンを備える。ファイル選択ツール３０１によって断層画像の読込みが行われた場合、読み込まれた断層画像は画像表示フィールド３０２に表示される。断層画像は、一般には複数のフレームにより構成されている。フレーム指定ツール３０３は、フレームを指定するための入力ボックスやスライダを備えており、画像表示フィールド３０２に表示させる断層画像のフレームを指定できるように構成されている。図１６の例では、２００枚のフレームのうち７６枚目のフレームが指定された状態を示している。
　領域指定ツール３０４は、画像表示フィールド３０２に表示されている断層画像について領域の指定を受付けるためのツールであり、各ラベルに対応したソフトウェアボタンを備える。図１６の例では、「本幹」及び「側枝」のラベルに対応したソフトウェアボタンが示されている。ソフトウェアボタンの個数及びラベルの種類は、上記に限定されるものではなく、「ＥＥＭ」、「Ｌｕｍｅｎ」、「Ｉｎ－Ｓｔｅｎｔ」、「石灰化領域」、「プラーク領域」、「血栓領域」等のラベルに対応したソフトウェアボタンが配置されてもよく、ユーザによって任意のラベルが設定されてもよい。
　領域指定ツール３０４を用いて本幹領域を指定する場合、ユーザは、「本幹」のラベルが付されたソフトウェアボタンを選択し、画像表示フィールド３０２上で本幹領域を囲むように複数の点をプロットする。他の領域を指定する場合も同様である。画像処理装置３の制御部３１は、ユーザによりプロットされた複数の点（若しくは点の近傍）を通るような閉曲線を導出し、導出した閉曲線を画像表示フィールド３０２に描画する。閉曲線の内部は、事前に設定された色（若しくはユーザによって設定された色）で描画される。
　図１６の例は、黒丸で示す複数の点を通る閉曲線Ｌ１により、本幹領域が指定され、白丸で示す複数の点を通る閉曲線Ｌ２により、側枝領域が指定された状態を示している。制御部３１は、指定された本幹領域に含まれる画素に対して「本幹」のラベルを付与し、指定された側枝領域に含まる画素に対して「側枝」のラベルを付与する。
　セグメント表示欄３０５は、画像表示フィールド３０２に描画された領域の情報を表示する。図１６の例では、本幹領域及び側枝領域が画像表示フィールド３０２に表示されていることを示している。
　編集ツール３０６は、画像表示フィールド３０２に描画された領域の編集を受付けるためのツールであり、選択ボタン、編集ボタン、消去ボタン、終了ボタン、色設定欄を備える。編集ツール３０６を利用することにより、画像表示フィールド３０２に既に描画されている領域に関して、領域を定める点の移動、追加、消去、並びに、領域の色の変更を行えるように構成されている。
　領域の指定や編集を終えた後、ファイル選択ツール３０１にてアノテーション保存が選択されると、制御部３１は、断層画像のデータと、各領域に付与したラベルのデータとを含むデータセット（アノテーションデータ）を補助記憶部３５に記憶させる。
　本実施の形態では、ユーザの手作業によりアノテーションを行う構成としたが、学習モデルＭＤの学習が進めば、学習モデルＭＤによる認識結果を利用して、アノテーションを行うことも可能である。また、フレーム単位で、フレームアウトのあり／なし、側枝のあり／なしといった識別情報を学習用に補助記憶部３５に記憶させてもよい。
　具体的には、制御部３１は、取得した断層画像を画像表示フィールド３０２に表示すると共に、バックグラウンドで学習モデルＭＤを用いた領域認識を行い、認識した領域の輪郭を通るような複数の点を算出して、画像表示フィールド３０２にプロットする。本幹領域と側枝領域とが接触している場合、制御部３１は、実施の形態１と同様の手順により、本幹領域の輪郭線を基準にして側枝領域の輪郭線を決定し、各輪郭線上の点をプロットしてもよい。また、側枝領域と視野境界とが接触している場合、制御部３１は、実施の形態２と同様の手順により、視野境界を基準にして側枝領域の輪郭線を決定し、各輪郭線上の点をプロットしてもよい。
　画像処理装置３は、認識した領域の種類を把握しているので、当該領域に対するラベルを自動的に付与することができる。画像処理装置３は、必要に応じて、画像表示フィールド３０２にプロットされた点に対する編集を受付け、最終的に確定した点によって囲まれる領域、及びその領域のラベルのデータをアノテーションデータとして補助記憶部３５に記憶させる。
　以上のように、実施の形態３では、アノテーションツールを用いて、容易に訓練データを生成することができる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　１　画像診断用カテーテル
　２　ＭＤＵ
　３　画像処理装置
　４　表示装置
　５　入力装置
　３１　制御部
　３２　主記憶部
　３３　入出力部
　３４　通信部
　３５　補助記憶部
　３６　読取部
　１００　画像診断装置
　１０１　血管内検査装置
　１０２　血管造影装置
　ＰＧ　コンピュータプログラム
　ＭＤ　学習モデル

Claims (14)

  1. 　血管の断層画像を取得し、
    　取得した断層画像に、本幹領域と、該本幹領域に連結された側枝領域とが存在するか否かを判断し、
    　前記本幹領域及び前記側枝領域が存在すると判断した場合、前記本幹領域の輪郭線を決定し、
    　決定した前記本幹領域の輪郭線を基準にして、前記側枝領域の輪郭線を決定し、
    　決定した前記本幹領域及び前記側枝領域の輪郭線を互いに異なる表示態様にて表示する
    　処理をコンピュータに実行させるためのコンピュータプログラム。
  2. 　取得した断層画像から、本幹領域と、該本幹領域に連結された側枝領域とを抽出し、
    　抽出した本幹領域の周縁上の複数の点を選定し、
    　選定した複数の点に基づき、前記本幹領域の輪郭線を決定し、
    　決定した前記本幹領域の輪郭線を基準にして、前記側枝領域の前記本幹領域との境界部を補正し、
    　前記境界部が補正された側枝領域について周縁上の複数の点を選定し、
    　選定した複数の点に基づき、前記側枝領域の輪郭線を決定する
    　処理を前記コンピュータに実行させるための請求項１記載のコンピュータプログラム。
  3. 　断層画像を入力した場合、該断層画像に含まれる本幹領域、及び該本幹領域に連結された側枝領域を識別する情報を出力するよう学習された学習モデルを用いて、取得した断層画像から、本幹領域と、該本幹領域に連結された側枝領域とを抽出する
    　処理を前記コンピュータに実行させるための請求項２記載のコンピュータプログラム。
  4. 　前記本幹領域の輪郭線と前記側枝領域との間に生じる空隙を埋めることにより、前記境界部を補正する
    　処理を前記コンピュータに実行させるための請求項２記載のコンピュータプログラム。
  5. 　前記側枝領域ついて選定した複数の点のうち、前記境界部に含まれる点を除いた複数の点に基づき、非境界部における前記側枝領域の輪郭線を決定し、
    　前記境界部に含まれる点に基づき、前記境界部における前記側枝領域の輪郭線を決定する
    　処理を前記コンピュータに実行させるための請求項２記載のコンピュータプログラム。
  6. 　取得した断層画像に基づき、視野領域の境界に接触している側枝領域が存在するか否かを判断し、
    　前記側枝領域が存在すると判断した場合、前記視野領域の境界を基準にして、前記側枝領域の輪郭線を決定する
    　処理を前記コンピュータに実行させるための請求項１記載のコンピュータプログラム。
  7. 　前記視野領域の境界を基準にして、前記側枝領域の前記視野領域との境界部を補正し、
    　前記境界部が補正された側枝領域について周縁上の複数の点を選定し、
    　選定した複数の点に基づき、前記側枝領域の輪郭線を決定する
    　処理を前記コンピュータに実行させるための請求項６記載のコンピュータプログラム。
  8. 　前記側枝領域ついて選定した複数の点のうち、前記境界部に含まれる点を除いた複数の点に基づき、非境界部における前記側枝領域の輪郭線を決定する
    　処理を前記コンピュータに実行させるための請求項７記載のコンピュータプログラム。
  9. 　前記複数の点に基づき、視野領域外に延びる前記側枝領域の輪郭線を推定し、
    　推定した視野領域外に延びる前記側枝領域の輪郭線を仮想線により表示する
    　処理を前記コンピュータに実行させるための請求項８記載のコンピュータプログラム。
  10. 　決定した輪郭線により囲まれる前記本幹領域及び前記側枝領域の面積又は径を算出する
    　処理を前記コンピュータに実行させるための請求項１記載のコンピュータプログラム。
  11. 　決定した輪郭線の情報から、前記血管の３次元画像を生成し、
    　生成した前記血管の３次元画像を表示する
    　処理を前記コンピュータに実行させるための請求項１記載のコンピュータプログラム。
  12. 　血管の断層画像を表示し、
    　表示した断層画像上で、本幹領域の周縁上の複数の点を指定と、前記本幹領域に連結された側枝領域の周縁上の複数の点の指定を受付け、
    　指定された前記本幹領域の周縁上の複数の点に基づき、前記本幹領域の輪郭線を決定し、
    　決定した前記本幹領域の輪郭線を基準にして、指定された前記側枝領域の周縁上の複数の点に基づき、前記側枝領域の輪郭線を決定し、
    　決定した輪郭線により囲まれる本幹領域及び側枝領域に対し、夫々を識別するためのラベルを付与する
    　処理をコンピュータに実行させるためのコンピュータプログラム。
  13. 　血管の断層画像を取得し、
    　取得した断層画像に、本幹領域と、該本幹領域に連結された側枝領域とが存在するか否かを判断し、
    　前記本幹領域及び前記側枝領域が存在すると判断した場合、前記本幹領域の輪郭線を決定し、
    　決定した前記本幹領域の輪郭線を基準にして、前記側枝領域の輪郭線を決定し、
    　決定した前記本幹領域及び前記側枝領域の輪郭線を互いに異なる表示態様にて表示する
    　処理をコンピュータにより実行する情報処理方法。
  14. 　血管の断層画像を取得する取得部と、
    　取得した断層画像に、本幹領域と、該本幹領域に連結された側枝領域とが存在するか否かを判断する判断部と、
    　前記本幹領域及び前記側枝領域が存在すると判断した場合、前記本幹領域の輪郭線を決定する第１決定部と、
    　決定した前記本幹領域の輪郭線を基準にして、前記側枝領域の輪郭線を決定する第２決定部と、
    　決定した前記本幹領域及び前記側枝領域の輪郭線を互いに異なる表示態様にて表示する表示部と
    　を備える情報処理装置。
PCT/JP2023/035281 2022-09-29 2023-09-27 コンピュータプログラム、情報処理方法及び情報処理装置 WO2024071252A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022156624 2022-09-29
JP2022-156624 2022-09-29

Publications (1)

Publication Number Publication Date
WO2024071252A1 true WO2024071252A1 (ja) 2024-04-04

Family

ID=90478114

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/035281 WO2024071252A1 (ja) 2022-09-29 2023-09-27 コンピュータプログラム、情報処理方法及び情報処理装置

Country Status (1)

Country Link
WO (1) WO2024071252A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150238121A1 (en) * 2014-02-25 2015-08-27 Medis Associated B.V. Method and device for determining a geometrical parameter of a blood vessel
WO2021199968A1 (ja) * 2020-03-30 2021-10-07 テルモ株式会社 コンピュータプログラム、情報処理方法、情報処理装置及びモデル生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150238121A1 (en) * 2014-02-25 2015-08-27 Medis Associated B.V. Method and device for determining a geometrical parameter of a blood vessel
WO2021199968A1 (ja) * 2020-03-30 2021-10-07 テルモ株式会社 コンピュータプログラム、情報処理方法、情報処理装置及びモデル生成方法

Similar Documents

Publication Publication Date Title
US11741613B2 (en) Systems and methods for classification of arterial image regions and features thereof
JP7104632B2 (ja) 半自動化画像セグメント化システム及び方法
US8542903B2 (en) Method and system for delineation of vasculature
US7860283B2 (en) Method and system for the presentation of blood vessel structures and identified pathologies
EP2856428B1 (en) Segmentation highlighter
US10970875B2 (en) Examination support device, examination support method, and examination support program
US10939800B2 (en) Examination support device, examination support method, and examination support program
US20230020596A1 (en) Computer program, information processing method, information processing device, and method for generating model
KR101783964B1 (ko) 단층 촬영 장치 및 그에 따른 단층 영상 복원 방법
WO2022071264A1 (ja) プログラム、モデル生成方法、情報処理装置及び情報処理方法
US20240013385A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
JP7489882B2 (ja) コンピュータプログラム、画像処理方法及び画像処理装置
WO2024071252A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
US20230017227A1 (en) Program, information processing method, information processing apparatus, and model generation method
WO2022071265A1 (ja) プログラム、情報処理装置及び情報処理方法
US11003946B2 (en) Examination support device, examination support method, and examination support program
WO2024071322A1 (ja) 情報処理方法、学習モデルの生成方法、コンピュータプログラム及び情報処理装置
US20240013386A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
CN113645907B (zh) 诊断支援装置、诊断支援系统以及诊断支援方法
WO2022202320A1 (ja) プログラム、情報処理方法及び情報処理装置
JP2024050046A (ja) コンピュータプログラム、情報処理方法及び情報処理装置
WO2022209652A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
US20230017334A1 (en) Computer program, information processing method, and information processing device
US20240008849A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
WO2023189260A1 (ja) コンピュータプログラム、情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23872474

Country of ref document: EP

Kind code of ref document: A1