WO2022071181A1 - 情報処理装置、情報処理方法、プログラム及びモデル生成方法 - Google Patents

情報処理装置、情報処理方法、プログラム及びモデル生成方法 Download PDF

Info

Publication number
WO2022071181A1
WO2022071181A1 PCT/JP2021/035259 JP2021035259W WO2022071181A1 WO 2022071181 A1 WO2022071181 A1 WO 2022071181A1 JP 2021035259 W JP2021035259 W JP 2021035259W WO 2022071181 A1 WO2022071181 A1 WO 2022071181A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
plaque
baden
blood vessel
information processing
Prior art date
Application number
PCT/JP2021/035259
Other languages
English (en)
French (fr)
Inventor
雄紀 坂口
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to JP2022553930A priority Critical patent/JPWO2022071181A1/ja
Priority to EP21875483.6A priority patent/EP4218599A4/en
Publication of WO2022071181A1 publication Critical patent/WO2022071181A1/ja
Priority to US18/191,974 priority patent/US20230230252A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, a program, and a model generation method.
  • Patent Document 1 There is a technology to support diagnostic imaging related to vascular treatment such as PCI (Percutaneous Coronary Intervention).
  • PCI Percutaneous Coronary Intervention
  • Patent Document 1 it is a medical image processing device that converts 3D CT (Computer Tomography) data into a 2D projected image, extracts a plaque region of a blood vessel from the 3D CT data, and calculates a stenosis rate of the blood vessel. Then, a medical image processing apparatus that displays a projected image in which a color value of a plaque region is determined according to a calculated stenosis rate or the like is disclosed.
  • 3D CT Computer Tomography
  • the invention according to Patent Document 1 extracts the plaque region from the three-dimensional CT value on a rule basis, and cannot always accurately extract the plaque region and calculate the stenosis rate. Further, the invention according to Patent Document 1 requires three-dimensional CT data, and does not calculate the squeezing rate or the like from the two-dimensional data (image).
  • One aspect is to provide an information processing device or the like that can suitably support image diagnosis related to vascular treatment.
  • the information processing apparatus includes an acquisition unit that acquires a multi-frame cross-layer image of a patient's blood vessel, and a blood vessel along the axial direction of the blood vessel based on the multi-frame cross-layer image.
  • Each region is provided with a determination unit that determines the region where both ends of the treatment range of the blood vessel by a predetermined treatment device should be located.
  • diagnostic imaging related to vascular treatment can be suitably supported.
  • FIG. It is a flowchart which shows the procedure of plaque Baden calculation processing. It is explanatory drawing about the identification process of the lesion area which concerns on modification 1.
  • FIG. It is a block diagram which shows the structural example of the diagnostic imaging apparatus which concerns on Embodiment 2.
  • FIG. It is explanatory drawing about the calculation process of plaque Baden which concerns on Embodiment 2.
  • FIG. It is a flowchart which shows the procedure of the generation process of a discriminative model. It is a flowchart which shows the procedure of the calculation process of plaque Baden which concerns on Embodiment 2.
  • FIG. It is explanatory drawing about the generation processing of the calculation model which concerns on modification 2.
  • FIG. It is a flowchart which shows the procedure of the generation process of the calculation model which concerns on modification 2.
  • FIG. 1 is an explanatory diagram showing a configuration example of an diagnostic imaging system.
  • a diagnostic imaging system that calculates Plaque Burden from a cross-sectional layer image of a patient's blood vessel and supports vascular treatment using a predetermined treatment device will be described.
  • the diagnostic imaging device 2 includes a server 1 and a diagnostic imaging device (information processing device) 2. Each device is communicated and connected via a network N such as the Internet.
  • Server 1 is a server computer capable of various information processing and transmission / reception of information.
  • the device corresponding to the server 1 may be a device such as a personal computer.
  • the server 1 functions as a generation device that performs machine learning to learn predetermined training data and uses a patient's vascular tomographic image as an input to generate a calculation model 51 (see FIG. 4) for calculating plaque baden.
  • the plaque baden is the area ratio of the plaque to the cross section of the blood vessel, and the cross-sectional area of the plaque and the media is divided by the blood vessel cross-sectional area (the area of the region in the EEM (External Elastic Membrane)). It is a value (see FIG. 4).
  • the diagnostic imaging device 2 is an imaging device that captures a medical image of a patient's blood vessel, and is, for example, an IVUS (Intravascular Ultrasound) device that performs an ultrasonic examination using a catheter 201.
  • the catheter 201 is a medical instrument inserted into a patient's blood vessel, and an ultrasonic signal is transmitted from an ultrasonic probe attached to the tip of the catheter 201 and a reflected wave is received.
  • the diagnostic imaging apparatus 2 generates and displays an ultrasonic tomographic image based on the reflected wave received by the catheter 201.
  • the diagnostic imaging apparatus 2 is described as an IVUS apparatus in the present embodiment, it may be an optical imaging apparatus or the like by OCT (Optical Coherence Tomography). Further, the vascular tomographic image may be an image taken by a method other than IVUS and OCT.
  • OCT Optical Coherence Tomography
  • the data of the calculation model 51 generated by the server 1 is installed in the diagnostic imaging apparatus 2, and the diagnostic imaging apparatus 2 inputs the vascular tomographic image captured by the catheter 201 into the calculation model 51 to calculate the plaque baden. do. Then, the diagnostic imaging apparatus 2 presents the calculated plaque baden to the user (medical worker). Further, the diagnostic imaging apparatus 2 identifies the lesion region of the blood vessel based on the calculated plaque baden, and supports the determination of the indwelling position in which the stent (therapeutic device) to be indwelled in the blood vessel is indwelled.
  • the diagnostic imaging apparatus 2 calculates the plaque baden using the calculation model 51, but the server 1 on the cloud may execute the process using the calculation model 51. Further, for example, a general-purpose computer connected to the diagnostic imaging apparatus 2 may perform the processing. As described above, the processing entity that executes a series of processing is not particularly limited.
  • a stent is given as an example of a therapeutic device, but as will be described later, a balloon that dilates a blood vessel, a rotablator that cuts a stenotic lesion of a blood vessel, or the like may be used.
  • FIG. 2 is a block diagram showing a configuration example of the server 1.
  • the server 1 includes a control unit 11, a main storage unit 12, a communication unit 13, and an auxiliary storage unit 14.
  • the control unit 11 has an arithmetic processing unit such as one or a plurality of CPUs (Central Processing Units), MPUs (Micro-Processing Units), GPUs (Graphics Processing Units), and stores the program P1 stored in the auxiliary storage unit 14. By reading and executing, various information processing, control processing, etc. are performed.
  • the main storage unit 12 is a temporary storage area for SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the control unit 11 to execute arithmetic processing.
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • flash memory etc.
  • the communication unit 13 is a communication module for performing processing related to communication, and transmits / receives information to / from the outside.
  • the auxiliary storage unit 14 is a non-volatile storage area such as a large-capacity memory or a hard disk, and stores the program P1 and other data necessary for the control unit 11 to execute processing.
  • the server 1 may be a multi-computer composed of a plurality of computers, or may be a virtual machine virtually constructed by software.
  • the server 1 is not limited to the above configuration, and may include, for example, an input unit that accepts operation input, a display unit that displays an image, and the like. Further, the server 1 includes a reading unit for reading a portable storage medium 1a such as a CD (CompactDisk) -ROM, a DVD (DigitalVersatileDisc) -ROM, and reads and executes a program P1 from the portable storage medium 1a. You can do it. Alternatively, the server 1 may read the program P1 from the semiconductor memory 1b.
  • a portable storage medium 1a such as a CD (CompactDisk) -ROM, a DVD (DigitalVersatileDisc) -ROM
  • FIG. 3 is a block diagram showing a configuration example of the diagnostic imaging apparatus 2.
  • the image diagnosis device 2 includes a control unit 21, a main storage unit 22, a communication unit 23, a display unit 24, an input unit 25, an image processing unit 26, and an auxiliary storage unit 27.
  • the control unit 21 is an arithmetic processing device such as one or a plurality of CPUs, MPUs, GPUs, etc., and performs various information processing, control processing, etc. by reading and executing the program P2 stored in the auxiliary storage unit 27. ..
  • the main storage unit 22 is a temporary storage area such as a RAM, and temporarily stores data necessary for the control unit 21 to execute arithmetic processing.
  • the communication unit 23 is a communication module for performing processing related to communication, and transmits / receives information to / from the outside.
  • the display unit 24 is a display screen such as a liquid crystal display and displays an image.
  • the input unit 25 is an operation interface for a keyboard, a mouse, and the like, and receives operation input from the user.
  • the image processing unit 26 is an image processing module that processes signals transmitted and received via the catheter 201 to generate a tomographic image.
  • the auxiliary storage unit 27 is a non-volatile storage area such as a hard disk and a large-capacity memory, and stores the program P2 and other data necessary for the control unit 21 to execute processing. Further, the auxiliary storage unit 27 stores the calculation model 51.
  • the calculation model 51 is a machine learning model generated by learning predetermined training data, and is a trained model that calculates plaque Baden by inputting a cross-sectional layer image of a blood vessel imaged by the diagnostic imaging apparatus 2. ..
  • the calculation model 51 is expected to be used as a program module constituting a part of artificial intelligence software.
  • the diagnostic imaging apparatus 2 may include a reading unit that reads a portable storage medium 2a such as a CD-ROM, and may read the program P2 from the portable storage medium 2a and execute the program P2. Alternatively, the diagnostic imaging apparatus 2 may read the program P2 from the semiconductor memory 2b.
  • a reading unit that reads a portable storage medium 2a such as a CD-ROM, and may read the program P2 from the portable storage medium 2a and execute the program P2.
  • the diagnostic imaging apparatus 2 may read the program P2 from the semiconductor memory 2b.
  • FIG. 4 is an explanatory diagram regarding the calculation process of plaque baden.
  • FIG. 4 conceptually illustrates how the plaque baden is calculated by inputting each frame of the vascular tomographic image captured by the diagnostic imaging apparatus 2 into the calculation model 51.
  • the calculation model 51 is a machine learning model in which predetermined training data has been trained, and is, for example, a CNN (Convolution Neural Network).
  • the calculation model 51 may be a model that can calculate plaque Baden from a vascular tomographic image, and may be a model based on other learning algorithms such as a neural network other than CNN, a decision tree, and SVM (Support Vector Machine). good.
  • the calculation model 51 has an input layer that accepts an input of an image (tomographic image), an intermediate layer that extracts features of the input image, and an output layer that calculates (outputs) plaque baden.
  • the input layer accepts the input of the image and passes the data of the input image to the intermediate layer.
  • the intermediate layer includes a convolution layer that folds the data of the input image, extracts the feature amount of the input image, and passes it to the output layer. For the output layer, plaque baden is calculated based on the features extracted in the intermediate layer.
  • the process executed by the calculation model 51 is treated as a regression problem, and the plaque baden is predicted by a continuous value.
  • this process is treated as a classification problem, for example, "0 to X1", “X1 to X2", “X2 to X3" ... (0 ⁇ X1 ⁇ X2 ⁇ X3 ). May be predicted (classified).
  • the plaque baden may be classified into a plurality of stages (for example, a red zone, an orange zone, a yellow zone, and so on) without predicting the plaque baden numerically.
  • the server 1 generates a calculation model 51 by using the data to which the correct value of the plaque Baden is given to the vascular tomographic image (cross-sectional layer image) for training as training data (second training data).
  • the tomographic image for training is a vascular tomographic image taken with an actual patient as a subject, and the correct answer value is the actual value of plaque baden in the tomographic image of the patient.
  • the server 1 inputs the tomographic image for training into the calculation model 51, calculates the plaque baden, and compares it with the correct answer value.
  • the server 1 optimizes parameters such as weights between neurons so that the two approximate each other, and generates a calculation model 51.
  • the diagnostic imaging apparatus 2 uses the calculation model 51 generated by the server 1 to calculate the plaque baden in the blood vessel of the patient who performs the catheter treatment. Specifically, the diagnostic imaging apparatus 2 sequentially inputs tomographic images of a plurality of frames captured according to the pullback operation of the catheter 201 into the calculation model 51, and calculates the plaque baden in each frame. As a result, the diagnostic imaging apparatus 2 divides the area of the image region corresponding to the plaque and the media (referred to as “plaque region” in the following description) by the area of the EEM region (the region obtained by adding the lumen region to the plaque region). Calculate the area ratio, that is, plaque baden (see the lower right of FIG. 4).
  • the diagnostic imaging apparatus 2 presents the plaque baden in each frame calculated above, that is, the plaque baden at each position of the blood vessel along the axial direction to the user, and assists in determining the placement position of the stent.
  • FIG. 5 is an explanatory diagram showing a display example of plaque baden.
  • the diagnostic imaging apparatus 2 corresponds to a vertical tomographic image 5 in which a predetermined object (first object) representing the size of the plaque baden at each position of a blood vessel is reconstructed into a cross-layer image of a plurality of frames. indicate.
  • the diagnostic imaging apparatus 2 displays a gradation bar 6 whose display color is gradually changed according to the size of the plaque baden on the upper side of the vertical tomographic image 5.
  • the vertical tomographic image 5 is a vertical cross section that reproduces the state of a blood vessel along the axial direction (traveling direction) of the blood vessel, and is generated from a cross-layer image of a plurality of frames taken according to a pullback motion.
  • the diagnostic imaging apparatus 2 displays the vertical tomographic image 5 with the axial direction of the blood vessel as the horizontal direction.
  • the diagnostic imaging apparatus 2 displays a gradation bar 6 having a length substantially the same as the length of the vertical tomographic image 5 along the axial direction on the upper side of the vertical tomographic image 5.
  • the gradation bar 6 is a bar-shaped object representing the size of the plaque barden, and the display color is changed according to the size of the plaque barden in each position of the corresponding vertical tomographic image 5, that is, the cross-layer image of each frame. It's a bar.
  • the diagnostic imaging apparatus 2 changes the display color at each position of the gradation bar 6 according to the size of the plaque barden at each position on the vertical tomographic image 5.
  • the region where the plaque baden is large (the region above the threshold value) is shown by hatching.
  • the gradation of the display color in the gradation bar 6 is finely set according to the numerical value of the plaque barden, but in FIG. 5, for convenience, the area where the plaque barden is large is shown by the same hatching.
  • the object representing the size of the plaque barden is described as the gradation bar 6, but the object is not limited to the gradation bar 6.
  • the diagnostic imaging apparatus 2 may display a line graph showing the size of the plaque baden on the upper side of the vertical tomographic image 5.
  • the gradation bar 6 is an example of the object, and may be an object that appropriately represents the size of the plaque barden.
  • the diagnostic imaging apparatus 2 sets the display color of the area with many plaques with reference to a predetermined threshold value (for example, 50%) set by default. Specifically, the diagnostic imaging apparatus 2 sets the display color of the region where the plaque baden is above the threshold value to a warm color (for example, orange), and sets the region below the threshold value to the default color (for example, white). Then, the diagnostic imaging apparatus 2 changes the display color (for example, increases the brightness) so that the larger the plaque barden is, the more emphasized the region where the plaque barden is above the threshold value, and the gradation display is performed.
  • a predetermined threshold value for example, 50%
  • the gradation display method for example, it is assumed that the brightness is changed, but the hue, saturation, etc. may be changed, and the specific display method is not particularly limited.
  • the diagnostic imaging apparatus 2 hides a region where the reliability of the plaque barden calculation result in the calculation model 51 is low (hereinafter, referred to as “low reliability region”). Is. In FIG. 5, the low reliability region is shown in black.
  • the diagnostic imaging apparatus 2 calculates the plaque baden in each frame using the calculation model 51, the diagnostic imaging apparatus 2 acquires the reliability of the calculated value (for example, a probability value of 0 to 1) from the calculation model 51 together with the plaque baden in each frame. do.
  • the diagnostic imaging apparatus 2 blanks the area on the corresponding gradation bar 6 as a low reliability area. This makes it possible to present to the user the certainty of the calculation result of plaque baden.
  • the diagnostic imaging apparatus 2 displays the gradation bar 6 together with the vertical tomographic image 5, and quantitatively presents the state of the blood vessel at each position. Further, as shown in FIG. 5, the diagnostic imaging apparatus 2 displays the maximum value, the minimum value, and the average value of the plaque baden. As a result, the user (medical worker) can grasp the state of the blood vessel and determine the treatment range to be treated with a treatment device such as a stent.
  • FIG. 6 is an explanatory diagram showing another example of the display of plaque baden.
  • the warm color is displayed in the area where the plaque barden is equal to or higher than the threshold value, but the area where the plaque baden is less than the threshold value, that is, the area where the plaque is small may also be displayed in gradation.
  • the diagnostic imaging apparatus 2 sets the display color of the area where the plaque baden is above the threshold value to a warm color, and sets the display color of the area where the plaque baden is less than the threshold value to a cold color.
  • the region where the plaque baden is above the threshold value and the region where the plaque baden is below the threshold value are shown by different hatching.
  • the diagnostic imaging apparatus 2 changes the display color (for example, increases the brightness) as the plaque barden becomes smaller, and performs a gradation display.
  • the diagnostic imaging apparatus 2 may present a region having a large number of plaques and requiring treatment, and a region having few plaques and a low need for treatment.
  • the area for displaying the gradation is set to two, but a threshold value may be further set and the area for displaying the gradation may be divided into three or more areas.
  • the user when performing the above-mentioned gradation display, the user may be able to set a threshold value as a display reference.
  • the diagnostic imaging apparatus 2 receives a setting input for changing the threshold value from the default value to an arbitrary value from the user, and according to the set threshold value, the area where the plaque barden is equal to or more than the threshold value and the area where the plaque Baden is less than the threshold value. Judge and change the display color.
  • the user can visualize the area of interest by himself / herself, and can more preferably support the user.
  • FIG. 7 is an explanatory diagram relating to the process of determining the treatment range of blood vessels.
  • the treatment range to be treated with a predetermined treatment device is further presented to the user based on the calculation result of plaque baden.
  • the diagnostic imaging apparatus 2 determines the positions of both ends of the stent to be placed in the blood vessel.
  • vascular treatment such as PCI
  • the stent is basically placed so that both ends of the stent are located at the normal site where plaque does not exist, but if that is difficult, both ends of the stent are located at the site where the plaque baden is less than a predetermined value (for example, 50%). Place the stent so that it is located. If that is also difficult, place the stent so that both ends of the stent are located at the site with the least plaque baden.
  • a predetermined value for example, 50%
  • the plaque baden of all frames is not calculated as described above, but the stenosis is visually identified from the image and the plaque baden of several frames is measured as needed. It is a state. Therefore, in the present embodiment, the range in which both ends of the stent should be located is determined based on the plaque baden calculated by the calculation model 51.
  • a stent is mentioned as an example of a therapeutic device, but the therapeutic device is not limited to the stent.
  • the diagnostic imaging apparatus 2 may determine the positions of both ends of the expansion range to be expanded by the balloon used for expanding the blood vessel. Further, for example, the diagnostic imaging apparatus 2 may determine the positions of both ends of a cutting range to be cut by a rotablator used for cutting a hard lesion (for example, calcified tissue). As described above, the diagnostic imaging apparatus 2 only needs to be able to determine the positions of both ends of the treatment range to be treated by the treatment device inserted into the blood vessel, and the treatment device is not limited to the stent.
  • the diagnostic imaging apparatus 2 divides the vertical tomographic image 5 (longitudinal section) of a blood vessel into a first region in which plaque-baden is above a predetermined threshold and a second region in which plaque-baden is below the threshold.
  • the threshold value is, for example, the same value as the threshold value used as the reference for the above-mentioned gradation display, but may be a different value.
  • the diagnostic imaging apparatus 2 has a first region L1, L2, L3 ... (L: Lesion) in which the plaque baden is equal to or higher than the threshold value and a second region in which the plaque baden is less than the threshold value, based on the plaque baden in each frame calculated by the calculation model 51.
  • the vertical tomographic image 5 is divided into regions H1, H2, H3 ... (H: Healthy).
  • FIG. 7 illustrates a vertical tomographic image 5 in which one first region L1 and two second regions HP1 and HD1 (P: Proximal, D: Distal) are present.
  • the diagnostic imaging apparatus 2 determines the second regions HP1 and HD1 sandwiching the first region L1 as regions where both ends of the stent should be located.
  • the diagnostic imaging apparatus 2 when there is a low reliability region in which the reliability of the plaque baden calculation result is low, a plurality of first regions or second regions straddling the low reliability region are regarded as the same region and grouped. Then, it is suitable. For example, in FIG. 7, there are two low reliability regions in the first region L1. In this case, the diagnostic imaging apparatus 2 determines whether or not the length of each low reliability region in the axial direction of the blood vessel is a predetermined length (for example, 1 mm) or less. When the low reliability region is equal to or less than a predetermined length, the diagnostic imaging apparatus 2 divides a plurality of first regions straddling the low reliability region into the same region. In the example of FIG. 7, since both of the two low-reliability regions have a predetermined length or less, the diagnostic imaging apparatus 2 divides the three regions straddling the low-reliability regions into the same first region L1.
  • a predetermined length for example, 1 mm
  • the diagnostic imaging apparatus 2 divides the plurality of second regions into the same region when there are a plurality of second regions that straddle a low reliability region having a predetermined length or less. As described above, when the length of the low reliability region in the axial direction is equal to or less than the predetermined length, the diagnostic imaging apparatus 2 sets a plurality of first regions or a plurality of second regions straddling the low reliability regions into the same region. Divide as. This makes it possible to suitably determine the placement position of the stent while ensuring reliability.
  • the predetermined length may be variable depending on the user.
  • the diagnostic imaging apparatus 2 accepts a setting input for changing a default value of a predetermined length to an arbitrary value (for example, a length of 0.6 mm, 0.8 mm, 1.2 mm, ... In a predetermined step).
  • the diagnostic imaging apparatus 2 divides each region by determining whether or not the length is equal to or less than the set predetermined length. This allows the user to more preferably determine the placement position of the stent.
  • the diagnostic imaging apparatus 2 may make the threshold value as a reference for region division variable by the user, as in the case of displaying the gradation.
  • the diagnostic imaging apparatus 2 may be able to set different threshold values on the proximal side (Proximal) and the distal side (Distal) of the blood vessel. For example, when 50% is set as the threshold value on the proximal side and 60% is set as the threshold value on the distal side, the diagnostic imaging apparatus 2 first determines the position where the plaque baden is 50% or more when viewed from the left side of FIG. The starting point of the region and the position where the plaque baden is less than 60% are divided as the ending point of the first region. As a result, the user can finely adjust the first region and the second region by himself / herself.
  • FIG. 8 is an explanatory diagram showing an example of displaying the lesion length.
  • the diagnostic imaging apparatus 2 divides the longitudinal tomographic image 5 into the first region L1, L2, L3 ... And the second region H1, H2, H3 ..., And identifies the lesion region L1.
  • the diagnostic imaging apparatus 2 measures the length of the lesion region L1 in the axial direction of the blood vessel, that is, the lesion length, and displays it corresponding to the lesion region L1 in the longitudinal tomographic image 5.
  • the diagnostic imaging apparatus 2 displays the portion corresponding to the lesion region L1 on the gradation bar 6 with an arrow, and also displays the lesion length. This makes it possible to visualize the length of the lesion site.
  • FIG. 9 is an explanatory diagram showing an example of superimposing a stent.
  • the diagnostic imaging apparatus 2 further presents to the user a treatment range to be treated by the treatment device, that is, a range in which the stent should be placed.
  • the diagnostic imaging apparatus 2 superimposes and displays the stent region 7 (second object) representing the size of the stent (therapeutic device) on the longitudinal tomographic image 5.
  • the stent region 7 is an object simulating a stent to be placed in a blood vessel, and is a rectangular object expressing the indwelling range of the stent.
  • the length of the stent region 7 may at least match the length of the actual stent in the axial direction, and the length in the radial direction (length in the vertical direction in FIG. 8) may not match.
  • the shape of the object is rectangular, but for example, when the treatment device is a balloon, the shape of the object may be a punching bag.
  • the diagnostic imaging apparatus 2 may be capable of displaying an object having a shape corresponding to the treatment device.
  • both ends of the stent region 7 are located in the second regions HP1 and HD1 in which the stent region 7 having a length equal to or longer than the lesion length measured above is determined as the region where both ends should be located. Is displayed.
  • the diagnostic imaging apparatus 2 stores information on each stent product in predetermined length increments (for example, 9 mm, 12 mm, 15 mm, etc.) that can be used for the procedure in the auxiliary storage unit 27. The diagnostic imaging apparatus 2 selects from these stents a stent that exceeds the lesion length and has the smallest length.
  • the diagnostic imaging apparatus 2 superimposes and displays the stent region 7 having the selected stent length so that both ends are located in the second regions HP1 and HD1.
  • the user may manually select the stent, determine the overlapping position of the stent region 7, and the like.
  • the diagnostic imaging apparatus 2 superimposes and displays the stent region 7 so that the center position (midpoint) of the lesion region L1 in the axial direction of the blood vessel coincides with the center position of the stent region 7.
  • a downward arrow is displayed at a position corresponding to both ends of the stent, and a bidirectional arrow is displayed at a portion exceeding the first region L1.
  • the diagnostic imaging apparatus 2 moves the stent region 7 according to an operation input (for example, mouse operation) from the user, and causes the user to determine the optimum stent placement position.
  • the diagnostic imaging apparatus 2 displays a transverse layer image at a position corresponding to both ends of the stent region 7, as shown in FIG. This allows the user to search for the optimal stent placement position while moving the stent region 7.
  • the stent region 7 is superimposed and displayed on the vertical tomographic image 5, but the diagnostic imaging apparatus 2 displays the stent region 7 at a location other than the vertical tomographic image 5 (for example, above the gradation bar 6 or inside the gradation bar 6). It may be displayed in. As described above, the diagnostic imaging apparatus 2 may display an object simulating the treatment device, and its display position is not limited to the vertical tomographic image 5.
  • FIG. 10 is a flowchart showing the procedure of the generation process of the calculation model 51. Based on FIG. 10, the processing contents when the calculation model 51 is generated by machine learning will be described.
  • the control unit 11 of the server 1 acquires training data (second training data) for generating the calculation model 51 (step S11).
  • the training data is data in which the correct value of plaque Baden is associated with the cross-sectional layer image of the blood vessel for training.
  • the control unit 11 Based on the training data, the control unit 11 generates a calculation model 51 that calculates a plaque baden when a cross-sectional layer image of a blood vessel is input (step S12). Specifically, as described above, the control unit 11 generates a neural network such as a CNN as a calculation model 51. The control unit 11 inputs the vascular tomographic image for training into the calculation model 51, calculates the plaque baden, and compares it with the correct answer value. The control unit 11 optimizes parameters such as weights between neurons so that the calculated plaque Baden approximates the correct answer value, and generates a calculation model 51. The control unit 11 ends a series of processes.
  • a neural network such as a CNN
  • the control unit 11 inputs the vascular tomographic image for training into the calculation model 51, calculates the plaque baden, and compares it with the correct answer value.
  • the control unit 11 optimizes parameters such as weights between neurons so that the calculated plaque Baden approximates the correct answer value, and generates a calculation model 51.
  • FIG. 11 is a flowchart showing the procedure of the plaque Baden calculation process.
  • the processing contents executed by the diagnostic imaging apparatus 2 will be described with reference to FIG.
  • the control unit 21 of the diagnostic imaging apparatus 2 acquires a cross-sectional layer image of a plurality of frames in which a patient's blood vessel is imaged (step S31).
  • the control unit 21 inputs the transverse layer image of each frame into the calculation model 51, and calculates the plaque baden in each frame (step S32). Specifically, the control unit 21 acquires the plaque baden in each frame and the reliability of the calculated value from the calculation model 51.
  • the control unit 21 specifies the blood vessel position (frame) at which the plaque baden takes the maximum value (step S33). Further, the control unit 21 specifies a low reliability region in which the reliability of the plaque baden is equal to or less than a predetermined value in the axial direction of the blood vessel (step S34). Further, the control unit 21 accepts the threshold setting input (step S35). The control unit 21 may skip step S35 and set a default threshold value.
  • the control unit 21 generates (reconstructs) a vertical tomographic image of a blood vessel based on the cross-layer image of a plurality of frames acquired in step S31 (step S36).
  • the control unit 21 displays the generated vertical tomographic image and an object (first object) representing the size of the plaque baden at each position of the vertical tomographic image along the axial direction of the blood vessel (step S37).
  • the control unit 21 displays a gradation bar whose display color is gradually changed according to the size of the plaque barden. In this case, the control unit 21 displays a gradation bar in which the low reliability region is hidden.
  • the control unit 21 Based on the plaque baden at each position (frame) of the blood vessel, the control unit 21 sets the vertical tomographic image (longitudinal section) of the blood vessel as the first region where the plaque baden is above the threshold value and the second region where the plaque baden is below the threshold value. (Step S38). Specifically, the control unit 21 divides the vertical tomographic image into a plurality of regions according to whether or not the plaque barden is equal to or higher than the threshold value, and when the length of the low reliability region is equal to or less than a predetermined length, the control unit 21 divides the vertical tomographic image into a plurality of regions. , A plurality of first regions or second regions straddling the low reliability region are divided as the same region.
  • the control unit 21 identifies the first region including the maximum value of plaque baden as a lesion region (step S39). Then, the control unit 21 determines the region where both ends of the treatment range to be treated by the treatment device should be located according to the identified lesion region (step S40). Specifically, the control unit 21 determines the second region located on both sides of the lesion region as the region where both ends of the stent to be placed in the blood vessel should be located.
  • the control unit 21 measures the length of the lesion region specified in step S39 in the axial direction, that is, the lesion length, and displays it corresponding to the lesion region of the longitudinal tomographic image (step S41). Further, the control unit 21 displays an object (second object) expressing the size of the treatment device corresponding to the vertical tomographic image (step S42). For example, as described above, the control unit 21 superimposes and displays the stent region expressing the length of the stent in the axial direction of the blood vessel on the vertical tomographic image so that both ends are located in the region determined in step S40. The control unit 21 ends a series of processes.
  • the plaque barden at each position of the blood vessel is calculated from the cross-sectional layer image of a plurality of frames obtained by imaging the blood vessel of the patient, and an object such as a gradation bar representing the size of the calculated plaque barden is obtained. Displayed in correspondence with the vertical tomographic image. This makes it possible to suitably support diagnostic imaging related to vascular treatment, such as determination of a stent placement position.
  • the certainty of the plaque baden calculation result can be presented to the user.
  • the length of the lesion region (lesion length), the indwelling range of the stent (stent region), and the like, it is possible to more preferably support the diagnostic imaging.
  • the vertical cross section (longitudinal tomographic image) of the blood vessel is divided into a plurality of regions according to the plaque baden, and both ends of the treatment range of the blood vessel by a therapeutic device such as a stent should be located. To determine. Thereby, it is possible to more preferably support the image diagnosis related to the vascular treatment such as the determination of the placement position of the stent.
  • a plurality of regions (first region or second region) straddling the low reliability region are regarded as the same region. To divide. This makes it possible to suitably determine the placement position of the stent and the like while ensuring reliability.
  • the first region where the plaque baden has the maximum value is specified as the lesion region.
  • the lesion area does not have to be the area where the plaque baden has the maximum value.
  • FIG. 12 is an explanatory diagram relating to the specific processing of the lesion region according to the modified example 1.
  • the lesion area is specified first, and then the area where both ends of the stent should be located is determined. However, the area where both ends of the stent should be located is determined first, and then the lesion area is specified. May be good.
  • the diagnostic imaging apparatus 2 divides the vertical tomographic image 5 into a first region L1, L2, L3 ... And a second region H1, H2, H3 ..., And then sandwiches the first region Lx into two second regions. Search for regions Hy and Hz. When two second regions Hy and Hz sandwiching the first region Lx are searched, the diagnostic imaging apparatus 2 identifies the first region Lx in which the two second regions Hy and Hz are located on both sides as the lesion region Lx. .. Then, the diagnostic imaging apparatus 2 measures the length (lesion length) of the lesion region Lx, and superimposes and displays the stent region 7.
  • the diagnostic imaging apparatus 2 may determine the region in which the stent should be placed from the positional relationship between the first region and the second region.
  • the determination method described in the first embodiment is an example, and various methods are assumed.
  • Embodiment 2 In the first embodiment, a mode in which the calculation model 51 directly calculates the plaque baden has been described. In this embodiment, a mode is described in which a plaque region is identified from a vascular tomographic image (transverse layer image) using another machine learning model and plaque baden is indirectly calculated.
  • the contents overlapping with the first embodiment are designated by the same reference numerals and the description thereof will be omitted.
  • FIG. 13 is a block diagram showing a configuration example of the diagnostic imaging apparatus 2 according to the second embodiment.
  • the auxiliary storage unit 27 of the diagnostic imaging apparatus 2 according to the present embodiment stores the discriminative model 52.
  • the discriminative model 52 is a machine learning model generated by learning predetermined training data, like the calculation model 51 according to the first embodiment, and identifies the plaque region in the tomographic image by inputting the vascular tomographic image. It is a trained model to do.
  • the discriminative model 52 is expected to be used as a program module constituting a part of artificial intelligence software.
  • FIG. 14 is an explanatory diagram relating to the calculation process of plaque baden according to the second embodiment.
  • the identification model 52 is used to identify the image region corresponding to the plaque and the media (referred to as “plaque region” in the following description) from the transverse layer image of the blood vessel, and the plaque baden is identified from the area of the identified plaque region.
  • plaque region the media
  • the state of calculating is conceptually illustrated. An outline of the present embodiment will be described with reference to FIG.
  • the discriminative model 52 is a machine learning model in which predetermined training data has been trained, and is, for example, a neural network generated by deep learning.
  • the discriminative model 52 will be described as being a semantic segmentation model which is a kind of CNN.
  • the semantic segmentation model is a neural network that identifies objects in an image on a pixel-by-pixel basis. And prepare. In the deconvolution layer, which object exists in which position in the image is identified based on the feature amount extracted by the convolution layer, and data obtained by binarizing which object each pixel corresponds to is generated.
  • the server 1 generates the discriminative model 52 using the training data (first training data) in which the data indicating the correct plaque region is associated with the tomographic image for training.
  • the server 1 inputs a tomographic image for training into the identification model 52 to identify the plaque region, and optimizes parameters such as weights between neurons so that the identified plaque region approximates the correct plaque region.
  • the diagnostic imaging apparatus 2 identifies the plaque region using the identification model 52 generated by the server 1.
  • the discriminative model 52 is described as a semantic segmentation model in the present embodiment, it may be a model based on a neural network other than the semantic segmentation model, a GAN (Generative Adversarial Network), or another learning algorithm.
  • GAN Geneative Adversarial Network
  • the server 1 generates a discriminative model 52 that can identify a region other than the plaque region by learning the training data to which the correct answer data of the region other than the plaque region (for example, EEM region, lumen region, etc.) is given. You may. That is, the discriminative model 52 may be able to discriminate at least the plaque region, and may be able to discriminate other image regions as well.
  • a discriminative model 52 that can identify a region other than the plaque region by learning the training data to which the correct answer data of the region other than the plaque region (for example, EEM region, lumen region, etc.) is given. You may. That is, the discriminative model 52 may be able to discriminate at least the plaque region, and may be able to discriminate other image regions as well.
  • the diagnostic imaging apparatus 2 sequentially inputs a tomographic image of each frame into the identification model 52 and identifies the plaque region in each frame. Then, the diagnostic imaging apparatus 2 calculates the plaque baden based on the identification result of the plaque region. That is, the diagnostic imaging apparatus 2 calculates the area of the plaque region and the area of the entire blood vessel including the plaque region, and calculates the plaque baden.
  • the configuration in which the machine learning model directly calculates the plaque baden is not essential, and the plaque baden may be calculated indirectly from the prediction result in the machine learning model.
  • FIG. 15 is a flowchart showing the procedure of the generation process of the discriminative model 52. Based on FIG. 15, the processing content when generating the discriminative model 52 by machine learning will be described.
  • the control unit 11 of the server 1 acquires training data (first training data) for generating the discriminative model 52 (step S201).
  • the training data is data in which data indicating the correct plaque region is associated with the cross-sectional layer image of the blood vessel for training.
  • the control unit 11 Based on the training data, the control unit 11 generates an identification model 52 that identifies the plaque region when a cross-layer image of a blood vessel is input (step S202). Specifically, as described above, the control unit 11 generates the CNN related to semantic segmentation as the discriminative model 52. The control unit 11 inputs a cross-sectional layer image for training into the identification model 52, identifies the plaque region, and compares it with the correct plaque region. The control unit 11 optimizes parameters such as weights between neurons so that the two are close to each other, and generates a discriminative model 52. The control unit 11 ends a series of processes.
  • FIG. 16 is a flowchart showing a procedure for calculating the plaque baden according to the second embodiment.
  • the diagnostic imaging apparatus 2 After acquiring the cross-sectional layer image of a plurality of frames in which the blood vessel of the patient is imaged (step S31), the diagnostic imaging apparatus 2 performs the following processing.
  • the control unit 21 of the diagnostic imaging apparatus 2 inputs a transverse layer image of each frame into the identification model 52 and identifies the plaque region in each frame (step S221). Then, the control unit 21 calculates the plaque baden in each frame based on the identification result (step S222).
  • the control unit 21 shifts the process to step S31.
  • the plaque baden can be calculated by using the discrimination result in the discrimination model 52 that discriminates the plaque region from the cross-layer image of the blood vessel.
  • FIG. 17 is an explanatory diagram relating to the generation process of the calculation model 51 according to the modification 2.
  • FIG. 17 conceptually illustrates how transfer learning is performed by applying a part of the network structure and parameters of the discriminative model 52 (semantic segmentation model) to the calculation model 51 (CNN).
  • the server 1 will be described assuming that the discriminative model 52 has already been generated.
  • the server 1 learns by setting parameters such as weights obtained by generating (learning) the discrimination model 52 as initial values in the calculation model 51 having a network structure similar to that of a part of the network structure of the discrimination model 52. conduct.
  • the calculation model 51 has a structure in which an input layer similar to the discrimination model 52 and a part of an intermediate layer (convolution layer) corresponding to the decoder portion of the discrimination model 52 are connected to an output layer for plaque Baden calculation. ..
  • the server 1 sets the parameters obtained in the training of the discriminative model 52 to the initial values of the parameters of the intermediate layer, and gives training data (first training data) to perform training.
  • the server 1 inputs a tomographic image for training, calculates a plaque baden, compares it with the correct answer value, and optimizes the parameters so that the two are close to each other. By performing the transfer learning in this way, the amount of data and the learning time learned by the calculation model 51 can be suppressed.
  • FIG. 18 is a flowchart showing the procedure of the generation process of the calculation model 51 according to the modification 2. After acquiring the training data (first training data) for generating the calculation model 51 (step S11), the server 1 executes the following processing. It should be noted that the server 1 will be described assuming that the discriminative model 52 has already been generated.
  • the control unit 11 of the server 1 generates the calculation model 51 based on the parameters obtained by generating the discrimination model 52 and the training data (step S301). Specifically, as described above, the control unit 11 performs learning after setting parameters such as weights obtained in the learning of the discriminative model 52 to the initial values of the parameters of the calculation model 51.
  • the control unit 11 inputs a tomographic image for training into the calculation model 51, calculates the plaque baden, compares it with the correct answer value, and optimizes the parameters so that the two are close to each other.
  • the control unit 11 ends a series of processes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

情報処理装置は、患者の血管を撮像した複数フレームの横断層像を取得する取得部と、前記複数フレームの横断層像に基づき、前記血管の軸方向に沿った前記血管の各位置におけるプラークバーデンを算出する算出部と、前記血管の縦断面を、前記プラークバーデンが閾値以上の第１領域と、前記プラークバーデンが閾値未満の第２領域とに分割する分割部と、分割した各領域から、所定の治療デバイスによる前記血管の処置範囲の両端が位置すべき領域を決定する決定部とを備える。

Description

情報処理装置、情報処理方法、プログラム及びモデル生成方法
　本発明は、情報処理装置、情報処理方法、プログラム及びモデル生成方法に関する。
　ＰＣＩ（Percutaneous Coronary Intervention；経皮的冠動脈形成術）等の血管治療に係る画像診断を支援する技術がある。例えば特許文献１では、３次元ＣＴ（Computer Tomography）データを２次元の投影画像に変換する医用画像処理装置であって、３次元ＣＴデータから血管のプラーク領域を抽出し、血管の狭窄率を算出して、算出した狭窄率等に応じてプラーク領域のカラー値を定めた投影画像を表示する医用画像処理装置が開示されている。
特開２０１２－１７６２８２号公報
　しかしながら、特許文献１に係る発明は、３次元ＣＴ値からルールベースでプラーク領域を抽出するものであり、必ずしも精度良くプラーク領域を抽出して狭窄率を算出できるものではない。また、特許文献１に係る発明は３次元のＣＴデータを必要としており、２次元のデータ（画像）から狭窄率等を算出するものではない。
　一つの側面では、血管治療に係る画像診断を好適に支援することができる情報処理装置等を提供することを目的とする。
　一つの側面に係る情報処理装置は、患者の血管を撮像した複数フレームの横断層像を取得する取得部と、前記複数フレームの横断層像に基づき、前記血管の軸方向に沿った前記血管の各位置におけるプラークバーデンを算出する算出部と、前記血管の縦断面を、前記プラークバーデンが閾値以上の第１領域と、前記プラークバーデンが閾値未満の第２領域とに分割する分割部と、分割した各領域から、所定の治療デバイスによる前記血管の処置範囲の両端が位置すべき領域を決定する決定部とを備える。
　一つの側面では、血管治療に係る画像診断を好適に支援することができる。
画像診断システムの構成例を示す説明図である。 サーバの構成例を示すブロック図である。 画像診断装置の構成例を示すブロック図である。 プラークバーデンの算出処理に関する説明図である。 プラークバーデンの表示例を示す説明図である。 プラークバーデンの表示の他例を示す説明図である。 血管の処置範囲の決定処理に関する説明図である。 病変長の表示例を示す説明図である。 ステントの重畳表示例を示す説明図である。 算出モデルの生成処理の手順を示すフローチャートである。 プラークバーデン算出処理の手順を示すフローチャートである。 変形例１に係る病変領域の特定処理に関する説明図である。 実施の形態２に係る画像診断装置の構成例を示すブロック図である。 実施の形態２に係るプラークバーデンの算出処理に関する説明図である。 識別モデルの生成処理の手順を示すフローチャートである。 実施の形態２に係るプラークバーデンの算出処理の手順を示すフローチャートである。 変形例２に係る算出モデルの生成処理に関する説明図である。 変形例２に係る算出モデルの生成処理の手順を示すフローチャートである。
　以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
　図１は、画像診断システムの構成例を示す説明図である。本実施の形態では、患者の血管を撮像した横断層像からプラークバーデン（Plaque Burden）を算出し、所定の治療デバイスを用いた血管治療を支援する画像診断システムについて説明する。画像診断装置２は、サーバ１、画像診断装置（情報処理装置）２を含む。各装置は、インターネット等のネットワークＮを介して通信接続されている。
　サーバ１は、種々の情報処理、情報の送受信が可能なサーバコンピュータである。なお、サーバ１に相当する装置は、パーソナルコンピュータ等の装置であってもよい。サーバ１は、所定の訓練データを学習する機械学習を行い、患者の血管断層像を入力として、プラークバーデンを算出する算出モデル５１（図４参照）を生成する生成装置として機能する。
　なお、プラークバーデンは、血管の横断面に占めるプラークの面積比率であり、プラーク及び中膜の断面積を血管断面積（ＥＥＭ（External Elastic Membrane；外弾性板）内の領域の面積）で除算した値である（図４参照）。
　画像診断装置２は、患者の血管をイメージングした医用画像を撮像する撮像装置であり、例えばカテーテル２０１を用いた超音波検査を行うＩＶＵＳ（Intravascular Ultrasound）装置である。カテーテル２０１は患者の血管内に挿入される医用器具であり、カテーテル２０１の先端に装着された超音波プローブから超音波信号を送信すると共に、反射波を受信する。画像診断装置２は、カテーテル２０１で受信した反射波に基づいて超音波断層像を生成し、表示する。
　なお、本実施の形態では画像診断装置２がＩＶＵＳ装置であるものとして説明するが、ＯＣＴ（Optical Coherence Tomography；光干渉断層撮影法）による光学式の撮像装置等であってもよい。また、血管断層像はＩＶＵＳ、ＯＣＴ以外の手法で撮像されたものであってもよい。
　画像診断装置２にはサーバ１が生成した算出モデル５１のデータがインストールされており、画像診断装置２は、カテーテル２０１を用いて撮像した血管断層像を算出モデル５１に入力し、プラークバーデンを算出する。そして画像診断装置２は、算出したプラークバーデンをユーザ（医療従事者）に提示する。また、画像診断装置２は、算出したプラークバーデンを元に血管の病変領域を特定し、血管に留置するステント（治療デバイス）を留置する留置位置の決定を支援する。
　なお、本実施の形態では画像診断装置２が算出モデル５１を用いてプラークバーデンを算出するものとするが、クラウド上のサーバ１が算出モデル５１を用いた処理を実行するようにしてもよい。また、例えば画像診断装置２に接続された汎用コンピュータが処理を行うようにしてもよい。このように、一連の処理を実行する処理主体は特に限定されない。
　また、本実施の形態では治療デバイスの一例としてステントを挙げるが、後述するように、血管を拡張するバルーン、血管の狭窄病変を削るロータブレータ等であってもよい。
　図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
　制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ１、その他のデータを記憶している。
　なお、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
　また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰ１を読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰ１を読み込んでも良い。
　図３は、画像診断装置２の構成例を示すブロック図である。画像診断装置２は、制御部２１、主記憶部２２、通信部２３、表示部２４、入力部２５、画像処理部２６、及び補助記憶部２７を備える。
　制御部２１は、一又は複数のＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置であり、補助記憶部２７に記憶されたプログラムＰ２を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部２２は、ＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。通信部２３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部２４は、液晶ディスプレイ等の表示画面であり、画像を表示する。入力部２５は、キーボード、マウス等の操作インターフェイスであり、ユーザから操作入力を受け付ける。画像処理部２６は、カテーテル２０１を介して送受信する信号を処理し、断層像を生成する画像処理モジュールである。
　補助記憶部２７は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラムＰ２、その他のデータを記憶している。また、補助記憶部２７は、算出モデル５１を記憶している。算出モデル５１は、所定の訓練データを学習することで生成された機械学習モデルであり、画像診断装置２で撮像される血管の横断層像を入力として、プラークバーデンを算出する学習済みモデルである。算出モデル５１は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。
　なお、画像診断装置２は、ＣＤ－ＲＯＭ等の可搬型記憶媒体２ａを読み取る読取部を備え、可搬型記憶媒体２ａからプログラムＰ２を読み取って実行するようにしても良い。あるいは画像診断装置２は、半導体メモリ２ｂからプログラムＰ２を読み込んでも良い。
　図４は、プラークバーデンの算出処理に関する説明図である。図４では、画像診断装置２で撮像された血管断層像の各フレームを算出モデル５１に入力して、プラークバーデンを算出する様子を概念的に図示している。
　算出モデル５１は、所定の訓練データを学習済みの機械学習モデルであり、例えばＣＮＮ（Convolution Neural Network）である。なお、算出モデル５１は血管断層像からプラークバーデンを算出可能なモデルであればよく、ＣＮＮ以外のニューラルネットワーク、決定木、ＳＶＭ（Support Vector Machine）など、他の学習アルゴリズムに基づくモデルであってもよい。
　算出モデル５１は、画像（断層像）の入力を受け付ける入力層と、入力画像の特徴量を抽出する中間層と、プラークバーデンを算出（出力）する出力層とを有する。入力層は画像の入力を受け付け、入力画像のデータを中間層に受け渡す。中間層は、入力画像のデータを畳み込む畳み込み層を備え、入力画像の特徴量を抽出して出力層に受け渡す。出力層は、中間層で抽出した特徴量に基づきプラークバーデンを算出する。
　本実施の形態では算出モデル５１が実行する処理を回帰問題として取り扱い、プラークバーデンを連続値で予測する。なお、本処理を分類問題として取り扱い、例えば「０～Ｘ１」、「Ｘ１～Ｘ２」、「Ｘ２～Ｘ３」…（０＜Ｘ１＜Ｘ２＜Ｘ３…）というように、一定の数値範囲でプラークバーデンを予測（分類）するようにしてもよい。あるいは、プラークバーデンを数値で予測することなく、複数段階にクラス分け（例えばレッドゾーン、オレンジゾーン、イエローゾーン…にクラス分け）してもよい。
　サーバ１は、訓練用の血管断層像（横断層像）に対し、プラークバーデンの正解値が付与されたデータを訓練データ（第２訓練データ）として用い、算出モデル５１を生成する。訓練用の断層像は実際の患者を被写体として撮像された血管断層像であり、正解値は当該患者の断層像におけるプラークバーデンの実績値である。サーバ１は、訓練用の断層像を算出モデル５１に入力してプラークバーデンを算出し、正解値と比較する。サーバ１は、両者が近似するようにニューロン間の重み等のパラメータを最適化し、算出モデル５１を生成する。
　画像診断装置２は、サーバ１が生成した算出モデル５１を利用して、カテーテル治療を実施する患者の血管におけるプラークバーデンを算出する。具体的には、画像診断装置２は、カテーテル２０１のプルバック動作に応じて撮像した複数フレームの断層像を算出モデル５１に順次入力し、各フレームにおけるプラークバーデンを算出する。これにより画像診断装置２は、プラーク及び中膜に対応する画像領域（以下の説明では「プラーク領域」と呼ぶ）の面積をＥＥＭ領域（プラーク領域に内腔領域を加えた領域）の面積で除算した面積比率、すなわちプラークバーデンを算出する（図４右下参照）。
　画像診断装置２は、上記で算出した各フレームにおけるプラークバーデン、すなわち軸方向に沿った血管の各位置におけるプラークバーデンをユーザに提示し、ステントの留置位置決定を支援する。
　図５は、プラークバーデンの表示例を示す説明図である。本実施の形態において画像診断装置２は、血管の各位置におけるプラークバーデンの大小を表す所定のオブジェクト（第１オブジェクト）を、複数フレームの横断層像を再構成した縦断層像５に対応して表示する。具体的には図５に示すように、画像診断装置２は、プラークバーデンの大小に応じて表示色を徐々に変化させたグラデーションバー６を縦断層像５の上側に表示する。
　縦断層像５は、血管の軸方向（走行方向）に沿って血管の様子を再現した縦断面であり、プルバック動作に応じて撮像された複数フレームの横断層像から生成される。例えば図５に示すように、画像診断装置２は、血管の軸方向を横方向として縦断層像５を表示する。
　画像診断装置２は、縦断層像５の上側に、軸方向に沿った縦断層像５の長さとほぼ同じ長さのグラデーションバー６を表示する。グラデーションバー６は、プラークバーデンの大小を表す棒状のオブジェクトであり、対応する縦断層像５の各位置、すなわち各フレームの横断層像におけるプラークバーデンの大小に応じて、表示色を変化させた表示バーである。画像診断装置２は、縦断層像５上の各位置におけるプラークバーデンの大小に応じて、グラデーションバー６の各位置における表示色を変化させる。
　なお、図５では便宜上、プラークバーデンが大きい領域（閾値以上の領域）をハッチングで図示してある。また、実際は下記の通り、プラークバーデンの数値に応じてグラデーションバー６内の表示色のグラデーションは細かく設定されるが、図５では便宜上、プラークバーデンが大きい領域を同じハッチングで図示してある。
　また、本実施の形態ではプラークバーデンの大小を表すオブジェクトがグラデーションバー６であるものとして説明するが、当該オブジェクトはグラデーションバー６に限定されない。例えば画像診断装置２は縦断層像５の上側に、プラークバーデンの大小を表す折れ線グラフを表示する等してもよい。このように、グラデーションバー６は当該オブジェクトの一例であって、プラークバーデンの大小を適切に表すオブジェクトであればよい。
　例えば画像診断装置２は、デフォルトで設定されている所定の閾値（例えば５０％）を参照して、プラークが多い領域の表示色を設定する。具体的には、画像診断装置２は、プラークバーデンが閾値以上の領域の表示色を暖色（例えばオレンジ）に設定し、閾値未満の領域はデフォルトの色（例えば白）に設定する。そして画像診断装置２は、プラークバーデンが閾値以上の領域について、プラークバーデンが大きいほど強調されるように表示色を変化（例えば明度を上げる）させ、グラデーション表示を行う。
　なお、グラデーション表示の手法としては、例えば明度を変化させることが想定されるが、色相、彩度等を変化させてもよく、具体的な表示手法は特に問わない。
　上述の如くグラデーションバー６を表示する場合、画像診断装置２は、算出モデル５１におけるプラークバーデンの算出結果の信頼度が低い領域（以下、「低信頼度領域」と呼ぶ）を非表示とすると好適である。図５では、低信頼度領域を黒塗りで図示してある。画像診断装置２は、算出モデル５１を用いて各フレームにおけるプラークバーデンを算出する場合に、各フレームにおけるプラークバーデンと共に、算出値の信頼度（例えば０～１の確率値）を算出モデル５１から取得する。画像診断装置２は、血管の各位置（フレーム）における信頼度が所定値以下の場合、すなわち信頼度が低い場合に、対応するグラデーションバー６上の領域を低信頼度領域として空白にする。これにより、プラークバーデンの算出結果の確からしさをユーザに提示することができる。
　このように、画像診断装置２は、縦断層像５と共にグラデーションバー６を表示し、各位置における血管の状態を定量的に提示する。また、図５に示すように、画像診断装置２は、プラークバーデンの最大値、最小値、及び平均値を表示する。これにより、ユーザ（医療従事者）は血管の状態を把握し、ステント等の治療デバイスで処置すべき治療範囲を決定することができる。
　図６は、プラークバーデンの表示の他例を示す説明図である。図５の表示例ではプラークバーデンが閾値以上の領域について暖色を表示するものとして説明したが、プラークバーデンが閾値未満の領域、すなわちプラークが少ない領域についてもグラデーション表示を行ってもよい。
　例えば画像診断装置２は、プラークバーデンが閾値以上の領域の表示色を暖色に設定すると共に、プラークバーデンが閾値未満の領域の表示色を寒色に設定する。なお、図６では、プラークバーデンが閾値以上の領域と閾値未満の領域とを異なるハッチングで図示してある。画像診断装置２はプラークバーデンが閾値以上の領域と同様に、プラークバーデンが小さいほど表示色を変化（例えば明度を上げる）させ、グラデーション表示を行う。このように、画像診断装置２は、プラークが多く、処置が必要となり得る領域を提示すると共に、プラークが少なく、処置の必要性が低い領域を提示してもよい。
　なお、図６の例ではグラデーション表示する領域を２つにしたが、さらに閾値を設け、３つ以上の領域に分けてグラデーション表示を行ってもよい。
　また、上述のグラデーション表示を行う際に、表示基準とする閾値をユーザが設定可能としてもよい。具体的には、画像診断装置２は、閾値をデフォルト値から任意の値に変更する設定入力をユーザから受け付け、設定された閾値に応じてプラークバーデンが閾値以上の領域と閾値未満の領域とを判定し、表示色を変化させる。これにより、ユーザが自ら関心領域を可視化することができ、ユーザをより好適に支援することができる。
　図７は、血管の処置範囲の決定処理に関する説明図である。本実施の形態ではさらに、プラークバーデンの算出結果に基づき、所定の治療デバイスで処置すべき処置範囲をユーザに提示する。
　具体的には、画像診断装置２は、血管に留置するステントの両端の位置を決定する。ＰＣＩ等の血管治療を行う場合、病変を残さずカバーできるようにステントを留置することが好ましいが、実際にはプラークが連続して存在しているため、病変を残さずカバーすることは難しい。例えば、基本的にはプラークが存在しない正常部位にステントの両端が位置するようにステントを留置するが、それが困難な場合、プラークバーデンが所定値（例えば５０％）以下の部位にステントの両端が位置するようにステントを留置する。それも困難な場合、プラークバーデンが最も少ない部位にステントの両端が位置するようにステントを留置する。
　現状では、上述のように全フレームのプラークバーデンを算出するようなことは為されておらず、画像から目視で狭窄部を特定し、必要に応じて数フレーム分のプラークバーデンを計測している状態である。そこで本実施の形態では、算出モデル５１で算出したプラークバーデンを元に、ステントの両端が位置すべき範囲を決定する。
　なお、本実施の形態では治療デバイスの一例としてステントを挙げるが、治療デバイスはステントに限定されるものではない。例えば画像診断装置２は、血管を拡張するために用いるバルーンで拡張すべき拡張範囲の両端位置を決定してもよい。また、例えば画像診断装置２は、硬質病変（例えば石灰化組織）を切削するために用いるロータブレータで切削すべき切削範囲の両端位置を決定してもよい。このように、画像診断装置２は、血管に挿入される治療デバイスで処置すべき処置範囲の両端位置を決定可能であればよく、治療デバイスはステントに限定されない。
　まず画像診断装置２は、血管の縦断層像５（縦断面）を、プラークバーデンが所定の閾値以上の第１領域と、プラークバーデンが閾値未満の第２領域とに分割する。当該閾値は、例えば上述のグラデーション表示の基準とした閾値と同じ値であるが、異なる値であってもよい。画像診断装置２は、算出モデル５１で算出した各フレームにおけるプラークバーデンに基づき、プラークバーデンが閾値以上の第１領域Ｌ１、Ｌ２、Ｌ３…（Ｌ：Lesion）と、プラークバーデンが閾値未満の第２領域Ｈ１、Ｈ２、Ｈ３…（Ｈ：Healthy）とに縦断層像５を分割する。
　本実施の形態で画像診断装置２は、プラークバーデンが最大値を取る位置（フレーム）を含む第１領域ＬＸ（Ｘ＝１、２、３…）を、ステントを留置すべき病変領域ＬＸとして特定する。そして画像診断装置２は、特定した病変領域ＬＸの両側に位置する２つの第２領域ＨＹ、ＨＺ（Ｙ、Ｚ＝１、２、３…）を、ステントの両端が位置すべき領域に決定する。
　図７では、１つの第１領域Ｌ１と、２つの第２領域ＨＰ１、ＨＤ１（Ｐ：Proximal、Ｄ：Distal）とが存在する縦断層像５を図示している。第１領域Ｌ１においてプラークバーデンが最大値を取る場合、画像診断装置２は、第１領域Ｌ１を挟む第２領域ＨＰ１、ＨＤ１を、ステントの両端が位置すべき領域に決定する。
　なお、例えば画像診断装置２は、プラークバーデンの算出結果の信頼度が低い低信頼度領域が存在する場合、低信頼度領域を跨る複数の第１領域又は第２領域を同じ領域と見なしてグルーピングすると好適である。例えば図７では、第１領域Ｌ１に２つの低信頼度領域が存在する。この場合、画像診断装置２は、血管の軸方向における各低信頼度領域の長さが所定長（例えば１ｍｍ）以下であるか否かを判定する。低信頼度領域が所定長以下である場合、画像診断装置２は、低信頼度領域を跨る複数の第１領域を同一領域として分割する。図７の例では、２つの低信頼度領域が共に所定長以下であるため、画像診断装置２は、低信頼度領域を跨ぐ３つの領域を同じ第１領域Ｌ１に分割する。
　第２領域についても同様に、画像診断装置２は、所定長以下の低信頼度領域を跨る複数の第２領域が存在する場合、当該複数の第２領域を同一領域として分割する。このように、画像診断装置２は、軸方向における低信頼度領域の長さが所定長以下である場合、当該低信頼度領域を跨る複数の第１領域、又は複数の第２領域を同一領域として分割する。これにより、信頼性を担保しつつ、ステントの留置位置を好適に決定することができる。
　なお、上記所定長はユーザによって可変としてもよい。例えば画像診断装置２は、所定長のデフォルト値を任意の値（例えば０．６ｍｍ、０．８ｍｍ、１．２ｍｍ…の所定刻みの長さ）に変更する設定入力を受け付ける。画像診断装置２は、設定された所定長以下であるか否かを判定することで、各領域を分割する。これにより、ユーザはより好適にステントの留置位置を決定することができる。
　また、画像診断装置２はグラデーション表示時と同様に、領域分割の基準とする閾値をユーザによって可変としてもよい。この場合、画像診断装置２は、血管の近位側（Proximal）と遠位側（Distal）とで、異なる閾値を設定可能としてもよい。例えば近位側の閾値として５０％、遠位側の閾値として６０％が設定された場合、画像診断装置２は、図７の左側から見てプラークバーデンが５０％以上となった位置を第１領域の始点とし、プラークバーデンが６０％未満となる位置を第１領域の終点として分割する。これにより、ユーザは自ら第１領域及び第２領域を細かく調整することができる。
　図８は、病変長の表示例を示す説明図である。上述の如く、画像診断装置２は、縦断層像５を第１領域Ｌ１、Ｌ２、Ｌ３…及び第２領域Ｈ１、Ｈ２、Ｈ３…に分割し、病変領域Ｌ１を特定する。病変領域Ｌ１を特定した場合、画像診断装置２は、血管の軸方向における病変領域Ｌ１の長さ、すなわち病変長を計測し、縦断層像５における病変領域Ｌ１に対応させて表示する。具体的には図８に示すように、画像診断装置２は、病変領域Ｌ１に対応する部分を矢印でグラデーションバー６の上に表示すると共に、病変長を表示する。これにより、病変部位の長さを可視化することができる。
　図９は、ステントの重畳表示例を示す説明図である。本実施の形態ではさらに、画像診断装置２は、治療デバイスで処置すべき処置範囲、すなわちステントを留置すべき範囲をユーザに提示する。具体的には、画像診断装置２は、ステント（治療デバイス）のサイズを表現したステント領域７（第２オブジェクト）を縦断層像５に重畳表示する。
　ステント領域７は、血管に留置するステントを模擬したオブジェクトであり、ステントの留置範囲を表現した矩形状オブジェクトである。なお、ステント領域７は、少なくとも軸方向における長さが実際のステントの長さと一致していればよく、径方向における長さ（図８では縦方向の長さ）は一致せずともよい。
　また、本実施の形態では治療デバイスがステントであるため、オブジェクトの形状を矩形状としてあるが、例えば治療デバイスがバルーンである場合、オブジェクトの形状をサンドバック状としてもよい。このように、画像診断装置２は治療デバイスに応じた形状のオブジェクトを表示可能であればよい。
　例えば画像診断装置２は、上記で計測した病変長以上の長さを有するステント領域７を、上記で両端が位置すべき領域として決定した第２領域ＨＰ１、ＨＤ１にステント領域７の両端が位置するように表示する。例えば画像診断装置２は、手技に使用可能な所定長刻み（例えば９ｍｍ、１２ｍｍ、１５ｍｍ…）の各ステント製品の情報を補助記憶部２７に記憶してある。画像診断装置２は、これらのステントから、病変長を超過し、かつ、最小の長さのステントを選択する。そして画像診断装置２は、選択したステントの長さを有するステント領域７を、両端が第２領域ＨＰ１、ＨＤ１に位置するように重畳表示する。なお、ステントの選択、ステント領域７の重畳位置の決定等は、ユーザが手動操作で行ってもよい。
　例えば画像診断装置２は、血管の軸方向における病変領域Ｌ１の中心位置（中点）とステント領域７の中心位置とが一致するようにステント領域７を重畳表示する。この場合、図９に示すように、ステントの両端に相当する位置に下向きの矢印が表示されると共に、第１領域Ｌ１を超過する部分に両向きの矢印が表示される。画像診断装置２はユーザからの操作入力（例えばマウス操作）に従ってステント領域７を移動させ、最適なステントの留置位置をユーザに決定させる。
　この場合に画像診断装置２は、図９に示すように、ステント領域７の両端に相当する位置の横断層像を表示すると好適である。これにより、ユーザはステント領域７を移動させながら最適なステントの留置位置を探すことができる。
　なお、上記ではステント領域７を縦断層像５に重畳表示したが、画像診断装置２は、ステント領域７を縦断層像５以外の箇所（例えばグラデーションバー６の上側、あるいはグラデーションバー６内など）に表示してもよい。このように、画像診断装置２は、治療デバイスを模擬したオブジェクトを表示可能であればよく、その表示位置は縦断層像５上に限定されない。
　図１０は、算出モデル５１の生成処理の手順を示すフローチャートである。図１０に基づき、機械学習によって算出モデル５１を生成する際の処理内容について説明する。
　サーバ１の制御部１１は、算出モデル５１を生成するための訓練データ（第２訓練データ）を取得する（ステップＳ１１）。訓練データは、訓練用の血管の横断層像に対し、プラークバーデンの正解値が対応付けられたデータである。
　制御部１１は訓練データに基づき、血管の横断層像を入力した場合にプラークバーデンを算出する算出モデル５１を生成する（ステップＳ１２）。具体的には上述の如く、制御部１１は、ＣＮＮ等のニューラルネットワークを算出モデル５１として生成する。制御部１１は、訓練用の血管断層像を算出モデル５１に入力してプラークバーデンを算出し、正解値と比較する。制御部１１は、算出したプラークバーデンが正解値と近似するようにニューロン間の重み等のパラメータを最適化し、算出モデル５１を生成する。制御部１１は一連の処理を終了する。
　図１１は、プラークバーデン算出処理の手順を示すフローチャートである。図１１に基づき、画像診断装置２が実行する処理内容について説明する。
　画像診断装置２の制御部２１は、患者の血管を撮像した複数フレームの横断層像を取得する（ステップＳ３１）。制御部２１は、各フレームの横断層像を算出モデル５１に入力し、各フレームにおけるプラークバーデンを算出する（ステップＳ３２）。具体的には、制御部２１は、各フレームにおけるプラークバーデンと、算出値の信頼度とを算出モデル５１から取得する。
　制御部２１は、プラークバーデンが最大値を取る血管位置（フレーム）を特定する（ステップＳ３３）。また、制御部２１は、血管の軸方向においてプラークバーデンの信頼度が所定値以下の低信頼度領域を特定する（ステップＳ３４）。また、制御部２１は、閾値の設定入力を受け付ける（ステップＳ３５）。なお、制御部２１はステップＳ３５をスキップし、デフォルトの閾値を設定してもよい。
　制御部２１は、ステップＳ３１で取得した複数フレームの横断層像に基づき、血管の縦断層像を生成（再構成）する（ステップＳ３６）。制御部２１は、生成した縦断層像と、血管の軸方向に沿った縦断層像の各位置におけるプラークバーデンの大小を表すオブジェクト（第１オブジェクト）とを表示する（ステップＳ３７）。具体的には上述の如く、制御部２１は、プラークバーデンの大小に応じて表示色を徐々に変化させたグラデーションバーを表示する。この場合に制御部２１は、低信頼度領域を非表示としたグラデーションバーを表示する。
　制御部２１は、血管の各位置（フレーム）におけるプラークバーデンに基づき、血管の縦断層像（縦断面）を、プラークバーデンが閾値以上の第１領域と、プラークバーデンが閾値未満の第２領域とに分割する（ステップＳ３８）。具体的には、制御部２１は、プラークバーデンが閾値以上であるか否かに応じて縦断層像を複数の領域に分割すると共に、低信頼度領域の長さが所定長以下である場合は、当該低信頼度領域を跨る複数の第１領域又は第２領域を同一領域として分割する。
　制御部２１は、プラークバーデンの最大値を含む第１領域を病変領域として特定する（ステップＳ３９）。そして制御部２１は、特定した病変領域に応じて、治療デバイスで処置すべき処置範囲の両端が位置すべき領域を決定する（ステップＳ４０）。具体的には、制御部２１は、病変領域の両側に位置する第２領域を、血管に留置するステントの両端が位置すべき領域に決定する。
　制御部２１は、ステップＳ３９で特定した病変領域の軸方向における長さ、すなわち病変長を計測して、縦断層像の病変領域に対応させて表示する（ステップＳ４１）。また、制御部２１は、治療デバイスのサイズを表現したオブジェクト（第２オブジェクト）を縦断層像に対応して表示する（ステップＳ４２）。例えば制御部２１は、上述の如く、血管の軸方向におけるステントの長さを表現したステント領域を、ステップＳ４０で決定した領域に両端が位置するように、縦断層像に重畳表示する。制御部２１は一連の処理を終了する。
　以上より、本実施の形態１によれば、患者の血管を撮像した複数フレームの横断層像から血管の各位置におけるプラークバーデンを算出し、算出したプラークバーデンの大小を表すグラデーションバー等のオブジェクトを縦断層像に対応させて表示する。これにより、ステントの留置位置の決定など、血管治療に係る画像診断を好適に支援することができる。
　また、本実施の形態１によれば、プラークバーデンの算出結果の信頼度が低い低信頼度領域を非表示とすることで、プラークバーデンの算出結果の確からしさをユーザに提示することができる。
　また、本実施の形態１によれば、病変領域の長さ（病変長）やステントの留置範囲（ステント領域）なども提示することで、より好適に画像診断を支援することができる。
　また、本実施の形態１によれば、プラークバーデンに応じて血管の縦断面（縦断層像）を複数の領域に分割し、ステント等の治療デバイスによる血管の処置範囲の両端が位置すべき領域を決定する。これにより、ステントの留置位置の決定など、血管治療に係る画像診断をより好適に支援することができる。
　また、本実施の形態１によれば、低信頼度領域の長さが所定長以下である場合、低信頼度領域を跨る複数の領域（第１領域又は第２領域）を同一領域と見なして分割する。これにより、信頼性を担保しつつ、ステントの留置位置等を好適に決定することができる。
（変形例１）
　実施の形態１では、プラークバーデンが最大値を取る第１領域を病変領域として特定した。しかしながら、病変領域はプラークバーデンが最大値を取る領域でなくともよい。
　図１２は、変形例１に係る病変領域の特定処理に関する説明図である。実施の形態１では病変領域を先に特定し、次にステントの両端が位置すべき領域を決定したが、先にステントの両端が位置すべき領域を決定し、次に病変領域を特定してもよい。
　具体的には、画像診断装置２は、縦断層像５を第１領域Ｌ１、Ｌ２、Ｌ３…及び第２領域Ｈ１、Ｈ２、Ｈ３…に分割した後、第１領域Ｌｘを挟む２つの第２領域Ｈｙ、Ｈｚを探索する。第１領域Ｌｘを挟む２つの第２領域Ｈｙ、Ｈｚが探索された場合、画像診断装置２は、２つの第２領域Ｈｙ、Ｈｚが両側に位置する第１領域Ｌｘを病変領域Ｌｘとして特定する。そして画像診断装置２は、病変領域Ｌｘの長さ（病変長）を計測し、ステント領域７を重畳表示する。
　このように、画像診断装置２は、第１領域及び第２領域の位置関係からステントを留置すべき領域を決定するようにしてもよい。実施の形態１で説明した決定手法は一例であり、種々の手法が想定される。
（実施の形態２）
　実施の形態１では、算出モデル５１がプラークバーデンを直接的に算出する形態について説明した。本実施の形態では、別の機械学習モデルを用いて血管断層像（横断層像）からプラーク領域を識別し、プラークバーデンを間接的に算出する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
　図１３は、実施の形態２に係る画像診断装置２の構成例を示すブロック図である。本実施の形態に係る画像診断装置２の補助記憶部２７は、識別モデル５２を記憶している。識別モデル５２は実施の形態１に係る算出モデル５１と同様に、所定の訓練データを学習することで生成された機械学習モデルであり、血管断層像を入力として、断層像内のプラーク領域を識別する学習済みモデルである。識別モデル５２は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。
　図１４は、実施の形態２に係るプラークバーデンの算出処理に関する説明図である。図１４では、識別モデル５２を用いて血管の横断層像からプラーク及び中膜に対応する画像領域（以下の説明では「プラーク領域」と呼ぶ）を識別し、識別したプラーク領域の面積からプラークバーデンを算出する様子を概念的に図示している。図１４に基づき、本実施の形態の概要を説明する。
　識別モデル５２は、所定の訓練データを学習済みの機械学習モデルであり、例えば深層学習により生成されたニューラルネットワークである。本実施の形態では、識別モデル５２が、ＣＮＮの一種であるセマンティックセグメンテーションモデルであるものとして説明する。
　セマンティックセグメンテーションモデルは、画像内のオブジェクトを画素単位で識別するニューラルネットワークであり、入力画像を畳み込む畳み込み層（エンコーダ）と、畳み込んだ特徴量を元の画像サイズにマッピングする逆畳み込み層（デコーダ）とを備える。逆畳み込み層では、畳み込み層で抽出した特徴量に基づいて画像内にどの物体がどの位置に存在するかを識別し、各画素がどの物体に対応するかを二値化したデータを生成する。
　サーバ１は、訓練用の断層像に対し、正解のプラーク領域を示すデータが対応付けられた訓練データ（第１訓練データ）を用いて、識別モデル５２を生成する。サーバ１は、訓練用の断層像を識別モデル５２に入力してプラーク領域を識別し、識別したプラーク領域が正解のプラーク領域と近似するように、ニューロン間の重み等のパラメータを最適化する。画像診断装置２は、サーバ１が生成した識別モデル５２を用いてプラーク領域を識別する。
　なお、本実施の形態では識別モデル５２がセマンティックセグメンテーションモデルであるものとして説明するが、セマンティックセグメンテーションモデル以外のニューラルネットワーク、ＧＡＮ（Generative Adversarial Network）、その他の学習アルゴリズムに基づくモデルであってもよい。
　また、サーバ１は、プラーク領域以外の領域（例えばＥＥＭ領域、内腔領域など）の正解データも与えられた訓練データを学習することで、プラーク領域以外の領域も識別可能な識別モデル５２を生成してもよい。すなわち、識別モデル５２は少なくともプラーク領域を識別可能であればよく、他の画像領域も識別可能であってもよい。
　患者の血管を撮像した場合、画像診断装置２は、各フレームの断層像を識別モデル５２に順次入力し、各フレームにおけるプラーク領域を識別する。そして画像診断装置２は、プラーク領域の識別結果に基づき、プラークバーデンを算出する。すなわち、画像診断装置２は、プラーク領域の面積と、プラーク領域を含む血管全体の面積とを算出し、プラークバーデンを算出する。
　このように、機械学習モデルがプラークバーデンを直接的に算出する構成は必須ではなく、機械学習モデルでの予測結果から間接的にプラークバーデンを算出するようにしてもよい。
　図１５は、識別モデル５２の生成処理の手順を示すフローチャートである。図１５に基づき、機械学習により識別モデル５２を生成する際の処理内容について説明する。
　サーバ１の制御部１１は、識別モデル５２を生成するための訓練データ（第１訓練データ）を取得する（ステップＳ２０１）。訓練データは、訓練用の血管の横断層像に対し、正解のプラーク領域を示すデータが対応付けられたデータである。
　制御部１１は訓練データに基づき、血管の横断層像を入力した場合にプラーク領域を識別する識別モデル５２を生成する（ステップＳ２０２）。具体的には上述の如く、制御部１１は、セマンティックセグメンテーションに係るＣＮＮを識別モデル５２として生成する。制御部１１は、訓練用の横断層像を識別モデル５２に入力してプラーク領域を識別し、正解のプラーク領域と比較する。制御部１１は、両者が近似するようにニューロン間の重み等のパラメータを最適化し、識別モデル５２を生成する。制御部１１は一連の処理を終了する。
　図１６は、実施の形態２に係るプラークバーデンの算出処理の手順を示すフローチャートである。患者の血管を撮像した複数フレームの横断層像を取得した後（ステップＳ３１）、画像診断装置２は以下の処理を実行する。
　画像診断装置２の制御部２１は、各フレームの横断層像を識別モデル５２に入力し、各フレームにおけるプラーク領域を識別する（ステップＳ２２１）。そして、制御部２１は識別結果に基づき、各フレームにおけるプラークバーデンを算出する（ステップＳ２２２）。制御部２１は処理をステップＳ３１に移行する。
　以上より、本実施の形態２によれば、血管の横断層像からプラーク領域を識別する識別モデル５２での識別結果を利用して、プラークバーデンを算出することもできる。
（変形例２）
　実施の形態２では、断層像内のプラーク領域を識別可能な識別モデル５２について説明した。一方で、識別モデル５２の学習で得た重み等のパラメータを算出モデル５１に適用し、識別モデル５２での学習結果から算出モデル５１を生成する転移学習を行ってもよい。
　図１７は、変形例２に係る算出モデル５１の生成処理に関する説明図である。図１７では、識別モデル５２（セマンティックセグメンテーションモデル）の一部のネットワーク構造及びパラメータを算出モデル５１（ＣＮＮ）に適用して、転移学習を行う様子を概念的に図示している。なお、本変形例でサーバ１は、識別モデル５２を生成済みであるものとして説明する。
　サーバ１は、識別モデル５２の一部のネットワーク構造と同様のネットワーク構造を有する算出モデル５１に、識別モデル５２を生成（学習）して得た重み等のパラメータを初期値に設定して学習を行う。例えば算出モデル５１は、識別モデル５２と同様の入力層と、識別モデル５２のデコーダ部分に相当する中間層の一部（畳み込み層）とに、プラークバーデン算出用の出力層を接続した構造を有する。サーバ１は、識別モデル５２の学習で得たパラメータを中間層のパラメータの初期値に設定し、訓練データ（第１訓練データ）を与えて学習を行う。サーバ１は、訓練用の断層像を入力してプラークバーデンを算出し、正解値と比較して、両者が近似するようにパラメータを最適化する。このように転移学習を行うことで、算出モデル５１が学習するデータ量、学習時間を抑制することができる。
　図１８は、変形例２に係る算出モデル５１の生成処理の手順を示すフローチャートである。算出モデル５１を生成するための訓練データ（第１訓練データ）を取得した後（ステップＳ１１）、サーバ１は以下の処理を実行する。なお、サーバ１は識別モデル５２を生成済みであるものとして説明する。
　サーバ１の制御部１１は、識別モデル５２を生成して得たパラメータと、訓練データとに基づき、算出モデル５１を生成する（ステップＳ３０１）。具体的には上述の如く、制御部１１は、識別モデル５２の学習で得た重み等のパラメータを算出モデル５１のパラメータの初期値に設定した上で学習を行う。制御部１１は、訓練用の断層像を算出モデル５１に入力してプラークバーデンを算出し、正解値と比較して、両者が近似するようにパラメータを最適化する。制御部１１は一連の処理を終了する。
　以上より、本変形例１によれば、識別モデル５２での学習結果を転用することで、算出モデル５１が学習するデータ量、学習時間を抑制することができる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　１　サーバ
　１１　制御部
　１２　主記憶部
　１３　通信部
　１４　補助記憶部
　Ｐ１　プログラム
　２　画像診断装置
　２１　制御部
　２２　主記憶部
　２３　通信部
　２４　表示部
　２５　入力部
　２６　画像処理部
　２７　補助記憶部
　Ｐ２　プログラム
　５１　算出モデル
　５２　識別モデル
　５　縦断層像
　６　グラデーションバー
　７　ステント領域
 

Claims (15)

  1. 　患者の血管を撮像した複数フレームの横断層像を取得する取得部と、
    　前記複数フレームの横断層像に基づき、前記血管の軸方向に沿った前記血管の各位置におけるプラークバーデンを算出する算出部と、
    　前記血管の縦断面を、前記プラークバーデンが閾値以上の第１領域と、前記プラークバーデンが閾値未満の第２領域とに分割する分割部と、
    　分割した各領域から、所定の治療デバイスによる前記血管の処置範囲の両端が位置すべき領域を決定する決定部と
    　を備える情報処理装置。
  2. 　前記決定部は、前記血管に留置するステントの両端が位置すべき領域を決定する
    　請求項１に記載の情報処理装置。
  3. 　前記決定部は、前記第１領域を挟む２つの前記第２領域を前記両端が位置すべき領域に決定する
    　請求項１に記載の情報処理装置。
  4. 　前記決定部は、
    　前記縦断面を分割した各領域から、前記プラークバーデンが最大値を取る前記第１領域を特定し、
    　特定した前記第１領域を挟む２つの前記第２領域を前記両端が位置すべき領域に決定する
    　請求項３に記載の情報処理装置。
  5. 　前記閾値を設定する設定入力をユーザから受け付ける受付部を備え、
    　前記分割部は、設定された前記閾値に応じて前記縦断面を分割する
    　請求項１～４のいずれか１項に記載の情報処理装置。
  6. 　前記算出部は、前記横断層像を入力した場合にプラークバーデンを算出するよう学習済みの算出モデルに、前記複数フレームの横断層像を夫々入力して、各フレームにおける前記プラークバーデンを算出する
    　請求項１～５のいずれか１項に記載の情報処理装置。
  7. 　前記算出部は、
    　前記横断層像を入力した場合にプラークに対応する画像領域を識別するよう学習済みの識別モデルに、前記複数フレームの横断層像を夫々入力して、各フレームにおける前記画像領域を識別し、
    　識別した前記画像領域の面積に基づき、各フレームにおける前記プラークバーデンを算出する
    　請求項１～５のいずれか１項に記載の情報処理装置。
  8. 　前記算出部は、各フレームにおける前記プラークバーデンと、各フレームにおける該プラークバーデンの算出結果の確からしさを示す信頼度とを算出し、
    　前記血管の縦断面において、前記信頼度が所定値以下の低信頼度領域を特定する特定部を備え、
    　前記分割部は、前記軸方向における前記低信頼度領域の長さが所定長以下である場合、該低信頼度領域を跨る複数の前記第１領域又は第２領域を同一領域として分割する
    　請求項６又は７に記載の情報処理装置。
  9. 　前記所定長を設定する設定入力をユーザから受け付ける第２受付部を備え、
    　前記分割部は、設定された前記所定長に応じて前記縦断面を分割する
    　請求項８に記載の情報処理装置。
  10. 　前記縦断面に対応する前記血管の縦断層像と、該縦断面に対応して表示される所定形状のオブジェクトであって、前記両端が位置すべき領域に両端が位置する第２オブジェクトとを表示する表示部を備える
    　請求項１～９のいずれか１項に記載の情報処理装置。
  11. 　前記表示部はさらに、前記軸方向に沿った前記縦断層像の各位置における前記プラークバーデンの大小を表す第１オブジェクトを表示する
    　請求項１０に記載の情報処理装置。
  12. 　前記第１領域の前記軸方向における長さを計測する測長部を備え、
    　前記表示部は、前記縦断層像における前記第１領域と対応付けて、計測した前記長さを表示する
    　請求項１０又は１１に記載の情報処理装置。
  13. 　患者の血管を撮像した複数フレームの横断層像を取得し、
    　前記複数フレームの横断層像に基づき、前記血管の軸方向に沿った前記血管の各位置におけるプラークバーデンを算出し、
    　前記血管の縦断面を、前記プラークバーデンが閾値以上の第１領域と、前記プラークバーデンが閾値未満の第２領域とに分割し、
    　分割した各領域から、所定の治療デバイスによる前記血管の処置範囲の両端が位置すべき領域を決定する
    　処理をコンピュータが実行する情報処理方法。
  14. 　患者の血管を撮像した複数フレームの横断層像を取得し、
    　前記複数フレームの横断層像に基づき、前記血管の軸方向に沿った前記血管の各位置におけるプラークバーデンを算出し、
    　前記血管の縦断面を、前記プラークバーデンが閾値以上の第１領域と、前記プラークバーデンが閾値未満の第２領域とに分割し、
    　分割した各領域から、所定の治療デバイスによる前記血管の処置範囲の両端が位置すべき領域を決定する
    　処理をコンピュータに実行させるプログラム。
  15. 　患者の血管を撮像した横断層像に対し、プラークに対応する画像領域を示すデータが付与された第１訓練データを取得し、
    　前記第１訓練データに基づき、前記横断層像を入力した場合に前記プラークに対応する画像領域を識別する識別モデルを生成し、
    　前記横断層像に対し、プラークバーデンの正解値が付与された第２訓練データを取得し、
    　前記識別モデルを生成して得た学習済みパラメータと、前記第２訓練データとに基づき、前記横断層像を入力した場合に前記プラークバーデンを算出する算出モデルを生成する
    　処理をコンピュータが実行するモデル生成方法。
     
PCT/JP2021/035259 2020-09-29 2021-09-27 情報処理装置、情報処理方法、プログラム及びモデル生成方法 WO2022071181A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022553930A JPWO2022071181A1 (ja) 2020-09-29 2021-09-27
EP21875483.6A EP4218599A4 (en) 2020-09-29 2021-09-27 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM, AND MODEL GENERATION METHOD
US18/191,974 US20230230252A1 (en) 2020-09-29 2023-03-29 Information processing device, information processing method, program, and model generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-163914 2020-09-29
JP2020163914 2020-09-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/191,974 Continuation US20230230252A1 (en) 2020-09-29 2023-03-29 Information processing device, information processing method, program, and model generation method

Publications (1)

Publication Number Publication Date
WO2022071181A1 true WO2022071181A1 (ja) 2022-04-07

Family

ID=80951464

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035259 WO2022071181A1 (ja) 2020-09-29 2021-09-27 情報処理装置、情報処理方法、プログラム及びモデル生成方法

Country Status (4)

Country Link
US (1) US20230230252A1 (ja)
EP (1) EP4218599A4 (ja)
JP (1) JPWO2022071181A1 (ja)
WO (1) WO2022071181A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024071251A1 (ja) * 2022-09-29 2024-04-04 テルモ株式会社 コンピュータプログラム、情報処理方法、情報処理装置、及び学習モデル
WO2024071121A1 (ja) * 2022-09-28 2024-04-04 テルモ株式会社 コンピュータプログラム、情報処理方法、及び情報処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003503141A (ja) * 1999-07-02 2003-01-28 ザ・クリーブランド・クリニツク・フアンデーシヨン 有効な輪郭線作成法及びシステムを使用する血管内の超音波分析
JP2012176282A (ja) 2012-06-04 2012-09-13 Toshiba Corp 医用画像処理装置
JP2012200532A (ja) * 2011-03-28 2012-10-22 Terumo Corp 画像診断装置及び表示方法
WO2017130927A1 (ja) * 2016-01-26 2017-08-03 テルモ株式会社 画像表示装置およびその制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3520114A1 (en) * 2016-09-28 2019-08-07 Lightlab Imaging, Inc. Stent planning systems and methods using vessel representation
US11819309B2 (en) * 2019-03-17 2023-11-21 Lightlab Imaging, Inc. Arterial imaging and assessment systems and methods and related user interface based-workflows

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003503141A (ja) * 1999-07-02 2003-01-28 ザ・クリーブランド・クリニツク・フアンデーシヨン 有効な輪郭線作成法及びシステムを使用する血管内の超音波分析
JP2012200532A (ja) * 2011-03-28 2012-10-22 Terumo Corp 画像診断装置及び表示方法
JP2012176282A (ja) 2012-06-04 2012-09-13 Toshiba Corp 医用画像処理装置
WO2017130927A1 (ja) * 2016-01-26 2017-08-03 テルモ株式会社 画像表示装置およびその制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4218599A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024071121A1 (ja) * 2022-09-28 2024-04-04 テルモ株式会社 コンピュータプログラム、情報処理方法、及び情報処理装置
WO2024071251A1 (ja) * 2022-09-29 2024-04-04 テルモ株式会社 コンピュータプログラム、情報処理方法、情報処理装置、及び学習モデル

Also Published As

Publication number Publication date
US20230230252A1 (en) 2023-07-20
EP4218599A1 (en) 2023-08-02
JPWO2022071181A1 (ja) 2022-04-07
EP4218599A4 (en) 2024-03-27

Similar Documents

Publication Publication Date Title
WO2022071181A1 (ja) 情報処理装置、情報処理方法、プログラム及びモデル生成方法
WO2022071121A1 (ja) 情報処理装置、情報処理方法及びプログラム
EP3169237B1 (en) Stenosis assessment
CN108962381B (zh) 用于动脉粥样硬化的个性化评定、长期预测和管理的基于学习的方法
KR20190083185A (ko) Ivus 영상 분석방법
US20230076868A1 (en) Systems and methods for utilizing synthetic medical images generated using a neural network
CN114126491B (zh) 血管造影图像中的冠状动脉钙化的评估
CN113241183B (zh) 治疗方案预测方法及装置
Meier et al. Automated morphometry of coronary arteries with digital image analysis of intravascular ultrasound
CN116630334B (zh) 用于多分段血管实时自动分割方法、装置、设备及介质
US20220151500A1 (en) Noninvasive quantitative flow mapping using a virtual catheter volume
JP7300392B2 (ja) 標準化された冠動脈疾患メトリック
WO2021193019A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
Van Hamersvelt et al. Diagnostic performance of on-site coronary CT angiography–derived fractional flow reserve based on patient-specific lumped parameter models
CN109310387B (zh) 估计管腔内设备沿着管腔的管腔内路径
JP7239698B2 (ja) 血行力学的シミュレーションのための最も関連のあるｘ線画像の選択
WO2021193024A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
US20230012527A1 (en) Program, information processing method, information processing apparatus, and model generation method
CN116309346A (zh) 医学图像的检测方法、装置、设备、存储介质及程序产品
WO2022071208A1 (ja) 情報処理装置、情報処理方法、プログラム、モデル生成方法及び訓練データ生成方法
CN112971979B (zh) 仿真系统、仿真方法及装置
WO2021193018A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
JP2004133736A (ja) 医用画像表示方法及びその装置
WO2021193022A1 (ja) 情報処理装置、情報処理方法及びプログラム
US12048492B2 (en) Estimating the endoluminal path of an endoluminal device along a lumen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21875483

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022553930

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2021875483

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2021875483

Country of ref document: EP

Effective date: 20230428

NENP Non-entry into the national phase

Ref country code: DE