WO2022209652A1 - コンピュータプログラム、情報処理方法及び情報処理装置 - Google Patents

コンピュータプログラム、情報処理方法及び情報処理装置 Download PDF

Info

Publication number
WO2022209652A1
WO2022209652A1 PCT/JP2022/010175 JP2022010175W WO2022209652A1 WO 2022209652 A1 WO2022209652 A1 WO 2022209652A1 JP 2022010175 W JP2022010175 W JP 2022010175W WO 2022209652 A1 WO2022209652 A1 WO 2022209652A1
Authority
WO
WIPO (PCT)
Prior art keywords
dissection
dissociation
image
medical images
information
Prior art date
Application number
PCT/JP2022/010175
Other languages
English (en)
French (fr)
Inventor
貴則 富永
雄紀 坂口
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to JP2023510767A priority Critical patent/JPWO2022209652A1/ja
Publication of WO2022209652A1 publication Critical patent/WO2022209652A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters

Definitions

  • the diagnostic imaging catheter 1 is provided with a marker that does not transmit X-rays, and the position of the diagnostic imaging catheter 1 (marker) is visualized in the angiographic image.
  • the angiography device 102 outputs an angio image obtained by imaging to the image processing device 3 and displayed on the display device 4 via the image processing device 3 .
  • the display device 4 displays an angiographic image and a tomographic image captured using the diagnostic imaging catheter 1 .
  • the IVUS sensor 12a intermittently transmits and receives ultrasonic waves 512 times while rotating 360 degrees (one rotation) in the blood vessel. Since the IVUS sensor 12a obtains data of one line in the transmitting/receiving direction by one transmission/reception of ultrasonic waves, it is possible to obtain 512 ultrasonic line data radially extending from the center of rotation during one rotation. can.
  • the 512 ultrasonic line data are dense near the center of rotation, but become sparse with distance from the center of rotation. Therefore, the image processing device 3 can generate a two-dimensional ultrasonic tomographic image (IVUS image) as shown in FIG. 4A by generating pixels in the empty space of each line by a well-known interpolation process. .
  • FIG. 6 is an explanatory diagram showing an example of the first learning model 341.
  • the first learning model 341 is, for example, a neural network (segmentation NN) such as YOLO or R-CNN that performs object detection, semantic segmentation, or instance segmentation.
  • the first learning model 341 outputs whether or not dissociation (object) is included in the IVUS image based on each IVUS image in the input IVUS image group. If there is (if there is), the area of dissociation in the IVUS image and the estimation accuracy (score) may be output.
  • the first learning model 341 functions as a classifier (classification) that classifies a plurality of input IVUS images into IVUS images containing dissection and IVUS images not containing dissection. It corresponds to the judgment model.
  • the control unit 31 Based on the information obtained from the first learning model 341, the control unit 31 derives object information regarding the presence or absence of an object (dissociation) included in the IVUS image. Alternatively, the control unit 31 may derive the object information by using the information itself acquired from the first learning model 341 as the object information.
  • FIG. 7 is an explanatory diagram showing an example of the second learning model 342 (dissociation angle estimation model).
  • the second learning model 342 is composed of a neural network such as a CNN. Estimate the axial length.
  • the second learning model 342 is learned using training data in which an IVUS image containing dissection and the angle and short axis length of the dissection are associated with each other. A large amount of data on the dissociation angle and short axis length contained in IVUS images is stored in medical institutions and the like, and training data can be generated by using the data.
  • the minor axis length of dissociation is the length of the chord in the arc specified by the angle of dissociation (central angle).
  • control unit 31 uses the first learning model 341 and the second learning model 342 connected in series, but is not limited to this.
  • the control unit 31 uses a single learning model that extracts (segmentation) a dissociation region when an IVUS image is input, and estimates the angle and short axis length according to the extracted dissociation region. good too.
  • the control unit 31 extracts the dissociation region by, for example, edge detection or pattern detection, and calculates the dissociation angle and length by pixel analysis of the extracted region or arithmetic processing in the image coordinate system.
  • the axis length may be calculated.
  • the control unit 31 identifies pixels in the dissociation region segmented by the first learning model 341, derives an approximated curve (arc) based on the pixels, and draws a straight line connecting both ends of the approximated curve (arc). may be calculated as the short axis length.
  • the control unit 31 may set the interior angle of a line segment extending from the both ends to the center of gravity of the lumen (Lumen) or the center of the blood vessel (Vessel) as the dissection angle.
  • a plurality of IVUS images detected (classified) as IVUS images with dissection (dissection: present) are positioned along the axial direction of the blood vessel, and the control unit 31 detects the plurality of IVUS images (dissection: present). Based on, the long axis length of dissociation is derived (calculated). As described above, each IVUS image is arranged in the order of generation time points from the distal side to the proximal side in the axial direction of the blood vessel based on the spatial resolution (generation time interval).
  • the control unit 31 of the image processing device 3 executes the following processes based on the input data output from the input device 5 in accordance with the operation of the operator of the diagnostic imaging catheter 1 such as a doctor.
  • the control unit 31 associates and stores the derived angle and short axis length with the IVUS image (S104).
  • the control unit 31 associates the angle and short axis length derived using the second learning model 342 with, for example, the frame number of the IVUS image, and stores them in the auxiliary storage unit 34 in an array format (stored in an array variable). .
  • the control unit 31 determines whether or not all IVUS images have been processed (S105). If all IVUS images have not been processed (S105: NO), the control unit 31 performs loop processing to execute the processing of S102 again. By performing the loop processing, all IVUS images are classified based on the presence or absence of dissection.
  • the control unit 31 derives the long axis length of dissection based on the IVUS image containing dissection (S106).
  • the frame number of the IVUS image containing the dissection is associated with the angle and minor axis length of that dissection.
  • the control unit 31 positions the IVUS image with the smallest frame number in the frame numbers associated with the angle etc. on the most distal side.
  • the IVUS image with the largest frame number is specified as the IVUS image positioned closest to the proximal side.
  • the control unit 31 calculates (derives) the distance between the two IVUS images based on the difference between the frame numbers of the two identified IVUS images and the spatial resolution in generating the IVUS images as the long axis length of dissociation. do.
  • the control unit 31 acquires an angio image (S107).
  • the diagnostic imaging catheter 1 is provided with markers (markers 14a and 12c) that do not transmit X-rays. Since the position of the diagnostic imaging catheter 1 (marker) is visualized in the angiographic image, the control unit 31 controls the angiographic image corresponding to the medical image in which dissection is detected, i. can be identified and acquired.
  • the control unit 31 may specify an angio image corresponding to an IVUS image in which dissociation is detected, using a co-registration function that performs registration (positional synchronization) between an IVUS image and an angio image.
  • the control unit 31 may extract a portion of a dissected blood vessel included in the angio image and output and display it on a display device.
  • the control unit 31 applies a learning model such as a neural network having the same segmentation function as the first learning model used for the IVUS image, or a judgment basis method such as classification and Grad-CAM.
  • the reliability of the support information may be ensured by extracting the dissected blood vessel portion using the IVUS image and comparing it with the determination of the dissection position or the like based on the IVUS image. Judgment can be enhanced by combining angiographic images corresponding to IVUS images determined to contain dissection.
  • FIG. 9 is an explanatory diagram showing a display example of information (support information) on dissociation.
  • a cross-sectional view which is a tomographic view of the blood vessel in the axial direction
  • a longitudinal tomographic view which is a tomographic view of the blood vessel in the radial direction
  • figures such as arrows indicating the dissection region, the dissection angle and the short axis length included in the IVUS image are superimposed, and the values of the angle and the short axis length are displayed as annotations.
  • the angle of dissection corresponds to the range (arc) in which the media is separated (flaps) into two layers along the artery in a longitudinal tomographic image of the blood vessel. It is indicated by the central angle centered on the center of gravity.
  • the short axis length of dissociation is indicated by the length of the chord in the arc specified by the angle of dissociation (central angle).
  • figures such as arrows indicating regions where dissociation occurs are superimposed, and the value of the long axis length of the dissociation is displayed as an annotation.
  • the frame number of the IVUS image indicating the region in which dissociation has occurred may also be displayed. For example, in the region where dissection has occurred, the control unit 31 controls the frame number of the most distal IVUS image, the frame number of the most proximal IVUS image, and the currently selected (displayed) longitudinal section. may be displayed.
  • angio image containing the internal part indicated by the IVUS image is displayed.
  • a diagram showing the positional relationship with the part of the blood vessel (part where dissection has occurred) indicated by the IVUS image (longitudinal cross-sectional view) is added and displayed.
  • the control unit 31 may output screen data for generating a display screen according to the display example to the display device 4 and cause the display device 4 to display the display screen.
  • the image processing apparatus 3 (control unit 31) inputs a medical image (IVUS image) to the first learning model 341, Get information. Therefore, the presence or absence of dissection is efficiently determined in each of a plurality of medical images generated along the axial direction of the blood vessel, and the plurality of medical images are divided into a medical image with dissection and a medical image without dissection. can be classified.
  • the image processing device 3 extracts a medical image with dissection and outputs it to the display device 4 to display information about the dissection on the display device 4. Therefore, the image processing device 3 provides support information for the operator of the diagnostic imaging catheter 1, such as a doctor. can be efficiently provided.
  • the image processing apparatus 3 can efficiently derive the dissection angle and short axis length included in the medical image. Since the support information provided to a doctor or the like includes the dissection angle and short axis length, it is possible to efficiently display useful information for evaluating dissection.
  • FIG. 10 is a flowchart showing an information processing procedure by the control unit 31 in the second embodiment (dissociation classification).
  • the control unit 31 of the image processing apparatus 3 executes the following processes based on the input data output from the input device 5 according to the operation of the operator of the diagnostic imaging catheter 1 such as a doctor.
  • the control unit 31 acquires an IVUS image (S201).
  • the control unit 31 determines whether or not the IVUS image contains dissociation (S202).
  • the control unit 31 performs the processes of S201 and S202 in the same manner as the processes S101 and S102 of the first embodiment.
  • the control unit 31 identifies the classification of dissociation (S203).
  • the first learning model 341 of the second embodiment is trained to estimate the classification (type) of dissection included in the input medical image.
  • the first learning model 341 is learned by training data in which IVUS images containing dissociation of each classification and labeled images in which the dissociation region is specified and the dissociation classification (class) is assigned are associated with each other.
  • the output layer of the first learning model 341 is composed of, for example, a softmax layer. In the classification (type) of the above, the probability of being applicable to any classification (type) may be estimated.
  • Type IIIa (dissection not involving the abdominal aorta), and type IIIb (dissection involving the abdominal aorta).
  • Classification by angio image is Type: A (luminal haziness), Type: B (linear dissection), Type: C (xtra-luminal contrast), Type: D (spiral dissection), Type: E (dissection with persistent), and Type: F (dissection with total occlusion).
  • the control unit 31 Based on the probability of each classification estimated by the first learning model 341, the control unit 31 identifies the classification with the highest probability value as the dissociation classification (type) included in the IVUS image.
  • the control unit 31 derives the dissociation angle and short axis length (S204).
  • the control unit 31 associates and stores the derived classification, angle and short axis length with the IVUS image (S205).
  • the control unit 31 determines whether or not all IVUS images have been processed (S206).
  • the control unit 31 derives the long-axis length of dissociation based on the IVUS image including dissociation (S207). In a plurality of IVUS images acquired by one pull-back operation, when dissociation of a plurality of classifications is included, the control unit 31 may derive the long axis length of the dissociation for each classification. .
  • the control unit 31 acquires an angio image (S208).
  • the control unit 31 performs the processes of S204 and S208 in the same manner as the processes S103 and S107 of the first embodiment.
  • the control unit 31 outputs information on dissociation (S209).
  • the control unit 31 outputs the information on the dissociation to the display device 4 as support information to be provided to a doctor or the like, and causes the display device 4 to display the support information.
  • Information about the dissection (supporting information) includes the classification, angle and short axis length of the dissection in each IVUS image, and the axial long axis length of the vessel in which the dissection is occurring.
  • the control unit 31 may cause the display device 4 to display the information (support information) on dissociation in the same display example (display screen) as in the first embodiment.
  • the information on the dissection treatment method includes, for example, the treatment device, the procedure for using the treatment device, and the type, frequency, or both of complications that may occur due to the additional treatment performed by the treatment device. There may be.
  • the dissection information includes the dissection angle and short axis length, and the axial length of the blood vessel in which the dissection has occurred, that is, indicates the state of dissection.
  • the dissociation information includes classification according to the state.
  • the control unit 31 inputs information on dissection to a learning model (complication estimation model) that outputs the state of the dissection and information on complications determined by the state when the information on dissection is input. It may acquire information on the state of the dissection and complications determined by the state.
  • the learning model has the same configuration as the first learning model 341 or the second learning model 342, etc., and includes information on dissection, the state of dissection, and complication information determined by the state. , and stored in the auxiliary storage unit 34 . Acquisition of complication information, etc. was described as using a learning model (complications estimation model), but is not limited to this. ) may be used.
  • the state of dissociation includes detailed states such as the progress of dissociation and the elapsed time from onset.
  • the complication information may include, for example, complication details and complication frequency.
  • the image processing apparatus 3 can efficiently identify the dissociation classification included in each of a plurality of medical images by using the first learning model 341 that detects the dissociation classification. Since the support information provided to a doctor or the like includes the identified dissociation classification, it is possible to efficiently display useful information for evaluating dissociation.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

コンピュータプログラムは、コンピュータに、血管に挿入されたカテーテルにて検出した信号に基づき、血管の軸方向に沿って生成された複数の医用画像を取得し、抽出した前記複数の医用画像を、医用画像を入力した場合に該医用画像に含まれる解離の有無を出力する第1学習モデルに入力することによって、前記複数の医用画像に含まれる解離の有無を判定し、前記医用画像に解離が含まれる場合、該解離に関する情報を出力する処理を実行させる。

Description

コンピュータプログラム、情報処理方法及び情報処理装置
 本発明は、コンピュータプログラム、情報処理方法及び情報処理装置に関する。
 カテーテルを用いた血管内超音波(IVUS:Intra Vascular Ultra Sound)法によって血管の超音波断層像を含む医用画像を生成し、血管内の超音波検査を行うことが行われている。一方で、医師の診断の補助を目的に、医用画像に画像処理や機械学習により情報を付加する技術の開発が行われている(例えば特許文献1)。特許文献1に記載されている血管画像における特徴検出方法は、血管画像に含まれる管腔壁、ステント等を検出する。
特表2016-525893号公報
 しかしながら、特許文献1の検出方法においては、血管画像に含まれる解離に関する情報を提供する点については、考慮されていない。
 本開示の目的は、カテーテルにより血管をスキャンして得た医用画像に基づき、当該医用画像に含まれる解離に関する情報を当該カテーテルの操作者に対し提供するコンピュータプログラム等を提供することである。
 本態様に係るコンピュータプログラムは、コンピュータに、血管に挿入されたカテーテルにて検出した信号に基づき、血管の軸方向に沿って生成された複数の医用画像を取得し、抽出した前記複数の医用画像を、医用画像を入力した場合に該医用画像に含まれる解離の有無を出力する第1学習モデルに入力することによって、前記複数の医用画像に含まれる解離の有無を判定し、前記医用画像に解離が含まれる場合、該解離に関する情報を出力する処理を実行させる。
 本態様に係る情報処理方法は、コンピュータに、血管に挿入されたカテーテルにて検出した信号に基づき、血管の軸方向に沿って生成された複数の医用画像を取得し、抽出した前記複数の医用画像を、医用画像を入力した場合に該医用画像に含まれる解離の有無を出力する第1学習モデルに入力することによって、前記複数の医用画像に含まれる解離の有無を判定し、前記医用画像に解離が含まれる場合、該解離に関する情報を出力する処理を実行させる。
 本態様に係る情報処理装置は、血管に挿入されたカテーテルにて検出した信号に基づき、血管の軸方向に沿って生成された複数の医用画像を取得する取得部と、抽出した前記複数の医用画像を、医用画像を入力した場合に該医用画像に含まれる解離の有無を出力する第1学習モデルに入力することによって、前記複数の医用画像に含まれる解離の有無を判定する判定部と、前記医用画像に解離が含まれる場合、該解離に関する情報を出力する出力部とを備える。
 本開示によれば、カテーテルにより血管をスキャンして得た医用画像に基づき、当該医用画像に含まれる解離に関する情報を当該カテーテルの操作者に対し提供するコンピュータプログラム等を提供することができる。
画像診断装置の構成例を示す説明図である。 画像診断用カテーテルの概要を説明する説明図である。 センサ部を挿通させた血管の断面を示す説明図である。 断層画像を説明する説明図である。 画像処理装置の構成例を示すブロック図である。 第1学習モデル(解離有無判定モデル)の一例を示す説明図である。 第2学習モデル(解離角度等推定モデル)の一例を示す説明図である。 制御部による情報処理手順を示すフローチャートである。 解離に関する情報の表示例を示す説明図である。 実施形態2(解離の分類)における制御部による情報処理手順を示すフローチャートである。
 以下、本開示の画像処理方法、画像処理装置及びプログラムについて、その実施形態を示す図面に基づいて詳述する。
(実施形態1)
 図1は、画像診断装置100の構成例を示す説明図である。本実施形態では、血管内超音波診断法(IVUS)及び光干渉断層診断法(OCT)の両方の機能を備えるデュアルタイプのカテーテルを用いた画像診断装置について説明する。デュアルタイプのカテーテルでは、IVUSのみによって超音波断層画像を取得するモードと、OCTのみによって光干渉断層画像を取得するモードと、IVUS及びOCTによって両方の断層画像を取得するモードとが設けられており、これらのモードを切り替えて使用することができる。以下、超音波断層画像及び光干渉断層画像それぞれを適宜、IVUS画像及びOCT画像という。また、IVUS画像及びOCT画像を総称して断層画像といい、医用画像に相当する。
 本実施形態の画像診断装置100は、血管内検査装置101と、血管造影装置102と、画像処理装置3と、表示装置4と、入力装置5とを備える。血管内検査装置101は、画像診断用カテーテル1及びMDU(Motor Drive Unit)2を備える。画像診断用カテーテル1は、MDU2を介して画像処理装置3に接続されている。画像処理装置3には、表示装置4及び入力装置5が接続されている。表示装置4は、例えば液晶ディスプレイ又は有機ELディスプレイ等であり、入力装置5は、例えばキーボード、マウス、トラックボール又はマイク等である。表示装置4と入力装置5とは、一体に積層されて、タッチパネルを構成していてもよい。また入力装置5と画像処理装置3とは、一体に構成されていてもよい。更に入力装置5は、ジェスチャ入力又は視線入力等を受け付けるセンサであってもよい。
 血管造影装置102は画像処理装置3に接続されている。血管造影装置102は、患者の血管に造影剤を注入しながら、患者の生体外からX線を用いて血管を撮像し、当該血管の透視画像であるアンギオ画像を得るためのアンギオグラフィ装置である。血管造影装置102は、X線源及びX線センサを備え、X線源から照射されたX線をX線センサが受信することにより、患者のX線透視画像をイメージングする。なお、画像診断用カテーテル1にはX線を透過しないマーカが設けられており、アンギオ画像において画像診断用カテーテル1(マーカ)の位置が可視化される。血管造影装置102は、撮像して得られたアンギオ画像を画像処理装置3へ出力し、画像処理装置3を介して表示装置4に表示される。なお、表示装置4には、アンギオ画像と、画像診断用カテーテル1を用いて撮像された断層画像とが表示される。
 図2は画像診断用カテーテル1の概要を説明する説明図である。なお、図2中の上側の一点鎖線の領域は、下側の一点鎖線の領域を拡大したものである。画像診断用カテーテル1は、プローブ11と、プローブ11の端部に配置されたコネクタ部15とを有する。プローブ11は、コネクタ部15を介してMDU2に接続される。以下の説明では画像診断用カテーテル1のコネクタ部15から遠い側を先端側と記載し、コネクタ部15側を基端側と記載する。プローブ11は、カテーテルシース11aを備え、その先端部には、ガイドワイヤが挿通可能なガイドワイヤ挿通部14が設けられている。ガイドワイヤ挿通部14はガイドワイヤルーメンを構成し、予め血管内に挿入されたガイドワイヤを受け入れ、ガイドワイヤによってプローブ11を患部まで導くのに使用される。カテーテルシース11aは、ガイドワイヤ挿通部14との接続部分からコネクタ部15との接続部分に亘って連続する管部を形成している。カテーテルシース11aの内部にはシャフト13が挿通されており、シャフト13の先端側にはセンサ部12が接続されている。
 センサ部12は、ハウジング12dを有し、ハウジング12dの先端側は、カテーテルシース11aの内面との摩擦や引っ掛かりを抑制するために半球状に形成されている。ハウジング12d内には、超音波を血管内に送信すると共に血管内からの反射波を受信する超音波送受信部12a(以下ではIVUSセンサ12aという)と、近赤外光を血管内に送信すると共に血管内からの反射光を受信する光送受信部12b(以下ではOCTセンサ12bという)とが配置されている。図2に示す例では、プローブ11の先端側にIVUSセンサ12aが設けられており、基端側にOCTセンサ12bが設けられており、シャフト13の中心軸上(図2中の二点鎖線上)において軸方向に沿って距離xだけ離れて配置されている。画像診断用カテーテル1において、IVUSセンサ12a及びOCTセンサ12bは、シャフト13の軸方向に対して略90度となる方向(シャフト13の径方向)を超音波又は近赤外光の送受信方向として取り付けられている。なお、IVUSセンサ12a及びOCTセンサ12bは、カテーテルシース11aの内面での反射波又は反射光を受信しないように、径方向よりややずらして取り付けられることが望ましい。本実施形態では、例えば図2中の矢符で示すように、IVUSセンサ12aは径方向に対して基端側に傾斜した方向を超音波の照射方向とし、OCTセンサ12bは径方向に対して先端側に傾斜した方向を近赤外光の照射方向として取り付けられている。
 シャフト13には、IVUSセンサ12aに接続された電気信号ケーブル(図示せず)と、OCTセンサ12bに接続された光ファイバケーブル(図示せず)とが内挿されている。プローブ11は、先端側から血管内に挿入される。センサ部12及びシャフト13は、カテーテルシース11aの内部で進退可能であり、また、周方向に回転することができる。センサ部12及びシャフト13は、シャフト13の中心軸を回転軸として回転する。画像診断装置100では、センサ部12及びシャフト13によって構成されるイメージングコアを用いることにより、血管の内側から撮影された超音波断層画像(IVUS画像)、又は、血管の内側から撮影された光干渉断層画像(OCT画像)によって血管内部の状態を測定する。
 MDU2は、コネクタ部15によってプローブ11(画像診断用カテーテル1)が着脱可能に取り付けられる駆動装置であり、医療従事者の操作に応じて内蔵モータを駆動することにより、血管内に挿入された画像診断用カテーテル1の動作を制御する。例えばMDU2は、プローブ11に内挿されたセンサ部12及びシャフト13を一定の速度でMDU2側に向けて引っ張りながら周方向に回転させるプルバック操作を行う。センサ部12は、プルバック操作によって先端側から基端側に移動しながら回転しつつ、所定の時間間隔で連続的に血管内を走査することにより、プローブ11に略垂直な複数枚の横断層像を所定の間隔で連続的に撮影する。MDU2は、IVUSセンサ12aが受信した超音波の反射波データと、OCTセンサ12bが受信した反射光データとを画像処理装置3へ出力する。
 画像処理装置3は、MDU2を介してIVUSセンサ12aが受信した超音波の反射波データである信号データセットと、OCTセンサ12bが受信した反射光データである信号データセットとを取得する。画像処理装置3は、超音波の信号データセットから超音波ラインデータを生成し、生成した超音波ラインデータに基づいて血管の横断層を撮像した超音波断層画像(IVUS画像)を構築する。また、画像処理装置3は、反射光の信号データセットから光ラインデータを生成し、生成した光ラインデータに基づいて血管の横断層を撮像した光断層画像(OCT画像)を構築する。ここで、IVUSセンサ12a及びOCTセンサ12bが取得する信号データセットと、信号データセットから構築される断層画像とについて説明する。図3は、センサ部12を挿通させた血管の断面を示す説明図であり、図4は断層画像を説明する説明図である。
 まず、図3を用いて、血管内におけるIVUSセンサ12a及びOCTセンサ12bの動作と、IVUSセンサ12a及びOCTセンサ12bによって取得される信号データセット(超音波ラインデータ及び光ラインデータ)について説明する。イメージングコアが血管内に挿通された状態で断層画像の撮像が開始されると、イメージングコアが矢符で示す方向に、シャフト13の中心軸を回転中心として回転する。このとき、IVUSセンサ12aは、各回転角度において超音波の送信及び受信を行う。ライン1,2,…512は各回転角度における超音波の送受信方向を示している。本実施形態では、IVUSセンサ12aは、血管内において360度回動(1回転)する間に512回の超音波の送信及び受信を断続的に行う。IVUSセンサ12aは、1回の超音波の送受信により、送受信方向の1ラインのデータを取得するので、1回転の間に、回転中心から放射線状に延びる512本の超音波ラインデータを得ることができる。512本の超音波ラインデータは、回転中心の近傍では密であるが、回転中心から離れるにつれて互いに疎になっていく。そこで、画像処理装置3は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図4Aに示すような2次元の超音波断層画像(IVUS画像)を生成することができる。
 同様に、OCTセンサ12bも、各回転角度において測定光の送信及び受信を行う。OCTセンサ12bも血管内において360度回動する間に512回の測定光の送信及び受信を行うので、1回転の間に、回転中心から放射線状に延びる512本の光ラインデータを得ることができる。光ラインデータについても、画像処理装置3は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図4Aに示すIVUS画像と同様の2次元の光干渉断層画像(OCT画像)を生成することができる。すなわち、画像処理装置3は、反射光と、例えば画像処理装置3内の光源からの光を分離することで得られた参照光とを干渉させることで生成される干渉光に基づいて光ラインデータを生成し、生成した光ラインデータに基づいて血管の横断層を撮像した光断層画像(OCT画像)を構築する。
 このように512本のラインデータから生成される2次元の断層画像を1フレームのIVUS画像又はOCT画像という。なお、センサ部12は血管内を移動しながら走査するため、移動範囲内において1回転した各位置で1フレームのIVUS画像又はOCT画像が取得される。即ち、移動範囲においてプローブ11の先端側から基端側への各位置で1フレームのIVUS画像又はOCT画像が取得されるので、図4Bに示すように、移動範囲内で複数フレームのIVUS画像又はOCT画像が取得される。
 画像診断用カテーテル1は、IVUSセンサ12aによって得られるIVUS画像又はOCTセンサ12bによって得られるOCT画像と、血管造影装置102によって得られるアンギオ画像との位置関係を確認するために、X線を透過しないマーカを有する。図2に示す例では、カテーテルシース11aの先端部、例えばガイドワイヤ挿通部14にマーカ14aが設けられており、センサ部12のシャフト13側にマーカ12cが設けられている。このように構成された画像診断用カテーテル1をX線で撮像すると、マーカ14a,12cが可視化されたアンギオ画像が得られる。マーカ14a,12cを設ける位置は一例であり、マーカ12cはセンサ部12ではなくシャフト13に設けてもよく、マーカ14aはカテーテルシース11aの先端部以外の箇所に設けてもよい。
 図5は画像処理装置3の構成例を示すブロック図である。画像処理装置3はコンピュータ(情報処理装置)であり、制御部31、主記憶部32、入出力I/F33、補助記憶部34、読取部35を備える。
 制御部31は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)、GPGPU(General-purpose computing on graphics processing units)、TPU(Tensor Processing Unit)等の演算処理装置を用いて構成されている。制御部31は、バスを介して画像処理装置3を構成するハードウェア各部と接続されている。
 主記憶部32は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の一時記憶領域であり、制御部31が演算処理を実行するために必要なデータを一時的に記憶する。
 入出力I/F33は、血管内検査装置101及び血管造影装置102、表示装置4及び入力装置5が接続されるインタフェースである。制御部31は、入出力I/F33を介して、血管内検査装置101からIVUS画像及びOCT画像を取得し、血管造影装置102からアンギオ画像を取得する。また、制御部31は、入出力I/F33を介して、IVUS画像、OCT画像、又はアンギオ画像の医用画像信号を表示装置4へ出力することによって、表示装置4に医用画像を表示する。更に、制御部31は、入出力I/F33を介して、入力装置5に入力された情報を受け付ける。
 入出力I/F33には、例えば、4G、5G又はWiFi等の無線子機から成る通信部が接続され、画像処理装置3は、当該通信部を介して、インターネット等の外部ネットワークに接続されるクラウドサーバ等の外部サーバと通信可能に接続されるものであってもよい。制御部31は、通信部及び外部ネットワークを介して、外部サーバにアクセスし、当該外部サーバに含まれるストレージ装置に保存(記憶)されている医療データ、論文情報等を参照し、情報提供に関する処理(支援情報を提供するための提供処理)を行うものであってもよい。又は、制御部31は、当該外部サーバと例えばプロセス間通信を行うことにより、本実施形態における処理を協働して行うものであってもよい。
 補助記憶部34は、ハードディスク、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリ等の記憶装置である。補助記憶部34は、制御部31が実行するコンピュータプログラムP(プログラム製品)、制御部31の処理に必要な各種データを記憶する。なお、補助記憶部34は画像処理装置3に接続された外部記憶装置であってもよい。コンピュータプログラムP(プログラム製品)は、画像処理装置3の製造段階において補助記憶部34に書き込まれてもよいし、遠隔のサーバ装置が配信するものを画像処理装置3が通信にて取得して補助記憶部34に記憶させてもよい。コンピュータプログラムP(プログラム製品)は、磁気ディスク、光ディスク、半導体メモリ等の記録媒体30に読み出し可能に記録された態様であってもよく、読取部35が記録媒体30から読み出して補助記憶部34に記憶させてもよい。
 画像処理装置3は、複数のコンピュータを含んで構成されるマルチコンピュータであってよい。また、画像処理装置3は、サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、画像処理装置3が1台のコンピュータであるものとして説明する。本実施形態では、画像処理装置3に、2次元のアンギオ画像を撮像する血管造影装置102が接続されているが、生体外の複数の方向から患者の管腔器官及び画像診断用カテーテル1を撮像する装置であれば、血管造影装置102に限定されない。
 本実施形態の画像処理装置3において、制御部31は、補助記憶部34に記憶されたコンピュータプログラムPを読み出して実行することにより、IVUSセンサ12aから受信した信号データセットに基づくIVUS画像、及びOCTセンサ12bから受信した信号データセットに基づくOCT画像を構築する処理を実行する。なお、IVUSセンサ12a及びOCTセンサ12bは、後述するように同じ撮像タイミングでの観察位置にズレが生じるので、制御部31は、IVUS画像及びOCT画像における観察位置のズレを補正する処理を実行する。よって、本実施形態の画像処理装置3は、観察位置を一致させたIVUS画像及びOCT画像を提供することにより、読影し易い画像を提供する。
 本実施形態において、画像診断用カテーテルは、血管内超音波診断法(IVUS)及び光干渉断層診断法(OCT)の両方の機能を備えるデュアルタイプのカテーテルであるとしたが、これに限定されない。画像診断用カテーテルは、血管内超音波診断法(IVUS)、又は光干渉断層診断法(OCT)のいずれかの機能を備えるシングルタイプのカテーテルであってもよい。以降、本実施形態において、画像診断用カテーテルは血管内超音波診断法(IVUS)の機能を有し、当該IVUS機能により生成されたIVUS画像を基に説明する。ただし、本実施形態における説明において、医用画像はIVUS画像に限定されず、OCT画像を医用画像として用いて、本実施形態の処理を行うものであってもよい。
 図6は、第1学習モデル341の一例を示す説明図である。第1学習モデル341は、例えば、物体検出、セマンティックセグメンテーション、又はインスタンスセグメンテーションを行うYOLO又はR-CNN等のニューラルネットワーク(セグメンテーションNN)である。第1学習モデル341は、入力されたIVUS画像群におけるIVUS画像それぞれに基づき、当該IVUS画像に解離(オブジェクト)が含まれているか否か(有無)を出力し、解離(オブジェクト)が含まれている場合(有の場合)はIVUS画像における解離の領域及び推定精度(スコア)を出力するものであってもよい。
 第1学習モデル341は、例えば深層学習による学習済みの畳み込みニューラルネットワーク(CNN:Convolutional neural network)によって構成される。第1学習モデル341は、例えば、IVUS画像等の医用画像が入力される入力層341aと、画像の特徴量(画像特徴量)を抽出する中間層341bと、医用画像に含まれるオブジェクトの位置及び種類を示す情報を出力する出力層341cとを有する。第1学習モデル341の入力層341aは、医用画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層341bに受け渡す。中間層341bは、入力層341aに入力された各画素の画素値を畳み込む畳み込み層と、畳み込み層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、医用画像の画素情報を圧縮しながら画像の特徴量を抽出する。中間層341bは、抽出した特徴量を出力層341cに受け渡す。出力層341cは、画像中に含まれるオブジェクトの画像領域の位置及び範囲並びに種類等を出力する一又は複数のニューロンを有する。第1学習モデル341は、CNNであるものとしたが、第1学習モデル341の構成はCNNに限るものではない。第1学習モデル341は、例えばCNN以外のニューラルネットワーク、U-net等のFCN(fully convolution network)、SegNet、SSD、SPPnet、SVM(Support Vector Machine)、ベイジアンネットワーク、又は、回帰木等の構成の学習済モデルであってよい。又は、第1学習モデル341は、中間層から出力された画像特徴量をSVM(support vector machine) に入力して物体認識を行うものであってもよい。
 第1学習モデル341は、血管解離(以降、解離と記載)等のオブジェクトを含む医用画像と、各オブジェクト(解離等)の位置(領域)及び種類を示すラベルとが対応付けられた訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。このように構成された第1学習モデル341によれば、IVUS画像等の医用画像を第1学習モデル341に入力することによって、当該医用画像に含まれる解離の位置等を示す情報を得ることができる。医用画像に解離が含まれない場合、位置及び種類を示す情報は、第1学習モデル341から出力されない。すなわち、第1学習モデル341は、入力された複数のIVUS画像を、解離が含まれるIVUS画像と、解離が含まれないIVUS画像とに分類する分類器(クラシフィケーション)として機能し、解離有無判定モデルに相当する。制御部31は、第1学習モデル341から取得したこれら情報に基づき、IVUS画像に含まれるオブジェクト(解離)の有無に関するオブジェク情報を導出する。又は、制御部31は、第1学習モデル341から取得した情報自体をオブジェク情報として用いることにより、当該オブジェク情報を導出するものであってもよい。医用画像に含まれるオブジェクトは解離に限定されず、例えば血腫、血栓、ステント内に逸脱したプラーク、脂質性プラーク、繊維性プラーク、石灰化部、心外膜、側枝、静脈、ガイドワイヤ又はステント等を含むものであってもよい。
 制御部31は、各IVUS画像等(フレーム画像)を第1学習モデル341に一枚ずつ入力して処理してもよいが、連続する複数のフレーム画像を同時に入力して、複数のフレーム画像から解離の領域(解離の有無)を同時に検出するものであってもよい。例えば制御部31は、第1学習モデル341を、3次元の入力データを取り扱う3D-CNN(例えば3D U-net)とする。そして制御部31は、2次元のフレーム画像の座標を2軸とし、各フレーム画像を取得した時間(生成時点)tを1軸とする3次元データとして取り扱う。制御部31は、所定の単位時間分の複数フレーム画像(例えば16フレーム)を一セットとして第1学習モデル341に入力し、複数のフレーム画像それぞれに対して解離の領域(解離の有無)にラベルを付した画像を同時に出力する。これにより、時系列で連続する前後のフレーム画像も考慮して解離の領域(解離の有無)を検出することができ、検出精度を向上させることができる。
 図7は、第2学習モデル342(解離角度等推定モデル)の一例を示す説明図である。第2学習モデル342は、第1学習モデル341と同様にCNN等のニューラルネットワークにより構成され、解離が含まれるIVUS画像等の医用画像を入力した場合に該医用画像に含まれる解離の角度及び短軸長を推定する。第2学習モデル342は、解離が含まれるIVUS画像と、当該解離の角度及び短軸長とが、対応付けられた訓練データを用いて学習される。IVUS画像に含まれる解離の角度及び短軸長に関するデータは、医療機関等において大量に保管されており当該データを用いることにより、訓練データを生成することができる。
 本実施形態における図示のとおり、1回のプルバック操作にて生成された複数のIVUS画像(プルバック1回分の全てのIVUS画像)は、第1学習モデル341に入力される。プルバック操作において、センサ部12は、MDU2により一定速度(例えば0.5mm/秒又は1.0mm/秒)で遠位側(Distal)から近位側(Proximal)に向かってプルバックされる。IVUS画像の生成におけるイメージコアの空間分解能は、例えば100から200μmである。例えば、プルバック速度が1.0mm/秒であり、空間分解能が100μmである場合、1秒間に10枚のIVUS画像が生成されるものとなる。この場合、当該10枚のIVUS画像に含まれる血管の長さは、1mmとなる。すなわち、当該10枚のIVUS画像は、0.1mmの距離(離間距離)毎の血管の断層図(縦断層図)を示すものとなる。また、当該10枚のIVUS画像は、0.1秒単位の間隔(生成時点間隔)で生成されるものとなる。このようにIVUS画像が生成される時点(生成時点)と、IVUS画像が示す血管の軸方向の位置(軸方向位置)とは、対応している。例えば、プルバック長さが10cm(100mm)とした場合、10秒のプルバック時間において、1000枚のIVUS画像が生成されるものとなる。血管(管腔器官)の軸方向に沿って、生成したIVUS画像が示す血管の位置に並べると、これら複数のIVUS画像は、プルバック速度及び空間分解能に基づき決定される離間距離に応じて位置するものとなる。これにより、複数のIVUS画像それぞれは、血管の軸方向における位置が特定される。すなわち、生成したIVUS画像の位置とは、当該IVUS画像に含まれる血管の軸方向における位置を示す。
 複数のIVUS画像(プルバック1回分の全てのIVUS画像)は、第1学習モデル341に入力されることにより、IVUS画像に解離が含まれるか否か(有無)に応じて、解離有りのIVUS画像(解離:有)と、解離無しIVUS画像(解離:無)とに分類される。解離有りのIVUS画像(解離:有)は、第2学習モデル342に入力され、個々のIVUS画像に含まれる解離の角度及び短軸長が、当該第2学習モデル342の推定結果として出力される。解離の角度は、血管の断層像において、中膜が動脈走行に沿って2層に剥離(フラップ)している範囲(円弧)に対応する中心角である。解離の短軸長は、解離の角度(中心角)にて特定される円弧における弦の長さである。このように直列に接続される第1学習モデル341及び第2学習モデル342を用いることにより、制御部31は、個々のIVUS画像に含まれる解離の角度及び短軸長を導出(取得)することができる。
 本実施形態において、制御部31は、直列に接続される第1学習モデル341及び第2学習モデル342を用いるがこれに限定されない。制御部31は、IVUS画像が入力された場合に解離の領域を抽出(セグメンテーション)し、抽出した解離の領域に応じた角度及び短軸長を推定する単一の学習モデルを用いるものであってもよい。
 制御部31は、第2学習モデル342に替えて、例えばエッジ検出又はパターン検出にて解離の領域を抽出し、抽出した領域の画素解析又は画像座標系における演算処理等にて解離の角度及び短軸長を算出するものであってもよい。制御部31は、例えば、第1学習モデル341によってセグメンテーションされた解離の領域の画素を特定し、当該画素に基づき近似曲線(円弧)を導出して、当該近似曲線(円弧)の両端を結ぶ直線の長さを短軸長として算出するものであってもよい。制御部31は、当該両端から、内腔(Lumen)の重心又は血管(Vessel)の中心に向かう線分の内角を、解離の角度とするものであってもよい。
 解離有りのIVUS画像(解離:有)として検出(分類)された複数のIVUS画像は、血管の軸方向に沿って位置するものとなり、制御部31は、当該複数のIVUS画像(解離:有)に基づき、解離の長軸長を導出(算出)する。上述のとおり、IVUS画像それぞれは、空間分解能(生成時点間隔)に基づき、血管の軸方向における遠位側から近位側に向かって、生成時点の順番にて配置される。
 制御部31は、解離有りとして分類された複数のIVUS画像(解離:有)において、生成時点又は生成時点に応じたフレーム番号に基づき、最も遠位側に位置するIVUS画像と、最も近位側に位置するIVUS画像とを抽出(特定)する。当該フレーム番号が生成された時点に基づきインクリメント処理して付与されている場合、解離有りとして分類された複数のIVUS画像(解離:有)において、最もフレーム番号が小さいIVUS画像が最も遠位側に位置するIVUS画像に相当し、最もフレーム番号が大きいIVUS画像が最も近位側に位置するIVUS画像に相当する。
 制御部31は、これら遠位側及び近位側の両端に位置する2つのIVUS画像それぞれのフレーム番号を特定し、これらフレーム番号の差異と、IVUS画像の生成における空間分解能に基づき、当該2つのIVUS画像の間の距離を、解離の長軸長として算出(導出)する。例えば、当該フレーム番号の差異が4、空間分解能が100μm(0.1mmの離間距離)である場合、解離の長軸長は、0.4mm(0.4=4*0.1)となる。
 画像処理装置3の制御部31は、医師等、画像診断用カテーテル1の操作者の操作に応じて入力装置5から出力される入力データ等に基づき、以下の処理を実行する。
 図8は、制御部による情報処理手順を示すフローチャートである。制御部31は、IVUS画像を取得する(S101)。制御部31は、プルバックして得たIVUS画像群の読み込みを行うことにより、これら複数のIVUS画像からなる医用画像を取得する。当該複数のIVUS画像は、プルバック1回分の全てのIVUS画像に相当するものであり、個々のIVUS画像には、例えば生成時点に応じたフレーム番号が付与されている。当該フレーム番号が生成された時点に基づきインクリメント処理されている場合、個々のIVUS画像に付与されるフレーム番号は、遠位側から近位側に向かって増加する番号体系となる。
 制御部31は、IVUS画像に解離が含まれているか否かを判定する(S102)。制御部31は、取得した複数のIVUS画像において、例えば遠位側に位置するIVUS画像から順次、第1学習モデル341に入力し、当該第1学習モデル341による判定結果を取得することにより、IVUS画像に解離が含まれているか否かを判定する。
 IVUS画像に解離が含まれている場合(S102:YES)、制御部31は、解離の角度及び短軸長を導出する(S103)。制御部31は、IVUS画像に解離が含まれている場合、当該IVUS画像を第2学習モデル342に入力し、当該第2学習モデル342による推定結果を取得することにより、当該解離の角度及び短軸長を導出する。
 制御部31は、導出した角度及び短軸長と、IVUS画像とを関連付けて記憶する(S104)。制御部31は、第2学習モデル342を用いて導出した角度及び短軸長と、例えば、IVUS画像のフレーム番号とを関連付け、配列形式にて補助記憶部34に記憶(配列変数に格納)する。
 IVUS画像に解離が含まれていない場合(S102:NO)、又はS104の処理後、制御部31は、全てのIVUS画像に対する処理を行ったか否かを判定する(S105)。全てのIVUS画像に対する処理を行っていない場合(S105:NO)、制御部31は、再度S102の処理を実行すべく、ループ処理を行う。当該ループ処理を行うことにより、全てのIVUS画像が、解離の有無に基づき分類される。
 全てのIVUS画像に対する処理を行った場合(S105:YES)、制御部31は、解離が含まれているIVUS画像に基づき、解離の長軸長を導出する(S106)。解離が含まれているIVUS画像のフレーム番号には、当該解離の角度及び短軸長が関連付けられている。当該フレーム番号が生成された時点に基づきインクリメント処理して付与されている場合、制御部31は、角度等が関連付けられているフレーム番号において、最もフレーム番号が小さいIVUS画像を最も遠位側に位置するIVUS画像として特定し、最もフレーム番号が大きいIVUS画像を最も近位側に位置するIVUS画像として特定する。制御部31は、特定した2つのIVUS画像それぞれのフレーム番号の差異と、IVUS画像の生成における空間分解能に基づき、当該2つのIVUS画像の間の距離を、解離の長軸長として算出(導出)する。
 制御部31は、アンギオ画像を取得する(S107)。上述のとおり、画像診断用カテーテル1にはX線を透過しないマーカ(マーカ14a、マーカ12c)が設けられている。アンギオ画像において画像診断用カテーテル1(マーカ)の位置が可視化されるため、制御部31は、当該マーカに基づき、解離が検出された医用画像に対応するアンギオ画像、すなわち当該医用画像が示す体内部位を含むアンギオ画像を特定及び取得することができる。制御部31は、IVUS画像とアンギオ画像とのレジストレーション(位置同期)を行うコレジストレーション機能を用いて、解離が検出されたIVUS画像に対応するアンギオ画像を特定するものであってもよい。制御部31は、アンギオ画像を表示するにあたり、当該アンギオ画像に含まれる解離のある血管の部分を抽出して表示装置に出力し表示するものであってもよい。制御部31は、アンギオ画像に対しても、IVUS画像に用いた第1学習モデル等と同様のセグメンテーション機能を有するニューラルネットワーク等の学習モデル又は、クラシフィケーションとGrad-CAM等の判断根拠手法を用いて解離のある血管部分を抽出し、IVUS画像による解離の位置等の判断と比較することで支援情報の信頼度を担保するものであってもよい。解離を含むと判定されたIVUS画像に対応するアンギオ画像を組み合わせることにより判断根拠を増強させることができる。このように医師等に提供される支援情報には、解離が検出された医用画像及び当該医用画像に対応するアンギオ画像が含まれるため、解離を評価するにあたり有用な情報を効率的に表示することができる。制御部31は、解離を含むと判定されたIVUS画像によって特定される血管の部分(血管の軸方向における範囲)を参照部として設定し、当該参照部における血管径(EEM)及び内腔径を算出するものであってもよい。制御部は、算出した血管径(EEM)及び内腔径についても、表示画面に重畳して表示装置4に表示させるものであってもよい。
 制御部31は、解離に関する情報を出力する(S108)。制御部31は、解離に関する情報を医師等に提供する支援情報として表示装置4に出力し、当該支援情報を表示装置4に表示させる。当該解離に関する情報(支援情報)は、個々のIVUS画像における解離の角度及び短軸長と、解離が発生している血管の軸方向の長軸長とを含む。
 図9は、解離に関する情報(支援情報)の表示例を示す説明図である。当該表示例において、血管の軸方向の断層図となる横断層図と、血管の径方向の断層図となる縦断層図とが、上下に並べて表示される。縦断層図においては、IVUS画像に含まれる解離を示す領域、解離の角度及び短軸長を示す矢印等の図形が重畳され、当該角度及び短軸長の値がアノテーション表示されている。本実施形態における図示のとおり、解離の角度は、血管の縦断層像において、中膜が動脈走行に沿って2層に剥離(フラップ)している範囲(円弧)に相当し、例えば内腔の重心を中心とする中心角にて示される。解離の短軸長は、解離の角度(中心角)にて特定される円弧における弦の長さにて示される。横断層図においては、解離が発生している領域を示す矢印等の図形が重畳され、当該解離の長軸長の値がアノテーション表示されている。解離が発生している領域を示すIVUS画像のフレーム番号についても併せて表示するものであってもよい。制御部31は、例えば、解離が発生している領域において、最も遠位側のIVUS画像のフレーム番号、最も近位側のIVUS画像のフレーム番号、及び現在選択(表示)されている縦断層部のフレーム番号を、表示するものであてもよい。
 解離が含まれるIVUS画像(縦断層図)に隣接して、当該IVUS画像が示す体内部位を含むアンギオ画像が表示される。マーカ等に基づき特定されるアンギオ画像において、IVUS画像(縦断層図)が示す血管の部位(解離が発生している部位)との位置関係を示す線図が付与されて表示されるものであってもよい。制御部31は、当該表示例による表示画面を生成するための画面データを表示装置4に出力し、当該表示画面を表示装置4に表示させるものであってもよい。
 本実施形態によれば、画像処理装置3(制御部31)は、第1学習モデル341に医用画像(IVUS画像)を入力し、当該第1学習モデル341が検出(推定)した解離の有無に関する情報を取得する。従って、血管の軸方向に沿って生成された複数の医用画像それぞれにおいて、解離の有無を効率的に判定し、当該複数の医用画像を、解離有りの医用画像と、解離無しの医用画像とに分類することができる。画像処理装置3は、解離有りの医用画像を抽出し、表示装置4に出力することにより、解離に関する情報を表示装置4に表示させるため、医師等の画像診断用カテーテル1の操作者に対する支援情報を効率的に提供することができる。画像処理装置3は、解離有りの医用画像を第2学習モデル342に入力することにより、当該医用画像に含まれる解離の角度及び短軸長を効率的に導出することができる。医師等に提供される支援情報には、解離の角度及び短軸長が含まれるため、解離を評価するにあたり有用な情報を効率的に表示することができる。
 本実施形態によれば、画像処理装置3は、解離が検出された複数の医用画像を特定することにより、医用画像が示す血管の軸方向における位置に基づき、解離が発生している血管の軸方向の長軸長を導出する。医師等に提供される支援情報には、血管の軸方向において解離が発生している位置(範囲)、及び当該解離の長軸長が含まれるため、解離を評価するにあたり有用な情報を効率的に表示することができる。
(実施形態2)
 図10は、実施形態2(解離の分類)における制御部31による情報処理手順を示すフローチャートである。画像処理装置3の制御部31は、医師等、画像診断用カテーテル1の操作者の操作に応じて入力装置5から出力される入力データ等に基づき、以下の処理を実行する。
 制御部31は、IVUS画像を取得する(S201)。制御部31は、IVUS画像に解離が含まれているか否かを判定する(S202)。制御部31は、実施形態1の処理S101及びS102と同様に、S201及びS202の処理を行う。
 制御部31は、解離の分類を特定する(S203)。実施形態2の第1学習モデル341は、入力された医用画像に含まれる解離の分類(種類)を推定するように学習されている。第1学習モデル341は、各分類の解離を含むIVUS画像と、解離の領域が特定され当該解離の分類(クラス)が付与されたラベル画像とが、対応付けられた訓練データにより学習されている。第1学習モデル341の出力層は、例えばソフトマックス層によって構成されており、第1学習モデル341は、入力された医用画像に含まれる解離が、予め学習されている(定義されている)複数の分類(種類)において、いずれの分類(種類)に該当するかの確率を推定するものであってもよい。解離の分類(種類)は、例えば、例えば、スタンフォード(Stanford)分類(解離の範囲による分類)、ドゥベーキー(DeBakey)分類(偽腔の血流による分類)、又はアンギオ画像による分類(クラシフィケーション)によるものであってもよい。スタンフォード(Stanford)分類は、A型(上行大動脈に解離があるもの)、及びB型(上行大動脈に解離がないもの)の分類を含む。ドゥベーキー(DeBakey)分類は、I型(上行大動脈にtear(裂け目)があり、弓部大動脈より末梢に解離が及ぶもの)、II型(上行大動脈に解離が限局するもの)、III型(下行大動脈にtearがあるもの)、IIIa型(腹部大動脈に解離が及ばないもの)、及びIIIb型(腹部大動脈に解離が及ぶもの)の分類を含む。アンギオ画像による分類(クラシフィケーション)は、Type:A(luminal haziness)、Type:B(linear dissection)、Type:C(xtra-luminal contrast)、Type:D(spiral dissection)、Type:E(dissection with persistent)、及びType:F(dissection with total occlusion)の分類を含む。制御部31は、第1学習モデル341が推定した各分類の確率に基づき、最も大きな確率値の分類を、IVUS画像に含まれる解離の分類(種類)として特定する。
 制御部31は、解離の角度及び短軸長を導出する(S204)。制御部31は、導出した分類、角度及び短軸長と、IVUS画像とを関連付けて記憶する(S205)。制御部31は、全てのIVUS画像に対する処理を行ったか否かを判定する(S206)。制御部31は、解離が含まれているIVUS画像に基づき、解離の長軸長を導出する(S207)。1回のプルバック操作にて取得した複数のIVUS画像において、複数の分類の解離が含まれている場合、制御部31は、当該分類毎の解離の長軸長を導出するものであってもよい。制御部31は、アンギオ画像を取得する(S208)。制御部31は、実施形態1の処理S103及びS107と同様に、S204及びS208の処理を行う。
 制御部31は、解離に関する情報を出力する(S209)。制御部31は、解離に関する情報を医師等に提供する支援情報として表示装置4に出力し、当該支援情報を表示装置4に表示させる。当該解離に関する情報(支援情報)は、個々のIVUS画像における解離の分類、角度及び短軸長と、解離が発生している血管の軸方向の長軸長とを含む。制御部31は、実施形態1と同様の表示例(表示画面)にて、これら解離に関する情報(支援情報)を表示装置4に表示させるものであってもよい。 
 制御部31は、解離に関する情報を、解離に関する情報が入力された場合に当該解離の処置方法に関する情報を出力する学習モデル(解離処置推定モデル)に入力することにより、解離の処置方法に関する情報を取得するものであってもよい。当該学習モデル(解離処置推定モデル)は、第1学習モデル341又は第2学習モデル342等と同様の構成を成し、解離に関する情報及び処置方法に関する情報を含む教師データによって学習されており補助記憶部34に記憶されている。処置方法に関する情報の取得は、学習モデル(解離処置推定モデル)を用いるとしたがこれに限定されず、解離に関する情報及び処置方法に関する情報が、関連(対応)付けられたテーブル情報を用いるものであってもよい。当該解離の処置方法に関する情報は、例えば、処置デバイス、当該処置デバイスの使用手順及び、当該処置デバイスによる追加処置が行われたことにより発生し得る合併症の種類、頻度、又は双方を含むものであってもよい。解離に関する情報は、当該解離の角度及び短軸長と、解離が発生している血管の軸方向の長軸長とを含むものであり、すなわち解離の状態を示す。更に解離に関する情報には、当該状態に応じた分類が含まれる。このように解離に関する情報を学習モデル(解離処置推定モデル)に入力することにより、制御部31は、解離の状態又は該状態によって決定される分類に応じた解離の処置方法に関する情報を取得することができる。制御部31は、取得した解離の処置方法に関する情報を表示装置4に出力することにより、当該情報を医師等に提供(提示)することができる。
 制御部31は、解離に関する情報を、解離に関する情報が入力された場合に当該解離の状態及び当該状態によって決定される合併症情報を出力する学習モデル(合併症推定モデル)に入力することにより、解離の状態及び当該状態によって決定される合併症情報を取得するものであってもよい。当該学習モデル(合併症推定モデル)は、第1学習モデル341又は第2学習モデル342等と同様の構成を成し、解離に関する情報と、解離の状態及び当該状態によって決定される合併症情報とを含む教師データによって学習されており補助記憶部34に記憶されている。合併症情報等の取得は、学習モデル(合併症推定モデル)を用いるとしたがこれに限定されず、解離に関する情報と、解離の状態及び当該状態によって決定される合併症情報とが関連(対応)付けられたテーブル情報を用いるものであってもよい。解離の状態とは、例えば、解離の進行度、発症からの経過期間等の詳細状態を含む。合併症情報は、例えば、合併症内容及び合併症の発生頻度を含むものであってもよい。このように解離に関する情報を学習モデル(合併症推定モデル)に入力することにより、制御部31は、解離の詳細状態及び当該状態によって決定される合併症情報を取得することができる。制御部31は、取得した合併症情報等を表示装置4に出力することにより、当該情報を医師等に提供(提示)することができる。
 本実施形態によれば、画像処理装置3は、解離の分類を検出する第1学習モデル341を用いることにより、複数の医用画像それぞれに含まれる解離の分類を効率的に特定することができる。医師等に提供される支援情報には、特定した解離の分類が含まれるため、解離を評価するにあたり有用な情報を効率的に表示することができる。
 今回開示された実施の形態は全ての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、請求の範囲内での全ての変更及び請求の範囲と均等の範囲が含まれることが意図される。
 1 画像診断用カテーテル
 11 プローブ
 11a カテーテルシース
 12 センサ部
 12a 超音波送受信部
 12a IVUSセンサ
 12b 光送受信部
 12b OCTセンサ
 12c マーカ
 12d ハウジング
 13 シャフト
 14 ガイドワイヤ挿通部
 14a マーカ
 15 コネクタ部
 2 MDU
 3 画像処理装置(情報処理装置)
 30 記録媒体
 31 制御部
 32 主記憶部
 33 入出力I/F
 34 補助記憶部
 341 第1学習モデル(解離有無判定モデル)
 342 第2学習モデル(解離角度等推定モデル)
 35 読取部
 4 表示装置
 5 入力装置
 100 画像診断装置
 101 血管内検査装置
 102 血管造影装置
 

Claims (9)

  1.  コンピュータに、
     血管に挿入されたカテーテルにて検出した信号に基づき、血管の軸方向に沿って生成された複数の医用画像を取得し、
     抽出した前記複数の医用画像を、医用画像を入力した場合に該医用画像に含まれる解離の有無を出力する第1学習モデルに入力することによって、前記複数の医用画像に含まれる解離の有無を判定し、
     前記医用画像に解離が含まれる場合、該解離に関する情報を出力する
     処理を実行させるためのコンピュータプログラム。
  2.  前記医用画像に解離が含まれる場合、医用画像を入力した場合に該医用画像に含まれる解離の角度及び短軸長を推定する第2学習モデルに入力することによって、前記医用画像に含まれる解離の角度及び短軸長を導出し、
     導出した前記角度及び前記短軸長を、前記解離に関する情報に含めて出力する
     請求項1に記載のコンピュータプログラム。
  3.  前記解離が含まれる医用画像に基づき、前記解離が発生している血管の軸方向の長軸長を導出し、
     導出した前記長軸長を、前記解離に関する情報に含めて出力する
     請求項1又は請求項2に記載のコンピュータプログラム。
  4.  前記解離が含まれる複数の医用画像のうち、前記血管の軸方向において最も遠位側の医用画像と最も近位側の医用画像とを抽出し、
     前記抽出した2つの医用画像と、前記複数の医用画像を生成する際の空間分解能とに基づき、前記解離が発生している血管の軸方向の長軸長を導出する
     請求項3に記載のコンピュータプログラム。
  5.  前記第1学習モデルは医用画像を入力した場合に該医用画像に含まれる解離の分類を出力するように学習されており、
     抽出した前記複数の医用画像を、前記第1学習モデルに入力することによって、前記複数の医用画像に含まれる解離の分類を特定し、
     特定した前記解離の分類を、前記解離に関する情報に含めて出力する
     請求項1から請求項4のいずれか1項に記載のコンピュータプログラム。
  6.  前記解離の状態又は該状態によって決定される分類に応じて、前記解離の処置方法に関する情報を出力し、
     前記処置方法に関する情報は、処置デバイス、該処置デバイスの使用手順、及び処置が行われることにより発生し得る合併症の種類又は頻度を含む
     請求項1から請求項5のいずれか1項に記載のコンピュータプログラム。
  7.  前記解離の状態又は該状態によって決定される合併症情報を出力し、
     前記合併症情報は、合併症内容及び合併症の発生頻度を含む
     請求項1から請求項6のいずれか1項に記載のコンピュータプログラム。
  8.  コンピュータに、
     血管に挿入されたカテーテルにて検出した信号に基づき、血管の軸方向に沿って生成された複数の医用画像を取得し、
     抽出した前記複数の医用画像を、医用画像を入力した場合に該医用画像に含まれる解離の有無を出力する第1学習モデルに入力することによって、前記複数の医用画像に含まれる解離の有無を判定し、
     前記医用画像に解離が含まれる場合、該解離に関する情報を出力する
     処理を実行させる情報処理方法。
  9.  血管に挿入されたカテーテルにて検出した信号に基づき、血管の軸方向に沿って生成された複数の医用画像を取得する取得部と、
     抽出した前記複数の医用画像を、医用画像を入力した場合に該医用画像に含まれる解離の有無を出力する第1学習モデルに入力することによって、前記複数の医用画像に含まれる解離の有無を判定する判定部と、
     前記医用画像に解離が含まれる場合、該解離に関する情報を出力する出力部と
     を備える情報処理装置。
     
PCT/JP2022/010175 2021-03-29 2022-03-09 コンピュータプログラム、情報処理方法及び情報処理装置 WO2022209652A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023510767A JPWO2022209652A1 (ja) 2021-03-29 2022-03-09

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-055866 2021-03-29
JP2021055866 2021-03-29

Publications (1)

Publication Number Publication Date
WO2022209652A1 true WO2022209652A1 (ja) 2022-10-06

Family

ID=83458680

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010175 WO2022209652A1 (ja) 2021-03-29 2022-03-09 コンピュータプログラム、情報処理方法及び情報処理装置

Country Status (2)

Country Link
JP (1) JPWO2022209652A1 (ja)
WO (1) WO2022209652A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016067438A (ja) * 2014-09-26 2016-05-09 テルモ株式会社 画像診断装置
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning
US20190105008A1 (en) * 2017-10-10 2019-04-11 International Business Machines Corporation Detection and characterization of aortic pathologies
CN109700527A (zh) * 2019-01-03 2019-05-03 北京理工大学 主动脉夹层的模型建立方法、模型及模拟手术检测方法
CN110742633A (zh) * 2019-10-29 2020-02-04 慧影医疗科技(北京)有限公司 B型主动脉夹层术后风险预测方法、装置和电子设备
CN111640106A (zh) * 2020-06-02 2020-09-08 中国医学科学院阜外医院深圳医院(深圳市孙逸仙心血管医院) 一种基于人工智能的多模态医学影像的转换方法
JP2020171480A (ja) * 2019-04-10 2020-10-22 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理システム
JP2021036932A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 情報処理装置、断層撮影装置、情報処理方法およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016067438A (ja) * 2014-09-26 2016-05-09 テルモ株式会社 画像診断装置
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning
US20190105008A1 (en) * 2017-10-10 2019-04-11 International Business Machines Corporation Detection and characterization of aortic pathologies
CN109700527A (zh) * 2019-01-03 2019-05-03 北京理工大学 主动脉夹层的模型建立方法、模型及模拟手术检测方法
JP2020171480A (ja) * 2019-04-10 2020-10-22 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理システム
JP2021036932A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 情報処理装置、断層撮影装置、情報処理方法およびプログラム
CN110742633A (zh) * 2019-10-29 2020-02-04 慧影医疗科技(北京)有限公司 B型主动脉夹层术后风险预测方法、装置和电子设备
CN111640106A (zh) * 2020-06-02 2020-09-08 中国医学科学院阜外医院深圳医院(深圳市孙逸仙心血管医院) 一种基于人工智能的多模态医学影像的转换方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "GUIDELINE LIST, cardiovascular disease guideline series", JAPANESE CIRCULATION SOCIETY, 31 July 2020 (2020-07-31), pages 93 - 126, XP055973781, Retrieved from the Internet <URL:https://www.j-circ.or.jp/guideline/guideline-series/> [retrieved on 20221021] *
SAILER ANNA M., VAN KUIJK SANDER M.J., NELEMANS PATRICIA J., CHIN ANNE S., KINO AYA, HUININGA MARK, SCHMIDT JOHANNA, MISTELBAUER G: "Computed Tomography Imaging Features in Acute Uncomplicated Stanford Type-B Aortic Dissection Predict Late Adverse Events", CIRCULATION. CARDIOVASCULAR IMAGING, LIPPINCOTT, WILLIAMS & WILKINS, US, vol. 10, no. 4, 1 April 2017 (2017-04-01), US , XP055973779, ISSN: 1941-9651, DOI: 10.1161/CIRCIMAGING.116.005709 *

Also Published As

Publication number Publication date
JPWO2022209652A1 (ja) 2022-10-06

Similar Documents

Publication Publication Date Title
JP5944917B2 (ja) 身体内腔分岐を検出及び表示するためのコンピュータ可読媒体及び同コンピュータ可読媒体を含むシステム
US8787635B2 (en) Optimization of multiple candidates in medical device or feature tracking
JP7152955B2 (ja) 動作ベースの画像セグメント化のシステムおよび方法
US20230020596A1 (en) Computer program, information processing method, information processing device, and method for generating model
US20240013385A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
JP7489882B2 (ja) コンピュータプログラム、画像処理方法及び画像処理装置
US20240013514A1 (en) Information processing device, information processing method, and program
WO2022209652A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
WO2023054467A1 (ja) モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置
WO2022209657A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
WO2022202302A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
WO2023132332A1 (ja) コンピュータプログラム、画像処理方法及び画像処理装置
WO2023189308A1 (ja) コンピュータプログラム、画像処理方法及び画像処理装置
WO2022202323A1 (ja) プログラム、情報処理方法及び情報処理装置
JP2020092816A (ja) 医用画像処理装置、x線ct装置及び医用画像処理方法
WO2022202320A1 (ja) プログラム、情報処理方法及び情報処理装置
WO2024071322A1 (ja) 情報処理方法、学習モデルの生成方法、コンピュータプログラム及び情報処理装置
CN113645907B (zh) 诊断支援装置、诊断支援系统以及诊断支援方法
US20230017334A1 (en) Computer program, information processing method, and information processing device
JP2022146619A (ja) コンピュータプログラム、画像処理方法及び画像処理装置
WO2024071321A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
WO2020217860A1 (ja) 診断支援装置及び診断支援方法
WO2022209705A1 (ja) プログラム、画像処理方法及び画像処理装置
JP2022146620A (ja) コンピュータプログラム、画像処理方法及び画像処理装置
JP2024050046A (ja) コンピュータプログラム、情報処理方法及び情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22779875

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023510767

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22779875

Country of ref document: EP

Kind code of ref document: A1