JP2023521188A - ユーザ入力に基づいて血管映像を処理する方法及び装置 - Google Patents

ユーザ入力に基づいて血管映像を処理する方法及び装置 Download PDF

Info

Publication number
JP2023521188A
JP2023521188A JP2022562149A JP2022562149A JP2023521188A JP 2023521188 A JP2023521188 A JP 2023521188A JP 2022562149 A JP2022562149 A JP 2022562149A JP 2022562149 A JP2022562149 A JP 2022562149A JP 2023521188 A JP2023521188 A JP 2023521188A
Authority
JP
Japan
Prior art keywords
blood vessel
image processing
region
target
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022562149A
Other languages
English (en)
Other versions
JP7427294B2 (ja
Inventor
ジフーン クウェオン
ヨンハク キム
キョソク ソン
ヒー クォン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medipixel Inc
Original Assignee
Medipixel Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medipixel Inc filed Critical Medipixel Inc
Publication of JP2023521188A publication Critical patent/JP2023521188A/ja
Priority to JP2024005155A priority Critical patent/JP2024059614A/ja
Application granted granted Critical
Publication of JP7427294B2 publication Critical patent/JP7427294B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20096—Interactive definition of curve of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Vascular Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

プロセッサによって行われる血管映像から血管映像を処理する方法は、血管映像から対象血管を抽出するステップと、ユーザから受信される第１入力に基づいて前記対象血管の抽出結果に対する関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）を決定するステップと、前記決定された関心領域内で前記ユーザから受信される第２入力に基づいて前記抽出結果のエラー部位を識別し、前記識別されたエラー部位を修正するステップとを含む。

Description

以下、血管映像を処理する方法に関する技術が提供される。
血管造影術（ａｎｇｉｏｇｒａｐｈｙ）映像は、主な血管を観察して血管内の問題部位を診断して必要な施術及び措置をするために広範囲に活用されている。従来には、便宜性を高めて診断結果を定量化するために、血管映像から主な血管を自動識別する映像処理エンジンが利用されている。例えば、Ｐｉメディカル社のＣａａｓ ＱＣＡエンジンは、血管造営映像で主な血管を探して表示することができる。一方、エンジンから抽出された主な血管は、実際に抽出しなければならない主な血管部位ではない他の血管部位（ｍｉｓｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に該当し、一部が切れている（ｄｉｓｃｏｎｎｅｃｔｉｏｎ）など、エラーを示す場合が多い。したがって、臨床では、エンジンが主な血管を１次抽出した識別結果をそのまま使用されることができず、人力が投入されて血管造営映像を確認して前記エラーを人力が直接修正して活用して格納する。
一実施形態によれば、プロセッサによって行われる血管映像処理方法は、血管映像から対象血管を抽出するステップと、ユーザから受信される第１入力に基づいて前記対象血管の抽出結果に対する関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）を決定するステップと、前記決定された関心領域内で前記ユーザから受信される第２入力に基づいて前記抽出結果のエラー部位を識別し、前記識別されたエラー部位を修正するステップとを含む。
一実施形態に係る血管映像処理方法の前記関心領域を決定するステップは、前記第１入力が検出される地点に基づいて前記関心領域の形態を決定するステップを含むことができる。
一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記第２入力が前記関心領域内の複数の地点から検出される場合に応答して、前記第２入力の前記複数の地点に基づいてエラー部位を修正するステップを含むことができる。
一実施形態に係る血管映像処理方法の前記複数の地点に基づいてエラー部位を修正するステップは、前記第２入力に対応する地点が前記対象血管から抽出された領域に沿って移動する間に、前記第２入力が通過した地点で断絶部位が存在するかを検出するステップと、前記断絶部位が検出される場合に応答して、前記第２入力の移動軌跡に沿って断絶した部位を連結するステップとを含むことができる。
一実施形態に係る血管映像処理方法の前記移動軌跡に基づいてエラー部位を修正するステップは、前記第２入力に対応する地点が前記対象血管から抽出された領域内の分枝地点から前記対象血管を離脱した領域に移動する場合に応答して、前記分枝地点と連結された血管分枝のうち、前記第２入力の移動軌跡に対応する領域の外側に位置する血管分枝を誤認部位として決定するステップと、前記対象血管を離脱した前記第２入力によって指示される血管分枝に交替し、前記交替された血管分枝に基づいて残りの抽出結果を修正するステップとを含むことができる。
一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記関心領域の決定に応答して、前記対象血管の抽出結果から前記エラー部位を識別して前記識別されたエラー部位を修正するステップと、前記エラー部位の修正結果をユーザに提供するステップとを含むことができる。
一実施形態に係る血管映像処理方法の前記修正結果をユーザに提供するステップは、前記エラー部位が誤認部位である場合に応答して、１つ以上の候補分枝をユーザに提供するステップと、前記ユーザから前記１つ以上の候補分枝のいずれか１つの分枝に対するポインティング入力を受信する場合に応答して、前記エラー部位に対応する分枝を選択された分枝に交替するステップとをさらに含むことができる。
一実施形態に係る血管映像処理方法の前記修正結果をユーザに提供するステップは、前記修正結果に対して複数の地点でユーザ入力が検出される場合に応答して、前記ユーザ入力の開始地点に対応する血管分枝に対応する領域及び前記ユーザ入力の終了地点に対応する血管分枝に対応する領域を連結するステップを含むことができる。
一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記関心領域が決定される場合に応答して、前記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明るさ情報のうち少なくとも１つに基づいて前記エラー部位を識別するステップを含むことができる。
一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記エラー部位が識別される場合に応答して、前記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明るさ情報のうち少なくとも１つに基づいて前記エラー部位を修正するステップを含むことができる。
一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記エラー部位が識別された場合に応答して、前記対象血管に対する複数の新しい抽出結果を生成するステップと、ユーザの選択入力に応答して、前記複数の新しい抽出結果のうち前記選択入力によって指示される１つの抽出結果を選択するステップとを含むことができる。
一実施形態に係る血管映像処理装置は、血管映像を受信する映像受信部と、前記血管映像から対象血管を抽出し、ユーザから受信される第１入力に基づいて前記対象血管の抽出結果に対する関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）を決定し、前記決定された関心領域内で前記ユーザから受信される第２入力に基づいて前記抽出結果のエラー部位を識別と前記識別されたエラー部位を修正するプロセッサとを含む。
一実施形態に係る血管映像処理装置によって行われる血管映像を処理する方法は、造影剤が挿入された血管映像から主な血管に対応する対象血管を抽出することができる。一実施形態に係る血管映像処理装置は、ユーザの入力を受信して関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）を決定し、関心領域内でユーザから受信される入力に基づいてエラー部位を識別して修正することができる。
一実施形態に係る血管映像を処理する方法を示すフローチャートである。 一実施形態に係る対象血管及び関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）が表示された血管映像を示す図である。 一実施形態に係る対象血管及び関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）が表示された血管映像を示す図である。 一実施形態に係る対象血管及び関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）が表示された血管映像を示す図である。 一実施形態に係る対象血管の抽出結果でエラー部位が発生した例示を示す。 関心領域内でユーザから受信される第２入力に基づいて抽出結果のエラー部位を識別し、識別されたエラー部位を修正する方法を示す。 関心領域内でユーザから受信される第２入力に基づいて抽出結果のエラー部位を識別し、識別されたエラー部位を修正する方法を示す。 関心領域内でユーザから受信される第２入力に基づいて抽出結果のエラー部位を識別し、識別されたエラー部位を修正する方法を示す。 一実施形態に係るエラー部位を修正する方法を示す。 一実施形態に係るエラー部位を修正する方法を示す。 血管分枝に対応するノードに基づいた血管構造データのトポロジーを用いて対象血管のエラーを識別する方法を示す。 一実施形態に係るエラー部位を修正する方法を示す。 一実施形態に係るエラー部位を修正する方法を示す。 対象血管の曲率情報を用いて対象血管のエラーを識別して修正する方法を示す。 対象血管の直径情報を用いて対象血管のエラーを識別して修正する方法を示す。 対象血管の明るさ情報を用いて対象血管のエラーを識別して修正する方法を示す。 一実施形態に係る血管映像処理装置を概略的に示すブロック図である。
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
第１又は第２などの用語を様々な構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名することができる。
いずれかの構成要素が他の構成要素に「連結」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なるように定義さがれない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。以下、添付する図面を参照しながら実施形態を詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。
図１は、一実施形態に係る血管映像を処理する方法を示すフローチャートである。
まず、ステップ１１０において、血管映像処理装置は、血管映像（ｂｌｏｏｄ ｖｅｓｓｅｌ ｉｍａｇｅ）から対象血管（ｔａｒｇｅｔ ｖｅｓｓｅｌ）を抽出する。対象血管は、主血管のように示してもよい。一実施形態によれば、血管映像処理装置の映像受信部は、血管映像撮影装置によって撮影された血管映像を受信する。血管映像は、生体（ｌｉｖｉｎｇ ｂｏｄｙ）の血管を撮影した映像であって、血管造影検査（ｃｏｒｏｎａｒｙ ａｎｇｉｏｇｒａｐｈｙ、以下ＣＡＧ）映像及び／又は磁気共鳴映像（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ、以下、ＭＲＩ）を用いて生成されてもよい。例示的に、血管映像は、造影剤の注入された生体に対してＸ線撮影することによって取得された映像であり得る。
一実施形態によれば、血管映像処理装置は、機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）に基づいて血管映像から対象血管を抽出することができる。機械学習モデルは、血管映像の入力に応答して、血管映像から対象血管を抽出するように設計された機械学習構造を有する１つ以上のモデルとして、例えば、ニューラルネットワークを含んでもよい。血管映像処理装置は、受信された血管映像に対して上述した機械学習モデルによる演算を行うことで、対象血管の抽出結果を算出することができる。例えば、機械学習モデルの出力データは、血管映像の複数のピクセルで各ピクセルが対象血管を指示する可能性（例えば、確率）に対応するスコアを含む。血管映像処理装置は、出力データで閾値以上のスコアを有するピクセルを対象血管として決定することで、対象血管の抽出結果を生成することができる。異なる例として、機械学習モデルの出力データは、血管映像から分割（ｓｅｇｍｅｎｔ）された対象血管領域として、血管映像の複数のピクセルのうち、対象血管として抽出されたピクセルを含むことができる。対象血管の抽出結果は、例えば、血管映像のピクセルのうち対象血管として抽出されたピクセルの集合及び／又は血管映像から分割された対象血管領域に対応する映像（例えば、対象血管映像）であり得る。
参考として、ニューラルネットワークは、ディープニューラルネットワーク（ＤＮＮ、ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を含む。ＤＮＮは、完全接続ネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｔｗｏｒｋ）、ディープコンボリューショナルネットワーク（ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）及びリカレントニューラルネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などを含む。ニューラルネットワークは、ディープラーニングに基づいて非線形関係にある入力データ及び出力データを互いにマッピングすることで、オブジェクト分類、オブジェクト認識、及びレーダーイメージ認識などを行うことができる。ディープラーニングは、ビッグデータセットからオブジェクト認識のような問題を解決するための機械学習方式であって、教師有り学習又は教師なし学習を介して入力データ及び出力データを互いにマッピングすることができる。教師有り学習学習の場合、上述した機械学習モデルは、トレーニング入力（例えば、トレーニングのための血管映像）及び該当トレーニング入力にマッピングされたトレーニング出力（例えば、トレーニングのための血管映像に対して専門家などによって対象血管に分割された真の値（ｇｒｏｕｎｄ ｔｒｕｔｈ）映像）の対を含むトレーニングデータに基づいてトレーニングされ得る。例えば、機械学習モデルは、トレーニング入力からトレーニング出力を出力するようにトレーニングされてもよい。トレーニングのうちの機械学習モデル（以下、「臨時モデル」）は、トレーニング入力に応答して臨時出力を生成することができ、臨時出力及びトレーニング出力（例えば、真の値）間の損失が最小化されるようトレーニングされる。トレーニング過程の間に機械学習モデルのパラメータ（例えば、ニューラルネットワークでノード／レイヤ間の連結加重値）が損失に応じてアップデートされることができる。
但し、機械学習モデルが血管映像から対象血管を直ちに抽出する例示について説明したが、これに限定されることはない。例えば、機械学習モデルは、全体血管抽出モデル及び対象血管抽出モデルを含む。全体血管抽出モデルは、血管映像から全体血管領域を抽出するように設計されたモデルであってもよい。対象血管抽出モデルは、全体血管領域を指示する映像（例えば、全体血管映像）から対象血管領域を抽出するよう設計されたモデルであってもよい。また、全体血管抽出モデルの代わりに、血管映像処理装置は、血管映像でのピクセルの周辺ピクセルとのグレースケールレベル差に基づいて境界を検出することで、全体血管領域を抽出することができる。例示的に、血管映像処理装置は、任意のピクセルと周辺ピクセルのグレースケールレベルの勾配（ｇｒａｄｉｅｎｔ）値が閾値の勾配値よりも大きい場合、該当ピクセルを境界として検出することができる。したがって、血管映像処理装置は、グレースケールレベルが急激に変わる領域を境界として検出することができる。血管映像処理装置は、グレースケールレベルの勾配値に基づいて抽出された全体血管映像から対象血管抽出モデルを用いて対象血管映像を抽出してもよい。
さらに、血管映像処理装置は、血管の形態、種類及び／又は血管領域に応じて複数の機械学習モデルのうち、対象血管抽出に使用する機械学習モデルを選択的に使用してもよい。一実施形態によれば、血管映像処理装置は、血管の種類別（例えば、左主冠状動脈（Ｌｅｆｔ Ｍａｉｎ Ｃｏｒｏｎａｒｙ Ａｒｔｅｒｙ、ＬＭ）、左前下行動脈（Ｌｅｆｔ Ａｎｔｅｒｉｏｒ Ｄｅｓｃｅｎｄｉｎｇ Ａｒｔｅｒｙ、ＬＡＤ）、左回旋動脈（Ｌｅｆｔ Ｃｉｒｃｕｍｆｌｅｘ Ａｒｔｅｒｙ、ＬＣＸ）、右冠状動脈（Ｒｉｇｈｔ Ｃｏｒｏｎａｒｙ Ａｒｔｅｒｙ、ＲＣＡ））及び／又は血管領域別（例えば、近位領域（ｐｒｏｘｉｍａｌ ｒｅｇｉｏｎ）、中間領域（ｍｉｄ ｒｅｇｉｏｎ）、及び遠位領域（ｄｉｓｔａｌ ｒｅｇｉｏｎ））の複数の機械学習モデルを格納することができる。参考として、血管領域は、カテーテル（ｃａｔｈｅｔｅｒ）の挿入される血管地点から離れた距離に応じて、近位領域（ｐｒｏｘｉｍａｌ ｐｏｒｔｉｏｎ）、中間領域（ｍｉｄｄｌｅ ｐｏｒｔｉｏｎ）、及び遠位領域（ｄｉｓｔａｌ ｐｏｒｔｉｏｎ）に分類されるが、これに限定されない。血管領域は、血管映像を取得するために造影剤が血管挿入部に注入される地点から離れた距離、及び造影剤が注入され得る血管末端から離れた距離の比率に応じて分類してもよい。例えば、血管映像処理装置は、抽出しようとする血管の種類を選択し、識別された血管の種類に対応する機械学習モデルをロードすることができる。血管映像処理装置は、ロードされた機械学習モデルを用いて、血管映像から選択された血管の種類に対応する対象血管の抽出結果を生成することができる。例示的に、血管映像処理装置は、複数の心血管の種類（例えば、１個の右冠状動脈、２個の左冠状動脈）に対応する機械学習モデルを格納することができる。複数の心血管の種類に対応する機械学習モデルのそれぞれは、該当心血管の種類に対応するトレーニングデータに基づいてトレーニングされてもよい。心血管の種類ごとに機械学習モデルのトレーニングされたパラメータはそれぞれ異なってもよく、さらに、互いに機械学習構造（例えば、畳み込みニューラルネットワーク、Ｕ－ｎｅｔ構造など）が異なってもよい。説明の便宜のために、血管の種類ごとにパラメータ及び／又は機械学習構造が区別される機械学習モデルについて説明したが、これに限定されることはない。血管映像処理装置は、血管の形態、種類、及び／又は血管領域ごとに互いに区別される複数の機械学習モデルを格納し、必要な血管モデルを選択的にロードして対象血管抽出に使用してもよい。
そして、ステップ１２０において、血管映像処理装置は、ユーザから受信される第１入力に基づいて前記対象血管の抽出結果に対する関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）を決定する。関心領域は、血管映像分析のためにユーザが血管映像内から選択した一部領域を示す。血管映像処理装置は、関心領域を決定することによって、血管映像に関する処理を関心領域に集中し得る。関心領域に対する詳しい説明は、図２を参照して後述する。
ステップ１３０において、血管映像処理装置は、前記決定された関心領域内で前記ユーザから受信される第２入力に基づいて前記抽出結果のエラー部位（ｅｒｒｏｒ ｐｏｒｔｉｏｎ）を識別し、前記識別されたエラー部位を修正する。エラー部位は、断絶部位（ｄｉｓｃｏｎｔｉｎｕｉｔｙ ｐｏｒｔｉｏｎ）及び／又は誤認部位（ｍｉｓｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｐｏｒｔｉｏｎ）を含む。断絶部位は、対象血管として抽出された対象血管領域及び／又は対象血管を指示するピクセルのうち、少なくとも１つの領域及び／又は少なくとも１つのピクセルが他の領域及び／又は他のピクセルから分離されたり離隔された部位を示す。誤認部位は、血管映像で実際に抽出しなければならない対象血管ではない他の血管に対応する領域及び／又はピクセルが対象血管であると間違って抽出された部位を示す。
例えば、血管映像処理装置は、第２入力が検出される地点が関心領域内で移動する場合に応答して、第２入力の移動軌跡（ｍｏｖｅｍｅｎｔ ｔｒａｊｅｃｔｏｒｙ）に基づいてエラー部位を識別して修正することができる。他の例として、第２入力は、第２入力はポインティング入力を示す。血管映像処理装置は、ポインティング入力に対応する開始地点と終了地点との間の領域に基づいてエラー部位を識別して修正してもよい。他の例として、血管映像処理装置は、第２入力が検出される地点が関心領域内の一地点で閾値時間以上に保持される場合に応答して、第２入力が保持された地点をエラー部位として識別して修正することができる。第２入力に基づいた修正は、下記の図４～図６を参照して説明する。
図２Ａ～図２Ｃは、一実施形態に係る対象血管及び関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）が表示された血管映像を示す図である。
血管映像処理装置は、血管映像２０１，２０２，２０３を撮影する。血管映像処理装置は、血管映像撮影装置から血管映像２０１，２０２，２０３を受信する。血管映像処理装置は、受信された血管映像２０１，２０２，２０３から対象血管２１１，２１２，２１３を抽出する。血管映像処理装置は、機械学習モデルに基づいて対象血管２１１，２１２，２１３を抽出する。血管映像処理装置は、ユーザから受信される第１入力２３１に基づいて対象血管の抽出結果に対する関心領域２２１を決定することができる。血管映像処理装置は、第１入力が検出される地点に基づいて関心領域の形態を決定することができる。血管映像処理装置は、ユーザから受信される第１入力２３１の開始地点２３２及び第１入力２３１の終了地点２３３を検出する。第１入力２３１は、開始地点２３２で検出された後終了地点２３３まで保持され、終了地点２３３において解除され得る。
図２Ａを参照すると、血管映像処理装置は、ユーザから開始地点２３１から終了地点２３３までのドラッグ（ｄｒａｇ）入力を第１入力２３１として受信することができる。ドラッグ入力は、ディスプレイ上の任意の地点（例えば、開始地点２３２）でクリック（ｃｌｉｃｋ）又はタッチ（ｔｏｕｃｈ）が発生し、クリック又はタッチが保持された状態に移動し、他の地点（例えば、終了地点２３３）でクリック又はタッチがリリースされる入力を示す。また、血管映像処理装置は、検出された開始地点２３２及び終了地点２３３の間で予め定義された形態に関心領域２２１を決定することができる。例えば、関心領域２２１は、関心領域２２１の境界上に開始地点２３２及び終了地点２３３が配置されるよう決定されてもよい。図２Ａに示すように、関心領域２２１の予め定義された形態は長方形に示しているが、これに限定されることなく、多角形又は円形であってもよい。血管映像処理装置は、第１入力２３１の検出が始まった地点から第１入力２３１が現在に検出される地点の間の領域である臨時関心領域２２０をディスプレイを介して出力してユーザに提供する。血管映像処理装置は、臨時関心領域２２０をユーザに提供することで関心領域２２１を決定する前に、ユーザにフィードバック（ｆｅｅｄｂａｃｋ）を提供することができる。血管映像処理装置は、第１入力２３１の検出が終了すると、第１入力２３１が検出された開始地点２３２及び第１入力２３１の終了地点２３３の間で予め定義された形態に関心領域２２１として決定し、ディスプレイを介してユーザに出力し提供することができる。
図２Ｂを参照すると、血管映像処理装置は、ユーザから複数の入力を含む第１入力を受信することができる。第１入力が含む複数の入力は、ディスプレイ上の任意の地点に対するクリック又はタッチを示する。血管映像処理装置はユーザから受信される第１入力により、複数の入力に対応するディスプレイ上の地点２４１，２４２，２４３をユーザの入力により連続的に直線に連結して形成される多角形内部の領域を関心領域２２２として決定する。血管映像処理装置は、第１入力の検出が始まった地点から第１入力が現在検出される地点の間で形成される多角形の一部の形態をユーザに提供することができる。
図２Ｃを参照すると、血管映像処理装置は、ユーザから開始地点２５１から開始地点と同じ地点である終了地点２５１までのドラッグ入力を第１入力として受信することができる。血管映像処理装置は、ユーザの開始地点と終了地点が同じドラッグ入力に対応する自由曲線（ｆｒｅｅ ｃｕｒｖｅ）内部の領域を関心領域２２３として決定する。血管映像処理装置は、第１入力の検出が始まった地点から第１入力が現在の検出される地点の間で形成される自由曲線からなる自由図形の一部形態をユーザに提供することができる。
一実施形態に係る血管映像処理装置は、ユーザから受信される第１入力に基づいて決定された関心領域内に対象血管から抽出された血管分枝が存在する場合、関心領域内に含まれている１つの分枝地点を基準にして、互いに隣接する上位分枝及び下位分枝のうち上位分枝を正解領域分枝に固定することができる。正解領域分枝とは、血管映像処理装置によって抽出された対象血管のうち、エラー部位として識別されていないか、ユーザが修正を所望しない血管分枝である。血管映像処理装置は、正解領域分枝に固定された上位分枝を基準にして、下位分枝についてのみエラー部位を識別し修正することができる。
他の一実施形態に係る血管映像処理装置は、ユーザから受信される第１入力に基づいて決定された関心領域を予め決定された条件に相応して修正してもよい。例えば、予め決定された条件は、関心領域が関心領域境界の一部で血管映像処理装置によって抽出された対象血管のうちエラー部位に該当しないか、ユーザが修正を所望しない少なくとも１つの正解領域分枝と交差することを示す。例示的に、血管映像処理装置は、ユーザから受信される第１入力に基づいて決定された関心領域の境界の一部で血管映像処理装置によって抽出された対象血管のうちエラー部位に該当していないか、ユーザが修正を所望しない少なくとも１つの正解領域分枝と交差するよう、関心領域を拡張したり移動させる修正を行うことが可能である。血管映像処理装置は、関心領域内部の血管分枝のうち、正解領域分枝と関心領域が関心領域の上部境界で交差するように関心領域を修正してもよい。しかし、これに限定されることなく、関心領域境界の任意の位置で対象血管と交差するように関心領域を修正してもよい。また、血管映像処理装置は、ユーザから受信される第１入力に基づいて決定された関心領域内部に抽出された対象血管が全く含まれていない場合、ユーザから第１入力を再び受信されてもよい。
血管映像処理装置は、分枝地点（ｂｒａｎｃｈ ｐｏｉｎｔ）を基準としてエラー部位を識別して修正することができる。分枝地点（ｂｒａｎｃｈ ｐｏｉｎｔ）は、２以上の血管分枝が合わさる地点及び／又は複数の血管分枝に分かれる地点を示す。血管映像２００にキャプチャーされた血管領域は、複数の分枝地点を有してもよい。
一実施形態に係る血管映像処理装置は、最終的に図２に示したような対象血管２１０を決定するために、対象血管２１０の抽出、関心領域２２０の決定、決定された関心領域２２０内で抽出結果のエラー部位の識別及び修正を行うことができる。
図３は、一実施形態に係る対象血管の抽出結果でエラー部位が発生した例示を示す。
一実施形態に係る血管映像処理装置は、血管映像から分枝地点及び分枝を識別することができる。例えば、血管映像処理装置は、全体血管領域を抽出し、抽出された全体血管領域から分枝地点及び分枝を識別することができる。血管映像処理装置は、分枝地点（ｂｒａｎｃｈ ｐｏｉｎｔ）を基準にして血管分枝を識別することができる。血管映像から全体血管領域を抽出することができる。一実施形態に係る血管映像処理装置は、全体血管抽出モデルに基づいて血管映像から全体血管領域を抽出することができる。全体血管抽出モデルは、上述したように、血管映像から血管領域及び残りの非血管領域が区分された結果を指示する出力データを生成するようにトレーニングされたモデルであり得る。
図３は、抽出された全体血管領域のうち、図２に図示された血管映像２００の関心領域２２０に対応する部分３００を示す。血管映像処理装置は、関心領域２２０内で分枝地点を基準に血管分枝を識別することができる。参考として、本明細書において、上位血管分枝は、血流の進行方向又は造影剤の進行方向によって分枝地点以前の分枝を示し、下位血管分枝は、分枝地点以後の分枝を示す。例えば、血管映像処理装置によって識別された結果として、第１分枝ないし第７分枝３０１～３０７及び分枝地点３１１、３１２が図示されている。第１分枝地点３１１を基準にして、第１分枝３００は上位血管分枝であり、第２分枝３０２及び第３分枝３０３は下位血管分枝である。また、上位血管分枝及び下位血管分枝の関係は相対的なものであって、分枝地点ごとに変わり得る。例えば、第２分枝３０２は、第４分枝３０４及び第５分枝３０５については上位血管分枝である。血管映像処理装置は、血管分枝それぞれに対応するノードを生成してインデックスすることで、血管構造データを生成することができる。血管構造データは、下記の図９を参照して後述する。。
図３に示された例示で、血管映像処理装置は対象血管に属する血管分枝として、第１分枝３０１、第３分枝３０３、及び第５分枝３０５を抽出することができる。但し、図２に示された対象血管２２０に対応する血管経路３２０は、第１分枝３０１、第２分枝３０２、及び第５分枝３０５を通過する。したがって、例示的な対象血管の抽出結果において、第１分枝３０１から第３分枝３０３に向かう第１分枝地点３１１はエラー部位である。以下では、エラー部位の検出及び修正をについて説明する。
図４～図６は、関心領域内でユーザから受信される第２入力に基づいて抽出結果のエラー部位を識別し、識別されたエラー部位を修正する方法を示す。
図４は、一実施形態に係る血管映像処理装置がユーザから受信される第２入力に基づいて、抽出結果の断絶部位を識別して修正する方法を説明する。血管映像処理装置は、第２入力が関心領域内の複数の地点から検出される場合に応答して、第２入力の複数の地点に基づいてエラー部位を修正することができる。
一実施形態に係る血管映像処理装置がユーザから受信する第２入力は、ドラッグ（ｄｒａｇ）入力を示してもよい。血管映像処理装置は、第２入力が検出される地点が関心領域内で移動する場合に応答して、第２入力４９１の移動軌跡（ｍｏｖｅｍｅｎｔ ｔｒａｊｅｃｔｏｒｙ）に基づいてエラー部位を識別し修正することができる。血管映像処理装置は、第２入力４９１に対応する地点が対象血管から抽出された領域に沿って移動する間に、第２入力４９１が通過した地点で断絶部位が存在するかを検出する。例示的に、血管映像処理装置が血管分枝４０１，４０５を対象血管に１次抽出し、ユーザの第２入力４９１に対応する地点が対象血管から抽出された領域４２０に沿って移動する場合、血管映像処理装置は、第２入力４９１が通過した地点で断絶部位が存在するかを検出する。参考として、血管映像処理装置は、第２入力４９１に対応する地点が対象血管から抽出された領域をしばらく離脱しても第２入力４９１に対応する地点が対象血管から抽出された領域に沿って移動するものと判定することができる。例えば、血管映像処理装置は、第２入力４９１が対象血管から抽出された領域４２０内の分枝地点（ｂｒａｎｃｈ ｐｏｉｎｔ）でない地点から上述した領域４２０を離脱した地点に移動し、閾時間が経過する前に再び領域４２０に復元する場合、第２入力４９１が領域４２０内で保持されたものと判定する。但し、血管映像処理装置は、第２入力４９１が対象血管から抽出された領域４２０内の分枝地点から領域４２０を離脱した他の分枝に移動する場合に応答して、第２入力４９１が領域４２０を離脱したものと判定することができる。
例えば、血管映像処理装置は、ユーザから関心領域内から抽出された対象血管の領域に含まれる２つの地点に対応するグラフィック地点の間のドラッグ入力に対応する第２入力４９１を受信することができる。前記ドラッグ入力は、ユーザが対象血管の領域に含まれている２つの地点のうちの１つに対応するグラフィック地点をクリック又はタッチし、クリック又はタッチされた状態に移動し、残りの１つの地点に対応するグラフィック地点でクリック又はタッチをリリースする入力を示す。血管映像処理装置は、ユーザから受信される第２入力４９１に応答して、第２入力４９１の開始地点に対応する血管分枝と第２入力４９１の終了地点に対応する血管分枝との間の地点ごとに断絶部位が存在するかを検出する。したがって、血管映像処理装置は、第２入力４９１が対象血管から抽出された領域に沿って移動する間に持続的に断絶部位の検出を試みることができる。例示的に、血管映像処理装置は、ユーザから受信した第２入力４９１に対応する開始地点及び終了地点がそれぞれ血管分枝４０１，４０５に対応する領域に含まれ、第２入力４９１に対応する地点が対象血管から抽出された領域４２０に沿って移動する場合、血管映像処理装置は、血管分枝４０１，４０５の間で断絶部位が存在するかを検出する。血管映像処理装置は、血管分枝４０１，４０５を抽出された対象血管の血管分枝４０１，４０５に対応する領域が互いに分離又は離隔される場合、断絶部位として判断することができる。例えば、血管映像処理装置は、第２入力４９１が血管分枝４０１，４０５の間の地点を通過する間に、該当地点が対象血管から抽出された領域４２０に属するかを判断する。血管映像処理装置は、該当地点が領域４２０に属しない場合に応答して、該当地点を断絶部位として決定する。一実施形態に係る血管映像処理装置は、断絶部位が検出される場合に応答して、第２入力４９１の移動軌跡に沿って断絶した部位を連結することができる。例えば、血管映像処理装置は、断絶部位として判断された血管分枝の外郭及び／又は境界に対して連結してもよい。例示的に、ユーザの第２入力４９１に対応する地点が対象血管から抽出された領域４２０に沿って移動する場合、血管映像処理装置は、断絶部位として判断された血管分枝４０１，４０５に対応する領域をユーザから受信された第２入力４９１の移動軌跡に沿って連結してもよい。血管映像処理装置は、第２入力４９０に対応する地点が断絶した血管分枝４０１，４０５の間の領域４０２に沿って移動する場合、血管映像処理装置は、断絶された血管分枝４０１，４０５の間の領域４０２を対象血管として抽出できる。即ち、血管映像処理装置は、対象血管の抽出結果に領域４０２を追加させ得る。
一実施形態に係る血管映像処理装置がユーザから受信する第２入力は、ポインティング（ｐｏｉｎｔｉｎｇ）入力を示すことができる。ポインティング入力は、ディスプレイ上の一地点を指示する入力として、例えば、マウス操作によるクリック入力及び／又はタッチディスプレイに対するタッチ操作による入力（例えば、タッチ入力）を含んでもよい。但し、ポインティング入力がこれに限定されることなく、設計に応じて、様々なポインティングデバイス（例えば、トラックボールマウス、タッチパッド、及びトラックパッドなど）による位置指示入力を含んでもよい。血管映像処理装置は、ユーザから開始地点及び終了地点に対するポインティング入力を第２入力として受信することができる。しかし、これに限定されることなく、血管映像処理装置は、ユーザから２地点以上に対するクリック又はタッチのポインティング入力を受信してもよい。血管映像処理装置は、ポインティング入力により、ポインティング入力の開始及び終了地点の間の領域に基づいてエラー部位を識別し修正することができる。例示的に、血管映像処理装置が血管分枝４０１，４０５を対象血管に１次抽出し、ユーザの第２入力に対応する地点４９２，４９３の間の血管領域に対して断絶部位が存在するかを検出することができる。
例えば、血管映像処理装置は、ユーザから関心領域内で抽出された対象血管の領域に含まれている２つの地点４９２，４９３に対するクリック又はタッチ入力を含むポインティング入力に対応する第２入力を受信することができる。血管映像処理装置は、ユーザから受信される第２入力に応答して、第２入力の開始地点４９２に対応する血管分枝と第２入力の終了地点に対応する血管分枝との間の地点ごとに断絶部位が存在するかを検出し、第２入力でドラッグ入力を受信した場合と同様に断絶部位を修正することができる。
図５は、一実施形態に係る血管映像処理装置がユーザから受信される入力の移動軌跡に基づいて抽出結果の誤認部位を識別し修正する方法について説明する。血管映像処理装置は、第２入力５９０に対応する地点が対象血管から抽出された領域内の分枝地点から対象血管を離脱した領域に移動する場合に応答して、分枝地点と連結された対象血管から抽出された血管分枝のうち、第２入力の移動軌跡に対応する領域の外側に位置する血管分枝を誤認部位として決定することができる。血管映像処理装置は、分枝地点に関する部位を誤認部位として判断した場合、第１入力に基づいた関心領域は、分枝地点を基準に全ての下位分枝が関心領域内に含まれるように拡張されることができる。例示的に、血管映像処理装置が血管分枝５０１，５０２，５０５を対象血管に１次抽出し、ユーザの第２入力５９０に対応する地点が対象血管から抽出された領域５２０内の分枝地点５１３から対象血管を離脱した領域５３０に移動する場合、分枝地点５１３に関する部位を誤認部位として判断することができる。例えば、血管映像処理装置は、分枝地点５１３を基準として対象血管に１次抽出された下位血管分枝５０５と異なる下位血管分枝５０４に対応する領域に第２入力５９０が移動する場合、ユーザから受信した第２入力５９０に対応する地点が、対象血管を離脱した領域に移動したものと判断することができる。血管映像処理装置は、分枝地点５１３に隣接する対象血管から抽出された血管分枝のうち少なくとも１つの分枝５０５を対象血管に対する抽出結果から誤認部位として判断することができる。
血管映像処理装置は、誤認部位として識別された血管分枝のうち少なくとも１つを対象血管を離脱した第２入力５９０によって指示される血管分枝に交替し、交替された血管分枝に基づいて残りの抽出結果を修正することができる。例えば、血管映像処理装置は、第２入力５９０に対応する地点が抽出された対象血管に対応する領域を離脱して移動する場合、分枝地点５１３を基準にして対象血管に１次抽出された下位血管分枝５０５を血管分枝５０４に交替することができる。血管映像処理装置は、交替された血管分枝５０４に基づいて対象血管の抽出結果を修正し得る。例えば、血管映像処理装置は、対象血管の抽出結果から１次抽出された下位血管分枝５０５に後続する血管分枝を排除し、交替された血管分枝５０４に後続する血管分枝を対象血管の抽出結果に追加し得る。
図６は、一実施形態に係る血管映像処理装置がユーザから受信される第２入力６９０に基づいて修正候補をユーザに提供し、ユーザの選択入力によりエラー部位を識別して修正する方法を示す。血管映像処理装置は、対象血管の抽出結果に対応する領域内の地点で、第２入力６９０が第１閾時間以上検出される場合、該当の地点をエラー部位として決定することができる。血管映像処理装置は、エラー部位として決定された地点に対応する修正候補をユーザに提供する。修正候補は、第２入力６９０が保持された地点がエラー部位として判断される場合、断絶部位を補充可能な形態を有する候補血管分枝の集合又は誤認部位を交替可能な形態及び構造を有する候補血管分枝の集合を示すことができる。例えば、血管映像処理装置は、下記の図７～図１４を参照して後述するような血管構造データ、血管の曲率情報、血管の直径情報、及び明るさ情報などに基づいて修正候補を決定することができる。例えば、第１修正候補６６１は血管構造データに基づいて決定された候補分枝、第２修正候補６６２は曲率情報に基づいて決定された候補分枝、第３修正候補６６３は直径情報に基づいて決定された候補分枝、及び第４修正候補６６４は明るさ情報に基づいて決定された候補分枝であってもよい。但し、これは単なる例示に過ぎず、候補分枝の決定は設計に応じて変わり得る。さらに、前述の第２入力６９０が保持された地点をエラー部位として判断する例示について説明したが、血管映像処理装置は、第２入力６９０が保持された地点に対して下記の図７～図１４を参照して後述するような血管構造データ、血管の曲率情報、血管の直径情報、及び明るさ情報などに基づいてエラー部位を決定してもよい。
血管映像処理装置は、ユーザから受信される修正候補を選択する第３入力に基づいて、修正候補のうちの１つを選択する。血管映像処理装置は、選択された修正候補に含まれた血管分枝を対象血管の抽出結果に追加してもよい。
例示的に、血管映像処理装置が血管分枝６０１，６０２，６０５を対象血管に１次抽出してもよい。血管映像処理装置がユーザから受信される第２入力６９０が検出される地点が分枝地点６１１に対応する領域に含まれている場合、血管映像処理装置は、分枝地点６１１に対応する修正候補６６１，６６２，６６３，６６４のうちの１つに対する選択をユーザに提供可能なグラフィックオブジェクト６６０が出力され得る。血管映像処理装置は、ユーザから修正候補６６１，６６２，６６３，６６４のうちの１つを選択する第３入力を受信し、選択された修正候補から構成された血管分枝（例えば、血管分枝６０２，６０４）を対象血管に抽出することができる。
一実施形態に係る血管映像処理装置は、第２入力６９０に対応する地点が抽出された対象血管の境界線（例えば、血管エッジ）に対応する地点であり、該当地点で第２入力６９０が検出される時間が第２閾値以上である場合、該当の境界線に対応する修正候補をユーザに提供することができる。例えば、血管映像処理装置は、ユーザから受信される第２入力６９０に対応する対象血管の境界線に対して、境界線をスムーズに平坦化（ｓｍｏｏｔｈｉｎｇ）させる修正候補、背景とのコントラスト（ｃｏｎｔｒａｓｔ）を強調させる修正候補、又は、既存の境界線とは異なる境界線を選択するようにする修正候補のオプションをユーザに提供することができる。
血管映像処理装置は、関心領域の決定に応答して、対象血管の抽出結果からエラー部位を識別し、識別されたエラー部位を修正することができる。血管映像処理装置は、エラー部位の修正結果をユーザに提供することができる。血管映像処理装置は、エラー部位の修正結果をユーザに提供し、ユーザから修正結果に対応する入力を受信してエラー部位を修正し、エラー部位が修正された関心領域内でユーザから受信される第２入力６９０に基づいてエラー部位を識別して修正することができる。言い換えれば、血管映像処理装置は、関心領域内でユーザから第２入力６９０を受信してエラー部位が識別されて修正される前に、プロセッサによって自動にエラー部位を識別して修正し、ユーザに修正結果を提供する前処理過程を行うことができる。
参考として、図４～図６において、説明の便宜のために第２入力４９０，５９０，６９０がタッチ入力であると示されているが、これに限定されることなく、クリック入力などのようにディスプレイ上の地点をポインティングする別の形態の入力を含んでもよい。
図７～図８は、一実施形態に係るエラー部位を修正する方法を示す。
図７は、対象血管の抽出結果からエラー部位が識別され、識別されたエラー部位が誤認部位である場合、誤認部位の修正結果をユーザに提供する方法について説明する。一実施形態によれば、血管映像処理装置は、対象血管でエラー部位が識別される場合、ユーザの入力（例えば、タッチ（ｔｏｕｃｈ）入力）に基づいて識別されたエラー部位を修正することができる。血管映像処理装置は、エラー部位が誤認部位である場合に応答して、１つ以上の候補分枝をユーザに提供する。血管映像処理装置は、ユーザから１つ以上の候補分枝のいずれか１つの分枝に対するポインティング入力を受信する場合に応答して、エラー部位に対応する分枝を選択された分枝に交替する。例示的に、血管映像処理装置が血管分枝７０１，７０２を対象血管として１次抽出した場合、対象血管に関する血管構造データ、対象血管の曲率情報、対象血管の直径情報、及び対象血管の明るさ情報のうち少なくとも１つに基づいて血管分枝７０１，７０２のうち少なくとも１つの分枝を対象血管に対する抽出結果でエラー部位として判断することができる。血管映像処理装置は、識別されたエラー部位が誤認部位である場合、対象血管から抽出されていない１つ以上の候補血管分枝７１１，７１２，７１３をユーザに提供することができる。血管映像処理装置の入出力インターフェースは、ディスプレイを介して候補血管分枝７１１，７１２，７１３に対する選択をユーザに提供可能なグラフィックオブジェクト７７１，７７２，７７３を出力する。グラフィックオブジェクトは、候補血管分枝に対応する領域を取囲む形態であってもよい。図７では、グラフィックオブジェクト７７１，７７２，７７３は長方形状に示されているが、形態がこれに限定されることはない。ユーザは、単にディスプレイに出力される候補血管分枝に対応するグラフィックオブジェクトのうちの１つに対応する地点に対してクリック（ｃｌｉｃｋ）するかタッチ（ｔｏｕｃｈ）するポインティング入力によって候補血管分枝を選択することができる。即ち、血管映像処理装置は、グラフィックオブジェクトに対応する地点に対するユーザ入力を検出する場合、グラフィックオブジェクトに対応する候補血管分枝が選択されたと判断し、エラー部位に対応する血管分枝を選択された候補血管分枝に交替することができる。例示的に、血管映像処理装置がユーザからグラフィックオブジェクト７７１に対応する地点に対するユーザの入力を検出する場合、グラフィックオブジェクト７７１に対応する候補血管分枝７１１を対象血管として抽出することができる。即ち、血管映像処理装置は、対象血管の抽出結果から血管分枝７０２を血管分枝７１１に交替することができる。
図８は、対象血管の抽出結果からエラー部位が識別され、識別されたエラー部位が断絶部位である場合、断絶部位の修正結果をユーザに提供する方法を説明する。一実施形態によれば、血管映像処理装置は、対象血管で識別されたエラー部位が断絶部位である場合に応答して、断絶部位を含む血管領域をユーザに提供することができる。血管映像処理装置は、修正結果に対して複数の地点でユーザ入力が検出される場合に応答して、ユーザ入力の開始地点に対応する血管分枝に対応する領域及び前記ユーザ入力の終了地点に対応する血管分枝に対応する領域を連結することができる。
一実施形態に係る血管映像処理装置は、修正結果に対してユーザから受信されるドラッグ入力８９１に応答して、ドラッグ入力８９１の開始地点に対応する血管分枝に対応する領域及びドラッグ入力８９１の終了地点に対応する血管分枝に対応する領域を連結する。例示的に、血管映像処理装置が血管分枝８０１，８０２を対象血管に１次抽出した場合、血管映像処理装置は、抽出された対象血管の血管分枝８０１，８０２に対応する領域が互いに分離される断絶部位として判断する。血管映像処理装置の入出力インターフェースは、ディスプレイを介して血管分枝８０１，８０２に対応する領域の間の連結に関するグラフィックオブジェクト８７０を出力することができる。グラフィックオブジェクト８７０は、断絶部位に対応する血管分枝８０１，８０２の少なくとも一部に対応する領域を取囲む形態として、血管分枝８０１，８０２がユーザによって連結可能になることを示す。血管映像処理装置は、ユーザから受信されるドラッグ入力８９１に応答して、ドラッグ入力８９１により選択された血管分枝８０１，８０２に対応する領域を連結し、断絶した血管分枝８０１，８０２の間の血管分枝８０３を対象血管として抽出する。ドラッグ入力８９１によって選択された分枝は、ドラッグ開始地点に対応する血管分枝及びドラッグ終了地点に対応する血管分枝を示す。即ち、血管映像処理装置は、対象血管の抽出結果において血管分枝８０３を含ませることができる。
他の一実施形態に係る血管映像処理装置は、修正結果に対してユーザから受信される２以上の地点に対応するポインティング（ｐｏｉｎｔｉｎｇ）入力に応答して、ポインティング入力に対応する開始地点８９２と終了地点８９３に対応する血管分枝に対応する領域を連結することができる。即ち、血管映像処理装置は、ユーザから開始地点及び終了地点に対するクリック又はタッチ入力を受信することができる。血管映像処理装置は、ユーザから受信されるポインティング入力に応答して、ポインティング入力の開始地点８９２に対応する血管分枝８０１に対応する領域とポインティング入力の終了地点８９３に対応する血管分枝８０２に対応する領域を連結することができる。
図９は、血管分枝に対応するノードに基づいた血管構造データのトポロジーを用いて対象血管のエラーを識別する方法を示す。
一実施形態によれば、血管映像処理装置は、対象血管に関する血管構造データ９００に基づいてエラー部位（ｅｒｒｏｒ ｐｏｒｔｉｏｎ）を識別することができる。血管構造データ９００は、血管の構造を指示するトポロジーデータとして、例えば、血管分枝に対応するノードがインデクシングされたトリ構造データであってもよい。例えば、血管映像処理装置は、全体血管領域に対して血管分枝地点を基準にして血管分枝を識別し、識別された血管分枝のそれぞれに対応するノードを生成し、生成されたノードのインデクシングに基づいて血管構造データ９００を生成することができる。
血管映像処理装置は、上位血管分枝から分枝地点を基準にして複数の下位血管分枝に分岐される場合、上位血管分枝に対応するノードと下位血管分枝に対応するノードを連結することができる。血管映像処理装置は、血管映像から識別される分枝地点及び血管分枝に対して上述したノード連結を繰り返すことで、全体血管に対する血管構造データ９００を生成することができる。例えば、図９に示された血管構造データ９００において、第１ノード～第７ノードＮ１～Ｎ７は、順次にそれぞれ図３に示された第１分枝～第７分枝３０１～３０７に対応する。第１ノードＮ１は最上位ノードであり、第２ノードＮ２及び第３ノードＮ３は第１ノードＮ１の下位ノードである。残りのノードも類似の上下関係を有する。
一実施形態に係る血管映像処理装置は、血管映像から対象血管として抽出された血管分枝に対応するノード間のノード連結データ９１０を算出することができる。例えば、血管映像処理装置は、図３に示された対象血管の抽出結果から第１ノードＮ１、第３ノードＮ３、及び第５ノードＮ５が連結されたノード連結データ９１０を算出することができる。
血管映像処理装置は、ノード連結データ９１０を血管構造データ９００と比較することで対象血管のエラー部位を識別することができる。血管映像処理装置は、生成された血管構造データ９００に基づいて対象血管のノード間の連結エラーを検出する。血管映像処理装置は、連結エラーが検出されたノードに対応する血管分枝及び／又は分枝地点をエラー部位として判断する。血管映像処理装置は、ノード連結データ９１０で血管構造データ９００にマッチングしないノードに基づいてエラー部位を判断することができる。例示的に、図９で抽出されたノード連結データ９１０は、第１ノードＮ１、第３ノードＮ３、及び第５ノードＮ５が順に連結されたものを指示する。血管構造データ９００において、第３ノードＮ３は第５ノードＮ５と連結されない。言い換えれば、血管映像処理装置は、ノード連結データ９１０において、第３ノードＮ３と第５ノードＮ５との間の連結が血管構造データ９００にマッチングしないものと決定することができる。第３ノードＮ３と第５ノードＮ５との間の連結は、連結エラーである。血管映像処理装置は、連結エラーに対応するノードのうち少なくともいずれかのノードに対応する血管分枝をエラー部位として判断することができる。例えば、図９における血管映像処理装置は、第３ノードＮ３及び第５ノードＮ５のうち少なくとも１つに対応する血管分枝をエラー部位として判断することができる。上述した例示は、第３ノードＮ３又は第５ノードＮ５に対応する血管分枝が対象血管に属するものと間違って抽出されたため、誤認部位である。
異なる例として、血管映像処理装置は、血管構造データ９００に基づいてノード連結データ９２０から脱落したノードに対応する血管分枝を断絶部位として検出してもよい。血管映像処理装置は、第１ノードＮ１～第５ノードＮ５に直接連結されているノード連結データ９２０を算出することができる。血管映像処理装置は、血管構造データ９００に基づいてノード連結データ９２０で第２ノードＮ２が脱落（ｍｉｓｓｉｎｇ）されたことを検出できる。この場合、血管映像処理装置は、第２ノードＮ２に対応する血管分枝を断絶部位として検出することができる。
図１０及び図１１は、一実施形態に係るエラー部位を修正する方法を示す。
図１０は、図９においてノード連結データ９１０が算出された場合の修正を説明する。一実施形態によれば、血管映像処理装置は、誤認部位（ｍｉｓｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｐｏｒｔｉｏｎ）が識別される場合に応答して、誤認部位に対応するノードを血管構造データにマッチングするノードに交替できる。例示的に、血管映像処理装置は、ノード連結データ９１０で第５ノードＮ５が血管構造データにマッチングしないものと判断することができる。血管映像処理装置は、血管構造データにマッチングしない第５ノードＮ５をノード連結データから排除し、血管構造データにマッチングする第６ノードＮ６をノード連結データに追加することで、修正されたノード連結データ１０１０を生成することができる。したがって、血管映像処理装置は、交替された第６ノードＮ６に対応する血管分枝（例えば、図３で第６分枝３０６）を対象血管として抽出することができる。
図１１は、図９においてノード連結データ９２０が算出された場合の修正を説明する。一実施形態によれば、血管映像処理装置は、断絶部位が識別される場合に応答して、断絶部位に対応するノードの間に連結可能なノードを挿入することができる。例示的に、血管映像処理装置は、ノード連結データ９２０で第１ノードＮ１と第５ノードＮ５との間が脱落したものと判断する。血管映像処理装置は、ノードＮ１、Ｎ５の間に第２ノードＮ２を挿入することで、修正されたノード連結データ１１１０を生成することができる。血管映像処理装置は、第２ノードＮ２に対応する血管分枝（例えば、図３で第２分枝３０２）を対象血管として抽出することができる。
上述したように、ノード交替及びノードさらによる誤認部位修正を介して、血管映像処理装置は、血管構造データのトポロジーに基づいたノード連結性エラーを除去することができる。
図１２は、対象血管の曲率情報を用いて対象血管のエラーを識別して修正する方法を示す。
一実施形態によれば、血管映像処理装置は、対象血管で互いに隣接する血管分枝間の曲率を用いて誤認部位を識別して修正することができる。例えば、血管映像処理装置は、対象血管で互いに隣接する分枝間の曲率が閾値曲率を超過する場合に応答して、互いに隣接する分枝を誤認部位として判断する。例示的に、血管映像処理装置は、血管分枝１２０１，１２０２を対象血管として１次抽出した場合、血管分枝１２０１，１２０２間の曲率を算出する。血管映像処理装置は、算出された曲率が閾値曲率を超過する場合に応答して、上述した血管分枝１２０１，１２０２のうち少なくとも１つの分枝を対象血管に対する抽出結果で誤認部位として判断することができる。血管映像において、実際に抽出しなければならない対象血管に属する隣接している血管分枝は比較的に小さな曲率を示し、閾値曲率を超過する曲率を示す隣接する血管分枝はエラー部位である可能性がある。
血管映像処理装置は、対象血管で閾値曲率を用いてエラー部位が識別される場合に応答して、識別されたエラー部位を修正することができる。血管映像処理装置は識別されたエラー部位に対して、互いに隣接する分枝のいずれか１つの分枝を残りの分枝との曲率が閾値曲率以下である候補分枝に交替することができる。候補分枝は、任意の分枝地点を基準として１つの血管分枝に連結された複数の血管分枝のうち、対象血管から抽出されていない残り１つ以上の分枝を示す。
例示的に、血管映像処理装置は、対象血管から抽出されていない血管分枝１２０３と上位血管分枝１２０１との間の曲率が閾値曲率以下である場合、血管分枝１２０２の代わりに、血管分枝１２０３を対象血管として抽出することができる。血管映像処理装置は、対象血管の抽出結果から血管分枝１２０２を血管分枝１２０３に交替することができる。さらに、血管映像処理装置は、識別されたエラー部位を修正することにおいて、血管の種類（例えば、左主冠状動脈（Ｌｅｆｔ Ｍａｉｎ Ｃｏｒｏｎａｒｙ Ａｒｔｅｒｙ、ＬＭ）、左前下行動脈（Ｌｅｆｔ Ａｎｔｅｒｉｏｒ Ｄｅｓｃｅｎｄｉｎｇ Ａｒｔｅｒｙ、ＬＡＤ）、左回旋動脈（Ｌｅｆｔ Ｃｉｒｃｕｍｆｌｅｘ Ａｒｔｅｒｙ、ＬＣＸ）、右冠状動脈（Ｒｉｇｈｔ Ｃｏｒｏｎａｒｙ Ａｒｔｅｒｙ、ＲＣＡ））又は、血管領域（例えば、近位領域、中間領域、及び遠位領域）に応じて互いに異なる閾値曲率を適用できる。
血管映像処理装置は、曲率差を分析するために血管分枝の主方向成分分析（例えば、主成分分析（ＰＣＡ、ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）を行ってもよい。血管映像処理装置は、分枝地点を基準にして区分された血管分枝それぞれに対して、主方向成分を分析することができる。血管分枝の主方向成分は、該当血管分枝の方向を代表する成分を示す。例えば、血管映像処理装置は、各血管分枝に対する主方向成分分析を用いて、各血管分枝ごとに主方向ベクトルを取得することができる。主方向ベクトルは、分枝地点から血管分枝が延長する方向を代表する方向成分を有するベクトルであって、単位ベクトルの大きさを有する。例えば、任意の血管分枝に対する主方向ベクトルは、分枝地点から該当の血管分枝に対応する地点に向かうベクトル成分の主成分の方向を示す。例示的に、血管分枝１２０１，１２０２，１２０３の主方向ベクトルは、それぞれベクトル１２２１，１２２２，１２２３に対応する。血管映像処理装置は、対象血管で互いに隣接する血管分枝の主方向ベクトルの内積値が閾値を超過する場合に応答して、互いに隣接する分枝を誤認部位として判断することができる。
例示的に、血管映像処理装置は、対象血管で互いに隣接する血管分枝１２０１，１２０２の主方向ベクトル１２２１，１２２２の内積値が閾値を超過する場合、互いに隣接する血管分枝１２０１，１２０２を誤認部位（ｍｉｓｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｐｏｒｔｉｏｎ）として判断することができる。各血管分枝の主方向ベクトルは、単位ベクトルの大きさを有するため、主方向ベクトルの内積値はベクトルが互いになしている角度に依存する。結局、上位分枝に対応する主方向ベクトル及び下位分枝に対応する主方向ベクトルは互いに反対方向に向かっていることから２つの主方向ベクトルの内積は負数値を有するため、主方向ベクトルの内積値が閾値以上であることは、血管分枝の間の曲率が大きいことを意味する。血管映像で実際に抽出しなければならない対象血管は１つの血管として、隣接する血管分枝間に大きい曲率の変化がないことが一般的であるため、隣接する血管分枝間の主方向ベクトルの内積値が閾値を超過することは、血管映像処理装置が実際に探すべき対象血管ではない他の血管を抽出したものを示す。さらに、識別されたエラー部位を修正することにおいて、血管映像処理装置は、血管の種類又は血管領域に応じて互いに異なる閾値を適用することができる。
血管映像処理装置は、抽出された対象血管に対して分枝地点を基準として分割された血管分枝ごとに主方向ベクトルを求めることができるが、予め指定された長さで血管を分割し、予め指定された長さで分割された断片（ｐｉｅｃｅ）ごとに主方向ベクトルを求めてもよい。血管映像処理装置は、抽出された対象血管に対して隣接する断片の主方向を比較することで、曲率が閾値以上に大きくなった部分を捜し出す方式で対象血管でエラー部位を識別してもよい。言い換えれば、血管映像処理装置は、抽出された対象血管を閾値長さ以下に分割することができる。血管映像処理装置は、互いに隣接する予め指定された長さに分割された断片の主方向ベクトルの内積値が閾値を超過する場合に応答して、互いに隣接する断片を誤認部位として判断することができる。血管映像処理装置は、対象血管を閾値長さ以下に分割し、隣接する断片の間の曲率を算出することができるため、分枝地点を基準として分割された血管分枝により対象血管のエラー部位を識別する場合よりもさらに正確に対象血管のエラー部位を識別することができる。
血管映像処理装置は、対象血管で主方向ベクトルを用いてエラー部位が識別される場合に応答して、識別されたエラー部位を修正することができる。血管映像処理装置は、識別されたエラー部位に対して、互いに隣接する分枝のいずれか１つの分枝を残りの分枝との主方向ベクトルの内積値が閾値以下である候補分枝に交替することができる。例示的に、血管映像処理装置は、対象血管から抽出されていない血管分枝１２０３と上位血管分枝１２０１との間の主方向ベクトル１２２３，１２２１の内積値が閾値以下である場合、血管分枝１２０２の代わりに、血管分枝１２０３を対象血管として抽出することができる。血管映像処理装置は、対象血管の抽出結果から血管分枝１２０２を血管分枝１２０３に交替することができる。
図１３は、対象血管の直径情報を用いて対象血管のエラーを識別して修正する方法を示す。
一実施形態によれば、血管映像処理装置は、対象血管で互いに隣接する血管分枝間の直径の差を算出し、誤認部位を識別して修正することができる。例えば、血管映像処理装置は、対象血管で互いに隣接する分枝間の直径の差が閾値直径の差以上である場合に応答して、互いに隣接する分枝を誤認部位として判断することができる。血管映像処理装置は、分枝地点を基準として識別された血管分枝それぞれに対して直径情報を取得する。例えば、図１３に示された血管分枝１３０１，１３０２，１３０３の直径は、それぞれｒ１、ｒ２、ｒ３に対応する。例示的に、血管映像処理装置は、血管分枝１３０１，１３０２を対象血管として１次抽出した場合、血管分枝１３０１，１３０２間の直径の差を算出する。血管映像処理装置は、算出された直径の差が閾値直径の差以上である場合に応答して、上述した血管分枝１３０１，１３０２のうち少なくともいずれかの分枝を対象血管に対する抽出結果から誤認部位として判断する。血管映像において、実際に抽出しなければならない対象血管に属する隣接する血管分枝の間では、比較的に小径の変化を示しており、閾値直径の差以上の直径差を示す隣接する血管分枝は、エラー部位である可能性がある。
血管映像処理装置は、抽出された対象血管に対して隣接する血管分枝間の直径の差を算出できるが、血管分枝の直径情報を平滑化（ｓｍｏｏｔｈｉｎｇ）して直径の差を算出してもよい。血管映像において、実際に抽出しなければならない対象血管に属する隣接する血管分枝の間では、比較的に小径の変化を示すことが一般的である。しかし、抽出しなければならない対象血管が疾患のある血管分枝を含んでいる場合、疾患のある血管分枝と隣接している血管分枝間の直径の変化は大きく示される。したがって、血管映像処理装置は、複数の血管分枝をグルーピングして血管分枝の直径情報を平滑化し直径の差を算出することで、抽出された対象血管から誤認部位を識別することができる。
血管映像処理装置は、対象血管で直径情報を用いてエラー部位が識別される場合に応答して、識別されたエラー部位を修正することができる。
血管映像処理装置は、識別された誤認部位に対して、互いに隣接する分枝のいずれか１つの分枝を残りの分枝との直径の差が閾値直径の差未満である候補分枝に交替することができる。例示的に、血管映像処理装置は、対象血管から抽出されていない血管分枝１３０３と上位血管分枝１３０１との間の直径の差が閾値直径の差未満である場合、血管分枝１３０２の代わりに、血管分枝１３０３を対象血管として抽出することができる。血管映像処理装置は、対象血管の抽出結果から血管分枝１３０２を血管分枝１３０３に交替することができる。さらに、血管映像処理装置は、識別されたエラー部位を修正することにおいて、血管の種類（例えば、ＬＭ、ＬＡＤ、ＬＣＸ、ＲＣＡ）又は血管領域に応じて、互いに異なる閾値直径の差を適用することができる。
図１４は、対象血管の明るさ情報を用いて対象血管のエラーを識別して修正する方法を示す。
一実施形態によれば、血管映像処理装置は、対象血管で互いに隣接する血管分枝間の明度（ｂｒｉｇｈｔｎｅｓｓ）差を算出し、誤認部位を識別して修正することができる。例えば、血管映像処理装置は、対象血管で互いに隣接する分枝間の明度差が閾値の明度差以上である場合に応答して、互いに隣接している分枝を誤認部位として判断することができる。血管映像処理装置は、分枝地点を基準にし識別された血管分枝それぞれに対して明度情報を取得することができる。例えば、血管分枝の明度は、血管映像を取得するために投与した造影剤の分布濃度を示す。例示的に、血管映像処理装置は、血管分枝１４０１，１４０２を対象血管として１次抽出した場合、血管分枝１４０１，１４０２間の明度差を算出することができる。血管映像処理装置は、算出された明度差が閾値の明度差以上である場合に応答して、上述した血管分枝１４０１，１４０２のうち、少なくとも１つの分枝を対象血管に対する抽出結果において誤認部位として判断することができる。血管映像において、実際に抽出しなければならない対象血管に属する隣接する血管分枝との間では、比較的に小さな明度の変化を示しているところ、閾値の明度差以上の明度差を示す隣接する血管分枝は、エラー部位である可能性がある。
血管映像処理装置は、対象血管で明るさ情報を用いてエラー部位が識別される場合に応答して、識別されたエラー部位を修正することができる。血管映像処理装置は、識別された誤認部位に対して、互いに隣接する分枝のうち１つの分枝を残り分枝との明るさの差が閾値明るさの差未満である候補分枝に交換することができる。例えば、血管映像処理装置は、対象血管に抽出されていない血管分枝１４０３と上位血管分枝１４０１との間の明るさの差が閾値の明るさの差未満である場合、血管分枝１４０２の代わりに血管分枝１４０３を対象血管として抽出することができる。血管画像処理装置は、対象血管の抽出結果から血管分枝１４０２を血管分枝１４０３に交換することができる。さらに、血管映像処理装置は、識別されたエラー部位を修正することにおいて、血管の種類（例えば、ＬＭＬＭＬＬＡＤＬＣＬＣＸＲＣＲＣＡ）又は血管領域に応じて互いに異なる閾値直径の差を適用することができる。すなわち、血管映像処理装置は、図８～図１４の方法に基づいた１次抽出した対象血管のエラー部位を識別し、識別されたエラー部位の修正結果をユーザに提供する前処理動作を行うことができる。
一実施形態に係る血管映像処理装置は、エラー部位が識別される場合に応答して、以前の抽出結果で適用されたモデルアンサンブルとは区別されるモデルアンサンブルに基づいて、対象血管に対して新しい抽出結果を生成することができる。エラー部位が識別される場合、血管映像処理装置は、直接エラー部位を修正せずに、格納された複数の機械学習モデルのうち、以前の抽出結果で適用されたモデルアンサンブルとは区別される１つのモデルアンサンブルに基づいて、対象血管に対して新しい抽出結果を生成することができる。
また、血管映像処理装置は、格納された複数の機械学習モデルのうち、以前抽出結果で適用されたモデルアンサンブルとは区別されたモデルアンサンブルに基づいて複数のモデルアンサンブルのそれぞれに対して対象血管に対する複数の新しい抽出結果を生成することができる。血管映像処理装置は、モデルアンサンブルにより生成された対象血管の抽出結果ごとに対象血管に関する血管構造データ、対象血管の曲率情報、対象血管の直径情報、及び対象血管の明度情報のうち少なくとも１つに基づいてエラー部位を識別することができる。血管映像処理装置は、生成された複数の対象血管に対する抽出結果のうち、実際に抽出しなければならない対象血管と最も近い１つの抽出結果を対象血管として自動選択してユーザに提供することができる。例えば、血管映像処理装置は、識別されたエラー部位が最も少ない対象血管に対する抽出結果を実際に抽出しなければならない対象血管と最も近い抽出結果として選択することができるが、これに限定されることはない。血管映像処理装置は、ユーザの選択入力に応答して、選択された抽出結果を対象血管に抽出することができる。さらに、血管映像処理装置は、複数の対象血管に対する抽出結果に関する情報をユーザに提供することができる。血管映像処理装置は、ユーザから複数の対象血管に対する抽出結果のうちの１つが入力され、入力により指示される１つの抽出結果を対象血管に抽出することができる。したがって、血管映像処理装置は、異なる機械学習モデルを用いた対象血管の修正結果をユーザに提供する前処理過程を経ることができる。
一実施形態に係る血管映像処理装置は、対象血管の抽出結果でエラー部位が識別される場合に応答して、候補血管分枝それぞれに対する連結性スコア（ｃｏｎｎｅｃｔｉｖｉｔｙ ｓｃｏｒｅ）に基づいて候補血管分枝のうち１つの血管分枝を対象血管に抽出することができる。血管映像処理装置は、対象血管の抽出結果からエラー部位が識別される場合、エラー部位を修正できる候補血管分枝のうち１つの血管分枝を選択する。血管映像処理装置は、候補血管分枝それぞれに対して連結性スコアを算出する。連結性スコアは、対象血管の抽出結果で任意の候補血管分枝に隣接する血管分枝と該当の候補血管分枝との間の連結性を指示するスコアとして、例えば、候補血管分枝及び隣接する血管分枝間の血管構造データに対するマッチング程度、曲率差、直径の差、及び明度差などに基づいて算出され得る。連結性スコアは、候補血管分枝が対象血管に含まれている場合、修正された対象血管が実際に抽出しなければならない対象血管に類似の程度に対応する。
例えば、候補血管分枝が対象血管から抽出された場合、候補血管分枝と前記候補血管分枝と隣接して連結されている血管分枝の間で対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明度情報のうち少なくとも１つに基づいて連結性スコアを算出することができる。しかし、これに限定されることなく、様々な方法で候補血管分枝それぞれに対する連結性スコアを算出してもよい。血管映像処理装置は、連結性スコアに基づいて候補血管分枝のうち１つの血管分枝を選択することができる。例えば、候補血管分枝のうち連結性スコアが最も高い血管分枝として、エラーが最も小さいと判断される血管分枝を選択する。血管映像処理装置は、選択された血管分枝を対象血管に抽出することができる。
例示的に、図９において、血管映像処理装置が対象血管の抽出結果から第１ノードＮ１、第３ノードＮ３、及び第５ノードＮ５が連結されているノード連結データ９１０を算出した場合、血管映像処理装置は、ノード連結データ９１０で第３ノードＮ３及び第５ノードＮ５間の連結が血管構造データ９００にマッチングしないものと決定することができる。血管映像処理装置は、連結エラーに対応するノードＮ３、Ｎ５のうち、少なくともいずれかのノードに対応する血管分枝をエラー部位として判断する。血管映像処理装置は、第３ノードＮ３に対応する血管分枝をエラーとして判断した場合、血管構造データにマッチングしない第３ノードＮ３をノード連結データから排除し、血管構造データにマッチングする第２ノードＮ２をノード連結データに追加する。また、血管映像処理装置は、第５ノードＮ５に対応する血管分枝をエラーとして判断した場合、血管構造データにマッチングしない第５ノードＮ３をノード連結データから排除し、血管構造データにマッチングする第６ノードＮ６又は第７ノードＮ７をノード連結データに追加する。結局、血管映像処理装置は、対象血管のノードになり得る第２ノード、第６ノード、第７ノードに対応する候補血管分枝それぞれに対する連結性スコアを算出することができる。血管映像処理装置は、候補血管分枝それぞれに対する連結性スコアに基づいて、エラーの最も小さいと判断される血管分枝を選択して対象血管に抽出することができる。
更なる例示として、図１２において、血管映像処理装置が血管分枝１２０１、１２０２を対象血管にして１次抽出した場合、血管分枝１２０１、１２０２間の曲率が閾値曲率を超過してエラー部位として判断してもよい。血管映像処理装置は、互いに隣接する分枝のうち、いずれか１つの分枝を残りの分枝との曲率が閾値曲率以下である候補分枝に交替してもよい。図１２とは異なって、候補血管分枝が複数である場合、血管映像処理装置は、候補血管分枝それぞれに対して連結性スコアを算出してもよい。血管映像処理装置は、候補血管分枝それぞれに対する連結性スコアに基づいて、エラーが最も小さいと判断される血管分枝を選択し対象血管に抽出することができる。図１３及び図１４においても、血管映像処理装置は上述と同じ方法で、候補血管分枝のうちの１つを対象血管として選択して抽出することができる。
図１５は、一実施形態に係る血管映像処理装置を概略的に示すブロック図である。
一実施形態に係る血管映像を処理するシステム１５００は、血管映像処理装置１５１０及び血管映像撮影装置１５２０を含む。血管映像処理装置１５１０は、映像受信部１５１１、プロセッサ１５１２、及び入出力インターフェース１５１３を含む。
映像受信部１５１１は、血管映像撮影装置１５２０によって撮影された血管映像を受信する。映像受信部１５１１は、有無線データ通信を介して血管映像撮影装置１５２０から血管映像を受信する。但し、これに限定されることなく、映像受信部１５１１に血管映像撮影装置１５２０が統合されて構成されてもよい。
プロセッサ１５１２は、機械学習モデルを用いて映像受信部から受信した血管映像から対象血管を抽出し、ユーザから受信される第１入力に基づいて対象血管の抽出結果に対する関心領域を決定し、決定された関心領域内でユーザから受信される第２入力に基づいて抽出結果のエラー部位を識別し、識別されたエラー部位を修正することができる。プロセッサ１５１２の動作がこれに限定されることなく、プロセッサ１５１２は図１～図１４を参照して上述した動作を行うことができる。
入出力インターフェース１５１３は、ユーザから入力を受信してプロセッサに伝達することができる。例えば、入出力インターフェース１５１３は、マウス操作、及びタッチ操作などによる入力を受信する。また、入出力インターフェース１５１３は、視覚的フィードバックをユーザに提供してもよい。例えば、入出力インターフェース１５１３は、対象血管の抽出結果をステップごとにディスプレイを介して出力する。
本発明を支援した国家研究開発事業は次の通りである。
［課題固有番号］１４１５１６６９１２
［課題番号］２０００１６３８
［部署名］産業通常資源部－科学技術情報通信部－保健福祉部－食品医薬品安全処
［課題管理（専門）機関名］韓国産業技術評価管理院
［研究事業名］人工知能バイオロボット医療融合事業
［研究課題名］心血管ビックデータ基盤の心臓仲裁施術補助人工知能及び半自動施術ツール制御ロボットシステム開発
［主管機関］ソウルアサン病院
［研究期間］２０１８年０５月０１日～２０２０年１２月３１日

［課題固有番号］１７１１１１７０８５
［課題番号］２０２０－Ｏ－００１５９
［部署名］科学技術情報通信部
［課題管理（専門）機関名］情報通信企画評価院
［研究事業名］人工知能融合先導プロジェクト事業
［研究課題名］人工知能基盤の自動化された心血管疾患診断補助及び施術ツール推薦システム開発
［主管機関］株式会社Medipixel
［研究期間］２０２０年０４月０１日～２０２１年１２月３１日

［課題固有番号］１４２５１３３１９６
［課題番号］Ｓ２７５８８８３
［部署名］中小ベンチャー企業部
［課題管理（専門）機関名］中小企業技術情報振興院
［研究事業名］創業成長技術開発（Ｒ＆Ｄ）
［研究課題名］人工知能基盤の完全閉塞病変再開通施術補助システム開発
［主管機関］株式会社 Medipixel
［研究期間］２０１９年０６月０１日～２０２０年０５月３１日

［課題固有番号］１７１１１０６９０３
［課題番号］２０２０Ｒ１Ｃ１Ｃ１０１０４７０
［部署名］科学技術情報通信部
［課題管理（専門）機関名］韓国研究財団
［研究事業名］新進研究者研修支援事業
［研究課題名］ディープラーニング基盤の血管内超音波映像分割技術を活用した心血管診断法開発
［主管機関］蔚山大学校
［研究期間］２０２０年０３月０１日～２０２１年０２月２８日
以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

Claims (12)

  1. プロセッサによって行われる血管映像処理方法であって、
    血管映像から対象血管を抽出するステップと、
    ユーザから受信される第１入力に基づいて前記対象血管の抽出結果に対する関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）を決定するステップと、
    前記決定された関心領域内で前記ユーザから受信される第２入力に基づいて前記抽出結果のエラー部位を識別し、前記識別されたエラー部位を修正するステップと、
    を含む血管映像処理方法。
  2. 前記関心領域を決定するステップは、前記第１入力が検出される地点に基づいて前記関心領域の形態を決定するステップを含む、請求項１に記載の血管映像処理方法。
  3. 前記エラー部位を修正するステップは、前記第２入力が前記関心領域内の複数の地点から検出される場合に応答して、前記第２入力の前記複数の地点に基づいてエラー部位を修正するステップを含む、請求項１に記載の血管映像処理方法。
  4. 前記複数の地点に基づいてエラー部位を修正するステップは、
    前記第２入力に対応する地点が前記対象血管から抽出された領域に沿って移動する間に、前記第２入力が通過した地点で断絶部位が存在するかを検出するステップと、
    前記断絶部位が検出される場合に応答して、前記第２入力の移動軌跡に沿って断絶した部位を連結するステップと、
    を含む、請求項３に記載の血管映像処理方法。
  5. 前記移動軌跡に基づいてエラー部位を修正するステップは、
    前記第２入力に対応する地点が前記対象血管から抽出された領域内の分枝地点から前記対象血管を離脱した領域に移動する場合に応答して、前記分枝地点と連結された血管分枝のうち、前記第２入力の移動軌跡に対応する領域の外側に位置する血管分枝を誤認部位として決定するステップと、
    前記対象血管を離脱した前記第２入力によって指示される血管分枝に交替し、前記交替された血管分枝に基づいて残りの抽出結果を修正するステップと、
    を含む、請求項３に記載の血管映像処理方法。
  6. 前記エラー部位を修正するステップは、
    前記関心領域の決定に応答して、前記対象血管の抽出結果から前記エラー部位を識別して前記識別されたエラー部位を修正するステップと、
    前記エラー部位の修正結果をユーザに提供するステップと、
    を含む、請求項１に記載の血管映像処理方法。
  7. 前記修正結果をユーザに提供するステップは、
    前記エラー部位が誤認部位である場合に応答して、１つ以上の候補分枝をユーザに提供するステップと、
    前記ユーザから前記１つ以上の候補分枝のいずれか１つの分枝に対するポインティング入力を受信する場合に応答して、前記エラー部位に対応する分枝を選択された分枝に交替するステップと、
    をさらに含む、請求項６に記載の血管映像処理方法。
  8. 前記修正結果をユーザに提供するステップは、前記修正結果に対して複数の地点でユーザ入力が検出される場合に応答して、前記ユーザ入力の開始地点に対応する血管分枝に対応する領域及び前記ユーザ入力の終了地点に対応する血管分枝に対応する領域を連結するステップを含む、請求項６に記載の血管映像処理方法。
  9. 前記エラー部位を修正するステップは、前記関心領域が決定される場合に応答して、前記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明るさ情報のうち少なくとも１つに基づいて前記エラー部位を識別するステップを含む、請求項６に記載の血管映像処理方法。
  10. 前記エラー部位を修正するステップは、前記エラー部位が識別される場合に応答して、前記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明るさ情報のうち少なくとも１つに基づいて前記エラー部位を修正するステップを含む、請求項６に記載の血管映像処理方法。
  11. 前記エラー部位を修正するステップは、
    前記エラー部位が識別された場合に応答して、前記対象血管に対する複数の新しい抽出結果を生成するステップと、
    ユーザの選択入力に応答して、前記複数の新しい抽出結果のうち前記選択入力によって指示される１つの抽出結果を選択するステップと、
    を含む、請求項１に記載の血管映像処理方法。
  12. 血管映像処理装置であって、
    血管映像を受信する映像受信部と、
    前記血管映像から対象血管を抽出し、ユーザから受信される第１入力に基づいて前記対象血管の抽出結果に対する関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）を決定し、前記決定された関心領域内で前記ユーザから受信される第２入力に基づいて前記抽出結果のエラー部位を識別と前記識別されたエラー部位を修正するプロセッサと、
    を含む血管映像処理装置。
JP2022562149A 2020-06-02 2021-04-28 ユーザ入力に基づいて血管映像を処理する方法及び装置 Active JP7427294B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024005155A JP2024059614A (ja) 2020-06-02 2024-01-17 ユーザ入力に基づいて血管映像を処理する方法及び装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200066266A KR102399510B1 (ko) 2020-06-02 2020-06-02 사용자 입력에 기초하여 혈관 영상을 처리하는 방법 및 장치
KR10-2020-0066266 2020-06-02
PCT/KR2021/005374 WO2021246648A1 (ko) 2020-06-02 2021-04-28 사용자 입력에 기초하여 혈관 영상을 처리하는 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024005155A Division JP2024059614A (ja) 2020-06-02 2024-01-17 ユーザ入力に基づいて血管映像を処理する方法及び装置

Publications (2)

Publication Number Publication Date
JP2023521188A true JP2023521188A (ja) 2023-05-23
JP7427294B2 JP7427294B2 (ja) 2024-02-05

Family

ID=78831503

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022562149A Active JP7427294B2 (ja) 2020-06-02 2021-04-28 ユーザ入力に基づいて血管映像を処理する方法及び装置
JP2024005155A Pending JP2024059614A (ja) 2020-06-02 2024-01-17 ユーザ入力に基づいて血管映像を処理する方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024005155A Pending JP2024059614A (ja) 2020-06-02 2024-01-17 ユーザ入力に基づいて血管映像を処理する方法及び装置

Country Status (5)

Country Link
US (2) US11741574B2 (ja)
EP (1) EP4159130A4 (ja)
JP (2) JP7427294B2 (ja)
KR (1) KR102399510B1 (ja)
WO (1) WO2021246648A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12039685B2 (en) 2019-09-23 2024-07-16 Cathworks Ltd. Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device
KR102399510B1 (ko) 2020-06-02 2022-05-19 주식회사 메디픽셀 사용자 입력에 기초하여 혈관 영상을 처리하는 방법 및 장치

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004283373A (ja) * 2003-03-20 2004-10-14 Toshiba Corp 管腔状構造体の解析処理装置
JP2008525126A (ja) * 2004-12-22 2008-07-17 バイオ−ツリー システムズ， インコーポレイテッド 病気の診断およびモニタリングのための医療画像化方法および装置ならびにその用途
JP2011212314A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 血管表示制御装置および方法、並びにプログラム
WO2013031741A1 (ja) * 2011-08-26 2013-03-07 イービーエム株式会社 血流性状診断のためのシステム、その方法及びコンピュータソフトウエアプログラム
JP2013090799A (ja) * 2011-10-26 2013-05-16 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2014180492A (ja) * 2013-03-21 2014-09-29 Canon Inc 被検体情報取得装置およびその制御方法
US20140355858A1 (en) * 2013-06-03 2014-12-04 University Of Florida Research Foundation, Inc. Vascular anatomy modeling derived from 3-dimensional medical image processing
JP2016533815A (ja) * 2013-08-16 2016-11-04 ハートフロー， インコーポレイテッド 患者に特異的な解剖学的データからパーソナライズされた血管移植を特定するためのシステム及び方法
JP2019512295A (ja) * 2016-03-04 2019-05-16 ４ディーエックス リミテッド 撮像方法およびシステム
JP2019122762A (ja) * 2018-01-11 2019-07-25 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理システム及び医用情報処理方法
JP2019521733A (ja) * 2016-05-16 2019-08-08 キャスワークス リミテッド 画像からの血管の選択方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551862B (zh) 2009-05-13 2011-06-01 西安电子科技大学 基于边界距离场的血管中心路径提取方法
US8625021B2 (en) 2010-08-30 2014-01-07 Canon Kabushiki Kaisha Image capture with region-based adjustment of imaging properties
KR101094838B1 (ko) * 2010-09-17 2011-12-16 주식회사 인피니트헬스케어 혈관 계통도 상의 관심영역 표시단말기 및 표시방법
US9814433B2 (en) 2012-10-24 2017-11-14 Cathworks Ltd. Creating a vascular tree model
JP6271458B2 (ja) 2015-02-25 2018-01-31 富士フイルム株式会社 画像処理装置、方法、及びプログラム
US10037603B2 (en) * 2015-05-04 2018-07-31 Siemens Healthcare Gmbh Method and system for whole body bone removal and vascular visualization in medical image data
KR20160143178A (ko) 2015-06-04 2016-12-14 삼성전자주식회사 의료 영상 처리 장치 및 의료 영상 처리 방법
US10115039B2 (en) * 2016-03-10 2018-10-30 Siemens Healthcare Gmbh Method and system for machine learning based classification of vascular branches
KR101937018B1 (ko) 2016-03-24 2019-01-09 울산대학교 산학협력단 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치
DE102017200489A1 (de) 2017-01-13 2018-07-19 Siemens Healthcare Gmbh Verfahren zur Reduzierung von aufgrund von Gefäßüberlagerungen auftretenden Artefakten in einem vierdimensionalen Angiographiedatensatz, Bildverarbeitungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger
CN108205807A (zh) * 2017-12-29 2018-06-26 四川和生视界医药技术开发有限公司 视网膜血管图像编辑方法及视网膜血管图像编辑装置
KR102242114B1 (ko) 2018-06-15 2021-04-20 계명대학교 산학협력단 Oct 의료 영상 기반 인공지능 컴퓨터 보조 진단 시스템 및 그 방법
KR102399510B1 (ko) 2020-06-02 2022-05-19 주식회사 메디픽셀 사용자 입력에 기초하여 혈관 영상을 처리하는 방법 및 장치

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004283373A (ja) * 2003-03-20 2004-10-14 Toshiba Corp 管腔状構造体の解析処理装置
JP2008525126A (ja) * 2004-12-22 2008-07-17 バイオ−ツリー システムズ， インコーポレイテッド 病気の診断およびモニタリングのための医療画像化方法および装置ならびにその用途
JP2011212314A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 血管表示制御装置および方法、並びにプログラム
WO2013031741A1 (ja) * 2011-08-26 2013-03-07 イービーエム株式会社 血流性状診断のためのシステム、その方法及びコンピュータソフトウエアプログラム
JP2013090799A (ja) * 2011-10-26 2013-05-16 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2014180492A (ja) * 2013-03-21 2014-09-29 Canon Inc 被検体情報取得装置およびその制御方法
US20140355858A1 (en) * 2013-06-03 2014-12-04 University Of Florida Research Foundation, Inc. Vascular anatomy modeling derived from 3-dimensional medical image processing
JP2016533815A (ja) * 2013-08-16 2016-11-04 ハートフロー， インコーポレイテッド 患者に特異的な解剖学的データからパーソナライズされた血管移植を特定するためのシステム及び方法
JP2019512295A (ja) * 2016-03-04 2019-05-16 ４ディーエックス リミテッド 撮像方法およびシステム
JP2019521733A (ja) * 2016-05-16 2019-08-08 キャスワークス リミテッド 画像からの血管の選択方法
JP2019122762A (ja) * 2018-01-11 2019-07-25 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理システム及び医用情報処理方法

Also Published As

Publication number Publication date
EP4159130A4 (en) 2024-07-31
WO2021246648A1 (ko) 2021-12-09
EP4159130A1 (en) 2023-04-05
JP2024059614A (ja) 2024-05-01
US11741574B2 (en) 2023-08-29
KR20210149349A (ko) 2021-12-09
US20230186433A1 (en) 2023-06-15
US20230351550A1 (en) 2023-11-02
JP7427294B2 (ja) 2024-02-05
KR102399510B1 (ko) 2022-05-19

Similar Documents

Publication Publication Date Title
Chen et al. Curve-like structure extraction using minimal path propagation with backtracking
JP6751427B2 (ja) 自動医療画像注釈の検証及び修正のためのシステム及び方法
Zhao et al. Automatic extraction and stenosis evaluation of coronary arteries in invasive coronary angiograms
US9471989B2 (en) Vascular anatomy modeling derived from 3-dimensional medical image processing
JP7427293B2 (ja) 血管映像を自動処理する方法及び装置
JP4914517B2 (ja) 構造物検出装置および方法ならびにプログラム
WO2017160994A1 (en) Systems and methods for estimating healthy lumen diameter and stenosis quantification in coronary arteries
JP2024059614A (ja) ユーザ入力に基づいて血管映像を処理する方法及び装置
WO2008097520A2 (en) System and method for computer aided detection of pulmonary embolism in tobogganing in ct angiography
US20120002855A1 (en) Stent localization in 3d cardiac images
IL263066B2 (en) Selecting blood vessels from images
CN111178420B (zh) 一种二维造影图像上冠脉段标注方法及系统
EP3975115A1 (en) Method and system for analyzing a plurality of interconnected blood vessels
Wissel et al. Cascaded learning in intravascular ultrasound: coronary stent delineation in manual pullbacks
Wang et al. Avdnet: Joint coronary artery and vein segmentation with topological consistency
CN112446911A (zh) 中心线提取、界面交互与模型训练方法、系统及设备
Osama et al. Empowering cardiologists with deep learning yolov8 model for accurate coronary artery stenosis detection in angiography images
JP2024515188A (ja) 冠動脈疾患を特定するシステム及び方法
CN111507981B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
Bacchuwar et al. Scale-space for empty catheter segmentation in PCI fluoroscopic images
JP7479080B2 (ja) 血管分割に基づいて血管映像を処理する方法及び装置
Zheng et al. Automatic aorta detection in non-contrast 3d cardiac ct images using bayesian tracking method
Jawaid et al. Non-calcified plaque-based coronary stenosis grading in contrast enhanced CT
Nadkarni et al. Automated Measurement of AVR Feature in Fundus Images using Image Processing and Machine Learning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240117

R150 Certificate of patent or registration of utility model

Ref document number: 7427294

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150