JP7479080B2 - 血管分割に基づいて血管映像を処理する方法及び装置 - Google Patents

血管分割に基づいて血管映像を処理する方法及び装置 Download PDF

Info

Publication number
JP7479080B2
JP7479080B2 JP2022568587A JP2022568587A JP7479080B2 JP 7479080 B2 JP7479080 B2 JP 7479080B2 JP 2022568587 A JP2022568587 A JP 2022568587A JP 2022568587 A JP2022568587 A JP 2022568587A JP 7479080 B2 JP7479080 B2 JP 7479080B2
Authority
JP
Japan
Prior art keywords
vascular
region
blood vessel
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022568587A
Other languages
English (en)
Other versions
JP2023536034A (ja
Inventor
チフン クォン
キョ ソク ソン
フィ クォン
セ ヨン パク
ヨン-ハク キム
チ ウォン パク
ヨン イン キム
ワン ヨン キム
ユ チョン キム
ユン ヒ イ
Original Assignee
メディピクセル,インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by メディピクセル,インコーポレイティド filed Critical メディピクセル,インコーポレイティド
Publication of JP2023536034A publication Critical patent/JP2023536034A/ja
Application granted granted Critical
Publication of JP7479080B2 publication Critical patent/JP7479080B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/481Diagnostic techniques involving the use of contrast agents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Vascular Medicine (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Urology & Nephrology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

以下、血管分割に基づいて血管映像を処理する方法に関する技術が提供される。
心血管、脳血管、末梢血管を治療するためにカテーテルを用いてステントなどを挿入する仲裁的施術が幅広く普及されている。施術を行う前に患者病変の深刻性を心血管造影術を介して映像を用いて評価する。病変の深刻性を定量的に評価するためには血管の情報を把握しなければならず、そのために血管分割に対する研究が持続的に行われている。血管分割情報は、中心線抽出、分枝角度測定、病変位置予測など様々に活用されている。最近では、ディープラーニング基盤の血管分割方法が開発されており、既存の方法に比べて高い性能を有する。
従来における血管領域分析方法は、血管領域と非血管領域といった2進分割(binary segmentation)を適用している。既存の方法では、血管領域が重なる場合、連結性が不明になって血管トリ構造を把握し難しいという問題が生じる。血管トリ構造の分析が間違っている場合、分割された血管がどの血管であるかを判定する正確度が低下する。また、血管トリ構造を間違って分析する場合、実際に連結されていない血管を用いて病変の如何を誤認し、血管単位ごとに異なるスコアを付加して診断するシンタックススコアの適用におけるエラーの原因となる。したがって、血管トリ構造を正確に分析することが必要である。さらに、施術道具をナビゲーションするためは、に血管トリ構造を正確に分析する必要がある。
一実施形態に係るプロセッサによって実行される血管映像処理方法は、血管映像から前記血管映像に含まれている全体血管に対応する第1血管領域、ターゲット血管及び前記ターゲット血管に連結されている1つ以上の血管分枝に対応する第2血管領域、及び前記ターゲット血管に対応する第3血管領域を抽出するステップと、前記血管映像から抽出された前記第1血管領域、前記第2血管領域、及び前記第3血管領域に基づいて前記血管映像から血管構造を予測するステップとを含む。
前記血管構造を予測するステップは、前記血管映像で血管に対応する各地点を、前記ターゲット血管、前記ターゲット血管に連結される前記1つ以上の血管分枝、及び前記ターゲット血管と分離されている別途の血管のうちの1つに属するものとして分類するステップを含むことができる。
前記血管構造を予測するステップは、前記第1血管領域、前記第2血管領域、及び前記第3血管領域を互いにオーバーラップすることによって、前記血管映像で前記ターゲット血管に対応する領域を予測するステップを含むことができる。
前記抽出するステップは、前記第1血管領域の抽出を前記第2血管領域の抽出及び前記第3血管領域の抽出よりも先行して行うステップと、前記第1血管領域から血管分枝が分岐する分枝点を含む領域及び異なる血管が互いに重なる領域のうち少なくとも1つを含む交差領域を抽出するステップと、前記抽出された交差領域に基づいて前記血管映像から前記第2血管領域及び前記第3血管領域を抽出するステップとを含むことができる。
一実施形態に係るプロセッサにより行われる管映像処理方法は、前記血管映像から予測された血管構造のエラーを修正するステップをさらに含むことができる。
前記予測された血管構造のエラーを修正するステップは、前記血管映像と異なる時間に撮影された他の血管映像を取得するステップと、前記血管映像から予測された血管構造と、前記取得された他の血管映像から予測された血管構造とを比較した結果に基づいて、前記血管映像から予測された血管構造のエラーを修正するステップとを含むことができる。
前記予測された血管構造のエラーを修正するステップは、前記予測された血管構造から取得されたターゲット血管の直径、前記予測された血管構造から取得されたターゲット血管の末端方向、及び病変情報のうち少なくとも1つ又は2以上の組み合わせに基づいて前記予測された血管構造のエラーを修正するステップを含むことができる。
一実施形態に係る血管映像処理装置は、血管映像を取得する映像取得部と、前記血管映像から前記血管映像に含まれている全体血管に対応する第1血管領域、ターゲット血管及び前記ターゲット血管に連結されている1つ以上の血管分枝に対応する第2血管領域、及び前記ターゲット血管に対応する第3血管領域を抽出し、前記血管映像から抽出された前記第1血管領域、前記第2血管領域、及び前記第3血管領域に基づいて、前記血管映像から血管構造を予測するプロセッサとを含む。
一実施形態に係る血管映像処理装置は、血管映像において、ターゲット血管、ターゲット血管に連結されている血管分枝、及びターゲット血管と分離されている別途の血管に位相を分割して血管領域を抽出し、抽出された結果を組み合わせて血管構造をより正確に予測することができる。
一実施形態に係る血管映像処理装置は、血管に異なる位相を付与して血管映像を分割することで、従来の血管重複(overlap)による血管構造を予測するという困難を解決することができる。
一実施形態に係る血管映像を処理する方法を示すフローチャートである。 一実施形態に係る血管映像処理装置が抽出した血管領域を表示する図である。 一実施形態に係る血管映像処理装置が抽出した血管領域を表示する図である。 一実施形態に係る血管映像処理装置が抽出した血管領域を表示する図である。 一実施形態に係る血管映像処理装置が血管映像の血管構造を予測する過程を説明する。 一実施形態に係る血管映像処理装置第1血管領域から抽出された交差領域(cross region)に基づいて第2血管領域及び第3血管領域を抽出する過程を説明する。 一実施形態に係る血管映像処理装置が予測された血管構造のエラーを修正する過程を説明する。 一実施形態に係る血管映像処理装置が予測された血管構造のエラーを修正する過程を説明する。 一実施形態に係る血管映像処理装置を概略的に示すブロック図である。
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
第1又は第2などの用語を様々な構成要素を説明するために用いることがあるが、このような用語は1つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第1構成要素は第2構成要素と命名することができ、同様に、第2構成要素は第1構成要素にも命名することができる。
いずれかの構成要素が他の構成要素に「連結」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれを組み合わせたものが存在することを示すものであって、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なるように定義さがれない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、添付する図面を参照しながら実施形態を詳細に説明する。添付図面を参照して説明することにおいて、図面符号に関係なく同じ構成要素には同じ参照符号を付与し、これに対する重複する説明は省略する。
図1は、一実施形態に係る血管映像を処理する方法を示すフローチャートである。
まず、ステップ110において、血管映像処理装置は、血管映像(blood vessel image)から血管映像に含まれている全体血管に対応する第1血管領域、ターゲット血管(target vessel)及びターゲット血管に連結されている1つ以上の血管分枝に対応する第2血管領域、及びターゲット血管に対応する第3血管領域を抽出する。
血管映像に含まれている全体血管は、ターゲット血管、ターゲット血管に連結された1つ以上の分枝血管、別途の血管から構成されてもよい。ターゲット血管は、主血管(major vessel)を示す。血管分枝は、ターゲット血管と直接的又は間接的に連結されているターゲット血管から分岐された血管を示す。別途の血管は、ターゲット血管と分離されている別途の血管を示す。例えば、血管映像は、左冠状動脈(left coronary artery、LCA)を撮影した映像を示す。左冠状動脈(LCA)は、左前下行枝(left anterior descending、LAD)と左回旋冠状動脈(left circumflex artery、LCX)に区分される。ターゲット血管が左前下行枝内の主血管を示す場合、別途の血管は左回旋冠状動脈を示す。
一実施形態に係る血管映像処理装置は、血管映像撮影装置によって撮影された血管映像を取得することができる。血管映像は、生体(living body)の血管を撮影した映像であって、血管造影術(coronary angiography、以下、CAG)映像及び/又は磁気共鳴映像(Magnetic
Resonance Imaging、以下、MRI)を用いて生成されてもよい。例えば、血管映像は、造影剤が注入された生体に対してX線を撮影することで取得された映像である。
一実施形態によれば、血管映像処理装置は、機械学習モデル(machine learning model)に基づいて血管映像から第1血管領域、第2血管領域、第3血管領域をそれぞれ抽出することができる。機械学習モデルは、血管映像の入力に応答して血管映像から血管領域を抽出するよう設計された機械学習構造を有する1つ以上のモデルとして、例えば、ニューラルネットワーク(neural network)を含んでもよい。血管映像処理装置は、取得された血管映像について上述した機械学習モデルによる演算を行うことで、血管領域の抽出結果を算出することができる。
血管映像処理装置は、血管の形態、種類、及び/又は血管領域に応じて複数の機械学習モデルのうち目標血管の抽出に使用する機械学習モデルを選択的に使用してもよい。目標血管とは、血管映像として抽出しようとする血管であって、例えば、血管映像に含まれている全体血管、主血管と主血管に連結されている血管分枝、及び主血管の1つであってもよい。しかし、必ず目標血管を上記の例示に限定することはない。一実施形態によれば、血管映像処理装置は、目標血管により複数の機械学習モデルを格納してもよい。例えば、血管映像処理装置は、抽出しようとする目標血管を選択し、選択された目標血管に対応する機械学習モデルをロードすることができる。血管映像処理装置は、ロードされた機械学習モデルを用いて血管映像から目標血管の抽出結果を生成することができる。機械学習モデルのそれぞれのトレーニングされたパラメータはそれぞれ異なってもよく、さらに、互いに機械学習構造(例えば、畳み込みニューラルネットワーク、U-net構造など)が異なってもよい。
例えば、血管映像処理装置は、血管映像内で血管映像に含まれている全体血管を抽出するよう学習された機械学習モデルを用いて第1血管領域を抽出することができる。血管映像処理装置は、血管映像内でターゲット血管(例えば、主血管)とターゲット血管に連結された血管分枝を抽出するよう学習された機械学習モデルを用いて第2血管領域を抽出してもよい。血管映像処理装置は、血管映像内のターゲット血管を抽出するように学習された機械学習モデルを用いて、第3血管領域を抽出してもよい。
例えば、機械学習モデルの出力データは、血管映像の複数の地点で各地点の目標血管(例えば、全体血管、主血管など)を指示する可能性(例えば、確率)に対応するスコアに関する情報を含んでもよい。ここで、目標血管とは、該当の機械学習モデルが抽出しようとする血管(例えば、全体血管、主血管、又は、主血管と主血管と連結されている血管分枝)を示す。血管映像処理装置は、出力データで閾値以上のスコアを有する地点を目標血管に対応する領域として決定することで抽出結果を生成することができる。異なる例として、機械学習モデルの出力データは血管映像から分割(segment)された血管領域として、血管映像の複数の地点のうち目標血管として抽出された地点を含んでもよい。目標血管の抽出結果は、例えば、血管映像の地点のうち目標血管として抽出された地点の集合及び/又は血管映像から分割された目標血管に対応する領域に対する映像であり得る。
参考として、ニューラルネットワークは、ディープニューラルネットワーク(DNN、deep neural network)を含んでもよい。DNNは、完全接続ネットワーク(fully connected network)、ディープコンボリューショナルネットワーク(deep convolutional network)及びリカレントニューラルネットワーク(recurrent neural network)などを含んでもよい。ニューラルネットワークは、ディープラーニングに基づいて非線形関係にある入力データ及び出力データを互いにマッピングすることで、オブジェクト分類、オブジェクト認識、及びレーダーイメージ認識などを行うことができる。ディープラーニングは、ビッグデータセットからオブジェクト認識のような問題を解決するための機械学習方式として、教師あり(supervised)又は教師なし(unsupervised)学習を介して入力データ及び出力データを互いにマッピングすることができる。教師あり学習の場合、上述した機械学習モデルは、トレーニング入力(例えば、トレーニングのための血管映像)及び該当トレーニング入力にマッピングされたトレーニング出力(例えば、トレーニングのための血管映像について専門家などにより目標血管に分割された真の値(ground truth)映像)の対を含むトレーニングデータに基づいてトレーニングされてもよい。例えば、機械学習モデルは、トレーニング入力からトレーニング出力を出力するようにトレーニングされてもよい。トレーニング中の機械学習モデル(以下、「臨時モデル」)は、トレーニング入力に応答して臨時出力を生成し、臨時出力及びトレーニング出力(例えば、真の値)間の損失が最小化するようトレーニングされてもよい。トレーニング過程の間に機械学習モデルのパラメータ(例えば、ニューラルネットワークでノード/レイヤ間の連結加重値)が損失に応じてアップデートされることができる。
次に、ステップ120において、血管映像処理装置は、血管映像から抽出された第1血管領域、第2血管領域、第3血管領域に基づいて血管映像における血管構造を予測する。血管構造の予測は、血管映像で血管に対応する各地点に対する分類を示す。血管映像処理装置は、血管映像で血管に対応する各地点をターゲット血管、ターゲット血管に連結される1つ以上の血管分枝、ターゲット血管と分離されている別途の血管の1つに属するものとして分類される。血管映像処理装置は、血管映像でターゲット血管、ターゲット血管に連結されている血管分枝、ターゲット血管と分離されている別途の血管に位相を分類し血管領域を予測することで、血管の構造をより正確に予測することができる。以下、第1血管領域、第2血管領域、第3血管領域に基づいて血管映像における血管構造を予測する方法について詳しく説明する。
図2A~図2Cは、一実施形態に係る血管映像処理装置が抽出した血管領域を表示する図である。
血管映像処理装置は、血管映像撮影装置によって撮影された血管映像200を取得することができる。
図2Aにおいて、血管映像処理装置は、血管映像200から血管映像に含まれている全体血管に対応する第1血管領域210を抽出することができる。血管映像に含まれている全体血管は、ターゲット血管、ターゲット血管に連結されている血管分枝、ターゲット血管と分離されている別途の血管を含んでもよい。
図2Bにおいて、血管映像処理装置は、血管映像200からターゲット血管及びターゲット血管に連結されている1つ以上の血管分枝に対応する第2血管領域220を抽出することができる。例えば、ターゲット血管は、主血管(major vessel)であってもよい。ターゲット血管に連結されている血管分枝は、ターゲット血管で分岐されて直接的に連結される血管分枝だけでなく、ターゲット血管で分岐された血管分枝から再び分岐される血管分枝を含む。ターゲット血管に連結されている血管分枝は、ターゲット血管に沿って間接的に連結される血管分枝が含まれる。
図2Cにおいて、血管映像処理装置は、血管映像200からターゲット血管に対応する第3血管領域230を抽出することができる。
一実施形態に係る血管映像処理装置は、血管映像200から抽出された第1血管領域210、第2血管領域220、及び第3血管領域230に基づいて血管映像から血管構造を予測することができる。血管映像処理装置は、血管映像で血管に対応する各地点を、ターゲット血管、ターゲット血管に連結されている1つ以上の血管分枝、ターゲット血管と分離されている別途の血管のうちの1つに属するものとして分類する。血管映像処理装置は、第1血管領域、第2血管領域、第3血管領域に基づいて血管映像でターゲット血管に対応する領域、ターゲット血管に連結されている血管分枝に対応する領域、ターゲット血管と分離されている別途の血管に対応する領域を予測することができる。ここで、ターゲット血管と分離されている別途の血管とは、ターゲット血管から直接的又は間接的に連結されていない血管であって、ターゲット血管から分離された(disconnected)血管を示す。例えば、ターゲット血管と分離されている別途の血管は、血管の開始地点からターゲット血管とは異なる方向に分岐されている血管を示す。
図3は、一実施形態に係る血管映像処理装置が血管映像の血管構造を予測する過程を説明する。
一実施形態に係る血管映像処理装置は、血管映像から抽出された第1血管領域310、第2血管領域320、及び第3血管領域330に対する結果をアンサンブル(ensemble)して血管映像340における血管構造を予測することができる。
一実施形態によれば、血管映像処理装置は、血管映像から抽出された第1血管領域310、第2血管領域320、及び第3血管領域330に基づいて、血管映像でターゲット血管に対応する領域341を予測することができる。さらに、血管映像処理装置は、血管映像から抽出された第1血管領域310、第2血管領域320、及び第3血管領域330に基づいて血管映像でターゲット血管に連結されている1つ以上の血管分枝に対応する領域342、及びターゲット血管と分離されている別途の血管に対応する領域343をそれぞれ予測する。血管映像処理装置は、第1血管領域310、第2血管領域320、及び第3血管領域330をアンサンブルして血管映像で血管構造の予測正確度を向上させることができる。
以下では、血管映像処理装置が第1血管領域310、第2血管領域320、及び第3血管領域330に基づいてターゲット血管に対応する領域を予測する過程に関する数個の実施形態を紹介する。
一実施形態によれば、血管映像処理装置は、第1血管領域310、第2血管領域320、及び第3血管領域330を互いにオーバラップ(overlap)することにより、血管映像でターゲット血管に対応する領域を予測することができる。第1血管領域、第2血管領域は、ターゲット血管に対応する領域を含んで抽出し、第3血管領域は、ターゲット血管に対応する領域を抽出している。したがって、血管映像処理装置は、第1血管領域、第2血管領域、及び第3血管領域をアンサンブルすることで血管映像でターゲット血管に対応する領域を予測することができる。例えば、血管映像処理装置は、第3血管領域330と第2血管領域320を互いにオーバーラップして重なる領域をターゲット血管に対応する領域であると決定してもよい。異なる例として、血管映像処理装置は、第3血管領域330と第1血管領域310を互いにオーバーラップして重なる領域をターゲット血管に対応する領域であると決定してもよい。更なる例として、血管映像処理装置は、第3血管領域330及び第2血管領域320が互いに重なる領域と、第3血管領域330及び第1血管領域310が互いに重なる領域とを比較することで、ターゲット血管に対応する領域を決定してもよい。ターゲット血管に対応する領域を予測する方法は、上記の例示に限定されることなく、抽出された血管領域を互いにオーバーラップすることによって様々な方式で予測することができる。
他の一実施形態によれば、血管映像処理装置は、第1血管領域310からターゲット血管に対応する領域を区分(divide)することができる。血管映像処理装置は、第2血管領域320からターゲット血管に対応する領域を区分してもよい。血管映像処理装置は、第1血管領域310からターゲット血管に対応して区分された領域、第2血管領域320からターゲット血管に対応して区分された領域、第3血管領域330のうち2以上の組み合わせに基づいて血管映像でターゲット血管に対応する領域341を予測することができる。例えば、血管映像処理装置は、第1血管領域310からターゲット血管に対応する領域をイメージプロセッシング(image processing)を介して区分してもよい。第1血管領域は、ターゲット血管、ターゲット血管に連結される血管分枝、ターゲット血管と分離されている別途の血管を全て含んでいる領域であるため、第1血管領域からターゲット血管に対応する領域を区分するためには、別途のイメージプロセッシングが必要である。同様に、第2血管領域は、ターゲット血管及びターゲット血管に連結される血管分枝を含む領域であるため、第2血管領域からターゲット血管に対応する領域をイメージプロセッシングを介して区分してもよい。
血管映像処理装置は、血管映像に含まれている地点のうち、第1血管領域から区分されたターゲット血管領域に対応する地点に「1」のスコア(score)を付与し、残りの地点に「0」のスコアを付与してもよい。同様に、血管映像処理装置は、第2血管領域から抽出されたターゲット血管領域に対応する地点に「1」のスコアを付与し、残りの地点に「0」のスコアを付与してもよい。血管映像処理装置は、第3血管領域に対応する地点に「1」のスコアを付与し、残りの地点に「0」のスコアを付与してもよい。例えば、血管映像処理装置は、血管映像で地点ごとに付与された3回のスコアの平均を算出し、閾値スコア(例えば、0.5)を超過する平均スコアを有する地点がターゲット血管に属する地点であると決定することができる。異なる例として、血管映像処理装置は、付与された3回のスコアが全て「1」である地点のみをターゲット血管に属する地点であると決定してもよい。
血管映像処理装置は、第1血管領域の抽出結果から各地点にターゲット血管を指示する可能性(例えば、確率)に対応するスコアを付与してもよい。同様に、血管映像処理装置は、第2血管領域の抽出結果、第3血管の抽出結果のそれぞれで地点ごとにターゲット血管を指示する可能性に対応するスコアを付与してもよい。その後、血管映像処理装置は、血管映像に含まれている地点ごとに付与された3回のスコアの平均を算出し、閾値スコアを超過する平均スコアを有する地点がターゲット血管に属する地点であると決定することができる。
図4は、一実施形態に係る血管映像処理装置の第1血管領域から抽出された交差領域(cross region)に基づいて、第2血管領域及び第3血管領域を抽出する過程について説明する。
一実施形態に係る血管映像処理装置は、血管映像400から第1血管領域の抽出を第2血管領域の抽出及び第3血管領域の抽出よりも先行して行ってもよい。血管映像処理装置は、第1血管領域から血管分枝が分岐する分枝点を含む領域411,412及び異なる血管が互いに重なる領域421,422のうち少なくとも1つを含む交差領域(cross region)を抽出することができる。血管映像処理装置は、抽出された交差領域に基づいて血管映像から第2血管領域及び第3血管領域を抽出することができる。
より具体的、血管映像処理装置は、血管映像400から血管映像に含まれている全体血管に対する第1血管領域を抽出してもよい。第1血管領域は、ターゲット血管、ターゲット血管に連結された血管分枝、ターゲット血管と分離されている別途の血管を全て含む領域を示す。血管映像処理装置は、第1血管領域で交差領域を抽出してもよい。交差領域は、血管分枝が分岐する分岐点(branch point)を含む領域及び異なる血管が互いに重なる領域を含む。血管分枝が分岐する分岐点は、2以上の血管分枝が合わさる地点及び/又は複数の血管分枝に分けられる地点を示す。血管映像400に含まれている血管に対応する血管領域は、複数の分岐点を有し得る。異なる血管が互いに重なる領域とは、例えば、ターゲット血管とターゲット血管と分離されている別途の血管が血管映像に互いに重なって示される領域を示す。血管映像400はX線などを3次元の血管に照射して取得された2次元照射映像であるため、血管映像400では、特定の血管がそれよりも深く位置する血管を遮る現像が発生する。言い換えれば、異なる血管が互いに重なる領域は、血管が実際に互いに貫通する領域ではない、深度(depth)が互いに異なって特定の血管が他の血管を遮る領域を示す。
一実施形態に係る血管映像処理装置は、血管映像から第1血管領域、第2血管領域、及び第3血管領域をそれぞれ個別的に抽出することができるが、第1血管領域、第2血管領域、及び第3血管領域を互いに連動して出力してもよい。一実施形態によれば、血管映像処理装置は、第1血管領域から抽出された交差領域に基づいて血管映像から第2血管領域及び第3血管領域を抽出してもよい。例えば、血管映像処理装置は、第1血管領域から抽出された交差領域に関する情報を第2血管領域を抽出するネットワークに入力し、ネットワークは、入力された交差領域に関する情報を活用して血管映像から第2血管領域をより正確に抽出することができる。同様に、血管映像処理装置は、第1血管領域から抽出された交差領域に関する情報を第3血管領域を抽出するネットワークに入力し、ネットワークは入力された情報に基づいて第3血管領域をより正確に抽出することができる。ここで、ネットワークは、血管映像で血管領域を抽出するためのネットワークであって、例えば、ニューラルネットワーク(neural network)であってもよい。さらに、血管映像処理装置は、交差領域に関する情報をネットワークに入力する場合、血管分枝が分岐する分岐点を含む領域に関する情報と、異なる血管が互いに重なる領域に関する情報とを互いに区分して入力することができる。
図5~図6は、一実施形態に係る血管映像処理装置が予測された血管構造のエラーを修正する過程を説明する。
一実施形態に係る血管映像処理装置は、血管映像で血管に対応する各地点を、ターゲット血管、ターゲット血管に連結される1つ以上の血管分枝、ターゲット血管と分離している別途の血管のうち1つに属するものとして分類することで、血管映像の血管構造を予測することができる。一実施形態に係る血管映像処理装置は、予測された血管構造のエラーを修正することができる。例えば、血管映像処理装置の予測された血管構造は、ターゲット血管と分離している別途の血管に属する地点をターゲット血管に属する地点に間違って分類するエラーを含んでもよい。異なる例として、予測された血管構造は、ターゲット血管に連結された血管分枝に属する地点をターゲット血管に属する地点に間違って分類するエラーを含んでもよい。この場合、血管映像処理装置は、様々な方法を用いて予測された血管構造を検証し、予測された血管構造でエラーであると判断される領域を自動的に修正することができる。以下では、血管映像処理装置が予測された血管構造のエラーを修正する様々な方法について説明する。
一実施形態によれば、血管映像処理装置は、従来における血管映像(以下、「対象血管映像」)とは異なる時間に撮影された異なる血管映像を用いて予測された血管構造のエラーを修正することができる。先ず、血管映像処理装置は、対象血管映像とは異なる時間に撮影された異なる血管映像を血管映像撮影装置から取得することができる。血管映像処理装置は、1つ又は2以上の他の血管映像を取得してもよい。血管映像処理装置は、対象血管映像から予測された血管構造とは異なる血管映像から予測された血管構造を比較し、比較した結果に基づいて対象血管映像から予測された血管構造のエラーを修正できる。血管映像処理装置は、他の血管映像についても対象血管映像から血管構造を予測する方法に類似な方法に基づいて血管構造を予測することができる。言い換えれば、血管映像処理装置は、他の血管映像についても、全体血管に対する血管領域、ターゲット血管とターゲット血管に連結される1つ以上の血管分枝に対する血管領域、ターゲット血管に対する血管領域を抽出し、抽出された結果に基づいて他の血管映像に対する血管構造を予測することができる。
血管映像処理装置は、複数の異なる血管映像を取得することができる。血管映像処理装置は、複数の異なる血管映像ごとに予測された血管構造を算出し、対象血管映像の予測された血管構造と比較することができる。一実施形態によれば、血管映像処理装置は、他の血管映像ごとに血管構造を示す血管トリ(blood vessel tree)を生成してもよい。図5を参照して、特定血管映像510から生成された血管トリ530について説明する。血管トリ530は、分岐点531及び血管ライン535から構成されている。血管映像処理装置は、対象血管映像及び複数の異なる血管映像ごとに個別的に血管トリを生成する。血管トリ530には、ターゲット血管、ターゲット血管に連結された血管分枝、ターゲット血管と分離されている異なる血管が互いに区別して表示されてもよい。
血管映像処理装置は、生成された血管トリのうち最も類似度の高い血管トリを選択してもよい。例えば、血管映像処理装置は、生成された血管トリのうち該当する血管トリごとに他の血管トリとの類似程度を算出することで類似度を算出することができる。血管映像処理装置は、生成された血管トリのうち最も類似度の高い血管トリを選択してもよい。血管映像処理装置は、選択された血管トリに適するように対象血管の予測された血管構造を修正することができる。例えば、血管映像処理装置は、選択された血管トリに基づいて、ターゲット血管に分類される地点をターゲット血管と分離されている血管分枝、又はターゲット血管に連結されている血管分枝に再び分類することができる。
血管映像処理装置は、血管トリを生成する方法以外にも異なる時間に撮影された血管映像を用いて血管構造をより正確に予測することができる。血管は、心臓拍動によって動的に移動するため、2次元血管映像内で互いに遠くなる血管は互いに分離されている血管であると判断される。したがって、血管映像処理装置は、異なる時間に撮影された複数の血管映像を用いて分離された血管に連結されている血管をより正確に区分し、区分された結果に応じて予測された血管構造を修正することができる。
一実施形態に係る血管映像処理装置は、予測された血管構造から取得されたターゲット血管の直径、予測された血管構造から取得されたターゲット血管の末端方向、及び病変情報のうち少なくとも1つ又は2以上の組み合わせに基づいて予測された血管構造のエラーを修正することができる。
一実施形態によれば、血管映像処理装置は、予測された血管構造からターゲット血管に関する情報を取得することができる。血管映像処理装置は、予測された血管構造からターゲット血管に対応する血管領域を予測する。血管映像処理装置は、予測されたターゲット血管に対応する血管領域に基づいてターゲット血管の直径を算出する。血管は、血流が移動する方向に応じて血管の直径が減少する。例えば、血管映像処理装置は、血流が移動する方向に対してターゲット血管の直径を算出し、ターゲット血管の直径が閾値の長さを超過して増加する場合、予測された血管構造にエラーがあると判断する。血管映像処理装置は、ターゲット血管の直径が閾値の長さを超過して増加した場合に応答して、閾値の長さを超過するターゲット血管の一部領域で血管構造の予測にエラーがあると判断する。血管映像処理装置は、エラーがあると判断されたターゲット血管の一部領域を中心に血管構造を修正することができる。
一実施形態によれば、血管映像処理装置は、予測された血管構造からターゲット血管の末端方向を算出することができる。血管映像処理装置は、ターゲット血管の末端方向に基づいて予測された血管構造のエラーを修正できる。例えば、ターゲット血管が主血管である場合を仮定する。主血管の末端は、主に左側方向に向かっている。したがって、血管映像処理装置は、予測された血管構造から主血管の末端方向が左側に向かっていない場合、予測された血管構造にエラーがあると判断する。血管映像処理装置は、ターゲット血管が末端方向が左側に向かうよう主血管に連結されている血管分枝に分類された一部地点をターゲット血管に対応する領域として再分類することで、予測された血管構造のエラーを修正することができる。
一実施形態によれば、血管映像処理装置は、病変情報に基づいて予測された血管構造のエラーを修正することができる。例えば、血管映像処理装置は、病変に関する情報を取得するために血管構造を予測できる。病変に関する情報は、病変が血管構造上で位置している地点に関する情報を含んでもよい。血管映像処理装置は、予測された血管構造から病変に関する情報を取得し得る。しかし、血管映像処理装置は、予測された血管構造でターゲット血管に対応する領域に対象病変が全く発見されず、対象病変に関する情報を全く取得することができない場合、予測された血管構造にエラーがあると判断する。このような場合、血管映像処理装置は、従来におけるターゲット血管と分離されている別途の血管をターゲット血管として再指定することができる。血管映像処理装置は、再指定されたターゲット血管に基づいて血管映像で血管構造を再予測し、再予測された血管構造により既存に予測された血管構造のエラーを修正できる。例えば、血管映像処理装置が左前下行枝(LAD)をターゲット血管として指定して血管構造を予測したが、病変が左前下行枝(LAD)から全く検出されていない場合を仮定する。この場合、血管映像処理装置は、左前下行枝とは異なる血管である左回旋冠状動脈(LCX)をターゲット血管として再指定して血管構造を再び予測することにより、既存に予測された血管構造を修正することができる。
図6は、一実施形態に係る血管映像処理装置が第1血管領域、第2血管領域、及び第3血管領域のうち2以上の組み合わせに基づいて予測された血管構造を修正する過程を説明する。
一実施形態に係る血管映像処理装置は、第1血管領域で第2血管領域に対応する領域を除去して生成された候補別途の血管領域と、第2血管領域で第3血管領域に対応する領域を除去して生成された候補血管分枝領域に基づいて、血管映像から予測された血管構造のエラーを修正することができる。
血管映像処理装置は、第1血管領域で第2血管領域に対応する領域を除去することによって候補別途の血管領域603を生成することができる。第1血管領域は、ターゲット血管、ターゲット血管に連結された血管分枝、及び別途血管を全て含む領域であり、第2血管領域は、ターゲット血管、及びターゲット血管に連結されている血管分枝を含む領域である。したがって、第1血管領域で第2血管領域に対応する領域を除去することで、別途の血管に分類される確率の高い候補別途の血管領域が生成され得る。また、血管映像処理装置は、第2血管領域で第3血管領域に対応する領域を除去することで、候補血管分枝領域602を生成することができる。言い換えれば、血管映像処理装置は、第2血管領域で第3血管領域に対応する領域を除去することによって、ターゲット血管に接続された血管分枝に分類される確率の高い候補血管分枝領域を生成することができる。
例えば、血管映像処理装置が血管映像で予測された血管構造により血管領域610がターゲット血管に連結されている血管分枝に対応する領域に分類された場合を仮定する。血管映像処理装置は、血管領域610が候補血管分枝領域602から離れて候補別途の血管領域603とオーバーラップされる場合、予測された血管構造にエラーがあると判断する。血管映像処理装置は、予測された血管構造により血管分枝に対応する領域に分類された血管領域610が候補血管分枝領域602から離れて候補別途の血管領域603と閾値の面積を超過してオーバーラップされる場合、予測された血管構造にエラーがあると判断する。この場合、血管映像処理装置は、予測された血管構造のエラーを修正し、血管領域611が血管分枝に対応する領域であると予測を変更することができる。ターゲット血管に連結される血管分枝とターゲット血管と分離されている別途の血管は、2次元透視映像上でオーバーラップされる場合が頻繁に発生する。ここで、血管分枝と別途の血管が重なる領域から別途の血管に対応する領域を血管分枝として誤認するなどの血管構造予測にエラーが発生し得る。血管映像処理装置は、予測された血管構造を生成された候補別途の血管領域603と候補血管分枝領域602を用いて修正することで、より正確な血管構造を予測することができる。
さらに、血管映像処理装置は、初めから第1血管領域から第2血管領域に対応する領域を除去して生成された候補別途の血管領域と、第2血管領域から第3血管領域に対応する領域を除去して生成された候補血管分枝領域に基づいて、血管映像の血管構造を予測することができる。例えば、血管映像処理装置は、別途の血管に対応する領域が閾値領域以上に候補血管分枝領域とオーバラップされず、血管分枝に対応する領域が閾値領域以上に候補別途の血管領域とオーバラップされないように血管構造を予測することができる。
図7は、一実施形態に係る血管映像処理装置を概略的に示すブロック図である。
一実施形態に係る血管映像を処理するシステム700は、血管映像処理装置710及び血管映像撮影装置720を含む。血管映像処理装置710は、映像取得部711、プロセッサ712、及びメモリ713を含む。
映像取得部711は、血管映像撮影装置720によって撮影された血管映像を取得する。映像取得部711は、有無線データ通信を介して血管映像撮影装置720から血管映像を取得することができる。但し、これに限定されることなく、映像取得部711に血管映像撮影装置720が統合されて構成されてもよい。
プロセッサ712は、血管映像から血管映像に含まれている全体血管を指示する第1血管領域、ターゲット血管及びターゲット血管に連結される1つ以上の血管分枝を指示する第2血管領域、及びターゲット血管を指示する第3血管領域を抽出することができる。また、プロセッサ712は、血管映像から抽出された第1血管領域、第2血管領域、及び第3血管領域に基づいて血管映像から血管構造を予測することができる。言い換えれば、プロセッサ712は、血管映像でターゲット血管、ターゲット血管及びターゲット血管に連結された血管分枝、ターゲット血管と分離されている別途の血管に位相を分割して血管領域を予測することで血管の構造を予測することができる。その他にも、プロセッサ712は、図1~図6を参照して動作を行うことができる。
メモリ713は、血管映像撮影装置720から取得された血管映像を格納する。また、メモリ713は、血管映像内で第1血管領域、第2血管領域、及び第3血管領域を格納することができる。
以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、又は命令(instruction)を実行して応答する異なる装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム(OS)及びオペレーティングシステム上で実行される1つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は1つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含む。また、並列プロセッサ(parallel processor)のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び/又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気-光媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。上記で説明したハードウェア装置は、本発明に示す動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び/又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
したがって、他の具現、他の実施形態および特許請求の範囲と均等なものも後述する特許請求範囲の範囲に属する。本発明の態様の一部を以下記載する。
[態様1]
プロセッサによって実行される血管映像処理方法であって、
血管映像から前記血管映像に含まれている全体血管に対応する第1血管領域、ターゲット血管及び前記ターゲット血管に連結されている1つ以上の血管分枝に対応する第2血管領域、及び前記ターゲット血管に対応する第3血管領域を抽出するステップと、
前記血管映像から抽出された前記第1血管領域、前記第2血管領域、及び前記第3血管領域に基づいて前記血管映像から血管構造を予測するステップと、
を含む血管映像処理方法。
[態様2]
前記血管構造を予測するステップは、前記血管映像で血管に対応する各地点を、前記ターゲット血管、前記ターゲット血管に連結される前記1つ以上の血管分枝、及び前記ターゲット血管と分離されている別途の血管のうちの1つに属するものとして分類するステップを含む、態様1に記載の血管映像処理方法。
[態様3]
前記血管構造を予測するステップは、前記第1血管領域、前記第2血管領域、及び前記第3血管領域を互いにオーバーラップすることによって、前記血管映像で前記ターゲット血管に対応する領域を予測するステップを含む、態様1に記載の血管映像処理方法。
[態様4]
前記抽出するステップは、
前記第1血管領域の抽出を前記第2血管領域の抽出及び前記第3血管領域の抽出よりも先行して行うステップと、
前記第1血管領域から血管分枝が分岐する分枝点を含む領域及び異なる血管が互いに重なる領域のうち少なくとも1つを含む交差領域を抽出するステップと、
前記抽出された交差領域に基づいて前記血管映像から前記第2血管領域及び前記第3血管領域を抽出するステップと、
を含む、態様1に記載の血管映像処理方法。
[態様5]
前記血管映像から予測された血管構造のエラーを修正するステップをさらに含む、態様1に記載の血管映像処理方法。
[態様6]
前記予測された血管構造のエラーを修正するステップは、
前記血管映像と異なる時間に撮影された他の血管映像を取得するステップと、
前記血管映像から予測された血管構造と、前記取得された他の血管映像から予測された血管構造とを比較した結果に基づいて、前記血管映像から予測された血管構造のエラーを修正するステップと、
を含む、態様5に記載の血管映像処理方法。
[態様7]
前記予測された血管構造のエラーを修正するステップは、前記予測された血管構造から取得されたターゲット血管の直径、前記予測された血管構造から取得されたターゲット血管の末端方向、及び病変情報のうち少なくとも1つ又は2以上の組み合わせに基づいて前記予測された血管構造のエラーを修正するステップを含む、態様5に記載の血管映像処理方法。
[態様8]
前記予測された血管構造のエラーを修正するステップは、前記第1血管領域から前記第2血管領域に対応する領域を除去して生成された候補別途の血管領域と、前記第2血管領域から前記第3血管領域に対応する領域を除去して生成された候補血管分枝領域に基づいて、前記血管映像から予測された血管構造のエラーを修正するステップを含む、態様5に記載の血管映像処理方法。
[態様9]
ハードウェアと結合して態様1~態様8のいずれか一項に記載の方法を実行させるためにコンピュータで読み出し可能な記録媒体に格納されたコンピュータプログラム。
[態様10]
血管映像処理装置であって、
血管映像を取得する映像取得部と、
前記血管映像から前記血管映像に含まれている全体血管に対応する第1血管領域、ターゲット血管及び前記ターゲット血管に連結されている1つ以上の血管分枝に対応する第2血管領域、及び前記ターゲット血管に対応する第3血管領域を抽出し、前記血管映像から抽出された前記第1血管領域、前記第2血管領域、及び前記第3血管領域に基づいて、前記血管映像から血管構造を予測するプロセッサと、
を含む血管映像処理装置。
[態様11]
前記プロセッサは、前記血管映像で血管に対応する各地点を、前記ターゲット血管、前記ターゲット血管に連結される前記1つ以上の血管分枝、及び前記ターゲット血管と分離されている別途の血管のうちの1つに属するものとして分類する、態様10に記載の血管映像処理装置。
[態様12]
前記プロセッサは、前記第1血管領域、前記第2血管領域、及び前記第3血管領域を互いにオーバーラップすることによって、前記血管映像で前記ターゲット血管に対応する領域を予測する、態様10に記載の血管映像処理装置。
[態様13]
前記プロセッサは、前記第1血管領域の抽出を前記第2血管領域の抽出及び前記第3血管領域の抽出よりも先行して行い、前記第1血管領域から血管分枝が分岐する分枝点を含む領域及び異なる血管が互いに重なる領域のうち少なくとも1つを含む交差領域を抽出し、前記抽出された交差領域に基づいて前記血管映像から前記第2血管領域及び前記第3血管領域を抽出する、態様10に記載の血管映像処理装置。
[態様14]
前記プロセッサは、前記血管映像から予測された血管構造のエラーを修正する、態様10に記載の血管映像処理装置。
[態様15]
前記プロセッサは、前記血管映像と異なる時間に撮影された他の血管映像を取得し、前記血管映像から予測された血管構造と、前記取得された他の血管映像から予測された血管構造とを比較した結果に基づいて、前記血管映像から予測された血管構造のエラーを修正する、態様14に記載の血管映像処理装置。
[態様16]
前記プロセッサは、前記予測された血管構造から取得されたターゲット血管の直径、前記予測された血管構造から取得されたターゲット血管の末端方向、及び病変情報のうち少なくとも1つ又は2以上の組み合わせに基づいて前記予測された血管構造のエラーを修正する、態様14に記載の血管映像処理装置。
[態様17]
前記プロセッサは、前記第1血管領域から前記第2血管領域に対応する領域を除去して生成された候補別途の血管領域と、前記第2血管領域から前記第3血管領域に対応する領域を除去して生成された候補血管分枝領域に基づいて、前記血管映像から予測された血管構造のエラーを修正する、態様14に記載の血管映像処理装置。

Claims (15)

  1. プロセッサによって実行される血管映像処理方法であって、
    血管映像から前記血管映像に含まれている全体血管に対応する第1血管領域、ターゲット血管及び前記ターゲット血管に連結されている1つ以上の血管分枝に対応する第2血管領域、及び前記ターゲット血管に対応する第3血管領域を抽出するステップと、
    前記血管映像から抽出された前記第1血管領域、前記第2血管領域、及び前記第3血管領域に基づいて前記血管映像から血管構造を予測するステップと、
    を含み、
    前記血管構造を予測するステップは、前記第1血管領域、前記第2血管領域、及び前記第3血管領域を互いにオーバーラップすることによって、前記血管映像で前記ターゲット血管に対応する領域を予測するステップを含む血管映像処理方法。
  2. 前記血管構造を予測するステップは、前記血管映像で血管に対応する各地点を、前記ターゲット血管、前記ターゲット血管に連結される前記1つ以上の血管分枝、及び前記ターゲット血管と分離されている別途の血管のうちの1つに属するものとして分類するステップを含む、請求項1に記載の血管映像処理方法。
  3. 前記抽出するステップは、
    前記第1血管領域の抽出を前記第2血管領域の抽出及び前記第3血管領域の抽出よりも先行して行うステップと、
    前記第1血管領域から血管分枝が分岐する分枝点を含む領域及び異なる血管が互いに重なる領域のうち少なくとも1つを含む交差領域を抽出するステップと、
    前記抽出された交差領域に基づいて前記血管映像から前記第2血管領域及び前記第3血管領域を抽出するステップと、
    を含む、請求項1に記載の血管映像処理方法。
  4. 前記血管映像から予測された血管構造のエラーを修正するステップをさらに含む、請求項1に記載の血管映像処理方法。
  5. 前記予測された血管構造のエラーを修正するステップは、
    前記血管映像と異なる時間に撮影された他の血管映像を取得するステップと、
    前記血管映像から予測された血管構造と、前記取得された他の血管映像から予測された血管構造とを比較した結果に基づいて、前記血管映像から予測された血管構造のエラーを修正するステップと、
    を含む、請求項に記載の血管映像処理方法。
  6. 前記予測された血管構造のエラーを修正するステップは、前記予測された血管構造から取得されたターゲット血管の直径、前記予測された血管構造から取得されたターゲット血管の末端方向、及び病変情報のうち少なくとも1つ又は2以上の組み合わせに基づいて前記予測された血管構造のエラーを修正するステップを含む、請求項に記載の血管映像処理方法。
  7. 前記予測された血管構造のエラーを修正するステップは、前記第1血管領域から前記第2血管領域に対応する領域を除去して生成された候補別途の血管領域と、前記第2血管領域から前記第3血管領域に対応する領域を除去して生成された候補血管分枝領域に基づいて、前記血管映像から予測された血管構造のエラーを修正するステップを含む、請求項に記載の血管映像処理方法。
  8. ハードウェアと結合して請求項1~請求項のいずれか一項に記載の方法を実行させるためにコンピュータで読み出し可能な記録媒体に格納されたコンピュータプログラム。
  9. 血管映像処理装置であって、
    血管映像を取得する映像取得部と、
    前記血管映像から前記血管映像に含まれている全体血管に対応する第1血管領域、ターゲット血管及び前記ターゲット血管に連結されている1つ以上の血管分枝に対応する第2血管領域、及び前記ターゲット血管に対応する第3血管領域を抽出し、前記血管映像から抽出された前記第1血管領域、前記第2血管領域、及び前記第3血管領域に基づいて、前記血管映像から血管構造を予測するプロセッサと、
    を含み、
    前記プロセッサは、前記第1血管領域、前記第2血管領域、及び前記第3血管領域を互いにオーバーラップすることによって、前記血管映像で前記ターゲット血管に対応する領域を予測する血管映像処理装置。
  10. 前記プロセッサは、前記血管映像で血管に対応する各地点を、前記ターゲット血管、前記ターゲット血管に連結される前記1つ以上の血管分枝、及び前記ターゲット血管と分離されている別途の血管のうちの1つに属するものとして分類する、請求項に記載の血管映像処理装置。
  11. 前記プロセッサは、前記第1血管領域の抽出を前記第2血管領域の抽出及び前記第3血管領域の抽出よりも先行して行い、前記第1血管領域から血管分枝が分岐する分枝点を含む領域及び異なる血管が互いに重なる領域のうち少なくとも1つを含む交差領域を抽出し、前記抽出された交差領域に基づいて前記血管映像から前記第2血管領域及び前記第3血管領域を抽出する、請求項に記載の血管映像処理装置。
  12. 前記プロセッサは、前記血管映像から予測された血管構造のエラーを修正する、請求項に記載の血管映像処理装置。
  13. 前記プロセッサは、前記血管映像と異なる時間に撮影された他の血管映像を取得し、前記血管映像から予測された血管構造と、前記取得された他の血管映像から予測された血管構造とを比較した結果に基づいて、前記血管映像から予測された血管構造のエラーを修正する、請求項12に記載の血管映像処理装置。
  14. 前記プロセッサは、前記予測された血管構造から取得されたターゲット血管の直径、前記予測された血管構造から取得されたターゲット血管の末端方向、及び病変情報のうち少なくとも1つ又は2以上の組み合わせに基づいて前記予測された血管構造のエラーを修正する、請求項12に記載の血管映像処理装置。
  15. 前記プロセッサは、前記第1血管領域から前記第2血管領域に対応する領域を除去して生成された候補別途の血管領域と、前記第2血管領域から前記第3血管領域に対応する領域を除去して生成された候補血管分枝領域に基づいて、前記血管映像から予測された血管構造のエラーを修正する、請求項12に記載の血管映像処理装置。
JP2022568587A 2021-07-01 2021-12-08 血管分割に基づいて血管映像を処理する方法及び装置 Active JP7479080B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0086439 2021-07-01
KR1020210086439A KR102425857B1 (ko) 2021-07-01 2021-07-01 혈관 분할에 기초하여 혈관 영상을 처리하는 방법 및 장치
PCT/KR2021/018497 WO2023277283A1 (ko) 2021-07-01 2021-12-08 혈관 분할에 기초하여 혈관 영상을 처리하는 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2023536034A JP2023536034A (ja) 2023-08-23
JP7479080B2 true JP7479080B2 (ja) 2024-05-08

Family

ID=82606409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022568587A Active JP7479080B2 (ja) 2021-07-01 2021-12-08 血管分割に基づいて血管映像を処理する方法及び装置

Country Status (5)

Country Link
US (1) US20240221355A1 (ja)
EP (1) EP4137053A4 (ja)
JP (1) JP7479080B2 (ja)
KR (2) KR102425857B1 (ja)
WO (1) WO2023277283A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016509501A (ja) 2013-01-15 2016-03-31 キャスワークス・リミテッドCathWorks Ltd. リアルタイムの診断上有用な結果
JP2016154730A (ja) 2015-02-25 2016-09-01 富士フイルム株式会社 画像処理装置、方法、及びプログラム
JP2017060682A (ja) 2015-09-25 2017-03-30 富士フイルム株式会社 画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システム
JP2018202163A (ja) 2017-06-01 2018-12-27 株式会社根本杏林堂 医療画像処理システムおよび医療画像処理方法
JP2019521733A (ja) 2016-05-16 2019-08-08 キャスワークス リミテッド 画像からの血管の選択方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768526B1 (ko) * 2012-07-27 2017-08-17 삼성전자주식회사 혈관 구조에 기초하여 환자에 특화된 대상 장기의 모델을 생성하는 방법 및 장치
WO2017087821A2 (en) * 2015-11-18 2017-05-26 Lightlab Imaging, Inc. X-ray image feature detection and registration systems and methods
US10115039B2 (en) * 2016-03-10 2018-10-30 Siemens Healthcare Gmbh Method and system for machine learning based classification of vascular branches
DE102019218770A1 (de) * 2019-12-03 2021-06-10 Siemens Healthcare Gmbh Bereitstellen eines Gefäßbilddatensatzes
US11896349B2 (en) * 2019-12-09 2024-02-13 Case Western Reserve University Tumor characterization and outcome prediction through quantitative measurements of tumor-associated vasculature

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016509501A (ja) 2013-01-15 2016-03-31 キャスワークス・リミテッドCathWorks Ltd. リアルタイムの診断上有用な結果
JP2016154730A (ja) 2015-02-25 2016-09-01 富士フイルム株式会社 画像処理装置、方法、及びプログラム
JP2017060682A (ja) 2015-09-25 2017-03-30 富士フイルム株式会社 画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システム
JP2019521733A (ja) 2016-05-16 2019-08-08 キャスワークス リミテッド 画像からの血管の選択方法
JP2018202163A (ja) 2017-06-01 2018-12-27 株式会社根本杏林堂 医療画像処理システムおよび医療画像処理方法

Also Published As

Publication number Publication date
EP4137053A1 (en) 2023-02-22
KR102425857B9 (ko) 2024-09-13
WO2023277283A1 (ko) 2023-01-05
US20240221355A1 (en) 2024-07-04
JP2023536034A (ja) 2023-08-23
KR20230005727A (ko) 2023-01-10
KR102425857B1 (ko) 2022-07-29
EP4137053A4 (en) 2023-10-25

Similar Documents

Publication Publication Date Title
US11216950B2 (en) Method and system for automatically segmenting blood vessel in medical image by using machine learning and image processing algorithm
US10206646B2 (en) Method and system for extracting centerline representation of vascular structures in medical images via optimal paths in computational flow fields
KR102050649B1 (ko) 2차원 x-선 조영영상의 혈관 구조 추출 방법, 이를 수행하기 위한 기록매체 및 장치
KR102521660B1 (ko) 복수의 예측 결과를 활용한 혈관 영상 추출 방법 및 장치
US12002207B2 (en) Device and method for constructing blood vessel map, and computer program for executing said method
CN112308846B (zh) 血管分割方法、装置及电子设备
KR102562317B1 (ko) 자동으로 혈관 영상을 처리하는 방법 및 장치
US20230351550A1 (en) Method and device for processing blood vessel image on basis of user input
JP2023506107A (ja) 冠状動脈の分割方法、装置、電子デバイス及びコンピュータ読取可能な記憶媒体
CN114066969A (zh) 一种医学图像分析方法以及相关产品
Liu et al. Two new stenosis detection methods of coronary angiograms
Wang et al. Avdnet: Joint coronary artery and vein segmentation with topological consistency
JP7479080B2 (ja) 血管分割に基づいて血管映像を処理する方法及び装置
US20230222668A1 (en) Image processing apparatus, image processing method, and recording medium
KR102479645B1 (ko) 병변 결정 방법 및 장치
KR102310740B1 (ko) 구조화된 혈관 분지 정보에 기초한 의료 시술 히스토리 검색 방법
KR102542972B1 (ko) 3차원 혈관 구조를 생성하는 방법 및 장치
KR102690206B1 (ko) 혈관 내 칼슘화된 부위의 탐지를 위한 의료 영상 분석 장치 및 방법
US20230061953A1 (en) Methods and systems for cardiac chamber imaging
EP4386665A1 (en) Image processing apparatus, method, and program
Baral et al. A review on machine learning for arterial extraction and quantitative assessment on invasive coronary angiograms
CN115984239A (zh) 脑动脉血管的中心线提取方法、系统、设备及存储介质
CN117063200A (zh) 用于校正造影增强图像的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240416

R150 Certificate of patent or registration of utility model

Ref document number: 7479080

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150