JP7479080B2 - 血管分割に基づいて血管映像を処理する方法及び装置 - Google Patents

血管分割に基づいて血管映像を処理する方法及び装置 Download PDF

Info

Publication number
JP7479080B2
JP7479080B2 JP2022568587A JP2022568587A JP7479080B2 JP 7479080 B2 JP7479080 B2 JP 7479080B2 JP 2022568587 A JP2022568587 A JP 2022568587A JP 2022568587 A JP2022568587 A JP 2022568587A JP 7479080 B2 JP7479080 B2 JP 7479080B2
Authority
JP
Japan
Prior art keywords
vascular
region
blood vessel
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022568587A
Other languages
English (en)
Other versions
JP2023536034A (ja
Inventor
チフン クォン
キョ ソク ソン
フィ クォン
セ ヨン パク
ヨン－ハク キム
チ ウォン パク
ヨン イン キム
ワン ヨン キム
ユ チョン キム
ユン ヒ イ
Original Assignee
メディピクセル，インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by メディピクセル，インコーポレイティド filed Critical メディピクセル，インコーポレイティド
Publication of JP2023536034A publication Critical patent/JP2023536034A/ja
Application granted granted Critical
Publication of JP7479080B2 publication Critical patent/JP7479080B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Dentistry (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Urology & Nephrology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

以下、血管分割に基づいて血管映像を処理する方法に関する技術が提供される。
心血管、脳血管、末梢血管を治療するためにカテーテルを用いてステントなどを挿入する仲裁的施術が幅広く普及されている。施術を行う前に患者病変の深刻性を心血管造影術を介して映像を用いて評価する。病変の深刻性を定量的に評価するためには血管の情報を把握しなければならず、そのために血管分割に対する研究が持続的に行われている。血管分割情報は、中心線抽出、分枝角度測定、病変位置予測など様々に活用されている。最近では、ディープラーニング基盤の血管分割方法が開発されており、既存の方法に比べて高い性能を有する。
従来における血管領域分析方法は、血管領域と非血管領域といった２進分割（ｂｉｎａｒｙ ｓｅｇｍｅｎｔａｔｉｏｎ）を適用している。既存の方法では、血管領域が重なる場合、連結性が不明になって血管トリ構造を把握し難しいという問題が生じる。血管トリ構造の分析が間違っている場合、分割された血管がどの血管であるかを判定する正確度が低下する。また、血管トリ構造を間違って分析する場合、実際に連結されていない血管を用いて病変の如何を誤認し、血管単位ごとに異なるスコアを付加して診断するシンタックススコアの適用におけるエラーの原因となる。したがって、血管トリ構造を正確に分析することが必要である。さらに、施術道具をナビゲーションするためは、に血管トリ構造を正確に分析する必要がある。
一実施形態に係るプロセッサによって実行される血管映像処理方法は、血管映像から前記血管映像に含まれている全体血管に対応する第１血管領域、ターゲット血管及び前記ターゲット血管に連結されている１つ以上の血管分枝に対応する第２血管領域、及び前記ターゲット血管に対応する第３血管領域を抽出するステップと、前記血管映像から抽出された前記第１血管領域、前記第２血管領域、及び前記第３血管領域に基づいて前記血管映像から血管構造を予測するステップとを含む。
前記血管構造を予測するステップは、前記血管映像で血管に対応する各地点を、前記ターゲット血管、前記ターゲット血管に連結される前記１つ以上の血管分枝、及び前記ターゲット血管と分離されている別途の血管のうちの１つに属するものとして分類するステップを含むことができる。
前記血管構造を予測するステップは、前記第１血管領域、前記第２血管領域、及び前記第３血管領域を互いにオーバーラップすることによって、前記血管映像で前記ターゲット血管に対応する領域を予測するステップを含むことができる。
前記抽出するステップは、前記第１血管領域の抽出を前記第２血管領域の抽出及び前記第３血管領域の抽出よりも先行して行うステップと、前記第１血管領域から血管分枝が分岐する分枝点を含む領域及び異なる血管が互いに重なる領域のうち少なくとも１つを含む交差領域を抽出するステップと、前記抽出された交差領域に基づいて前記血管映像から前記第２血管領域及び前記第３血管領域を抽出するステップとを含むことができる。
一実施形態に係るプロセッサにより行われる管映像処理方法は、前記血管映像から予測された血管構造のエラーを修正するステップをさらに含むことができる。
前記予測された血管構造のエラーを修正するステップは、前記血管映像と異なる時間に撮影された他の血管映像を取得するステップと、前記血管映像から予測された血管構造と、前記取得された他の血管映像から予測された血管構造とを比較した結果に基づいて、前記血管映像から予測された血管構造のエラーを修正するステップとを含むことができる。
前記予測された血管構造のエラーを修正するステップは、前記予測された血管構造から取得されたターゲット血管の直径、前記予測された血管構造から取得されたターゲット血管の末端方向、及び病変情報のうち少なくとも１つ又は２以上の組み合わせに基づいて前記予測された血管構造のエラーを修正するステップを含むことができる。
一実施形態に係る血管映像処理装置は、血管映像を取得する映像取得部と、前記血管映像から前記血管映像に含まれている全体血管に対応する第１血管領域、ターゲット血管及び前記ターゲット血管に連結されている１つ以上の血管分枝に対応する第２血管領域、及び前記ターゲット血管に対応する第３血管領域を抽出し、前記血管映像から抽出された前記第１血管領域、前記第２血管領域、及び前記第３血管領域に基づいて、前記血管映像から血管構造を予測するプロセッサとを含む。
一実施形態に係る血管映像処理装置は、血管映像において、ターゲット血管、ターゲット血管に連結されている血管分枝、及びターゲット血管と分離されている別途の血管に位相を分割して血管領域を抽出し、抽出された結果を組み合わせて血管構造をより正確に予測することができる。
一実施形態に係る血管映像処理装置は、血管に異なる位相を付与して血管映像を分割することで、従来の血管重複（ｏｖｅｒｌａｐ）による血管構造を予測するという困難を解決することができる。
一実施形態に係る血管映像を処理する方法を示すフローチャートである。 一実施形態に係る血管映像処理装置が抽出した血管領域を表示する図である。 一実施形態に係る血管映像処理装置が抽出した血管領域を表示する図である。 一実施形態に係る血管映像処理装置が抽出した血管領域を表示する図である。 一実施形態に係る血管映像処理装置が血管映像の血管構造を予測する過程を説明する。 一実施形態に係る血管映像処理装置第１血管領域から抽出された交差領域（ｃｒｏｓｓ ｒｅｇｉｏｎ）に基づいて第２血管領域及び第３血管領域を抽出する過程を説明する。 一実施形態に係る血管映像処理装置が予測された血管構造のエラーを修正する過程を説明する。 一実施形態に係る血管映像処理装置が予測された血管構造のエラーを修正する過程を説明する。 一実施形態に係る血管映像処理装置を概略的に示すブロック図である。
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
第１又は第２などの用語を様々な構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名することができる。
いずれかの構成要素が他の構成要素に「連結」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なるように定義さがれない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、添付する図面を参照しながら実施形態を詳細に説明する。添付図面を参照して説明することにおいて、図面符号に関係なく同じ構成要素には同じ参照符号を付与し、これに対する重複する説明は省略する。
図１は、一実施形態に係る血管映像を処理する方法を示すフローチャートである。
まず、ステップ１１０において、血管映像処理装置は、血管映像（ｂｌｏｏｄ ｖｅｓｓｅｌ ｉｍａｇｅ）から血管映像に含まれている全体血管に対応する第１血管領域、ターゲット血管（ｔａｒｇｅｔ ｖｅｓｓｅｌ）及びターゲット血管に連結されている１つ以上の血管分枝に対応する第２血管領域、及びターゲット血管に対応する第３血管領域を抽出する。
血管映像に含まれている全体血管は、ターゲット血管、ターゲット血管に連結された１つ以上の分枝血管、別途の血管から構成されてもよい。ターゲット血管は、主血管（ｍａｊｏｒ ｖｅｓｓｅｌ）を示す。血管分枝は、ターゲット血管と直接的又は間接的に連結されているターゲット血管から分岐された血管を示す。別途の血管は、ターゲット血管と分離されている別途の血管を示す。例えば、血管映像は、左冠状動脈（ｌｅｆｔ ｃｏｒｏｎａｒｙ ａｒｔｅｒｙ、ＬＣＡ）を撮影した映像を示す。左冠状動脈（ＬＣＡ）は、左前下行枝（ｌｅｆｔ ａｎｔｅｒｉｏｒ ｄｅｓｃｅｎｄｉｎｇ、ＬＡＤ）と左回旋冠状動脈（ｌｅｆｔ ｃｉｒｃｕｍｆｌｅｘ ａｒｔｅｒｙ、ＬＣＸ）に区分される。ターゲット血管が左前下行枝内の主血管を示す場合、別途の血管は左回旋冠状動脈を示す。
一実施形態に係る血管映像処理装置は、血管映像撮影装置によって撮影された血管映像を取得することができる。血管映像は、生体（ｌｉｖｉｎｇ ｂｏｄｙ）の血管を撮影した映像であって、血管造影術（ｃｏｒｏｎａｒｙ ａｎｇｉｏｇｒａｐｈｙ、以下、ＣＡＧ）映像及び／又は磁気共鳴映像（Ｍａｇｎｅｔｉｃ
Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ、以下、ＭＲＩ）を用いて生成されてもよい。例えば、血管映像は、造影剤が注入された生体に対してＸ線を撮影することで取得された映像である。
一実施形態によれば、血管映像処理装置は、機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）に基づいて血管映像から第１血管領域、第２血管領域、第３血管領域をそれぞれ抽出することができる。機械学習モデルは、血管映像の入力に応答して血管映像から血管領域を抽出するよう設計された機械学習構造を有する１つ以上のモデルとして、例えば、ニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を含んでもよい。血管映像処理装置は、取得された血管映像について上述した機械学習モデルによる演算を行うことで、血管領域の抽出結果を算出することができる。
血管映像処理装置は、血管の形態、種類、及び／又は血管領域に応じて複数の機械学習モデルのうち目標血管の抽出に使用する機械学習モデルを選択的に使用してもよい。目標血管とは、血管映像として抽出しようとする血管であって、例えば、血管映像に含まれている全体血管、主血管と主血管に連結されている血管分枝、及び主血管の１つであってもよい。しかし、必ず目標血管を上記の例示に限定することはない。一実施形態によれば、血管映像処理装置は、目標血管により複数の機械学習モデルを格納してもよい。例えば、血管映像処理装置は、抽出しようとする目標血管を選択し、選択された目標血管に対応する機械学習モデルをロードすることができる。血管映像処理装置は、ロードされた機械学習モデルを用いて血管映像から目標血管の抽出結果を生成することができる。機械学習モデルのそれぞれのトレーニングされたパラメータはそれぞれ異なってもよく、さらに、互いに機械学習構造（例えば、畳み込みニューラルネットワーク、Ｕ－ｎｅｔ構造など）が異なってもよい。
例えば、血管映像処理装置は、血管映像内で血管映像に含まれている全体血管を抽出するよう学習された機械学習モデルを用いて第１血管領域を抽出することができる。血管映像処理装置は、血管映像内でターゲット血管（例えば、主血管）とターゲット血管に連結された血管分枝を抽出するよう学習された機械学習モデルを用いて第２血管領域を抽出してもよい。血管映像処理装置は、血管映像内のターゲット血管を抽出するように学習された機械学習モデルを用いて、第３血管領域を抽出してもよい。
例えば、機械学習モデルの出力データは、血管映像の複数の地点で各地点の目標血管（例えば、全体血管、主血管など）を指示する可能性（例えば、確率）に対応するスコアに関する情報を含んでもよい。ここで、目標血管とは、該当の機械学習モデルが抽出しようとする血管（例えば、全体血管、主血管、又は、主血管と主血管と連結されている血管分枝）を示す。血管映像処理装置は、出力データで閾値以上のスコアを有する地点を目標血管に対応する領域として決定することで抽出結果を生成することができる。異なる例として、機械学習モデルの出力データは血管映像から分割（ｓｅｇｍｅｎｔ）された血管領域として、血管映像の複数の地点のうち目標血管として抽出された地点を含んでもよい。目標血管の抽出結果は、例えば、血管映像の地点のうち目標血管として抽出された地点の集合及び／又は血管映像から分割された目標血管に対応する領域に対する映像であり得る。
参考として、ニューラルネットワークは、ディープニューラルネットワーク（ＤＮＮ、ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を含んでもよい。ＤＮＮは、完全接続ネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｔｗｏｒｋ）、ディープコンボリューショナルネットワーク（ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）及びリカレントニューラルネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などを含んでもよい。ニューラルネットワークは、ディープラーニングに基づいて非線形関係にある入力データ及び出力データを互いにマッピングすることで、オブジェクト分類、オブジェクト認識、及びレーダーイメージ認識などを行うことができる。ディープラーニングは、ビッグデータセットからオブジェクト認識のような問題を解決するための機械学習方式として、教師あり（ｓｕｐｅｒｖｉｓｅｄ）又は教師なし（ｕｎｓｕｐｅｒｖｉｓｅｄ）学習を介して入力データ及び出力データを互いにマッピングすることができる。教師あり学習の場合、上述した機械学習モデルは、トレーニング入力（例えば、トレーニングのための血管映像）及び該当トレーニング入力にマッピングされたトレーニング出力（例えば、トレーニングのための血管映像について専門家などにより目標血管に分割された真の値（ｇｒｏｕｎｄ ｔｒｕｔｈ）映像）の対を含むトレーニングデータに基づいてトレーニングされてもよい。例えば、機械学習モデルは、トレーニング入力からトレーニング出力を出力するようにトレーニングされてもよい。トレーニング中の機械学習モデル（以下、「臨時モデル」）は、トレーニング入力に応答して臨時出力を生成し、臨時出力及びトレーニング出力（例えば、真の値）間の損失が最小化するようトレーニングされてもよい。トレーニング過程の間に機械学習モデルのパラメータ（例えば、ニューラルネットワークでノード／レイヤ間の連結加重値）が損失に応じてアップデートされることができる。
次に、ステップ１２０において、血管映像処理装置は、血管映像から抽出された第１血管領域、第２血管領域、第３血管領域に基づいて血管映像における血管構造を予測する。血管構造の予測は、血管映像で血管に対応する各地点に対する分類を示す。血管映像処理装置は、血管映像で血管に対応する各地点をターゲット血管、ターゲット血管に連結される１つ以上の血管分枝、ターゲット血管と分離されている別途の血管の１つに属するものとして分類される。血管映像処理装置は、血管映像でターゲット血管、ターゲット血管に連結されている血管分枝、ターゲット血管と分離されている別途の血管に位相を分類し血管領域を予測することで、血管の構造をより正確に予測することができる。以下、第１血管領域、第２血管領域、第３血管領域に基づいて血管映像における血管構造を予測する方法について詳しく説明する。
図２Ａ～図２Ｃは、一実施形態に係る血管映像処理装置が抽出した血管領域を表示する図である。
血管映像処理装置は、血管映像撮影装置によって撮影された血管映像２００を取得することができる。
図２Ａにおいて、血管映像処理装置は、血管映像２００から血管映像に含まれている全体血管に対応する第１血管領域２１０を抽出することができる。血管映像に含まれている全体血管は、ターゲット血管、ターゲット血管に連結されている血管分枝、ターゲット血管と分離されている別途の血管を含んでもよい。
図２Ｂにおいて、血管映像処理装置は、血管映像２００からターゲット血管及びターゲット血管に連結されている１つ以上の血管分枝に対応する第２血管領域２２０を抽出することができる。例えば、ターゲット血管は、主血管（ｍａｊｏｒ ｖｅｓｓｅｌ）であってもよい。ターゲット血管に連結されている血管分枝は、ターゲット血管で分岐されて直接的に連結される血管分枝だけでなく、ターゲット血管で分岐された血管分枝から再び分岐される血管分枝を含む。ターゲット血管に連結されている血管分枝は、ターゲット血管に沿って間接的に連結される血管分枝が含まれる。
図２Ｃにおいて、血管映像処理装置は、血管映像２００からターゲット血管に対応する第３血管領域２３０を抽出することができる。
一実施形態に係る血管映像処理装置は、血管映像２００から抽出された第１血管領域２１０、第２血管領域２２０、及び第３血管領域２３０に基づいて血管映像から血管構造を予測することができる。血管映像処理装置は、血管映像で血管に対応する各地点を、ターゲット血管、ターゲット血管に連結されている１つ以上の血管分枝、ターゲット血管と分離されている別途の血管のうちの１つに属するものとして分類する。血管映像処理装置は、第１血管領域、第２血管領域、第３血管領域に基づいて血管映像でターゲット血管に対応する領域、ターゲット血管に連結されている血管分枝に対応する領域、ターゲット血管と分離されている別途の血管に対応する領域を予測することができる。ここで、ターゲット血管と分離されている別途の血管とは、ターゲット血管から直接的又は間接的に連結されていない血管であって、ターゲット血管から分離された（ｄｉｓｃｏｎｎｅｃｔｅｄ）血管を示す。例えば、ターゲット血管と分離されている別途の血管は、血管の開始地点からターゲット血管とは異なる方向に分岐されている血管を示す。
図３は、一実施形態に係る血管映像処理装置が血管映像の血管構造を予測する過程を説明する。
一実施形態に係る血管映像処理装置は、血管映像から抽出された第１血管領域３１０、第２血管領域３２０、及び第３血管領域３３０に対する結果をアンサンブル（ｅｎｓｅｍｂｌｅ）して血管映像３４０における血管構造を予測することができる。
一実施形態によれば、血管映像処理装置は、血管映像から抽出された第１血管領域３１０、第２血管領域３２０、及び第３血管領域３３０に基づいて、血管映像でターゲット血管に対応する領域３４１を予測することができる。さらに、血管映像処理装置は、血管映像から抽出された第１血管領域３１０、第２血管領域３２０、及び第３血管領域３３０に基づいて血管映像でターゲット血管に連結されている１つ以上の血管分枝に対応する領域３４２、及びターゲット血管と分離されている別途の血管に対応する領域３４３をそれぞれ予測する。血管映像処理装置は、第１血管領域３１０、第２血管領域３２０、及び第３血管領域３３０をアンサンブルして血管映像で血管構造の予測正確度を向上させることができる。
以下では、血管映像処理装置が第１血管領域３１０、第２血管領域３２０、及び第３血管領域３３０に基づいてターゲット血管に対応する領域を予測する過程に関する数個の実施形態を紹介する。
一実施形態によれば、血管映像処理装置は、第１血管領域３１０、第２血管領域３２０、及び第３血管領域３３０を互いにオーバラップ（ｏｖｅｒｌａｐ）することにより、血管映像でターゲット血管に対応する領域を予測することができる。第１血管領域、第２血管領域は、ターゲット血管に対応する領域を含んで抽出し、第３血管領域は、ターゲット血管に対応する領域を抽出している。したがって、血管映像処理装置は、第１血管領域、第２血管領域、及び第３血管領域をアンサンブルすることで血管映像でターゲット血管に対応する領域を予測することができる。例えば、血管映像処理装置は、第３血管領域３３０と第２血管領域３２０を互いにオーバーラップして重なる領域をターゲット血管に対応する領域であると決定してもよい。異なる例として、血管映像処理装置は、第３血管領域３３０と第１血管領域３１０を互いにオーバーラップして重なる領域をターゲット血管に対応する領域であると決定してもよい。更なる例として、血管映像処理装置は、第３血管領域３３０及び第２血管領域３２０が互いに重なる領域と、第３血管領域３３０及び第１血管領域３１０が互いに重なる領域とを比較することで、ターゲット血管に対応する領域を決定してもよい。ターゲット血管に対応する領域を予測する方法は、上記の例示に限定されることなく、抽出された血管領域を互いにオーバーラップすることによって様々な方式で予測することができる。
他の一実施形態によれば、血管映像処理装置は、第１血管領域３１０からターゲット血管に対応する領域を区分（ｄｉｖｉｄｅ）することができる。血管映像処理装置は、第２血管領域３２０からターゲット血管に対応する領域を区分してもよい。血管映像処理装置は、第１血管領域３１０からターゲット血管に対応して区分された領域、第２血管領域３２０からターゲット血管に対応して区分された領域、第３血管領域３３０のうち２以上の組み合わせに基づいて血管映像でターゲット血管に対応する領域３４１を予測することができる。例えば、血管映像処理装置は、第１血管領域３１０からターゲット血管に対応する領域をイメージプロセッシング（ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ）を介して区分してもよい。第１血管領域は、ターゲット血管、ターゲット血管に連結される血管分枝、ターゲット血管と分離されている別途の血管を全て含んでいる領域であるため、第１血管領域からターゲット血管に対応する領域を区分するためには、別途のイメージプロセッシングが必要である。同様に、第２血管領域は、ターゲット血管及びターゲット血管に連結される血管分枝を含む領域であるため、第２血管領域からターゲット血管に対応する領域をイメージプロセッシングを介して区分してもよい。
血管映像処理装置は、血管映像に含まれている地点のうち、第１血管領域から区分されたターゲット血管領域に対応する地点に「１」のスコア（ｓｃｏｒｅ）を付与し、残りの地点に「０」のスコアを付与してもよい。同様に、血管映像処理装置は、第２血管領域から抽出されたターゲット血管領域に対応する地点に「１」のスコアを付与し、残りの地点に「０」のスコアを付与してもよい。血管映像処理装置は、第３血管領域に対応する地点に「１」のスコアを付与し、残りの地点に「０」のスコアを付与してもよい。例えば、血管映像処理装置は、血管映像で地点ごとに付与された３回のスコアの平均を算出し、閾値スコア（例えば、０．５）を超過する平均スコアを有する地点がターゲット血管に属する地点であると決定することができる。異なる例として、血管映像処理装置は、付与された３回のスコアが全て「１」である地点のみをターゲット血管に属する地点であると決定してもよい。
血管映像処理装置は、第１血管領域の抽出結果から各地点にターゲット血管を指示する可能性（例えば、確率）に対応するスコアを付与してもよい。同様に、血管映像処理装置は、第２血管領域の抽出結果、第３血管の抽出結果のそれぞれで地点ごとにターゲット血管を指示する可能性に対応するスコアを付与してもよい。その後、血管映像処理装置は、血管映像に含まれている地点ごとに付与された３回のスコアの平均を算出し、閾値スコアを超過する平均スコアを有する地点がターゲット血管に属する地点であると決定することができる。
図４は、一実施形態に係る血管映像処理装置の第１血管領域から抽出された交差領域（ｃｒｏｓｓ ｒｅｇｉｏｎ）に基づいて、第２血管領域及び第３血管領域を抽出する過程について説明する。
一実施形態に係る血管映像処理装置は、血管映像４００から第１血管領域の抽出を第２血管領域の抽出及び第３血管領域の抽出よりも先行して行ってもよい。血管映像処理装置は、第１血管領域から血管分枝が分岐する分枝点を含む領域４１１，４１２及び異なる血管が互いに重なる領域４２１，４２２のうち少なくとも１つを含む交差領域（ｃｒｏｓｓ ｒｅｇｉｏｎ）を抽出することができる。血管映像処理装置は、抽出された交差領域に基づいて血管映像から第２血管領域及び第３血管領域を抽出することができる。
より具体的、血管映像処理装置は、血管映像４００から血管映像に含まれている全体血管に対する第１血管領域を抽出してもよい。第１血管領域は、ターゲット血管、ターゲット血管に連結された血管分枝、ターゲット血管と分離されている別途の血管を全て含む領域を示す。血管映像処理装置は、第１血管領域で交差領域を抽出してもよい。交差領域は、血管分枝が分岐する分岐点（ｂｒａｎｃｈ ｐｏｉｎｔ）を含む領域及び異なる血管が互いに重なる領域を含む。血管分枝が分岐する分岐点は、２以上の血管分枝が合わさる地点及び／又は複数の血管分枝に分けられる地点を示す。血管映像４００に含まれている血管に対応する血管領域は、複数の分岐点を有し得る。異なる血管が互いに重なる領域とは、例えば、ターゲット血管とターゲット血管と分離されている別途の血管が血管映像に互いに重なって示される領域を示す。血管映像４００はＸ線などを３次元の血管に照射して取得された２次元照射映像であるため、血管映像４００では、特定の血管がそれよりも深く位置する血管を遮る現像が発生する。言い換えれば、異なる血管が互いに重なる領域は、血管が実際に互いに貫通する領域ではない、深度（ｄｅｐｔｈ）が互いに異なって特定の血管が他の血管を遮る領域を示す。
一実施形態に係る血管映像処理装置は、血管映像から第１血管領域、第２血管領域、及び第３血管領域をそれぞれ個別的に抽出することができるが、第１血管領域、第２血管領域、及び第３血管領域を互いに連動して出力してもよい。一実施形態によれば、血管映像処理装置は、第１血管領域から抽出された交差領域に基づいて血管映像から第２血管領域及び第３血管領域を抽出してもよい。例えば、血管映像処理装置は、第１血管領域から抽出された交差領域に関する情報を第２血管領域を抽出するネットワークに入力し、ネットワークは、入力された交差領域に関する情報を活用して血管映像から第２血管領域をより正確に抽出することができる。同様に、血管映像処理装置は、第１血管領域から抽出された交差領域に関する情報を第３血管領域を抽出するネットワークに入力し、ネットワークは入力された情報に基づいて第３血管領域をより正確に抽出することができる。ここで、ネットワークは、血管映像で血管領域を抽出するためのネットワークであって、例えば、ニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）であってもよい。さらに、血管映像処理装置は、交差領域に関する情報をネットワークに入力する場合、血管分枝が分岐する分岐点を含む領域に関する情報と、異なる血管が互いに重なる領域に関する情報とを互いに区分して入力することができる。
図５～図６は、一実施形態に係る血管映像処理装置が予測された血管構造のエラーを修正する過程を説明する。
一実施形態に係る血管映像処理装置は、血管映像で血管に対応する各地点を、ターゲット血管、ターゲット血管に連結される１つ以上の血管分枝、ターゲット血管と分離している別途の血管のうち１つに属するものとして分類することで、血管映像の血管構造を予測することができる。一実施形態に係る血管映像処理装置は、予測された血管構造のエラーを修正することができる。例えば、血管映像処理装置の予測された血管構造は、ターゲット血管と分離している別途の血管に属する地点をターゲット血管に属する地点に間違って分類するエラーを含んでもよい。異なる例として、予測された血管構造は、ターゲット血管に連結された血管分枝に属する地点をターゲット血管に属する地点に間違って分類するエラーを含んでもよい。この場合、血管映像処理装置は、様々な方法を用いて予測された血管構造を検証し、予測された血管構造でエラーであると判断される領域を自動的に修正することができる。以下では、血管映像処理装置が予測された血管構造のエラーを修正する様々な方法について説明する。
一実施形態によれば、血管映像処理装置は、従来における血管映像（以下、「対象血管映像」）とは異なる時間に撮影された異なる血管映像を用いて予測された血管構造のエラーを修正することができる。先ず、血管映像処理装置は、対象血管映像とは異なる時間に撮影された異なる血管映像を血管映像撮影装置から取得することができる。血管映像処理装置は、１つ又は２以上の他の血管映像を取得してもよい。血管映像処理装置は、対象血管映像から予測された血管構造とは異なる血管映像から予測された血管構造を比較し、比較した結果に基づいて対象血管映像から予測された血管構造のエラーを修正できる。血管映像処理装置は、他の血管映像についても対象血管映像から血管構造を予測する方法に類似な方法に基づいて血管構造を予測することができる。言い換えれば、血管映像処理装置は、他の血管映像についても、全体血管に対する血管領域、ターゲット血管とターゲット血管に連結される１つ以上の血管分枝に対する血管領域、ターゲット血管に対する血管領域を抽出し、抽出された結果に基づいて他の血管映像に対する血管構造を予測することができる。
血管映像処理装置は、複数の異なる血管映像を取得することができる。血管映像処理装置は、複数の異なる血管映像ごとに予測された血管構造を算出し、対象血管映像の予測された血管構造と比較することができる。一実施形態によれば、血管映像処理装置は、他の血管映像ごとに血管構造を示す血管トリ（ｂｌｏｏｄ ｖｅｓｓｅｌ ｔｒｅｅ）を生成してもよい。図５を参照して、特定血管映像５１０から生成された血管トリ５３０について説明する。血管トリ５３０は、分岐点５３１及び血管ライン５３５から構成されている。血管映像処理装置は、対象血管映像及び複数の異なる血管映像ごとに個別的に血管トリを生成する。血管トリ５３０には、ターゲット血管、ターゲット血管に連結された血管分枝、ターゲット血管と分離されている異なる血管が互いに区別して表示されてもよい。
血管映像処理装置は、生成された血管トリのうち最も類似度の高い血管トリを選択してもよい。例えば、血管映像処理装置は、生成された血管トリのうち該当する血管トリごとに他の血管トリとの類似程度を算出することで類似度を算出することができる。血管映像処理装置は、生成された血管トリのうち最も類似度の高い血管トリを選択してもよい。血管映像処理装置は、選択された血管トリに適するように対象血管の予測された血管構造を修正することができる。例えば、血管映像処理装置は、選択された血管トリに基づいて、ターゲット血管に分類される地点をターゲット血管と分離されている血管分枝、又はターゲット血管に連結されている血管分枝に再び分類することができる。
血管映像処理装置は、血管トリを生成する方法以外にも異なる時間に撮影された血管映像を用いて血管構造をより正確に予測することができる。血管は、心臓拍動によって動的に移動するため、２次元血管映像内で互いに遠くなる血管は互いに分離されている血管であると判断される。したがって、血管映像処理装置は、異なる時間に撮影された複数の血管映像を用いて分離された血管に連結されている血管をより正確に区分し、区分された結果に応じて予測された血管構造を修正することができる。
一実施形態に係る血管映像処理装置は、予測された血管構造から取得されたターゲット血管の直径、予測された血管構造から取得されたターゲット血管の末端方向、及び病変情報のうち少なくとも１つ又は２以上の組み合わせに基づいて予測された血管構造のエラーを修正することができる。
一実施形態によれば、血管映像処理装置は、予測された血管構造からターゲット血管に関する情報を取得することができる。血管映像処理装置は、予測された血管構造からターゲット血管に対応する血管領域を予測する。血管映像処理装置は、予測されたターゲット血管に対応する血管領域に基づいてターゲット血管の直径を算出する。血管は、血流が移動する方向に応じて血管の直径が減少する。例えば、血管映像処理装置は、血流が移動する方向に対してターゲット血管の直径を算出し、ターゲット血管の直径が閾値の長さを超過して増加する場合、予測された血管構造にエラーがあると判断する。血管映像処理装置は、ターゲット血管の直径が閾値の長さを超過して増加した場合に応答して、閾値の長さを超過するターゲット血管の一部領域で血管構造の予測にエラーがあると判断する。血管映像処理装置は、エラーがあると判断されたターゲット血管の一部領域を中心に血管構造を修正することができる。
一実施形態によれば、血管映像処理装置は、予測された血管構造からターゲット血管の末端方向を算出することができる。血管映像処理装置は、ターゲット血管の末端方向に基づいて予測された血管構造のエラーを修正できる。例えば、ターゲット血管が主血管である場合を仮定する。主血管の末端は、主に左側方向に向かっている。したがって、血管映像処理装置は、予測された血管構造から主血管の末端方向が左側に向かっていない場合、予測された血管構造にエラーがあると判断する。血管映像処理装置は、ターゲット血管が末端方向が左側に向かうよう主血管に連結されている血管分枝に分類された一部地点をターゲット血管に対応する領域として再分類することで、予測された血管構造のエラーを修正することができる。
一実施形態によれば、血管映像処理装置は、病変情報に基づいて予測された血管構造のエラーを修正することができる。例えば、血管映像処理装置は、病変に関する情報を取得するために血管構造を予測できる。病変に関する情報は、病変が血管構造上で位置している地点に関する情報を含んでもよい。血管映像処理装置は、予測された血管構造から病変に関する情報を取得し得る。しかし、血管映像処理装置は、予測された血管構造でターゲット血管に対応する領域に対象病変が全く発見されず、対象病変に関する情報を全く取得することができない場合、予測された血管構造にエラーがあると判断する。このような場合、血管映像処理装置は、従来におけるターゲット血管と分離されている別途の血管をターゲット血管として再指定することができる。血管映像処理装置は、再指定されたターゲット血管に基づいて血管映像で血管構造を再予測し、再予測された血管構造により既存に予測された血管構造のエラーを修正できる。例えば、血管映像処理装置が左前下行枝（ＬＡＤ）をターゲット血管として指定して血管構造を予測したが、病変が左前下行枝（ＬＡＤ）から全く検出されていない場合を仮定する。この場合、血管映像処理装置は、左前下行枝とは異なる血管である左回旋冠状動脈（ＬＣＸ）をターゲット血管として再指定して血管構造を再び予測することにより、既存に予測された血管構造を修正することができる。
図６は、一実施形態に係る血管映像処理装置が第１血管領域、第２血管領域、及び第３血管領域のうち２以上の組み合わせに基づいて予測された血管構造を修正する過程を説明する。
一実施形態に係る血管映像処理装置は、第１血管領域で第２血管領域に対応する領域を除去して生成された候補別途の血管領域と、第２血管領域で第３血管領域に対応する領域を除去して生成された候補血管分枝領域に基づいて、血管映像から予測された血管構造のエラーを修正することができる。
血管映像処理装置は、第１血管領域で第２血管領域に対応する領域を除去することによって候補別途の血管領域６０３を生成することができる。第１血管領域は、ターゲット血管、ターゲット血管に連結された血管分枝、及び別途血管を全て含む領域であり、第２血管領域は、ターゲット血管、及びターゲット血管に連結されている血管分枝を含む領域である。したがって、第１血管領域で第２血管領域に対応する領域を除去することで、別途の血管に分類される確率の高い候補別途の血管領域が生成され得る。また、血管映像処理装置は、第２血管領域で第３血管領域に対応する領域を除去することで、候補血管分枝領域６０２を生成することができる。言い換えれば、血管映像処理装置は、第２血管領域で第３血管領域に対応する領域を除去することによって、ターゲット血管に接続された血管分枝に分類される確率の高い候補血管分枝領域を生成することができる。
例えば、血管映像処理装置が血管映像で予測された血管構造により血管領域６１０がターゲット血管に連結されている血管分枝に対応する領域に分類された場合を仮定する。血管映像処理装置は、血管領域６１０が候補血管分枝領域６０２から離れて候補別途の血管領域６０３とオーバーラップされる場合、予測された血管構造にエラーがあると判断する。血管映像処理装置は、予測された血管構造により血管分枝に対応する領域に分類された血管領域６１０が候補血管分枝領域６０２から離れて候補別途の血管領域６０３と閾値の面積を超過してオーバーラップされる場合、予測された血管構造にエラーがあると判断する。この場合、血管映像処理装置は、予測された血管構造のエラーを修正し、血管領域６１１が血管分枝に対応する領域であると予測を変更することができる。ターゲット血管に連結される血管分枝とターゲット血管と分離されている別途の血管は、２次元透視映像上でオーバーラップされる場合が頻繁に発生する。ここで、血管分枝と別途の血管が重なる領域から別途の血管に対応する領域を血管分枝として誤認するなどの血管構造予測にエラーが発生し得る。血管映像処理装置は、予測された血管構造を生成された候補別途の血管領域６０３と候補血管分枝領域６０２を用いて修正することで、より正確な血管構造を予測することができる。
さらに、血管映像処理装置は、初めから第１血管領域から第２血管領域に対応する領域を除去して生成された候補別途の血管領域と、第２血管領域から第３血管領域に対応する領域を除去して生成された候補血管分枝領域に基づいて、血管映像の血管構造を予測することができる。例えば、血管映像処理装置は、別途の血管に対応する領域が閾値領域以上に候補血管分枝領域とオーバラップされず、血管分枝に対応する領域が閾値領域以上に候補別途の血管領域とオーバラップされないように血管構造を予測することができる。
図７は、一実施形態に係る血管映像処理装置を概略的に示すブロック図である。
一実施形態に係る血管映像を処理するシステム７００は、血管映像処理装置７１０及び血管映像撮影装置７２０を含む。血管映像処理装置７１０は、映像取得部７１１、プロセッサ７１２、及びメモリ７１３を含む。
映像取得部７１１は、血管映像撮影装置７２０によって撮影された血管映像を取得する。映像取得部７１１は、有無線データ通信を介して血管映像撮影装置７２０から血管映像を取得することができる。但し、これに限定されることなく、映像取得部７１１に血管映像撮影装置７２０が統合されて構成されてもよい。
プロセッサ７１２は、血管映像から血管映像に含まれている全体血管を指示する第１血管領域、ターゲット血管及びターゲット血管に連結される１つ以上の血管分枝を指示する第２血管領域、及びターゲット血管を指示する第３血管領域を抽出することができる。また、プロセッサ７１２は、血管映像から抽出された第１血管領域、第２血管領域、及び第３血管領域に基づいて血管映像から血管構造を予測することができる。言い換えれば、プロセッサ７１２は、血管映像でターゲット血管、ターゲット血管及びターゲット血管に連結された血管分枝、ターゲット血管と分離されている別途の血管に位相を分割して血管領域を予測することで血管の構造を予測することができる。その他にも、プロセッサ７１２は、図１～図６を参照して動作を行うことができる。
メモリ７１３は、血管映像撮影装置７２０から取得された血管映像を格納する。また、メモリ７１３は、血管映像内で第１血管領域、第２血管領域、及び第３血管領域を格納することができる。
以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
したがって、他の具現、他の実施形態および特許請求の範囲と均等なものも後述する特許請求範囲の範囲に属する。本発明の態様の一部を以下記載する。
［態様１］
プロセッサによって実行される血管映像処理方法であって、
血管映像から前記血管映像に含まれている全体血管に対応する第１血管領域、ターゲット血管及び前記ターゲット血管に連結されている１つ以上の血管分枝に対応する第２血管領域、及び前記ターゲット血管に対応する第３血管領域を抽出するステップと、
前記血管映像から抽出された前記第１血管領域、前記第２血管領域、及び前記第３血管領域に基づいて前記血管映像から血管構造を予測するステップと、
を含む血管映像処理方法。
［態様２］
前記血管構造を予測するステップは、前記血管映像で血管に対応する各地点を、前記ターゲット血管、前記ターゲット血管に連結される前記１つ以上の血管分枝、及び前記ターゲット血管と分離されている別途の血管のうちの１つに属するものとして分類するステップを含む、態様１に記載の血管映像処理方法。
［態様３］
前記血管構造を予測するステップは、前記第１血管領域、前記第２血管領域、及び前記第３血管領域を互いにオーバーラップすることによって、前記血管映像で前記ターゲット血管に対応する領域を予測するステップを含む、態様１に記載の血管映像処理方法。
［態様４］
前記抽出するステップは、
前記第１血管領域の抽出を前記第２血管領域の抽出及び前記第３血管領域の抽出よりも先行して行うステップと、
前記第１血管領域から血管分枝が分岐する分枝点を含む領域及び異なる血管が互いに重なる領域のうち少なくとも１つを含む交差領域を抽出するステップと、
前記抽出された交差領域に基づいて前記血管映像から前記第２血管領域及び前記第３血管領域を抽出するステップと、
を含む、態様１に記載の血管映像処理方法。
［態様５］
前記血管映像から予測された血管構造のエラーを修正するステップをさらに含む、態様１に記載の血管映像処理方法。
［態様６］
前記予測された血管構造のエラーを修正するステップは、
前記血管映像と異なる時間に撮影された他の血管映像を取得するステップと、
前記血管映像から予測された血管構造と、前記取得された他の血管映像から予測された血管構造とを比較した結果に基づいて、前記血管映像から予測された血管構造のエラーを修正するステップと、
を含む、態様５に記載の血管映像処理方法。
［態様７］
前記予測された血管構造のエラーを修正するステップは、前記予測された血管構造から取得されたターゲット血管の直径、前記予測された血管構造から取得されたターゲット血管の末端方向、及び病変情報のうち少なくとも１つ又は２以上の組み合わせに基づいて前記予測された血管構造のエラーを修正するステップを含む、態様５に記載の血管映像処理方法。
［態様８］
前記予測された血管構造のエラーを修正するステップは、前記第１血管領域から前記第２血管領域に対応する領域を除去して生成された候補別途の血管領域と、前記第２血管領域から前記第３血管領域に対応する領域を除去して生成された候補血管分枝領域に基づいて、前記血管映像から予測された血管構造のエラーを修正するステップを含む、態様５に記載の血管映像処理方法。
［態様９］
ハードウェアと結合して態様１～態様８のいずれか一項に記載の方法を実行させるためにコンピュータで読み出し可能な記録媒体に格納されたコンピュータプログラム。
［態様１０］
血管映像処理装置であって、
血管映像を取得する映像取得部と、
前記血管映像から前記血管映像に含まれている全体血管に対応する第１血管領域、ターゲット血管及び前記ターゲット血管に連結されている１つ以上の血管分枝に対応する第２血管領域、及び前記ターゲット血管に対応する第３血管領域を抽出し、前記血管映像から抽出された前記第１血管領域、前記第２血管領域、及び前記第３血管領域に基づいて、前記血管映像から血管構造を予測するプロセッサと、
を含む血管映像処理装置。
［態様１１］
前記プロセッサは、前記血管映像で血管に対応する各地点を、前記ターゲット血管、前記ターゲット血管に連結される前記１つ以上の血管分枝、及び前記ターゲット血管と分離されている別途の血管のうちの１つに属するものとして分類する、態様１０に記載の血管映像処理装置。
［態様１２］
前記プロセッサは、前記第１血管領域、前記第２血管領域、及び前記第３血管領域を互いにオーバーラップすることによって、前記血管映像で前記ターゲット血管に対応する領域を予測する、態様１０に記載の血管映像処理装置。
［態様１３］
前記プロセッサは、前記第１血管領域の抽出を前記第２血管領域の抽出及び前記第３血管領域の抽出よりも先行して行い、前記第１血管領域から血管分枝が分岐する分枝点を含む領域及び異なる血管が互いに重なる領域のうち少なくとも１つを含む交差領域を抽出し、前記抽出された交差領域に基づいて前記血管映像から前記第２血管領域及び前記第３血管領域を抽出する、態様１０に記載の血管映像処理装置。
［態様１４］
前記プロセッサは、前記血管映像から予測された血管構造のエラーを修正する、態様１０に記載の血管映像処理装置。
［態様１５］
前記プロセッサは、前記血管映像と異なる時間に撮影された他の血管映像を取得し、前記血管映像から予測された血管構造と、前記取得された他の血管映像から予測された血管構造とを比較した結果に基づいて、前記血管映像から予測された血管構造のエラーを修正する、態様１４に記載の血管映像処理装置。
［態様１６］
前記プロセッサは、前記予測された血管構造から取得されたターゲット血管の直径、前記予測された血管構造から取得されたターゲット血管の末端方向、及び病変情報のうち少なくとも１つ又は２以上の組み合わせに基づいて前記予測された血管構造のエラーを修正する、態様１４に記載の血管映像処理装置。
［態様１７］
前記プロセッサは、前記第１血管領域から前記第２血管領域に対応する領域を除去して生成された候補別途の血管領域と、前記第２血管領域から前記第３血管領域に対応する領域を除去して生成された候補血管分枝領域に基づいて、前記血管映像から予測された血管構造のエラーを修正する、態様１４に記載の血管映像処理装置。

Claims (15)

  1. プロセッサによって実行される血管映像処理方法であって、
    血管映像から前記血管映像に含まれている全体血管に対応する第１血管領域、ターゲット血管及び前記ターゲット血管に連結されている１つ以上の血管分枝に対応する第２血管領域、及び前記ターゲット血管に対応する第３血管領域を抽出するステップと、
    前記血管映像から抽出された前記第１血管領域、前記第２血管領域、及び前記第３血管領域に基づいて前記血管映像から血管構造を予測するステップと、
    を含み、
    前記血管構造を予測するステップは、前記第１血管領域、前記第２血管領域、及び前記第３血管領域を互いにオーバーラップすることによって、前記血管映像で前記ターゲット血管に対応する領域を予測するステップを含む血管映像処理方法。
  2. 前記血管構造を予測するステップは、前記血管映像で血管に対応する各地点を、前記ターゲット血管、前記ターゲット血管に連結される前記１つ以上の血管分枝、及び前記ターゲット血管と分離されている別途の血管のうちの１つに属するものとして分類するステップを含む、請求項１に記載の血管映像処理方法。
  3. 前記抽出するステップは、
    前記第１血管領域の抽出を前記第２血管領域の抽出及び前記第３血管領域の抽出よりも先行して行うステップと、
    前記第１血管領域から血管分枝が分岐する分枝点を含む領域及び異なる血管が互いに重なる領域のうち少なくとも１つを含む交差領域を抽出するステップと、
    前記抽出された交差領域に基づいて前記血管映像から前記第２血管領域及び前記第３血管領域を抽出するステップと、
    を含む、請求項１に記載の血管映像処理方法。
  4. 前記血管映像から予測された血管構造のエラーを修正するステップをさらに含む、請求項１に記載の血管映像処理方法。
  5. 前記予測された血管構造のエラーを修正するステップは、
    前記血管映像と異なる時間に撮影された他の血管映像を取得するステップと、
    前記血管映像から予測された血管構造と、前記取得された他の血管映像から予測された血管構造とを比較した結果に基づいて、前記血管映像から予測された血管構造のエラーを修正するステップと、
    を含む、請求項４に記載の血管映像処理方法。
  6. 前記予測された血管構造のエラーを修正するステップは、前記予測された血管構造から取得されたターゲット血管の直径、前記予測された血管構造から取得されたターゲット血管の末端方向、及び病変情報のうち少なくとも１つ又は２以上の組み合わせに基づいて前記予測された血管構造のエラーを修正するステップを含む、請求項４に記載の血管映像処理方法。
  7. 前記予測された血管構造のエラーを修正するステップは、前記第１血管領域から前記第２血管領域に対応する領域を除去して生成された候補別途の血管領域と、前記第２血管領域から前記第３血管領域に対応する領域を除去して生成された候補血管分枝領域に基づいて、前記血管映像から予測された血管構造のエラーを修正するステップを含む、請求項４に記載の血管映像処理方法。
  8. ハードウェアと結合して請求項１～請求項７のいずれか一項に記載の方法を実行させるためにコンピュータで読み出し可能な記録媒体に格納されたコンピュータプログラム。
  9. 血管映像処理装置であって、
    血管映像を取得する映像取得部と、
    前記血管映像から前記血管映像に含まれている全体血管に対応する第１血管領域、ターゲット血管及び前記ターゲット血管に連結されている１つ以上の血管分枝に対応する第２血管領域、及び前記ターゲット血管に対応する第３血管領域を抽出し、前記血管映像から抽出された前記第１血管領域、前記第２血管領域、及び前記第３血管領域に基づいて、前記血管映像から血管構造を予測するプロセッサと、
    を含み、
    前記プロセッサは、前記第１血管領域、前記第２血管領域、及び前記第３血管領域を互いにオーバーラップすることによって、前記血管映像で前記ターゲット血管に対応する領域を予測する血管映像処理装置。
  10. 前記プロセッサは、前記血管映像で血管に対応する各地点を、前記ターゲット血管、前記ターゲット血管に連結される前記１つ以上の血管分枝、及び前記ターゲット血管と分離されている別途の血管のうちの１つに属するものとして分類する、請求項９に記載の血管映像処理装置。
  11. 前記プロセッサは、前記第１血管領域の抽出を前記第２血管領域の抽出及び前記第３血管領域の抽出よりも先行して行い、前記第１血管領域から血管分枝が分岐する分枝点を含む領域及び異なる血管が互いに重なる領域のうち少なくとも１つを含む交差領域を抽出し、前記抽出された交差領域に基づいて前記血管映像から前記第２血管領域及び前記第３血管領域を抽出する、請求項９に記載の血管映像処理装置。
  12. 前記プロセッサは、前記血管映像から予測された血管構造のエラーを修正する、請求項９に記載の血管映像処理装置。
  13. 前記プロセッサは、前記血管映像と異なる時間に撮影された他の血管映像を取得し、前記血管映像から予測された血管構造と、前記取得された他の血管映像から予測された血管構造とを比較した結果に基づいて、前記血管映像から予測された血管構造のエラーを修正する、請求項１２に記載の血管映像処理装置。
  14. 前記プロセッサは、前記予測された血管構造から取得されたターゲット血管の直径、前記予測された血管構造から取得されたターゲット血管の末端方向、及び病変情報のうち少なくとも１つ又は２以上の組み合わせに基づいて前記予測された血管構造のエラーを修正する、請求項１２に記載の血管映像処理装置。
  15. 前記プロセッサは、前記第１血管領域から前記第２血管領域に対応する領域を除去して生成された候補別途の血管領域と、前記第２血管領域から前記第３血管領域に対応する領域を除去して生成された候補血管分枝領域に基づいて、前記血管映像から予測された血管構造のエラーを修正する、請求項１２に記載の血管映像処理装置。
JP2022568587A 2021-07-01 2021-12-08 血管分割に基づいて血管映像を処理する方法及び装置 Active JP7479080B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0086439 2021-07-01
KR1020210086439A KR102425857B1 (ko) 2021-07-01 2021-07-01 혈관 분할에 기초하여 혈관 영상을 처리하는 방법 및 장치
PCT/KR2021/018497 WO2023277283A1 (ko) 2021-07-01 2021-12-08 혈관 분할에 기초하여 혈관 영상을 처리하는 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2023536034A JP2023536034A (ja) 2023-08-23
JP7479080B2 true JP7479080B2 (ja) 2024-05-08

Family

ID=82606409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022568587A Active JP7479080B2 (ja) 2021-07-01 2021-12-08 血管分割に基づいて血管映像を処理する方法及び装置

Country Status (4)

Country Link
EP (1) EP4137053A4 (ja)
JP (1) JP7479080B2 (ja)
KR (2) KR102425857B1 (ja)
WO (1) WO2023277283A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016509501A (ja) 2013-01-15 2016-03-31 キャスワークス・リミテッドＣａｔｈＷｏｒｋｓ Ｌｔｄ． リアルタイムの診断上有用な結果
JP2016154730A (ja) 2015-02-25 2016-09-01 富士フイルム株式会社 画像処理装置、方法、及びプログラム
JP2017060682A (ja) 2015-09-25 2017-03-30 富士フイルム株式会社 画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システム
JP2018202163A (ja) 2017-06-01 2018-12-27 株式会社根本杏林堂 医療画像処理システムおよび医療画像処理方法
JP2019521733A (ja) 2016-05-16 2019-08-08 キャスワークス リミテッド 画像からの血管の選択方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768526B1 (ko) * 2012-07-27 2017-08-17 삼성전자주식회사 혈관 구조에 기초하여 환자에 특화된 대상 장기의 모델을 생성하는 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016509501A (ja) 2013-01-15 2016-03-31 キャスワークス・リミテッドＣａｔｈＷｏｒｋｓ Ｌｔｄ． リアルタイムの診断上有用な結果
JP2016154730A (ja) 2015-02-25 2016-09-01 富士フイルム株式会社 画像処理装置、方法、及びプログラム
JP2017060682A (ja) 2015-09-25 2017-03-30 富士フイルム株式会社 画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システム
JP2019521733A (ja) 2016-05-16 2019-08-08 キャスワークス リミテッド 画像からの血管の選択方法
JP2018202163A (ja) 2017-06-01 2018-12-27 株式会社根本杏林堂 医療画像処理システムおよび医療画像処理方法

Also Published As

Publication number Publication date
KR20230005727A (ko) 2023-01-10
WO2023277283A1 (ko) 2023-01-05
EP4137053A4 (en) 2023-10-25
KR102425857B1 (ko) 2022-07-29
EP4137053A1 (en) 2023-02-22
JP2023536034A (ja) 2023-08-23

Similar Documents

Publication Publication Date Title
US11216950B2 (en) Method and system for automatically segmenting blood vessel in medical image by using machine learning and image processing algorithm
US20170258433A1 (en) Method and System for Extracting Centerline Representation of Vascular Structures in Medical Images Via Optimal Paths in Computational Flow Fields
KR102050649B1 (ko) 2차원 x-선 조영영상의 혈관 구조 추출 방법, 이를 수행하기 위한 기록매체 및 장치
KR102562317B1 (ko) 자동으로 혈관 영상을 처리하는 방법 및 장치
CN112308846B (zh) 血管分割方法、装置及电子设备
US20230298180A1 (en) Blood vessel image segmenting method and apparatus using plurality of prediction results
JP2024059614A (ja) ユーザ入力に基づいて血管映像を処理する方法及び装置
Liu et al. Two new stenosis detection methods of coronary angiograms
Thuy et al. Coronary Vessel Segmentation by Coarse‐to‐Fine Strategy Using U‐nets
JP2023506107A (ja) 冠状動脈の分割方法、装置、電子デバイス及びコンピュータ読取可能な記憶媒体
JP7479080B2 (ja) 血管分割に基づいて血管映像を処理する方法及び装置
KR102479645B1 (ko) 병변 결정 방법 및 장치
KR102352841B1 (ko) 혈관 지도 구축 장치, 방법 및 상기 방법을 실행하기 위한 컴퓨터 프로그램
Wang et al. AVDNet: Joint coronary artery and vein segmentation with topological consistency
KR102442093B1 (ko) 수술용 내비게이션 시스템에서의 표면 정합 개선 방법
KR102542972B1 (ko) 3차원 혈관 구조를 생성하는 방법 및 장치
US12002207B2 (en) Device and method for constructing blood vessel map, and computer program for executing said method
KR102310740B1 (ko) 구조화된 혈관 분지 정보에 기초한 의료 시술 히스토리 검색 방법
KR20230119521A (ko) 혈관 내 칼슘화된 부위의 탐지를 위한 의료 영상 분석 장치 및 방법
CN115482181B (zh) 一种图像信息提取方法、装置、电子设备和可读存储介质
EP4107697B1 (en) Methods and systems for cardiac chamber imaging
Baral et al. A review on machine learning for arterial extraction and quantitative assessment on invasive coronary angiograms
KR101991037B1 (ko) 혈전 종류 판별 방법, 장치 및 프로그램
CN115984239A (zh) 脑动脉血管的中心线提取方法、系统、设备及存储介质
CN117063200A (zh) 用于校正造影增强图像的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240416

R150 Certificate of patent or registration of utility model

Ref document number: 7479080

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150