TWI790179B - 心導管影像辨識及評估方法 - Google Patents

心導管影像辨識及評估方法 Download PDF

Info

Publication number
TWI790179B
TWI790179B TW111128084A TW111128084A TWI790179B TW I790179 B TWI790179 B TW I790179B TW 111128084 A TW111128084 A TW 111128084A TW 111128084 A TW111128084 A TW 111128084A TW I790179 B TWI790179 B TW I790179B
Authority
TW
Taiwan
Prior art keywords
image
blood vessel
cardiac catheterization
cardiac
vessel
Prior art date
Application number
TW111128084A
Other languages
English (en)
Other versions
TW202405823A (zh
Inventor
簡廷因
張效煌
Original Assignee
台灣整合心臟醫學協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 台灣整合心臟醫學協會 filed Critical 台灣整合心臟醫學協會
Priority to TW111128084A priority Critical patent/TWI790179B/zh
Application granted granted Critical
Publication of TWI790179B publication Critical patent/TWI790179B/zh
Priority to US18/360,366 priority patent/US20240037741A1/en
Publication of TW202405823A publication Critical patent/TW202405823A/zh

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12Arrangements for detecting or locating foreign bodies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/481Diagnostic techniques involving the use of contrast agents
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30021Catheter; Guide wire
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Dentistry (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本發明揭露一種心導管影像辨識及評估方法,通過第一深度學習演算法對心導管影像進行物件辨識程序,取得血管物件影像;對心導管影像進行影像處理程序以取得血管位置影像;結合血管物件影像及血管位置影像以取得血管輪廓影像;對血管輪廓影像進行血管類型判斷程序,判斷心導管影像的血管類型;對血管輪廓影像進行第二深度學習演算法以偵測血管阻塞位置,並判斷血管阻塞率;以及通過血管類型及血管阻塞位置的血管阻塞率,對心導管影像進行評分以取得心臟解剖分數。

Description

心導管影像辨識及評估方法
本發明是關於一種心導管影像辨識及評估方法,特別是關於一種運用深度學習演算法對心導管影像進行分析以協助取得心臟解剖分數的心導管影像辨識及評估方法。
心臟相關疾病如冠狀動脈心臟病(coronary heart disease)是國人的第二大死亡原因,其主要成因是冠狀動脈的動脈管壁內層因脂肪堆積,導致動脈狹窄,使得血液無法順利通過,而冠狀動脈主要功能是提供血液給心肌,讓心肌能充分地得到氧氣,當冠狀動脈阻塞時,血液不流通會使心肌缺乏氧氣而壞死,嚴重時可能導致心肌梗塞而猝死。心導管檢查是目前診斷冠狀動脈疾病最準確的方法,檢查時將導管伸入心臟的冠狀動脈,注射顯影劑後利用X光透視來取得心導管影像,檢視心臟血管血流狀況、病變位置及嚴重程度,再由醫師依據檢查結果選擇解決的治療方案,例如藥物治療、心導管手術(氣球擴張術、血管支架放置術)、血管繞道手術等。
上述不同的治療方案所使用的治療方式各有其優缺點,醫師必須根據患者動脈的狀態來決定最有利的治療方式,對於血管阻塞程度的判斷,歐 美的心臟醫學會建議以心臟解剖分數(SYNTAX Score)來評估,通過評估分數的高低,提供對應的建議治療方式。心臟解剖分數的計算,需要經過醫師人工判讀心導管影像,判斷血管類型、找出病變位置及阻塞程度並考慮患者狀態後進行評估,對於心導管影像判讀,往往耗費醫師大量的時間,造成人力成本的負擔,難以提升檢查的效率,且針對X光影像的判讀,需仰賴醫師的經驗,相同的心血管影像可能因為不同醫師而有不同的判讀結果,在檢查結果的準確性上產生疑慮。
有鑑於此,現有的心導管影像判斷方法仍需耗費醫師人力及時間,且難以確保判讀結果的準確性。對此,本發明之發明人思索並設計一種心導管影像辨識及評估方法,針對現有技術之缺失加以改善,進而增進產業上之實施利用。
有鑑於上述習知技術之問題,本發明之目的就是在提供一種心導管影像辨識及評估方法,以解決習知之心導管影像判讀效率難以提升的問題。
根據本發明之一目的,提出一種心導管影像辨識及評估方法,通過輸入裝置取得患者的心導管影像,將心導管影像儲存於運算裝置的記憶體,由運算裝置的處理器存取記憶體以執行以下步驟:通過第一深度學習演算法對心導管影像進行物件辨識程序,取得心導管影像的血管物件影像;對心導管影像進行影像處理程序以取得心導管影像的血管位置影像;結合血管物件影像及血管位置影像以取得心導管影像的血管輪廓影像;對血管輪廓影像進行血管類型判斷程序,判斷心導管影像的血管類型;對血管輪廓影像進行第二深度學習 演算法以偵測血管阻塞位置,並通過阻塞率計算程序判斷血管阻塞位置的血管阻塞率;以及通過血管類型及血管阻塞位置的血管阻塞率,對心導管影像進行評分以取得心臟解剖分數。
較佳地,第一深度學習演算法可包含U-Net模型或YOLO v4模型,通過第一深度學習演算法辨識心導管影像的血管、骨頭、導管、橫膈膜及心臟。
較佳地,影像處理程序可包含圖片前處理、血管分割及投票機制。
較佳地,圖片前處理可包含對比度增強、影像切割及影像平滑化。
較佳地,血管分割可包含脊線偵測、抽取骨架、去除雜訊及超像素分割。
較佳地,投票機制可包含將脊線偵測的遮罩與超像素分割重疊,通過權重投票來決定血管位置影像。
較佳地,血管類型可包含右優勢型(Right dominance)及左優勢型(Left dominance)。
較佳地,第二深度學習演算法可包含Mask RCNN模型及Bi-LSTM模型,血管輪廓影像經過標記後,通過第二深度學習演算法預測血管阻塞位置。
較佳地,血管輪廓影像可通過切線及法線尋找參考基準點,再通過動態規劃演算法取得血管兩側的對應點,依據對應點計算血管寬度,進而計算血管阻塞率。
較佳地,心臟解剖分數可通過輸出裝置提供醫療人員判斷血管阻塞程度。
承上所述,依本發明之心導管影像辨識及評估方法,其可具有一或多個下述優點:
(1)此心導管影像辨識及評估方法能將通過深度學習演算法取得血管物件影像,並通過影像分析方法取得血管位置影像,最後結合兩者來取得血管輪廓影像,更準確的標示出血管的輪廓及狀態,提升後續分析的準確性。
(2)此心導管影像辨識及評估方法能將通過深度學習演算法判斷血管類型,並判斷血管阻塞位置及進一步計算阻塞位置的阻塞率,自動判讀心導管影像中各個血管片段位置的狀態,協助取得心臟解剖分數所需的資訊,提升評估的效率。
(3)此心導管影像辨識及評估方法能通過運算裝置來達到分析程序所需的功能,並通過輸出裝置提供醫護人員評估結果,提供醫護人員決定後續治療手段的建議。
10:心導管影像
11:血管物件影像
12:骨頭物件影像
13:導管物件影像
14:橫膈膜物件影像
15:心臟物件影像
16:組合影像
21:血管模型
22:骨頭模型
23:導管模型
24:橫膈膜模型
25:心臟模型
30:部分心導管影像
31:資料前處理及物件標記
32:第一深度學習演算法
33:血管物件偵測模型
40:全部心導管影像
41:影像處理程序
50:血管輪廓影像
51:血管類型判斷
52:阻塞位置判斷
53:阻塞率判斷
54:血管片段狀態
55:血管解剖分數
S1~S6,S21~S24:步驟
為使本發明之技術特徵、內容與優點及其所能達成之功效更為顯而易見,茲將本發明配合附圖,並以實施例之表達形式詳細說明如下:第1圖係為本發明實施例之心導管影像辨識及評估方法之流程圖。
第2圖係為本發明實施例之物件辨識程序之示意圖。
第3圖係為本發明實施例之影像處理程序之流程圖。
第4圖係為本發明實施例之血管類型之示意圖。
第5圖係為本發明實施例之血管阻塞位置偵測方法之示意圖。
第6圖係為本發明實施例之心導管影像辨識及評估方法之系統架構圖。
為利於瞭解本發明之技術特徵、內容與優點及其所能達成之功效,茲將本發明配合附圖,並以實施例之表達形式詳細說明如下,而其中所使用之圖式,其主旨僅為示意及輔助說明書之用,未必為本發明實施後之真實比例與精準配置,故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍,合先敘明。
請參閱第1圖,其係為本發明實施例之心導管影像辨識及評估方法之流程圖。在患者進行心導管檢查時,醫師將導管插入心臟的冠狀動脈,注射顯影劑後通過X光機拍攝心導管影像,心導管影像可儲存於X光檢測機台或者儲存於連接的輸入裝置,如醫院的伺服器、雲端資料庫等。通過實體線路連接或網路連接存取上述輸入裝置,取得患者的心導管影像,將心導管影像儲存於運算裝置的記憶體,再由運算裝置的處理器存取記憶體以執行辨識及評估的方法。運算裝置可與輸入裝置同樣為醫院的伺服電腦、雲端運算裝置,也可為醫師端的個人電腦、手持裝置等。當運算裝置存取心導管影像並執行對應的控制程式指令後,可進行如圖所示的心導管影像辨識及評估方法,其中,心導管影像辨識及評估方法包含以下步驟(S1~S6):
步驟S1:通過第一深度學習演算法對心導管影像進行物件辨識程序,取得心導管影像的血管物件影像。經由心導管檢查取得的心導管影像為X光血管造影(X-ray angiogram,XRA)的灰階影像,其格式符合醫療數位影像傳輸協定(Digital Imaging and Communications in Medicine,DICOM),包含心導管影像資訊及影像,對每個檢查的患者,可包含五個序列檔,每個序列檔約有60至80張 影像。心導管影像的特性是對比度低且背景雜訊多,若直接以心導管影像進行分析,難以找出需要分析的血管位置。因此,辨識步驟首先利用第一深度學習演算法對心導管影像進行物件辨識程序,在本實施例中,進行分析的心導管影像可由醫院提供多位患者的心導管影像,經過去識別化後,以7:3的比例隨機抽取訓練集及測試集,但本揭露的資料比不侷限於此,在其他實施例中,訓練集及測試集也可為6:4或其他比例。
請同時參閱第2圖,其係為本發明實施例之物件辨識程序之示意圖。如圖所示,首先,心導管影像10可先進行影像前處理,將原始影像轉為容易標記的JPEG檔案格式,並且進行去除外框及去除雜訊的程序,避免原始影像的黑框及雜訊影響後續分析結果。接著,對心導管影像10進行血管、骨頭、導管、橫膈膜及心臟的標記,再利用第一深度學習演算法分別建立血管模型21、骨頭模型22、導管模型23、橫膈膜模型24及心臟模型25,經過訓練集對各個模型進行訓練,當測試集的影像輸入個個模型後,可取得血管物件影像11、骨頭物件影像12、導管物件影像13、橫膈膜物件影像14及心臟物件影像15,上述影像可結合形成組合影像16。
在本實施例中,第一深度學習演算法可為U-Net模型,以U-Net模型進行訓練前可通過Labelme套件,對心導管影像10當中的物件輪廓進行標記,分別形成血管、骨頭、導管、橫膈膜及心臟的遮罩(Mask),再帶入U-Net架構當中來建立各個模型。U-Net架構由收縮路徑(encoder)及擴展路徑(decoder)組成,在訓練過程中,透過收縮路徑進行次取樣(subsampled),抓取圖像背景中的相關資訊,而擴展路徑進行上取樣(upsampling)協助準確定位,並同時加入相應之收 縮路徑的特徵圖(feature map),確保了高層特徵與低層特徵的擷取,同時不要求大量的訓練資料便能對影像進行精準的分割,建立各個模型。
在另一實施例中,第一深度學習演算法可為YOLO v4模型,以YOLO v4模型進行訓練前可通過LabelImg套件,以多個矩形標記不規則輪廓的物件來對心導管影像10進行標記,分別形成血管、骨頭、導管、橫膈膜及心臟的遮罩(Mask),再帶入YOLO v4架構當中來建立各個模型。YOLO v4架構在輸入圖像後,利用backbone進行圖片的特徵擷取,例如使用CSPDarknet53模型,在neck的部分利用PAN和SPP整合各層的特徵圖,最後進行限界框(bounding box)的預測,建立各個模型。
在本揭露中,對於冠狀動脈的評估著重在於血管部分,因此在此步驟中,依據第一深度學習演算法對心導管影像10建立各種物件模型來進行物件辨識程序,並且選擇對應於心導管影像10的血管物件影像11來作為後續分析評估的輸入影像之一。
步驟S2:該心導管影像進行影像處理程序以取得心導管影像的血管位置影像。除了通過上述物件辨識方式取得血管物件影像11外,對於心導管影像也可通過影像處理程序來取得血管位置影像,影像處理程序可包含圖片前處理、血管分割及投票機制。
請同時參閱第3圖,其係為本發明實施例之影像處理程序之流程圖。如圖所示,影像處理程序包含以下步驟(S21~S24):
步驟S21:輸入心導管影像。心導管影像可如前一步驟所述,將心導管檢查取得的心導管影像為X光血管造影影像轉為JPEG格式,且將原本的圖片黑色邊框去除後,取得輸入的原始影像。
步驟S22:對心導管影像進行圖片前處理。圖片前處理程序可包含對比度增強及影像平滑化的程序,首先,對比度增強的方法可利用頂帽轉換(Top-hat transform)方法及限制對比度自適應直方圖均衡化(Contrast limited adaptive histogram equalization,CLAHE)方法。頂帽轉換方法是一種以數學形態學(Mathematical morphology)為基礎的對比度增強方法,將圖片的亮部與暗部之間的差距拉大變得更加兩極化。頂帽轉換方法主要使用開運算子(opening)及閉運算子(closing)兩種運算子,這兩種運算子分別找出影像中明亮與暗的部分。首先令f為灰階影像和B為結構元素(structuring element),並且令腐蝕(erosion)函式f(x,y)為fB以及膨脹(dilation)函式為B(u,v)、令I為原始圖像,腐蝕與膨脹兩公式定義如下列方程式(1)及(2)。
f⊕B=max u,v (f(x-u,y-v)+B(u,v)) (1)
fΘB=min u,v (f(x+u,y+v)-B(u,v)) (2)
接著藉由使用腐蝕與膨脹交換順序可產生開運算子和閉運算子,分別用fB、f˙B表示如下列方程式(3)及(4)。
fB=(fΘB)⊕B (3)
f˙B=(fB)ΘB (4)
藉由使用開運算子與閉運算子可以計算出影像中的白頂帽(White Top-Hat,WTH)與黑頂帽(Black Top-Hat,BTH),分別代表圖片中的明亮部分與暗淡部分。計算公式如下列方程式(5)及(6)。
WTH(x,y)=f(x,y)-fB(x,y) (5)
BTH(x,y)=f˙B(x,y)-f(x,y) (6)
最後藉由原始圖片的亮部I W 與原始圖片的暗部I B 做相加減後得出增強對比度後的結果I CE ,如方程式(7)所示。
I CE =I+I W -I B (7)
限制對比度自適應直方圖均衡化方法是一種自適應式直方圖均化演算法,可以很好的解決全域過度加強亮度的問題。直方圖顯示的是一張圖像內所有像素強度從0至255的分佈情形,在本實施例中,直方圖顯示的強度為灰階強度。限制對比度自適應直方圖均衡化方法將圖像分割成許多小區塊,並且針對每個小區塊做均化處理,但是與一般自適應式直方圖均化不同的地方在於限制對比度自適應直方圖均衡化方法會做對比度限制以及線性內差以保持小區塊間的對比連續性。對比度限制為限制直方圖的高度,一但有超過的高度就平均分配給0至255的像素強度中,以確保直方圖總面積不變。
在增強對比度後,接著進行影像平滑化的程序,為了保護感興趣區域(ROI)的邊界結構,本實施例使用滾動導向濾波器(Rolling Guidance Filter,RGF)。滾動導向濾波器在去移除及平滑圖像中的複雜小區域時,能確保大區域物體邊界的準確性,因此,可利用滾動導向濾波器去除複雜背景,獲取物體輪廓,方便圖像分割。
步驟S23:進行血管分割。血管分割可包含脊線偵測、抽取骨架、去除雜訊及超像素分割的程序。對於血管的脊線偵測可選擇用Sato等人提出的管狀濾波器(Sato tubness filter)(Y.Sato et al.,"3D multi-scale line filter for segmentation and visualization of curvilinear structures in medical images," in CVRMed-MRCAS'97,1997,pp.213-222:Springer)來進行偵測。此濾波器常被用來找尋如水管、河流等連續管狀特徵,使用黑塞矩阵(Hessian Matrix)計算圖片的 特徵值以找出彎曲特徵,接著將找出的血管位置特徵作為血管圖(Vesselness Map)。血管圖仍然擁有許多雜訊,輪廓也非常不明顯,因此我們設立了灰階值的閾值(threshold)來找出血管位置並過濾掉可能的背景雜訊,將低於閾值的灰階值強度像素皆設為0,而高於閾值的像素皆設為255。經過二質化可得到包括血管輪廓的血管圖,接著使用Zhang-Suen細化演算法(Zhang-Suen Thinning Algorithm)抽取出血管骨架位置,主要血管的骨架都是相連的,但背景中的雜訊白點可在下一步驟進行過濾。
過濾雜訊的程序是找出血管圖中像素群小於100的連接組件,並且過濾後得到乾淨的血管圖,接著將影像分隔成多個超像素,並且找出血管確切佔有的像素位置。超像素是把原本像素等級的圖像透過區域劃分將原始圖像切割成多個區域,並將這些區域稱之為超像素。超像素可減少計算維度並聚合相同特徵的像素,在本實施例中,超像素分割可採用以下的幾種方法。
(1)Felzenszwalb演算法:以基於圖像(graph-based)的方式對圖像進行分割,以特定的判斷標準與貪婪演算法(greedy decision)來進行分割,在時間效率上幾乎與圖(graph)、邊數(edge)呈現線性關係。此演算法忽略在高變化的區域(high-variability region)的細節,可以找出視覺上一致的區域,受到局部對比度影響較高。
(2)Simple Linear Iterative Clustering(SLIC)演算法:在五維的顏色資訊空間(L*、a*、b*、X軸座標、Y軸座標)中使用k-means分類。透過將色彩影像轉化為CIE L*A*B*顏色空間與XY座標的五維特徵向量,然後針對LABXY這五維特徵向量做為k-means分類的距離標準,對像素進行分類。此分類法執行速度快且生成的超像素更為緊湊。
(3)Quickshift演算法:使用LABXY五維向量空間計算距離,使用分層分段(hierarchical segmentation)的方法同時計算多尺度的切割結果,速度上更加快速。
(4)Watershed演算法:使用灰階梯度影像,將亮部區域當作圖片的分水嶺分割區域,將圖像視為一個景觀圖(landscape),由亮部區域像素形成高峰處,然後從高峰處往下淹沒標記,直到淹沒標記區域與高峰處會合為止。
步驟S24:進行投票程序以取得血管位置影像。分別將脊線偵測所得到的血管圖作為遮罩,覆蓋在上述四種不同的超像素分割的結果上,並將遮罩碰觸到的超像素選取出來,針對每一個像素做一次權重多數決投票,像素被判定為是血管的票數大於權重和的一半就被納入最後血管的像素之一,最後權重多數決投票的結果即是血管位置,進而依據像素位置取得血管位置影像。
步驟S3:結合血管物件影像及血管位置影像以取得心導管影像的血管輪廓影像。將步驟S1取得的血管物件影像與步驟S2取得的血管位置影像進行合併,利用真實的有效值(ground truth)找出最佳合併方式,將血管位置及輪廓標示出來,得到血管輪廓影像,以此作為後續判斷血管類型及血管阻塞位置的輸入影像。
步驟S4:對血管輪廓影像進行血管類型判斷程序,判斷心導管影像的血管類型。患者的心臟血管可以分為四個片段位置,分別為RCA、LMCA、LAD及LCX,不同片段位置當中各個血管的節點阻塞狀況,會影響心臟解剖分數的評估。另一方面,不同患者也可能有不同的血管類型,分為右優勢型(Right dominance)及左優勢型(Left dominance),不同血管類型會有不同的血管節點,因 此,在評估心臟解剖分數時,需要先確認血管類型,再依據血管類型對應的節點位置評估阻塞狀態。
請同時參閱第4圖,其係為本發明實施例之血管類型之示意圖。如圖所示,血管類型可分為右優勢型及左優勢型,當中的數字為各個片段節點的代號,以各個片段位置來說,RCA段包含片段1、2、3、4、16、16a、16b、16c(其中僅有右優勢型有片段4、16、16a、16b、16c),LMCA段包含片段5,LAD段包含片段6、7、8、9、9a、10、10a,LCX段包含片段11、12、12a、12b、13、14、14a、14b、15(其中僅有左優勢型有片段15)。依據血管輪廓影像在不同片段是否有血管,可以判斷患者是屬於右優勢型或左優勢型,再接續判斷血管的阻塞狀態。
步驟S5:對血管輪廓影像進行第二深度學習演算法以偵測血管阻塞位置,並通過阻塞率計算程序判斷血管阻塞位置的血管阻塞率。本實施例的X光血管造影影像是包含一個序列時間的連續影像,各個影像在經過前述步驟處理後可取得血管輪廓影像,為偵測血管阻塞位置,首先對訓練資料進行標記,標記方式可以矩形的LabelImg套件或不規則形狀的Labelme套件進行標記,接著進行第二深度學習演算法來建立運算模型以預測血管阻塞位置。在其他實施例中,血管輪廓影像可以通過資料增強技術來擴增資料,提升訓練效果,例如將輸入影像進行90°、180°、270°三個方向的旋轉,或者水平及垂直方向的映射,將影像擴增來做為訓練資料。
請參閱第5圖,其係為本發明實施例之血管阻塞位置偵測方法之示意圖。如圖所示,心導管影像為連續影像,為了處理資料的空間性(處理單一影像資訊)以及時間性(處理連續影像資訊),本揭露的第二深度學習演算法利用 多層次深度學習架構進行建模,結合Mask RCNN(空間性)及Bidirectional Long Short-Term Memory(Bi-LSTM)(時間)深度學習演算法。首先,血管輪廓影像分別作為輸入影像,經過卷積層運算產生全連接層(Fully connected Layer)的架構,再利用Bi-LSTM來建立模型,分別經過前向層(forward layer)、後向層(backward layer)及激活層(activation layer)後,產生輸出影像。
LSTM為一種時間遞歸神經網絡,適合用來預測時間序列資料,同時讓資料保有時間性,利用此架構可同時參考前後影像資訊,讓分析時資訊更為豐富。LSTM主要由四個元件組成,分別為輸入閘(input gate)、輸出閘(output gate)、遺忘閘(forget gate)及記憶位元(Memeory cell),利用輸入閘、輸出閘及遺忘閘控制訊息流,輸入閘控制是否把讀入的值輸入進去,透過權重與訊息強度判定該訊息是否可通過,而這些權重會在巡迴網路中進行學習調整,接著利用記憶位元將資訊儲存起來,遺忘閘用來控制有多少暫存資訊要被清除,而輸出閘用來控制有多少運算出的值要被輸出。Bi-LSTM結構透過投影矩陣(projection matrix)以及偏差向量(bias vector),將輸入的值降維轉換至投影層(projection layer)。在隱藏層(hidden layer)中,Bi-LSTM採用前向閘(Forward Gated)及後向閘(Backward Gated)學習方式,最後輸出預測結果的輸出影像。
進一步來說,將輸入的資料屬性,表示成一n維向量X t =Input(t)
其中Input(t)代表第t時間所蒐集到的所有資料,而X t
Figure 111128084-A0305-02-0015-11
R n 。接著將X t 經過投影矩陣以及偏差向量,轉換得到較低維度的向量X’ t =W pr X t +b pr ,其中W pr 為投影矩陣、b pr 為偏差向量。並且將X’ t 當作輸入值,送到隱藏層。在隱藏層中,利用LSTM位元計算LSTM啟動向量(activation vector)ht,如下列公式(8)至公式(12)所示。
i t =σ(W xi X' t +W hi h t-1+b i ) (8)
f t =σ(W xf X' t +W hf h t-1+b f ) (9)
c t =f t c t-1+i t tanh(W xc X' t +W hc h t-1+b c ) (10)
o t =σ(W xo X' t +W ho h t-1+b o ) (11)
h t =o t tanh(ct) (12)
其中σ為S函數(sigmoid function),i t f t c t o t 分別代表第t時間的輸入閘、遺忘閘、輸出閘、以及位元啟動向量(cell activation vectors)。最後第t秒的輸出值y t=σ(W hA h t +b A )為最後的輸出值,其中W hA 為投影矩陣、b A 為偏差向量。進一步修改Bi-LSTM運算公式如下列公式(13)至公式(15)。
Figure 111128084-A0305-02-0016-1
Figure 111128084-A0305-02-0016-2
Figure 111128084-A0305-02-0016-3
其中,
Figure 111128084-A0305-02-0016-9
代表前向閘運算,
Figure 111128084-A0305-02-0016-10
代筆後向閘運算。
通過上述模型可以預測血管輪廓影像中發生血管阻塞的位置,期可對應於RCA、LMCA、LAD及LCX等各個段的位置以及各段中更為細部節點的位置,進而能得知患者在各段落血管是否發生阻塞。當找到阻塞位置後,進一步藉由阻塞率判斷程序判斷血管阻塞狀態。阻塞率判斷程序首先利用切線及法線找尋血管參考基準點接著利用動態規劃(dynamic programming)演算法找出血管二側互相對應的點,最後根據對應點找出血管最粗及最細位置,計算出阻塞率為何。其中,動態規劃演算法如公式(16)及(17)所示,阻塞率的計算則由公式(18)所示。
Figure 111128084-A0305-02-0017-4
Figure 111128084-A0305-02-0017-6
其中a i ,b j 代表血管2側序列位置,-代表沒有對應到的點,計算出對應點間的距離,找出成對點間的最大和最小距離,再由以下公式(18)計算血管阻塞率。
Figure 111128084-A0305-02-0017-7
步驟S6:通過血管類型及血管阻塞位置的血管阻塞率,對心導管影像進行評分以取得心臟解剖分數。當取得血管類型以及對應此類型之血管阻塞位置與血管阻塞率,可自動填入各分段的評分以協助醫護人員取得患者的心臟解剖分數。
心臟解剖分數的計算方式說明如下。
(1)對於每個直徑超過1.5mm的血管,如果阻塞率超過50%,就必須評分。
(2)若連續狹窄位置小於3個血管參考直徑,則算單一病變,否則視為單獨病變。針對不同位置進行評分。
(3)依照病患的心血管架構分成右優勢型及左優勢型,選擇其中一種來計算心臟解剖分數(SYNTAX Score)。
(4)是否有完全堵塞的情況。
(5)三分岔(Trifurcation)情況:主血管分成3個至少1.5mm以上的血管分支,只考慮片段3/4/16/16a,5/6/11/12、11/12a/12b/13、6/7/9/9a、7/8/10/10a。
(6)分岔(Bifurcation)情況:分支成2個至少1.5mm的血管分支,只考慮片段5/6/11、6/7/9、7/8/10、11/13/12a、13/14/14a、3/4/16、13/14/15。
(7)主動脈口(Aorto ostial)情況:當病變位置距離主動脈冠狀血管起點3mm以內時,病變被歸類為主動脈口病變。
(8)嚴重迂迴情況:病變位置附近有1個以上轉角超過90°的血管轉彎或3個以上轉角介於45°至90°的血管轉彎。
(9)長度超過20mm:連續病變位置超過20mm。
(10)重度鈣化:血管是否有重度鈣化的情況。
(11)血栓(Thrombus):血管中是否有血栓情況。
(12)瀰漫性病(Diffuse disease):是否有瀰漫性病情況。
由於患者的心導管影像經由上述辨識及評估程序後,可以取得血管類型以及對應血管類型之血管阻塞片段位置,並且計算阻塞處的血管阻塞率,可有效協助上述判斷步驟取得評估結果,提供醫護人員迅速了解患者心臟解剖分數,進而提供醫師決定如何進行治療的參考資訊。
請參閱第6圖,其係為本發明實施例之心導管影像辨識及評估方法之系統架構圖。如圖所示,心導管影像可先分為訓練及測試的兩部分,做為測試的部分心導管影像30可通過資料前處理及物件標記31進行初步的處理程序,例如轉換檔案格式,去除邊框得到需求尺寸的影像等,並通過標記的套件程式對血管進行標記,進而接續由第一深度學習演算法32來建立物件辨識的模型。如前述實施例所述,第一深度學習演算法32可包含U-Net模型或YOLO v4模型,通過第一深度學習演算法32可建立辨識心導管影像的血管、骨頭、導管、橫膈膜及心臟的模型。在本實施例中,主要是以血管物件偵測模型33為主,通過血管物件偵測模型33取得血管物件影像。
另一方面,取得的全部心導管影像40可通過影像處理程序41進行影像辨識,通過圖片前處理、血管分割及投票機制而找出血管位置,進而取得血管位置影像。影像處理程序請參閱前述實施例,相同內容不再重複說明。由影像處理程序41取得的血管位置影像及血管物件偵測模型33取得的血管物件影像,經過合併後得到血管輪廓影像50,血管輪廓影像50作為分析血管類型及阻塞狀態的輸入影像。
血管輪廓影像50可通過第二深度學習演算法來進行血管類型判斷51及阻塞位置判斷52,血管輪廓影像50首先經過標記後,再經由包含Mask RCNN模型及Bi-LSTM模型的第二深度學習演算法來預測血管的各個片段位置,進行血管類型判斷51,並且預測各個片段中是否有血管阻塞產生,進行阻塞位置判斷52,通過兩者資訊得到血管片段狀態54。同時,在血管阻塞位置可通過阻塞率計算程序來進行阻塞率判斷53,取得各個阻塞位置的阻塞狀態。由血管片段狀態54及阻塞率判斷53的結果,提供血管解剖分數55計算所需的資訊,最後提供心臟解剖分數55以協助醫療人員判斷血管阻塞程度,決定治療所採用的手段。
上述部分心導管影像30及全部心導管影像40均可由輸入裝置輸入後儲存於運算裝置的記憶體中,經由處理器存取記憶體以執行辨識及評估的方法,即上述的各個辨識及評估程序。運算裝置可與輸入裝置同樣為醫院的伺服電腦、雲端運算裝置,也可為醫師端的個人電腦、手持裝置等。當上述辨識及評估程序取得心臟解剖分數55後,可通過輸出裝置提供醫療人員參考,輸出裝置可為運算裝置的輸出介面,包含顯示器、螢幕等,讓醫療人員能通過輸出裝置取得辨識及評估的結果,進而有效判斷患者心臟血管狀態。
以上所述僅為舉例性,而非為限制性者。任何未脫離本發明之精神與範疇,而對其進行之等效修改或變更,均應包含於後附之申請專利範圍中。
S1~S6:步驟

Claims (10)

  1. 一種心導管影像辨識及評估方法,藉由一輸入裝置取得一患者的一心導管影像,利用一運算裝置將該心導管影像儲存於該運算裝置的一記憶體,由該運算裝置的一處理器存取該記憶體以執行以下步驟:通過一第一深度學習演算法對該心導管影像進行一物件辨識程序,取得該心導管影像的一血管物件影像;對該心導管影像進行一影像處理程序以取得該心導管影像的一血管位置影像;結合該血管物件影像及該血管位置影像以取得該心導管影像的一血管輪廓影像;對該血管輪廓影像進行一血管類型判斷程序,判斷該心導管影像的一血管類型;對該血管輪廓影像進行一第二深度學習演算法以偵測一血管阻塞位置,並通過一阻塞率計算程序判斷該血管阻塞位置的一血管阻塞率;以及通過該血管類型及該血管阻塞位置的該血管阻塞率,對該心導管影像進行評分以取得一心臟解剖分數;其中該第一深度學習演算法包含U-Net模型或YOLO v4模型,通過該第一深度學習演算法辨識該心導管影像的血管、骨頭、導管、橫膈膜及心臟。
  2. 如請求項1所述之心導管影像辨識及評估方法,其中該血管輪廓影像通過切線及法線尋找參考基準點,再通過動態規劃 演算法取得血管兩側的對應點,依據對應點計算血管寬度,進而計算該血管阻塞率。
  3. 如請求項1所述之心導管影像辨識及評估方法,其中該影像處理程序包含圖片前處理、血管分割及投票機制。
  4. 如請求項3所述之心導管影像辨識及評估方法,其中該圖片前處理包含對比度增強、影像切割及影像平滑化。
  5. 如請求項3所述之心導管影像辨識及評估方法,其中該血管分割包含脊線偵測、抽取骨架、去除雜訊及超像素分割。
  6. 如請求項5所述之心導管影像辨識及評估方法,其中該投票機制包含將脊線偵測的遮罩與超像素分割重疊,通過權重投票來決定該血管位置影像。
  7. 如請求項1所述之心導管影像辨識及評估方法,其中該血管類型包含右優勢型及左優勢型。
  8. 一種心導管影像辨識及評估方法,藉由一輸入裝置取得一患者的一心導管影像,利用一運算裝置將該心導管影像儲存於該運算裝置的一記憶體,由該運算裝置的一處理器存取該記憶體以執行以下步驟:通過一第一深度學習演算法對該心導管影像進行一物件辨識程序,取得該心導管影像的一血管物件影像;對該心導管影像進行一影像處理程序以取得該心導管影像的一血管位置影像;結合該血管物件影像及該血管位置影像以取得該心導管影像的一血管輪廓影像; 對該血管輪廓影像進行一血管類型判斷程序,判斷該心導管影像的一血管類型;對該血管輪廓影像進行一第二深度學習演算法以偵測一血管阻塞位置,並通過一阻塞率計算程序判斷該血管阻塞位置的一血管阻塞率;以及通過該血管類型及該血管阻塞位置的該血管阻塞率,對該心導管影像進行評分以取得一心臟解剖分數;其中該第二深度學習演算法包含Mask RCNN模型及Bi-LSTM模型,該血管輪廓影像經過標記後,通過該第二深度學習演算法預測該血管阻塞位置。
  9. 如請求項8所述之心導管影像辨識及評估方法,其中該血管輪廓影像通過切線及法線尋找參考基準點,再通過動態規劃演算法取得血管兩側的對應點,依據對應點計算血管寬度,進而計算該血管阻塞率。
  10. 如請求項1或8所述之心導管影像辨識及評估方法,其中該心臟解剖分數通過一輸出裝置提供醫療人員判斷血管阻塞程度。
TW111128084A 2022-07-27 2022-07-27 心導管影像辨識及評估方法 TWI790179B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW111128084A TWI790179B (zh) 2022-07-27 2022-07-27 心導管影像辨識及評估方法
US18/360,366 US20240037741A1 (en) 2022-07-27 2023-07-27 Cardiac Catheterization Image Recognition and Evaluation Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111128084A TWI790179B (zh) 2022-07-27 2022-07-27 心導管影像辨識及評估方法

Publications (2)

Publication Number Publication Date
TWI790179B true TWI790179B (zh) 2023-01-11
TW202405823A TW202405823A (zh) 2024-02-01

Family

ID=86670116

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111128084A TWI790179B (zh) 2022-07-27 2022-07-27 心導管影像辨識及評估方法

Country Status (2)

Country Link
US (1) US20240037741A1 (zh)
TW (1) TWI790179B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109964256A (zh) * 2016-09-21 2019-07-02 生命解析公司 用于可视化有风险的心脏组织的方法和系统
EP3553786A1 (en) * 2018-04-10 2019-10-16 Hill-Rom Services, Inc. Patient risk assessment based on data from multiple sources in a healthcare facility
EP3622882A1 (en) * 2018-09-14 2020-03-18 Fundació Institut de Ciències Fotòniques System and computer-implemented method for detecting and categorizing pathologies through an analysis of pulsatile blood flow
CN112837306A (zh) * 2021-02-20 2021-05-25 薛竟宜 基于深度学习和中智理论的冠状动脉病变功能学定量方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109964256A (zh) * 2016-09-21 2019-07-02 生命解析公司 用于可视化有风险的心脏组织的方法和系统
EP3553786A1 (en) * 2018-04-10 2019-10-16 Hill-Rom Services, Inc. Patient risk assessment based on data from multiple sources in a healthcare facility
EP3622882A1 (en) * 2018-09-14 2020-03-18 Fundació Institut de Ciències Fotòniques System and computer-implemented method for detecting and categorizing pathologies through an analysis of pulsatile blood flow
CN112837306A (zh) * 2021-02-20 2021-05-25 薛竟宜 基于深度学习和中智理论的冠状动脉病变功能学定量方法

Also Published As

Publication number Publication date
TW202405823A (zh) 2024-02-01
US20240037741A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
Wu et al. Automatic detection of coronary artery stenosis by convolutional neural network with temporal constraint
Shen et al. An automated lung segmentation approach using bidirectional chain codes to improve nodule detection accuracy
CN110490040B (zh) 一种识别dsa冠状动脉图像中局部血管狭窄程度的方法
CN108280827B (zh) 基于深度学习的冠状动脉病变自动检测方法、系统和设备
CN107274402A (zh) 一种基于胸部ct影像的肺结节自动检测方法及系统
CN112489005B (zh) 骨分割方法及装置、骨折检出方法及装置
CN112365973B (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
CN114066886B (zh) 骨骼分割边界确定方法、装置、电子设备及存储介质
WO2021038203A1 (en) Computerised tomography image processing
CN109009000A (zh) 一种主动脉夹层破口位置的检测方法
CN114972376A (zh) 冠脉钙化斑块的分割方法、分割模型训练方法、相关装置
CN113889238A (zh) 一种图像识别方法、装置、电子设备及存储介质
Lim et al. Segmentation of the liver using the deformable contour method on CT images
US11935234B2 (en) Method for detecting abnormality, non-transitory computer-readable recording medium storing program for detecting abnormality, abnormality detection apparatus, server apparatus, and method for processing information
Macía et al. Detection of type ii endoleaks in abdominal aortic aneurysms after endovascular repair
US20230222668A1 (en) Image processing apparatus, image processing method, and recording medium
TWI790179B (zh) 心導管影像辨識及評估方法
CN114066885B (zh) 下肢骨骼模型构造方法、装置、电子设备及存储介质
CN118613826A (zh) 分析医学图像中的肝脏病变
Jiang et al. A new method for segmentation of the coronary arteries of interest and diameter measurement
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质
CN112862787B (zh) Cta影像数据处理方法、装置及存储介质
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
Kulathilake et al. A segmentation method for extraction of main arteries from coronary cine-angiograms