TWI790508B - 血管偵測裝置及基於影像的血管偵測方法 - Google Patents

血管偵測裝置及基於影像的血管偵測方法 Download PDF

Info

Publication number
TWI790508B
TWI790508B TW109142116A TW109142116A TWI790508B TW I790508 B TWI790508 B TW I790508B TW 109142116 A TW109142116 A TW 109142116A TW 109142116 A TW109142116 A TW 109142116A TW I790508 B TWI790508 B TW I790508B
Authority
TW
Taiwan
Prior art keywords
blood vessel
detection
detection result
image
medical image
Prior art date
Application number
TW109142116A
Other languages
English (en)
Other versions
TW202223839A (zh
Inventor
呂昀寰
謝成典
李愛先
莊文博
Original Assignee
宏碁股份有限公司
醫療財團法人徐元智先生醫藥基金會亞東紀念醫院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司, 醫療財團法人徐元智先生醫藥基金會亞東紀念醫院 filed Critical 宏碁股份有限公司
Priority to TW109142116A priority Critical patent/TWI790508B/zh
Priority to US17/145,405 priority patent/US11690569B2/en
Priority to CN202110074836.6A priority patent/CN114596247A/zh
Publication of TW202223839A publication Critical patent/TW202223839A/zh
Application granted granted Critical
Publication of TWI790508B publication Critical patent/TWI790508B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A61B5/02014—Determining aneurysm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Vascular Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Databases & Information Systems (AREA)
  • Neurosurgery (AREA)
  • Cardiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)

Abstract

本發明實施例提供血管偵測裝置及基於影像的血管偵測方法。在方法中，透過第一偵測模型對第一待評估資料偵測，以取得第一偵測結果；透過第二偵測模型對第二待評估資料偵測，以取得第二偵測結果。第一待評估資料包括對血管拍攝所得的一張或更多張醫療影像，且第一偵測模型所輸出的第一偵測結果包括醫療影像中的一個或更多個像素屬於血管。第一及第二偵測模型是基於機器學習演算法所建構，第二待評估資料包括第一偵測結果，且第二偵測模型所輸出的第二偵測結果包括醫療影像中的一個或更多個像素屬於血管。藉此，可提升血管辨識準確度。

Description

血管偵測裝置及基於影像的血管偵測方法
本發明是有關於一種影像辨識技術，且特別是有關於一種血管偵測裝置及基於影像的血管偵測方法。
血管影像是作為多種疾病在病灶判斷的重要依據。而醫生依據血管影像進行診斷時，往往會納入主觀的因素，讓診斷的結果產生偏差。此外，人工判讀也是一個耗時、耗財的一個過程。從病患的角度，整個診斷的過程像是個黑盒子，病患無法理解如何得出診斷結果，進而導致溝通不良產生糾紛。
現有血管分割技術包括主要分成計算法。計算法依據影像上各像素強度作分析。例如，將像素對影像的兩個維度計算二階的偏微分，再依據得到的二階偏微分矩陣的特徵向量以及特徵值，來判斷此像素點是否屬於血管。然而，由於血管的樣式很多，再加上血管醫療影像照影的血管很有可能已經病態，從而增加血管差異程度，使得透過特徵向量及特徵值的判斷無法涵蓋各種血管的型態。此外，此種方法只侷限於小尺度的判斷，而沒有考慮大尺度 的資訊。
有鑑於此，本發明實施例提供一種血管偵測裝置及基於影像的血管偵測方法，可準確地偵測血管影像中的血管。
本發明實施例的基於影像的血管偵測方法包括(但不僅限於)下列步驟：透過第一偵測模型對第一待評估資料偵測，以取得第一偵測結果；透過第二偵測模型對第二待評估資料偵測，以取得第二偵測結果。第一偵測模型是基於機器學習演算法所建構，第一待評估資料包括對血管拍攝所得的一張或更多張醫療影像，且第一偵測模型所輸出的第一偵測結果包括醫療影像中的一個或更多個像素屬於血管。第二偵測模型是基於機器學習演算法所建構，第二待評估資料包括第一偵測結果，且第二偵測模型所輸出的第二偵測結果包括醫療影像中的一個或更多個像素屬於血管。
本發明實施例的血管偵測裝置包括(但不僅限於)儲存器及處理器。儲存器儲存程式碼。處理器耦接儲存器，並經組態載入且執行那些程式碼而用以透過第一偵測模型對第一待評估資料偵測，以取得第一偵測結果，並透過第二偵測模型對第二待評估資料偵測，以取得第二偵測結果。第一偵測模型是基於機器學習演算法所建構，第一待評估資料包括對血管拍攝所得的一張或更多張醫療影像，且第一偵測模型所輸出的第一偵測結果包括醫療影像中的一個或更多個像素屬於血管。第二偵測模型是基於機器學習演 算法所建構，第二待評估資料包括第一偵測結果，且第二偵測模型所輸出的第二偵測結果包括醫療影像中的一個或更多個像素屬於血管。
基於上述，依據本發明實施例的血管偵測裝置及基於影像的血管偵測方法，可提供多階段的血管偵測機制，並讓先前偵測結果作為後續偵測模型的輸入資料，以提升辨識的準確度。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100:血管偵測裝置
110:儲存器
130:處理器
150:顯示器
S210~S230、S301、S701、S901~S905:步驟
D1~D3:待評估資料
M1~M3:偵測模型
R1~R7、R31~R33:偵測結果
SD1~SD5:補充資料
R11、R12、R21、R22:分割影像
Sk:骨幹
O11~O13、MI:醫療影像
Vh、Lh1、Lh2:血管頭端
P:位置
LCX:左迴旋支
LAD-proximal:左前降支-近端
Diagonal:對角支
OM:鈍緣支
RCA:右冠狀動脈
AcM:銳緣支
Box:追蹤區域
FP:偽陽性
圖1是依據本發明一實施例的血管偵測裝置的元件方塊圖。
圖2是依據本發明一實施例的基於影像的血管偵測方法的流程圖。
圖3是依據本發明一實施例的血管偵測方法的流程示意圖。
圖4A及圖4B繪示偵測結果比對的範例。
圖5是依據本發明一實施例的基於時間序列的目標追蹤的示意圖。
圖6A~圖6C繪示醫療影像及偵測結果的對照範例。
圖7是依據本發明一實施例的主要血管偵測方法的流程示意圖。
圖8繪示主要血管偵測的範例。
圖9是依據本發明一實施例的目標血管偵測方法的流程示意圖。
圖10繪示不同投照體位的範例。
圖11繪示血管頭端偵測的範例。
圖1是依據本發明一實施例的血管偵測裝置100的元件方塊圖。請參照圖1，血管偵測裝置100包括(但不僅限於)儲存器110及處理器130。血管偵測裝置100可以是桌上型電腦、筆記型電腦、智慧型手機、平板電腦、伺服器、醫療檢測儀器或其他運算裝置。
儲存器110可以是任何型態的固定或可移動隨機存取記憶體(Radom Access Memory，RAM)、唯讀記憶體(Read Only Memory，ROM)、快閃記憶體(flash memory)、傳統硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid-State Drive，SSD)或類似元件。在一實施例中，記憶體110用以記錄程式碼、軟體模組、組態配置、資料或檔案。
處理器130耦接記憶體110，處理器130並可以是中央處理單元(Central Processing Unit，CPU)、圖形處理單元(Graphic Processing unit，GPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)、特殊應用積體電路(Application-Specific Integrated Circuit，ASIC)、神經網路加速器或其他類似元件或上述元件的組合。在一實施例中，處理器130用以執行血管偵測裝置100的所有或部份作業，且可載入並執行記憶體110所記錄的各程式碼、軟體模組、檔案及資料。
在一些實施例中，血管偵測裝置100更包括顯示器150。顯示器150可以是液晶顯示器(Liquid-Crystal Display，LCD)、(Light-Emitting Diode，LED)顯示器、有機發光二極體(Organic Light-Emitting Diode，OLED)、量子點顯示器(Quantum dot display)或其他類型顯示器。在一實施例中，顯示器150用以顯示醫療影像或經處理的醫療影像。
下文中，將搭配血管偵測裝置100中的各項裝置、元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。
圖2是依據本發明一實施例的基於影像的血管偵測方法的流程圖。請參照圖2，處理器130經配置用以透過第一偵測模型對第一待評估資料偵測，以取得第一偵測結果(步驟S210)。具體而言，第一偵測模型是基於機器學習演算法所建構。機器學習演算法可以是卷積神經網絡(Convolutional Neural Network，CNN)、遞迴神經網路(Recurrent Neural Network，RNN)、多層感知器(Multi-Layer Perceptron，MLP)、支持向量機(Support Vector Machine，SVM)或其他演算法。機器學習演算法可分析訓練樣本以自中獲得規律， 從而透過規律對未知資料預測。而偵測模型即是經學習後所建構出的機器學習模型，並據以對待評估資料推論。在一實施例中，第一偵測模型是將對血管拍攝的醫療影像(或稱為血管影像)及其經標記屬於血管的結果作為訓練樣本。
第一待評估資料包括對一條或更多條血管拍攝所得的一張或更多張醫療影像。須說明的是，本發明實施例不限制血管所處的身體部位。此外，第一偵測模型經配置用以對第一待評估資料分析，並據以輸出的第一偵測結果。此第一偵測結果可以是醫療影像中的一個或更多個像素屬於血管或不屬於血管。
在另一實施例中，第一待評估資料可更包括血管的其他特徵。例如，輪廓、大小、或邊緣等。在一些實施例中，第一待評估資料可更包括不同時間點對相同部位拍攝的醫療影像的特徵。
處理器130經配置用以透過第二偵測模型對第二待評估資料偵測，以取得第二偵測結果(步驟S230)。具體而言，第二偵測模型也是基於機器學習演算法所建構。第一及第二偵測模型可能使用相同或不同的機器學習演算法，本發明不加以限制。與第一待評估資料不同之處在於，用於作為第二偵測模型的輸入資料的第二待評估資料包括第一偵測模型所輸出的第一偵測結果。此外，第二偵測模型所輸出的第二偵測結果可以是醫療影像中的一個或更多個像素屬於血管或不屬於血管。
在一實施例中，處理器130可對醫療影像進行影像處理，且此影像處理相關於增強血管的輪廓。例如，邊緣強化處理、對比 度調整或其他提升輪廓辨識度的處理。而第二待評估資料可更包括經影像處理的醫療影像。藉此，結合計算法(例如，增進輪廓辨識度)以及學習法(例如，機器學習)的特徵，將以較少的資料提升辨識結果的準確性。此外，增強血管的輪廓將有助於減少血管偵測區域不連續的情形。
舉例而言，圖3是依據本發明一實施例的血管偵測方法的流程示意圖。請參照圖3，一張醫療影像作為待評估資料D1並輸入至偵測模型M1，以取得偵測結果R1。接著，偵測結果R1及兩補充資料SD1,SD2(例如，原醫療影像及經邊緣強化的影像)作為待評估資料D2並輸入至偵測模型M2，以取得偵測結果R2。
在另一實施例中，第二待評估資料可更包括血管的其他特徵。例如，輪廓、大小、或粗細等。在一些實施例中，第二待評估資料可更包括不同時間點對相同部位拍攝的醫療影像的特徵。
在一些實施例中，處理器130可依據醫療影像的第一或第二偵測結果分割出各醫療影像中屬於血管的一個或多個像素，以形成分割影像。例如，透過二值化將屬於血管的像素的灰度極小化，並對不屬於血管的像素的灰度極大化。
圖4A及圖4B繪示偵測結果比對的範例。請參照圖4A及圖4B，左圖是依據偵測結果R2所形成的分割影像R21,R22，且右圖是依據偵測結果R1所形成的分割影像R11,R12。圖中方框處可見，分割影像R11,R12有血管不連續的情形，但分割影像R21,R22中的血管輪廓連續。
請參照圖3，處理器130可對偵測結果R2進行基於時間序列的背景去除(步驟S301)，以得出偵測結果R3。在一實施例中，那些醫療影像是依據時間序列排序。即，對相同投照體位及/或角度但不同時間點所拍攝的醫療影像(或稱，不同影幀(frame)的醫療影像)。處理器130可依據那些醫療影像的第二偵測結果分割出各醫療影像中屬於血管的一個或更多血管區域，以取得分別對應於不同影幀的那些醫療影像的多張分割影像。
值得注意的是，醫生在判讀醫療影像時，往往會參考不同時間序列上影幀的變化，進而增進判讀結果的準確性。處理器130可依據時間序列判斷那些分割影像中的各血管區域的各像素的位移。例如，處理器130可使用光流(optical flow)或其他目標追蹤技術分析各像素在連續影幀之間的位移(即，動態變化)。
處理器130可依據各血管區域對應的位移與先前影幀的分割影像中的血管區域的比對結果分類那些血管區域。比對結果相關於位移與那些血管區域的重疊大小。例如，處理器130可利用得到的位移與前一張或更前張影幀的分割影像中的血管區域做比對。比對結果是與位移(或軌跡)的位置重疊最大的兩個血管區域將歸類為相同類別(例如，組合成一個區域)，進而得到各血管區域在時間序列上大小的變化情形。藉此，可去除分割影像中的背景雜訊(例如，其他類別的區域被視為雜訊)。即，偵測結果R3的分割影像相較於偵測結果R2的分割影像更少背景雜訊。
舉例而言，圖5是依據本發明一實施例的基於時間序列 的目標追蹤的示意圖。請參照圖5，使用光流去背，血管區域的形狀在不同影幀上變化。藉此，可依據時間序列逐漸將完整的血管輪廓分割出來，並去除血管輪廓外的雜訊。然而，若未使用光流去背，則血管輪廓外仍有些許斑紋。
圖6A~圖6C繪示醫療影像O11~O13及偵測結果R31~R33的對照範例。請參照圖6A至圖6C，以心血管攝影中的血管分割作為例，偵測結果R31~R33所得出的分割影像的血管輪廓相當接近於醫療影像O11~O13，且血管可連續不間斷。
值得注意的是，分割影像中可能存在許多血管支路，部分支路無助於診斷。針對主要血管，在一實施例中，處理器130可透過第三偵測模型對第三待評估資料偵測，以取得第三偵測結果。具體而言，第三偵測模型也是基於那些機器學習演算法中的一者所建構。與第一及第二待評估資料不同之處在於，第三待評估資料包括當前影幀的醫療影像的第二偵測結果及與先前影幀的醫療影像的第二偵測結果(即，前一階偵測模型的輸出)。相似地，基於血管在時間序列中的關聯性，前後影幀的醫療影像將有助於血管偵測。而第三偵測模型所輸出的第三偵測結果即包括醫療影像中的主要血管。在學習階段中，第三偵測模型是基於多種受標記為特定主要血管(例如，冠狀動脈的左迴旋支、左前降支等)的訓練樣本來訓練。
舉例而言，圖7是依據本發明一實施例的主要血管偵測方法的流程示意圖。請參照圖7，在圖3取得偵測結果R3之後，偵測結果R3及三補充資料SD3~SD5(例如，前一張影幀的第三偵 測結果R3、前後影幀經光流推算並模糊化後再加上當前影幀的邊界、以及當前影幀的原始醫療影像)作為待評估資料D3並輸入至偵測模型M3，以取得偵測結果R4。此時，偵測結果R4對應的分割影像僅包括主要血管，且其他支路將視為背景並被去除。
須說明的是，主要血管可基於評估多個血管段的病灶複雜度的權重所決定。以syntax score為例，右冠狀動脈可劃分成：右冠狀動脈近端、右冠狀動脈中端、右冠狀動脈遠端、右冠-後降支、右冠-後側支等血管段。依據病灶位置、嚴重程度、分岔、鈣化等解剖特點定量評估病灶的複雜程度，其中各血管段賦予對應的權重。這些權重的大小相關於主要血管的認定。例如，權重大於特定門檻值(例如，0.8、1或1.2等)者為主要血管。而權重小於特定門檻值者不為主要血管。然而，主要血管不以冠狀動脈為限。
在一些實施例中，處理器130可進一步對偵測結果R4進行如步驟S301所述的基於時間序列的背景去除(步驟S701)，以去除額外雜訊。
在一實施例中，處理器130可依據第二偵測模型所輸出的偵測結果及第三偵測模型所輸出的偵測結果判斷主要血管的骨幹。具體而言，第二偵測模型的偵測結果可作為廣域(global)特徵參考，以對第三偵測模型所輸出的偵測結果進一步修飾血管輪廓。
舉例而言，圖8繪示主要血管偵測的範例。請參照圖8，例如，處理器130可自偵測結果R2中得出其他支路，並將這些支路在偵測模型M3所輸出的偵測結果R4的對應位置中去除，以形 成偵測結果R5。其中，相較於偵測結果R4，偵測結果R5的主要血管的輪廓可連續且未有旁支。
接著，處理器130可自血管頭端尋找到達血管尾端的最短路徑，並將此最短路徑作為骨幹。具體而言，圖9是依據本發明一實施例的目標血管偵測方法的流程示意圖。請參照圖9，針對辨識血管頭端，在一實施例中，處理器130可依據醫療影像對應的投照體位決定目標血管，以進行場景/視圖分類(步驟S901)。具體而言，依據醫學影像診斷學(Radiology)的相關文件，不同投照體位及/或角度對應到不同的目標血管。目標血管可以是醫生或其他觀察者所欲在醫療影像中觀看的特定血管，也可以是前述主要血管。
以冠狀動脈為例，圖10繪示不同投照體位的範例。請參照圖10，左圖是右前斜位(RAO)10度且足位(Caudal)30度的肋下視圖(subcostal view)，並可觀察到左迴旋支LCX、左前降支-近端LAD-proximal、對角支diagonal及鈍緣支OM。然而，左迴旋支LCX和左前降支-近端LAD-proximal較能分辨，但左迴旋支LCX與鈍緣支OM不易分辨。右圖是左前斜位(LAO)10度且頭位(Cranial)30度的視圖，並可觀察到右冠狀動脈RCA及銳緣支AcM。雖然可清楚呈現RCA所形成的大C型，但其遠端可能與其他支路重疊而不易分辨。由此可知，在特定視圖下，部分血管可被清楚分辨(這些血管可作為此視圖的目標血管)，但另一部分可能與其他者重疊或輪廓不清晰。
須說明的是，針對管狀動脈或是其他部位的視圖還有很 多，本發明實施例不加以限制視圖的類型。
在一實施例中，處理器130可透過機器學習演算法相關的分類器來分類醫療影像所屬的場景/視圖，並據推斷場景/視圖對應的目標血管。在另一實施例中，處理器130可採用其他影像辨識技術(例如，尺度不變特徵轉換(Scale-Invariant Feature Transform，SIFT)、或邊緣檢測)來推斷醫療影像所屬的場景/視圖。
接者，處理器130可判斷醫療影像的目標血管的血管頭端(步驟S903)。具體而言，處理器130可基於物件偵測技術(例如，區域卷積神經網絡(Region Convolutional Neural Network，R-CNN)、快速(fast)R-CNN、或YOLO(You only look once))辨識醫療影像MI中的一個或更多個候選區域中的物件所屬類別，並決定類別為血管頭端Vh的候選區域。舉例而言，圖11繪示血管頭端偵測的範例。請參照圖11，在第T張影幀的醫療影像中，可偵測出血管頭端Lh1。
須說明的是，程式碼可載入諸如TensorFlow、PyTorch、Keras或其他程式庫(Library)所提供的應用程式介面(Application Programming Interface，API)來實現物件偵測。
在一實施例中，處理器130可利用目標追蹤技術(例如，光流法)追蹤血管頭端的區域，並據以減少偽陽性及偽陰性的偵測結果。以圖11為例，在第T+1張影幀的醫療影像中，可偵測出兩血管頭端Lh1,Lh2。而基於光流法分析第T張及第T+1張影幀的醫療影像，可形成追蹤區域Box(例如是比對像素位移與區域的重 疊大小)，並據以將血管頭端Lh2視為偽陽性FP。最後，在第T+2張影幀的醫療影像中，可僅保留追蹤區域Box(對應於血管頭端Lh1)，並將偽陽性FP的血管頭端Lh2移除。
處理器130可依據血管頭端將目標血管映射到偵測結果R2對應的分割影像(步驟S905)(即，影像後處理)。具體而言，偵測結果R2對應的分割影像包括屬於血管的像素。處理器130可對血管頭端的偵測結果及第二偵測結果(例如是偵測結果R2)利用物件偵測技術(例如，R-CNN、fast R-CNN、或YOLO)進行更精細的偵測，從而確定血管頭端，並據以映射到分割影像上的對應位置P且產生偵測結果R7(即，血管頭端標記在血管的分割影像)。
血管頭端確定後，在偵測結果R7中，處理器130可對自血管尾端到達血管頭端的多條路徑中尋找所有可能為骨幹的路徑。接著，處理器130可依據主要血管的寬度及長度決定主要血管的骨幹。例如，路徑中任一點的邊緣長度平方與寬度總和平方的比值與路徑決策相關。請參照圖8，最後，處理器130產生偵測結果R6。而偵測結果R6包括主要血管的骨幹Sk。而此骨幹Sk可以是自血管尾端到達血管頭端的最短路徑。
在一些實施例中，處理器130可進一步將前述偵測結果R1~R7呈現在顯示器150上，以便醫生或其他觀看者檢視。此外，考量血管在時間序列上的變化，顯示器150可即時或離線顯示血管的動態變化。
綜上所述，在本發明實施例的血管偵測裝置及基於影像 的血管偵測方法中，提供多階段基於機器學習的偵測模型，並可進一步辨識主要血管。此外，本發明實施例更參考時間變化的因素。藉此，可提升血管偵測的準確性。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S210~S230:步驟

Claims (12)

  1. 一種基於影像的血管偵測方法，包括：透過一第一偵測模型對一第一待評估資料偵測，以取得一第一偵測結果，其中該第一偵測模型是基於多個機器學習演算法中的一者所建構，該第一待評估資料包括對一血管拍攝所得的至少一醫療影像，且該第一偵測模型所輸出的該第一偵測結果包括該至少一醫療影像的中至少一像素屬於該血管，該至少一醫療影像包括依據一時間序列排序的多張醫療影像；透過一第二偵測模型對一第二待評估資料偵測，以取得一第二偵測結果，其中該第二偵測模型是基於該些機器學習演算法中的一者所建構，該第二待評估資料包括該第一偵測結果，且該第二偵測模型所輸出的該第二偵測結果包括該至少一醫療影像中的該至少一像素屬於該血管；以及透過一第三偵測模型對一第三待評估資料偵測，以取得一第三偵測結果，其中該第三偵測模型是基於該些機器學習演算法中的一者所建構，該第三待評估資料包括當前一該醫療影像的該第二偵測結果及與先前一該醫療影像的該第二偵測結果，該第三偵測模型所輸出的該第三偵測結果包括該至少一醫療影像中的一主要血管，且該主要血管是基於評估多個血管段的病灶複雜度的權重所決定。
  2. 如請求項1所述的基於影像的血管偵測方法，更包括： 對該至少一醫療影像進行一影像處理，其中該影像處理相關於增強該血管的輪廓，且該第二待評估資料更包括經該影像處理的該至少一醫療影像。
  3. 如請求項1所述的基於影像的血管偵測方法，其中取得該第二偵測結果的步驟之後，更包括：依據該些醫療影像的該第二偵測結果分割出每一該醫療影像中屬於該血管的多個血管區域，以取得多張分割影像；依據該時間序列判斷該些分割影像中的該血管區域的每一像素的位移；以及依據每一該血管區域對應的位移與先前一該分割影像中的血管區域的比對結果分類該些血管區域，其中該比對結果相關於該位移與該些血管區域的重疊大小。
  4. 如請求項1所述的基於影像的血管偵測方法，其中取得該第三偵測結果的步驟之後，更包括：依據該第二偵測結果及該第三偵測結果判斷該主要血管的骨幹，其中該骨幹是依據其寬度及長度所決定。
  5. 如請求項1所述的基於影像的血管偵測方法，其中取得該第二偵測結果的步驟之後，更包括：依據該至少一醫療影像對應的投照體位決定一目標血管；以及判斷該至少一醫療影像的該目標血管的一血管頭端。
  6. 如請求項5所述的基於影像的血管偵測方法，其中判斷該至少一醫療影像的該目標血管的該血管頭端的步驟之後，更包括：依據該血管頭端將該目標血管映射到該第二偵測結果對應的分割影像，其中該分割影像包括屬於該血管的該至少一像素。
  7. 一種血管偵測裝置，包括：一儲存器，儲存多個程式碼；以及一處理器，耦接該儲存器，並經組態載入且執行該些程式碼而用以：透過一第一偵測模型對一第一待評估資料偵測，以取得一第一偵測結果，其中該第一偵測模型是基於多個機器學習演算法中的一者所建構，該第一待評估資料包括對一血管拍攝所得的至少一醫療影像，且該第一偵測模型所輸出的該第一偵測結果包括該至少一醫療影像中至少一像素屬於該血管，該至少一醫療影像包括依據一時間序列排序的多張醫療影像；以及透過一第二偵測模型對一第二待評估資料偵測，以取得一第二偵測結果，其中該第二偵測模型是基於該些機器學習演算法中的一者所建構，該第二待評估資料包括該第一偵測結果，且該第二偵測模型所輸出的該第二偵測結果包括該至少一醫療影像中的該至少一像素屬於該血管；以及透過一第三偵測模型對一第三待評估資料偵測，以取得一第三偵測結果，其中該第三偵測模型是基於該些機器學習演算 法中的一者所建構，該第三待評估資料包括當前一該醫療影像的該第二偵測結果及與先前一該醫療影像的該第二偵測結果，該第三偵測模型所輸出的該第三偵測結果包括該至少一醫療影像中的一主要血管，且該主要血管是基於評估多個血管段的病灶複雜度的權重所決定。
  8. 如請求項7所述的血管偵測裝置，其中該處理器更經組態用以：對該至少一醫療影像進行一影像處理，其中該影像處理相關於增強該血管的輪廓，且該第二待評估資料更包括經該影像處理的該至少一醫療影像。
  9. 如請求項7所述的血管偵測裝置，其中該處理器更經組態用以：依據該些醫療影像的該第二偵測結果分割出每一該醫療影像中屬於該血管的多個血管區域，以取得多張分割影像；依據該時間序列判斷該些分割影像中的該血管區域的每一像素的位移；以及依據每一該血管區域對應的位移與先前一該分割影像中的血管區域的比對結果分類該些血管區域，其中該比對結果相關於該位移與該些血管區域的重疊大小。
  10. 如請求項7所述的血管偵測裝置，其中該處理器更經組態用以：依據該第二偵測結果及該第三偵測結果判斷該主要血管的骨 幹，其中該骨幹是依據其寬度及長度所決定。
  11. 如請求項7所述的血管偵測裝置，其中該處理器更經組態用以：依據該至少一醫療影像對應的投照體位決定一目標血管；以及判斷該至少一醫療影像的該目標血管的一血管頭端。
  12. 如請求項11所述的血管偵測裝置，其中該處理器更經組態用以：依據該血管頭端將該目標血管映射到該第二偵測結果對應的分割影像，其中該分割影像包括屬於該血管的該至少一像素。
TW109142116A 2020-11-30 2020-11-30 血管偵測裝置及基於影像的血管偵測方法 TWI790508B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109142116A TWI790508B (zh) 2020-11-30 2020-11-30 血管偵測裝置及基於影像的血管偵測方法
US17/145,405 US11690569B2 (en) 2020-11-30 2021-01-11 Blood vessel detecting apparatus and image-based blood vessel detecting method
CN202110074836.6A CN114596247A (zh) 2020-11-30 2021-01-20 血管检测装置和基于图像的血管检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109142116A TWI790508B (zh) 2020-11-30 2020-11-30 血管偵測裝置及基於影像的血管偵測方法

Publications (2)

Publication Number Publication Date
TW202223839A TW202223839A (zh) 2022-06-16
TWI790508B true TWI790508B (zh) 2023-01-21

Family

ID=81753040

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109142116A TWI790508B (zh) 2020-11-30 2020-11-30 血管偵測裝置及基於影像的血管偵測方法

Country Status (3)

Country Link
US (1) US11690569B2 (zh)
CN (1) CN114596247A (zh)
TW (1) TWI790508B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4413927A1 (en) * 2023-02-09 2024-08-14 Koninklijke Philips N.V. Providing guidance for angiographic sequence imaging

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180000441A1 (en) * 2016-06-30 2018-01-04 Shanghai United Imaging Healthcare Co., Ltd. Methods and systems for extracting blood vessel
CN109074870A (zh) * 2016-02-26 2018-12-21 哈特弗罗公司 用于对基于图像的患者特异性血液动力学模型中的未分辨血管进行识别和建模的系统和方法
TW201903708A (zh) * 2017-06-06 2019-01-16 國立陽明大學 數位減影血管攝影圖像的分析方法與系統
CN109222980A (zh) * 2018-06-19 2019-01-18 北京红云智胜科技有限公司 基于深度学习的测量冠状动脉造影图像血管直径的方法
CN110211111A (zh) * 2019-05-31 2019-09-06 上海联影医疗科技有限公司 一种血管提取的方法、装置、图像处理设备及存储介质
TWI711051B (zh) * 2019-07-11 2020-11-21 宏碁股份有限公司 血管狀態評估方法與血管狀態評估裝置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8315812B2 (en) * 2010-08-12 2012-11-20 Heartflow, Inc. Method and system for patient-specific modeling of blood flow
GB201402643D0 (en) * 2014-02-14 2014-04-02 Univ Southampton A method of mapping images of human disease
US10206587B2 (en) * 2014-05-16 2019-02-19 Toshiba Medical Systems Corporation Image processing apparatus, image processing method, and storage medium
CN105096338B (zh) * 2014-12-30 2018-06-22 天津航天中为数据系统科技有限公司 运动目标提取方法及装置
CN106548213B (zh) 2016-11-30 2019-04-23 上海联影医疗科技有限公司 血管识别方法和装置
CN108198184B (zh) * 2018-01-09 2020-05-05 北京理工大学 造影图像中血管分割的方法和系统
US10937549B2 (en) * 2018-05-22 2021-03-02 Shenzhen Keya Medical Technology Corporation Method and device for automatically predicting FFR based on images of vessel
CN109003270B (zh) 2018-07-23 2020-11-27 北京市商汤科技开发有限公司 一种图像处理方法、电子设备及存储介质
TWI698225B (zh) 2019-06-11 2020-07-11 宏碁股份有限公司 血管狀態評估方法與血管狀態評估裝置
CN110288611A (zh) 2019-06-12 2019-09-27 上海工程技术大学 基于注意力机制和全卷积神经网络的冠状血管分割方法
KR102343889B1 (ko) * 2019-08-05 2021-12-30 재단법인 아산사회복지재단 초음파 영상 기반의 기계 학습을 통한 관상동맥 병변 진단 시스템 및 이의 진단 방법
CN114503159A (zh) * 2019-08-14 2022-05-13 豪夫迈·罗氏有限公司 通过对象检测定位的医学图像的三维对象分割
CN111798498A (zh) * 2020-07-16 2020-10-20 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074870A (zh) * 2016-02-26 2018-12-21 哈特弗罗公司 用于对基于图像的患者特异性血液动力学模型中的未分辨血管进行识别和建模的系统和方法
US20180000441A1 (en) * 2016-06-30 2018-01-04 Shanghai United Imaging Healthcare Co., Ltd. Methods and systems for extracting blood vessel
WO2018001099A1 (zh) * 2016-06-30 2018-01-04 上海联影医疗科技有限公司 一种血管提取方法与系统
TW201903708A (zh) * 2017-06-06 2019-01-16 國立陽明大學 數位減影血管攝影圖像的分析方法與系統
CN109222980A (zh) * 2018-06-19 2019-01-18 北京红云智胜科技有限公司 基于深度学习的测量冠状动脉造影图像血管直径的方法
CN110211111A (zh) * 2019-05-31 2019-09-06 上海联影医疗科技有限公司 一种血管提取的方法、装置、图像处理设备及存储介质
TWI711051B (zh) * 2019-07-11 2020-11-21 宏碁股份有限公司 血管狀態評估方法與血管狀態評估裝置

Also Published As

Publication number Publication date
CN114596247A (zh) 2022-06-07
US20220167912A1 (en) 2022-06-02
TW202223839A (zh) 2022-06-16
US11690569B2 (en) 2023-07-04

Similar Documents

Publication Publication Date Title
Tian et al. Constrained contrastive distribution learning for unsupervised anomaly detection and localisation in medical images
US10664968B2 (en) Computer aided diagnosis apparatus and method based on size model of region of interest
Sheng et al. Retinal vessel segmentation using minimum spanning superpixel tree detector
Tajbakhsh et al. Computer-aided pulmonary embolism detection using a novel vessel-aligned multi-planar image representation and convolutional neural networks
US9959615B2 (en) System and method for automatic pulmonary embolism detection
JP6587610B2 (ja) 映像医療機器により取得した画像を処理するシステムおよびそのシステムの作動方法
Niemeijer et al. Information fusion for diabetic retinopathy CAD in digital color fundus photographs
JP6339872B2 (ja) 画像処理装置、内視鏡システム及び画像処理方法
Pang et al. Stenosis-DetNet: Sequence consistency-based stenosis detection for X-ray coronary angiography
Hatamizadeh et al. Deep dilated convolutional nets for the automatic segmentation of retinal vessels
Gamage et al. Instance-based segmentation for boundary detection of neuropathic ulcers through Mask-RCNN
Naing et al. Advances in automatic tuberculosis detection in chest x-ray images
Zaaboub et al. Optic disc detection and segmentation using saliency mask in retinal fundus images
Pham et al. Chest X-ray abnormalities localization via ensemble of deep convolutional neural networks
TWI790508B (zh) 血管偵測裝置及基於影像的血管偵測方法
Rama et al. Image pre-processing: enhance the performance of medical image classification using various data augmentation technique
Ter-Sarkisov One shot model for the prediction of COVID-19 and lesions segmentation in chest CT scans through the affinity among lesion mask features
Aulia et al. Brain tumor identification based on VGG-16 architecture and CLAHE method
Graves et al. Siamese pyramidal deep learning network for strain estimation in 3D cardiac cine-MR
Hu et al. Axis‐guided vessel segmentation using a self‐constructing cascade‐AdaBoost‐SVM classifier
Tessmann et al. Multi-scale feature extraction for learning-based classification of coronary artery stenosis
Danilov et al. Comparative study of deep learning models for automatic coronary stenosis detection in x-ray angiography
Mursalin et al. EpNet: A deep neural network for ear detection in 3D point clouds
Szijártó et al. Design of a Machine Learning System to Predict the Thickness of a Melanoma Lesion in a Non-Invasive Way from Dermoscopic Images
Kaya et al. Deep learning-based COVID-19 detection using lung parenchyma CT scans