TWI832671B - 藉由乳房x光攝影影像運用機器學習進行自動偵測乳癌病灶之方法 - Google Patents
藉由乳房x光攝影影像運用機器學習進行自動偵測乳癌病灶之方法 Download PDFInfo
- Publication number
- TWI832671B TWI832671B TW112101588A TW112101588A TWI832671B TW I832671 B TWI832671 B TW I832671B TW 112101588 A TW112101588 A TW 112101588A TW 112101588 A TW112101588 A TW 112101588A TW I832671 B TWI832671 B TW I832671B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- machine learning
- lesion
- breast cancer
- lesions
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000009607 mammography Methods 0.000 title claims abstract description 17
- 238000010801 machine learning Methods 0.000 title claims abstract description 16
- 238000003745 diagnosis Methods 0.000 title abstract description 6
- 230000003902 lesion Effects 0.000 claims abstract description 55
- 210000000481 breast Anatomy 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 16
- 206010006187 Breast cancer Diseases 0.000 claims description 15
- 208000026310 Breast neoplasm Diseases 0.000 claims description 15
- 238000013145 classification model Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000007635 classification algorithm Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims description 3
- 230000002308 calcification Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 230000003211 malignant effect Effects 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000001575 pathological effect Effects 0.000 claims 2
- 238000000605 extraction Methods 0.000 claims 1
- 238000003672 processing method Methods 0.000 claims 1
- 230000011218 segmentation Effects 0.000 abstract description 5
- 230000003044 adaptive effect Effects 0.000 description 9
- 238000012805 post-processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一種藉由乳房X光攝影影像運用機器學習進行自動偵測乳癌病灶之方法，藉以判斷一待測影像之乳房病灶位置以及至少一種附屬病灶表徵，其步驟包含一前處理，係對導入之該待測影像予以前處理，使該待測影像成為一標準影像；一偵測或切割，係對該標準影像選擇性地執行一病灶偵測演算或一切割演算，偵測該病灶於該標準影像之位置與邊緣；一分類演算，係分賴該標準化影像之乳房病灶之形狀分類或大小分類。
Description
一種影像判讀診斷方，特別是應用深度學習網絡所建構的乳房影像智慧偵測方法。
美國癌症學會(American Cancer Society , ACS)的統計數據指出，40歲後的女性具有非常高的機率得乳癌，使得如何預防以及提早發現乳癌成為全球女性所關注之重點。
現行技術中，大多透過一乳房X光攝影方式判讀一乳房影像，以作為乳癌早期預防及發現的辦法。而該乳房影像的診斷過程系依循乳房攝影報告與資料分析系統（Breast Imaging Reporting and Data System, BI-RADS）的標準規範。首先判斷該乳房影像中一乳房組織的一纖維腺體所佔據的比例，以評估一病患是否屬於罹患乳癌高風險群；確認該乳房影像中是否有一病灶存在，若有該病灶，便會進一步對於病灶的形狀與邊緣分類，推斷病灶之良惡性。
然而，上述判斷該乳房影像之步驟，多為專業醫事人員進行人工評估，使得醫事人員往往需要耗費大量的時間進行診斷。且人工判讀該乳房影像往往仰賴經驗以及主觀認知，不同的醫事人員也容易產生具差異性的判斷標準以及結果，導致人事以及時間成本的耗費且效率和準確度不佳之問題。
為了統一乳房影像的判斷標準以及減少人事與時間成本的耗費，並降低醫事人員的工作量並提高效率，本發明提供一種藉由乳房X 光攝影影像運用機器學習進行自動偵測乳癌病灶之方法，藉以判斷一待測影像之乳房病灶位置以及至少一種附屬病灶表徵，其步驟包含：一前處理，係對導入之該待測影像予以前處理，使該待測影像成為一標準影像（Processed MRi），該標準影像提供後續演算法有一致性與標準化的基礎，去除該待測影像之尺寸、邊緣或雜訊之影響；一偵測或切割，係對該標準影像選擇性地執行一病灶偵測演算或一切割演算，偵測該病灶於該標準影像之位置與邊緣；及一分類演算，係分賴該標準化影像之乳房病灶之形狀分類或大小分類。
基於前述說明可知，本發明所提出的方法，透過適當的程序安排，先一系列地初級處理後，再配合物件偵測模型、切割模型等方式，完成深度學習藉由該影像資料取得該乳房病灶大小、面積、種類，並進一步透過該判讀模組判斷乳房病灶級別，過程快速節省時間以及人事成本；自動產生醫療報告與建議，協助醫事人員在作判斷時有更高的準確性以及效率。
本發明提供一種藉由乳房X光攝影影像運用機器學習進行自動偵測乳癌病灶之方法，藉以判斷一待測影像之乳房病灶位置以及至少一種附屬病灶表徵，其步驟包含：
STEP 1）前處理（Pre-processing），係對導入之該待測影像（Dicom Images）予以前處理，使該待測影像成為一標準影像（Processed MRi），該標準影像提供後續演算法有一致性與標準化的基礎，去除該待測影像之尺寸、邊緣或雜訊之影響。
進一步地，為了增進演算效率，該前處理步驟可包含一翻轉演算（Adaptive flipping），該翻轉演算先判斷輸入的該標準影像為左或者右側影像，使所有輸入的該標準影像轉換鏡向為同一側，藉此大幅降低的演算、處理速度。翻轉演算可以對於降低人體組織複雜資訊之演算處理、機器學習訓練都有很大的幫助。
完成該翻轉演算後，可執行一自適應直方圖均衡化增強影像之對比度與品質，採用自適應演算的理由是因為所輸入的該待測影像為X光或者MRI等乳房局部組織的影像，以X光為例，自適應演算可以有效的增強乳房的正常組織或變異組織構造與邊界，如圖1所示。
較佳地，該前處理步驟之程序包含或依序去除邊緣雜物演算(Border cropping)、去除雜訊演算（Adaptive crop noise）、翻轉演算（Adaptive flipping）、自適應直方圖均衡化（或可稱直方圖均化，Adaptive histogram ）、標準影像尺寸均一化（Adaptive padding）演算。其中，該去除邊緣雜物演算係移除輸入的該待測影像之邊緣因攝影或影像處理的雜訊，移除方法可以為切除或者用去除雜點等方式為之，使雜點不因後續程序之造成判讀干擾，使該待測影像成為該標準影像；該去除雜訊演算可以使用不同形式的濾波器(filter)完成雜訊去除。該標準影像尺寸均一化演算是將去除雜點與邊界雜訊的該待測影像成為統一尺寸的該標準影像，以利後續深度學習輸入與判斷之準確度。
STEP 2）偵測/切割演算，係對該標準影像選擇性地執行一病灶偵測演算及/或一切割演算，偵測一病灶於該標準影像之一病灶位置與一病灶邊緣。請配參考圖2、3A、3B、3C，導入該標準影像後，本實施例分別使用該病灶偵測演算（Object Detection Branch）與該切割演算（Segmentation Branch）分支，進行深度學習演算訓練形成未來智慧判斷的模型基礎；如圖2所示，配合該偵測演算、該切割演算模型之互補，其中，該病灶偵測演算可使用EfficientDet 及 YOLOv7演算法，標註與找出該標準影像中之該病灶位置，如圖3A所示；本實施例之該切割演算可使用Swin-Unet(2021)TransUNet(2021) 找出該標準影像中之該病灶邊緣，如圖3B所示。其中該切割演算所使用Unet架構（Swin-Unet(2021)與TransUNet(2021)）內之一池化運算結合一Symlets小波進行濾波演算處理，之後再縮減採樣（Downsampling），藉此取得更為精確的該病灶邊緣，如圖3D所示。
進一步地，完成前述的偵測/切割演算後，可使用一後處理演算（Post-processing）將該偵測演算與該切割演算的結果對應結合與比較，藉此降低前述兩種演算方式判斷該病灶位置（abnormal locations）與邊緣之判斷錯誤機會。基於前述方式可以，本實施例分別使用偵測與切割演算後，再予以後處理比較整合，使整體誤判機率大幅降低，如圖4A、B所示。。
進一步地，該切割演算可以運用深度學習網路，導入更多不同樣本的該標準影像予以學習後，作為未來疾病診斷的智能判斷之基礎。
STEP 3）強化分切演算，將完成處理偵測/切割演算及/或後處理演算後的該標準影像中之該病灶位置與該病灶邊緣予以一局部切割並予以影像處理而取得更多局部詳細細節（Improved Segmentation Branch），更明確病灶的位置與邊緣，再餽入（Update mask）標準影像予以疊合比較（Combination），使該標準影像之該病灶位置與該病灶邊緣之偵測更精確。
STEP 4）分類演算（Classification），係分類該標準化影像之乳房病灶之形狀分類或大小分類。該分類演算將不同形狀、病徵、位置形成複數種不同屬性之分類器，在運用深度學習網路予以訓練完成，做為未來導入該待測影像之該病灶位置、該病灶邊緣、種類等之智慧輔助判斷。其中，前述的該乳房病灶可以包含一鈣化點或一MASS；前述的該附屬表徵為形狀類別、大小或大小類別。本實施例之該分類演算使用EffiientNet-V2演算法。
進一步地，該分類演算為結合類神經網路的分類模型與基於稀疏複數矩陣拆解的分類模型，其中結合類神經網路的分類模型與基於稀疏複數矩陣拆解的分類模型，為運用類神經網路分類模型所產生的類別分數加上基於稀疏複數矩陣拆解所產生的類別分數，基於稀疏複數矩陣拆解所產生的類別分數可運用最近鄰算法（Nearest neighbor method）找到之最近類別樣本，將其距離倒數形成類別分數。
本發明所提供之具備以下優勢：
1. 藉由該影像資料取得該乳房病灶大小、面積、種類，並進一步透過該判讀模組判斷乳房病灶級別，過程快速節省時間以及人事成本。
2. 自動產生醫療報告與建議，協助醫事人員在作判斷時有更高的準確性以及效率。
無。
圖1為本發明較佳實施例之第一影像處理示意圖。
圖2為本發明較佳實施例之第二影像處理示意流程圖。
圖3A～D為本發明較佳實施例之演算流程示意圖。
圖4A、B為本發明較佳實施例之演算流程示意圖。
Claims (9)
- 一種藉由乳房X光攝影影像運用機器學習進行自動偵測乳癌病灶之方法，藉以判斷一待測影像之乳房病灶位置以及至少一種附屬病灶表徵，其步驟包含：一前處理，係對導入之該待測影像予以前處理藉以去除該待測影像之尺寸之影響或邊緣之影響或雜訊之影響；一病灶位置偵測，為一種運用機器學習進行影像中目標物件(病灶)的切割或一種運用機器學習進行影像中目標物件的位置框取；以及一附屬病灶表徵擷取，至少包含外型表徵、病理狀態表徵、或前述病灶表徵之組合，其中該病灶表徵擷取方法為運用深度學習網路之分類演算，且該分類演算為結合類神經網路的分類模型與基於稀疏複數矩陣拆解的分類模型。
- 如請求項1所述的藉由乳房X光攝影影像運用機器學習進行自動偵測乳癌病灶之方法，該前處理步驟為一影像處理方法，包括去除邊緣雜物演算、去除雜訊演算、直方圖均化演算、標準影像尺寸均一化演算或前述演算之組合。
- 如請求項1所述的藉由乳房X光攝影影像運用機器學習進行自動偵測乳癌病灶之方法，該乳房病灶至少包含一鈣化點或一MASS。
- 如請求項1所述的藉由乳房X光攝影影像運用機器學習進行自動偵測乳癌病灶之方法，此外型表徵包括形狀類別、大小、大小類別。
- 如請求項1所述的藉由乳房X光攝影影像運用機器學習進行自動偵測乳癌病灶之方法，該病理狀態表徵為良性或惡性。
- 如請求項1所述的藉由乳房X光攝影影像運用機器學習進行自動偵測乳癌病灶之方法，該病灶位置偵測運用深度學習網路。
- 如請求項1或2或3或4或6所述的藉由乳房X光攝影影像運用機器學習進行自動偵測乳癌病灶之方法，該切割演算，為運用一Unet架構內之一池化運算結合一Symlets小波進行濾波演算處理。
- 如請求項1所述的藉由乳房X光攝影影像運用機器學習進行自動偵測乳癌病灶之方法，其中結合類神經網路的分類模型與基於稀疏複數矩陣拆解的分類模型，為運用類神經網路分類模型所產生的類別分數加上基於稀疏複數矩陣拆解所產生的類別分數。
- 如請求項1所述的藉由乳房X光攝影影像運用機器學習進行自動偵測乳癌病灶之方法，其中，基於稀疏複數矩陣拆解所產生的類別分數可運用最近鄰算法(Nearest neighbor method)找到之最近類別樣本，將其距離倒數形成類別分數。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112101588A TWI832671B (zh) | 2023-01-13 | 2023-01-13 | 藉由乳房x光攝影影像運用機器學習進行自動偵測乳癌病灶之方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112101588A TWI832671B (zh) | 2023-01-13 | 2023-01-13 | 藉由乳房x光攝影影像運用機器學習進行自動偵測乳癌病灶之方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TWI832671B true TWI832671B (zh) | 2024-02-11 |
Family
ID=90824793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112101588A TWI832671B (zh) | 2023-01-13 | 2023-01-13 | 藉由乳房x光攝影影像運用機器學習進行自動偵測乳癌病灶之方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI832671B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109363699A (zh) * | 2018-10-16 | 2019-02-22 | 杭州依图医疗技术有限公司 | 一种乳腺影像病灶识别的方法及装置 |
| CN110223289A (zh) * | 2019-06-17 | 2019-09-10 | 上海联影医疗科技有限公司 | 一种图像处理方法和系统 |
| WO2020164493A1 (zh) * | 2019-02-14 | 2020-08-20 | 腾讯科技（深圳）有限公司 | 一种医学图像区域过滤方法、装置及存储介质 |
| CN113256605A (zh) * | 2021-06-15 | 2021-08-13 | 四川大学 | 一种基于深度神经网络的乳腺癌图像识别分类方法 |
-
2023
- 2023-01-13 TW TW112101588A patent/TWI832671B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109363699A (zh) * | 2018-10-16 | 2019-02-22 | 杭州依图医疗技术有限公司 | 一种乳腺影像病灶识别的方法及装置 |
| WO2020164493A1 (zh) * | 2019-02-14 | 2020-08-20 | 腾讯科技（深圳）有限公司 | 一种医学图像区域过滤方法、装置及存储介质 |
| CN110223289A (zh) * | 2019-06-17 | 2019-09-10 | 上海联影医疗科技有限公司 | 一种图像处理方法和系统 |
| CN113256605A (zh) * | 2021-06-15 | 2021-08-13 | 四川大学 | 一种基于深度神经网络的乳腺癌图像识别分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Localizing microaneurysms in fundus images through singular spectrum analysis | |
| Zotin et al. | Lung boundary detection for chest X-ray images classification based on GLCM and probabilistic neural networks | |
| CN109635846B (zh) | 一种多类医学图像判断方法和系统 | |
| Issac et al. | An adaptive threshold based image processing technique for improved glaucoma detection and classification | |
| CN108898595B (zh) | 一种胸部图像中病灶区域的定位模型的构建方法及应用 | |
| WO2022063199A1 (zh) | 一种肺结节自动检测方法、装置及计算机系统 | |
| US7848555B2 (en) | Computer aided detection of microcalcification clusters | |
| CN107358267B (zh) | 一种基于互相关特征的乳腺超声图像多元分类系统及方法 | |
| Zhao et al. | Down syndrome detection from facial photographs using machine learning techniques | |
| Sarwar et al. | Segmentation of cervical cells for automated screening of cervical cancer: a review | |
| Zhu et al. | Weakly-supervised balanced attention network for gastric pathology image localization and classification | |
| Dikkala et al. | A comprehensive analysis of morphological process dependent retinal blood vessel segmentation | |
| CN112288752B (zh) | 一种基于胸部平扫ct的冠脉钙化灶全自动分割方法 | |
| Isah et al. | A review on computer assisted follicle detection techniques and polycystic ovarian syndrome (PCOS) diagnostic systems | |
| TWI832671B (zh) | 藉由乳房x光攝影影像運用機器學習進行自動偵測乳癌病灶之方法 | |
| Marcomini et al. | Nodules segmentation in breast ultrasound using the artificial neural network Self-Organizing Map | |
| Wang et al. | Automated segmentation of breast arterial calcifications from digital mammography | |
| Dhanasekaran et al. | Investigation of diabetic retinopathy using GMM classifier | |
| Santos et al. | Deep neural network model based on one-stage detector for identifying fundus lesions | |
| Ashame et al. | Abnormality Detection in Eye Fundus Retina | |
| Eslamizadeh et al. | The segmentation of lumen boundaries at intravascular ultrasound images using fuzzy approach | |
| Rizzi et al. | A fully automatic system for detection of breast microcalcification clusters | |
| Isa | Towards intelligent diagnostic system employing integration of mathematical and engineering model | |
| Ghosh et al. | Retinal blood vessel segmentation using a multi-scale layer in deep learning | |
| Manjaramkar et al. | Automated red lesion detection: an overview |