TWI574671B - 乳房影像的分析方法以及其電子裝置 - Google Patents
乳房影像的分析方法以及其電子裝置 Download PDFInfo
- Publication number
- TWI574671B TWI574671B TW105120124A TW105120124A TWI574671B TW I574671 B TWI574671 B TW I574671B TW 105120124 A TW105120124 A TW 105120124A TW 105120124 A TW105120124 A TW 105120124A TW I574671 B TWI574671 B TW I574671B
- Authority
- TW
- Taiwan
- Prior art keywords
- breast
- image
- region
- interest
- module
- Prior art date
Links
- 210000000481 breast Anatomy 0.000 title claims description 158
- 238000004458 analytical method Methods 0.000 title claims description 47
- 230000002159 abnormal effect Effects 0.000 claims description 66
- 238000001514 detection method Methods 0.000 claims description 42
- 238000012549 training Methods 0.000 claims description 27
- 210000003205 muscle Anatomy 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 11
- 238000004195 computer-aided diagnosis Methods 0.000 claims description 5
- 210000001519 tissue Anatomy 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims 1
- 206010028980 Neoplasm Diseases 0.000 description 9
- 208000024891 symptom Diseases 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000002604 ultrasonography Methods 0.000 description 7
- 238000003703 image analysis method Methods 0.000 description 5
- 230000002547 anomalous effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 201000008275 breast carcinoma Diseases 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000003601 intercostal effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000009607 mammography Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000000062 pectoralis major Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Vascular Medicine (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Quality & Reliability (AREA)
- Physiology (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
本發明是有關於一種分析方法以及其電子裝置，特別是有關於一種用於分析乳房影像的分析方法以及其電子裝置。
乳腺癌（mammary carcinoma）是女性常見的惡性腫瘤之一，其主要癥狀包括乳房腫瘤（tumor）、異常分泌物或形狀變異等。提早篩檢出乳房的異常癥狀，將有助於盡早針對腫瘤進行治療，以降低癌細胞惡化或擴散等問題。諸如臨床或自我乳房檢測、活體組織檢查、乳房攝影術（mammography）、超音波（ultrasound）顯像或磁共振（magnetic resonance）顯像等篩檢方式已廣泛在臨床上使用或成為學術研究的重要議題。
傳統上，取得乳房影像後，一般是交由醫檢人員進行判讀以確認乳房影像中是否有異常部分，然後再進一步地透過不同的檢驗方式來確認是否為惡性腫瘤。然而，當存在大量的乳房影像時，由醫檢人員逐一地去判讀乳房影像中是否存在異常部分是耗時且低效率的。另一方面，以人眼對乳房影像的異常部分進行篩選也可能產生誤差。
據此，如何提出一種分析方法以及其電子裝置，用於偵測、分析並擷取乳房影像的異常部分，仍是本領域技術人員努力的目標之一。
本發明提供一種乳房影像的分析方法以及其電子裝置，用於偵測、分析並擷取乳房影像中的異常部分。
本發明的實施例提供一種乳房影像的分析方法，包括下列步驟。取得以超音波所掃描的乳房影像。基於乳房影像的多個矩形特徵，利用偵測模型在乳房影像中取得包括異常區域的關注區域。由關注區域擷取異常區域，以及萃取異常區域的多項特徵參數以進行異常區域的性質分析。
本發明的實施例提供一種電子裝置，適於對乳房影像進行分析。電子裝置包括儲存單元、處理器。儲存單元用以儲存多個模組，而耦接儲存單元的處理器存取並執行儲存單元所儲存的多個模組。前述模組包括影像輸入模組、偵測模組、擷取模組與萃取模組。影像輸入模組取得以超音波所掃描的乳房影像。偵測模組基於乳房影像的多個矩形特徵，利用偵測模型在乳房影像中取得包括異常區域的關注區域。擷取模組由關注區域擷取異常區域。萃取模組萃取異常區域的多項特徵參數以進行異常區域的性質分析。
基於上述，本發明實施例所提供之乳房影像的分析方法與其電子裝置，以乳房影像的矩形特徵作為基礎，利用偵測模型在乳房影像中取得包括異常區域的關注區域，並且由關注區域之中將異常區域擷取出來。對於異常區域，還可萃取多項特徵參數以進行性質分析。據此，前述分析方法以及其電子裝置，可以從乳房影像中辨識具有異常癥狀的異常區域，並且提供相關的性質分析。另一方面，縱使面對大量的乳房影像，也可以迅速、即時且有效地完成分析。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。
於本發明的實施例中所提出之乳房影像的分析方法與其電子裝置，首先基於乳房影像的矩形特徵，利用偵測模型在乳房影像中取得包括異常區域的關注區域(Region of Interest, ROI)。異常區域是指乳房影像中具有異常癥狀的區域。更詳細而言，具有異常癥狀的區域可能是腫瘤或者病徵，而經訓練的偵測模型可協助偵測、辨識前述異常區域。
分析方法與其電子裝置還可精確地從關注區域中擷取異常區域，並萃取相關的特徵參數以供性質分析，藉以提升後續對乳房進行診斷的準確性。另一方面，分析方法與其電子裝置還從多張乳房影像計算並提供全乳乳房密度來作為診斷參考。
圖1為依據本發明一實施例所繪示的電子裝置的方塊示意圖。參照圖1，電子裝置100至少包括儲存單元120以及處理器140，並且處理器140耦接至儲存單元120，但本發明不限於此。在本發明的一實施例中，電子裝置100可以是伺服器、智慧型行動裝置、桌上型電腦、筆記型電腦、工作站、個人數位助理（Personal digital assistant, PDA）等，但本發明不限於此。
於前述實施例之中，電子裝置100更連接至超音波掃描裝置、手持式超音波掃描器或自動乳房超音波系統(Automated breast ultrasound system, ABUS)。然而，在本發明的其他實施例中，電子裝置100則例如是直接地以超音波掃描裝置、手持式超音波掃描器或自動乳房超音波系統(ABUS)的形式實作。
於本發明的一實施例中，儲存單元120可以是任何型態的固定或可移動隨機存取記憶體（Random access memory, RAM）、唯讀記憶體（Read-only memory, ROM）、快閃記憶體（Flash memory）或類似元件或上述元件的組合。在本實施例中，儲存單元120儲存多個可以由處理器140存取以及執行的模組，包括影像輸入模組122、偵測模組124、擷取模組126、萃取模組128、訓練模組130、密度分析模組132等模組。另一方面，儲存單元120還可用於儲存乳房影像、偵測模型、參數等資料，但本發明不以此為限。
值得注意的是，前述實施例中所述的儲存單元120並未限制是單一記憶體元件，上述之各模組亦可以分開儲存在兩個或兩個以上相同或不同型態之記憶體元件中。在本發明的其他實施例中，前述模組還例如是分別以特定的電路結構而實現。
於本發明的一實施例中，處理器140例如是以中央處理單元（Central processing unit, CPU）、數位信號處理（Digital signal processing, DSP）晶片、場可程式化邏輯閘陣列（Field programmable gate array, FPGA）、微處理器、微控制器等可程式化單元來實施，但本發明不限於此。處理器140亦可以獨立電子裝置或積體電路（Integrated circuit, IC）來實施。
於本發明的一實施例中，電子裝置100更包括輸出入介面(未繪示)、通訊介面(未繪示)等元件，但本發明不以此為限。詳細而言，輸出入介面包括顯示器、揚聲器、鍵盤、滑鼠、觸控面板等用於輸出或輸入訊息、資料的元件。另一方面，通訊介面支援各類有線通訊標準與無線通訊標準，使得電子裝置100能與其他裝置相互連接。
本發明實施例所提供之乳房影像的分析方法可實施於圖1所示的電子裝置100。以下將舉諸多實施例詳細搭配圖1所示的電子裝置100來說明前述分析方法。需要注意的是，乳房影像的分析方法並不限於實施在電子裝置100上，而其他具備相應能力的電子裝置或系統同樣可實施前述分析方法。
圖2為依據本發明一實施例所繪示的乳房影像的分析方法的流程圖。參照圖1與圖2，於本實施例中，影像輸入模組122首先取得以超音波所掃描的乳房影像(步驟S210)。
於本發明的一實施例中，乳房影像是由超音波掃描裝置、手持式超音波掃描器或自動乳房超音波系統(ABUS)，針對受測者的乳房部位進行掃描所取得的影像。影像輸入模組122例如是直接地由超音波掃描裝置、手持式超音波掃描器或自動乳房超音波系統(ABUS)接收乳房影像，但本發明不限於此。於本發明的另一實施例中，電子裝置100例如是將取得的乳房影像先儲存至儲存單元120，而影像輸入模組122則由儲存單元120讀取欲進行分析的乳房影像。
參照圖1與圖2，在本發明的實施例中，影像輸入模組122取得乳房影像後，偵測模組124於所取得的乳房影像的多個矩形特徵，利用偵測模型在乳房影像中取得包括異常區域的關注區域(步驟S220)。
偵測模組124的一個任務在於偵測並取得乳房影像中包括異常區域的關注區域。一般而言，若是乳房部位出現腫瘤或腫塊，在以超音波掃描取得的乳房影像中，通常會對應地出現陰影區域。因此，在本實施例中，偵測模組124基於乳房影像的矩形特徵(Rectangular Feature)，利用偵測模型判斷乳房影像是否有異常的陰影區域。若有，偵測模組124將前述陰影區域作為異常區域，並且取得包括異常區域的關注區域。需要注意的是，前述矩形特徵(Rectangular Feature)即為哈爾特徵(Haar-like Feature)。
圖3為依據本發明一實施例所繪示的取得關注區域的流程圖。參照圖1、圖2與圖3，偵測模組124切割乳房影像為多個影像區塊(步驟S221)。影像區塊的大小例如是11 * 11、12 * 12或15 * 20(像素, pixel)，但本發明不限於此，而影像區塊的大小可以隨實際運算需要而改變。接著，偵測模組124依據常見的矩形特徵模板，計算每個影像區塊的矩形特徵(步驟S222)。一般而言，矩形特徵模板具有邊緣特徵、線性特徵、中心環繞特徵、對角線特徵等分類。
接著，偵測模組124基於前述的矩形特徵，由偵測模型判斷每一個影像區塊是否為關注區塊(步驟S223)。更詳細而言，於本發明的一實施例中，偵測模型用於辨識每一個影像區塊中是否包含由異常癥狀所造成的至少部分的陰影區域，並且是以具備腫瘤或腫塊的乳房影像與不具備腫瘤或腫塊的乳房影像來進行訓練。換言之，利用偵測模型在乳房影像中取得關注區域之前，需要先投以相關的訓練乳房影像進行訓練。
於本發明的一實施例中，影像輸入模組122取得以超音波所掃描的多張訓練乳房影像，由訓練模組130計算每一訓練影像區塊的矩形特徵後，基於各訓練乳房影像的訓練影像區塊，訓練分類器以作為偵測模型。訓練乳房影像例如是包括腫瘤或腫塊的訓練乳房影像與不具備腫瘤或腫塊的訓練乳房影像，而分類器為二元分類器(Binary Classifier)，例如是支持向量機(Support Vector Machine, SVM)、自適應增強(Adaptive Boosting, Adaboost)分類器等，但本發明不限於此。
參照圖1、圖2與圖3，偵測模組124判斷每一影像區塊是否為關注區塊後，當複數個關注區塊相鄰時，將關注區塊合併作為關注區域(步驟S224)。具體而言，每一個關注區塊都包括異常癥狀所造成的部分的陰影區域，而偵測模組124則將相鄰的關注區塊合併為具有完整的異常區域的關注區域。圖4為依據本發明一實施例所繪示的關注區域與異常區域的示意圖。參照圖4，在乳房影像中，關注區域R中包含異常區域A。
在本發明的其他實施例中，若僅有一個關注區塊，則偵測模組124例如是將關注區塊做為關注區域。另一方面，乳房影像還可能具有複數個關注區域。換言之，即是乳房影像具有複數個相鄰的關注區塊群組。
在本發明的一實施例中，偵測模組124例如是實作於電腦輔助偵測（Computer Aided Detection, CADe）模組，但本發明不以此為限。
需要注意的是，在進行超音波掃描時，除了腫瘤或腫塊外，肋骨或其他因素也可能造成乳房影像中出現對應的陰影區域。換言之，縱使偵測模組124利用乳房影像的矩形特徵以及偵測模型來取得包含異常區域的關注區域，也可能因肋骨或其他因素而造成誤偵測。
在本發明的一實施例中，偵測模組124更基於肌肉線來辨識關注區域是否為誤偵測的偵測結果。一般而言，在受測者乳房部位以及肋骨、肋間之間，通常還包括胸大肌等肌肉組織。換言之，前述肌肉組織可用於判別關注區域是否位在乳房部位，進而分辨關注區域是否為肋骨或其他因素所造成的陰影區域。
圖5為依據本發明一實施例所繪示的肌肉線與關注區域的比對示意圖。參照圖5，偵測模組124例如是對乳房影像5a、乳房影像5c執行邊緣偵測(Edge Detection)，並且以數學型態學(Mathematical Morphology)的方式對所偵測到的邊緣部分進行強化與處理，進而辨識並分別取得影像5b、影像5d中的肌肉線ML。取得肌肉線ML後，偵測模組124比對肌肉線ML以及關注區域R在影像5b、5d的位置以決定是否進一步地由關注區域R擷取異常區域。
舉例來說，在影像5b中的關注區域R位於肌肉線ML的下方，代表前述關注區域R不在乳房部位。此時，對於乳房影像5a的關注區域R，便不再進行後續的分析流程。另一方面，在影像5d中的關注區域R僅有少部分突出於肌肉線ML之上，代表前述關注區域R很可能是肋骨所造成的陰影區域。此時，對於乳房影像5c的關注區域R，同樣不再進行後續的分析流程。
參照圖1與圖2，於本發明的實施例中，取得包括異常區域的關注區域後，擷取模組126由關注區域中擷取異常區域(步驟S230)。詳細而言，偵測模組124僅由乳房影像中偵測並取得關注區域，而擷取模組126則負責對關注區域執行影像擷取(Image Matting，或稱影像透明度分析)以擷取異常區域，進而供後續分析與診斷的使用。
圖6為依據本發明一實施例所繪示的擷取異常區域的流程圖。圖7為依據本發明一實施例所繪示的擷取異常區域的示意圖。參照圖1、圖2、圖6與圖7，擷取模組126首先產生關注區域的三元圖(Tri-map)(步驟S231)。具體而言，於本實施例中，當取得乳房影像7a的關注區域R後，擷取模組126例如是以等位函數(Level Set)、區域成長(Region Growing)等方式對影像進行預切割，從而產生如影像7b中的前景影像F與背景影像B。
在前述實施例中，影像7b的前景影像F主要是對應至乳房影像7a的異常區域A，但並非是準確的對應關係。在取得前景影像F與背景影像B後，擷取模組126更透過膨脹(Dilation)、侵蝕(Erosion)，於前景影像F與背景影像B間置入未知區域U以產生三元圖7c。
於本實施例中，產生三元圖7c後，擷取模組126計算三元圖7c中的每一像素的透明度(alpha)(步驟S232)。詳細而言，擷取模組126以三元圖7c為基礎來擷取異常區域。在此，擷取模組126採取閉合解(Closed-form Solution)、卜瓦松擷取(Poisson Matting)等影像切割方法，在已知的前景影像F與背景影像B下，判斷未知區域U之中每一個像素所屬的影像類別。
一般而言，在前景影像F與背景影像B所組成的三元圖7c之中，每一個像素
I
i 的可以為一個線性組合如下。
………. (1)
其中，α
i 為第i個像素的透明度，或者說是在第i個像素之中，前景影像F與背景影像B所佔的比例。擷取模組126計算未知區域U或三元圖7c內的每個像素的透明度後，更基於各像素的透明度(alpha)，產生阿爾法圖(Alpha Map)(步驟S233)。阿爾法圖即為包含各像素透明度的透明圖，並且在阿爾法圖內，每個像素的數值範圍分布在0~255的範圍內。最後，擷取模組126將阿爾法圖二值化後產生影像7d以擷取異常區域A(步驟S234)。影像7b、7d為邊緣強化的影像，而二值化的方法例如是大津算法(Otsu’s Thresholding)或直方圖平衡法(Balanced Histogram Thresholding)，但本發明不以此為限。
參照圖1與圖2，在本發明的一實施例中，擷取異常區域後，萃取模組128萃取異常區域的多項特徵參數以進行異常區域的性質分析(步驟S240)。詳細而言，萃取模組128萃取異常區域的亮度特徵(Intensity Feature)、紋理特徵(Texture Feature)與型態學特徵(Morphology Feature)等作為特徵參數以作為後續性質分析或診斷的基礎。
舉例而言，在本發明的一實施例中，前述特徵參數更輸入至電腦輔助診斷（Computer Aided Diagnosis, CADx）模組進行性質分析，但本發明不限於此。電腦輔助診斷(CADx）模組例如是由處理器140或其他裝置、系統所執行，並且具有經訓練過的輔助診斷模型。透過電腦輔助診斷(CADx）模組的輔助診斷模型，異常區域的相關分析資料，例如為良性病變或惡性病變、病變情況等可以被取得，並且提供給醫護人員做為診斷時的參考資料。
值得注意的是，在乳房部位的超音波掃描過程中，通常是需要由多個方位對乳房部位進行掃描而取得多張的乳房影像。在本發明的一實施例中，前述分析方法是分別針對每一張乳房影像進行分析，並且逐一地取得每張乳房影像的異常區域與特徵參數。
在本發明另一實施例中，乳房影像的分析方法以及其電子裝置100還可以取得乳房部位的乳房密度來做為分析用的另一個特徵參數。
圖8為依據本發明一實施例所繪示的取得全乳乳房密度的流程圖。參照圖1與圖8，影像輸入模組122取得以超音波所掃描的乳房影像(步驟S210)後，密度分析模組132基於乳房影像中乳腺組織的面積，計算乳房影像的乳房密度(步驟S252)。詳細而言，在本實施例中，以超音波掃描的乳房影像具有固定的大小或解析度。密度分析模組132例如是以訓練過的乳腺偵測模型來判斷乳房影像中的乳腺組織的位置與面積，然後再以乳房影像的大小來計算乳腺組織所佔的比例作為乳房影像的乳房密度。
在前述實施例中，對於一個受測者的乳房部位進行超音波掃描時，需要從不同方位掃描取得多張乳房影像。在此，密度分析模組132對於每張乳房影像皆計算對應的乳房密度，然後對於所有乳房影像的乳房密度，進一步地進行加權平均以取得全乳乳房密度(步驟S254)。由於全乳乳房密度包含了從多個方位所掃描的乳房影像的乳房密度，故可視為實質乳房部位的乳房密度，並且同樣可做為診斷乳房腫瘤或病變的參考特徵參數。
綜上所述，本發明實施例所提供之乳房影像的分析方法與其電子裝置，以乳房影像的矩形特徵作為基礎，利用偵測模型在乳房影像中取得包括異常區域的關注區域，並且由關注區域之中將異常區域擷取出來。對於異常區域，還可萃取多項特徵參數以進行性質分析。據此，前述分析方法以及其電子裝置，可以從乳房影像中辨識具有異常癥狀的異常區域，並且提供相關的性質分析。另一方面，縱使面對大量的乳房影像，也可以迅速、即時且有效地完成分析。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧電子裝置
120‧‧‧儲存單元
140‧‧‧處理器
122‧‧‧影像輸入模組
124‧‧‧偵測模組
126‧‧‧擷取模組
128‧‧‧萃取模組
130‧‧‧訓練模組
132‧‧‧密度分析模組
R‧‧‧關注區域
A‧‧‧異常區域
ML‧‧‧肌肉線
B‧‧‧背景影像
F‧‧‧前景影像
U‧‧‧未知區域
5a、5c、7a‧‧‧乳房影像
5b、5d、7b、7d‧‧‧邊緣強化影像
7c‧‧‧三元圖
S210、S220、S230、S240‧‧‧乳房影像的分析方法的步驟
S221、S222、S223、S224‧‧‧取得關注區域的步驟
S231、S232、S233、S234‧‧‧擷取異常區域的步驟
S210、S252、S254‧‧‧取得全乳乳房密度的步驟
圖1為依據本發明一實施例所繪示的電子裝置的方塊示意圖。 圖2為依據本發明一實施例所繪示的乳房影像的分析方法的流程圖。 圖3為依據本發明一實施例所繪示的取得關注區域的流程圖。 圖4為依據本發明一實施例所繪示的關注區域與異常區域的示意圖。 圖5為依據本發明一實施例所繪示的肌肉線與關注區域的比對示意圖。 圖6為依據本發明一實施例所繪示的擷取異常區域的流程圖。 圖7為依據本發明一實施例所繪示的擷取異常區域的示意圖。 圖8為依據本發明一實施例所繪示的取得全乳乳房密度的流程圖。
S210、S220、S230、S240‧‧‧乳房影像的分析方法的步驟
Claims (12)
- 一種乳房影像的分析方法，包括：取得以超音波所掃描的乳房影像；基於該乳房影像的多個矩形特徵，利用偵測模型在該乳房影像中取得包括異常區域的關注區域；由該關注區域擷取該異常區域；以及萃取該異常區域的多項特徵參數以進行該異常區域的性質分析，其中取得該關注區域的步驟包括：切割該乳房影像為多個影像區塊；計算每一該些影像區塊的該些矩形特徵；基於該些矩形特徵，由該偵測模型判斷每一該些影像區塊是否為關注區塊；以及當複數個該些關注區塊相鄰時，將該些關注區塊合併作為該關注區域。
- 如申請專利範圍第1項所述的分析方法，更包括：辨識該乳房影像中的肌肉線；以及比對該肌肉線以及該關注區域在該乳房影像的位置以決定是否進一步地由該關注區域擷取該異常區域。
- 如申請專利範圍第1項所述的分析方法，其中於利用該偵測模型在該乳房影像中取得該關注區域的步驟前，更包括：取得以超音波所掃描的多張訓練乳房影像； 切割每一該些訓練乳房影像為多個訓練影像區塊；計算每一該些訓練影像區塊的該些矩形特徵；以及基於各該訓練乳房影像的該些訓練影像區塊，訓練分類器以作為該偵測模型。
- 如申請專利範圍第1項所述的分析方法，其中擷取該異常區域的步驟，包括：產生該關注區域的三元圖(Tri-map)；計算該三元圖中的每一像素的透明度(alpha)；基於各該像素的該透明度，產生阿爾法圖(Alpha Map)；以及將該阿爾法圖二值化以擷取該異常區域。
- 如申請專利範圍第1項所述的分析方法，更包括：基於該乳房影像中乳腺組織的面積，計算該乳房影像的乳房密度，其中對於以超音波由不同方位所掃描的多張該些乳房影像的該些乳房密度，進一步地進行加權平均以取得全乳乳房密度。
- 如申請專利範圍第1項所述的分析方法，其中該異常區域的該些特徵參數更輸入至電腦輔助診斷(Computer Aided Diagnosis,CADx)模組進行該性質分析。
- 一種電子裝置，適於對乳房影像進行分析，該電子裝置包括：儲存單元，用以儲存多個模組；處理器，耦接該儲存單元，用以存取並執行該儲存單元所儲 存的該些模組，該些模組包括：影像輸入模組，取得以超音波所掃描的乳房影像；偵測模組，基於該乳房影像的多個矩形特徵，利用偵測模型在該乳房影像中取得包括異常區域的關注區域，其中該偵測模組切割該乳房影像為多個影像區塊，計算每一該些影像區塊的該些矩形特徵，並且基於該些矩形特徵，由該偵測模型判斷每一該些影像區塊是否為關注區塊，當複數個該些關注區塊相鄰時，將該些關注區塊合併作為該關注區域；擷取模組，由該關注區域擷取該異常區域；以及萃取模組，萃取該異常區域的多項特徵參數以進行該異常區域的性質分析。
- 如申請專利範圍第7項所述的電子裝置，其中該偵測模組更辨識該乳房影像中的肌肉線，並且比對該肌肉線以及該關注區域在該乳房影像的位置以決定是否進一步地由該關注區域擷取該異常區域。
- 如申請專利範圍第7項所述的電子裝置，其中該影像輸入模組更取得以超音波所掃描的多張訓練乳房影像，並且該些模組更包括：訓練模組，切割每一該些訓練乳房影像為多個訓練影像區塊，計算每一該些訓練影像區塊的該些矩形特徵，並且基於各該訓練乳房影像的該些訓練影像區塊，訓練分類器以作為該偵測模型。
- 如申請專利範圍第7項所述的電子裝置，其中該擷取模組產生該關注區域的三元圖(Tri-map)，計算該三元圖中的每一像素的透明度(alpha)，基於各該像素的該透明度，產生阿爾法圖(Alpha Map)，並且將該阿爾法圖二值化以擷取該異常區域。
- 如申請專利範圍第7項所述的電子裝置，其中該些模組更包括：密度分析模組，基於該乳房影像中乳腺組織的面積，計算該乳房影像的乳房密度，其中該影像輸入模組更取得以超音波由不同方位所掃描的多張該些乳房影像，而該密度分析模組對於該些乳房影像的該些乳房密度，進一步地進行加權平均以取得全乳乳房密度。
- 如申請專利範圍第7項所述的電子裝置，其中該異常區域的該些特徵參數更輸入至電腦輔助診斷(Computer Aided Diagnosis,CADx)模組進行該性質分析。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW105120124A TWI574671B (zh) | 2016-06-27 | 2016-06-27 | 乳房影像的分析方法以及其電子裝置 |
| CN201710281167.3A CN107545561A (zh) | 2016-06-27 | 2017-04-26 | 乳房图像的分析方法以及其电子装置 |
| US15/622,077 US20170367677A1 (en) | 2016-06-27 | 2017-06-14 | Analysis method for breast image and electronic apparatus using the same |
| US17/378,775 US11944486B2 (en) | 2016-06-27 | 2021-07-19 | Analysis method for breast image and electronic apparatus using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW105120124A TWI574671B (zh) | 2016-06-27 | 2016-06-27 | 乳房影像的分析方法以及其電子裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI574671B true TWI574671B (zh) | 2017-03-21 |
| TW201800059A TW201800059A (zh) | 2018-01-01 |
Family
ID=58766268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW105120124A TWI574671B (zh) | 2016-06-27 | 2016-06-27 | 乳房影像的分析方法以及其電子裝置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20170367677A1 (zh) |
| CN (1) | CN107545561A (zh) |
| TW (1) | TWI574671B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106462967B (zh) * | 2014-05-14 | 2020-06-30 | 皇家飞利浦有限公司 | 用于超声图像的基于模型的分割的采集取向相关特征 |
| CN108550150B (zh) * | 2018-04-17 | 2020-11-13 | 上海联影医疗科技有限公司 | 乳腺密度的获取方法、设备及可读存储介质 |
| CN109919254B (zh) * | 2019-03-28 | 2021-08-17 | 上海联影智能医疗科技有限公司 | 乳腺密度分类方法、系统、可读存储介质和计算机设备 |
| CN113344855A (zh) * | 2021-05-10 | 2021-09-03 | 深圳瀚维智能医疗科技有限公司 | 降低乳腺超声病灶检测假阳率的方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040068170A1 (en) * | 2000-11-24 | 2004-04-08 | U-Systems Inc.(Vii) | Breast cancer screening with ultrasound image overlays |
| US20140018681A1 (en) * | 2012-07-10 | 2014-01-16 | National Taiwan University | Ultrasound imaging breast tumor detection and diagnostic system and method |
| TW201421378A (zh) * | 2012-11-21 | 2014-06-01 | Univ Nat Cheng Kung | 強化標的圖案之處理方法、標的圖案分類系統之產生方法以及分類檢測標的圖案之方法 |
| TW201426379A (zh) * | 2012-07-26 | 2014-07-01 | Ibm | 基於相關超音波衰減圖之分析之腫瘤分類 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7736313B2 (en) * | 2004-11-22 | 2010-06-15 | Carestream Health, Inc. | Detecting and classifying lesions in ultrasound images |
| AU2006254689B2 (en) * | 2005-06-02 | 2012-03-08 | Salient Imaging, Inc. | System and method of computer-aided detection |
| JP5008618B2 (ja) * | 2008-07-22 | 2012-08-22 | 東京エレクトロン株式会社 | 基板の周辺端部に付着した異物検出方法、装置及び記憶媒体 |
| CN101401730A (zh) * | 2008-11-14 | 2009-04-08 | 南京大学 | 一种基于分层结构的乳腺肿块可疑区域快速检测方法 |
| US20100158332A1 (en) * | 2008-12-22 | 2010-06-24 | Dan Rico | Method and system of automated detection of lesions in medical images |
| CN101727537A (zh) * | 2009-11-16 | 2010-06-09 | 杭州电子科技大学 | 基于双视角信息融合的乳腺cr图像的计算机确定方法 |
| EP3035850B1 (en) * | 2013-08-20 | 2020-05-13 | Densitas Incorporated | Methods and systems for determining breast density |
| KR20150098119A (ko) * | 2014-02-19 | 2015-08-27 | 삼성전자주식회사 | 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법 |
| KR20150108701A (ko) * | 2014-03-18 | 2015-09-30 | 삼성전자주식회사 | 의료 영상 내 해부학적 요소 시각화 시스템 및 방법 |
-
2016
- 2016-06-27 TW TW105120124A patent/TWI574671B/zh active
-
2017
- 2017-04-26 CN CN201710281167.3A patent/CN107545561A/zh active Pending
- 2017-06-14 US US15/622,077 patent/US20170367677A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040068170A1 (en) * | 2000-11-24 | 2004-04-08 | U-Systems Inc.(Vii) | Breast cancer screening with ultrasound image overlays |
| US20140018681A1 (en) * | 2012-07-10 | 2014-01-16 | National Taiwan University | Ultrasound imaging breast tumor detection and diagnostic system and method |
| TW201426379A (zh) * | 2012-07-26 | 2014-07-01 | Ibm | 基於相關超音波衰減圖之分析之腫瘤分類 |
| TW201421378A (zh) * | 2012-11-21 | 2014-06-01 | Univ Nat Cheng Kung | 強化標的圖案之處理方法、標的圖案分類系統之產生方法以及分類檢測標的圖案之方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201800059A (zh) | 2018-01-01 |
| CN107545561A (zh) | 2018-01-05 |
| US20170367677A1 (en) | 2017-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Automatic fetal head circumference measurement in ultrasound using random forest and fast ellipse fitting | |
| Flores et al. | Improving classification performance of breast lesions on ultrasonography | |
| CN107067402B (zh) | 医疗图像处理装置及其乳房图像处理方法 | |
| CN107440730B (zh) | 乳房影像对位方法与影像处理装置 | |
| Huang et al. | Computer‐aided diagnosis using morphological features for classifying breast lesions on ultrasound | |
| US9277902B2 (en) | Method and system for lesion detection in ultrasound images | |
| TWI574671B (zh) | 乳房影像的分析方法以及其電子裝置 | |
| US8340388B2 (en) | Systems, computer-readable media, methods, and medical imaging apparatus for the automated detection of suspicious regions of interest in noise normalized X-ray medical imagery | |
| EP2578163A1 (en) | Malignant tissue tumor detection method and malignant tissue tumor detection device | |
| US8831311B2 (en) | Methods and systems for automated soft tissue segmentation, circumference estimation and plane guidance in fetal abdominal ultrasound images | |
| JP2012512672A (ja) | 医用画像内病変自動検出方法およびシステム | |
| US10238368B2 (en) | Method and system for lesion detection in ultrasound images | |
| WO2024067527A1 (zh) | 一种髋关节角度检测系统和方法 | |
| Zhou et al. | Classification of benign and malignant breast tumors in ultrasound images with posterior acoustic shadowing using half-contour features | |
| TWI587844B (zh) | 醫療影像處理裝置及其乳房影像處理方法 | |
| CN112568933B (zh) | 超声成像方法、设备和存储介质 | |
| CN112545562A (zh) | 多模态多参数乳腺癌筛查系统、装置及计算机存储介质 | |
| CN103455821B (zh) | 基于bi-rads的图像分析装置和方法 | |
| Wijata et al. | Unbiased validation of the algorithms for automatic needle localization in ultrasound-guided breast biopsies | |
| Fazilov et al. | Improvement of Image Enhancement Technique for Mammography Images | |
| Wei et al. | Multi-feature fusion for ultrasound breast image classification of benign and malignant | |
| US11944486B2 (en) | Analysis method for breast image and electronic apparatus using the same | |
| TWM527991U (zh) | 醫療影像處理裝置 | |
| CN112541907A (zh) | 一种图像识别方法、装置、服务器及介质 | |
| Shaharuddin et al. | Feature analysis of kidney ultrasound image in four different ultrasound using gray level co-occurrence matrix (GLCM) and intensity histogram (IH) |