TWI790689B - 乳房斷層影像處理方法與電子裝置 - Google Patents

乳房斷層影像處理方法與電子裝置 Download PDF

Info

Publication number
TWI790689B
TWI790689B TW110126840A TW110126840A TWI790689B TW I790689 B TWI790689 B TW I790689B TW 110126840 A TW110126840 A TW 110126840A TW 110126840 A TW110126840 A TW 110126840A TW I790689 B TWI790689 B TW I790689B
Authority
TW
Taiwan
Prior art keywords
breast
neural network
branch
images
disease
Prior art date
Application number
TW110126840A
Other languages
English (en)
Other versions
TW202305822A (zh
Inventor
詹凱軒
黃耀民
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW110126840A priority Critical patent/TWI790689B/zh
Priority to CN202110930581.9A priority patent/CN115700748A/zh
Priority to US17/446,457 priority patent/US12008688B2/en
Application granted granted Critical
Publication of TWI790689B publication Critical patent/TWI790689B/zh
Publication of TW202305822A publication Critical patent/TW202305822A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/025—Tomosynthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10112—Digital tomosynthesis [DTS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本發明提出一種乳房斷層影像處理方法，包括：取得多張乳房影像，對至少一張標記乳房影像執行二值化運算與池化運算以得到病癥遮罩；根據乳房影像與病癥遮罩訓練卷積神經網路；根據二維特定位置從不同層次的乳房影像中取得多個裁切影像，並將每一張裁切影像輸入至卷積神經網路以取得多張裁切熱圖；以及將裁切熱圖依照層次的順序輸入至一遞歸神經網路以取得多張輸出熱圖，結合輸出熱圖以得到第一綜合熱圖，並根據第一綜合熱圖與病癥遮罩之間的損失值來訓練遞歸神經網路。

Description

乳房斷層影像處理方法與電子裝置
本揭露是關於乳房斷層影像處理方法，能夠結合不同層次的多張影像來偵測病癥。
乳房攝影檢查技術主要是利用低劑量的X光檢查人類的乳房，其能檢查腫塊、鈣化點等病灶，該技術比人工觸診方式更能夠準確地發現乳房的病灶類型與位置，因此乳房攝影的影像在早期乳癌的篩檢扮演重要的角色。數位乳房斷層合成攝影(Digital Breast Tomosynthesis，DBT)包括三維空間中的資訊，因此每個視角影像數量比傳統二維乳房攝影增加數十倍，若僅以二維深度學習模型進行偵測，假陽性率隨之加倍之問題，需要有一套可以利用三維相鄰資訊之深度學習方法。
本發明的實施例提出一種乳房斷層影像處理方法，由電子裝置執行，此乳房斷層影像處理方法包括：取得關於乳房的多個層次的多張乳房影像，對至少一張標記乳房影像執行二值化運算與池化運算以得到病癥遮罩；根據乳房影像與病癥遮罩訓練卷積神經網路，此卷積神經網路包括第一分支與第二分支，第一分支用以輸出至少一數值以指示是否有病癥，第二分支用以輸出熱圖，此熱圖與病癥遮罩之間的損失值用以訓練卷積神經網路；根據二維特定位置從不同層次的乳房影像中取得多個裁切影像，並將每一張裁切影像輸入至卷積神經網路以取得多張裁切熱圖；以及將裁切熱圖依照層次的順序輸入至一遞歸神經網路以取得多張輸出熱圖，結合輸出熱圖以得到第一綜合熱圖，並根據第一綜合熱圖與病癥遮罩之間的損失值來訓練遞歸神經網路。
在一些實施例中，卷積神經網路包括多個第一卷積層，第一分支與第二分支設置於第一卷積層之後。第一分支包括全域平均池化層與全連接層，第二分支包括第二卷積層，第二分支不包括全域平均池化層與全連接層。
在一些實施例中，乳房斷層影像處理方法還包括：將多個陰性樣本輸入至卷積神經網路，並根據判斷為陽性的陰性樣本重新訓練卷積神經網路。
在一些實施例中，上述的遞歸神經網路為長短期記憶網路。
在一些實施例中，上述的第一綜合熱圖為輸出熱圖的平均。
在一些實施例中，第一綜合熱圖是對應至乳房的第 一角度，第二綜合熱圖是對應至乳房的第二角度。乳房斷層影像處理方法還包括：結合第一綜合熱圖與第二綜合熱圖以產生病灶位置。
以另外一個角度來說，本發明的實施例提出一種電子裝置，包括處理器與記憶體。記憶體儲存有多個指令，處理器通訊連接至記憶體，用以執行指令以完成多個步驟：取得關於乳房的多個層次的多張乳房影像，對至少一張標記乳房影像執行二值化運算與池化運算以得到病癥遮罩；根據乳房影像與病癥遮罩訓練卷積神經網路，此卷積神經網路包括第一分支與第二分支，第一分支用以輸出至少一數值以指示是否有病癥，第二分支用以輸出熱圖，此熱圖與病癥遮罩之間的損失值用以訓練卷積神經網路；根據二維特定位置從不同層次的乳房影像中取得多個裁切影像，並將每一張裁切影像輸入至卷積神經網路以取得多張裁切熱圖；以及將裁切熱圖依照層次的順序輸入至一遞歸神經網路以取得多張輸出熱圖，結合輸出熱圖以得到第一綜合熱圖，並根據第一綜合熱圖與病癥遮罩之間的損失值來訓練遞歸神經網路。
在一些實施例中，處理器用以將多個陰性樣本輸入至卷積神經網路，並根據判斷為陽性的陰性樣本重新訓練卷積神經網路。
關於本文中所使用之「第一」、「第二」等，並非特別指次序或順位的意思，其僅為了區別以相同技術用語描述的元件或操作。
圖1是根據一實施例繪示電子裝置的示意圖。請參照圖1，電子裝置100可以是醫療儀器、平板電腦、個人電腦、筆記型電腦、伺服器、分散式電腦、雲端伺服器或具有計算能力的各種電子裝置等，本發明並不在此限。電子裝置100包括了處理器110與記憶體120，處理器110通訊連接至記憶體120，在此通訊連接可以透過任意有線或無線的通訊手段來達成，或者也可透過互聯網來達成。處理器110可為中央處理器、微處理器、微控制器、影像處理晶片、特殊應用積體電路等，記憶體120可為隨機存取記憶體、唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶或是可透過網際網路存取之資料庫，其中儲存有多個指令，處理器110會執行這些指令來完成一乳房斷層影像處理方法，以下將詳細說明此方法。
圖2是根據一實施例繪示乳房影像的擷取示意圖。請參照圖2，在此所拍攝的乳房影像又稱為數位乳房斷層合成(Digital Breast Tomosynthesis，DBT)影像。夾板211、212相對設置，夾板212的一側放置乳房210，乳房210由夾板211、212所固定，夾板212的另一側則設置感測器220。X光發射器230由不同的角度向乳房210發射X光，此X光穿透乳房210以後由感測器220所接收。DBT影像可以呈現三維空間上的資訊，每張影像可以呈現兩個維度的資訊，而剩下一個維度則由多個層次(例如數十個層次)來呈現，換言之第三個維度被離散化，每個層次是指第三個維度上的一個座標，以下所指的相鄰層次是指第三個維度上相鄰的座標。從每個角度都可以拍攝多個層次的乳房影像，在習知技術中是用二維影像的處理技術來分析不同層次的乳房影像，由於影像的數目較多，這樣的作法可能會產生非常多的偽陽性。在此提出的乳房斷層影像處理方法，可以結合不同角度不同層次的乳房影像。
圖3是根據一實施例繪示不同層次的乳房影像以及對應的病癥遮罩的示意圖。請參照圖3，在取得不同層次的乳房影像301~304後，首先必須由醫生來標記乳房影像中的病癥(例如腫瘤)，醫生可以直接在乳房影像中圈選他認為是病癥的位置，影像310為乳房影像303中被標記部位的放大示意圖，被標記的影像310可以經過二值化運算以產生二值化影像，例如數值“1”表示有病癥，而數值“0”表示沒有病癥。在一些實施例中，影像310的大小為
Figure 02_image001
，因此二值化影像的大小也是
Figure 02_image001
，此二值化影像可經過池化(pooling)運算而縮小，在此例子中成為大小為
Figure 02_image003
的病癥遮罩320，此病癥遮罩320則用於以下說明的機器學習模型。在一些實施例中，醫生是從乳房影像301~304中先找到病癥最明顯的部分，然後再找相鄰層次的乳房影像中的病癥，其他層次的病癥同樣可以產生對應的病癥遮罩320。由於經過了池化的處理，因此醫生的圈選不需要非常精確，在一些習知技術中需要讓醫生以像素為單位來從乳房影像303中切割(segment)出病癥，但這樣的標記太耗費勞力。
圖4是根據一實施例繪示卷積神經網路的示意圖。請參照圖4，在此使用卷積神經網路410，並以乳房影像303為例來說明。首先以固定大小來裁切乳房影像303中被標記為病癥的影像310，其大小例如為
Figure 02_image001
，本揭露並不在此限。影像310會被當作是陽性樣本，而乳房影像303中其他沒有被標記的部分可以任意選取以產生陰性樣本402。值得注意的是由於陽性樣本的數目會遠小於陰性樣本的數目，因此在一些實施例中影像310會經過旋轉、小範圍平移、鏡射等方式來進行擴增，藉此產生更多數目的陽性樣本401。陽性樣本401與陰性樣本402會輸入至卷積神經網路410進行訓練。
卷積神經網路410包括一或多個卷積層411(也可包括池化層)，接著則分為第一分支420與第二分支430。第一分支420包括一個全域平均池化層(Global average pooling，GAP)421與全連接層(fully connected layer)422，最後輸出兩個數值以表示是否有病癥，例如其中一個數值表示有病癥的信心，而另一個數值表示沒有病癥的信心。在一些實施例中第一分支420也可以僅輸出一個數值來表示有沒有病癥，本揭露並不在此限。第二分支430則包括了卷積層431，用以輸出熱圖432，此熱圖432的大小相同於病癥遮罩320的大小，也就是說，熱圖432包括了49個數值，用以表示對應的位置上有病癥的信心。以另一個角度來說，第一分支420是用以判斷影像中是否有病癥，而第二分支430輸出的熱圖則是用以指出病癥的位置。值得注意的是，第二分支430不包括全域平均池化層與全連接層。
在訓練階段，根據陽性樣本或是陰性樣本，第一分支420的基本事實(ground truth)可設定為數值“1”或“0”，接著可以計算第一分支420輸出的數值與此基本事實之間的損失(loss)值。若是陽性樣本，則病癥遮罩320是根據醫生的標記所產生；若是陰性樣本，則病癥遮罩320中的數值都表示沒有病癥(例如都是0)。在第二分支430是計算熱圖432與病癥遮罩320之間的損失值，此損失值例如為均方誤差或是二值交叉熵(binary cross entropy)，但本揭露並不在此限。上述第一分支420與第二分支430的損失值是用來訓練卷積神經網路410，值得注意的是，第一分支420與第二分支430是一起訓練的。
在一些實施例中，也可以用兩階段的方式來訓練卷積神經網路410。具體來說，第一階段可以先用相對少量的陰性樣本來做訓練。在第二階段，可以取得多張陰性影像(完全沒有病癥)，從這些陰性影像中任意擷取樣本做為陰性樣本，並把這些陰性樣本輸入至第一階段所訓練出來的卷積神經網路410，如果此卷積神經網路410的第一分支420輸出的數值表示有病癥，則此樣本為偽陽性。接著，可以根據判斷為陽性的陰性樣本(偽陽性樣本)重新訓練卷積神經網路410。
圖5是根據一實施例訓練遞歸神經網路(recurrent neural network，RNN)的示意圖。請參照圖5，接下來要結合不同層次的乳房影像301~304。具體來說，可以根據一個二維特定位置從不同層次(第三個維度)的乳房影像301~304中取得多個裁切影像501~504，如果在此二維特定位置上有其中一張裁切影像501~504有病癥則這些裁切影像501~504可當作陽性樣本，否則是陰性樣本。裁切影像501在乳房影像301中的二維位置是相同於裁切影像502在乳房影像302中的二維位置，以此類推。以另一個角度來說，數位乳房斷層合成影像是一種三維影像，上述的二維位置是指X座標與Y座標，而層次是指Z座標。在此是固定X座標與Y座標並且變動Z座標以取得裁切影像501~504。值得注意的是，在此例子中裁切影像501、504沒有病癥，而裁切影像502、503有病癥。在一些實施例中，如果是陽性樣本，則可以對裁切影像501~504進行旋轉、小範圍平移、鏡射等方式來進行擴增，藉此產生更多數目的陽性樣本。
每張裁切影像501~504都可以輸入至卷積神經網路410以從第二分支430取得各自對應的裁切熱圖511~514。在此例子中，每個裁切熱圖511~514的大小為7×7。接下來，把這些裁切熱圖511~514依照層次的順序(Z座標可以由小到大或是由大到小)輸入至遞歸神經網路(RNN)520，此遞歸神經網路520例如為長短期記憶(Long Short-Term Memory，LSTM)網路，但本揭露並不在此限。當每次輸入一個裁切熱圖時，遞歸神經網路520都會輸出一張熱圖(亦稱為輸出熱圖)，裁切熱圖511~514分別對應至輸出熱圖531~534。
接下來可以結合這些輸出熱圖531~534以得到綜合熱圖540。例如可以取輸出熱圖531~534的平均以做為綜合熱圖540。在一些實施例中，對於二維座標(共7×7個位置)中的每個位置可以取輸出熱圖531~534中的最大值，而不同位置的最大值會形成綜合熱圖540。
接下來，根據綜合熱圖540與病癥遮罩550之間的損失值來訓練遞歸神經網路520，此損失值例如為均方 誤差或是二值交叉熵，但本揭露並不在此限。當所有的裁切影像501~504只有一張對應的標記影像時(例如圖3的影像310)，則可直接採用此病癥遮罩320做為病癥遮罩550。當有多張標記影像時，則可以將這些標記影像二維投影在同一層次的二維平面(即X-Y平面)上，並用最大值、最小值、或是投票的方式來合併這些不同層次的標記影像以產生病癥遮罩550。遞歸神經網路520是用以尋找裁切熱圖511~514之間的關聯性，藉此可以提供更高的準確性。舉例來說，連續的裁切熱圖502、503都有病癥，因此遞歸神經網路520或可學習到當連續的數張裁切熱圖都有病癥時，可提高輸出影像中的信心值。
請參照圖2，以上作法可適用於其中一個角度(亦稱第一角度)，所產生的綜合熱圖540可稱為第一綜合熱圖。同樣的方法可以處理其他角度的乳房影像，例如第二角度是對應至第二綜合熱圖，其中第二角度不同於第一角度。在一些實施例中可以結合不同角度的綜合熱圖來產生病灶位置，詳細內容可以參閱台灣發明專利號I707663，在此並不重覆贅述。在一些實施例中，共可結合四個角度的綜合熱圖，而在其他實施例中可以結合更多或更少個角度的綜合熱圖，本揭露並不在此限。
在上述揭露中至少有三個特別的技術手段，第一個技術手段是採用標記遮罩以計算損失值，由於過程中經過池化運算，因此醫生只需要標記出位置，不需要非常精細，這降低標記所需要時間；第二個技術手段是用兩階段的方 式來訓練卷積神經網路，這可大幅降低偵測錯誤率；第三個技術手段是將遞歸神經網路產生的多張輸出影像結合成綜合熱圖，再計算綜合熱圖與病癥遮罩的損失值，這可學習不同層次的乳房影像之間的關聯性。這些手段對靈敏度(sensitivity，SEN)與特異性(specificity，SPE)的影響可參照以下表一。
Figure 110126840-A0305-02-0013-1
圖6是根據一實施例繪示乳房斷層影像處理方法的流程圖。請參照圖6，在步驟601中，取得關於乳房的多個層次的多張乳房影像，對至少一張標記乳房影像執行二值化運算與池化運算以得到病癥遮罩。在步驟602中，根據乳房影像與病癥遮罩訓練卷積神經網路，此卷積神經網路包括第一分支與第二分支，第一分支用以輸出至少一數值以指示是否有病癥，第二分支用以輸出熱圖，此熱圖與病癥遮罩之間的損失值用以訓練卷積神經網路。在步驟603中，根據二維特定位置從不同層次的乳房影像中取得多個裁切影像，並將每一張裁切影像輸入至卷積神經網路以取得多張裁切熱圖。在步驟604中，將裁切熱圖依照層次的順序輸入至一遞歸神經網路以取得多張輸出熱圖，結合輸出熱圖以得到第一綜合熱圖，並根據第一綜合熱圖與病癥遮罩之間的損失值來訓練遞歸神經網路。然而，圖6中各步驟已詳細說明如上，在此便不再贅述。值得注意的是，圖6中各步驟可以實作為多個程式碼或是電路，本發明並不在此限。此外，圖6的方法可以搭配以上實施例使用，也可以單獨使用。換言之，圖6的各步驟之間也可以加入其他的步驟。
以另外一個角度來說，本發明也提出了一電腦程式產品，此產品可由任意的程式語言及/或平台所撰寫，當此電腦程式產品被載入至電腦系統並執行時，可執行上述的乳房斷層影像處理方法。以另外一個角度來說，本發明也提出一種非暫態電腦可讀取媒體，例如為隨機存取記憶體、唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、或磁帶，其中儲存有多個指令由一電腦系統執行以完成上述的乳房斷層影像處理方法。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:電子裝置
110:處理器
120:記憶體
210:乳房
211,212:夾板
220:感測器
230:X光發射器
301~304:乳房影像
310:影像
320:病癥遮罩
401:陽性樣本
402:陰性樣本
410:卷積神經網路
411,431:卷積層
420:第一分支
421:全域平均池化層
422:全連接層
430:第二分支
432:熱圖
501~504:裁切影像
511~514:裁切熱圖
520:遞歸神經網路
531~534:輸出熱圖
540:綜合熱圖
550:病癥遮罩
601~604:步驟
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。 圖1是根據一實施例繪示電子裝置的示意圖。 圖2是根據一實施例繪示乳房影像的擷取示意圖。 圖3是根據一實施例繪示不同層次的乳房影像以及對應的病癥遮罩的示意圖。 圖4是根據一實施例繪示卷積神經網路的示意圖。 圖5是根據一實施例訓練遞歸神經網路(recurrent neural network，RNN)的示意圖。 圖6是根據一實施例繪示乳房斷層影像處理方法的流程圖。
601~604:步驟

Claims (10)

  1. 一種乳房斷層影像處理方法，由一電子裝置執行，該乳房斷層影像處理方法包括：取得多個層次的多張乳房影像，對該些乳房影像中的至少一標記乳房影像執行一二值化運算與池化運算以產生至少一第一病癥遮罩；根據該些乳房影像與該至少一第一病癥遮罩訓練一卷積神經網路，其中該卷積神經網路包括第一分支與第二分支，該第一分支用以輸出至少一數值以指示是否有病癥，該第二分支用以輸出一熱圖，該熱圖與該至少一第一病癥遮罩之間的損失值用以訓練該卷積神經網路；當該至少一標記乳房影像的個數為1時，將該第一病癥遮罩當作一第二病癥遮罩；當該至少一標記乳房影像的個數大於1時，合併該些標記乳房影像以產生該第二病癥遮罩；根據一二維特定位置從不同的該些層次的該些乳房影像中取得多個裁切影像，並將每一該些裁切影像輸入至該卷積神經網路以取得多張裁切熱圖；以及將該些裁切熱圖依照該些層次的順序輸入至一遞歸神經網路以取得多張輸出熱圖，結合該些輸出熱圖以得到一第一綜合熱圖，並根據該第一綜合熱圖與該第二病癥遮罩之間的損失值來訓練該遞歸神經網路。
  2. 如請求項1所述之乳房斷層影像處理方法， 其中該卷積神經網路包括多個第一卷積層，該第一分支與該第二分支設置於該些第一卷積層之後，該第一分支包括一全域平均池化層與一全連接層，該第二分支包括一第二卷積層，該第二分支不包括該全域平均池化層與該全連接層。
  3. 如請求項2所述之乳房斷層影像處理方法，還包括：將多個陰性樣本輸入至該卷積神經網路，並根據判斷為陽性的該些陰性樣本重新訓練該卷積神經網路。
  4. 如請求項2所述之乳房斷層影像處理方法，其中該遞歸神經網路為一長短期記憶網路。
  5. 如請求項2所述之乳房斷層影像處理方法，其中該第一綜合熱圖為該些輸出熱圖的平均。
  6. 如請求項1所述之乳房斷層影像處理方法，其中該第一綜合熱圖是對應至一第一角度，一第二綜合熱圖是對應至一第二角度，該乳房斷層影像處理方法還包括：結合該第一綜合熱圖與該第二綜合熱圖以產生一病灶位置。
  7. 一種電子裝置，包括：一記憶體，儲存有多個指令；以及一處理器，通訊連接至該記憶體，用以執行該些指令以完成多個步驟：取得關於一乳房的多個層次的多張乳房影像，對該些乳房影像中的至少一標記乳房影像執行二值化運算與池化運算以得到至少一第一病癥遮罩；根據該些乳房影像與該至少一第一病癥遮罩訓練一卷積神經網路，其中該卷積神經網路包括第一分支與第二分支，該第一分支用以輸出至少一數值以指示是否有病癥，該第二分支用以輸出一熱圖，該熱圖與該至少一第一病癥遮罩之間的損失值用以訓練該卷積神經網路；當該至少一標記乳房影像的個數為1時，將該第一病癥遮罩當作一第二病癥遮罩；當該至少一標記乳房影像的個數大於1時，合併該些標記乳房影像以產生該第二病癥遮罩；根據一二維特定位置從不同的該些層次的該些乳房影像中取得多個裁切影像，並將每一該些裁切影像輸入至該卷積神經網路以取得多張裁切熱圖；以及將該些裁切熱圖依照該些層次的順序輸入至一遞歸神經網路以取得多張輸出熱圖，結合該些輸出熱圖以得到一第一綜合熱圖，並根據該第一綜合熱圖與該第二病癥遮罩之間的損失值來訓練該遞歸神經網路。
  8. 如請求項7所述之電子裝置，其中該卷積神經網路包括多個第一卷積層，該第一分支與該第二分支設置於該些第一卷積層之後，該第一分支包括一全域平均池化層與一全連接層，該第二分支包括一第二卷積層，該第二分支不包括該全域平均池化層與該全連接層。
  9. 如請求項7所述之電子裝置，其中該處理器用以將多個陰性樣本輸入至該卷積神經網路，並根據判斷為陽性的該些陰性樣本重新訓練該卷積神經網路。
  10. 如請求項7所述之電子裝置，其中該第一綜合熱圖為該些輸出熱圖的平均。
TW110126840A 2021-07-21 2021-07-21 乳房斷層影像處理方法與電子裝置 TWI790689B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW110126840A TWI790689B (zh) 2021-07-21 2021-07-21 乳房斷層影像處理方法與電子裝置
CN202110930581.9A CN115700748A (zh) 2021-07-21 2021-08-13 乳房断层影像处理方法与电子装置
US17/446,457 US12008688B2 (en) 2021-07-21 2021-08-30 Method and electric device for processing breast Tomosynthesis images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110126840A TWI790689B (zh) 2021-07-21 2021-07-21 乳房斷層影像處理方法與電子裝置

Publications (2)

Publication Number Publication Date
TWI790689B true TWI790689B (zh) 2023-01-21
TW202305822A TW202305822A (zh) 2023-02-01

Family

ID=85038231

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110126840A TWI790689B (zh) 2021-07-21 2021-07-21 乳房斷層影像處理方法與電子裝置

Country Status (3)

Country Link
US (1) US12008688B2 (zh)
CN (1) CN115700748A (zh)
TW (1) TWI790689B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201000074A (en) * 2008-06-18 2010-01-01 Qi-Wen Xie Pathologic detecting system by using the detection of perspective image of breast and the method thereof
CN107886514A (zh) * 2017-11-22 2018-04-06 浙江中医药大学 基于深度残差网络的乳腺钼靶图像肿块语义分割方法
TWM570689U (zh) * 2018-12-01 乳房鈣化之自動檢測、辨識及報告產生系統
CN110276740A (zh) * 2018-03-23 2019-09-24 中国医药大学附设医院 乳房肿瘤辅助检测模型、其系统及乳房肿瘤辅助检测方法
US20200364867A1 (en) * 2017-12-29 2020-11-19 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565707B2 (en) * 2017-11-02 2020-02-18 Siemens Healthcare Gmbh 3D anisotropic hybrid network: transferring convolutional features from 2D images to 3D anisotropic volumes
TWI707663B (zh) * 2019-07-19 2020-10-21 財團法人資訊工業策進會 多視角乳房影像分析方法、多視角乳房影像分析系統及非暫態電腦可讀取媒體
US11170503B2 (en) * 2019-10-30 2021-11-09 International Business Machines Corporation Systems and methods for detection likelihood of malignancy in a medical image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM570689U (zh) * 2018-12-01 乳房鈣化之自動檢測、辨識及報告產生系統
TW201000074A (en) * 2008-06-18 2010-01-01 Qi-Wen Xie Pathologic detecting system by using the detection of perspective image of breast and the method thereof
CN107886514A (zh) * 2017-11-22 2018-04-06 浙江中医药大学 基于深度残差网络的乳腺钼靶图像肿块语义分割方法
US20200364867A1 (en) * 2017-12-29 2020-11-19 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors
CN110276740A (zh) * 2018-03-23 2019-09-24 中国医药大学附设医院 乳房肿瘤辅助检测模型、其系统及乳房肿瘤辅助检测方法

Also Published As

Publication number Publication date
US20230032486A1 (en) 2023-02-02
TW202305822A (zh) 2023-02-01
CN115700748A (zh) 2023-02-07
US12008688B2 (en) 2024-06-11

Similar Documents

Publication Publication Date Title
Zhong et al. An attention-guided deep regression model for landmark detection in cephalograms
US20180247154A1 (en) Image classification apparatus, method, and program
Hwang et al. Improved classification and localization approach to small bowel capsule endoscopy using convolutional neural network
CN110415792B (zh) 图像检测方法、装置、计算机设备和存储介质
JP2019082881A (ja) 画像検索装置、方法およびプログラム
Chen et al. Anatomy-aware siamese network: Exploiting semantic asymmetry for accurate pelvic fracture detection in x-ray images
EP3973539A1 (en) System and method for interpretation of multiple medical images using deep learning
TWI839758B (zh) 醫療影像的處理方法及處理醫療影像的運算裝置
WO2020209382A1 (ja) 医療文書作成装置、方法およびプログラム
Kim et al. Asbestosis diagnosis algorithm combining the lung segmentation method and deep learning model in computed tomography image
US20190392552A1 (en) Spine image registration method
Kara et al. Identification and localization of endotracheal tube on chest radiographs using a cascaded convolutional neural network approach
TWI790689B (zh) 乳房斷層影像處理方法與電子裝置
Ryu et al. Automated landmark identification for diagnosis of the deformity using a cascade convolutional neural network (FlatNet) on weight-bearing lateral radiographs of the foot
TWI790788B (zh) 醫療影像分析系統及方法
TWI745940B (zh) 醫療影像分析系統及其方法
US20210275123A1 (en) Method for providing fracture-detection tool
TWI735187B (zh) 影像識別方法及其系統
Xiong et al. Deep Ensemble Learning Network for Kidney Lesion Detection
Okamoto et al. Stochastic Gastric Image Augmentation for Cancer Detection from X-ray Images
JPWO2020137092A1 (ja) 領域特定装置、方法およびプログラム
US20230410305A1 (en) Information management apparatus, method, and program and information processing apparatus, method, and program
US20240029251A1 (en) Medical image analysis apparatus, medical image analysis method, and medical image analysis program
WO2020241857A1 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
WO2022054541A1 (ja) 画像処理装置、方法およびプログラム