TWI824861B - 機器學習裝置及其訓練方法 - Google Patents

機器學習裝置及其訓練方法 Download PDF

Info

Publication number
TWI824861B
TWI824861B TW111146051A TW111146051A TWI824861B TW I824861 B TWI824861 B TW I824861B TW 111146051 A TW111146051 A TW 111146051A TW 111146051 A TW111146051 A TW 111146051A TW I824861 B TWI824861 B TW I824861B
Authority
TW
Taiwan
Prior art keywords
sub
feature vector
machine learning
module
group
Prior art date
Application number
TW111146051A
Other languages
English (en)
Inventor
鄭雲謙
林敬凱
張明哲
Original Assignee
國立陽明交通大學
國立臺灣大學醫學院附設醫院癌醫中心分院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立陽明交通大學, 國立臺灣大學醫學院附設醫院癌醫中心分院 filed Critical 國立陽明交通大學
Priority to TW111146051A priority Critical patent/TWI824861B/zh
Application granted granted Critical
Publication of TWI824861B publication Critical patent/TWI824861B/zh

Links

Landscapes

  • Numerical Control (AREA)
  • Control Of Electric Motors In General (AREA)
  • Feedback Control In General (AREA)

Abstract

一種機器學習模組的訓練方法被揭露。此訓練方法適用於機器學習裝置,其中訓練方法包含以下步驟:依據圖像的多個特徵產生遮罩後圖像,並依據遮罩後圖像產生第一子特徵向量;將多個特徵分散至多個群組後產生第二子特徵向量與第三子特徵向量;以及依據第一子特徵向量、第二子特徵向量與第三子特徵向量更新機器學習模組中的特徵擷取模組。

Description

機器學習裝置及其訓練方法
本揭示有關於一種機器學習裝置及其訓練方法,且特別是有關於導航-教學-審查模組(NTS-NET)的機器學習訓練網路的機器學習裝置及其訓練方法。
由於非小細胞肺癌(腺癌、鱗狀上皮癌)與小細胞肺癌之細胞大小有顯著差異,因此醫師於臨床上相對容易判讀。但對於腺癌和鱗狀上皮癌而言,醫師往往需要更細部地觀察影像中兩者的細胞型態的差異(如細胞核相對比例、細胞核染色情形、細胞群聚排列規則等特徵)才能夠判別影像所屬類別。
此外,上述肺癌的檢測流程需耗時較長,期間可能造成病患感到焦慮和腫瘤擴散導致治療延誤。因此,希望提出一套自動輔助診斷系統來大幅縮短肺癌診斷所需時間,並期望能更有效地辨識腺癌和鱗狀上皮癌,以作為醫師診斷的輔助依據,來減少醫師的誤判率及縮短肺癌檢測所花費的時間,使病患可以提早接受治療,並進而減少病患因 等待治療期間造成腫瘤擴散的風險。
本揭示之一些實施方式是關於一種機器學習模組的訓練方法。此訓練方法適用於機器學習裝置,其中訓練方法包含以下步驟:依據圖像的多個特徵產生遮罩後圖像,並依據遮罩後圖像產生第一子特徵向量;將多個特徵分散至多個群組後產生第二子特徵向量與第三子特徵向量;以及依據第一子特徵向量、第二子特徵向量與第三子特徵向量更新機器學習模組中的特徵擷取模組。
本揭示之一些實施方式是關於一種機器學習裝置,用以訓練機器學習模組。此機器學習裝置包含記憶體和處理器。記憶體用以儲存機器學習模組。機器學習模組包含特徵擷取模組、導航-教學-審查模組(NTS module)以及感興趣區域引導模組。處理器耦接於記憶體,用以存取記憶體,以執行以下步驟:依據圖像的多個特徵產生遮罩後圖像,並依據遮罩後圖像產生第一子特徵向量;將多個特徵分散至多個群組後產生第二子特徵向量與第三子特徵向量;以及依據第一子特徵向量、第二子特徵向量與第三子特徵向量更新機器學習模組中的特徵擷取模組。
100:機器學習裝置
110:處理器
130:記憶體
140:機器學習模組
FE:特徵擷取模組
NN:導航模組
TN:教學模組
SN:審查模組
ROIM:感興趣區域引導模組
200:機器學習方法
S210,S230,S250,S270,S290:步驟
S252,S254,S256:步驟
P1:圖像
P21,P22,P23,P24:特徵
CV0,CV1,CV2,CV3:特徵向量
C0,C1,C2,C3:信心分數
G1:第一群組
G2:第二群組
P3:遮罩後圖像
CA,CB,CC:子特徵向量
CE:交叉嫡損失
CL:對比損失
CFP:正樣本組
CFN:負樣本組
K1,K2,K3:正樣本
Z1,Z2,Z3:負樣本
PC:投影模組
為讓本揭示之上述和其他目的、特徵、優點與實施例能夠 更明顯易懂,所附圖式之說明如下:第1圖是依據本揭示一些實施例所繪示的機器學習裝置的示意圖;第2圖是依據本揭示一些實施例所繪示的機器學習方法的流程圖;第3圖是依據本揭示一些實施例所繪示的機器學習方法的示意圖;第4圖是依據本揭示一些實施例所繪示的第2圖中的其中一個步驟的流程圖;以及第5圖是依據本揭示一些實施例所繪示的第4圖中的訓練步驟的示意圖。
請參閱第1圖。第1圖是依據本揭示一些實施例所繪示的機器學習裝置100的示意圖。於部分實施例中,機器學習裝置100包含處理器110及記憶體130。於連接關係上,處理器110耦接於記憶體130。
如第1圖所繪示,記憶體130儲存有機器學習模組140。機器學習模組140包含特徵擷取模組FE、導航模組NN、教學模組TN、審查模組SN和感興趣區域引導模組ROIM。於部分實施例中,上述特徵擷取模組FE、導航模組NN、教學模組TN、審查模組SN和感興趣區域引導模組ROIM可實施為電路,舉例而言,特徵擷取電路、導航電路、教學電路、審查電路和感興趣區域引導電路。
如第1圖所繪示的機器學習裝置100僅為例示說明之用,本案之實施方式不以第1圖為限制。機器學習裝置100可以進一步包含操作以及應用中所需的其他元件,舉例來說,機器學習裝置100可更包含輸出介面(例如,用於顯示資訊的顯示面板)、輸入介面(例如,觸控面板、鍵盤、麥克風、掃描器或快閃記憶體)以及通訊電路(例如,WiFi通訊模型、藍芽通訊模型、無線電信網路通訊模型等)。於部分實施例中,機器學習裝置100可由電腦、伺服器或處理中心建立。
於部分實施例中,記憶體130可以是閃存記憶體,HDD,SSD(固態硬盤),DRAM(動態隨機存取記憶體)或SRAM(靜態隨機存取記憶體)。於部分實施例中,記憶體130可以是存儲有與機器學習方法200相關聯的至少一個指令的非揮發性電腦可讀取記錄媒體。處理器110可以存取和執行至少一個指令。
於部分實施例中,處理器110可以,但不限於是單個處理器或多個微處理器的集合,例如CPU或GPU。處理器110電性耦合到記憶體130以便存取並根據至少一個指令,以執行機器學習方法200。為了便於理解與說明,將在以下段落中描述機器學習方法200的細節。
關於本發明的實施方式的細節於以下參閱第2圖中的資料擴增揭示,其中第2圖係適用於第1圖中的機器學習裝置100的機器學習方法200的流程圖。然而,本發明的實施方式不以此為限制。
於部分實施例中,第1圖中的處理器110用以存取記憶體130中的機器學習模組140以執行第2圖中的機器學習方法200。
請參閱第2圖。第2圖是依據本揭示一些實施例所繪示的機器學習方法200的流程圖。然而,本發明的實施方式不以此為限制。
應注意到,機器學習方法200可應用於與第1圖中的機器學習裝置100的結構相同或相似之系統。而為使敘述簡單,以下將以第1圖為例進行對機器學習方法200的敘述,然本發明不以第1圖的應用為限。
需注意的是,於部分實施例中,機器學習方法200亦可實作為一電腦程式,並儲存於一非暫態電腦可讀取記錄媒體中,而使電腦、電子裝置、或前述如第1圖中的處理器110讀取此記錄媒體後執行此一操作方法。非暫態電腦可讀取記錄媒體可為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之非暫態電腦可讀取記錄媒體。
另外,應瞭解到,在本實施方式中所提及的操作方法的操作,除特別敘明其順序者外,均可依實際需要調整其前後順序,甚至可同時或部分同時執行。
再者,在不同實施例中,此些操作亦可適應性地增加、置換、及/或省略。
請參閱第2圖。機器學習方法200包含以下步驟。 為方便及清楚說明起見,下述同時參照第1圖以及第2圖,以機器學習裝置100中各元件之間的作動關係來說明第2圖所示機器學習方法200的詳細步驟。
於步驟S210中,由導航模組取得圖像中的多個特徵。於部分實施例中,步驟S210係由如第1圖所繪示的處理器110存取導航模組NN所執行。
請一併參閱第3圖。第3圖是依據本揭示一些實施例所繪示的第2圖中的機器學習方法200的示意圖。如的3圖所繪示,於部分實施例中,第1圖所繪示的處理器110將待辨識的圖像P1輸入至特徵擷取模組FE中。特徵擷取模組FE由圖像P1取得多個特徵P21、P22、P23和P24。導航模組NN從特徵擷取模組FE取得多個特徵P21、P22、P23和P24。
於步驟S230中,由特徵擷取模組依據多個特徵產生特徵向量。於部分實施例中,步驟S230係由如第1圖所繪示的處理器110存取特徵擷取模組FE所執行。
請一併參閱第3圖。如第3圖所繪示,特徵擷取模組FE依據多個特徵P21、P22、P23和P24產生特徵向量CV0。
於步驟S250中,由感興趣區域引導模組訓練機器學習模組。於部分實施例中,步驟S250係由如第1圖所繪示的處理器110存取感興趣區域引導模組ROIM所執行。於部分實施例中,步驟S250係為一種訓練如第1圖所繪示的機器學習模組140的訓練方法。
請一併參閱第3圖。於部分實施例中,導航模組NN將多個特徵P21、P22、P23、P24輸入至感興趣區域引導模組ROIM中,以供感興趣區域引導模組ROIM執行步驟S250。
請一併參閱第4圖。第4圖是依據本揭示一些實施例所繪示的第2圖中的步驟S250的流程圖。如第4圖所繪示,步驟S250包含步驟S252至步驟S256。
於步驟S252中,依據圖像的多個特徵產生遮罩後圖像,並依據遮罩後圖像產生第一子特徵向量。於部分實施例中,步驟S252係由如第1圖所繪示的處理器110存取感興趣區域引導模組ROIM所執行。
請一併參閱第5圖。第5圖是依據本揭示一些實施例所繪示的第4圖中的訓練步驟S250的示意圖。
如第5圖所繪示,於部分實施例中,感興趣區域引導模組ROIM將圖像P1中特徵P21、P22、P23和P24中的至少一者的圖像區域遮罩以產生遮罩後圖像P3。感興趣區域引導模組ROIM可隨機選擇特徵P21、P22、P23和P24中的其中一者、其中二者、其中三者、或是四者,並將被選擇的特徵的圖像區域遮罩以產生遮罩後圖像P3。
接著,感興趣區域引導模組ROIM依據遮罩後圖像P3產生子特徵向量CA。詳細而言,感興趣區域引導模組ROIM將遮罩後圖像P3輸入至特徵擷取模組FE中,以產生子特徵向量CA。
請回頭參閱第4圖。於步驟S254中,將多個特徵分散至多個群組後產生第二子特徵向量與第三子特徵向量。於部分實施例中,步驟S254係由如第1圖所繪示的處理器110存取感興趣區域引導模組ROIM所執行。
請一併參閱第5圖。於部分實施例中,感興趣區域引導模組ROIM將多個特徵P21、P22、P23、P24分散至第一群組G1與第二群組G2。
舉例而言,於一實施例中,感興趣區域引導模組ROIM將特徵P21和P22分至第一群組G1,並將特徵P23和P24分至第二群組G2。
於部分實施例中,感興趣區域引導模組ROIM係隨機將多個特徵P21、P22、P23、P24分至第一群組G1與第二群組G2。於部分實施例中,感興趣區域引導模組ROIM隨機選取多個特徵中的一半作為第一群組G1,並將剩下的多個特徵中的另一半作為第二群組G2。
如第5圖所繪示,感興趣區域引導模組ROIM依據第一群組G1以產生子特徵向量CB。詳細而言,感興趣區域引導模組ROIM將第一群組G1輸入至特徵擷取模組FE後,將特徵擷取模組FE的輸出再輸入至投影模組PC中,以產生子特徵向量CB。
另一方面,感興趣區域引導模組ROIM依據第二群組G2以產生子特徵向量CC。詳細而言,感興趣區域引導模組ROIM將第二群組G2輸入至特徵擷取模組FE後,將特徵擷取模組FE的輸出再輸入至投影模組PC中,以產 生子特徵向量CC。
於部分實施例中,負樣本組CFN和正樣本組CFP係儲存於第1圖的機器學習裝置100的記憶體130中。負樣本組CFN包含負樣本Z1、Z2和Z3,而正樣本組CFP包含正樣本K1、K2和K3。
請回頭參閱第4圖。於步驟S256中,依據第一子特徵向量、第二子特徵向量與第三子特徵向量更新機器學習模組中的特徵擷取模組。於部分實施例中,步驟S256係由如第1圖所繪示的處理器110存取感興趣區域引導模組ROIM所執行。
請一併參閱第5圖。於部分實施例中,感興趣區域引導模組ROIM依據子特徵向量CA計算交叉嫡損失CE,並依據交叉嫡損失CE更新特徵擷取模組FE。於部分實施例中,感興趣區域引導模組ROIM計算子特徵向量CB與負樣本組CFN之間的對比損失CL,並依據對比損失CL更新特徵擷取模組FE。於部分實施例中,感興趣區域引導模組ROIM依據子特徵向量CC更新正樣本組CFP。
請一併參閱第3圖。於部分實施例中,特徵擷取模組FE依據子特徵向量CA產生特徵向量CV1,依據子特徵向量CB產生特徵向量CV2,並依據子特徵向量CC產生特徵向量CV3。
請回頭參閱第2圖。於步驟S270中,由教學模組依據多個特徵向量產生多個信心分數,並依據多個信心 分數更新特徵擷取模組。於部分實施例中,步驟S270係由如第1圖所繪示的處理器110存取教學模組TN所執行。
請一併參閱第3圖。教學模組TN依據特徵向量CV0產生信心分數C0,依據特徵向量CV1產生信心分數C1,依據特徵向量CV2產生信心分數C2,並依據特徵向量CV3產生信心分數C3。接著,教學模組TN依據信心分數C0、C1、C2和C3更新特徵擷取模組FE。
於步驟S290中,由審查模組依據多個特徵向量以進行圖像辨識。於部分實施例中,步驟S290係由如第1圖所繪示的處理器110存取審查模組SN所執行。
請一併參閱第3圖。於部分實施例中,審查模組SN依據特徵向量CV0、CV1、CV2和CV3以進行圖像辨識。
於部分實施例中,如上所述之機器學習裝置100與機器學習方法200係用以區別非小細胞肺癌中的腺癌與鱗狀上皮癌。
於部分實施例中,如第2圖中所述之機器學習方法200中的步驟S210至S290係為第二階段的圖像辨識。於部分實施例中,在步驟S210之前,更包含第一階段的圖像辨識,用以辨識非小細胞肺癌與小細胞肺癌。於區分出非小細胞肺癌與小細胞肺癌之後,再以步驟S210至S290區分較難辨識的非小細胞肺癌中的腺癌與鱗狀上皮癌。
於部分實施例中,上述之導航模組NN、教學模組TN、審查模組SN係為導航-教學-審查模組(NTS-NET)的機器學習訓練機制。在本案的實施方式中,透過將感興趣區域引導模組ROIM加入至NTS-NET的機器學習訓練機制中,相較於原始的NTS-NET的機器學習訓練機制,能夠更有效地利用所學習到的細部圖像區域進行機器學習裝置與機器學習方法的優化。詳細而言,感興趣區域引導模組ROIM透過將特徵的圖像區域從原始圖像中遮罩以產生遮罩後圖像,讓特徵擷取模組從遮罩後圖像中擷取已知特徵以外的特徵,可使機器學習裝置與機器學習方法能夠取得更多細部圖像區域的特徵,並進而優化機器學習模組。
綜上所述,本揭示的實施例中提供了機器學習裝置及其訓練方法。根據醫師於臨床上的判讀經驗,設計階層式的分類網路架構,將常見的惡性肺癌細胞拆分成兩個階段進行分類,以更靈活的針對特定的分類問題去設計訓練策略。此外,將感興趣區域引導模組加入至NTS-NET的機器學習訓練機制中,使模型相較於NTS-NET的機器學習訓練機制可更有效地利用所學習到的細部圖像區域以進行機器學習模型的優化。
雖然本揭示的特定實施例已經揭露有關上述實施例,此些實施例不意欲限制本揭示。各種替代及改良可藉由相關領域中的一般技術人員在本揭示中執行而沒有從本揭示的原理及精神背離。因此,本揭示的保護範圍由所附 申請專利範圍確定。
S250:訓練方法
S252,S254,S256:步驟

Claims (8)

  1. 一種訓練方法,適用於包含一機器學習模組的一機器學習裝置,其中該訓練方法包含:從一圖像中遮罩複數個特徵中的至少一者,以產生一遮罩後圖像,並依據該遮罩後圖像產生一第一子特徵向量;將該些特徵分散至一第一群組以及一第二群組,並依據該第一群組產生一第二子特徵向量,依據該第二群組產生一第三子特徵向量;以及依據該第一子特徵向量的一第一損失函數以及該第二子特徵向量的一第二損失函數更新該機器學習模組中的一特徵擷取模組。
  2. 如請求項1所述之訓練方法,更包含:將該些特徵隨機分散至該些群組中的該第一群組與該第二群組。
  3. 如請求項1所述之訓練方法,更包含:計算該第二子特徵向量與一負樣本組之間的一對比損失,並依據該對比損失更新該特徵擷取模組;以及依據該第三子特徵向量更新一正樣本組。
  4. 如請求項1所述之訓練方法,更包含:依據該第一子特徵向量計算一交叉嫡損失,並依據該 交叉嫡損失更新該特徵擷取模組。
  5. 一種機器學習裝置,用以訓練一機器學習模組,包含:一記憶體,用以儲存一機器學習模組,其中該機器學習模組包含一特徵擷取模組、一導航-教學-審查模組(NTS module)以及一感興趣區域引導模組;以及一處理器,耦接於該記憶體,用以存取該記憶體,以執行以下步驟:從一圖像中遮罩複數個特徵中的至少一者,以產生一遮罩後圖像,並依據該遮罩後圖像產生一第一子特徵向量;將該些特徵分散至一第一群組以及一第二群組,並依據該第一群組產生一第二子特徵向量,依據該第二群組產生一第三子特徵向量;以及依據該第一子特徵向量的一第一損失函數以及該第二子特徵向量的一第二損失函數更新該機器學習模組中的一特徵擷取模組。
  6. 如請求項5所述之機器學習裝置,其中該處理器更用以將該些特徵隨機分散至該些群組中的該第一群組與該第二群組。
  7. 如請求項5所述之機器學習裝置,其中該處 理器更用以計算該第二子特徵向量與一負樣本組之間的一對比損失,並依據該對比損失更新該特徵擷取模組,並用以依據該第三子特徵向量更新一正樣本組。
  8. 如請求項5所述之機器學習裝置,其中該處理器更用以依據該第一子特徵向量計算一交叉嫡損失,並依據該交叉嫡損失更新該特徵擷取模組。
TW111146051A 2022-11-30 2022-11-30 機器學習裝置及其訓練方法 TWI824861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW111146051A TWI824861B (zh) 2022-11-30 2022-11-30 機器學習裝置及其訓練方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111146051A TWI824861B (zh) 2022-11-30 2022-11-30 機器學習裝置及其訓練方法

Publications (1)

Publication Number Publication Date
TWI824861B true TWI824861B (zh) 2023-12-01

Family

ID=90053106

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111146051A TWI824861B (zh) 2022-11-30 2022-11-30 機器學習裝置及其訓練方法

Country Status (1)

Country Link
TW (1) TWI824861B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112992308A (zh) * 2021-03-25 2021-06-18 腾讯科技(深圳)有限公司 医学图像报告生成模型的训练方法及图像报告生成方法
CN113052800A (zh) * 2021-03-09 2021-06-29 山东大学 一种阿尔茨海默症影像分析方法与装置
TW202135529A (zh) * 2020-03-03 2021-09-16 美商高通公司 使用基於循環的機器學習系統的視頻壓縮
US20220036194A1 (en) * 2021-10-18 2022-02-03 Intel Corporation Deep neural network optimization system for machine learning model scaling
US20220156943A1 (en) * 2020-11-13 2022-05-19 Qualcomm Incorporated Consistency measure for image segmentation processes
CN114821155A (zh) * 2022-03-29 2022-07-29 国家电网有限公司大数据中心 一种基于可变形nts-net神经网络的多标签分类方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202135529A (zh) * 2020-03-03 2021-09-16 美商高通公司 使用基於循環的機器學習系統的視頻壓縮
US20220156943A1 (en) * 2020-11-13 2022-05-19 Qualcomm Incorporated Consistency measure for image segmentation processes
CN113052800A (zh) * 2021-03-09 2021-06-29 山东大学 一种阿尔茨海默症影像分析方法与装置
CN112992308A (zh) * 2021-03-25 2021-06-18 腾讯科技(深圳)有限公司 医学图像报告生成模型的训练方法及图像报告生成方法
US20220036194A1 (en) * 2021-10-18 2022-02-03 Intel Corporation Deep neural network optimization system for machine learning model scaling
CN114821155A (zh) * 2022-03-29 2022-07-29 国家电网有限公司大数据中心 一种基于可变形nts-net神经网络的多标签分类方法及系统

Similar Documents

Publication Publication Date Title
US11556703B2 (en) Table detection in spreadsheet
JP2022524878A (ja) 画像解析方法、装置、プログラム
JP6489005B2 (ja) 情報処理システム、情報処理方法、プログラム
US20110055682A1 (en) Creating, updating, saving, and propagating customized views of table and grid information
CN110136198A (zh) 图像处理方法及其装置、设备和存储介质
US20220083577A1 (en) Information processing apparatus, method and non-transitory computer readable medium
JP7379684B2 (ja) 画像生成方法及び装置並びにコンピュータプログラム
WO2020244151A1 (zh) 图像处理方法、装置、终端及存储介质
JP2022166215A (ja) 文字位置決めモデルのトレーニング方法及び文字位置決め方法
CN108459998A (zh) 文档更新、格式转换方法、装置及设备、可读存储介质
Kienbaum et al. DeepCob: Precise and high-throughput analysis of maize cob geometry using deep learning with an application in genebank phenomics
Ai et al. ResCaps: an improved capsule network and its application in ultrasonic image classification of thyroid papillary carcinoma
US10409623B2 (en) Graphical user interface for localizing a computer program using context data captured from the computer program
TWI824861B (zh) 機器學習裝置及其訓練方法
CN117594183A (zh) 基于反事实数据增强的放射学报告生成方法
EP4060526A1 (en) Text processing method and device
CN110910478B (zh) Gif图生成方法、装置、电子设备及存储介质
CN110163975B (zh) 空间直线的绘制方法、装置、设备及存储介质
TW202042738A (zh) 手術影像的智慧標記系統及其方法
US20170038935A1 (en) Information processing device, information display method, and recording medium
CN114187465A (zh) 分类模型的训练方法、装置、电子设备及存储介质
CN111859985A (zh) Ai客服模型测试方法、装置、电子设备及存储介质
US11354007B2 (en) Diagram based visual procedure note writing tool
US20140007003A1 (en) Application Coordinating System, Application Coordinating Method, and Application Coordinating Program
US11640695B2 (en) Digital garment generation