TWI727237B - 神經網路模型融合方法及應用其之電子裝置 - Google Patents

Abstract

一種神經網路模型融合方法及應用其之電子裝置。神經網路模型融合方法包括以下步驟。接收一影像。透過數個神經網路模型，對影像進行分析。此些神經網路模型包含一程度分級模型、一多分類辨識模型及一物件偵測模型之至少其中之二。依據此些神經網路模型獲得數個分析結果，轉換此些分析結果為數筆轉換資料。將此些轉換資料輸入一融合模型，以獲得一融合結果。

Description

神經網路模型融合方法及應用其之電子裝置

本揭露是有關於一種神經網路模型融合方法及應用其之電子裝置。

影像辨識技術的應用層面相當廣泛，尤其在醫療影像之病徵判讀、資訊安全控管、犯罪偵查等應用，更是需要高精準度的影像辨識技術。

以醫療影像之病徵判讀為例，目前僅採用嚴重程度分級模型來進行醫療影像的判讀，常常無法獲得足夠高的準確度。如果能夠提提高影像辨識技術的精準度，對於病患將會產生相當大的貢獻。因此，醫學界與工程界研究人員均致力此方面的研究。

本揭露係有關於一種神經網路模型融合方法及應用其之電子裝置。

根據本揭露之一實施例，提出一種神經網路模型融合方法。神經網路模型融合方法包括以下步驟。接收一影像。透過數個神經網路模型，對影像進行分析。此些神經網路模型包含一程度分級模型、一多分類辨識模型及一物件偵測模型之至少其中之二。依據此些神經網路模型獲得數個分析結果。轉換此些分析結果為數筆轉換資料。將此些轉換資料輸入一融合模型，以獲得一融合結果。

根據本揭露之另一實施例，提出一種電子裝置。電子裝置包括一處理器。處理器用以執行一神經網路模型融合方法。神經網路模型融合方法包括以下步驟。接收一影像。透過數個神經網路模型，對影像進行分析。此些神經網路模型包含一程度分級模型、一多分類辨識模型及一物件偵測模型之至少其中之二。依據此些神經網路模型獲得數個分析結果。轉換此些分析結果為數筆轉換資料。將此些轉換資料輸入一融合模型，以獲得一融合結果。

為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：

100:電子裝置

110:傳輸介面

120:處理器

121:推論模組

122:決定模組

130:儲存裝置

AR:分析結果

B0:影像區塊

L:病徵

L0、L1、L2、L3、L4:程度

H:出血

HE:硬滲出物

MA:微血管瘤

MD1:程度分級模型

MD2:多分類辨識模型

MD3:物件偵測模型

ML:融合模型

MX11:分配機率矩陣

MX12:加權機率矩陣

MX21:個別機率矩陣

MX22:分配機率矩陣

MX31:個別範圍描述矩陣

MX32:全體物件範圍描述矩陣

NEO:新生血管

P0、P10、P11、P12、P13、P14:影像

RS1、RS2、RS3、RS4:融合結果

SE:軟滲出物

S110、S120、S130、S140、S141、S142、S143、S150、S160、S170:步驟

TD:轉換資料

第1圖繪示根據一實施例之神經網路模型融合方法的實施架構。

第2A~2E圖示例說明分配機率矩陣。

第3A~3E圖示例說明個別機率矩陣。

第4A~4D圖示例說明個別範圍描述矩陣。

第5圖繪示根據一實施例之神經網路模型融合方法的流程圖。

第6圖繪示根據一實施例之電子裝置的示意圖。

第7圖繪示根據另一實施例之神經網路模型融合方法的實施架構。

第8圖繪示根據另一實施例之神經網路模型融合方法的實施架構。

第9圖繪示根據另一實施例之神經網路模型融合方法的實施架構。

以下揭露各種實施例之神經網路模型融合方法，其透過機器學習之方式融合不同任務標的之神經網路模型，例如程度分級模型(例如用以分析病變嚴重程度分級結果)、多分類辨識模型(例如用以分析病徵種類等多病徵辨識結果)或物件偵測模型(例如用以分析病徵範圍等病徵偵測結果)，使得影像辨識的效能能夠有效提升。尤其是在醫療影像之判讀上，本揭露之神經網路模型融合方法能夠有效提升病變嚴重程度的分級以及病徵判讀的準確性。

請參照第1圖，其繪示根據一實施例之神經網路模型融合方法的實施架構。影像P0經過切割程序(crop)後，切割成數個影像區塊B0。影像P0例如是醫療影像、人臉影像、監視器影像等，本發明不以此為限。三個神經網路模型包括程度分級模型MD1、多分類辨識模型MD2、及物件偵測模型MD3。程度分級模型MD1、多分類辨識模型MD2、及物件偵測模型MD3對影像區塊B0進行分析獲得分析結果AR(例如分別是病變嚴重程度分級結果、多病徵辨識結果、及病徵偵測結果)，並轉換為轉換資料TD後，透過機器學習的融合模型ML獲得融合結果RS1。

詳細來說，程度分級模型MD1分析影像P0之影像區塊B0所獲得之分析結果AR係為數個程度L0~L4之一分配機率矩陣MX11，本發明不以此為限。舉例來說，請參照第2A~2E圖及表一，第2A~2E圖示例說明分配機率矩陣MX11，表一整理影像P10~P14之分配機率矩陣MX11。程度L0~L4之數量並非用以侷限本揭露之範圍。程度L0~L4所考慮之因素可以不僅僅是病徵之數量，亦有可能包含病徵之大小、病徵之類型、病徵分散程度、病徵之顏色等等，本發明不以此為限。程度L0~L4所對應之數值為其分配機率值，其總和為1。分配機率矩陣MX11之元素的數值越高者，代表越有可能被歸類為該程度。分配機率矩陣MX11之元素中的最大值所對應之程度，即代表歸類後的程度。

如第2A圖所示，沒有病徵L之影像P10的分配機率矩陣MX11為[L0,L1,L2,L3,L4]=[0.9,0.1,0.0,0.0,0.0]，程度L0的機率最高，而被歸類為程度L0。

如第2B圖所示，含有1個病徵L之影像P11的分配機率矩陣MX11為[L0,L1,L2,L3,L4]=[0.1,0.8,0.1,0.0,0.0]，程度L1的機率最高，而被歸類為程度L1。

如第2C圖所示，含有2個病徵L之影像P12的分配機率矩陣MX11為[L0,L1,L2,L3,L4]=[0.0,0.1,0.8,0.1,0.0]，程度L2的機率最高，而被歸類為程度L2。

如第2D圖所示，含有3個病徵L之影像P13的分配機率矩陣MX11為[L0,L1,L2,L3,L4]=[0.0,0.0,0.1,0.8,0.1]，程度L3的機率最高，而被歸類為程度L3。

如第2E圖所示，含有5個病徵L之影像P14的分配機率矩陣MX11為[L0,L1,L2,L3,L4]=[0.0,0.0,0.0,0.1,0.9]，程度L4的機率最高，而被歸類為程度L4。

如第1圖所示，多分類辨識模型MD2分析影像P0之影像區塊B0所獲得之分析結果AR係為微血管瘤MA、出血H、硬滲出物HE、軟滲出物SE及新生血管NEO之至少一個別機率矩陣MX21，本發明不以此為限。

舉例來說，請參照第3A~3E圖及表二，第3A~3E圖示例說明個別機率矩陣MX21，表二整理影像P10~P14之個別機率矩陣MX21。在個別機率矩陣MX21中，微血管瘤MA、出血H、硬滲出物HE、軟滲出物SE及新生血管NEO所對應之數值為其個別機率值，各個個別機率值為0.0~1.0之數值。個別機率值越高者，代表越有可能含有該病徵。

如第3A圖所示，沒有任何病徵之影像P10的個別機率矩陣MX21為[MA,H,HE,SE,NEO]=[0.0,0.0,0.0,0.0,0.0]。

如第3B圖所示，含有微血管瘤MA之影像P11的個別機率矩陣MX21為[MA,H,HE,SE,NEO]=[0.8,0.0,0.0,0.0,0.0]。

如第3C圖所示，含有微血管瘤MA及出血H之影像P12的個別機率矩陣MX21為[MA,H,HE,SE,NEO]=[0.8,0.9,0.0,0.0,0.0]。

如第3D圖所示，含有微血管瘤MA、出血H及硬滲出物HE之影像P13的個別機率矩陣MX21為[MA,H,HE,SE,NEO]=[0.8,0.9,0.8,0.0,0.0]。

如第3E圖所示，含有微血管瘤MA、出血H、硬滲出物HE、軟滲出物SE及新生血管NEO之影像P14的個別機率矩陣MX21為[MA,H,HE,SE,NEO]=[0.8,0.9,0.8,0.8,0.8]。

如第1圖所示，物件偵測模型MD3分析影像P0之影像區塊B0所獲得之分析結果AR係為微血管瘤MA、出血H、硬滲出物HE、軟滲出物SE及新生血管NEO之影像P14等物件之個別範圍描述矩陣MX31。舉例來說，請參照第4A~4D圖及表三，第4A~4D圖示例說明個別範圍描述矩陣MX31，表三整理影像P11~P14之個別範圍描述矩陣MX31。個別範圍描述矩陣MX31中，LC為病徵類型、X為範圍起點橫軸座標、Y為範圍起點縱軸座標、W為範圍寬度、H為範圍高度，C為信心度，本發明不以此為限。座標以左上角為原點(0,0)，沿橫軸往右為正，沿縱軸往下為正。

如第4A圖所示，含有微血管瘤MA之影像P11的個別範圍描述矩陣MX31為[LC,X,Y,W,H,C]...=[0,5,5,2,2,0.90]。

如第4B圖所示，含有微血管瘤MA及出血H之影像P12的個別範圍描述矩陣MX31為[LC,X,Y,W,H,C]...=[0,5,5,2,2,0.90],[1,9,9,3,3,0.92]。

如第4C圖所示，含有微血管瘤MA、出血H及硬滲出物HE之影像P13的個別範圍描述矩陣MX31為[LC,X,Y,W,H,C]...=[0,5,5,2,2,0.90],[1,9,9,3,3,0.92],[2,4,10,2,2,0.8]。

如第4D圖所示，含有微血管瘤MA、出血H、硬滲出物HE、軟滲出物SE及新生血管NEO之影像P14的個別範圍描述矩陣MX31為[LC,X,Y,W,H,C]...=[0,5,5,2,2,0.90],[1,9,9,3,3,0.92],[2,4,10,2,2,0.8],[3,14,8,3,3,0.8],[4,13,12,2,2,0.9]。

上述程度分級模型MD1、多分類辨識模型MD2及物件偵測模型MD3針對影像P0進行不同的分析，以獲得不同的分析結果AR。本揭露之神經網路模型融合方法能夠融合上述程度分級模型MD1、多分類辨識模型MD2及物件偵測模型MD3，以有效提升判讀的準確性。舉例來說，經實驗數據發現單獨採用程度分級模型MD1，其所獲得之分析結果AR為程度L1。但同時採用程度分級模型MD1、多分類辨識模型MD2及物件偵測模型MD3時，最終所獲得之融合結果RS1改變為程度L2，而程度L2才為正確的結果，有效提升了判讀的準確性。

請參照第5圖及第6圖，第5圖繪示根據一實施例之神經網路模型融合方法的流程圖，第6圖繪示根據一實施例之電子裝置的示意圖。電子裝置100例如是一個人電腦、一平板電腦、一筆記型電腦或一伺服器等，不以此為限。電子裝置100包括一傳輸介面110、一處理器120及一儲存裝置130。傳輸介面110例如是一有線網路模組或一無線網路模組等，不以此為限。儲存裝置130例如是一硬碟、或一記憶體。處理器120例如是一中央處理器、或一圖形處理器等，不以此為限。處理器120包括一推論模組121及一決定模組122。神經網路模型融合方法可以透過第6圖之電子裝置100之處理器120來執行。

在步驟S110中，提供影像P0。影像P0例如是透過網路900傳遞至傳輸介面110。

接著，在步驟S120中，推論模組121判斷影像P0之尺寸是否小於一預定尺寸。若影像P0之尺寸小於預定尺寸，則流程進入步驟S130。

在步驟S130中，推論模組121調整影像P0之尺寸，以使影像P0之尺寸符合預定尺寸。

在步驟S140中，推論模組121透過程度分級模型MD1、多分類辨識模型MD2及物件偵測模型MD3，對影像P0進行分析。步驟S140例如是包括：推論模組121透過程度分級模型MD1對影像P0進行分析；推論模組121透過多分類辨識模型MD2對影像P0進行分析；推論模組121透過物件偵測模型MD3對影像P0進行分析。

接著，在步驟S150中，推論模組121依據程度分級模型MD1、多分類辨識模型MD2及物件偵測模型MD3獲得數個分析結果AR。

然後，在步驟S160中，決定模組122轉換此些分析結果AR為數筆轉換資料TD。舉例來說，請參照表四，程度分級模型MD1之分析結果AR係為分配機率矩陣MX11。分配機率矩陣MX11與一權重矩陣進行一元素積運算(Hadamard product,element-wise product or point-wise product(權重矩陣例如為[1,2,3,4,5]，但非用以侷限本揭露之範圍)，而轉換為一加權機率矩陣MX12，以作為程度分級模型MD11之轉換資料TD。分配機率矩陣MX11與權重矩陣所進行之元素積運算係為分配機率矩陣 MX11與權重矩陣之對應元素相乘。權重矩陣可以適當地強調出各個程度L0~L4的重要性，依照經驗，對於不同的應用來強調權重矩陣之內容，以因應不同的使用情境。

請參照表五，多分類辨識模型MD2之分析結果AR係為個別機率矩陣MX21。個別機率矩陣MX21係透過一轉換模型或一對應表，轉換為程度L0~L4之一分配機率矩陣MX22，以作為多分類辨識模型MD2之轉換資料TD。多分類辨識模型MD2之分配機率矩陣MX22之程度L0~L4的數量為5，程度分級模型MD1之分配機率矩陣MX11之程度L0~L4之數量也為5，兩者相同。

請參照表六，物件偵測模型MD3之分析結果AR係為個別範圍描述矩陣MX31。個別範圍描述矩陣MX31轉換為微血管瘤MA、出血H、硬滲出物HE、軟滲出物SE及新生血管NEO等物件之一全體物件範圍描述矩陣MX32。全體物件範圍描述矩陣MX32中，A為物件面積，N為物件數量。

接著，在步驟S170中，決定模組122將此些轉換資料TD輸入融合模型ML，以獲得融合結果RS1。

如上所述，程度分級模型MD1、多分類辨識模型MD2及物件偵測模型MD3之分析結果AR可以經由機器學習之方式進行融合，而獲得融合結果RS1。融合結果RS1結合了不同目的之神經網路模型的優點，使得影像辨識的效能能夠有效提升。尤其是在醫療影像之判讀上，本揭露之神經網路模型融合方法能夠有效提升病徵判讀的準確性。

除了上述實施例以外，本揭露之神經網路模型融合方法亦可以應用於不同的模型組合。舉例來說，請參照第7圖，其繪示根據另一實施例之神經網路模型融合方法的實施架構。本揭露之神經網路模型融合方法亦可以應用於程度分級模型MD1與多分類辨識模型MD2之融合，以獲得融合結果RS2。請參照第8圖，其繪示根據另一實施例之神經網路模型融合方法的實施架構。本揭露之神經網路模型融合方法亦可以應用於程度分級模型MD1與物件偵測模型MD3之融合，以獲得融合結果RS3。請參照第9圖，其繪示根據另一實施例之神經網路模型融合方法的實施架構。本揭露之神經網路模型融合方法亦可以應用於多分類辨識模型MD2與物件偵測模型MD3之融合，以獲得融合結果RS4。

綜上所述，雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

AR:分析結果

B0:影像區塊

MD1:程度分級模型

MD2:多分類辨識模型

MD3:物件偵測模型

ML:融合模型

MX11:分配機率矩陣

MX12:加權機率矩陣

MX21:個別機率矩陣

MX22:分配機率矩陣

MX31:個別範圍描述矩陣

MX32:全體物件範圍描述矩陣

P0:影像

RS1:融合結果

TD:轉換資料

Claims (18)

1. 一種神經網路模型融合方法，包括：接收一影像；透過複數個神經網路模型，對該影像進行分析，該些神經網路模型包含一程度分級模型、一多分類辨識模型及一物件偵測模型之至少其中之二；依據該些神經網路模型獲得複數個分析結果；轉換該些分析結果為複數筆轉換資料；以及將該些轉換資料輸入一融合模型，以獲得一融合結果；其中該些神經網路模型包括該程度分級模型，該程度分級模型之該分析結果係為複數個程度之一分配機率矩陣，該分配機率矩陣具有複數個分配機率值，該些分配機率值之總和為1，該分配機率矩陣與一權重矩陣進行一元素積運算，而轉換為一加權機率矩陣，以作為該程度分級模型之該轉換資料；其中該些神經網路模型包含該多分類辨識模型，該多分類辨識模型之該分析結果係為複數個分類之一個別機率矩陣。
2. 如申請專利範圍第1項所述之神經網路模型融合方法，其中該程度分級模型之該分析結果係為一病變嚴重程度分級結果。
3. 如申請專利範圍第1項所述之神經網路模型融合方法，其中該個別機率矩陣具有複數個個別機率值，各該個別機 率值為0.0~1.0之數值，該個別機率矩陣係透過一轉換模型，轉換為複數個程度之一分配機率矩陣，以作為該多分類辨識模型之該轉換資料。
4. 如申請專利範圍第3項所述之神經網路模型融合方法，其中該多分類辨識模型之該分配機率矩陣之該些程度的數量相同於該程度分級模型之該分配機率矩陣之該些程度之數量。
5. 如申請專利範圍第1項所述之神經網路模型融合方法，其中該多分類辨識模型之該分析結果係為一多病徵辨識結果。
6. 如申請專利範圍第1項所述之神經網路模型融合方法，其中該個別機率矩陣係透過一對應表轉換為複數個程度之一分配機率矩陣，以作為該多分類辨識模型之該轉換資料。
7. 如申請專利範圍第6項所述之神經網路模型融合方法，其中該多分類辨識模型之該分配機率矩陣之該些程度的數量相同於該程度分級模型之該分配機率矩陣之該些程度之數量。
8. 如申請專利範圍第1項所述之神經網路模型融合方法，其中該些神經網路模型包含該物件偵測模型，該物件偵測模型之該分析結果係為複數個物件之至少一個別範圍描述矩陣， 該至少一個別範圍描述矩陣轉換為該些物件之一全體物件範圍描述矩陣，以作為該物件偵測模型之該轉換資料。
9. 如申請專利範圍第8項所述之神經網路模型融合方法，其中該物件偵測模型之該分析結果係為一病徵偵測結果。
10. 一種電子裝置，包括：一處理器，用以執行一神經網路模型融合方法，該神經網路模型融合方法包括：接收一影像；透過複數個神經網路模型，對該影像進行分析，該些神經網路模型包含一程度分級模型、一多分類辨識模型及一物件偵測模型之至少其中之二；依據該些神經網路模型獲得複數個分析結果；轉換該些分析結果為複數筆轉換資料；以及將該些轉換資料輸入一融合模型，以獲得一融合結果；其中該些神經網路模型包括該程度分級模型，該程度分級模型之該分析結果係為複數個程度之一分配機率矩陣，該分配機率矩陣具有複數個分配機率值，該些分配機率值之總和為1該分配機率矩陣與一權重矩陣進行一元素積運算，而轉換為一加權機率矩陣，以作為該程度分級模型之該轉換資料；其中該些神經網路模型包含該多分類辨識模型，該多分類辨識模型之該分析結果係為複數個分類之一個別機率矩陣。
11. 如申請專利範圍第10項所述之電子裝置，其中該程度分級模型之該分析結果係為一病變嚴重程度分級結果。
12. 如申請專利範圍第10項所述之電子裝置，其中該個別機率矩陣具有複數個個別機率值，各該個別機率值為0.0~1.0之數值，該個別機率矩陣係透過一轉換模型，轉換為複數個程度之一分配機率矩陣，以作為該多分類辨識模型之該轉換資料。
13. 如申請專利範圍第12項所述之電子裝置，其中該多分類辨識模型之該分配機率矩陣之該些程度的數量相同於該程度分級模型之該分配機率矩陣之該些程度之數量。
14. 如申請專利範圍第10項所述之電子裝置，其中該多分類辨識模型之該分析結果係為一多病徵辨識結果。
15. 如申請專利範圍第10項所述之電子裝置，其中該個別機率矩陣係透過一對應表轉換為複數個程度之一分配機率矩陣，以作為該多分類辨識模型之該轉換資料。
16. 如申請專利範圍第15項所述之電子裝置，其中該多分類辨識模型之該分配機率矩陣之該些程度的數量相同於該程度分級模型之該分配機率矩陣之該些程度之數量。
17. 如申請專利範圍第10項所述之電子裝置，其中該些神經網路模型包含該物件偵測模型，該物件偵測模型之該分析結果係為複數個物件之至少一個別範圍描述矩陣，該至少一個別範圍描述矩陣轉換為該些物件之一全體物件範圍描述矩陣，以作為該物件偵測模型之該轉換資料。
18. 如申請專利範圍第17項所述之電子裝置，其中該物件偵測模型之該分析結果係為一病徵偵測結果。

Images