TWI783786B - 電子裝置及卷積神經網路訓練方法 - Google Patents

Abstract

本揭示文件提供一種電子裝置，包含處理器以及儲存裝置。儲存裝置用以儲存複數個殘差神經網路組以及多頭注意力神經網路。多頭注意力神經網路包含複數個自注意力模組。該處理器用以進行下列步驟。將對應於複數個導程的複數筆資料分別輸入至複數個殘差神經網路組以產生分別對應於該些導程的複數個特徵圖組。依據該些特徵圖組的複數個標籤將該些特徵圖組分類至該些自注意力模組。

Description

電子裝置及卷積神經網路訓練方法

本案內容係關於一種電子裝置。特別是關於一種電子裝置及卷積神經網路訓練方法。

在現今的技術中，深度學習越來越常被應用於輔助人類的判斷。然而，由於醫學影像的訓練數據通常是由專業人士標記而來，再由各大資料庫蒐集整合。在這樣的情形中，可能會產生來源域的偏差。再者，若將具有不同疾病的數據以相同的機器訓練，可能會導致機器對不同疾病的判斷精確度降低。因此，如何改善來源域的偏差並且提升對不同疾病的判斷精確度為本領域中重要的議題。

本揭示文件提供一種電子裝置。電子裝置包含處理器以及儲存裝置。儲存裝置用以儲存複數個殘差神經網路組以及多頭注意力神經網路。多頭注意力神經網路包含複數個自注意力模組，其中該處理器用以執行下列步驟。將對應於複數個導程的複數筆資料分別輸入至複數個殘差神經網路組以產生分別對應於該些導程的複數個特徵圖組。依據該些特徵圖組的複數個標籤將該些特徵圖組分類至該些自注意力模組。依據該些特徵圖組產生複數個輸出特徵圖，其中該些輸出特徵圖分別對應於該些標籤。

本揭示文件提供一種卷積神經網路訓練方法，卷積神經網路訓練方法包含下列步驟。接收對應於複數個導程的複數筆資料。依據該些筆資料產生分別對應於該些導程的複數個特徵圖組。依據該些特徵圖組的複數個標籤將該些特徵圖組分類至複數個自注意力模組。該些自注意力模組具有相異的函數。該些標籤分別對應於複數種疾病。依據該些特徵圖組產生複數個輸出特徵圖。

綜上所述，本案利用多頭注意力神經網路依據不同的疾病產生相異的函數，以提升針對不同疾病的判別精確度。

下文係舉實施例配合所附圖式作詳細說明，以更好地理解本案的態樣，但所提供之實施例並非用以限制本案所涵蓋的範圍，而結構操作之描述非用以限制其執行之順序，任何由元件重新組合之結構，所產生具有均等功效的裝置，皆為本案所涵蓋的範圍。此外，根據業界的標準及慣常做法，圖式僅以輔助說明為目的，並未依照原尺寸作圖，實際上各種特徵的尺寸可任意地增加或減少以便於說明。下述說明中相同元件將以相同之符號標示來進行說明以便於理解。

本案說明書和圖式中使用的元件編號和訊號編號中的索引1~n，只是為了方便指稱個別的元件和訊號，並非有意將前述元件和訊號的數量侷限在特定數目。在本案說明書和圖式中，若使用某一元件編號或訊號編號時沒有指明該元件編號或訊號編號的索引，則代表該元件編號或訊號編號是指稱所屬元件群組或訊號群組中不特定的任一元件或訊號。

此外，在本文中所使用的用詞『包含』、『包括』、『具有』、『含有』等等，均為開放性的用語，即意指『包含但不限於』。此外，本文中所使用之『及／或』，包含相關列舉項目中一或多個項目的任意一個以及其所有組合。

於本文中，當一元件被稱為『連接』或『耦接』時，可指『電性連接』或『電性耦接』。『連接』或『耦接』亦可用以表示二或多個元件間相互搭配操作或互動。此外，雖然本文中使用『第一』、『第二』、…等用語描述不同元件，該用語僅是用以區別以相同技術用語描述的元件或操作。

心電圖的十二導程包含三個肢體導程、三個加壓肢體導程及六個胸導程。所述的導程由十個電極貼片構成，肢體導程可由設置四個電極設置於左、手臂以及左、右腳的埃因托芬三角(Einthoven's triangle)實現。胸導程可由另外六個電極設置於胸前作為正極，並以威爾森中央電端作為負極實現。一般而言，六個肢體導程會以I、II、III、aVL、aVR以及aVF表示；六個胸導程會以V1、V2、V3、V4、V5以及V6表示。藉由觀察心電圖中十二導程的波形可得知受測者的心臟活動情況，進一步判斷是否為正常狀態或可能具有的疾病種類。

在心電圖量測的過程中，可能會因電極的設置、受測者的狀態、環境因素而產生干擾訊號，並且作為訓練資料的心電圖通常是由大量的專業人員標註。故即便是取自相同資料庫的資料，也會有域偏差的問題。因此，在後續實施例中將會詳細說明本揭示文件如何降低域偏差的影響。

請參閱第1圖，第1圖為本揭露一實施例之電子裝置1000的示意圖。電子裝置1000包含處理器1200以及電性耦接處理器1200的儲存裝置1100。

請參閱第2圖，第2圖為本揭露一實施例之神經網路架構100的示意圖。如第2圖所示，神經網路架構100包含殘差神經網路架構G110、多頭注意力神經網路120以及全連接神經網路130。神經網路架構100可由電子裝置1000中的儲存裝置1100儲存，並由電子裝置1000中的處理器1200執行。在本揭示文件的實施例中，神經網路架構100的功能皆可由理器1200執行。

在功能上，殘差神經網路架構G110用以接收對應於不同導程的多筆資料Data1、Data2以及Data3，並且依據多筆資料Data1、Data2以及Data3產生特徵圖組FML1、FML2及FML3。多頭注意力神經網路120用以接收特徵圖組FML1、FML2及FML3，並且依據特徵圖組FML1、FML2及FML3產生輸出特徵圖FMC1、FMC2以及FMC3。全連接神經網路130用以接收特徵圖FMC1、FMC2以及FMC3，並且依據特徵圖FMC1、FMC2以及FMC3產生輸出值OUT1、OUT2以及OUT3。輸出值OUT1、OUT2以及OUT3分別對應於不同的疾病(標籤)。在訓練階段中，將多筆資料Data1、Data2以及Data3輸入至神經網路架構100後，可依據輸出值OUT1、OUT2及OUT3以及多筆資料Data1、Data2及Data3各自的多個標籤，調整殘差神經網路架構G110、多頭注意力神經網路120以及全連接神經網路130的權重。

具體而言，殘差神經網路架構G110包含殘差神經網路組110a、110b以及110c。在心電圖中，不同導程間的波形具有相當明顯的差異，故本揭示文件中將對應於不同導程的多筆資料Data1、Data2以及Data3分別輸入至殘差神經網路組110a、110b以及110c，藉此分別訓練對應於不同導程的殘差神經網路組110a、110b以及110c。

舉例而言，若多筆資料Data1對應於肢體導程I，殘差神經網路組110a用以提取肢體導程I的特徵圖組FML1。若多筆資料Data2對應於肢體導程II，殘差神經網路組110b用以提取肢體導程II的特徵圖組FML2。若多筆資料Data3對應於肢體導程III，殘差神經網路組110c用以提取肢體導程III的特徵圖組FML3。並且，殘差神經網路架構G110將殘差神經網路組110a、110b以及110c各自所產生的特徵圖組FML1、FML2及FML3傳送至多頭注意力神經網路120。

需要注意的是，雖然圖式中僅繪示三個殘差神經網路組110a、110b以及110c，但本揭示文件的神經網路架構100可包含更多數量的殘差神經網路組(例如，4、6、8、12個)以分別對應4、6、8或12導程，因此本揭示文件，不以此為限。

多頭注意力神經網路120包含自注意力模組122a、122b以及122c。在功能上，自注意力模組122a、122b以及122c可由相異的疾病區分。並且，在輸入資料對標籤的映射空間中，自注意力模組122a、122b以及122c分別用以接收具有其中一種標籤的特徵圖組。本揭示文件中的標籤可由疾病的種類理解，故自注意力模組122a、122b以及122c分別用以依據不同類型的疾病建構具有相異函數的模型。

舉例而言，若多筆資料Data1及Data2皆具有多個標籤分別對應於房室傳導阻塞、竇性心律不齊以及竇性心律過緩。並且，多筆資料Data3具有一個標籤對應於竇性心律過緩。如此，自注意力模組122a依據多個標籤其中一者(例如，對應於房室傳導阻塞的標籤)，接收具有該標籤的特徵圖組FML1及FML2。自注意力模組122a依據多個標籤其中另一者(例如，對應於竇性心律不齊的標籤)，接收具有該標籤的特徵圖組FML1及FML2。自注意力模組122c依據多個標籤其中再一者(例如，對應於竇性心律過緩的標籤)，接收具有該標籤的特徵圖組FML3。

如此，自注意力模組122a、122b以及122c可分別依據具有特定標籤(對應於特定疾病)的特徵圖組產生相應的輸出特徵圖FMC1、FMC2以及FMC3。因此，特徵圖FMC1會對應於多個標籤其中該者(例如，對應於房室傳導阻塞的標籤)，特徵圖FMC2會對應於多個標籤其中另該者(例如，對應於竇性心律不齊的標籤)，特徵圖FMC3會對應於多個標籤其中再該者(例如，對應於竇性心律過緩的標籤)。換言之，多頭注意力神經網路120用以產生具有不同類別d _class的特徵圖FMC1、FMC2以及FMC3。特徵圖FMC1、FMC2以及FMC3的類別d _class可由疾病區分。

並且，由於自注意力模組122a、122b以及122c是依據不同的輸入訓練，故會具有相異的函數。自注意力模組122a、122b以及122c各自的函數中具有對應於該些疾病其中一者的多個權重。自注意力模組122a、122b以及122c可以各自遮罩數值相對較小的多個權重其中一部分，並相應調整數值相對較大的多個權重其中另一部分的數值，使多個權重其中另該部分的和為1，藉此遮罩質量較低的導程。

舉例而言，自注意力模組122a的函數包含三個權重分別對應於肢體導程I、肢體導程II以及肢體導程III。若對應於肢體導程III的權重小於一臨界值且小於對應於肢體導程I及肢體導程II的權重，則自注意力模組122a將若對應於肢體導程III的權重設定為0，並相應的調整對應於肢體導程I及肢體導程II的權重，從而由質量較高肢體導程I及肢體導程II訓練自注意力模組122a。

在一些實施俐中，自注意力模組122a、122b以及122c的模型可由下列公式表示。

上述公式中的Q、K及V查詢、鍵以及值，可由導程嵌入的線性投影推得。

需要注意的是，雖然圖式中僅繪示三個殘差神經網路組110a、110b以及110c，但本揭示文件的神經網路架構100可包含更多數量的自注意力模組(例如，26、27個)以分別對應26種或27種疾病。因此本揭示文件，不以此為限。

請參閱第3圖，第3圖為本揭露一實施例之殘差神經網路組110的示意圖。第2圖中的殘差神經網路組110a、110b以及110c皆可由第3圖中的殘差神經網路組110理解，並且殘差神經網路組110所輸出的特徵圖組FML亦可被相應的理解為第2圖中的特徵圖組FML1、FML2或FML3。如第3圖所示，殘差神經網路組110包含連續的殘差神經網路Res1~Resn，所述的n可以為任何正整數。在一些實施例中，n可以為4、6、8或其他合適的層數。連續的殘差神經網路Res1~Resn中之第一者(例如，殘差神經網路Res1)用以接收輸入資料Data，連續的殘差神經網路Res1~Resn中之最後一者(例如，殘差神經網路Resn)用以產生特徵圖組FML。

請參閱第4圖，第4圖為本揭露一實施例之殘差神經網路Res的示意圖。第3圖中的殘差神經網路Res1~Resn皆可由第4圖中的殘差神經網路Res理解。如第4圖所示，殘差神經網路Res包含卷積神經網路Convs以及混合層Mixstyle。卷積神經網路Convs包含批量標準化層BN、線性整流函數層ReLU、卷積層Conv以及壓縮和激發層SE。

卷積神經網路Convs用以接收輸入資料Input，並依據輸入資料Input產生第一特徵圖，並且卷積神經網路Convs將第一特徵圖傳送至混合層Mixstyle。

混合層Mixstyle用以打亂第一特徵圖在批次維度中的順序以產生第二特徵圖，並利用混合模型將第一特徵圖以及第二特徵圖混和已產生第三特徵圖。混合模型可由下列

的公式表示。

在上述公式中，若以第一特徵圖代入變數F，並以第二特徵圖代入變數F’，混合模型的計算結果為第三特徵圖。殘差神經網路Res依據將第三特徵圖以及輸入資料Input產生第四特徵圖RESout，並將第四特徵圖RESout作為另一輸入資料傳送至下一層的殘差神經網路。亦即，並第四特徵圖RESout作為輸入資料傳送連續的殘差神經網路其中之一第二者。

在上述公式中，混合層Mixstyle將第一特徵圖以及第二特徵圖混和而形成具有新風格的第三特徵圖。

以及

可理解為F及F’的平均值，

以及

可理解為F及F’的標準值。

及

為仿射變換係數。並且，在公式中的

，其中

可由0.1代入。

請參閱第5圖，第5圖為本揭露一實施例之導程的示意圖。第5圖所示的導程包含肢體導程aVR、aVF、aVL、I、II以及III以及胸導程V1~V6。一般而言，由於機器是由包含12導程的資料所訓練而成，故機器在測試及使用時通常會需要包含完整的12導程的資料。

請參閱第6圖，第6圖為本揭露一實施例之導程的示意圖。第6圖所示的導程包含肢體導程aVL及I以及胸導程V1、V2、V3、V5及V6。本揭示文件利用混合層MixStyle降低資料的域偏差，並利用多頭注意力神經網路120將對應於不同疾病的特徵圖組FML1、FML2及FML3分類至訓練自注意力模組122a、122b以及122c，故自注意力模組122a、122b以及122c可以較少的導程判斷相應的疾病。因此，神經網路架構100可以利用部份的導程(例如，肢體導程aVL及I以及胸導程V1、V2、V3、V5及V6)即可判斷特定的疾病。

請參閱第7圖，第7圖為本揭露一實施例之卷積神經網路訓練方法200的示意圖。卷積神經網路訓練方法200包含步驟S210~S250。

在步驟S210中，接收對應於複數個導程的複數筆資料。由多個殘差神經網路組接收對應於複數個導程的複數筆資料。

在步驟S220中，依據該些筆資料產生分別對應於該些導程的複數個特徵圖組。由多個殘差神經網路組依據該些筆資料產生分別對應於該些導程的複數個特徵圖組。

在步驟S230中，依據該些特徵圖組的複數個標籤將該些特徵圖組分類至複數個自注意力模組。由多頭注意力神經網路依據該些特徵圖組的複數個標籤將該些特徵圖組分類至複數個自注意力模組。並且，複數個標籤分別對應於複數種疾病。

在步驟S240中，依據該些特徵圖組產生複數個輸出特徵圖。由多頭注意力神經網路依據該些特徵圖組產生複數個輸出特徵圖。

在步驟S250中，依據該些輸出特徵圖產生複數個輸出值。由全連接神經網路依據該些輸出特徵圖產生複數個輸出值。並且，該些輸出值分別對應於該些疾病。

綜上所述，本案利用混和層MixStyle減少了資料的來源域偏差，並利用多頭注意力神經網路120依據不同的疾病產生相異的函數，以提升針對不同疾病的判別精確度，並將其中質量較低的權重調整為0，從而減少使用上所需的導程數量。

雖然本案已以實施方式揭露如上，然其並非限定本案，任何熟習此技藝者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾，因此本案之保護範圍當視後附之申請專利範圍所界定者為準。

為使本揭露之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附符號之說明如下：

100:神經網路架構

110,110a,110b,110c:殘差神經網路組

120:多頭注意力神經網路

122a,122b,122c:自注意力模組

130:全連接神經網路

200:卷積神經網路訓練方法

1000:電子裝置

1100:儲存裝置

1200:處理器

G110:殘差神經網路架構

Res1~Resn,Res:殘差神經網路

Data,Data1,Data2,Data3:多筆資料

FML1,FML2,FML3,FML:特徵圖組

FMC1,FMC2,FMC3:特徵圖

Input:輸入資料

OUT1,OUT2,OUT3:輸出值

dclass:類別

Convs:卷積神經網路

BN:批量標準化層

ReLU:線性整流函數層

Conv:卷積層

SE:壓縮和激發層

aVR,aVF,aVL,I,II,III:肢體導程

V1~V6:胸導程

S210~S250:步驟

為使本揭露之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下： 第1圖為本揭露一實施例之電子裝置的示意圖。 第2圖為本揭露一實施例之神經網路架構的示意圖。 第3圖為本揭露一實施例之殘差神經網路組的示意圖。 第4圖為本揭露一實施例之殘差神經網路的示意圖。 第5圖為本揭露一實施例之導程的示意圖。 第6圖為本揭露一實施例之導程的示意圖。 第7圖為本揭露一實施例之卷積神經網路訓練方法的示意圖。

100:神經網路架構

110a,110b,110c:殘差神經網路組

120:多頭注意力神經網路

122a,122b,122c:自注意力模組

130:全連接神經網路

G110:殘差神經網路架構

Data1,Data2,Data3:多筆資料

FML1,FML2,FML3:特徵圖組

FMC1,FMC2,FMC3:特徵圖

OUT1,OUT2,OUT3:輸出值

d_class:類別

Claims (9)

1. 一種電子裝置，包含：一處理器；以及一儲存裝置，該儲存裝置用以儲存複數個殘差神經網路組以及一多頭注意力神經網路，其中該多頭注意力神經網路包含複數個自注意力模組，其中該處理器用以：將對應於複數個導程的複數筆資料分別輸入至複數個殘差神經網路組以產生分別對應於該些導程的複數個特徵圖組，其中該些殘差神經網路組中每一者包含：複數個連續的殘差神經網路，其中該些連續的殘差神經網路其中之一第一者包含：一卷積神經網路，用以依據對應於該些導程其中一者的該些筆資料其中一者，產生一第一特徵圖；以及一混合層，用以：打亂該第一特徵圖在批次維度中的順序以產生一第二特徵圖；以及依據一混合模型將該第一特徵圖以及該第二特徵圖混和以產生一第三特徵圖，其中該些連續的殘差神經網路其中之該第一者依據該第三特徵圖以及該些筆資料其中該者產生一第四特徵圖作為一輸入資料傳送至該些連續的殘差神經網路其中之一第二者；依據該些特徵圖組的複數個標籤將該些特徵圖組分類至該些自注意力模組；以及依據該些特徵圖組產生複數個輸出特徵圖，其中該些 輸出特徵圖分別對應於該些標籤。
2. 如請求項1所述之電子裝置，其中該些自注意力模組各自具有對應於該些導程的複數個權重。
3. 如請求項1所述之電子裝置，其中該儲存裝置更用以儲存一全連接神經網路，其中該處理器用以：將該些輸出特徵圖輸入至一全連接神經網路以分別依據該些輸出特徵圖產生複數個輸出值，其中該些輸出值分別對應於該些標籤。
4. 如請求項1所述之電子裝置，其中該混合模型為MixStyle(F,F')，其中，

   

   γ _mix =λσ(F)+(1-λ)σ(F')；β _mix =λμ(F)+(1-λ)μ(F')；其中若以該第一特徵圖代入該混合模型中的變數F，並以該第二特徵圖代入該混合模型中的變數F’，該混合模型的計算結果為該第三特徵圖。
5. 如請求項1所述之電子裝置，其中該些連續的殘差神經網路其中之最後一者用以產生該些特徵圖組其中一者。
6. 如請求項1所述之電子裝置，其中該卷積神經網路包含批量標準化層、線性整流函數層、卷積層以及壓縮和激發層。
7. 如請求項1所述之電子裝置，其中該些自注意力模組各自遮罩數值相對較小的該些權重其中一部分，使該些權重其中該部分的和為0。
8. 如請求項7所述之電子裝置，其中在該些自注意力模組各自遮罩數值相對較小的該些權重其中該部分之後，該些自注意力模組相應調整數值相對較大的該些權重其中另一部分的數值。
9. 一種卷積神經網路訓練方法，包含：接收對應於複數個導程的複數筆資料；將對應於該些導程的複數筆資料分別輸入至複數個殘差神經網路組各自的複數個連續的殘差神經網路以產生分別對應於該些導程的複數個特徵圖組，其中該些連續的殘差神經網路其中之一第一者包含一卷積神經網路以及一混合層，其中產生該些特徵圖組其中一者的步驟包含：由該卷積神經網路，依據對應於該些導程其中一者的該些筆資料其中一者產生一第一特徵圖；由該混合層，打亂該第一特徵圖在批次維度中的順 序以產生一第二特徵圖；由該混合層，依據一混合模型將該第一特徵圖以及該第二特徵圖混和以產生一第三特徵圖；以及由該些連續的殘差神經網路其中之該第一者，依據該第三特徵圖以及該些筆資料其中該者產生一第四特徵圖作為一輸入資料傳送至該些連續的殘差神經網路其中之一第二者；依據該些特徵圖組的複數個標籤將該些特徵圖組分類至複數個自注意力模組，其中該些自注意力模組具有相異的函數，並且其中該些標籤分別對應於複數種疾病；以及依據該些特徵圖組產生複數個輸出特徵圖。

Images