TWI734222B

TWI734222B - 結合腦波與人工智慧進行閱讀障礙診斷之系統

Info

Publication number: TWI734222B
Application number: TW108137469A
Authority: TW
Inventors: 李仕筠; 孫光天
Original assignee: 孫光天
Priority date: 2019-10-17
Filing date: 2019-10-17
Publication date: 2021-07-21
Also published as: TW202117743A

Abstract

本發明提供一種結合腦波與人工智慧進行閱讀障礙診斷之系統，其包含：複數貼附於受測者頭部之腦波偵測單元，及電性連接該等腦波偵測單元之一中央處理裝置，該中央處理裝置接收受測者在一事件產生時之腦波訊號，並進行處理及轉換成事件相關電位，並將該事件相關電位依該等腦波偵測單元的設置位置而重新編碼為一腦波事件相關電位二維特徵圖，該中央處理裝置的一類神經網路模組再利用該腦波事件相關電位二維特徵圖進行訓練與學習後，以建立完成該結合人工智慧進行閱讀障礙診斷之系統。

Description

結合腦波與人工智慧進行閱讀障礙診斷之系統

本發明有關於一種結合腦波與人工智慧技術來進行閱讀障礙診斷之系統，尤指偵測一事件刺激時腦波所偵測到的一維維度的事件相關電位，先將其編碼成二維維度的腦波事件相關電位二維特徵圖後，利用該腦波事件相關電位二維特徵圖來訓練人工智慧類神經網路，藉以建置一結合腦波與人工智慧的類神經網路來進行閱讀障礙診斷之系統。

傳統閱讀障礙的判定通常是需要經過繁複的量表、測驗、作業單及學校學業表現來進行綜合評估，因此，在蒐集資料的過程中需耗時一年以上的時間。且過程中容易因為施測者對於受測者的不同期待，及對於學習材料的描述與分析有差異，而產生判斷誤差，進而影響受測者是否會被判定為學習障礙，所以傳統閱讀障礙的判定不僅需要耗費較長時間與人力，而且還會延誤有閱讀障礙者進行學習治療的最佳處置時機。

腦波訊號是由大腦內成千上億的神經元相互連結所產生的電位變化，因此，近年來不僅有人開始研究如何透過腦波儀來觀察受測者針對一外界刺激後其大腦的腦波訊號的反應，更有人將腦波儀與人工智慧中的人工神經網路（Artificial Neural Network）相結合，透過人工神經網路來分析與分類受測者的腦波訊號，藉此，可透過腦波訊號的分析來輔助醫生篩檢出受測者是否具有癲癇等其他腦部疾病，並做為後續追蹤檢查之依據。

是以，針對上述傳統閱讀障礙的判定之問題，要如何開發一種可結合腦波訊號及利用具人工神經網路的人工智慧學習系統，使此人工智慧學習系統經過訓練與學習後，能依受測者在一事件發生時所被偵測的腦波訊號來判斷此受測者是否為閱讀障礙者，即為所欲改善之課題所在。

本發明之目的，在於解決傳統閱讀障礙的判定時間過長之問題，本發明係利用事件相關電位（Event-Related Potentials, ERPs）之原理，誘導與偵測受測者在進行閱讀測驗試題時，獲得受測者在測驗試題的刺激上所產生的腦波訊號，並將此腦波訊號進行處理及轉換成事件相關電位，再將不同腦波偵測單元之事件相關電位，以相鄰時間、空間進行編碼，產生腦波事件相關電位二維特徵圖的圖像特徵資料，再以此腦波事件相關電位二維特徵圖來訓練人工智慧神經網路模式，使其先學習如何辨識有閱讀障礙者及無閱讀障礙者之腦波事件相關電位二維特徵圖，進而能較精確的判斷受測者是否為閱讀障礙者。

為達上述目的，本發明提供一種結合腦波與人工智慧進行閱讀障礙診斷之系統，其包含：複數腦波偵測單元，係依國際10-20制電極標記法貼附於受測者頭部，以偵測受測者針對至少一事件產生時的腦波訊號；以及一中央處理裝置，包含一訊號處理單元及一電性連接該訊號處理單元的運算單元，其中，該訊號處理單元電性連接該等腦波偵測單元，並將所接收到受測者的腦波訊號進行處理及轉換成複數事件相關電位（Event-Related Potentials, ERPs），而該運算單元包含有一輸入模組、一中央處理模組、一類神經網路模組及一輸出模組，該中央處理模組並分別電性連接該輸入模組、該類神經網路模組及該輸出模組，該運算單元接收該等事件相關電位後，該中央處理模組依該等腦波偵測單元的設置位置與該等事件相關電位其產生的時間點而重新編碼並轉換成該輸入模組所需的一腦波事件相關電位二維特徵圖，該類神經網路模組將該腦波事件相關電位二維特徵圖進行運算處理後，再輸出至該輸出模組顯示判斷結果；其中，該類神經網路模組接收複數筆該腦波事件相關電位二維特徵圖並進行複數次的訓練與學習後，以建立完成該結合腦波與人工智慧進行閱讀障礙診斷之系統，藉此，利用該結合腦波與人工智慧進行閱讀障礙診斷之系統以診斷受測者是否為閱讀障礙者。

進一步地，該類神經網路模組並包含至少一卷積層、至少一ReLU層、至少一池化層和至少一全連接層。

進一步地，該類神經網路模組係包含三個全連接層，該等全連接層包含至少一sigmoid函數、至少一softmax函數或其組合。

進一步地，該等事件相關電位係監測每一該腦波偵測單元其每一該事件產生之N200、P300、N400、P600、N2P3及P3N4之該腦波訊號。

進一步地，該腦波偵測單元設置位置係包含A1、A2、Fp1、Fp2、C3、C4、Fz、Cz及Pz的九個位置。

進一步地，該A1及該A2的位置係黏貼於受測者左、右耳垂做為參考電位，該Fp1及該Fp2的位置係黏貼於受測者眼睛旁側與下方做為過濾受測者眨眼雜訊。

進一步地，該中央處理模組將該腦波事件相關電位二維特徵圖正規化為灰階圖像，其灰階圖像值的範圍為0~255的數值。

進一步地，該中央處理模組將該腦波事件相關電位二維特徵圖正規化為灰階圖像，其灰階圖像值的範圍為0~1的數值。

進一步地，該類神經網路模組會依該輸出模組判斷結果的正確與否而修正該等全連接層的一計算權重。

是以，本發明較先前技術具有以下有益功效：

1、本發明先將受測者的腦波訊號轉換為腦波事件相關電位二維特徵圖後，並於中央處理裝置的該類神經網路模組進行學習辨識，使該類神經網路模組透過多組包含閱讀障礙者與無閱讀障礙者的複數筆該腦波事件相關電位二維特徵圖的訓練與學習後，受測者可以經此閱讀障礙診斷系統來判斷是否為閱讀障礙者，縮短閱讀障礙者其診斷確診的時間及避免人為的不客觀所產生的誤判情事。

2、本發明將傳統的一維維度的腦波訊號的事件相關電位資料在考慮時間與空間相關性後，將其重新編碼為二維維度的腦波事件相關電位二維特徵圖，再藉由具卷積層的類神經網路模組來進行訓練與學習，並做為判斷是否為閱讀障礙的基準，藉此，建立一高精度且即時化之人工智慧閱讀障礙診斷系統。

茲就本申請案的技術特徵暨操作方式舉數個較佳實施態樣，並配合圖示說明謹述於后，俾提供審查參閱。再者，本發明中之圖式，為便於說明其比例未必按實際比例繪製，圖式中之比例並不用以限制本發明所欲請求保護之範圍。

請參照第1圖至第3圖所示，本發明係關於一種結合腦波與人工智慧進行閱讀障礙診斷之系統，係透過偵測受測者1在閱讀測驗時所量測到的腦波訊號，將此腦波訊號重新編碼為二維圖像的資料，再利用此二維圖像的資料來訓練具人工智慧的類神經網路；當此人工智慧類神經網路學習完成後，將完成能診斷受測者1的腦波訊號是否為閱讀障礙者的診斷系統，其包含：複數腦波偵測單元10及一電性連接該等腦波偵測單元10之中央處理裝置20，其中：

該等腦波偵測單元10，係依國際10-20制電極標記法貼附於受測者1頭部，以偵測受測者1針對一事件刺激時，例如：閱讀測驗等事件刺激，所產生的腦波訊號，本實施例之該等腦波偵測單元10其設置位置係包含A1、A2、Fp1、Fp2、C3、C4、Fz、Cz及Pz等九個位置，為避免該等腦波偵測單元10在第1圖中產生過多標號而產生混亂情事，因此在第1圖中僅先選擇其中兩個該腦波偵測單元10給予標號作為代表，其中，該A1及該A2的位置係黏貼於受測者1左、右耳垂做為參考電位，該Fp1及該Fp2的位置係黏貼於受測者1眼睛旁側與下方做為過濾受測者1眨眼雜訊，本實施例中，該事件是指受測者1進行閱讀測驗時進行受測者1的腦波訊號的量測，但不以此為限。

該中央處理裝置20，包含一訊號處理單元21及一電性連接該訊號處理單元21的運算單元22，其中，該訊號處理單元21電性連接該等腦波偵測單元10，並將所接收到受測者1的腦波訊號進行處理及轉換成複數事件相關電位ERPs（Event-Related Potentials, ERPs），請再參閱第1圖所示，而該運算單元22包含有一輸入模組221、一中央處理模組222、一類神經網路模組223及一輸出模組224，該中央處理模組222並分別電性連接該輸入模組221、該類神經網路模組223及該輸出模組224，該運算單元22接收該等事件相關電位ERPs後，該中央處理模組222依該等腦波偵測單元10的設置位置與該等事件相關電位ERPs其產生的時間點而重新編碼並轉換成該輸入模組221所需的一腦波事件相關電位二維特徵圖2211，請再參閱第3圖所示，而該類神經網路模組223包含一卷積層2231、一ReLU（Rectified Linear Unit, ReLU）層2232、一池化層2233與三個全連接層2234，藉此，將該腦波事件相關電位二維特徵圖2211依序經由該卷積層2231、該ReLU層2232、該池化層2233及該等全連接層2234的運算處理後，再輸出至該輸出模組224顯示判斷結果，而本實施例中有一個該全連接層2234是含一sigmoid函數，另一該全連接層2234是含一softmax函數，但不以此為限，也就是該等全連接層2234可以都含sigmoid函數，或都含softmax函數，亦或者如本實施例是各含有一sigmoid函數與一softmax函數在該全連接層2234中，藉此，可以調整每一該全連接層2234的一計算權重W。

其中，該類神經網路模組223接收複數筆該腦波事件相關電位二維特徵圖2211並進行複數次的訓練與學習後，該類神經網路模組223會依該輸出模組224判斷結果的正確與否而修正該等全連接層2234中的該計算權重W，以建立完成該結合人工智慧進行閱讀障礙診斷之系統，藉此，利用此系統以診斷受測者1是否為閱讀障礙者。

為了更進一步地瞭解本發明如何結合腦波與人工智慧來進行閱讀障礙的診斷系統設計，請再參閱第1圖與第2圖所示，該中央處理裝置20會透過該等腦波偵測單元10來偵測受測者1的腦波訊號，監測受測者1在進行閱讀測驗之該事件時，受測者1每一該腦波偵測單元10接收在測驗試題刺激時所產生的腦波訊號，並將此腦波訊號所產生的電位或電位差透過該訊號處理單元21的處理，使其可以依其產生時間而轉為該事件相關電位ERPs，其中，該事件相關電位ERPs可以是受測者1針對同一測驗試題在出現複數次的刺激時其腦波訊號經平均化而獲得之，或者在不同測驗試題的刺激時其偵測到的腦波訊號，亦或者是上述的組合獲得之，本實施例是偵測受測者1在接受刺激後其N200、P300、N400、P600、N2P3及P3N4之該腦波訊號，而N200代表在200毫秒左右之負向電位，P600代表在600毫秒左右之正向電位，N400代表在400毫秒左右之負向電位，N2P3代表在300毫秒左右之正向電位與200毫秒左右之負向電位間的電位差，P3N4代表在300毫秒左右之正向電位與400毫秒左右之負向電位間的電位差，再由該運算單元22的該中央處理模組222依該等腦波偵測單元10的不同設置位置與該事件相關電位ERPs其時間先後關係重新編碼，而產生受測者1於此閱讀測驗之該事件中的該腦波事件相關電位二維特徵圖2211，又，該中央處理模組222將該腦波事件相關電位二維特徵圖2211正規化為灰階圖像，而灰階圖像值其正規化的範圍為0~255的數值，或者，該灰階圖像值其正規化的範圍為0~1的數值；

請再參閱第1圖至第3圖所示，其中，本發明實施例是先利用複數筆已知受測者1是具閱讀障礙腦者或不具閱讀障礙者之腦波訊號進行機器學習（machine learning），因此，該類神經網路模組223將複數筆該腦波事件相關電位二維特徵圖2211依序經該卷積層2231、該ReLU層2232、該池化層2233及該等全連接層2234進行運算處理，並將判續結果輸出至該輸出模組224，該中央處理模組222將判讀結果與實際結果進行比較，該類神經網路模組223再依輸出模組224的判讀結果的正確性來修改該等全連接層2234的該計算權重W，該類神經網路模組223進行複數次的訓練與學習，及修正該等全連接層2234的該計算權重W後，可增加此系統其診斷的正確率，藉此，待該類神經網路模組223將複數筆已知結果之該腦波事件相關電位二維特徵圖2211完成判讀結果之訓練與學習後，即建置完成該結合人工智慧進行閱讀障礙診斷之系統。隨後，再將其他受測者的該腦波訊號，經編碼成該腦波事件相關電位二維特徵圖2211，再透過該類神經網路模組223之運算，將結果於輸出模組224顯示即可判斷此受測者1是否為閱讀障礙者。

並請參閱第4圖所示，在相同訓練次數下，本發明之該類神經網路模組是具有該卷積層2231、該ReLU層2232、該池化層2233及該等全連接層2234，所以在利用二維維度的該腦波事件相關電位二維特徵圖222進行訓練後，其診斷受測者是否為閱讀障礙者的正確率值是高於傳統利用一維維度的腦波訊號進行訓練的多層認知神經網路（Multilayer perceptron, MLP）的正確率值，請參閱第5圖所示可知，本發明大致在第200次時對於受測者1是否為閱讀障礙者的判斷正確率大致接近1，也就是相當於有100%的正確率，但在相同訓練次數下，傳統多層認知神經網路MLP的判斷正確率則還不到0.9，也就是相當於只有90%的正確率，因此，本發明透過該訊號處理單元21將腦波偵測單元10所偵測的腦波訊號資料轉換為一維維度的複數事件相關電位ERPs，再由該中央處理模組222將其重新編碼為二維維度的該腦波事件相關電位二維特徵圖2211，再經由該類神經網路模組223的訓練與學習後，可成功建置一即時判讀出受測者是否有閱讀障礙問題的該結合人工智慧進行閱讀障礙診斷之系統。

茲，再將本發明之特徵及其可達成之預期功效陳述如下：

本發明之結合腦波與人工智慧進行閱讀障礙診斷之系統，先將受測者的腦波訊號由一維維度的該事件相關電位ERPs重新編碼而轉換為二維維度的該腦波事件相關電位二維特徵圖2211後，藉由該中央處理裝置20的該類神經網路模組223的訓練與學習，藉此，該類神經網路模組223透過訓練與學習時，會修正該等全連接層2234的該計算權重W而增加其判斷的正確性，因此可縮短診斷受測者是否為閱讀障礙者的診斷時間，也避免人為判斷的不客觀所產生的誤判情事。

以上已詳細說明本發明之內容，惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即凡依本發明申請專利範圍所作之均等變化與修飾，皆應仍屬本發明之專利涵蓋範圍內。

1:受測者 10:腦波偵測單元 20:中央處理裝置 21:訊號處理單元 22:運算單元 221:輸入模組 2211:腦波事件相關電位二維特徵圖 222:中央處理模組 223:類神經網路模組 2231:卷積層 2232:ReLU層 2233:池化層 2234:全連接層 224:輸出模組 ERPs:事件相關電位 W:計算權重

第1圖：為本發明之架構示意圖。第2圖：為本發明之運作流程示意圖。第3圖：為本發明之類神經網路運算之架構示意圖。第4圖：為本發明與傳統類神經網路多層認知模式(MLP)在150次與300次之訓練次數時其正確率比較圖。第5圖：為本發明與傳統MLP 模式在相同訓練次數時之正確率變化曲線圖。

1:受測者

10:腦波偵測單元

20:中央處理裝置

21:訊號處理單元

22:運算單元

221:輸入模組

2211:腦波事件相關電位二維特徵圖

222:中央處理模組

223:類神經網路模組

224:輸出模組

ERPs:事件相關電位

Claims

一種結合腦波與人工智慧進行閱讀障礙診斷之系統，其包含：複數腦波偵測單元，係依國際10-20制電極標記法貼附於受測者頭部，以偵測受測者針對至少一事件產生時的腦波訊號；以及一中央處理裝置，包含一訊號處理單元及一電性連接該訊號處理單元的運算單元，其中，該訊號處理單元電性連接該等腦波偵測單元，並將所接收到受測者的腦波訊號進行處理及轉換成複數事件相關電位（Event-Related Potentials, ERPs），而該運算單元包含有一輸入模組、一中央處理模組、一類神經網路模組及一輸出模組，該中央處理模組並分別電性連接該輸入模組、該類神經網路模組及該輸出模組，該運算單元接收該等事件相關電位後，該中央處理模組依該等腦波偵測單元的設置位置與該等事件相關電位其產生的時間點而重新編碼並轉換成該輸入模組所需的一腦波事件相關電位二維特徵圖，該類神經網路模組將該腦波事件相關電位二維特徵圖進行運算處理後，再輸出至該輸出模組顯示判斷結果；其中，該類神經網路模組接收複數筆該腦波事件相關電位二維特徵圖並進行複數次的訓練與學習後，以建立完成該結合人工智慧進行閱讀障礙診斷之系統。
如申請專利範圍第1項所述之結合腦波與人工智慧進行閱讀障礙診斷之系統，其中，該類神經網路模組並包含至少一卷積層、至少一ReLU層、至少一池化層和至少一全連接層。
如申請專利範圍第2項所述之結合腦波與人工智慧進行閱讀障礙診斷之系統，其中，該類神經網路模組係包含三個全連接層，該等全連接層包含至少一sigmoid函數、至少一softmax函數或其組合。
如申請專利範圍第1項所述之結合腦波與人工智慧進行閱讀障礙診斷之系統，其中，該等事件相關電位係監測每一該腦波偵測單元其每一該事件產生之N200、P300、N400、P600、N2P3及P3N4之該腦波訊號。
如申請專利範圍第1項所述之結合腦波與人工智慧進行閱讀障礙診斷之系統，其中，該腦波偵測單元設置位置係包含A1、A2、Fp1、Fp2、C3、C4、Fz、Cz及Pz的九個位置。
如申請專利範圍第5項所述之結合腦波與人工智慧進行閱讀障礙診斷之系統，其中，該A1及該A2的位置係黏貼於受測者左、右耳垂做為參考電位，該Fp1及該Fp2的位置係黏貼於受測者眼睛旁側與下方做為過濾受測者眨眼雜訊。
如申請專利範圍第1項所述之結合腦波與人工智慧進行閱讀障礙診斷之系統，其中，該中央處理模組將該腦波事件相關電位二維特徵圖正規化為灰階圖像，其灰階圖像值的範圍為0~255的數值。
如申請專利範圍第1項所述之結合腦波與人工智慧進行閱讀障礙診斷之系統，其中，該中央處理模組將該腦波事件相關電位二維特徵圖正規化為灰階圖像，其灰階圖像值的範圍為0~1的數值。
如申請專利範圍第2項所述之結合腦波與人工智慧進行閱讀障礙診斷之系統，其中，該類神經網路模組會依該輸出模組判斷結果的正確與否而修正該等全連接層的一計算權重。