TWI569210B - Non - invasive brain wave eye movement input control device - Google Patents

Description

非侵入式腦波眼動輸入控制裝置

本發明是有關於一種裝置，特別是指一種非侵入式腦波眼動輸入控制裝置。

在不同類型的身心障礙族群裡，通常有一種類型，其可能因為肢體退化而無法行動，但大腦卻仍保有正常的思考。也可能因為病痛或先天性疾病而導致某些器官無法正確使用，這些人在學習上，可能比一般人快速，卻因為肢體或器官上的障礙而使得日常生活受阻，而有時候這些人往往由於器官退化或病痛纏身無法言語，實在有必要一種輔助器具或者輸入裝置來幫助這些人。

尤其是對於那些眼睛雖然可以自由轉動但四肢癱瘓無法使用意識去自由控制行動的身心障礙者來說，例如脊髓小腦萎縮症患者(Spinocerebellar ataxia,SCA)或者肌萎縮性脊髓側索硬化症患者(Amyotrophic Lateral Sclerosis,ALS)，雖然他們可以從聽覺或視覺來接收到外界的資訊，卻無法利用言語或使用肢體語言來回應醫生或家人，因此如果可以提供一種裝置給這一類型的身心障礙者使用，即可讓身心障礙者與外界環境產生更為有效的溝通。

雖然目前已有開發出來腦波輸入裝置，來協助身心障礙者與外界溝通，但是這種腦波輸入裝置皆為被動式輸入再轉譯成命令輸出，所謂的被動式是指視覺刺激誘發電位法，以視覺刺激誘發，例如以雙眼注視一個東西後，人腦之下視丘區會與所注視之物達到一致的頻率，然後再輸出控制命令，此種被動式輸入通常需要外界予以 刺激，並不能由個人予以主動控制。

因此，本發明之主要目的，是提供一種非侵入式腦波眼動輸入控制裝置，以提供給身心障礙者主動運用眼球轉動來輸出控制命令，藉以與外界環境作為溝通之用。

本發明一種非侵入式腦波眼動輸入控制裝置，是用以控制至少一種諸元該裝置包含一偵測器及一處理器，該偵測器用以偵測眼球的動作，以產生相對應的訊號封包，該處理器具有一接收單元，接收來自該偵測器的訊號封包；一解譯單元，將訊號封包予以解譯分析；一分類單元，將解譯分析後的結果，分類為多數種類型的眼球動作；及一配對單元，將各別眼球動作配對至相對應的諸元。

本發明的另一技術手段，是在於該分類單元將眼球動作分類為五種類型，分別為看上、看下、看左、看右，以及自主性眨眼。

本發明的再一技術手段，是在於該裝置用來輸入文字，所述文字依據其筆畫順序，可區分出至少一個筆畫諸元，該配對單元是將五種類型的眼球動作配對至相對應的筆畫諸元，所述筆畫諸元包含有橫(－)、豎(|)、撇()、點(、)、折(乛)。

本發明的又一技術手段，是在於該分類單元更可以將眼球動作中的自主性眨眼，分類為自主性眨眼一次，與自主性眨眼兩次。

本發明的另一技術手段，是在於該配對單元是將自主性眨眼一次的眼球動作配對至相對應的筆畫諸元，自主性眨眼兩次的眼球動作配對至筆畫諸元結束輸入。

本發明的再一技術手段，是在於該偵測器 是單極點腦波無線耳機，用以偵測眼球轉動時產生的電位。

本發明的又一技術手段，是在於該偵測器是光學元件，用以偵測眼球的動作。

本發明的另一技術手段，是在於該偵測器與該處理器是兩個互相獨立的設備，且該處理器的接收單元是透過有線或無線傳輸，接收來自該偵測器的訊號封包。

本發明的另一技術手段，是在該裝置更包含一組合單元，將該配對單元依據各別眼球動作配對至相對應的筆畫諸元，予以依序組合而產生對應文字。

本發明的又一技術手段，是更包含一顯示器，用以將該處理器之組合單元所產生的文字予以顯示。

本發明的再一技術手段，是在於該裝置用來控制車輛移動，車輛移動可區分出至少一個移動諸元更包含一顯示器，用以將該處理器之組合單元所產生的文字予以顯示。

本發明的另一技術手段，是在於該配對單元是將五種類型的眼球動作配對至相對應的移動諸元，所述移動諸元包含有往前、往後、左轉、右轉、停止。

本發明之有益功效在於，當本發明之裝置應用在文字輸入領域或是車輛控制領域時，對於無法利用手寫、言語、電腦打字等方式進行溝通的使用者來說，藉由本發明之裝置，可以主動運用眼球轉動來輸出控制命令，進一步完成文字輸入與車輛控制，進而可以與外界達到有效的溝通方式與自由移動。

1‧‧‧偵測器

2‧‧‧處理器

21‧‧‧接收單元

22‧‧‧解譯單元

23‧‧‧分類單元

24‧‧‧配對單元

25‧‧‧組合單元

3‧‧‧顯示器

圖1是一系統方塊圖，說明本發明非侵入式腦波眼動輸入控制裝置的較佳實施例；圖2是一步驟流程圖，說明偵測器採用ThinkGear^TM的晶片處理流程； 圖3是一鍵樹圖，說明中文字集合X1={今，天，天，氣，很，好}所建立的標準鍵樹；及圖4是另一鍵樹圖，說明中文字「天夫」、「各名」兩組字建立出的中文詞彙鍵樹。

有關本發明之相關申請專利特色與技術內容，在以下配合參考圖式之較佳實施例的詳細說明中，將可清楚的呈現。

參閱圖1，為本發明非侵入式腦波眼動輸入控制裝置，是用以控制至少一種諸元，本較佳實施例是應用在文字輸入的技術領域，因此，諸元是定義為筆畫諸元，詳細地說，所述文字依據其筆畫順序，可區分出至少一個筆畫諸元，該裝置包含一偵測器1及一處理器2，該偵測器1用以偵測眼球的動作，以產生相對應的訊號封包，該處理器2具有一接收單元21，接收來自該偵測器1的訊號封包；一解譯單元22，將訊號封包予以解譯分析；一分類單元23，將解譯分析後的結果，分類為多數種類型的眼球動作；一配對單元24，將各別眼球動作配對至相對應的筆畫諸元；及一組合單元25，將所述筆畫諸元予以依序組合而產生對應文字。

其中，該分類單元23將眼球動作分類為五種類型，分別為看上、看下、看左、看右，以及自主性眨眼。另外，該配對單元24是將五種類型的眼球動作配對至相對應的筆畫諸元，所述筆畫諸元包含有橫(－)、豎(|)、撇()、點(、)、折(乛)。上述該分類單元23雖然將眼球動作分類為五種類型，然而實際實施時，可以依據該偵測器1及該處理器2的能力所及，分類擷取更多種類型的眼球動作，所以並不侷限於本實施例所述及的五種形態。

本實施例之該偵測器1則是採用「單極點 腦波無線耳機」，用以偵測眼球轉動時產生的電位，該單極點腦波無線耳機為Neurosky(神念科技)所製造生產的腦波耳機，單極點腦波無線耳機是利用不銹鋼合金乾式電極傳感器採集大腦產生的生物電位訊號送入ThinkGear^TM晶片，如圖2所示，晶片處理技術是將原始腦電波信號(electroencephalograms,EEG)的採集、放大、A/D轉換、濾波、過濾環境噪音及肌肉組織運動的干擾、數據處理及分析等功能。其輸出的資料有兩種，包括了Raw EEG以及Long EEG。Raw EEG包含原始腦波資料，而Long EEG則是包含了分析後的EEG各項資訊，Raw EEG是由開頭碼、長度碼、資料內容與檢查碼所組成，資料長度分別為2byte、1byte、4byte、1byte，至於Long EEG則是由開頭碼、長度碼、資料內容與檢查碼所組成，資料長度分別為2byte、1byte、32byte、1byte。

本實施例之該處理器2則使用筆記型電腦，是跟該偵測器1分屬兩個互相獨立的設備，且該處理器2的接收單元21是透過有線或無線傳輸，接收來自該偵測器1的訊號封包，以本實施例來說，筆記型電腦與單極點腦波無線耳機之間是採用無線傳輸的其中一種方式，即採用藍芽傳輸。

一般來說，筆記型電腦即具有訊號接收晶片、處理晶片等IC，可以用來擔任該接收單元21、解譯單元22、分類單元23、配對單元24、組合單元25等功能，詳如下述：受測者佩戴單極點腦波無線耳機，以量測眼球轉動時產生EOG的電位，藉此偵測眼球看上、看下、看左、看右的移動以及自主性眨眼的訊號，再透過藍芽與該處理器2之該接收單元21進行連接，至於該解譯單元22則是利用程式語言編譯程式介面，將接收到的訊號封包進行解析取得原始的訊號數值，再將各種眼動特徵進行分析，最後利用該分類單元23將分析的結果當做判斷眼睛動作的 條件後即可進行眼動分類。

除此之外，本發明係擬定了一套演算法的分類方式，在此使用閥值偵測法(Set Threshold)、四象限特徵法(Four-Quadrant Characteristics)、或是八象限特徵法(Eight-Quadrant Characteristics)，將眼動訊號看上、看下、看左、看右的移動以及自主性眨眼的波形特徵擷取出來，以利後續經由腦機介面(Brain-computer interface，BCI)的輔助進行盲打輸入。

較佳地，本實施例之該分類單元23又進一步可以將眼球動作中的自主性眨眼，分類為自主性眨眼一次，與自主性眨眼兩次。因此，該配對單元24便能夠將眼球看上、看下、看左、看右的移動以及自主性眨眼一次的訊號，恰好可以對應到橫(－)、豎(|)、撇()、點(、)、折(乛)五種筆畫諸元，至於自主性眨眼兩次的眼球動作則可以配對至筆畫諸元結束輸入的訊號。

如何以五種筆畫諸元進行文字的輸入模式，則如下所述：

首先，由使用者依據一個文義的筆畫順序，依序擷取筆畫諸元，該文義包含至少一個前字與至少一個後字，並採用各種眼球動作所對應的橫(－)、豎(|)、撇()、點(、)、折(乛)這五種筆畫字根來作為輸入法的基本輸入符號，再搭配鍵樹(Trie)的概念來建立中文字庫。

請參閱圖3，以便於說明鍵樹概念，鍵樹也被稱為字典樹、單詞搜尋樹，通常用於字串精確比對的問題(Exact Strings Matching Problem)。它的資料結構不同於二元樹，可用來儲存大量的字串，它就像一本字典，可以用來快速將字串插入、搜尋字串，因此也被稱為字典樹。

若存在一個中文字集合X1={今，天，天，氣，很，好}，可建立如圖3的中文筆畫鍵樹。中文筆畫鍵樹的每個節點最多有五個子節點，每個子節點代表筆畫 輸入法的五種筆畫編碼-「橫(－)、豎(|)、撇()、點(、)、折(乛)」。每個節點可儲存一到多個中文字的值。使用此中文鍵樹，就如同使用筆劃輸入法輸入中文，輸入筆畫編碼從根節點(Root)一直往下走，一直走到有值的節點為止。如欲輸入「氣」字，則必須按照筆畫順序鍵入「－－乛、－|、」，當走到最後一個「點(、)」節點時，則將該節點的值取出，「氣」字輸入即告完成，也就是說，該組合單元25便會將所輸入的筆畫順序依序加以組合，進而得到「氣」字。

以上為單一文字的輸入方式，而本發明的文字的輸入模式，則是先將該至少一個前字的筆畫諸元輸入至電腦之後，再輸入一中斷訊號(也就是自主性眨眼兩次的眼球動作)，再將該至少一個後字的筆畫諸元輸入至電腦之後，再輸入該中斷訊號。

藉由上述輸入方式，當使用者利用各種眼球動作將一個文字輸入完成時，可再自主性眨眼兩次以送出該中斷訊號，然後使用者可再繼續心中所想的下一字，並利用眼球動作完成下一字的筆畫順序，由於中文字大多數為詞彙，因此當至少一個後字輸入完成，再自主性眨眼兩次以送出該中斷訊號之後，就可以讓電腦依據該文義，判斷該至少一個前字與該至少一個後字是否相關，以選定符合該文義的正確字詞，因此，當該至少一個前字與該至少一個後字輸入完成之後，電腦即可馬上決定該至少一個前字與該至少一個後字的組合是否符合該文義，並進而將該文義顯示於畫面，而前字也因為後字的關係而無重碼之問題，此種方法可以簡稱為「後綴詞判斷法」。

請參閱圖4，是以中文鍵樹的概念來闡述該鄰近詞判斷步驟3，以輸入「天夫」、「各名」兩組字建立出的中文詞彙鍵樹來看，由於「天夫」的筆畫諸元相同，因當前字輸入完成之後，使用者如果接著輸入「氣」字的 筆畫諸元，電腦就會接著判斷「夫」、「氣」並不相關，而是「天」、「氣」才是相關，藉此解決「天夫」重碼字的問題。

如以「各名」的重碼狀況為例，也是相同的方式，由於「各名」的筆畫諸元相同，所以使用者如果在「名」字之後接著輸入「冊」字的筆畫諸元，電腦就會接著判斷「各」、「冊」並不相關，而是「名」、「冊」才是相關，藉此解決「各名」重碼字的問題。

但是中文字詞有很多並非只以兩個文字的前後相關型態呈現，有時會需要往前判斷至更多的前字，因此，當該至少一個前字與該至少一個後字的組合不符合該文義時，會經由電腦判斷，該至少兩個前字的組合是否符合另一文義。舉例來說，「舒服的」是由兩個前字與一個後字的組合，若只擷取一個前字與一個後字形成「服的」，並不會符合任何文義，因此，電腦就會再往前擷取到另一個前字形成「舒服的」，如此一來會符合另一個文義，此一方法可以稱為「前綴詞判斷法」可與前述所提到的「後綴詞判斷法」互相搭配使用，而進一步減少重碼率。

請再參閱圖1，本實施例更包含一顯示器3，用以將該處理器2之組合單元25所產生的文字予以顯示，實際實施時，該顯示器3便是智慧型手機，其螢幕可以將輸入的文字顯示出來，並利用其喇叭發音。

綜上所述，本發明主要的目的是設計方便且實用的人機介面做為溝通輔具，藉由量測生理訊號的變化去做各種的應用，主要目的在於幫助身心障礙者，例如漸凍人或是小腦萎縮症的患者，故在量測端的部份將以簡易且方便為原則，像接收生理訊號的設備是利用單極點腦波無線耳機，資料傳輸則利用藍芽傳送到筆記型電腦，並且透過3G/WIFI與智慧型手機、平板電腦進行連接。

當患者需要進行溝通時可以透過眼動進行 盲打輸入，透過3G/WIFI經由從智慧型手機、平板電腦輸出文字與語音，因此不但可以讓醫生與家人方便的接收病患的需求，因為是透過3G/WIFI的關係，只要是有網路的地方就不會有接收的限制。

上述實施例是將該偵測器1與該處理器2，分別以兩種獨立設備來應用(單極點腦波無線耳機加上筆記型電腦)，但是本發明仍可以將該偵測器1與該處理器2是內建於單一裝置之中，例如智慧型手機、平板電腦或筆記型電腦本身即兼具該處理器2的全部功能，該偵測器1便是智慧型手機、平板電腦或筆記型電腦所內建的光學鏡頭元件，用以偵測眼球的動作，藉以提供除了眼動EOG的電位之外，另一種眼動光學影像訊號。

而且眼動光學影像訊號可以再直接由智慧型手機、平板電腦或筆記型電腦予以接收、解譯、分類、組合，即可完成文字輸入，並直接顯示於智慧型手機、平板電腦或筆記型電腦的螢幕上，如此一來更便於攜帶使用。

因此，對於無法利用手寫、言語、電腦打字等方式進行溝通的使用者來說，藉由本發明之裝置，可以主動運用眼球轉動來輸出控制命令，進一步完成文字輸入，進而可以與外界達到有效的溝通方式。

該非侵入式腦波眼動輸入控制裝置，除了以上用來輸入文字的主要目的之外，還可以用來控制車輛移動，當應用在車輛控制的技術領域，因此，諸元是定義為移動諸元，詳細地說，車輛移動可區分出至少一個移動諸元，類似於前述實施例的實施方式，當運用在車輛移動的控制領域時，該配對單元24是將五種類型的眼球動作配對至相對應的移動諸元，所述移動諸元包含有往前、往後、左轉、右轉、停止。藉此方式，對於肢體障礙者而言，也可以順利的自由移動，並不需要外界人員的協助。

除了以上所述的輸入文字與車輛控制的技 術領域之外，本發明之裝置還可以運用在家電控制、醫療輔具、機械手臂等各種受控物件或其他技術領域，當然對應的控制諸元就會變更成其他類型諸元，而不再是筆畫諸元或移動諸元，所以不應侷限於本實施例的說明。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

1‧‧‧偵測器

2‧‧‧處理器

21‧‧‧接收單元

22‧‧‧解譯單元

23‧‧‧分類單元

24‧‧‧配對單元

25‧‧‧組合單元

3‧‧‧顯示器

Claims (6)

1. 一種非侵入式腦波眼動輸入控制裝置，是用以控制至少一種諸元來輸入文字，該裝置包含一偵測器及一處理器，該偵測器用以偵測眼球的動作，以產生相對應的訊號封包，該處理器具有：一接收單元，接收來自該偵測器的訊號封包；一解譯單元，將訊號封包予以解譯分析；一分類單元，將解譯分析後的結果，分類為多數種類型的眼球動作，其中，該分類單元將眼球動作分類為看上、看下、看左、看右，以及自主性眨眼，該自主性眨眼可以分類為自主性眨眼一次，與自主性眨眼兩次；及一配對單元，將各別眼球動作配對至相對應的諸元；所述文字依據其筆畫順序，可區分出至少一個筆畫諸元，其中，該配對單元是將五種類型的眼球動作配對至相對應的筆畫諸元，所述筆畫諸元包含有橫(-)、豎(|)、撇()、點(、)、折()。
2. 依據申請專利範圍第1項所述非侵入式腦波眼動輸入控制裝置，其中，該配對單元是將自主性眨眼一次的眼球動作配對至相對應的筆畫諸元，自主性眨眼兩次的眼球動作配對至筆畫諸元結束輸入。
3. 依據申請專利範圍第1項所述非侵入式腦波眼動輸入控制裝置，其中，該偵測器是單極點腦波無線耳機，用以偵測眼球轉動時產生的電位。
4. 依據申請專利範圍第1項所述非侵入式腦波眼動輸入控制裝置，其中，該偵測器是光學元件，用以偵測眼球的動作。
5. 依據申請專利範圍第1項所述非侵入式腦波眼動輸入控制裝置，其中，該偵測器與該處理器是兩個互相獨立的設備，且該處理器的接收單元是透過有線或無線傳輸，接收來自該偵測器的訊號封包。
6. 依據申請專利範圍第1項所述非侵入式腦波眼動輸入控制裝置，更包含一組合單元及一顯示器，該組合單元將該配對單元依據各別眼球動作配對至相對應的筆畫諸元，予以依序組合而產生對應文字，該顯示器用以將該處理器之組合單元所產生的文字予以顯示。