TWI403915B - 感測腦電波及眼電波之3d控制裝置及控制方法 - Google Patents

感測腦電波及眼電波之3d控制裝置及控制方法 Download PDF

Info

Publication number
TWI403915B
TWI403915B TW98116550A TW98116550A TWI403915B TW I403915 B TWI403915 B TW I403915B TW 98116550 A TW98116550 A TW 98116550A TW 98116550 A TW98116550 A TW 98116550A TW I403915 B TWI403915 B TW I403915B
Authority
TW
Taiwan
Prior art keywords
signal
axis rotation
selection
rotation signal
brain
Prior art date
Application number
TW98116550A
Other languages
English (en)
Other versions
TW201042482A (en
Inventor
Ching Hua Chiu
Original Assignee
Nat Univ Chung Hsing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nat Univ Chung Hsing filed Critical Nat Univ Chung Hsing
Priority to TW98116550A priority Critical patent/TWI403915B/zh
Publication of TW201042482A publication Critical patent/TW201042482A/zh
Application granted granted Critical
Publication of TWI403915B publication Critical patent/TWI403915B/zh

Links

Landscapes

  • Position Input By Displaying (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Description

感測腦電波及眼電波之3D控制裝置及控制方法
本發明係有關一種感測腦電波及眼電波之3D控制裝置及控制方法,其兼具3D控制裝置可迅速點選、易於操作、眼罩型顯示器利於移動使用與體積小好戴不易脫落等優點及功效。
大部份的醫療院所,多半會在病床旁設置按鈴呼叫裝置,以利患者隨時按鈴呼叫,但患者若無法講話且只剩頭部能動,則這樣的設置形同虛設,且照顧者在被呼叫時無法即時知道患者的需要,相當不便。
目前雖有電腦化的呼叫裝置,但多半以追縱使用者的瞳孔為控制方式,裝置與運算過程皆複雜,必需配合顯示器而無法讓使用者行動使用;當使用者在目視顯示器上之選項(通常為一維平面式設計)而進行選擇呼叫時,假設有一百個選項,且瞳孔動作一次只能使游標移動五項的位移量,則使用者若要點選第九十八項,必需動作瞳孔十幾次,若要進行更多選擇,則相當累而不便,即使是二維選項設計,點選動作次數仍多,相當不便。
當然,可以縮小一百個選項的間距減少瞳孔動作次數,但另外產生使用者(老年人視力較差,可能無法看清楚細小的字體)可能看不清楚的問題,且重點是不論一維或二維的選項設計,為兼顧讓使用者看清楚的條件,其選項的數量即受到限制。
因此,有必要研發新技術以解決上述缺點及問題。
本發明之目的,在於提供一種感測腦電波及眼電波之3D控制裝置及控制方法,其兼具3D控制裝置可迅速點選、易於操作、眼罩型顯示器利於移動使用與體積小好戴不易脫落等功效。特別是,本發明所欲解決之問題包括:不利行動使用、裝置複雜、一維與二維之點選設計有數量限制及瞳孔動作過度頻繁等問題。
解決上述問題之技術手段係提供一種感測腦電波及眼電波之3D控制裝置及控制方法,其裝置部份包括:一電波感測裝置,其設有:至少一腦電波感測部,係用以感測一使用者之腦部思考而產生的腦電波訊號;複數個眼電波感測部,係用以感測該使用者之眼部肌肉運動產生的眼電波訊號;一定向裝置,係設於該使用者上,並用以隨該使用者移動而產生一X軸轉動訊號、一Y軸轉動訊號與一Z軸轉動訊號;一訊號處理部,係用以處理該腦電波訊號、該眼電波訊號、該X軸轉動訊號、該Y軸轉動訊號與該Z軸轉動訊號;一發射單元,係連結該訊號處理部,用以發射該腦電波訊號、該眼電波訊號、該X軸轉動訊號、該Y軸轉動訊號與該Z軸轉動訊號;一中央控制裝置,係至少包括:一接收部,係用以接收該腦電波訊號、該眼電波訊號、該X軸轉動訊號、該Y軸轉動訊號與該Z軸轉動訊號;一顯示部,係用以顯示一3D選擇部及一游標;該3D選擇部具有複數個選擇區;一控制部,係具有一3D控制裝置及一開關裝置;該3D控制裝置具有一i軸移動部、一j軸移動部及一k軸移動部,其分別對應該X軸轉動訊號、該Y軸轉動訊號與該Z軸轉動訊號;用以控制該游標在i、j、k軸間移動至該3D選擇部的任一選擇區;當該腦電波訊號與該眼電波訊號的至少其中之一達到預定閥值,即控制該開關裝置啟動該游標所在的選擇區。
其方法部份包括:
一.準備步驟;
二.發出訊號步驟;
三.擷取各軸向轉動訊號步驟;
四.游標移動點選步驟;
五.擷取電波訊號步驟;
六.啟動選擇區步驟;及
七.完成步驟。
本發明之上述目的與優點,不難從下述所選用實施例之詳細說明與附圖中,獲得深入瞭解。
茲以下列實施例並配合圖式詳細說明本發明於後:
參閱第一、第二、第三A及第三B圖,本發明係為一種感測腦電波及眼電波之3D控制裝置及控制方法,關於裝置的部份包括:一電波感測裝置10,其設有:至少一腦電波感測部11,係用以感測一使用者90之腦部思考而產生的腦電波訊號91;複數個眼電波感測部12,係用以感測該使用者90之眼部肌肉運動產生的眼電波訊號92;一定向裝置20,係設於該使用者90上,並用以隨該使用者90移動而產生一X軸轉動訊號21、一Y軸轉動訊號22與一Z軸轉動訊號23;一訊號處理部25,係用以處理該腦電波訊號91、該眼電波訊號92、該X軸轉動訊號21、該Y軸轉動訊號22與該Z軸轉動訊號23;一發射單元26,係連結該訊號處理部25,用以發射該腦電波訊號91、該眼電波訊號92、該X軸轉動訊號21、該Y軸轉動訊號22與該Z軸轉動訊號23;一中央控制裝置30,係至少包括:一接收部31,係用以接收該腦電波訊號91、該眼電波訊號92、該X軸轉動訊號21、該Y軸轉動訊號22與該Z軸轉動訊號23;一顯示部32,係用以顯示一3D選擇部81及一游標82;該3D選擇部81具有複數個選擇區81A;一控制部33,係具有一3D控制裝置33A及一開關裝置33B;該3D控制裝置33A具有一i軸移動部331、一j軸移動部332及一k軸移動部333,其分別對應該X軸轉動訊號21、該Y軸轉動訊號22與該Z軸轉動訊號23;用以控制該游標82在i、j、k軸間移動至該3D選擇部81的任一選擇區81A;當該腦電波訊號91與該眼電波訊號92的至少其中之一達到預定閥值,即控制該開關裝置33B啟動該游標82所在的選擇區81A。
實務上,該定向裝置20可為陀螺儀。
該接收部31係選自無線接收裝置、有線接收裝置其中之一。
該顯示部32係選自螢幕、眼罩型顯示器(如第四及第五圖所示)其中之一。
該每一選擇區81A均以文字或圖像表示使用者90想做的事,以第六圖下半部為例,沿i軸分佈的九個選擇區81A依序由左至右、由上至下以文字顯示:喝水、喝藥水、喝茶、吃飯、吃粥、吃麫、吃水果、吃冰、吃糖等選項,當然,其選項僅為舉例,可依實際需要做改變。
因本發明主要供不便言語,且手腳、身體不便活動,甚至可能只剩頭部能轉動者使用,故可將該腦電波感測部11、該眼電波感測部12、該定向裝置20、該訊號處理部25及該發射單元26組合成頭戴式結構,而可讓使用者90方便的戴在頭上。
關於本發明之控制方法,如第八A及第八B圖所示,係包括下列步驟:
一.準備步驟71:將一電波感測裝置10、一定向裝置20、一訊號處理部25及一發射單元26設於一使用者90上;另設一中央控制裝置30;該電波感測裝置10包括至少一個腦電波感測部11及複數個眼電波感測部12;該中央控制裝置30則包括一接收部31、一顯示部32及一控制部33;該顯示部32用以顯示一3D選擇部81及一游標82;該3D選擇部81具有複數個選擇區81A;該控制部33具有一個3D控制裝置33A及一開關裝置33B;該3D控制裝置33A具有一i軸移動部331、一j軸移動部332及一k軸移動部333;
二.發出訊號步驟72:該腦電波感測部11感測該使用者90之腦部思考而產生的腦電波訊號91;該眼電波感測部12感測該使用者90之眼部肌肉運動產生的眼電波訊號92;且該定向裝置20隨該使用者90移動而產生一X軸轉動訊號21、一Y軸轉動訊號22與一Z軸轉動訊號23,該腦電波訊號91、該眼電波訊號92、該X軸轉動訊號21、該Y軸轉動訊號22與該Z軸轉動訊號23透過該訊號處理部25處理後,由該發射單元26發射;
三.擷取各軸向轉動訊號步驟73:以該接收部31擷取該X軸轉動訊號21、該Y軸轉動訊號22與該Z軸轉動訊號23,並傳送至該控制部33;
四.游標移動點選步驟74:以該控制部33之3D控制裝置33A將各軸向轉動訊號轉換為對應該i軸移動部331、該j軸移動部332與該k軸移動部333的角度值,進而控制該顯示部32上的游標82在i、j、k軸間的複數個選擇區81A上移動點選;
五.擷取電波訊號步驟75:以該接收部31擷取該腦電波訊號91與該眼電波訊號92;
六.啟動選擇區步驟76:當該腦電波訊號91與眼電波訊號92的至少其中之一達到預定閥值,即控制該開關裝置33B啟動該游標82所在的選擇區81A;
七.完成步驟77:使用者透過選擇區81A表達想要做的事。
本發明於該完成步驟77後,又可再包括:
八.循環步驟78:係重覆前述三至七步驟,而反覆的點選、啟動不同的選擇區81A,以表達想要做的事。
參閱第六及第七A圖,茲以i軸點選為例說明實際操作方式,假設使用者90從該顯示部32上看到該3D選擇部81其第一層中沒有自己想做的事,則可搖動定向裝置20將游標82沿i軸移動到第二層(原本遮住此層的部位,可以呈透明,也可以暫時消失,全依實際需要設定)。
當游標82位於想要的選擇區81A時,在腦中想“點選”(如第九A圖所示,其中的啟動區△91代表腦電波訊號91超過閥值線L0並達到閥值時間△T故可啟動,至於超過閥值線L0的雜訊區91A、91B、91C與91D分別為未達閥值時間T1、T2、T3與T4,僅代表腦中有思考,但未達啟動標準)或是移動眼球(如第九B圖所示,其中的啟動區△92代表眼電波訊號92超過閥值線L0並達到閥值時間△T故可啟動,至於超過閥值線L0的雜訊區92A為未達閥值時間T1,僅代表眼睛有動,但未達啟動標準),以控制游標82啟動該選擇區81A,則中央控制裝置30可以語音或是無線訊號呼叫相關人員進行使用者90所想要做的事。
當然,前述過程只是舉例,至於沿j軸與沿k軸移動游標82並進行點選的過程則如第七B及第七C圖所示,操作方式相同,而本方法中之部份裝置的實施例或簡易置換結構,已於前述裝置部份陳明,恕不贅述。
另外,本發明之3x3x3(等於9個選擇區)的3D排列只是舉例,可依實際需要擴充為例如6x6x6(等於216個選擇區)或更多數量的3D排列,且因為本發明之游標為3D移動之點選設計,即使是216個選擇區,但在每一軸向只有6個選擇區,除可讓使用者看的清楚,且游標在每一軸向只要移動6個選擇區即可,極利於使用者迅速移動游標並進行點選作業。
若做為撥電話的通訊錄,則可輕易的記錄、點選上百通的電話資料。
綜上所述,本發明之優點及功效可歸納如下:
[1]3D控制裝置可迅速點選。本發明具有3D選擇部,即使有上百筆的選擇區(例如6x6x6等於216個選擇區,若只是要表達日常生活想做的事,則數量相當充足了),游標在每一軸向的移動量也只是個位數(最多移動6個選擇區),讓使用者可以清楚的看到每一選擇區,並在不同的軸向迅速移動游標並進行點選。
[2]易於操作。本發明以定向裝置控制游標移動,再以腦電波訊號或眼電波訊號的其中之一作確認點選的開關訊號,就算使用者很疲累而無法完全張開眼睛,只要可以思考或是眼球可以動,依舊可以操作,故,極易操作。
[3]眼罩型顯示器利於移動使用。本發明之顯示部可設計為眼罩型顯示器,走到哪用到哪,便於使用者移動(例如在各醫療院所間往返)使用。
[4]體積小好戴不易脫落。本發明可將電波感測裝置、定向裝置、訊號處理部及發射單元組合成頭戴式結構,體積小又好戴,長時間戴著也不會脫落。
以上僅是藉由較佳實施例詳細說明本發明,對於該實施例所做的任何簡單修改與變化,皆不脫離本發明之精神與範圍。
由以上詳細說明,可使熟知本項技藝者明瞭本發明的確可達成前述目的,實已符合專利法之規定,爰提出發明專利之申請。
10...電波感測裝置
11...腦電波感測部
12...眼電波感測部
20...定向裝置
21...X軸轉動訊號
22...Y軸轉動訊號
23...Z軸轉動訊號
25...訊號處理部
26...發射單元
30...中央控制裝置
31...接收部
32...顯示部
33...控制部
33A...3D控制裝置
33B...開關裝置
331...i軸移動部
332...j軸移動部
333...k軸移動部
71...準備步驟
72...發出訊號步驟
73...擷取各軸向轉動訊號步驟
74...游標移動點選步驟
75...擷取電波訊號步驟
76...啟動選擇區步驟
77...完成步驟
78...循環步驟
81...3D選擇部
81A...選擇區
82...游標
90...使用者
91...腦電波訊號
92...眼電波訊號
L0...閥值線
△91、△92...啟動區
△T...閥值時間
91A、91B、91C、91D、92A...雜訊區
T1、T2、T3、T4...未達閥值時間
第一圖係本發明之示意圖
第二圖係本發明之實際應用之示意圖
第三A圖係本發明之發射單元之方塊圖
第三B圖係本發明之接收單元之方塊圖
第四及第五圖係分別為本發明之部分結構的其他實施例之外觀暨平面示意圖
第六圖係本發明之3D選擇部之放大之示意圖
第七A圖係本發明沿i軸移動游標並作點選動作過程之示意圖
第七B圖係本發明沿j軸移動游標並作點選動作過程之示意圖
第七C圖係本發明沿k軸移動游標並作點選動作過程之示意圖
第八A圖係本發明之方法之流程圖
第八B圖係本發明之操作過程之流程圖
第九A圖係本發明之腦電腦波訊號之曲線圖
第九B圖係本發明之眼電腦波訊號之曲線圖
10...電波感測裝置
11...腦電波感測部
12...眼電波感測部
20...定向裝置
21...X軸轉動訊號
22...Y軸轉動訊號
23...Z軸轉動訊號
25...訊號處理部
26...發射單元
30...中央控制裝置
31...接收部
32...顯示部
33...控制部
33A...3D控制裝置
33B...開關裝置
331...i軸移動部
332...j軸移動部
333...k軸移動部
81...3D選擇部
81A...選擇區
82...游標

Claims (5)

  1. 一種感測腦電波及眼電波之3D控制裝置,係包括:一電波感測裝置,其設有:至少一腦電波感測部,係用以感測一使用者之腦部思考而產生的腦電波訊號;複數個眼電波感測部,係用以感測該使用者之眼部肌肉運動產生的眼電波訊號;一定向裝置,係設於該使用者上,並用以隨該使用者移動而產生一X軸轉動訊號、一Y軸轉動訊號與一Z軸轉動訊號;一訊號處理部,係用以處理該腦電波訊號、該眼電波訊號、該X軸轉動訊號、該Y軸轉動訊號與該Z軸轉動訊號;一發射單元,係連結該訊號處理部,用以發射該腦電波訊號、該眼電波訊號、該X軸轉動訊號、該Y軸轉動訊號與該Z軸轉動訊號;一中央控制裝置,係至少包括:一接收部,係用以接收該腦電波訊號、該眼電波訊號、該X軸轉動訊號、該Y軸轉動訊號與該Z軸轉動訊號;一顯示部,係用以顯示一3D選擇部及一游標;該3D選擇部具有複數個選擇區;一控制部,係具有一3D控制裝置及一開關裝置;該3D控制裝置具有一i軸移動部、一j軸移動部及一k軸移動部,其分別對應該X軸轉動訊號、該Y軸轉動訊號與該Z軸轉動訊號;用以控制該游標在i、j、k軸間移動至該3D選擇部的任一選擇區;當該腦電波訊號與該眼電波訊號的至少其中之一達到預定閥值,即控制該開關裝置啟動該游標所在的選擇區;該3D選擇部為以立體排列方式的選單列表,該顯示部預設顯示該3D選擇部之最外層選 單,該3D選擇部顯示之選單係由該定向裝置之該X軸轉動訊號、該Y軸轉動訊號與該Z軸轉動訊號之感應結果,控制該3D選擇部顯示一對應選單,並同時隱藏或透明顯示於該對應選單上層之選單。
  2. 如申請專利範圍第1項所述之感測腦電波及眼電波之3D控制裝置,其中:該定向裝置可為陀螺儀;該接收部係選自無線接收裝置、有線接收裝置其中之一;該顯示部係選自螢幕、眼罩型顯示器其中之一;該每一選擇區係設置文字、圖像的至少其中之一。
  3. 一種感測腦電波及眼電波之3D控制方法,係包括下列步驟:一.準備步驟:將一電波感測裝置、一定向裝置、一訊號處理部及一發射單元設於一使用者上;另設一中央控制裝置;該電波感測裝置包括至少一個腦電波感測部及複數個眼電波感測部;該中央控制裝置則包括一接收部、一顯示部及一控制部;該顯示部用以顯示一3D選擇部及一游標;該3D選擇部具有複數個選擇區;該控制部具有一個3D控制裝置及一開關裝置;該3D控制裝置具有一i軸移動部、一j軸移動部及一k軸移動部;二.發出訊號步驟:該腦電波感測部感測該使用者之腦部思考而產生的腦電波訊號;該眼電波感測部感測該使用者之眼部肌肉運動產生的眼電波訊號;且該定向裝置隨該使用者移動而產生一X軸轉動訊號、一Y軸轉動訊號與一Z軸轉動訊號,該腦電波訊號、該眼電波訊號、該X軸轉動訊號、該Y軸轉動訊號與該Z軸轉動訊號透過該訊號處理部處理後,由該發射單元發射; 三.擷取各軸向轉動訊號步驟:以該接收部擷取該X軸轉動訊號、該Y軸轉動訊號與該Z軸轉動訊號,並傳送至該控制部;四.游標移動點選步驟:以該控制部之3D控制裝置將各軸向轉動訊號轉換為對應該i軸移動部、該j軸移動部與該k軸移動部的角度值,進而控制該顯示部上的游標在i、j、k軸間的複數個選擇區上移動點選;該3D選擇部為以立體排列方式的選單列表,該顯示部顯示該游標在該3D選擇部所對應之其中一層選單,並同時隱藏或透明顯示於該對應選單上層之選單;五.擷取電波訊號步驟:以該接收部擷取該腦電波訊號與該眼電波訊號;六.啟動選擇區步驟:當該腦電波訊號與眼電波訊號的至少其中之一達到預定閥值,即控制該開關裝置啟動該游標所在的選擇區;七.完成步驟:使用者透過選擇區表達想要做的事。
  4. 如申請專利範圍第3項所述之感測腦電波及眼電波之3D控制方法,其中,該完成步驟後,又可再包括:八.循環步驟:係重覆前述三至七步驟,而反覆的移動點選、啟動不同的選擇區,以表達想要做的事。
  5. 如申請專利範圍第3項所述之感測腦電波及眼電波之3D控制方法,其中:該定向裝置可為陀螺儀;該接收部係選自無線接收裝置、有線接收裝置其中之一;該顯示部係選自螢幕、眼罩型顯示器其中之一;該每一選擇區係設置文字、圖像的至少其中之一。
TW98116550A 2009-05-19 2009-05-19 感測腦電波及眼電波之3d控制裝置及控制方法 TWI403915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW98116550A TWI403915B (zh) 2009-05-19 2009-05-19 感測腦電波及眼電波之3d控制裝置及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW98116550A TWI403915B (zh) 2009-05-19 2009-05-19 感測腦電波及眼電波之3d控制裝置及控制方法

Publications (2)

Publication Number Publication Date
TW201042482A TW201042482A (en) 2010-12-01
TWI403915B true TWI403915B (zh) 2013-08-01

Family

ID=45000560

Family Applications (1)

Application Number Title Priority Date Filing Date
TW98116550A TWI403915B (zh) 2009-05-19 2009-05-19 感測腦電波及眼電波之3d控制裝置及控制方法

Country Status (1)

Country Link
TW (1) TWI403915B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156539B (zh) * 2011-03-28 2012-05-02 浙江大学 一种基于眼动扫描的目标物体识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW209283B (zh) * 1990-07-24 1993-07-11 Biocontrol Systems Inc
TW200416581A (en) * 2003-02-27 2004-09-01 ren-jun Xie Vision-driving control system and control method thereof
US20060061544A1 (en) * 2004-09-20 2006-03-23 Samsung Electronics Co., Ltd. Apparatus and method for inputting keys using biological signals in head mounted display information terminal
TW200832192A (en) * 2006-12-07 2008-08-01 Emotiv Systems Pty Ltd Inertial sensor input device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW209283B (zh) * 1990-07-24 1993-07-11 Biocontrol Systems Inc
TW200416581A (en) * 2003-02-27 2004-09-01 ren-jun Xie Vision-driving control system and control method thereof
US20060061544A1 (en) * 2004-09-20 2006-03-23 Samsung Electronics Co., Ltd. Apparatus and method for inputting keys using biological signals in head mounted display information terminal
TW200832192A (en) * 2006-12-07 2008-08-01 Emotiv Systems Pty Ltd Inertial sensor input device

Also Published As

Publication number Publication date
TW201042482A (en) 2010-12-01

Similar Documents

Publication Publication Date Title
US11157080B2 (en) Detection device, detection method, control device, and control method
US20200026352A1 (en) Computer Systems With Finger Devices
US10832041B2 (en) Information processing apparatus, information processing method, and program for detecting a target motion
US11199908B2 (en) Wrist-worn device-based inputs for an operating system
US11262851B2 (en) Target selection based on human gestures
JP2018180840A (ja) ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム
US10860104B2 (en) Augmented reality controllers and related methods
WO2021154606A1 (en) Human-machine interface using biopotential sensor and location sensor
TWI403915B (zh) 感測腦電波及眼電波之3d控制裝置及控制方法
CN109343718A (zh) 一种计算机领域中物联网下用于人机交互的穿戴设备
US11853478B2 (en) Multi-modal switching controller for communication and control
EP4325343A1 (en) Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof
CN117590936A (zh) 使用经由可穿戴设备的神经肌肉信号传感器检测的空中手势来导航用户界面,及其系统和使用方法
AKKIL Mobile gaze interaction: gaze gestures with haptic feedback

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees