TW201042482A - Three dimensional controlling device by using electroencephalogram (EEG) and electro-oculogram (EOG) and method thereof - Google Patents

Three dimensional controlling device by using electroencephalogram (EEG) and electro-oculogram (EOG) and method thereof Download PDF

Info

Publication number
TW201042482A
TW201042482A TW98116550A TW98116550A TW201042482A TW 201042482 A TW201042482 A TW 201042482A TW 98116550 A TW98116550 A TW 98116550A TW 98116550 A TW98116550 A TW 98116550A TW 201042482 A TW201042482 A TW 201042482A
Authority
TW
Taiwan
Prior art keywords
signal
axis rotation
selection
axis
eye
Prior art date
Application number
TW98116550A
Other languages
English (en)
Other versions
TWI403915B (zh
Inventor
Ching-Hua Chiu
Original Assignee
Nat Univ Chung Hsing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nat Univ Chung Hsing filed Critical Nat Univ Chung Hsing
Priority to TW98116550A priority Critical patent/TWI403915B/zh
Publication of TW201042482A publication Critical patent/TW201042482A/zh
Application granted granted Critical
Publication of TWI403915B publication Critical patent/TWI403915B/zh

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Position Input By Displaying (AREA)

Description

201042482 、發明說明: 【發明所屬之技術領域】 本發明係有關-種❹攔較及眼電波之3D =方法,其兼具3D控制裝置可迅速點選、易於操作: 使用與體積小好鮮易脫料優點及功i。 ,部份的醫魏所,多半會在病床旁設置鱗 , ,利患者隨時按鈴呼叫,但患者若無法講話且只剩 Ο Ο 設’且照顧者在被呼叫時無法即時:道患 目前雖有電腦化的呼叫輕,但抖以追縱使用者 動=與=過程皆複雜,必需配合顯示器而:法 丁動使用,虽使用者在目視顯示器上之選項(诵當為 ί孔2=計)而進行選擇呼叫時,假設有—百個選項,且 只能使游標移動五項的位移量,顺用者若要點 作曈孔十幾次,若要進行更多選擇,則 ΐΐί 使疋二維選項設計’點選動作次數仍多,相 t然’可以縮小—百個選項的間距減少瞳孔動作次數,但 和0Γ上使用主者(老年人視力較差,可能無法看清楚細小的字 /為點是不論—維或二維的選項設 a為兼顧讓使用者看清楚的條件,其翻的數量較到限制。 【發日=容Γ必要研發新技術以解決上述缺點及問題。
㈣if丨Ξ ’在於提供一種感測腦電波及眼電波之3D 録具犯控概置可秘闕、易於 利於移動使用與體積小好戴不纽落等功 晉滿雜發明所欲解決之問題包括:不利行動使用、裝 复雜、-維與—維之闕料魏量關及瞳⑽作過度頻 201042482 繁等問題。 解決上述問題之技術手段係提 波之3D控制裝置及控制方法,、 供一種感測腦電波及眼電 置部份包括: 一電波感測裝置,其設有: 至少一腦電波感測部,係用以感測一使用者之腦部思考 而產生的腦電波訊號; 複數個眼電波感測部,係用以感測該使用者之眼部肌肉 運動產生的眼電波訊號;
一定向裝置’係設於該使用者上,並用以隨該使用者移動 而產生一 X軸轉動訊號、一 Y轴轉動訊號與一 Z軸轉動訊號; 0 一訊號處理部,係用以處理該腦電波訊號、該眼電波訊 號、該X軸轉動訊號、該Y轴轉動訊號與該Z轴轉動訊號; n 一發射單元,係連結該訊號處理部,用以發射該腦電波訊 號' 該眼電波訊號、該X軸轉動訊號、該γ軸轉動訊號與該 z轴轉動訊號; 一中央控制裝置,係至少包括: ^ 一接收部,係用以接收該腦電波訊號、該眼電波訊號、 該X軸轉動訊號、該Y軸轉動訊號與該Z轴轉動訊號; 一顯示部,係用以顯示一 3D選擇部及一游標;該3D 選擇部具有複數個選擇區; 一控制部,係具有一 3D控制裝置及一開關裝置;該3D 控制裴置具有一 i軸移動部、一j軸移動部及一 k軸移動部, ,分別對應該X軸轉動訊號、該Y轴轉動訊號與該Z軸轉動 訊號;用以控制該游標在i、j、k軸間移動至該3D選擇部的 任一選擇區;當該腦電波訊號與該眼電波訊號的至少其中之一 達到預定閥值,即控制該開關裝置啟動該游標所在的選擇區。 其方法部份包括: 一·準備步驟; 二·發出訊號步驟; 二·擁取各轴向轉動訊號步驟; 4 201042482 四·游標移動點選步驟; 五·擷取電波訊號步驟; 六·啟動選擇區步驟;及 七·完成步驟。 本發明之上述目的與優點’不難從下述所選用實施例之詳 細說明與附圖中,獲得深入瞭解。 ° ' 茲以下列實施例並配合圖式詳細說明本發明於後: . 【實施方式】 參閱第一、第二、第三Α及第三Β圖,本發明係為一種 感測腦電波及眼電波之3D控制裝置及控制方法,關於裝置的 ❹ 部份包括: 一電波感測裝置10,其設有: 至少一腦電波感測部11,係用以感測一使用者90之腦 部思考而產生的腦電波訊號91 ; 複數個眼電波感測部12,係用以感測該使用者90之眼 部肌肉運動產生的眼電波訊號92 ; 一定向裝置20 ’係設於該使用者90上,並用以隨該使用 者90移動而產生一 X軸轉動訊號21、一 Y軸轉動訊號22與 一 Z軸轉動訊號23 ; Ο 一訊號處理部25 ’係用以處理該腦電波訊號91、該眼電 波訊號92、該X軸轉動訊號21、該γ軸轉動訊號22與該z 軸轉動訊號23 ;
一,射單元26,係連結該訊號處理部25,用以發射該腦 - 電波訊號91、該眼電波訊號92、該X軸轉動訊號21、該Y 軸轉動訊號22與該Z轴轉動訊號23 ; 一中央控制裝置30,係至少包括: ^ 一接收部31,係用以接收該腦電波訊號91、該眼電波 訊號92、該X軸轉動訊號21、該γ軸轉動訊號22與該z軸 轉動訊號23 ; 一顯示部32,係用以顯示一 3D選擇部81及一游標82; 5 201042482 該3D選擇部81具有複數個選擇區81Α ; -控制部33,係具有一 3D控制裝 置33B ;該3D控制裝置33m…及一開關裝 332 k ZL· j ί 2、該γ軸轉動訊號22與該ζ軸轉動訊號23,用 才二82,”轴間移動至該3D選擇部81的任工二涛 虽該腦電波訊號91與該眼電波訊號92的至 夕°° , =值’即控制該開關裝置職動該游標= Ο Ο 實務上,該定向裝置20可為陀螺儀。 一。該接收部31係選自無線接收裝置、有線接收裝置其中之 所示)US3。2係選自錄、眼罩魏如細及第五圖 事均蚊字賴像絲烟者90想做的 LiilΤ為例,沿1軸分佈的九個選擇區81Α依序 吃粥、以文字顯示:喝水、喝藥水、喝茶、吃飯、 舉 罐項督其選項僅為 可主要供不便言語’且手腳、身體不便活動,甚至 11 ^ ^ 泫疋向裝置20、该甙唬處理部25及該發射 辆戴式結構,而可讓使用者90方便的戴在頭上。 包括下列步Ϊ明之晴法’如^ Α取Β圖所示,係 一#$ +準備步驟71:將一電波感測裝置10、一定向裝置20、 -25及—發射單元26設於—使用者%上;另設 咸制邱= 制裝置30;該電波感測裝置10包括至少一個腦電波 ;扛1#及複數個眼電波感測部12;該中央控制裝置30則 匕 收部31、一顯示部32及一控制部33 ;該顯示部32 6 201042482 用以顯示- 3D選擇畜Ml及-游桿m登姐如 33卜一-j軸移動部332及一让軸移動部333 ;有轴移動# 90之驟72 :該腦電波感測部11感測該使用者
$ 者90之眼部肌肉運動產生的眼電波二、,;且該J 者9G移動而產生^轴轉動訊號21二 Y ^轉動訊號22與- Z軸轉動訊號23,該腦電波
ΪΪ92、該X軸轉動訊號2卜該Y軸轉動訊號22二 動訊號23透過該訊號處理部25處理後,由該發射^ 7〇 26發射; τ 二.擷取各軸向轉動訊號步驟73 :以該接收部31擷取該 X軸轉動訊號21、該Υ軸轉動訊號22與該ζ轴轉動訊°, 並傳送至該控制部33 ; 四.游標移動點選步驟74 :以該控制部33之3D控制裝 置33A將各轴向轉動訊號轉換為對應該丨軸移動部331二該$ 轴移動部332與該k軸移動部333的角度值,進而控制該 部32上的游標82在i、j、k軸間的複數個選擇區81A上移動 點選; 五·擷取電波訊號步驟75 :以該接收部31擷取該腦電波 訊號91與該眼電波訊號92 ; 六·啟動選擇區步驟76 :當該腦電波訊號91與眼電波訊 號92的至少其中之一達到預定閥值,即控制該開關裝置MB 啟動該游標82所在的選擇區81A ; 七·完成步驟77 :使用者透過選擇區81A表達想要做的 事。 本發明於該完成步驟77後,又可再包括: 八·循環步驟78 :係重覆前述三至七步驟,而反覆的點 選、啟動不同的選擇區81A,以表達想要做的事。 7 201042482 ,閱第六及第七Α圖’茲以丨軸點選為例說明實際操 ,,假設使用者90從該顯示部32上看到該3D選擇部8 f 一f中沒有自己想做的事’則可搖動定向裝置20將游標82 移動到第二層(原本遮住此層的部位,可以呈透明,也可 以暫消失,全依實際需要設定)。 游標82位於想要的選擇區81A時,在腦中想“點選” 圖所示,其+的啟動區Δ91代表腦電波訊號91超 Ο Ο 祕LG並達賴辦間ΔΤ故可絲,至於超過閥值線 的,訊區91A、91B、91C與91D分別為未達閥值時間T1、 動,僅代表财有財,但未達啟動標準)或是移 92=閥所r ’其中的啟動區Δ92代表眼物R號 ΐίτ /線並達到閥值時間ΛΤ故可啟動,至於超過閥 =0的雜訊區92Α為未達閥值時間T1,僅代表眼睛有動, 二f啟動標準),以控制游標82啟動該選擇區81A,則中央 所想m語音献鱗喊糾糊人料行使用者 前述裝的實施例編置換結構,已於 例,t眘之3X3X3(等於9個選擇區)的3D排列只是舉 多# - 際而要擴充為例如6x6x6(等於216個選擇區)或更 Ϊ 列,且因為本發明之游標為犯移動之點^ 可讓使用ϊ看擇一選擇區,除 即可,個選擇區 電話g為撥電話的通訊錄,則可輕㈣記錄、點選上百通的 综上所述’本發明之優點及功效可歸納如下: [1] 3D控制裂置可迅速點選。本發明具有3D選擇部,即 8 201042482 使有上百筆的選擇區(例如6x6x6等於216個選擇區,若只是 要表達日常生活想做的事,醜量相當充足了),游標在每一 轴向^移動量也只是個位數(最多移動6個選擇區),讓使用者 可^清楚的看到每一選擇區,並在不同的軸向迅速移動游標並 進行點選。 p]。易於操作。本發明以定向裝置控制游標移動,再以腦 波訊號的其中之—作確認點選的開關訊號,就 ϋ無法完全關眼睛,只要可以思考或是眼球 了以動’依舊可以操作,故,極易操作。 Ο ο ^ 罩賴示制於㈣使肖。本發明之顯示部可設計 使走用到哪用到哪,便於使用者移動(例如在各 [=]體積小好戴不易脫落。本發明可將電波感測震置 ^戴:長組懿賴式賴,體積小又 以上僅是藉由較佳實施例詳細說 , 所=任何簡單修改與變化,皆不脫離本發明之 上雜朗,可健知本項麟者明瞭轉明的確可 Ϊ成“目的,實已符合專利法之規定,細發 【圖式簡單說明】 第一圖係本發明之示意圖 f f _本發明之實際應用之示意圖 f f·A圖係本發明之發射單元之方塊圖 圖係本發明之接收單元之方塊圖 第四及第五關相為本發明 觀暨平面示意圖 _,、他實施例之外 f六圖係本發明之犯選擇部之放大之示意圖 筮S 本發明沿1軸移動游標並作點選動作過程之-咅园 第七β圖係本發明沿J·轴移動游標並作點選動作過 9 201042482 第七C圖係本發明沿k軸移動游標並作點選動作過程之示意 圖 第八A圖係本發明之方法之流程圖 第八B圖係本發明之操作過程之流程圖 第九A圖係本發明之腦電腦波訊號之曲線圖 第九B圖係本發明之眼電腦波訊號之曲線圖 【主要元件符號說明】 - 10電波感測裝置 12眼電波感測部 。 21 X軸轉動訊號 23 Z軸轉動訊號 26發射單元 31接收部 33控制部 33B開關裝置 332 j軸移動部 11腦電波感測部 20定向裝置 22 Y軸轉動訊號 25訊號處理部 30中央控制裝置 32顯示部 33A3D控制裝置 331 i軸移動部 333 k軸移動部 71準備步驟 72發出訊號步驟 73擷取各軸向轉動訊號步驟 74游標移動點選步驟 75擷取電波訊號步驟 Ο 76啟動選擇區步驟 78循環步驟 81A選擇區 90使用者 92眼電波訊號 77完成步驟 81 3D選擇部 82游標 91腦電波訊號 L0閥值線 △91、Λ92啟動區 ΛΤ閥值時間 91A、91B、91C、91D、92A 雜訊區 ΤΙ、T2、T3、T4未達閥值時間

Claims (1)

  1. 201042482 七、申請專利範圍: 1 · 一種感測腦電波及眼電波之3D控制裝置,係包括: 一電波感測裝置,其設有: 至少一腦電波感測部,係用以感測一使用者之腦部思 考而產生的腦電波訊號; - 複數個眼電波感測部,係用以感測該使用者之眼部肌 肉運動產生的眼電波訊號; 一定向裝置,係設於該使用者上,並用以隨該使用者移 動而產生一 X轴轉動訊號、一 γ軸轉動訊號與一 Z軸轉 〇 動訊號; 一訊號處理部,係用以處理該腦電波訊號、該眼電波訊 號、該X軸轉動訊號、該Y轴轉動訊號與該Z轴轉動訊 號; 一發射單元,係連結該訊號處理部,用以發射該腦電波 訊號、該眼電波訊號、該X軸轉動訊號、該Y軸轉動訊 號與該Z軸轉動訊號; 一中央控制裝置,係至少包括: 一接收部,係用以接收該腦電波訊號、該眼電波訊 號、該X軸轉動訊號、該Y轴轉動訊號與該Z軸轉動訊 w 號; 一顯示部,係用以顯示一 3D選擇部及一游標;該3D • 選擇部具有複數個選擇區; 一控制部,係具有一 3D控制裝置及一開關裝置;該 控制裝置具有一丨軸移動部、一』軸移動部及一 k轴移 ,部,其分別對應該X軸轉動訊號、該γ軸轉動訊號與 该Ζ轴轉動訊號;用以控制該游標在丨、』、k軸間移動至 該^3D選擇部的任一選擇區;當該腦電波訊號與該眼電波 的至少其中之—達到預定閥值,即控制該_裝置啟 動该游標所在的選擇區。 2如申清專利範圍第1項所述之感測腦電波及眼電波之3D 201042482 控制裝置,其中: f定向裝置可為陀螺儀; * 置、有線接收裝置其中之 不部係選自螢幕、眼罩型顯示器其中之-; 0 〜母一選擇區係設置文字、圖像的至少苴中之一。 " · '控制方法Γ係包括下列步 ’ f備步驟:將—電波感測裝置、-定向裝置、-訊號 〇 處理部及一發射單元設於-使用者上;另設-中央控 制裝置,該電波感測裝置包括至少一個腦電波感測部 及複數個眼電波感測部;該中央控制裝置則包括一接 收部、一顯示部及一控制部;該顯示部用以顯示一 3D 選擇部及一游標;該3D選擇部具有複數個選擇區; 該控制部具有一個3D控制裝置及一開關裝置;該3D 控制裝置具有一 i軸移動部、一j軸移動部及一 k軸 移動部; 二.發出訊號步驟:該腦電波感測部感測該使用者之腦部 思考而產生的腦電波訊號;該眼電波感測部感測該使 用者之眼部肌肉運動產生的眼電波訊號;且該定向裝 置隨該使用者移動而產生一 X軸轉動訊號、一 Y軸 轉動訊號與一 z軸轉動訊號,該腦電波訊號、該眼電 波訊號、該X軸轉動訊號、該γ轴轉動訊號與該Z ' 軸轉動訊號透過該訊號處理部處理後,由該發射單元 發射; 三·擷取各軸向轉動訊號步驟:以該接收部擷取該X軸轉 動訊號、該Y軸轉動訊號與該Z軸轉動訊號,並傳送 至該控制部; 四·游標移動點選步驟:以該控制部之3D控制裝置將各 軸向轉動訊號轉換為對應該i軸移動部、該j軸移動 12 201042482 部與該k軸移動部的角度值,進而控制該顯示部上的 游標在i、j、k軸間的複數個選擇區上移動點選; 五.擷取電波訊號步驟:以該接收部擷取該腦電波訊號與 該眼電波訊號; '' 六·啟動選擇區步驟:當該腦電波訊號與眼電波訊號的至 少其中之一達到預定閥值,即控制該開關裝置啟動該 • 游標所在的選擇區; 七·完成步驟:使用者透過選擇區表達想要做的事。 4 ·如申請專利範圍第3項所述之感測腦電波及眼電波之3D 控制方法’其中’該完成步驟後,又可再包括·· 〇 八·彳盾環步驟:係重覆前述三至七步驟,而反覆的移動點 選、啟動不同的選擇區,以表達想要做的事。 5 .如申請專利範圍第3項所述之感測腦電波及眼電波之3D 控制方法,其中: 該定向裝置可為陀螺儀; 該接收部係選自無線接收裝置、有線接收裝置其中之 一, f顯示部係選自螢幕、眼罩型顯示器其中之一; 〇 该每一選擇區係設置文字、圖像的至少其中之一。 13
TW98116550A 2009-05-19 2009-05-19 感測腦電波及眼電波之3d控制裝置及控制方法 TWI403915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW98116550A TWI403915B (zh) 2009-05-19 2009-05-19 感測腦電波及眼電波之3d控制裝置及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW98116550A TWI403915B (zh) 2009-05-19 2009-05-19 感測腦電波及眼電波之3d控制裝置及控制方法

Publications (2)

Publication Number Publication Date
TW201042482A true TW201042482A (en) 2010-12-01
TWI403915B TWI403915B (zh) 2013-08-01

Family

ID=45000560

Family Applications (1)

Application Number Title Priority Date Filing Date
TW98116550A TWI403915B (zh) 2009-05-19 2009-05-19 感測腦電波及眼電波之3d控制裝置及控制方法

Country Status (1)

Country Link
TW (1) TWI403915B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156539A (zh) * 2011-03-28 2011-08-17 浙江大学 一种基于眼动扫描的目标物体识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0468340A3 (en) * 1990-07-24 1992-12-16 Biocontrol Systems, Inc. Eye directed controller
TW591481B (en) * 2003-02-27 2004-06-11 Ren-Jiun Shie Vision-driving control system and control method thereof
KR100594117B1 (ko) * 2004-09-20 2006-06-28 삼성전자주식회사 Hmd 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
US20080211768A1 (en) * 2006-12-07 2008-09-04 Randy Breen Inertial Sensor Input Device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156539A (zh) * 2011-03-28 2011-08-17 浙江大学 一种基于眼动扫描的目标物体识别方法
CN102156539B (zh) * 2011-03-28 2012-05-02 浙江大学 一种基于眼动扫描的目标物体识别方法

Also Published As

Publication number Publication date
TWI403915B (zh) 2013-08-01

Similar Documents

Publication Publication Date Title
JP7149492B2 (ja) 文脈依存性ユーザインタフェースを備えた筋電位(emg)支援通信デバイス
AU2014275184B2 (en) Manipulation of virtual object in augmented reality via intent
Zhang et al. USC-HAD: A daily activity dataset for ubiquitous activity recognition using wearable sensors
JP6791120B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20180055660A (ko) 전자 장치 및 그 제어 방법
JP2010231290A (ja) 頭部運動による入力装置及び方法
JP2021506052A (ja) コミュニケーション方法及びシステム
JPWO2012081194A1 (ja) 医療支援装置、医療支援方法および医療支援システム
AU2022268375B2 (en) Multiple switching electromyography (emg) assistive communications device
WO2021246134A1 (ja) デバイス、制御方法及びプログラム
JP2019160033A (ja) 表示制御装置およびプログラム
JP6822413B2 (ja) サーバ装置及び情報処理方法、並びにコンピュータ・プログラム
JPWO2020152779A1 (ja) 高次脳機能障害用のリハビリテーションシステム及び画像処理装置
JP2019058285A (ja) 活動支援方法、プログラム、及び活動支援システム
JP6627044B1 (ja) リハビリ支援装置及びリハビリ支援プログラム
TW201042482A (en) Three dimensional controlling device by using electroencephalogram (EEG) and electro-oculogram (EOG) and method thereof
KR102364841B1 (ko) 휴대용 헬스 케어 장치 및 그 동작 방법
CN104714628B (zh) 一种信息处理方法及电子设备
Castillo et al. Hands free mouse
KR101664181B1 (ko) 스마트 캐릭터 차트 및 이를 이용한 헬스 케어 방법
KR20170061051A (ko) 웨어러블 디바이스 및 웨어러블 디바이스의 제어방법
Gosmanova et al. Eeg-based brain-computer interface access to tobii dynavox communicator 5
Lupu et al. A new computer-based technology for communicating with people with major neuro-locomotor disability using ocular electromyogram
JP2017162245A (ja) 情報提示方法、情報提示プログラム、及び情報提示装置
Jacques Development of a Multimodal Human-computer Interface for the Control of a Mobile Robot

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees