TW201350081A - 雙向溝通眼動系統 - Google Patents

雙向溝通眼動系統 Download PDF

Info

Publication number
TW201350081A
TW201350081A TW101120165A TW101120165A TW201350081A TW 201350081 A TW201350081 A TW 201350081A TW 101120165 A TW101120165 A TW 101120165A TW 101120165 A TW101120165 A TW 101120165A TW 201350081 A TW201350081 A TW 201350081A
Authority
TW
Taiwan
Prior art keywords
display module
eye movement
way communication
movement system
user
Prior art date
Application number
TW101120165A
Other languages
English (en)
Other versions
TWI482610B (zh
Inventor
Chia-Chun Tsou
Chih-Heng Fang
Po-Tsung Lin
Yung-Jay Liang
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Priority to TW101120165A priority Critical patent/TWI482610B/zh
Priority to CN201210280440.8A priority patent/CN103472908B/zh
Priority to JP2012181402A priority patent/JP5548742B2/ja
Priority to US13/617,213 priority patent/US20130321258A1/en
Publication of TW201350081A publication Critical patent/TW201350081A/zh
Application granted granted Critical
Publication of TWI482610B publication Critical patent/TWI482610B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Abstract

一種雙向溝通眼動系統,第一顯示模組用以顯示第一操作視窗介面,並能偵測使用者之眼球動作而進行多樣化的操作控制,第二顯示模組顯示使用者訊息而讓使用者與外界進行即時而便利的溝通,資料處理模組與第一顯示模組、第二顯示模組相連,反應使用者的各項操作指令與資料訊息的傳遞作業。第一顯示模組與第二顯示模組能被任意的調整位置,利於觀看與操作。

Description

雙向溝通眼動系統
本發明有關一種溝通輔助系統,尤指一種讓使用者能藉由眼球的轉動行為而與外界溝通的雙向溝通眼動系統。
偵測眼睛的各種動作而進行控制,有多項技術已被開發出來而為社會大眾所知。如美國專利公告第6,003,991號,”Eye examination apparatus and method for remote examination of a patient by a health professional”,此案適用於醫學領域,主要提供了一個可讓病患配戴的眼鏡,眼鏡的正前方設置了攝影機用以取得使用者的眼睛影像。透過傳輸線將影像回傳到電腦設備與螢幕,如此醫師可以很清楚的觀察到病患的眼睛狀態,而進行治療或醫學研究。
如TempOne,Graffiti Research Lab,OpenFrameworks,The Ebeling Group等研究團隊於2007開發出一種眼控裝置“The EyeWriter”。”The Eyewriter”的原始動機,是有一群軟體程式開發專家,為了幫助患有「漸凍症(ALS)」而逐漸失去四肢活動能力的街頭藝術家Samuel Taylor Coleridge,讓他能夠利用眼睛再度揮灑繪畫作品。”The Eyewriter”於眼鏡的鏡架上配置兩個攝影機,正對使用者的兩隻眼睛,搭配開源的軟體程式讀取資料,偵測眼睛的運動而讓Samuel能以眼代手而再度作畫。
此外,瑞典Tobii公司所開發的“MyTobii P10”,是一種幫助病患的輔助裝置。基本原理與上述案例類似,同樣是偵測眼球的轉動而進行控制。相異之處在於“MyTobii”使用了液晶螢幕,並在螢幕下方安裝有眼動偵測器,此眼動偵測器能夠觀察病人眼睛的動作,進而同步移動螢幕上的游標;如此病人 能夠透過眼睛而操作螢幕上的功能。此外Tobii C15、Tobii C8、Tobii C12...等產品,也提供了近似的功能。
綜觀上述習知技術,美國專利6,003,991號、“The EyeWriter”,與“MyTobii”,基於不同的動機而提出類似的解決方案,雖能合理運作而有一定的效果,然而仔細探究,991’案以及“The EyeWriter”是在使用者的眼鏡正前方或是前下方設置攝影機,藉以取得眼睛的影像,但是對於已經配戴有眼鏡的使用者,或是躺在病床上的病人而言,並不十分方便。其一,為了讓鏡架能夠支撐額外配置的攝影機,鏡架必須重新設計符合需求,因此眼鏡的造型有些受限而不能自由選擇鏡架的造型。其二,由於手術或其他理由,病人無法自由活動而必須躺在病床上,需要護士協助才能翻身,當身體轉側而進行各種醫療行為如換藥等等之時,鏡架就會因為身體的翻動而脫離了正確的取像位置;而當病人向左側身或向右側身,都會壓迫到病人的耳朵,而造成實際使用上的各種困擾。
關於Tobii公司的產品雖然沒有眼鏡使用上的困擾,但仍有一些問題亟需解決。現有一種常見的狀況是,當病人感覺身體不適,想要告知醫護人員,醫護人員就必須先觀看病人的螢幕,瞧瞧病人反應了什麼,才能進行後續醫療處理。然而就實務操作上,螢幕的角度是面向病人的,因此醫護人員想要知道病人發出了什麼訊息,只有兩種方法:1.移動到病人的身邊,從病人的視角觀看螢幕。2.調整移動病人的螢幕。但無論哪種作法,實際上都會造成一些困擾。
有鑑於此,本發明的主要目的在於提供一種雙向溝通眼動系統,讓病人與醫護人員或是家屬朋友之間的溝通,直觀無障礙。
本發明所揭露的系統,能讓醫護人員清楚、快速的知道病患的身體狀況。
本發明之雙向溝通眼動系統,能服務四肢行動不便、無法開口溝通的病友。諸如漸凍症(ALS/MND)、肌肉尾縮症(MD)、腦性麻痺(CP)、多發性硬化症(MS)、脊隨損傷(SCI)、腦幹中風(CVA)、小腦尾縮症(SCA)、帕金森氏症(PD)等病患,讓醫護人員能給予病患立即的協助。
本發明之系統,設有多個能自由活動的支架懸臂,不僅能夠快速的調整使用操作位置,也便於收納存放。
本發明之系統,被設計成能被自由推移,而且推動上輕鬆不費力。尤其在醫院等場所,經常需要做環境清掃,或是換點滴、打針、吃藥、敷藥等實施各種醫療行為,因應此類經常移動器具的環境,本發明具有獨特的活動便利性。
依據本發明所提供的雙向溝通眼動系統,主要包含有第一顯示模組、第二顯示模組以及資料處理模組。第一顯示模組用以顯示第一操作視窗介面,第一顯示模組還包含眼控偵測單元,用以偵測使用者的眼睛動作,而產生眼動控制指令。第二顯示模組可顯示使用者訊息,資料處理模組與第一顯示模組以及第二顯示模組電性相接,資料處理模組用以提供第一操作視窗介面,而顯示於第一顯示模組。資料處理模組可依據眼動控制指令,讓使用者於第一操作視窗介面上進行控制而產生一執行命令,資料處理模組依據執行命令,提供使用者訊息顯示於第二顯示模組上。
較佳者,本發明之系統還包含有支撐主桿,資料處理模組設於支撐主桿之一端,第一顯示模組與第二顯示模組設於支撐主管之另一端。
較佳者,本發明之系統還包含有活動支架組,活動支架組之一端相接於第一顯示模組,另端相接於支撐主桿,讓第一 顯示模組可被受力移動到一個合適的使用位置。
較佳者,本發明之系統還包含握持件,設於支撐主桿之一側,而支撐主桿之底側設有一滑輪組,使用者可施力於握持件,並藉由滑輪組而移動本發明之系統。
較佳者,第二顯示模組更包含有觸控面板,以便於使用者、醫護人員之操作。
有關本發明之目的、技術內容與特點,以下舉一較佳實施例並配合圖式予以說明。
關於本發明之雙向溝通眼動系統,請參閱圖1與圖2予以說明。本發明之系統主要包含了第一顯示模組100、第二顯示模組200以及資料處理模組。第一顯示模組100能讓第一使用者(病人)操作使用,第二顯示模組200能讓第二使用者(醫護人員)操作使用。第一顯示模組100用以顯示第一操作視窗介面,第一顯示模組100的下方設有一個眼控偵測單元110,眼控偵測單元110能偵測使用者(病人)的眼睛動作,而產生眼動控制指令。第二顯示模組200用以顯示使用者訊息,較佳者,第二顯示模組200還能裝配觸控面板,以利於醫護人員的設定操作。支撐主桿300的一端,或稱底側,內裝有資料處理模組(圖中未示),多條資料訊號傳輸線、電源線等(圖中未示)埋設於支撐主桿300之柱體內,而使資料處理模組與第一顯示模組100、第二顯示模組200電性相接,相互傳遞資料與訊號。資料處理模組可提供前述的第一操作視窗介面,而顯示於第一顯示模組100,以供使用者(病人)以眼睛動作的方式予以操作,也就是經由眼控偵測單元100偵測使用者的眼睛動作。資料處理模組可依據眼控偵測單元110提供的眼動控制指令,讓使用者在第一顯示模組100上的第一操作視窗介面中進行控制,而 產生執行命令。資料處理模組隨後依據此執行命令,而產生使用者訊息於第二顯示模組200上。
舉例,當病人感覺背部疼痛時,可以透過眼睛的動作,藉由眼睛眼控偵測單元100的偵測,產生眼動控制指令,而在第一顯示模組100上的第一操作視窗介面上控制操作,產生如「背部疼痛」的使用者訊息。較佳者,在第一操作視窗介面中可以提供預設的操作介面,列出身體的各個部位,如頭、胸、背、左右手、左右腳...等身體部位,並列出病人常見的感受,如疼痛、癢、刺痛、麻、酸痛...等身體狀況,以便於病人快速反應。此外,使用者也可以直接打出各類訊息,如:「我想喝水」、「請關燈」或是「謝謝你送的花」等等使用者訊息。此類使用者訊息將會顯示在第二顯示模組200上,如此醫護人員很快就能知道病人想要表達的意思,而給予立即的幫助。習知技術中醫護人員必須移動病患的螢幕,或是得側身與病患同一個視角方向才知道病患想表達的意思,本發明所提供的雙向溝通眼動系統,讓病人與外界的溝通更為即時,直觀而毫無障礙。除了產生使用者訊息在第二顯示模組200上的功能之外,本發明之雙向溝通眼動系統,還可以讓使用者透過眼睛的動作來進行各種軟體操作,比如播放音樂、瀏覽網站、寫電子郵件等等。第二顯示模組200還配置有觸控面板,第二顯示模組200能顯示第二操作視窗介面,以便於醫護人員在第二顯示模組200上進行系統的設定與操作。
接下來說明本發明之系統的其他組成。第一顯示模組100的兩側設有第一握柄組120,便於使用者施力調整第一顯示模組100的使用位置,讓第一顯示模組100面向病人,以讓眼控偵測單元110能正確取得病人的眼睛影像。同理,第二顯示模組200的兩側具有第二握柄組,方便醫護人員調整第二顯示模組200的角度與位置,便於操作觀看。支撐主桿300的一側具有握持件310,底側裝配有滑輪組320,如此,醫護人員可以 施力於握持件310,並藉由滑輪組320而推動本發明之系統的位置。由於醫院經常需要做環境清掃,或是換點滴、打針、吃藥、敷藥等實施各種醫療行為,因應此類經常移動器具的環境,握持件310與滑輪組320的設計搭配,讓本發明之系統具有獨特的活動便利性。
活動支架組400的兩端分別連接第一顯示模組100以及支撐主桿300,主要由第一懸臂410、第二懸臂420、第三懸臂430、第四懸臂440所組成。該等懸臂彼此相連,並能相對活動旋轉,施力於第一顯示模組100上的第一握柄組120,將可連動前述該等懸臂,而調整第一顯示模組100的位置。如圖3所示,第一萬向轉接頭130分別連接於活動支架組400的第四懸臂440,以及第一顯示模組100,第一顯示模組100可相對活動支架組400旋轉一預定的角度,對第一顯示模組100的角度做細部的調整,讓病人有最佳的視覺範圍。如圖4所示,第五懸臂220分別連接於支撐主桿300以及第二顯示模組200,如此第二顯示模組200與支撐主桿300的相對位置可被調整,讓醫護人員能自由的調整角度,以取得最佳的可視範圍。
雖然本發明揭露較佳實施例如上,然其並非用以限定本發明,本發明領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,本發明之保護範圍當以後附的申請專利範圍所界定者為準。
100‧‧‧第一顯示模組
110‧‧‧眼控偵測單元
120‧‧‧第一握柄組
130‧‧‧第一萬向轉接頭
200‧‧‧第二顯示模組
210‧‧‧第二握柄組
220‧‧‧第五懸臂
300‧‧‧支撐主桿
310‧‧‧握持件
320‧‧‧滑輪組
400‧‧‧活動支架組
410‧‧‧第一懸臂
420‧‧‧第二懸臂
430‧‧‧第三懸臂
440‧‧‧第四懸臂
圖1是本發明的系統示意圖。
圖2是本發明的系統示意圖之另一角度。
圖3是本發明的系統之第一放大示意圖。
圖4是本發明的系統之第二放大示意圖。
100‧‧‧第一顯示模組
110‧‧‧眼控偵測單元
120‧‧‧第一握柄組
200‧‧‧第二顯示模組
210‧‧‧第二握柄組
300‧‧‧支撐主桿
310‧‧‧握持件
320‧‧‧滑輪組
400‧‧‧活動支架組
410‧‧‧第一懸臂
420‧‧‧第二懸臂
430‧‧‧第三懸臂
440‧‧‧第四懸臂

Claims (10)

  1. 一種雙向溝通眼動系統,係包括有:一第一顯示模組,用以顯示一第一操作視窗介面,該第一顯示模組包含有一眼控偵測單元,用以偵測使用者之眼睛動作,而產生一眼動控制指令;一第二顯示模組,用以顯示一使用者訊息;以及一資料處理模組,與該第一顯示模組以及該第二顯示模組電性相接,該資料處理模組用以提供該第一操作視窗介面而顯示於該第一顯示模組,該資料處理模組可依據該眼動控制指令,讓使用者於該第一操作視窗介面上進行控制,而產生一執行命令,該資料處理模組依據該執行命令,提供該使用者訊息顯示於該第二顯示模組上。
  2. 如申請專利範圍第1項所述之雙向溝通眼動系統,其中更包含有一支撐主桿,該資料處理模組設於該支撐主桿之一端,該第一顯示模組與該第二顯示模組設於該支撐主桿之另一端。
  3. 如申請專利範圍第2項所述之雙向溝通眼動系統,其中更包含有一活動支架組,該活動支架組之一端相接於第一顯示模組,另一端相接於該支撐主桿,以讓該第一顯示模組可被受力移動至一使用位置。
  4. 如申請專利範圍第3項所述之雙向溝通眼動系統,其中該活動支架組包括有相連之一第一懸臂、一第二懸臂、一第三懸臂與一第四懸臂,以便調整該第一顯示模組之空間位置。
  5. 如申請專利範圍第3項所述之雙向溝通眼動系統,其中更包含有一第一萬向轉接頭,分別連接於該活動支架組與該 第一顯示模組,以使該第一顯示模組可相對該活動支架組旋轉一預定的角度。
  6. 如申請專利範圍第2項所述之雙向溝通眼動系統,其中更包含有一第五懸臂,分別連接於該支撐主桿與該第二顯示模組,以使該第二顯示模組與該支撐主桿的相對位置可被調整。
  7. 如申請專利範圍第2項所述之雙向溝通眼動系統,其中更包含有一握持件,設於該支撐主桿之一側,該支撐主桿之底側設有一滑輪組,使用者可施力於該握持件,並藉由該滑輪組而移動該雙向溝通眼動系統。
  8. 如申請專利範圍第1項所述之雙向溝通眼動系統,其中更包含有一第一握柄組,設於該第一顯示模組,以便於使用者之施力而調整該第一顯示模組之位置。
  9. 如申請專利範圍第1項所述之雙向溝通眼動系統,其中更包含有一第二握柄組,設於該第二顯示模組,以便於使用者之施力而調整該第二顯示模組之位置。
  10. 如申請專利範圍第1項所述之雙向溝通眼動系統,其中該第二顯示模組更包含有一觸控面板,以便於使用者操作。
TW101120165A 2012-06-05 2012-06-05 Two - way communication system TWI482610B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW101120165A TWI482610B (zh) 2012-06-05 2012-06-05 Two - way communication system
CN201210280440.8A CN103472908B (zh) 2012-06-05 2012-08-08 双向沟通眼动系统
JP2012181402A JP5548742B2 (ja) 2012-06-05 2012-08-20 双方向アイ・モーション・コミュニケーション・システム
US13/617,213 US20130321258A1 (en) 2012-06-05 2012-09-14 Two-way communication system by using eye movements

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101120165A TWI482610B (zh) 2012-06-05 2012-06-05 Two - way communication system

Publications (2)

Publication Number Publication Date
TW201350081A true TW201350081A (zh) 2013-12-16
TWI482610B TWI482610B (zh) 2015-05-01

Family

ID=49669573

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101120165A TWI482610B (zh) 2012-06-05 2012-06-05 Two - way communication system

Country Status (4)

Country Link
US (1) US20130321258A1 (zh)
JP (1) JP5548742B2 (zh)
CN (1) CN103472908B (zh)
TW (1) TWI482610B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI507911B (zh) * 2014-02-25 2015-11-11 Utechzone Co Ltd 藉眼部開闔狀態控制的驗證系統及其手持式控制裝置
US10049271B2 (en) 2013-12-27 2018-08-14 Utechzone Co., Ltd. Authentication system controlled by eye open and eye closed state, handheld control apparatus thereof and computer readable recording media

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI470477B (zh) * 2012-08-29 2015-01-21 Utechzone Co Ltd 眼控溝通系統
CN106020466A (zh) * 2016-05-17 2016-10-12 武汉大学 一种针对交流困难患者的可视听交互方法和装置
CN108096678B (zh) * 2017-12-13 2020-05-12 河南科技大学第一附属医院 一种用于应答困难患者的辅助沟通系统
CN108113680B (zh) * 2017-12-20 2020-06-16 武汉智普天创科技有限公司 遥测眼动追踪系统
CN108095682B (zh) * 2017-12-20 2020-02-07 武汉智普天创科技有限公司 眼动追踪系统
CN109508092A (zh) * 2018-11-08 2019-03-22 北京七鑫易维信息技术有限公司 基于眼球追踪控制终端设备的方法、装置和终端
CN115059848A (zh) * 2022-08-16 2022-09-16 江苏长松科技发展有限公司 一种便于校正偏离角度的智慧城市用图像处理装置
CN116077060B (zh) * 2023-02-03 2024-01-16 上海耐欣科技有限公司 一种显示设备、评估系统和评估方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695024A (en) * 1986-05-09 1987-09-22 Attain, Inc. Test system manipulator arm
US5641191A (en) * 1995-10-16 1997-06-24 Jia; Xuekui Sun shield swivel apparatus for vehicles and the like
US5850211A (en) * 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
JPH1173274A (ja) * 1997-08-27 1999-03-16 Canon Inc 視線入力意思伝達装置、方法および記憶媒体
US6343006B1 (en) * 1998-11-20 2002-01-29 Jerry Moscovitch Computer display screen system and adjustable screen mount, and swinging screens therefor
JP2001350578A (ja) * 2000-06-06 2001-12-21 Sensor:Kk 視線による入力制御装置及び方法並びに視線により入力させる制御プログラムを記録した記録媒体
US20020135535A1 (en) * 2001-01-20 2002-09-26 Alexander Muller Portable electronic data processing device
JP3673834B2 (ja) * 2003-08-18 2005-07-20 国立大学法人山口大学 眼球運動を用いた視線入力コミュニケーション方法
ZA200608191B (en) * 2004-04-01 2008-07-30 William C Torch Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP2006055388A (ja) * 2004-08-20 2006-03-02 Toyama Prefecture 遠隔介護支援システム
DE112004003014T5 (de) * 2004-11-15 2008-01-03 Kabushiki Kaisha Morita Tokyo Seisakusho Optische Zahndiagnosevorrichtung
JP5167545B2 (ja) * 2006-03-31 2013-03-21 国立大学法人静岡大学 視点検出装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10049271B2 (en) 2013-12-27 2018-08-14 Utechzone Co., Ltd. Authentication system controlled by eye open and eye closed state, handheld control apparatus thereof and computer readable recording media
TWI507911B (zh) * 2014-02-25 2015-11-11 Utechzone Co Ltd 藉眼部開闔狀態控制的驗證系統及其手持式控制裝置

Also Published As

Publication number Publication date
US20130321258A1 (en) 2013-12-05
JP2013254470A (ja) 2013-12-19
CN103472908A (zh) 2013-12-25
JP5548742B2 (ja) 2014-07-16
CN103472908B (zh) 2016-03-30
TWI482610B (zh) 2015-05-01

Similar Documents

Publication Publication Date Title
TWI482610B (zh) Two - way communication system
US9555255B2 (en) Touch screen finger position indicator for a spinal cord stimulation programming device
Reyes et al. Minimal access surgery (MAS)-related surgeon morbidity syndromes
Maimon-Mor et al. Towards free 3D end-point control for robotic-assisted human reaching using binocular eye tracking
KR101825712B1 (ko) 최소 침습 원격조종 수술 기구를 위한 환자측 의사 인터페이스
TWI470477B (zh) 眼控溝通系統
JP2008181527A5 (zh)
US11950968B2 (en) Surgical augmented reality
CN105678087A (zh) 一种智能化近视检测与干预治疗家庭终端及其系统
CA2896440A1 (en) Network of devices for performing optical/optometric/ophthalmological tests, and method for controlling said network of devices
Lim et al. Ergonomic effects of medical augmented reality glasses in video-assisted surgery
JP2019162251A (ja) 眼球回転検出装置、電子機器及びシステム
CN204814294U (zh) Icu/残障用眼动呼叫系统
Van Lindert et al. The use of a head-mounted display for visualization in neuroendoscopy
Chang et al. Alternative motor task-based pattern training with a digital mirror therapy system enhances sensorimotor signal rhythms post-stroke
US20220337729A1 (en) Over-the-eye apparatus for capturing images from a user's point of view
Shi et al. I-GSI: A novel grasp switching interface based on eye-tracking and augmented reality for multi-grasp prosthetic hands
TWI671762B (zh) 隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法、電腦可讀取記錄媒體、電腦程式產品、系統
CN202477658U (zh) 一种生理监护仪
CN218543917U (zh) 一种电子设备固定装置
US20210249127A1 (en) Wireless Communication System for Remote Medical Assistance
CN202553924U (zh) 一种心电测量仪
JP2014222495A (ja) インタフェース装置
JP7309830B2 (ja) 電子機器及び表示方法
Sánchez-Margallo et al. Wearable Technology for Assessment and Surgical Assistance in Minimally Invasive Surgery