TW202340800A - 眼球追蹤裝置以及眼球追蹤方法 - Google Patents
眼球追蹤裝置以及眼球追蹤方法 Download PDFInfo
- Publication number
- TW202340800A TW202340800A TW111136125A TW111136125A TW202340800A TW 202340800 A TW202340800 A TW 202340800A TW 111136125 A TW111136125 A TW 111136125A TW 111136125 A TW111136125 A TW 111136125A TW 202340800 A TW202340800 A TW 202340800A
- Authority
- TW
- Taiwan
- Prior art keywords
- signal
- eye tracking
- sensor
- tracking device
- eyeball
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 210000001508 eye Anatomy 0.000 claims abstract description 96
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 52
- 239000013598 vector Substances 0.000 claims description 29
- 230000004424 eye movement Effects 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 14
- 230000006698 induction Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本發明揭示一種眼球追蹤裝置以及眼球追蹤方法。眼球追蹤裝置包括感應器以及多個信號發射元件。感應器設置在使用者的眼球上。感應器具有多個信號接收元件。信號發射元件設置在感應器的周圍,並環繞感應器。信號發射元件分別發送多個發射信號。信號接收元件接收發射信號以分別產生多個感應信號。眼球追蹤裝置根據感應信號以計算眼球的所在位置。
Description
本發明是有關於一種眼球追蹤裝置以及眼球追蹤方法,特別是關於一種能夠配置於眼球上並執行眼球追蹤動作的眼球追蹤裝置以及眼球追蹤方法。
一般而言,應用於眼球追蹤技術的電子產品透過相機捕捉人眼的圖像,並且透過具有計算功能的裝置依據所捕捉到的圖像來獲得人眼追蹤的結果。然而,相機限制了現行的電子產品的配置,而影響使用者的操作體驗。
本發明實施例提供一種眼球追蹤裝置以及眼球追蹤方法,能夠免除相機並執行眼球追蹤動作。
本發明實施例的眼球追蹤裝置包括感應器以及多個信號發射元件。感應器設置在使用者的眼球上。感應器具有多個信號接收元件。此些信號發射元件設置在感應器的周圍,並環繞感應器。此些信號發射元件分別發送多個發射信號。此些信號接收元件接收此些發射信號以分別產生多個感應信號。眼球追蹤裝置根據此些感應信號以計算眼球的所在位置。
本發明實施例另提供一種眼球追蹤方法。眼球追蹤方法包括以下的步驟。在使用者的眼球上設置具有多個信號接收元件的感應器。在感應器的周圍設置多個信號發射元件。此些信號發射元件環繞感應器。使此些信號發射元件分別發送多個發射信號。使此些信號接收元件接收此些發射信號以分別產生多個感應信號。根據此些感應信號以計算眼球的所在位置。
基於上述,本發明實施例的眼球追蹤裝置以及眼球追蹤方法能夠透過設置在使用者的眼球上的感應器接收多個發射信號以產生多個感應信號,以使眼球追蹤裝置根據感應信號來執行眼球追蹤動作,因此能夠在沒有相機的配置下實現眼球追蹤,並能夠隨時隨地體驗眼球追蹤的應用。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份,並未揭示所有本發明的可實施方式。更確切的說,這些實施例只是本發明的專利申請範圍中的範例。
圖1是依據本發明一實施例所繪示的眼球追蹤裝置的示意圖。請參考圖1,眼球追蹤裝置100可耦接電子裝置(未繪示)以與電子裝置協同操作。舉例來說,眼球追蹤裝置100可受控於電子裝置以執行操作。電子裝置可例如是手機、平板電腦、筆記型電腦與桌上型電腦等。
於圖1實施例中,眼球追蹤裝置100包括感應器110以及多個信號發射元件211~246。感應器110設置在使用者的眼球EYE上。信號發射元件211~246依序設置在感應器110的周圍,並環繞感應器110。在本實施例中,信號發射元件211~246可分散地且非對稱地設置在框架FE上(例如是頭戴式顯示器的鏡框)。圖1實施例的信號發射元件211~246的數量以及配置僅為範例,並不以此為限。
基於感應器110設置在使用者的眼球EYE上,感應器110可隨著眼球EYE的移動,而產生位置上的變化。
在本實施例中,感應器110具有多個信號接收元件111~112。信號接收元件111以及信號接收元件111可分別包括多個分段的感應線圈(未標示)。此些感應線圈依序設置在鄰近於感應器110的外緣,並環繞眼球EYE的瞳孔(即,圖1中黑色實心圖型)。圖1實施例的信號接收元件111~112的數量以及配置僅為範例,並不以此為限。
在本實施例中,感應器110可例如是智慧隱形眼鏡。信號接收元件111或112可例如是平面式印刷天線(Printed antenna)或用以接收無線信號的其他種類天線。在本實施例中,信號發射元件211~246可例如是平面式印刷天線或用以輸出無線信號的其他種類天線。
圖2是依據本發明一實施例所繪示的眼球追蹤方法的流程圖。請參考圖1以及圖2,眼球追蹤裝置100可以執行如以下步驟S210~S240來執行眼球追蹤方法。
在步驟S210,透過使用者配戴感應器110於眼球EYE,以在使用者的眼球EYE上設置具有多個信號接收元件111~112的感應器110。在本實施例中,感應器110可以配戴於單眼。在一些實施例中,感應器110可以為兩個,並分別配戴於雙眼。
在步驟S220,透過使用者配戴具有框架FE的眼鏡,以在感應器110的周圍設置多個信號發射元件211~246。
在步驟S230,透過眼球追蹤裝置100使信號發射元件211~246分別發送多個發射信號,並且使信號接收元件111~112接收此些發射信號以分別產生多個感應信號。
應注意的是,由於信號接收元件111相對於信號發射元件211~246之間具有多個不同的距離,因此信號接收元件111所產生的感應信號具有關聯於此些距離的資訊。信號接收元件112可以參照信號接收元件111的相關說明並加以類推,故在此不另重述。
在步驟S240,透過眼球追蹤裝置100根據此些感應信號以計算眼球EYE的所在位置。也就是說,眼球追蹤裝置100能夠依據多個感應信號中的距離資訊來追蹤眼球EYE。在本實施例中,眼球EYE的所在位置可以是以直角座標來表示(例如是(x, y, z))。在一些實施例中,眼球EYE的所在位置可以是以極座標或其他座標系統來表示。
在此值得一提的是,透過設置在眼球EYE上的感應器110接收多個發射信號以產生對應的多個感應信號,能夠根據感應信號來執行眼球追蹤動作,而不需要相機即可實現眼球追蹤,以進一步小型化眼球追蹤裝置100。在另一方面,使用者能夠透過球追蹤裝置100隨時隨地體驗眼球追蹤的應用,例如是結合了擴增實境(Augmented Reality,AR)或虛擬實境(Virtual Reality,VR)等沉浸式(Immersive)體驗。
請再次參考圖1,在本實施例中,眼球追蹤裝置100更包括控制器(未繪示)以及電源供應器(未繪示)。控制器耦接信號接收元件111~112、多個信號發射元件211~246以及電源供應器。控制器可設置於電子裝置(未繪示)中。電源供應器可設置於框架FE上或框架FE所夾設的玻璃GL中。
在本實施例中,控制器可導通或關斷信號接收元件111~112及/或信號發射元件211~246。在本實施例中,控制器可控制電源供應器,以使電源供應器對信號接收元件111~112及/或信號發射元件211~246進行充電。
在本實施例中,控制器可例如是現場可程式化邏輯閘陣列(Field Programmable Gate Array,FPGA)、中央處理單元(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合,其可載入並執行相關韌體或軟體,以實現計算功能。
於圖1實施例中,信號接收元件111~112可分散設置在感應器110的不同的多個位置上。舉例來說,信號接收元件111設置在感應器110的第一側邊的外緣處,並且信號接收元件112設置在感應器110的第二側邊的外緣處,其中第一側邊與第二側邊相對。信號接收元件111、112可鄰接形成閉環形。在一些實施例中,信號接收元件111~112的數量可以是三個以上,並不以此為限。
在本實施例中,信號發射元件211~246設置在框架FE上(例如是眼鏡的鏡框)。框架FE可為封閉或具有缺口的環繞式結構以環繞感應器110。舉例來說,框架FE包括第一支架F1、第二支架F2、第三支架F3以及第四支架F4。第一支架F1至第四支架F4以順時針方向依序鄰接而形成環繞式結構。圖1實施例的框架FE的形狀以及支架F1~F4的數量與配置僅為範例,並不以此為限。
在本實施例中,信號發射元件211~246包括至少一個第一信號發射元件211、至少一個第二信號發射元件221~223、至少一個第三信號發射元件231~234以及至少一個第四信號發射元件241~246。信號發射元件211~246以順時針方向依序分散設置在框架FE的支架F1~F4上。
詳細而言,在本實施例中,第一信號發射元件211可具有第一數量(例如是1個)。第一信號發射元件211可在Y方向上延伸,並具有第一尺寸。第一信號發射元件211設置在框架FE的第一支架F1上。
在本實施例中,第二信號發射元件221~223可具有第二數量(例如是3個)。第二信號發射元件221可在X方向上延伸,並具有第二尺寸。第二信號發射元件222、223可以參照第二信號發射元件221的相關說明並加以類推,故在此不另重述。第二信號發射元件221~223可分散設置在第二支架F2上。
在本實施例中,第三信號發射元件231~232可具有第三數量(例如是2個)。第三信號發射元件231可在Y方向上延伸,並具有第三尺寸。第三信號發射元件231設置在框架FE的第三支架F3上。第三信號發射元件232可以參照第三信號發射元件231的相關說明並加以類推,故在此不另重述。第三信號發射元件231~232可分散設置在第三支架F3上。
在本實施例中,第四信號發射元件241~246可具有第四數量(例如是6個)。第四信號發射元件241可在X方向上延伸,並具有第四尺寸。第四信號發射元件242~246可以參照第四信號發射元件241的相關說明並加以類推,故在此不另重述。第四信號發射元件241~246可分散設置在第四支架F4上。
應注意的是,第一尺寸、第二尺寸、第三尺寸以及第四尺寸兩兩不相同。也就是說,設置在不同支架F1~F4上的信號發射元件的結構大小皆不相同。前述的信號發射元件例如是第一信號發射元件211、第二信號發射元件221、第三信號發射元件231以及第四信號發射元件241。在另一方面,第一數量、第二數量、第三數量以及第四數量兩兩不相同。也就是說,設置在不同支架F1~F4上的信號發射元件的數量皆不相同。前述的數量例如是1個、3個、2個以及6個。
圖3是依據本發明一實施例所繪示的眼球追蹤裝置的動作示意圖。請參考圖3,眼球追蹤裝置300所包括的感應器310、多個信號發射元件411~446、控制器330以及電源供應器(未繪示)可以參照眼球追蹤裝置100的相關說明並加以類推,故在此不另重述。
在本實施例中,當眼球EYE移動時(例如是以箭頭AW方向移動),感應器310跟隨眼球EYE以產生移動。也就是說,信號接收元件311、312分別相對於多個信號發射元件411~446的位置發生變化。此時,眼球追蹤裝置300可以操作在追蹤模式下以計算眼球EYE的所在位置,或者可以操作在校正模式下以建立動眼模型。
不論在追蹤模式或校正模式下,電源供應器可輸出多個充電信號PA1~PD6至信號發射元件411~446。詳細而言,第一信號發射元件411可接收充電信號PA1。第二信號發射元件421~423可分別接收充電信號PB1~PB3。第三信號發射元件431~432可分別接收充電信號PC1~PC2。第四信號發射元件441~446可分別接收充電信號PD1~PD6。
在本實施例中,信號發射元件411~446可分別接收充電信號PA1~PD6以進行充電。在一些實施例中,信號發射元件411~446可分別接收並發送作為發射信號的充電信號PA1~PD6以執行眼球追蹤。在一些實施例中,信號發射元件411~446可分別接收並發送充電信號PA1~PD6以對感應器310進行充電。
圖4是依據本發明圖3實施例所繪示的眼球追蹤方法的流程圖。請參考圖3以及圖4,眼球追蹤裝置300可以執行如以下步驟S410~S450來執行眼球追蹤方法。
在步驟S410,透過控制器330控制信號發射元件411~446,以使多個信號發射元件411~446依照設定順序、設定時間間隔、設定輻射強度,分別發送多個發射信號。
舉例來說,以順時針為被致能順序,信號發射元件411~446以相同時間間隔,依序發射具有相同能量的發射信號。請一併參考圖5A,圖5A是依據本發明圖3實施例所繪示的信號發射元件的動作示意圖。在圖5A中,橫軸為信號發射元件411~446的操作時間,縱軸為電壓值。在本實施例中,充電信號PA1~PD6分別被用來對信號發射元件411~446進行充電以發送對應的發射信號。各個充電信號PA1~PD6具有相同的被致能期間PT1,並且具有相同的被致能電壓值。此外,充電信號PA1~PD6兩兩之間的時間間隔相同(即,期間PT2)。
在步驟S420,透過信號接收元件311~312接收此些發射信號以分別產生多個感應信號。
舉例來說,請一併參考圖5B,圖5B是依據本發明圖3實施例所繪示的信號接收元件的動作示意圖。在圖5B中,橫軸為信號接收元件311~312的操作時間,縱軸為電壓值。在本實施例中,信號接收元件311、312可接收(並累積)步驟S410期間內的多個發射信號以分別產生第一感應信號SS_311以及第二感應信號SS_312。
在步驟S430,透過控制器330判斷眼球追蹤裝置300是否存在眼動模型。若步驟S430的結果為否,表示眼球追蹤裝置300尚未建立眼動模型,眼球追蹤裝置300執行步驟S440。若步驟S430的結果為是,表示眼球追蹤裝置300已建立眼動模型,眼球追蹤裝置300執行步驟S450。
在步驟S440,眼球追蹤裝置300操作在校正模式下,透過控制器330建立動眼模型。在本實施例中,眼球追蹤裝置300可接續執行步驟S450。步驟S440可包括以下的步驟細節。
在校正模式中,透過控制器330依序設定眼球EYE在不同的多個凝視方向。前述的凝視方向可包括凝視自身視野所及的正前方(即,眼球EYE置中)、第一方向(即,正X方向)、第二方向(即,負X方向)、第三方向(即,正Y方向)以及第四方向(即,負Y方向)等。本實施例凝視方向的數量以及順序僅為範例,並不以此為限。
在校正模式中,對應各凝視方向,透過控制器330使各個信號發射元件411~446分時發送各個發射信號。在本實施例中,前述的發射信號可例如是依據圖5A的充電信號PA1~PD6所產生的發射信號。
在校正模式中,透過控制器330根據信號接收元件311~312所接收到的多個感應信號的波形以建立多個分類邊界方程式。在本實施例中,前述的感應信號可例如是依據圖5B的感應信號SS_311~SS_312。
具體來說,對應各個凝視方向,透過控制器330計算各個感應信號的能量平均值。也就是說,當眼球EYE凝視正前方(即,眼球EYE置中)時,控制器330計算當時所產生的感應信號的能量平均值。當眼球EYE凝視圖式的正X方向時,控制器330計算當時所產生的感應信號的能量平均值,以此類推。在本實施例中,控制器330依據分類決策分析或是其他分類方式來將所計算的能量平均值進行分類,以取得關聯於不同凝視方向(例如是置中、正X方向、負X方向、正Y方向、負Y方向)以及感應信號的能量平均值的多個分類邊界方程式。
在校正模式中,透過控制器330根據前述的多個凝視方向以及分別對應的多個能量平均值進行分類計算以建立眼動模型。也就是說,眼動模型可包括多個分類邊界方程式,以將感應信號的能量平均值分類至對應的凝視方向(例如是置中、正X方向、負X方向、正Y方向、負Y方向)。
在另一方面,在校正模式中,在本實施例中,透過控制器330根據特徵方程式(例如是方程式A
B = C
B)來計算出特徵值以及特徵向量。在前述的方程式中,A為在校正模式中,對應各個凝視方向的多個能量平均值所形成的向量。B為特徵向量,以表示凝視方向與感應信號的能量平均值之間的關係。C為前述關係中的特徵值。其中,A的維度可以為5
5,B的維度可以為5
1,C則可以為一常數。
在校正模式中,控制器330透過儲存特徵值(即,特徵值C)以及特徵向量(即,特徵向量B)以建立眼動模型。也就是說,在各個分類邊界方程式中(對應於單一凝視方向),眼動模型可包括特徵值C以及特徵向量B,以將感應信號的能量平均值與特徵向量B及/或特徵值C進行計算而獲得眼球EYE的所在位置。
在一些實施例中,在步驟S440中,眼球追蹤裝置300操作在校正模式下,透過控制器330建立凝視向量查表。在校正模式中,透過控制器330根據分類邊界方程式,將各個感應信號的能量平均值與特徵向量外積以產生查找距離。透過控制器330以插值法(例如是內插法)繪製各個凝視方向所對應的距離向量,並且儲存多個距離向量為凝視向量查表。
在步驟S450,眼球追蹤裝置300操作在追蹤模式下,透過控制器330計算各個感應信號以計算眼球EYE的所在位置。也就是說,當眼球追蹤裝置300可將感應信號帶入動眼模型進行計算,以獲得眼球EYE的所在位置。
在本發明其他實施例中,上述校正模式也可透過透過控制器330以機器學習的方式來進行。例如,控制器330可以設定一類神經網路模型,將所獲得的關聯於不同凝視方向的感應信號的能量平均值輸入至類神經網路模型來進行訓練。此外,控制器330可在追蹤模式下,將各個感應信號輸入至完成訓練的類神經網路模型,並藉以計算出眼球EYE的所在位置。
圖6是依據本發明圖3實施例所繪示的眼球追蹤方法的流程圖。請參考圖3以及圖6,眼球追蹤裝置300可以執行如以下步驟S610~S640來執行眼球追蹤方法。
在步驟S610,眼球追蹤裝置300操作在追蹤模式下,透過控制器330計算各個感應信號的平均值(例如是能量平均值)以獲得量測結果,並且根據量測結果與特徵向量(即,眼動模型中的特徵向量B)外積以產生查找資訊。也就是說,控制器330可計算多個感應信號的能量平均值(即,以向量表示的量測結果)。控制器330可將量測結果帶入特徵方程式以獲得以向量表示的查找資訊。
在步驟S620,眼球追蹤裝置300操作在追蹤模式下,透過控制器330將查找資訊帶入多個分類邊界方程式(即,眼動模型中的分類邊界方程式)以獲得凝視向量,並且根據凝視向量以計算眼球EYE的所在位置。
在步驟S630,眼球追蹤裝置300操作在追蹤模式中的充電模式下,透過控制器330根據眼球EYE的所在位置(例如是如圖3所示)以啟動對應的多個信號發射元件411~446中的至少其中之選中信號發射元件(例如是信號發射元件422、423)。
在步驟S640,眼球追蹤裝置300操作在充電模式下,透過控制器330控制電源供應器,以使選中信號發射元件(例如是信號發射元件422、423)發送充電信號(例如是充電信號PB2、PB3)至感應器310,並使感應器310根據充電信號進行充電。
舉例來說,請一併參考圖7,圖7是依據本發明圖6實施例所繪示的信號接收元件的動作示意圖。在圖7中,橫軸為信號接收元件311~312的操作時間,縱軸為電壓值。在本實施例中,當控制器330已計算出眼球EYE的所在位置時(例如是如圖3所示),控制器330可選擇驅動部分的信號發射元件422、423。被選擇的信號發射元件422、423分別接收具有被致能電壓的充電信號PB2、PB3以進行充電。其他未被選擇的信號發射元件411、421、431~446則未接收充電信號(即,不具有被致能電壓的充電信號PA1、PB1、PC1~PD6)。被選擇的信號發射元件422、423分別發送充電信號PB2、PB3,以使感應器310接收充電信號PB2、PB3進行充電。
應注意的是,透過眼球追蹤裝置300可根據眼球EYE的所在位置及/或信號發射元件411~426的配置(尺寸、數量等)來選擇鄰近於眼球EYE的所在位置的部分信號發射元件422、423。如此一來,透過部分的信號發射元件422、423被致能,能夠使眼球追蹤裝置300達到最小輸出功率以提高眼球追蹤裝置300的操作穩定性,以進一步降低人體可能吸收到的輻射能量。
綜上所述,本發明實施例的眼球追蹤裝置以及眼球追蹤方法能夠透過設置在眼球上的感應器來執行眼球追蹤動作,以提高使用者的體驗性。在部分實施例中,根據計算出來的眼球的所在位置,眼球追蹤裝置能夠致能部分的信號發射元件來對感應器進行充電,以降低眼球追蹤裝置的消耗功率並達到最小輸出功率。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100、300:眼球追蹤裝置
110、310:感應器
111~112、311~312:信號接收元件
211、221~223、231~232、241~246、411、421~423、431~432、441~446:信號發射元件
330:控制器
AW:箭頭
EYE:眼球
F1~F4:支架
FE: 框架
GL:玻璃
PA1、PB1~PB3、PC1~PC2、PD1~PD6:充電信號
PT1、PT2:期間
S210~S240、S410~S450、S610~S640:步驟
SS_311、SS_312:感應信號
X、Y、Z:方向
圖1是依據本發明一實施例所繪示的眼球追蹤裝置的示意圖。
圖2是依據本發明一實施例所繪示的眼球追蹤方法的流程圖。
圖3是依據本發明一實施例所繪示的眼球追蹤裝置的動作示意圖。
圖4是依據本發明圖3實施例所繪示的眼球追蹤方法的流程圖。
圖5A是依據本發明圖3實施例所繪示的信號發射元件的動作示意圖。
圖5B是依據本發明圖3實施例所繪示的信號接收元件的動作示意圖。
圖6是依據本發明圖3實施例所繪示的眼球追蹤方法的流程圖。
圖7是依據本發明圖6實施例所繪示的信號接收元件的動作示意圖。
100:眼球追蹤裝置
110:感應器
111~112:信號接收元件
211、221~223、231~232、241~246:信號發射元件
EYE:眼球
F1~F4:支架
FE:框架
GL:玻璃
X、Y、Z:方向
Claims (17)
- 一種眼球追蹤裝置,包括: 一感應器,設置在使用者的一眼球上,具有多個信號接收元件;以及 多個信號發射元件,設置在該感應器的周圍,並環繞該感應器, 其中,該些信號發射元件分別發送多個發射信號,該些信號接收元件接收該些發射信號以分別產生多個感應信號,該眼球追蹤裝置根據該些感應信號以計算該眼球的所在位置。
- 如請求項1所述的眼球追蹤裝置,其中該感應器跟隨該眼球以產生移動。
- 如請求項1所述的眼球追蹤裝置,更包括: 一控制器,耦接該些信號接收元件。
- 如請求項3所述的眼球追蹤裝置,其中在一校正模式中,依序設定該眼球在不同的多個凝視方向,對應各該凝視方向,各該信號發射元件分時發送各該發射信號, 該控制器用以: 根據該些感應信號的波形以建立多個分類邊界方程式; 對應各該凝視方向,計算各該感應信號的一能量平均值;以及 根據該些凝視方向以及分別對應的該些能量平均值進行一分類計算以建立一眼動模型。
- 如請求項4所述的眼球追蹤裝置,其中該控制器更包括: 根據方程式 A B = C B來計算出一特徵值以及一特徵向量,其中A為對應該些凝視方向的該些能量平均值,B為該特徵向量,C為該特徵值;以及 儲存該特徵值以及該特徵向量以建立該眼動模型。
- 如請求項5所述的眼球追蹤裝置,其中在一追蹤模式下,該控制器用以: 計算各該感應信號的平均值以獲得一量測結果,根據該量測結果與該特徵向量外積以產生一查找資訊; 將該查找資訊帶入該些分類邊界方程式以獲得一凝視向量,根據該凝視向量以計算該眼球的所在位置。
- 如請求項1所述的眼球追蹤裝置,其中在一充電模式下,該控制器用以: 根據該眼球的所在位置以啟動對應的該些信號發射元件中的至少其中之一選中信號發射元件;以及 使該選中信號發射元件發送一充電信號至該感應器,並使該感應器根據該充電信號進行充電。
- 如請求項1所述的眼球追蹤裝置,其中該些信號發射元件設置在一框架上,該框架環繞該感應器,該些信號接收元件分散設置在該感應器的不同的多個位置上。
- 如請求項8所述的眼球追蹤裝置,其中該些信號發射元件包括至少一第一信號發射元件、至少一第二信號發射元件、至少一第三信號發射元件以及至少一第四信號發射元件, 其中該至少一第一信號發射元件設置在該框架的一第一支架上;該至少一第二信號發射元件設置在該框架的一第二支架上;該至少一第三信號發射元件設置在該框架的一第三支架上;該至少一第四信號發射元件設置在該框架的一第四支架上。
- 如請求項9所述的眼球追蹤裝置,其中該至少一第一信號發射元件、該至少一第二信號發射元件、該至少一第三信號發射元件以及該至少一第四信號發射元件分別具有一第一尺寸、一第二尺寸、一第三尺寸以及一第四尺寸,該第一尺寸、該第二尺寸、該第三尺寸以及該第四尺寸兩兩不相同。
- 如請求項9所述的眼球追蹤裝置,其中該至少一第一信號發射元件、該至少一第二信號發射元件、該至少一第三信號發射元件以及該至少一第四信號發射元件分別具有一第一數量、一第二數量、一第三數量以及一第四數量,該第一數量、該第二數量、該第三數量以及該第四數量兩兩不相同。
- 一種眼球追蹤方法,包括: 在使用者的一眼球上設置具有多個信號接收元件的一感應器; 在該感應器的周圍設置多個信號發射元件,該些信號發射元件環繞該感應器; 使該些信號發射元件分別發送多個發射信號,使該些信號接收元件接收該些發射信號以分別產生多個感應信號;以及 根據該些感應信號以計算該眼球的所在位置。
- 如請求項12所述的眼球追蹤方法,其中該感應器跟隨該眼球以產生移動。
- 如請求項12所述的眼球追蹤方法,其中在一校正模式中,更包括: 依序設定該眼球在不同的多個凝視方向; 對應各該凝視方向,使各該信號發射元件分時發送各該發射信號; 根據該些感應信號的波形以建立多個分類邊界方程式; 對應各該凝視方向,計算各該感應信號的一能量平均值;以及 根據該些凝視方向以及分別對應的該些能量平均值進行一分類計算以建立一眼動模型。
- 如請求項14所述的眼球追蹤方法,更包括: 根據方程式 A B = C B來計算出一特徵值以及一特徵向量,其中A為對應該些凝視方向的該些能量平均值,B為該特徵向量,C為該特徵值;以及 儲存該特徵值以及該特徵向量以建立該眼動模型。
- 如請求項15所述的眼球追蹤方法,其中在一追蹤模式下,更包括: 計算各該感應信號的平均值以獲得一量測結果,根據該量測結果與該特徵向量外積以產生一查找資訊; 將該查找資訊帶入該些分類邊界方程式以獲得一凝視向量,根據該凝視向量以計算該眼球的所在位置。
- 如請求項12所述的眼球追蹤方法,其中在一充電模式下,更包括: 根據該眼球的所在位置以啟動對應的該些信號發射元件中的至少其中之一選中信號發射元件;以及 使該選中信號發射元件發送一充電信號至該感應器,並使該感應器根據該充電信號進行充電。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202263328749P | 2022-04-08 | 2022-04-08 | |
US63/328,749 | 2022-04-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202340800A true TW202340800A (zh) | 2023-10-16 |
TWI842103B TWI842103B (zh) | 2024-05-11 |
Family
ID=
Also Published As
Publication number | Publication date |
---|---|
US11954250B2 (en) | 2024-04-09 |
CN116935481A (zh) | 2023-10-24 |
US20230324987A1 (en) | 2023-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11150730B1 (en) | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users | |
US20200310541A1 (en) | Systems and methods for control schemes based on neuromuscular data | |
US10302810B2 (en) | Use of thermopiles to detect human location | |
US10831268B1 (en) | Systems and methods for using eye tracking to improve user interactions with objects in artificial reality | |
US10970850B2 (en) | Method and device for recognizing motion | |
US10198631B2 (en) | Pupil detection device | |
US11852820B2 (en) | Method and electronic device for changing setting of display | |
US10928899B2 (en) | Handling multiple eye-gaze tracking (EGT) sources in virtual, augmented, or mixed reality (XR) applications | |
US11321965B2 (en) | Scalable gesture and eye-gaze tracking in virtual, augmented, and mixed reality (xR) applications | |
US20220261079A1 (en) | Controlling illuminators for optimal glints | |
US20220200318A1 (en) | Wearable electronic device including multiple batteries and method for operating the same | |
TW202340800A (zh) | 眼球追蹤裝置以及眼球追蹤方法 | |
Geiselhart et al. | EyeVR: low-cost VR eye-based interaction | |
US20220217325A1 (en) | Electronic device for displaying content and method of operation thereof | |
US11579704B2 (en) | Systems and methods for adaptive input thresholding | |
WO2024035108A1 (ko) | 사용자의 시선을 판단하는 방법 및 그 전자 장치 | |
EP4290405A1 (en) | Method and system for identifying hand sliding direction | |
US20240104867A1 (en) | Electronic device and method for providing augmented reality environment including adaptive multi-camera | |
US20240087523A1 (en) | Electronic device and method for driving display thereof | |
US20240104695A1 (en) | Electronic device for controlling resolution of each of plurality of areas included in image acquired from camera and method thereof | |
US20240160024A1 (en) | Wearable device for adjusting light transmittance according to illuminance of external light source, and method for controlling same | |
EP4187360A1 (en) | Electronic device and method for acquiring user's gaze information | |
KR20240021660A (ko) | 사용자의 시선을 판단하는 방법 및 그 전자 장치 | |
KR20240007036A (ko) | 거리 센서 활성화 방법 및 전자 장치 | |
US10162413B2 (en) | Non-contact eye gaze tracking |